Информационные системы – объект применения основных принципов и методов теория информации

Знак минус  в первом равенстве (3) необходим  для того, чтобы количество информации i(u_k) было неотрицательным числом т.к. всегда P(u_k) ≤ 1. Очевидно что, так же как и мера H(U) определяемая (2) величина i(u_k) обладает свойством адетивности. И в случае достоверного сообщения, когда P(u_k)=1, i(u_k)=0. Однако, теперь количество информации содержащееся в дискретном сообщении зависит от степени неожиданности этого сообщения характеризуемой вероятностью его появления. Количество информации в сообщении тем больше, чем оно более неожиданно. Если источник выдает последовательность зависимых между собой элементарных сообщений, то наличие предшествующих сообщений может изменить вероятность последующего, следовательно, и количество информации в нем. Оно должно определяться по условной вероятности P(u_k/u_k-1,u_k-2,…) выдачи сообщений u_k при известных предшествующих сообщений u_k/u_k-1,u_k-2,…, тогда количество информации

Определения (3) и (4) количества информации являются случайной величиной, поскольку сами сообщения являются случайными. Его распределение вероятностей определяется распределением вероятностей сообщений в данном ансамбле для цифровой характеристики всего ансамбля или источника сообщения используется математическое ожидание количества информации в отдельных сообщениях называемых энтропией.

Свойства  энтропии

1) Энтропия любого дискретного ансамбля не отрицательна H(U)≥0 (6).

2) Пусть N - объем алфавита дискретного источника, тогда H(U) ≤log N (7).

3) Энтропия  объединения нескольких независимых  статистических источников сообщений равна сумме энтропии исходных источников - свойство адетивности энтропии. В соответствии с (5) энтропия обобщенного источника в случае статистической независимости u и z будет равна:

Контрольные вопросы:

1. Определите основные задачи информационной системы.
2. Определите основные этапы обращения информации.
3. Определите понятие энтропии
4. Перечислите основные свойства энтропии
5. Покажите, когда H(U) = 0
6. Приведите доказательство H(U) ≤ log N
7. Приведите определение энтропии обобщенного источника