Меры информации, качество информации и его характеристика

      ⱷ [Р (x_oj , x_ok)] = ⱷ [Р (x_oj )]  + ⱷ [Р (x_oj / x_ok)],

      где Р (x_oj / x_ok) — вероятность возникновения сообщения x_ok при условии появления перед ним сообщения x_oj

      Соответственно  вероятность возникновения последовательности сообщений  x_oj / x_ok составит Р (x_oj / x_ok)= Р (x_oj ) [ Р (x_ok/ x_oj). Отсюда

      ⱷ [Р (x_oj )] + ⱷ [Р (x_ok/ x_oj)]= ⱷ [Р (x_oj )]  + ⱷ [(x_ok/ x_oj)],

Дифференцируя по переменной P x_oj , получим

      P(X_ok/X_oj)= ⱷ’ [ Р (x_oj ) Р (x_ok/ x_oj)] = ⱷ’ [ Р (x_oj )]

      Умножим левую и правую части уравнения  на вероятность Р(x_oj), тогда

      P (X_oj) P(X_ok/X_oj)  ⱷ’ [ Р (x_oj ) Р (x_ok/ x_oj)] = P (X_oj) ⱷ’ [ Р (x_oj )]

   Учитывая, что вероятность Р (X_oj) находится в пределах от 0 до 1, видим, что части уравнения должны представлять собой постоянную величину, т.е. Р(X_oj) ⱷ’ [ Р (x_oj )] =k, где k — постоянная величина. Отсюда ⱷ’ [ Р (x_oj )] = k/ Р (x_oj ). Количество информации в j-м сообщении составит

ⱷ[ Р (x_oj )] = k ln Р (x_oj ) + с,

где с  — постоянная интегрирования. Для  определения с рассмотрим частный случай, когда имеет место передача лишь одного /-го сообщения, т.е. Р(x_oj)=1. Подставляя Р(x_oj)=1 в приведенное уравнение, находим, что с = 0, а отсюда

                        ⱷ[ Р (x_oj )] = k ln Р (x_oj )

       Для определения постоянной к выберем  систему единиц Естественным требованием, является то, что количество информации должно быть положительной величиной, тогда, принимая к = 1 получаем

       ⱷ[ Р (x_oj )] = - ln Р (x_oj )

       Тогда в качестве единицы информации можно  принять натуральную единицу. Количество информации в одну натуральную единицу (l нат) равно информации, которая передается в одном сообщении с вероятностью появления l/е. Как указывалось выше, в стаnbcтической теории получила применение двоичная единица информации, что соответствует коэффициенту к = - l/ln 2. Тогда количество информации для неравновероятных сообщений составит

       I = ⱷ[ Р (x_oj )] = - log2.

       При необходимости количество информации в случайно выбранном сообщении нетрудно связать с информативностью символов кода сообщения. Если процесс образования символов описывается цепью Маркова и символы могут принимать K значений, то найти вероятность возникновения сообщения P(x_0j) можно как произведение вероятностей возникновения символов его кода. Если они выбираются независимо и символ типа j встречается n_j раз, то вероятность возникновения сообщения x_0j  составит

где Р(х_j) -~ вероятность возникновения символа типа j.

    При большой длине кода п можно считать, что n_j= пР(х_j), а так как выше установлено, что количество сообщения х_0/ составляет I = - log2 P(x_oj), то, подставляя полученные выше значения вероятности Р(x_oj)_,найдем количество информации I в виде

Видно, что количество информации прямо пропорционально

длине кода п и информативности отдельно взятого символа. Отметим, что максимально возможное количество информации, т.е. максимум записанного выше выражения, получается, если символы равновероятны. Тогда для множества символов К оптимальное равномерное распределение соответствует P(x_j)= l/K В этом случае получим, что I= nlog₂K, Для двоичного кода К = 2, 1 — п, что соответствует количеству информации для неизбыточного кода при равновероятных сообщениях. Введенная количественная статистическая мера информации широко используется в теории информации для оценки количества собственной, условной, взаимной и других видов информации. Рассмотрим это на примере собственной информации.

    Под этим будем, понимать информацию, которая содержится в данном конкретном сообщении. В соответствии с этим определением количество собственной информации в сообщении x_oj определяется как I(x_oj) = log₂ P(x_oj). Количество собственной информации измеряется числом бит информации, содержащихся в сообщении x_oj. Для нее могут быть сформулированы следующие свойства.

    1. Собственная информация неотрицательна.- Чем меньше вероятность возникновения сообщения, тем больше количество информации, содержащейся в нем. Если сообщение имеет вероятность

возникновения, равную единице, то получаемая с ним  информация равна нулю, так как заранее известно, что может прийти только это сообщение, и выявление данного сообщения не несет потребителю никакой информации.

    2. Собственная информация обладает свойством аддитивности. 
Для доказательства этого рассмотрим ансамбль из множества сообщений {Х_, У}. Найдем количество собственной информации для 
пары сообщений x_oj, y_oj

    I(x_oj, y_oj) = - log2P(x_oj, y_oj)

    Если  сообщение x_oj, y_oj статистически не зависимы, то Р(x_oj, y_oj) = Р(x_oj) Р(y_oj). Количество информации в двух сообщениях составит

    I(x_oj, y_oi) = - log2P(x_oj)- I(x_oj, y_oi) = - log2P( y_oi)= I(x_oj)+ I( y_oi)

       Таким образом количество собственной  информации в двух независимых сообщениях равно сумме собственных сообщений. Отметим, что она характеризует сообщение, которое возникает случайным образом из источника, а поэтому является случайной величиной и зависит от номера выбранного сообщения.

       Рассмотрим  понятия и свойства энтропии дискретных систем. Математическое ожидание случайной величины собственной информации называется энтропией. Энтропия рассчитывается на множестве(ансамбле) сообщений X₀ либо на множестве символов Х и физически определяет среднее количество собственной информации, которое содержится в элементах множества (либо сообщений либо символов). Для источников сообщений случайная величина на собственной информации принимает значение I(х₀₁), I(х₀₂),…, I(х_oj),…, I(х_oм) с вероятностью Р(х₀₁), Р(х₀₂),…? Р(X_oj) ),…, I(х_oм) соответственно.

       Среднее количество (математическое ожидание) собственной информации, содержащиеся  в ансамбле сообщений  Х_о, т.е. энтропияы этого ансамбля составит

    Где М- множество сообщений в ансамбле Х_о. Содержательно энтропия Н(х_о) показывает количество двоичный единиц информации, которая содержится в любом сообщении из множества Х_о.

    Следует отметить, что понятие энтропии исторически использовалось для оценки меры неопределенности состояния любой системы. Чем больше энтропии системы, тем больше неопределенность ее состояния и тем большую информацию  получаем, когда эта непределеннсть снимается. Энтропия как количественная мера неопределенность снимается. Энтропия как количественная мера информации обладает следующими свойствами[48]:

1. Функция энтропии является непрерывной относительно вероятности возникновения событий и для дискретных событий имеет наибольшее значение при равной вероятности их появления. Если возможно появление лишь одного события , то априорной неопределенности нет, поэтому количество информации и энтропия равны нулю;
2. При равновероятных событиях функция энтропии возрастает : увеличением числа событий в ансамбле, а поэтому для повышения информативности символов необходимо увеличивать основание системы счисления используемого кода;
3. Функция энтропии не зависит от пути выбора событий. Это свойство вытекает из аддитивности статической меры информации и   как следствие, аддитивности функции энтропии;

   Теперь перейдем к понятиям «энтропия источника» и «энтропия сообщения». При кодировании важно обеспечить выбор кода, который оптимально согласуется с источником. Это согласование возможно по критерию энтропии источника. Под энтропией источника обычно понимают количество информации, которая в среднем содержится в одном символе кода. Если код имеет основание системы счисления К, то энтропия источника, т.е. среднее количество информации, содержащейся в символе кода, составит

   Содержательно энтропия источника показывает, сколько двоичных единиц информации переносится в среднем в одном символе кода. Для повышения информативности источника необходимо стремиться к равновероятности символов. В этом случае для неизбыточного кода в одном символе передается двоичная единица информации С введением избыточности информативность символа уменьшается, но появляются возможности, связанные с обнаружением и исправлением ошибок, что обеспечивает требуемую помехоустойчивость передачи сообщений. Среднее количество информации, содержащееся в сообщении, называется энтропией сообщения и определяется в виде

       Видно, что энтропия сообщения представляет собой математическое ожидание собственной информации, содержащейся в ансамбле сообщений X_Q, Таким образом, энтропия является универсальной статистической характеристикой, позволяющей оценить количество информации, которая содержится в любом ансамбле дискретных событий.

      Понятие энтропии применимо и к непрерывным  событиям В системах обработки информации и управления значительная доля информации имеет непрерывный характер и выражается в виде не прерывной функции от времени. В этом случае возникает задача  непрерывной информации в виде непрерывных сообщений по каналам связи Непосредственная передача непрерывных сообщений без преобразования возможна лишь на незначительные расстояния, С увеличением расстояний осуществляют операцию дискретизации информации. Для этого вводят квантование по времени и по уровню. Непрерывная функция передается в виде совокупности мгновенных либо квантовых отсчетов, выбранных с различными интервалами но времени. Оценим количество информации, которая содержится в одном отсчете непрерывной функции, и найдем общее выражение для энтропии непрерывных событий.

  Пусть имеет место непрерывная информация, представленная в виде непрерывной функции х(t) с известной плотностью распределения вероятностей амплитудных значений W(х)., Разобьем область значений функции на K уровней с интервалом квантования Δх, тогда получим уровни х₁, х₂ ...,x_j, ..., х_к. При достижении функцией x(t) некоторого уровня х_j и передаче этого уровня по канату связи количество передаваемой информации может быть определено с помощью функции энтропии H(X_j), если известна вероятность возникновения отсчета P(x_j). Для нахождения вероятности Р(х_j) построим плотность распределения W(х) и отметим отсчеты функций х₁, х₂ ...,x_j(рис 1.3). Вероятность отображена;

заштрихованной  на рис. 1.3 площадью под кривой W(x). Для упрощения расчетов заменим эту площадь другой площадью эквивалентного прямоугольника с основанием Δх и высотой W(x_j)  , тогда вероятность Р(x_j) = W(x_j)Δx. Отсюда количество собственной информации, содержащейся в отсчете x_j составит 

   Энтропия  отсчета определяет количество информации, которая передается отсчетом функции  х_у С уменьшением шага дискретизации Δх, те при Δх —> 0, можно найти lim Н(х_j), т.е предварительное значение