Контрольная работа по «Элементы теории информации»

МИНИСТЕРСТВО  ОБРАЗОВАНИЯ РЕСПУБЛИКИ БЕЛАРУСЬ

БЕЛОРУССКИЙ НАЦИОНАЛЬНЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ 

МЕЖДУНАРОДНЫЙ ИНСТИТУТ ДИСТАНЦИОННОГО ОБРАЗОВАНИЯ 

    Кафедра: "Программное обеспечение вычислительной техники и 

    автоматизированных  систем" 
 
 
 
 
 
 
 
 
 

КОНТРОЛЬНАЯ  РАБОТА 

по дисциплине «Элементы теории информации»

Вариант 38 
 
 
 
 
 
 

 

                                                Выполнил : ст. гр. 417327     Менделев М.А. 

                                                Проверил :                             Почебут М.В. 
 
 
 
 
 
 
 
 
 
 

Минск  2011

Содержание 
 

ЗАДАНИЕ 1…………………………………………………………………………...2

ЗАДАНИЕ 2…………………………………………………………………………...4

ЗАДАНИЕ 3…………………………………………………………………………...5

ЗАДАНИЕ 4…………………………………………………………………………...6

ЗАДАНИЕ 5…………………………………………………………………………..7

ЗАДАНИЕ 6…………………………………………………………………………..8

ЗАДАНИЕ 7…………………………………………………………………………..9 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

ЗАДАНИЕ 1 

   Задача 1.6. Вероятности совместного появления Р(xi,yj) объединения двух статистически зависимых ансамблей заданы в таблице 1. Определить точные и средние количества неопределенности в совместном наступлении событий xi и yj, а также точные и средние количества неопределенности в yj при известном исходе xi.  

Таблица 1 (Вероятность совместного появления P(x_i, y_j)):

 

     Решение. Точные количества неопределенности в совместном наступлении событий и находим из формулы

           H(x_i, y_j) = - log P(x_i, y_j).

     Подставляя  в данное выражение P(x_i, y_j) из табл. 1, получим точные количества , которые помещены в табл. 2.

Таблица 2 (Точные количества H(x_i, y_j)):

 

     Среднее количество неопределенности в любом совместном наступлении событий x_i, y_j равно

      H(X,Y) = - _i=1Σ³ _j=1Σ³ P(x_i, y_j) * log P(x_i, y_j) = _i=1Σ³ _j=1Σ³ H(x_i, y_j) * P(x_i, y_j) = 3.32*0.1 + 4.32*0.05 + 1.74*0.3 + 2.74*0.15 + 5.06*0.03 + 2.32*0.2 + 4.32*0.05 + 5.64*0.02 + 3.32*0.1 = 0.33 + 0.22 + 0.52 + 0.41 + 0.15 + 0.46 + 0.22 + 0.11 + 0.33 = 2.76.

     Найдем  точные значения неопределенностей в наступлении события y_j при известном исходе некоторого события x_j. Для этого необходимо знать условные вероятности P(x_i / y_j), а затем воспользоваться формулой

     H(y_j / x_i) = - log P(y_j / x_i).

     Найдем  сначала безусловные вероятности  P(x_i) P(y_j) и по формулам полной вероятности

     P(x_i) =  _j=1Σ³ P(x_i, y_j) ;   P(y_j) =  _i=1Σ³ P(x_i, y_j) .

     В результате вычислений получим:

P(x₁) = 0.45;   P(x₂) = 0.38;   P(x₃) = 0.17;                P(y₁) = 0.3;   P(y₂) = 0.1;   P(y₃) = 0.6 .

     Наконец, по формуле умножения вероятностей вычислим

     P(y_j / x_i) = P(x_i, y_j) / P(x_i) .

     Результаты  вычислений представлены в табл. 3.

Таблица 3 (Условные вероятности P(y_j / x_i)):

 

     Результаты  расчета H(y_j / x_i)  представлены в табл. 4.

Таблица 4 (Точные условные энтропии H(y_j / x_i)):

 

     Найдем  частные условные энтропии путем  усреднения точных условных энтропий.

     H(Y, x_i) = _j=1Σ³ P(y_j  / x_i) * H(y_j  / x_i) .

     H(Y, x₁) = 2.18*0.22 + 3.18*0.11 + 0.58*0.67 = 0.4796 + 0.3498 + 0.3886 = 1.218 ;

     H(Y, x₂) = 1.36*0.39 + 3.64*0.08 + 0.94*0.52 = 0.5304 + 0.2912 + 0.4888 = 1.3104 ;

     H(Y, x₃) = 1.79*0.29 + 3.06*0.12 + 0.76*0.59 = 0.5191 + 0.3672 + 0.4484 = 1.3347 . 

     Эти результаты образуют случайную величину, значения которой наступают с  вероятностью P(x_i). Поэтому только среднее H(Y, x_i), усредненное с весом P(x_i), не случайно, а именно:

     H(Y / X) = _i=1Σ³ H(Y / x_j) * P(x_i) = - _i=1Σ³ _j=1Σ³ H(x_i, y_j) * log P(y_j / x_i) =

           = 1.218*0.45 + 1.3104*0.38 + 1.3347*0.17 = 0.5481 + 0.498 + 0.2269 = 1.274. 

     Если  испытания будут независимы, то энтропия объединения будет

     H^*(Y , X) = H(X) + H(Y) = - _i=1Σ³P(x_i) * log P(x_i) - _i=1Σ³P(y_i) * log P(y_i) =

= - (0.45 * log0.45 + 0.38 * log0.38 + 0.17 * log0.17) - (0.3 * log0.3 + 0.1 * log0.1 + 0.6 * log0.6) = 0.52 + 0.53 + 0.43 + 0.52 + 0.33 + 0.44 = 2.77 .

    Таким образом 

     H(Y , X) = 2.76 бит < H*(Y , X) =  H(X) + H(Y) = 2.77 . 

ЗАДАНИЕ 2 

     Задача 2.3. Источник вырабатывает два символа A и B с вероятностью P(A)= 0,4 и P(B) = 0,6. Определить количество возможных последовательностей, содержащих nA символов A, причем n_A+n_B =M= 4. Определить вероятность события, которое заключается в том, что в выработанной источником последовательности длиной M содержится n_A символов A. 

     Решение. Число всевозможных последовательностей, которое можно составить из двух букв, по M букв в каждой, N = 2^M. Число последовательностей, у которых из M мест n_A мест представлено букве A, равно числу сочетаний из M элементов по n_A.

     C_M^nA =M! / (M - n_A)!n_A! .

     Вероятность того, что в выработанной источником последовательности длиной M содержится n_A  символов A, определяется из биномиального закона

     P_M,nA = C_M^nA * P^nA * (1 - P)^M-nA  ,

     Более подробно рассмотрим работу данного  источника для M = 4. Тогда N= 2⁴=16. Выпишем эти 16 возможных последовательностей, вычислив для каждой из них C_M^nA и P_M,nA