Задачи по теории ифнормации

“Вы выходите на следующей остановке?”  – спросили человека в автобусе. “Нет”, — ответил он. Сколько  информации содержит ответ?

Решение: человек мог ответить только “Да” или “Нет”, т.е. выбрать один ответ из двух возможных. Поэтому N = 2. Значит I = 1 бит (2 = 2^I).

Ответ: 1 бит.

Сообщение, записанное буквами из 64-х символьного алфавита, содержит 20 символов. Какой объем  информации оно несёт?

Решение

N=64     I=K∙i         2ⁱ = N, 2ⁱ=64, 2^{i =} 2⁶,    i=6 

К=20          I= 20*6=120 бит                     

I-?                                

Ответ: 120 бит

В корзине лежат 32 клубка шерсти. Среди  них – 4 красных. Сколько информации несет сообщение о том, что  достали клубок красной шерсти?

Решение:

4/32 = 1/8 – вероятность того, что  из корзины достали клубок  красной шерсти;

2ⁱ = 8,

i=  log₂ 8 =  3 бита.

Ответ: 3 бита