Основы теории информации

H = S p_i h_i = - S p_i log₂ p_i

Значение  Н достигает максимума при  равновероятных событиях, то есть при  равенстве всех p_i

p_i = 1 / N.

В этом случае формула Шеннона превращается в формулу Хартли.

    В теории информации количеством информации называют числовую характеристику сигнала, которая не зависит от его формы и содержания и характеризует неопределенность, которая исчезает после получения сообщения в виде данного сигнала. В этом случае количество информации зависит от вероятности получения сообщения о том или ином событии.

    Для абсолютно достоверного события (событие  обязательно произойдет, поэтому  его вероятность  равна 1) количество информации в сообщении о нем равно 0. Чем невероятнее событие, тем большее  количество информации несет сообщение о нем. Лишь при равновероятных ответах ответ “да” или “нет” несет один бит информации.

    Количество  информации при вероятностном подходе  можно вычислить, пользуясь следующими формулами:

1). Формула  Хартли.

I = log₂ N   или   2^I = N,

где       N - количество равновероятных событий (число возможных выборов),           

I - количество  информации.

2). Модифицированная  формула Хартли.

I = log₂ (1/p) = - log₂ p

где       p - вероятность наступления каждого из N возможных равновероятных событий.

3). Формула Шеннона.

H = S p_i h_i = - S p_i log₂ p_i

где       pi - вероятность появления в сообщении i-го символа алфавита;           

hi = log₂ 1/p_i = - log₂ p_i -  количество собственной информации, переносимой одним символом;            

 Н  - среднее значение количества информации. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

     Заключение.

     Увеличение  роли и значения информации в современном  обществе безусловно велика. Одна из основных особенностей состоит в том, что информация, и особенно знание как ее высшая форма, занимает в нем совершенно особое место. Информация в ее обыденном смысле всегда играла решающую роль в жизни человека. В отличие от высших животных, у которых жизненно важная информация вырабатывается, хранится, передается в основном с помощью биофизических структур, человек в своей деятельности регулируется знаниями, т. е. особой небиологической формой информации. По мере усложнения человеческой деятельности объем знаний, требуемых для ее реализации, резко возрастает. С переходом к современной стадии развития, характеризующейся нарастающим темпом технических и технологических инноваций, объем знаний, необходимых для их обоснования, разработки, реализации и распространения, должен расти экспоненциально. В современных условиях отсутствие необходимых знаний может оказаться непреодолимым препятствием социального и научно-технического прогресса.

     Раздел  «Информация и информационные процессы»  в различных учебных пособиях освещен по-разному, но, несмотря на это в данной курсовой работе удалось представить необходимый минимум учебного материала, который подлежит обязательному рассмотрению в соответствии с образовательным стандартом и требованиями к знаниям учащихся, заключенными в нем.

     В данной курсовой работе были рассмотрены следующие понятия – информация, информационные процессы, свойства и виды информации, формы представления информации, различные подходы к определению количества информации.

     Таким образом, цель в данной курсовой работе была достигнута и решены все поставленные задачи. 
 
 
 

     Список  используемой литературы. 

1. Математические  основы информатики. Е.В. Андреева, Л.Л. Босова, И.Н. Фалина. Москва. БИНОМ. Лаборатория  знаний 2007
2. Поурочные разработки по информатике 10 класс. А. Х. Шелепаева. Издательство: Вако, 2005 г.
3. Программы для общеобразовательных учреждений. Информатика. 2–11 классы: методическое пособие. — 6-е изд.  Составитель М. Н. Бородин. Издательство: БИНОМ. Лаборатория знаний.  2009г
4. Теоретические основы информатики. Стариченко Б.Е. Москва 2003г.

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

     Приложение 1.

Задача  №1

 В мешке  находятся 20 шаров. Из них 15 белых и 5 красных. Какое количество информации несет сообщение о том, что достали: а) белый шар; б)  красный шар. Сравните ответы.

Решение:

1. Найдем вероятность того, что достали белый шар: р_б = 15 / 20 = 0,75;
2. Найдем вероятность того, что достали красный шар: р  = 5 / 20 = 0,25.
3. Найдем количество информации в сообщении о вытаскивании белого шара: i ₆ = log ₂ (l/p₆) = log ₂ (l/0,75) = log₂l,3 =1,15470бит.
4. Найдем количество информации в сообщении о вытаскивании красного шара: i _к = log ₂ (1/р_к) = log ₂ (l/0,25) = log₂4 = 2 бит.

 Ответ: количество информации в сообщении о том, что достали белый шар, равно 1,1547 бит. Количество информации в сообщении о том, что достали красный шар, равно 2 бит.

 Задача  № 2.

 И коробке  лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.

 Решение:

1. Всего кубиков в коробке N = 10 + 8 + 5 + 12 = 35.

2. Найдем вероятности: р_к = 10 / 35 ≈ 0,29, 
   рз = 8/ 35 ≈ 0,22,

рс= 12/35 ≈ 0,34,

рж = 5/35 ≈ 0,14.

3. Найдем количество информации:

  ic = Iog₂ ( 1/0,34) = Iog₂ 2,9 = 1,5360529 бит,

  iк = Iog₂ ( 1/0,29) = Iog₂ 3,4 = 1,7655347 бит,

  iз = Iog₂ ( 1/0,22) = Iog₂ 4,5 = 2,169925 бит,

  iж = Iog₂ (l/0,14) = Iog₂ 7,l = 2,827819 бит.

 Ответ: наибольшее количество информации мы получим при доставании желтого кубика по причине качественной связи между вероятностью и количеством информации.

Задача №3

В озере  обитает 12500 окуней, 25000 пескарей, а карасей  и щук по 6250. Сколько информации мы получим, когда поймаем какую-нибудь рыбу. Решение:

1. Найдем общее количество рыб в озере: S = 12500 + 25000 + 2-6250 = 50000.

2. Найдем вероятность попадания на удочку каждого вида рыб: 
   Ро= 12500/50000 = 0,25,

Pк = 25000 /50000 = 0,5,

Pп =6250/50000 = 0,125,

Pщ = 6250/50000 = 0,125.

3. Найдем количество информации:

i = - (0,25*log₂0,25 + 0,5*log₂0,5 + 0,125*log₂0,125 + 0,125*log₂0,125) = - (0,25*(-2) + 0,5*(-1) + 0,125*(-3) + 0,125*(-3)) =

=  -(-0,5-0,5-0,375-0,375)= -(-1,75)= 1,75 бит.

 Ответ:  1,75 бит информации.

 Задача  №4

В классе 30 человек. За контрольную работу по математике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Андреев получил пятерку?

Дано: N =30; К₅ = 6; К₄ = 15; К₃ = 8; К₂, = 1.

Найти: i ₄ - ?

Решение:

1) Р₄ = 15/30 = 1/2 — вероятность получения оценки «5»;

2) i ₄ = log₂(l/|p₄) = log₂(l/l/2)=1 бит. Ответ: 1 бит.

Задача  №5

 В ящике  лежат перчатки (белые и черные). Среди них - 2 пары черных. Сообщение о том, что из ящика достали пару черных перчаток, несет 4 бита информации. Сколько пар белых перчаток было в ящике?

Дано: К_ч = 2, i _ч = 4 бита.

Найти: К_б - ?

Решение:

1. i_ч, = log₂ (l/p_ч),  4 = log₂ (l/p_ч),   1/р_ч = 16,    р_ч = 1/16 - вероятность доставания черных перчаток;
2. р_ч = Kч/N,   N = Кч/р_ч,   N = 2*16 = 32 - всего перчаток в ящике;

 3) К₆ = N - К_ч = 32 - 2 = 30 пар белых перчаток. 
Ответ: 30 пар белых перчаток.

Задача  №6

 Для ремонта школы использовали белую, синюю и коричневую краски. Израсходовали одинаковое количество банок белой и синей краски. Сообщение о том, что закончилась банка белой краски, несет 2 бита информации. Синей краски израсходовали 8 банок. Сколько банок коричневой краски израсходовали на ремонт школы?

Дано: К_б = Кс =8, i ₆ = 2 бита.

Найти: Кк - ?

Решение:

1. i ₆ = log₂(l/P₆), 2 = Iog₂(l/p₆), 1/р₆ = 4, р₆ = '/₄ - вероятность расхода белой банки;
2. N = К_б/р_б = 8/(1/4) = 32 - банки с краской было всего;

 3) К_к.= N - К₆ - Кс = 32 - 8 - 8 = 16 банок коричневой краски. 
Ответ: 16 банок коричневой краски. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

      
 Приложение 2.

Задача  № 1.

Сообщение, записанное буквами из 64-символьного алфавита, содержит 20 символов. Какой объем информации оно несет?

Решение.

20^I = 64, I = 6 бит - количество информации, которое несет каждый символ, 20 • 6 = 120 бит = 15 байт. 

Задача  № 2.

Одно  племя имеет 32-символьный алфавит, а второе племя - 64-символьный алфавит. Вожди племен обменялись письмами. Письмо первого племени содержало 80 символов, а письмо второго племени -70 символов. Сравните объем информации, содержащийся в письмах.

Решение.

Первое  племя: 2^I = 32, I = 5 бит - количество информации, которое несет каждый символ, 5 • 80 = 400 бит.

Второе  племя: 2^I = 64, I = 6 бит - количество информации, которое несет каждый символ, 6 • 70 = 420 бит.

Значит, письмо второго племени содержит больше информации.

Задача  № 3.

Сколько килобайт составляет сообщение, содержащее 12288 бит?

Решение.

1 килобайт=1024 байт, 1 байт = 8 бит.

12288/8/1024 = 1,5КБ.

Задача № 4.

Можно ли уместить на одну дискету книгу, имеющую 432 страницы, причем на каждой странице этой книги 46 строк, а в каждой строке 62 символа?

Решение.

46 •  62 • 432 =1 232 064 символов в книге  = 1 232 064 байт

1232 064 байт =1,17 Мб.

Емкость дискеты 1,44 МБ, значит, книга может  поместиться на одну дискету.