Основы теории информации

 

      Одна  и та же информация при различных  обстоятельствах обладает разными  свойствами. И в ходе информационного  процесса человек или техническое  устройство отбирает из всего потока информации только ту, которая обладает свойствами, наиболее приемлемыми в данной ситуации.

    Передача  информации производится с помощью  сигналов, а самим сигналом является изменение некоторой характеристики носителя с течением времени. При этом в зависимости от особенностей изменения этой характеристики с течением времени выделяют два типа сигнала:

1. Непрерывный, если его параметр может принимать любое значение в пределах некоторого интервала.

Z – значение параметра сигнала, а – время, то зависимость Z(t) будет непрерывной функцией. 

   Z

 
 

                                            T

Примерами непрерывных сигналов являются речь и музыка, изображение, показание  термометра и др.

2. Дискретный, если его параметр может принимать конечное число значений в пределах некоторого интервала.

  Z

                                                                                                                                                                                                                                                                                                                                                                                                                                                  

    

    

                                                            T

    Дискретные  сигналы могут быть описаны дискретным и конечным множеством значений параметров Z. Примерами устройств, использующих дискретные сигналы, являются часы, цифровые измерительные приборы, книга, табло и др.

    Важнейшим различием непрерывных и дискретных сигналов является то, что дискретные сигналы можно обозначить, то есть приписать каждому из конечного чисел возможные значения сигнала знак, который будет отличать данный сигнал от другого. 

Подходы к измерению информации.

Формула Хартли и формула  Шеннона.

I ПОДХОД.  Неизмеряемость информации в быту (информация как новизна)

ПРИМЕР

    Вы  получили какое-то сообщение, например, прочитали статью в любимом журнале. В этом сообщении содержится какое-то количество информации. Как оценить, сколько информации Вы получили? Другими словами, как измерить информацию? Можно ли сказать, что чем больше статья, тем больше информации она содержит?

    Разные  люди, получившие одно и то же сообщение, по-разному оценивают его информационную ёмкость, то есть количество информации, содержащееся в нем. Это происходит оттого, что  знания людей о событиях, явлениях, о которых идет речь в сообщении, до получения сообщения были различными. Поэтому те, кто знал об этом мало, сочтут, что получили много информации, те же, кто знал больше, могут сказать, что информации не получили вовсе. Количество информации в сообщении, таким образом, зависит от того, насколько ново это сообщение для получателя.

    В таком случае, количество информации в одном и том же сообщении  должно определяться отдельно для каждого получателя, то есть иметь субъективный характер. Но субъективные вещи не поддаются сравнению и анализу, для их измерения трудно выбрать одну общую для всех единицу измерения.

    Таким образом, с точки зрения информации как новизны, мы не можем однозначно и объективно оценить количество информации, содержащейся даже в простом сообщении. Что же тогда говорить об измерении количества информации, содержащейся в научном открытии, новом музыкальном стиле, новой теории общественного развития.

    Поэтому, когда информация рассматривается как новизна сообщения для получателя, не ставится вопрос об измерении количества информации.

    II ПОДХОД - объемный. Измерение информации в технике (информация как сообщения в форме знаков или сигналов, хранимые, передаваемые и обрабатываемые с помощью технических устройств).

    В технике, где информацией считается  любая хранящаяся, обрабатываемая или  передаваемая последовательность знаков, сигналов, часто используют простой способ определения количества информации, который может быть назван объемным. Он основан на подсчете числа символов в сообщении, то есть связан только с длиной сообщения и не учитывает его содержания.

    Длина сообщения зависит от числа знаков, употребляемых для записи сообщения. Например, слово “мир” в русском алфавите записывается тремя  знаками, в английском – пятью  (peace), а в КОИ-8 – двадцатью четырьмя битами (111011011110100111110010).  
 

ПРИМЕР

    В вычислительной технике применяются  две стандартные единицы измерения: бит (англ. binary digit - двоичная цифра) и байт (byte).

    Конечно, будет правильно, если  сказать: “В слове “Рим” содержится 24 бита информации, а в сообщении  «Миру мир!» – 72 бита”. Однако, прежде, чем измерить информацию в битах, нужно определить количество символов в этом сообщении. Нам привычней работать с символами, машине – с кодами. Каждый символ в настоящее время в вычислительной технике кодируется 8-битным или 16-битным кодом. Поэтому, для удобства была введена более «крупная» единица информации в технике (преимущественно в вычислительной) – байт. Теперь  легко подсчитать количество информации в техническом сообщении – оно совпадает с количеством символов в нем.

    Поскольку компьютер предназначен для обработки больших объемов информации, то используют производные единицы.

1 килобайт = 1 Кб (1 Kb)= 2¹⁰ байт = 1024 байта

1 мегабайт = 1 Мб (1 Mb)= 2 ²⁰ байт = 2 ¹⁰ Кбайт

1 Гигабайт = 1 Гб (1 Gb)= 2 ³⁰ байт = 2 ²⁰ Кбайт =2 ¹⁰ Мбайт

1 Терабайт (1 Тb)= 2 ⁴⁰ байт = 2 ³⁰ Кбайт =2 ²⁰ Мбайт=2 ¹⁰ Гбайт

1 Петабайт (Pb)=2 ⁵⁰ байт =2⁴⁰ Кбайт=2 ³⁰ Мбайт=2 ²⁰ Гбайт=2 ¹⁰ Тбайт

1 Эксабайт (Pb)=2 ⁶⁰ байт =2⁵⁰ Кбайт=2 ⁴⁰ Мбайт=2 ³⁰ Гбайт=2 ²⁰ Тбайт =2 ¹⁰ Пбайт  

    III ПОДХОД - вероятностный. Измерение информации в теории информации (информация как  снятая неопределенность)

    Получение информации (ее увеличение) одновременно означает увеличение знания, что, в свою очередь, означает уменьшение незнания или информационной неопределенности.

    За единицу количества информации принимают выбор одного из двух равновероятных сообщений («да» или «не»”, «1» или «0»). Она также названа бит.

ПРИМЕРЫ.

    1. Книга лежит на одной из двух полок - верхней или нижней. Сообщение о том, что книга лежит на верхней полке, уменьшает неопределенность ровно вдвое и несет 1 бит информации.

    2. Сообщение о том, как упала монета после броска – «орлом» или «решкой», несет один бит информации.

    3. В соревновании участвуют 4 команды. Сообщение о том, что третья команда набрала большее количество очков, уменьшает первоначальную неопределенность ровно в четыре раза (дважды по два) и несет два бита информации.

    Приближенно можно считать, что количество информации в сообщении о каком-то событии совпадает с количеством вопросов, которые необходимо задать и с ответом, на которые могут быть лишь «да» или «нет», чтобы получить ту же информацию. Причем событие, о котором идет речь, должно иметь равновероятные исходы.   

    Таким образом, с точки зрения на информацию как на снятую неопределенность количество информации зависит от вероятности получения данного сообщения. Причем, чем больше вероятность события, тем меньше количество информации в сообщении о таком событии.

    Другими словами, количество информации в сообщении о каком-то событии зависит от вероятности свершения данного события.

    Научный подход к оценке сообщений был  предложен еще в 1928 году Р.Хартли. Расчетная формула имеет вид:

I = log₂ N   или   2^I = N,

где       N - количество равновероятных событий (число возможных выборов),           

I - количество  информации.

Если N = 2 (выбор из двух возможностей), то I = 1 бит.

    Бит выбран в качестве единицы количества информации потому, что принято считать, что двумя двоичными словами исходной длины k или словом длины 2k можно передать в 2 раза больше информации, чем одним исходным словом. Число возможных равновероятных выборов при этом увеличивается в 2^k раз, тогда как I удваивается.

    Иногда  формула Хартли записывается иначе. Так как наступление каждого  из N возможных событий имеет одинаковую вероятность  p = 1 / N, то N = 1 / p и формула имеет вид

I = log₂ (1/p) = - log₂ p

    Познакомимся с общим случаем вычисления количества информации в сообщении об одном из N, но уже неравновероятных событий. Этот подход был предложен К.Шенноном в 1948 году.

    Пусть имеется строка текста, содержащая тысячу букв. Буква «о» в тексте встречается примерно 90 раз, буква «р» ~ 40 раз, буква «ф» ~ 2 раза, буква «а» ~ 200 раз. Поделив 200 на 1000, мы получим величину 0.2, которая представляет собой среднюю частоту, с которой в рассматриваемом тексте встречается буква «а». Вероятность появления буквы «а» в тексте (p_a)можем считать приблизительно равной 0.2. Аналогично, p_р = 0.04, p_ф = 0.002, р_о = 0.09.

    Далее поступаем согласно К.Шеннону. Берем  двоичный логарифм от величины 0.2 и  называем то, что получилось количеством  информации, которую переносит одна-единственная буква «а» в рассматриваемом тексте. Точно такую же операцию проделаем для каждой буквы. Тогда количество собственной информации, переносимой одной буквой равно

h_i = log₂ 1/p_i = - log₂ p_i,

где p_i - вероятность появления в сообщении i-го символа алфавита.

    Удобнее в качестве меры количества информации пользоваться не значением h_{i ,} а средним значением количества информации, приходящейся на один символ алфавита