Информация. Определение и свойства

Выше было отмечено, что  информация может пониматься и интерпретироваться по разному. Вследствие этого имеются различные подходы к определению методов измерения информации, меры количества информации. Раздел информатики (теории информации) изучающий методы измерения информации называется информметрией.

Количество информации - числовая величина, адекватно характеризующая  актуализируемую информацию по разнообразию, сложности, структурированности, определённости, выбору (вероятности) состояний отображаемой системы.

Если рассматривается  система, которая может принимать  одно из n возможных состояний, то актуальна  задача оценки такого выбора, исхода. Такой  оценкой может стать мера информации (или события). Мера - это некоторая  непрерывная действительная неотрицательная  функция, определённая на множестве  событий и являющаяся аддитивной т.е. мера конечного объединения событий (множеств) равна сумме мер каждого события.

Объемный способ измерения  информации. 

   Технический способ  измерения количества информации (или, точнее, информационного объема  сообщения) основан на подсчета количества символов, из которых образовано сообщение. При этом не учитывается смысловое содержание сообщения. Например, многократное повторение одного и того же текста не несет новой информации, однако в результате занимает больший объем памяти, требует большего времени для передачи и т.п. Поэтому этот способ удобен в технических расчетах

     За 1 бит в  этом случае принимается один  двоичный символ в сообщении.

     Информационный  обьем сообщения (информационная емкость сообщения) - количество информации в сообщении, измеренное в битах, байтах или производных величинах .

Алфавитный подход

     Алфавитный  подход основан на том, что  всякое сообщение можно закодировать  с помощью конечной последовательности  символов некоторого алфавита. Алфавитный  подход является объективным,  т.е. он не зависит от субъекта, воспринимающего сообщение. Смысл  сообщения учитывается на этапе  выбора алфавита кодирования  либо не учитывается вообще.

     Алфавитный  подход является объективным  способом измерения информации  в отличие  от субъективного,  содержательного, подхода.

     При алфавитном  подходе к измерению  информации  количество информации зависит  от т объёма текста и от  мощности, а не от содержания.

     Мощность  алфавита  — полное число символов алфавита (N). Каждый символ несёт i бит информации; число i можно определить из уравнения: 2i = N.

     Количество  информации, содержащееся в символьном  сообщении, равно К х i, где К – число символов в тексте сообщения а i – информационный вес символа, который находится из уравнения 21 = N, где N – мощность используемого алфавита.

     Применение  алфавитного подхода удобно при   использовании технических средств  работы с информацией.

Вероятностный подход.

     Формулу для  вычисления количества информации, учитывающую неодинаковую вероятность  событий, предложил К. Шеннон  в 1948 году. Количественная зависимость  между вероятностью события р и количеством информации в сообщении о нем x выражается формулой: x=log2 (1/p). Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить следующим образом - чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

     Рассмотрим  некоторую ситуацию. В коробке   имеется 50 шаров. Из них 40 белых  и 10 черных. Очевидно, вероятность  того, что  при вытаскивании "не  глядя" попадется  белый  шар больше, чем вероятность попадания  черного. Можно сделать заключение  о вероятности события, которые  интуитивно понятны. Проведем  количественную оценку вероятности  для каждой ситуации. Обозначим  pч - вероятность попадания при вытаскивании черного шара, рб - вероятность попадания белого шара. Тогда: рч=10/50=0,2; рб40/50=0,8. Заметим, что вероятность попадания белого шара в 4 раза больше, чем черного. Делаем вывод: если N - это общее число возможных исходов какого-то процесса (вытаскивание шара), и из них интересующее нас событие (вытаскивание белого шара) может произойти K раз, то вероятность этого события равна K/N. Вероятность выражается в долях единицы. Вероятность достоверного события равна 1 (из 50 белых шаров вытащен белый шар). Вероятность невозможного события равна нулю (из 50 белых шаров вытащен черный шар).

     Количественная  зависимость между вероятностью  события р и количеством информации в сообщении о нем x выражается формулой: . В задаче о шарах количество информации в сообщении о попадании белого шара и черного шара получится: .

     Рассмотрим  некоторый алфавит из m символов: и вероятность выбора из этого алфавита какой-то i-й буквы для описания (кодирования) некоторого состояния объекта. Каждый такой выбор уменьшит степень неопределенности в сведениях об объекте и, следовательно, увеличит количество информации о нем. Для определения среднего значения количества информации, приходящейся в данном случае на один символ алфавита, применяется формула . В случае равновероятных выборов p=1/m. Подставляя это значение в исходное равенство, мы получим

     Рассмотрим  следующий  пример. Пусть при  бросании несимметричной четырехгранной  пирамидки вероятности выпадения  граней будут следующими: p1=1/2, p2=1/4, p3=1/8, p4=1/8, тогда количество информации, получаемое после броска, можно  рассчитать по формуле:

     Для симметричной  четырехгранной пирамидки количество  информации будет:  H=log24=2(бит).

     Заметим, что  для  симметричной пирамидки  количество информации оказалось  больше, чем  для несимметричной  пирамидки. Максимальное значение  количества информации достигается   для равновероятных событий.