Автор: Пользователь скрыл имя, 09 Января 2012 в 19:11, курс лекций
Microsoft Word - ведущая система обработки текстовых документов, совмещающая в себе широкий спектр мощнейших средств редактирования, форматирования и публикации документов с интерфейсом, который пользователь может освоить за короткий промежуток времени. При помощи Word можно создавать любые документы и публиковать их в электронном виде, а также в виде печатных копий.
Энтропи́я— мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.
Так, возьмём, например, последовательность символов, составляющих какое-либо предложение на русском языке. Каждый символ появляется с разной частотой, следовательно, неопределённость появления для некоторых символов больше, чем для других. Если же учесть, что некоторые сочетания символов встречаются очень редко, то неопределённость ещё более уменьшается (в этом случае говорят об энтропии n-ого порядка, см. Условная энтропия).
Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.
Информационная
энтропия для независимых случайных
событий x с n возможными состояниями (от
1 до n) рассчитывается по формуле:
Эта величина также называется средней энтропией сообщения. Величина называется частной энтропией, характеризующей только i-e состояние.
Таким образом, энтропия события x является суммой с противоположным знаком всех произведений относительных частот появления события i, умноженных на их же двоичные логарифмы (основание 2 выбрано только для удобства работы с информацией, представленной в двоичной форме). Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей.
Шеннон предположил, что прирост информации равен утраченной неопределенности, и задал требования к ее измерению:
мера должна быть непрерывной; т. е. изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции;
в случае, когда все варианты равновероятны, увеличение количества вариантов должно всегда увеличивать значение функции;
должна быть возможность сделать выбор в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.
Шеннон показал, что единственная функция, удовлетворяющая этим требованиям - энтропия, имеет вид:
где K — константа (и в действительности нужна только для выбора единиц измерения).