Количественные характеристики информации

студент группы __________

_дата

_{подпись}

(доцент, кандидат педагогических наук.)           

_дата

_{подпись}

   В процессе отражения между состояниями  взаимодействующих объектов возникает  определенная связь. Информация как  результат отражения одного объекта другим выявляет степень соответствия их состояний, а поэтому важными оказываются именно количественные характеристики информации. Некоторое количество информации можно рассматривать с трех основных точек зрения:

   •  с поведенческой точки зрения создание порции информации осуществляется по некоторой причине, а получение этой информации может привести к некоторому результату (наблюдаемому действию или мыслительной операции);

   •  с математико-лингвистической точки зрения порция информации может быть описана путем соотнесения ее с другой информацией, указания ее смысла и структуры;

   • с физико-технической точки зрения рассматриваются физические аспекты  проявления информации — ее материальный носитель, разрешающая способность  и точность, с которыми она фиксируется, количество информации, которое производится, передается или принимается и т.д. 
 
 
 
 
 
 
 
 
 

   1 Оценка качества информации.

   Возможен  ряд подходов к оценке качества информации. Наиболее существенными из них являются статистический, семантический и прагматический. Наибольшее развитие получил первый подход.

   Статистический  подход представлен в обширном разделе кибернетики — теории информации, которая занимается математическим описанием и оценкой методов передачи, хранения, извлечения и классификации информации. Теория информации в математической основе использует методы теории вероятности, математической статистики, линейной алгебры и др. В статистической теории основное внимание обращается на распределение вероятности появления отдельных событий и построение на его основе обобщенных характеристик, позволяющих оценить количество информации в одном событии либо в их совокупности. Количественной мерой информации стала энтропия. Чтобы возник процесс передачи, должны иметь место источник информации и потребитель. Источник выдает сообщение, потребитель, принимая сообщение, принимает при этом информацию о состоянии источника. В статистической теории, как указывалось выше, не изучают содержание информации. Предполагается, что до получения информации имела место некоторая неопределенность. С получением информации эта неопределенность снимается. Таким образом, статистическая количественная характеристика информации — это мера снимаемой в процессе получения информации неопределенности системы. Естественно, что количество информации зависит от закона распределения состояний системы.

   Семантический подход базируется на смысловом содержании информации. Термин «семантика» исторически применялся в металогике и семиотике. В металогике под семантикой понимают изучение связей между знакосочетаниями, входящими в состав какого-либо формализованного языка, и их интерпретациями (истолкованиями) в терминах той системы понятий и представлений, формализацией которой служит данный язык. В более узком смысле под семантикой подразумевают совокупность правил соответствия между формальными выражениями и их интерпретацией. Под семиотикой понимают комплекс научных теорий, изучающих свойства знаковых систем, т.е. систем конкретных или абстрактных объектов, с каждым из которых сопоставлено некоторое значение. Примерами знаковых систем являются естественные языки, а также искусственные языки, такие как алгоритмические языки, языки программирования, информационные языки и др.

   Прагматический  подход к информации базируется на анализе ее ценности, с точки зрения потребителя. Например, информация, имеющая несомненную ценность для биолога, будет иметь ценность, близкую к нулевой, для программиста. Ценность информации связывают со временем, поскольку с течением времени она стареет и ценность ее, а, следовательно, и «количество» уменьшается. Таким образом, прагматический подход оценивает содержательный аспект информации. Он имеет особое значение при использовании информации для управления, поскольку ее количество тесно связано с эффективностью управления в системе.

   Разные  подходы к оценке количества информации заставляют, с одной стороны, использовать разнотипные единицы информации для характеристики различных информационных процессов, а с другой стороны — увязывать эти единицы между собой как на логическом, так и на физическом уровнях. Например, процесс передачи информации, измеряемой в одних единицах, сопрягается с процессом хранения, когда она измеряется в других единицах, и т.д., а поэтому выбор единицы информации является весьма актуальной задачей. 
 
 
 
 

   2 Статистическая мера количества информации.

   Статистическая мера количества информации, получила наибольшее применение в процессе передачи сообщений.

   Чтобы возник процесс передачи, должны существовать источник информации и потребитель. Источник выдает сообщение, потребитель, принимая сообщение, получает при этом информацию о состоянии источника. В статистической теории, как указывалось выше, не изучается содержание информации. Предполагается, что до получения информации имела место некоторая неопределенность. С получением информации эта неопределенность снимается. Таким образом, статистическая количественная характеристика информации — это мера, на основе которой в процессе получения информации снимается неопределенность системы. Естественно, что количество информации зависит от закона распределения состояний системы.

   Введем  количественную меру информации для  простейшего варианта передачи равновероятных сообщений. Пусть источник формирует М сообщений, каждое из которых передается неизбыточным кодом длиной п. Определим число сведений f в некотором сообщении, полагая, что оно линейно зависит от длины кода, т.е. f= kn, где k — коэффициент пропорциональности. Будем считать, что выполняются следующие условия: осуществляется передача дискретных сообщений; сообщения являются равновероятными и взаимонезависимыми; символы, выдаваемые источником, взаимонезависимы; система счисления (основание кода) K конечна. Тогда число передаваемых сообщений составляет M = Kⁿ. Учитывая, что f= kn, получаем df=kdn, dM= Kⁿ lnK dn, dn = dM / kⁿ lnК, df= kdM / М lnk.

   Отсюда

   f = k lnМ / ln К = k₁ log_a М / ln К = k₀ log_a М,

   где k₀ = k₁ / lnК; k₁= к lnа.

   За  единицу количества информации примем число сведений, которые передаются двумя равновероятными сообщениями. Назовем эту единицу двоичной единицей информации. Тогда для f= 1, М= 2 получим J= k₀ log_a 2. Отсюда а = 2, k₀ = 1 и, следовательно, количество информации в сообщении составит I= log₂ M

   Эта формула получила название формулы  Хартли. Из нее следует, что для равновероятных дискретных сообщений количество информации зависит лишь от числа передаваемых сообщений.

   Если  сообщения отображаются неизбыточным кодом, то,  подставляя М = Кⁿ, получим I=nlog₂K .

   Видно, что число двоичных единиц информации, содержащихся в одном сообщении, прямо пропорционально длине кода п и возрастает с увеличением его основания. Если основание кода К= 2, то количество информации, содержащееся в любом сообщении, передаваемом неизбыточным кодом, составит I= п двоичных единиц или бит. Отсюда видно, что если длина сообщения равна п, то сообщение содержит п бит информации, т.е. один элемент кода несет одну двоичную единицу информации. Информация, содержащаяся в сообщении, складывается из информации, которую несет каждый элемент кода, поэтому мера информации является аддитивной.

   Аддитивность  статистической меры информации позволяет  определить ее количество и в более общем случае, когда передаваемые дискретные сообщения являются неравновероятными. Можно предположить, что количество информации, содержащейся в конкретном дискретном сообщении, функционально зависит от вероятности выбора этого сообщения. Тогда для сообщения x_0j возникающего с вероятностью Р(x_0j), количество информации может быть описано в виде I= φ [Р (x_0j)]. Пусть вслед за сообщением x_0j из источника формируется сообщение x_0k . Вероятность последовательного возникновения этих сообщений обозначим Р(x_0j, x_jk). Количество информации, которая будет содержаться в этих сообщениях, оценим как I = φ [Р (x_0j, x_0k)]. Учитывая аддитивный характер принятой выше статистической меры информации, будем считать, что количество информации, заключенное в последовательности сообщений x_0j, x_0k равно сумме количеств информации, содержащихся в каждом из выбранных сообщений. Тогда   

   φ [Р (x_0j, x_0k)] = φ [Р (x_0j)] + φ [Р (x_0k /x_0j)],   

   где Р (x_0k /x_0j) — вероятность возникновения сообщения x_0k при условии появления перед ним сообщения x_0j.

   Соответственно  вероятность возникновения последовательности сообщений x_0j, x_0k составит Р (x_0j, x_0k) = Р (x_0j) [Р (x_0k /x_0j)]. Отсюда

   φ [Р (x_0j)] + φ [Р (x_0k /x_0j)] = φ [Р (x_0j)] + φ [Р (x_0k /x_0j)].

   Дифференцируя по переменной Р (x_0j), получим

   Р (x_0k /x_0j) φ ‘[Р (x_0j) Р (x_0k /x_0j)] = φ ‘ [Р (x_0j)].

   Умножим левую и правую части уравнения  на вероятность Р (x_0j), тогда

   Р (x_0j) Р (x_0k /x_0j) φ ‘[Р (x_0j) Р (x_0k /x_0j)] = Р (x_0j) φ ‘ [Р (x_0j)].

   Учитывая, что вероятность Р (x_0j) находится в пределах от 0 до 1, видим, что части уравнения должны представлять собой постоянную величину, т.е. Р (x_0j) φ ‘ [Р (x_0j)] = k, где k - постоянная величина. Отсюда φ ‘ [Р (x_0j)] = k/ Р (x_0j). Количество информации в j-ом сообщении составит

   φ [Р (x_0j)] = k ln Р (x_0j) + c,

   где с — постоянная интегрирования. Для определения с рассмотрим частный случай, когда имеет место передача лишь одного j-го сообщения, т.е. Р (x_0j) = 1. Подставляя Р (x_0j) = 1 в приведенное уравнение, находим, что с = 0, а отсюда

   φ [Р (x_0j)] = k ln Р (x_0j).

   Для определения постоянной k выберем систему единиц. Естественным требованием является то, что количество информации должно быть положительной величиной, тогда, принимая k = 1, получаем

   φ [Р (x_0j)] = -ln Р (x_0j).

   Тогда в качестве единицы информации можно  принять натуральную единицу. Количество информации в одну натуральную единицу (1 нат) равно информации, которая передается в одном сообщении с вероятностью появления 1/е. Как указывалось выше, в статистической теории получила применение двоичная единица информации, что соответствует коэффициенту k= – 1/ln2. Тогда количество информации для неравновероятных сообщений составит

   I = φ [Р (x_0j)] = – Iog2.

   При необходимости количество информации в случайно выбранном сообщении нетрудно связать с информативностью символов кода сообщения. Если процесс образования символов описывается цепью Маркова и символы могут принимать К значений; то найти вероятность возникновения сообщения Р (x_0j) можно как произведение вероятностей возникновения символов его кода. Если они выбираются независимо и символ типа j встречается n_j раз, то вероятность возникновения сообщения x_0j составит

   Р (x_0j)  = [Р (x_j)] n_j ,

   где Р (x_j) – вероятность возникновения символа типа j.

   При большой длине кода п можно считать, что n_j = n Р (x_j) , а так как выше установлено, что количество сообщения x_0j составляет I = – Iog2 Р (x_0j), то, подставляя полученные выше значения вероятности Р (x_0j), найдем количество информации I в виде

   Видно, что количество информации прямо  пропорционально длине кода п и информативности отдельно взятого символа. Отметим, что максимально возможное количество информации, т.е. максимум записанного выше выражения, получается, если символы равновероятны. Тогда для множества символов К оптимальное равномерное распределение соответствует Р (x_j) = 1/К.. В этом случае получим, что I = n log₂ K. Для двоичного кода К = 2, I = п, что соответствует количеству информации для неизбыточного кода при равновероятных сообщениях. Введенная количественная статистическая мера информации широко используется в теории информации для оценки количества собственной, условной, взаимной и других видов информации. Рассмотрим это на примере собственной информации.

   Под этим будем понимать информацию, которая  содержится в данном конкретном сообщении. В соответствии с этим определением количество собственной информации в сообщении определяется как I() = – log₂ P(). Количество собственной информации измеряется числом бит информации, содержащихся в сообщении . Для нее могут быть сформулированы следующие свойства:

   1.  Собственная информация неотрицательна. Чем меньше вероятность возникновения сообщения, тем больше количество информации, содержащейся в нем. Если сообщение имеет вероятность возникновения, равную единице, то получаемая с ним информация равна нулю, так как заранее известно, что может прийти только это сообщение, и выявление данного сообщения не несет потребителю никакой информации.

   2.  Собственная информация обладает свойством аддитивности. Для доказательства этого рассмотрим ансамбль из множества сообщений (X, У). Найдем количество собственной информации для пары сообщений , y_0i:

   I( , y_0i) = – log₂ P ( , y_0i).

   Если  сообщения , y_0i статистически независимы, то Р( , y_0i) = Р() Р(y_0i). Количество информации в двух сообщениях составит

   I( , y_0i) = – log₂ Р() – log₂ Р(y_0i) = I() + I(y_0i).

   Таким образом, количество собственной информации в двух независимых сообщениях равно сумме собственных сообщений. Отметим, что она характеризует сообщение, которое возникает случайным образом из источника, а поэтому является случайной величиной и зависит от номера выбранного сообщения. 
 
 
 

   3 Понятия и свойства энтропии дискретных систем.

   Математическое  ожидание случайной величины собственной  информации называется энтропией. Энтропия рассчитывается на множестве (ансамбле) сообщений Хо либо на множестве символов Х и физически определяет среднее количество собственной информации, которое содержится в элементах множества (либо сообщений, либо символов). Для источника сообщений случайная величина собственной информации принимает значения I(), I(), …, I(),…,I() с вероятностями Р(), Р(), …, Р(),…,Р() соответственно.

   Среднее количество (математическое ожидание) собственной информации, содержащейся в ансамбле сообщений Хо, т.е. энтропия этого ансамбля, составит

   где М – множество сообщений в ансамбле X₀. Содержательно энтропия H(X₀) показывает количество двоичных единиц информации, которая содержится в любом сообщении из множества X₀.

   Следует отметить, что понятие энтропии исторически  использовалось для оценки меры неопределенности состояния любой системы. Чем больше энтропия системы, тем больше неопределенность ее состояния и тем большую информацию получаем, когда эта неопределенность снимается. Энтропия как количественная мера информации обладает следующими свойствами [48]:

   1. Функция энтропии является непрерывной  относительно вероятности возникновения событий и для дискретных событий имеет наибольшее значение при равной вероятности их появления. Если возможно появление лишь одного события, то априорной неопределенности нет, поэтому количество информации и энтропия равны нулю;

   2.  При равновероятных событиях функция энтропии возрастает с увеличением числа событий в ансамбле, а поэтому для повышения информативности символов необходимо увеличивать основание системы счисления используемого кода;

   3.  Функция энтропии не зависит от пути выбора событий. Это свойство вытекает из аддитивности статической меры информации и, как следствие, аддитивности функции энтропии;

   Теперь  перейдем к понятиям «энтропия источника» и «энтропия сообщения». При кодировании важно обеспечить выбор кода, который оптимально согласуется с источником. Это согласование возможно по критерию энтропии источника. Под энтропией источника обычно понимают количество информации, которая в среднем содержится в одном символе кода. Если код имеет основание системы счисления К, то энтропия источника, т.е. среднее количество информации, содержащейся в символе кода, составит

   Содержательно энтропия источника показывает, сколько  двоичных единиц информации переносится в среднем в одном символе кода. Для повышения информативности источника необходимо стремиться к равно вероятности символов. В этом случае для не избыточного кода в одном символе передается двоичная единица информации. С введением избыточности информативность символа уменьшается, но появляются возможности, связанные с обнаружением и исправлением ошибок, что обеспечивает требуемую помехоустойчивость передачи сообщений. Среднее количество информации, содержащееся в сообщении, называется энтропией сообщения и определяется в виде

   Видно, что энтропия сообщения представляет собой математическое ожидание собственной информации, содержащейся в ансамбле сообщений Х_о. Таким образом, энтропия является универсальной статистической характеристикой, позволяющей оценить количество информации, которая содержится в любом ансамбле дискретных событий.

   Понятие энтропии применимо и к непрерывным событиям. В системах обработки информации и управления значительная доля информации имеет непрерывный характер и выражается в виде непрерывной функции от времени. В этом случае возникает задача передачи непрерывной информации в виде непрерывных сообщений по каналам связи. Непосредственная передача непрерывных сообщений без преобразования возможна лишь на незначительные расстояния. С увеличением расстояний осуществляют операцию дискретизации информации. Для этого вводят квантование по времени и по уровню. Непрерывная функция передается в виде совокупности мгновенных либо квантовых отсчетов, выбранных с различными интервалами по времени. Оценим количество информации, которая содержится в одном отсчете непрерывной функции, и найдем общее выражение для энтропии непрерывных событий.

   Пусть имеет место непрерывная информация, представленная в виде непрерывной  функции x(t) с известной плотностью распределения вероятностей амплитудных значений W(x). Разобьем область значений функции на К уровней с интервалом квантования Δх, тогда получим уровни х₁, x₂ , …, x_j , …, х_k . При достижении функцией х(t) некоторого уровня x_j и передаче этого уровня по каналу связи количество передаваемой информации может быть определено с помощью функции энтропии H(x_j), если известна вероятность возникновения отсчета Р(x_j). Для нахождения вероятности Р(x_j) построим плотность распределения W(x) и отметим отсчеты функций  х₁, x₂ , …, x_j (рис. 1.3). Вероятность отображена заштрихованной на рис.1.3 площадью под кривой W(x). Для упрощения расчетов заменим эту площадь другой площадью эквивалентного прямоугольника с основанием Δх и высотой W(x_j), тогда вероятность Р(x_j) = W(x_j) Δх. Отсюда количество собственной информации, содержащейся в отсчете x_j, составит

   Рисунок 3.1. Зависимость плотности распределения вероятностей W(x) от уровня амплитуды X  

   Энтропия  отсчета определяет количество информации, которая передается отсчетом функции x_j. С уменьшением шага дискретизации Δх, т.е. при Δх → 0, можно найти lim H(x_j), т.е. предварительное значение

   Учитывая, что исходная функция x(t) непрерывна и может изменяться в неограниченных пределах, найдем энтропию непрерывного сообщения как сумму энтропии отсчетов в виде

   Второе  слагаемое содержит член Iog₂ Δх, который не рассчитывается, так как с уменьшением Δх он может стать бесконечно большой величиной. Обычно определяют так называемую дифференциальную или приведенную энтропию в виде

   Таким образом, понятие энтропии применимо и для оценки среднего количества информации, которая содержится в непрерывном сообщении. Однако пользоваться выражением энтропии для непрерывных сообщений следует крайне осторожно, учитывая неопределенность второго слагаемого выражения, особенно при малых значениях шага квантования Δх.

   В целом в отношении энтропии непрерывного сообщения можно сделать следующие выводы:

   1.  Дифференциальная энтропия определяется статистикой отсчетов непрерывной функции. Можно показать, что при постоянной дисперсии отсчетов наибольшее количество информации соответствует непрерывным сообщениям, отсчеты которых распределяются по нормальному закону;

   2.   Энтропия зависит от  амплитуды  исходной  непрерывной функции х и шага ее квантования Δх. На практике реализуют системы с равномерным и неравномерным шагом квантования, с передачей отклонения функции от математического ожидания и др.  

   Это позволяет в конкретных условиях повысить скорость передачи информации в непрерывном канале.

   Таким образом, статистическая теория позволяет дать плодотворные оценки количества информации для такого важного этапа информационного процесса в системе, как передача. Заложенные еще К. Шенноном принципы количественной оценки на основе функции энтропии сохраняют свою значимость до настоящего времени и являются полезными при определении информативности символов и сообщений и при оценке оптимальности построения кода на основе критериев избыточности.

   В современных системах обработки  информации и управления существенное место занимает подготовка информации для принятия решения и сам процесс принятия решения в системе. Здесь существенную помощь может оказать семантическая теория, позволяющая понять смысл и содержание информации, выражаемой на естественном языке. С увеличением объема и сложности производства количество информации, необходимое для принятия безошибочного решения, непрерывно возрастает. В этих условиях необходимо осуществлять отбор информации по некоторым критериям, т.е. предоставлять руководителю либо лицу, принимающему решение, своевременную и полезную информацию. С учетом ошибок, которые могут возникать в информации в связи с действиями оператора, отказами технических средств в др., избыточность допускается лишь как средство борьбы с ошибками. В этом смысле можно считать, что избыточность способствует сохранению ценности информации, обеспечивая требуемую верность. В рамках семантического подхода ценность информации можно задать через функцию потерь. Если в процессе подготовки информации исходная величина х отображается через величину у, то минимум потерь можно установить как

   е Р(х) — распределение входной величины х; П(х / у) — потери при преобразовании входной величины х в величину у.

   Отсюда  ценность информации определяется как

   где М{П(х / у)} — математическое ожидание потерь при отклонении от входной величины х к величине у.

   Следует отметить, что данная интерпретация  ценности имеет сугубо технический  характер. Конструктивным выходом из нее является такое разбиение входной величины х, при котором удается максимизировать ценность. В общем случае ценность информации, поступающей от материального объекта, является функцией времени. Анализ информации, используемой для принятия решения в реальных системах, позволил найти функции ценности. Эти функции задают предельные временные интервалы, в течение которых имеет смысл использовать данную информацию. При принятии решения обычно используется информация не только о материальном объекте, но и об условных распределениях критериальных оценок последствий различных альтернативных решений. В этом случае резко уменьшается число предпочтительных альтернатив и удается принять решение, базируясь на качественно неполной информации. В ряде практических случаев решение принимается с использованием субъективных критериев, при этом приходится применять большой объем информации, ужесточать требования к согласованности и непротиворечивости исходной информации. Принцип принятия решений по своей методологии требует сохранения содержания качественных понятий на всех этапах использования информации при общей оценке альтернативных решений. Кроме того, исключается сложная информация, при работе с которой лицо, принимающее решение, должно иметь дело с громоздкими задачами. Используют замкнутые процедуры выявления предпочтений, т.е. процедуры, в которых имеется возможность проверить предпочтение на непротиворечивость и транзитивность. Можно отметить, что семантическая теория требует дальнейшей серьезной проработки, однако уже сейчас при принятии решений существует ряд методов, позволяющих оценивать смысловое содержание информации. 
 
 
 

                                                   Заключение 

     В процессе отражения между состояниями  взаимодействующих объектов возникает  определенная связь. Информация как  результат отражения одного объекта другим выявляет степень соответствия их состояний, а поэтому важными оказываются именно количественные характеристики информации. Некоторое количество информации можно рассматривать с трех основных точек зрения:

     с поведенческой точки зрения создание порции информации осуществляется по некоторой причине, а получение этой информации может привести к некоторому результату (наблюдаемому действию или мыслительной операции);

     с математико-лингвистической точки  зрения порция информации может быть описана путем соотнесения ее с другой информацией, указания ее смысла и структуры;

     с физико-технической точки зрения рассматриваются физические аспекты  проявления информации - ее материальный носитель, разрешающая способность  и точность, с которыми она фиксирует, количество информации, которое производится, передается или принимается и т.д.