Информационные системы – объект применения основных принципов и методов теория информации

Вводная лекция. Цели и задачи курса «Теория информации», ее место в учебном процессе. Краткая историческая справка. Терминология.

 

Эффективная организация обмена информации приобретает  все большее значение как условие  успешной практической деятельности людей. Объем информации необходимый для нормального функционирования общества растет примерно пропорционально квадрату развития промышленного потенциала. Доля рабочей силы занятой вопросами обеспечения информацией начинает превышать долю рабочей силы занятой непосредственно в производстве. Поэтому науки изучающие структуру и закономерности протекания информационных процессов, к числу которых относится и теория информации в такой ситуации становиться исключительно актуальной.

Информация  наряду с материей и энергией является первичным понятием нашего мира и  поэтому в строгом смысле не может  быть определена. Можно лишь перечислить  ее основные свойства, например такие  как:

1) информация  приносит сведения, об окружающем  мире которых в рассматриваемой точке не было до ее получения;

2) информация  не материальна, но она проявляется  в форме материальных носителей  дискретных знаков или первичных  сигналах;

3) знаки и  первичные сигналы несут информацию  только для получателя способного  распознать.

Вместе с  тем слово информация является одним  из тех терминов, которые достаточно часто встречаются не только в  научных трудах специального характера, но и во множестве обиходных ситуаций и являются интуитивно понятными каждому человеку. При этом в узком практическом смысле под информацией обычно понимают совокупность сведений об окружающем мире являющихся объектом хранения, передачи и преобразования.

Знаки или  первичные сигналы, организованные в последовательности несут информацию не потому, что они повторяют объекты  реального времени, а по общественной договоренности об однозначной связи  знаков и объектов, например: предметы и слова для их обозначения. Кроме того, первичные сигналы могут быть порождены естественными законами реального мира, например: напряжение на выходе термопары под действием температуры.

Информация, основанная на однозначной связи  знаков или сигналов с объектами  реального мира, называется семантической или смысловой. Информация, заключенная в характере (порядке и взаимосвязи) следования знаков сообщающей называется синтаксической. Также в общей науке о знаках (семиотики) кроме перечисленных выделяют сигматический и прагматический аспекты информации. В первом случае изучается вопрос о выборе знаков для обозначения объектов реального мира, во втором случае о ценности информации для достижения поставленных целей.

Очевидно, что  наибольший практический интерес представляют смысловой и семантический и  прагматический аспекты. Однако до сих  пор не определены объективные количественные критерии меры ценности и полезности информации. В курсе теории информации изучаются проблемы синтаксического уровня касающихся создания теоретических основ построения систем связи, основные показатели функционирования которых были бы близки к предельно возможным.

Иначе говоря, рассмотрению подлежат вопросы доставки получателю информации как совокупность из знаков. При этом последовательностью игнорируются смысловое и прагматическое ее содержание. Синтаксическая мера информации имеет практическую ценность потому, что интересующая в конечном итоге получателя семантическая информация заключена в заданной последовательности знаков или первичных сигналов. Чем больше знаков передаются в определенный интервал времени, тем в среднем больше передается и смысловой информации. Теория информации представляет собой ветвь статистической теории связи. Для того чтобы более конкретно обозначить предмет этой науки введем некоторые понятия и определения.

Информация  передается, и храниться в виде сообщений. Под сообщением понимают совокупность знаков или первичных  сигналов содержащих информацию. Иначе говоря, сообщение - это информация представленная в какой-либо форме. Пример сообщений: текст, данные ЭВМ, речь, музыка и т.д.

Для того чтобы  сообщение можно было передать получателю, необходимо воспользоваться некоторым  физическим процессом, способным с  той или иной скоростью распространяться от источника к получателю сообщения. Изменяющийся во времени физический процесс, отражающий передаваемое сообщение называется сигналом.

Сообщения могут  быть функциями времени (когда информация представлена в виде первичных сигналов: речь, музыка) и не является ими (когда информация представлена в виде совокупности знаков).

Сигнал всегда является функцией времени. В зависимости  от того, какие значения могут принимать  аргумент и уровни сигналов их делят  на 4 типа.

1) Непрерывный  или аналоговый сигналы (случайные  сигналы этого типа называются  непрерывными случайными процессами).

2) Дискретизированный  или дискретно непрерывные сигналы  (случайные сигналы этого типа  называют процессами с дискретным  временем или непрерывными случайными последовательностями). Они определены лишь в отдельные моменты времени и могут принимать любые значения уровня. Временной интервал Δt между соседними отсчетами называется шагом дискретизации. Часто такие сигналы называют дискретными по времени.

3) Дискретные  по уровню или квантованные  сигналы (случайные сигналы этого  типа называют дискретными случайными  процессами). Они определены для  всех моментов времени и принимают  лишь разрешенные значения уровней  отделенные от друг друга на  величину шага квантования Δx=x_k+1 - x_k

4) Дискретные  по уровню и по времени сигналы  (случайные сигналы этого типа  называют дискретными случайными  последовательностями). Они определены лишь в отдельные разрешенные моменты времени.

Совокупность  технических средств используемых для передачи сообщений от источника  к потребителю информации называется системой связи. Общая схема системы  связи представлена на рисунке 1.

Рисунок 1 - Общая  схема системы связи

Она состоит  из 5 частей:

1) Источник  сообщений создающий сообщения  или последовательность сообщений, которые должны быть переданы. Сообщения могут быть разных типов: последовательность букв или цифр как в системах передачи данных.

2) Передатчик, который перерабатывает некоторым  образом сообщения в сигналы  соответственного типа характеристиками  используемого канала.

3) Канал - это комплекс технических средств,  обеспечивающий передачу сигналов  от передатчика к приемнику. 

Линией связи  называется среда, используемая для  передачи сигнала от передатчика к приемнику. Это может быть, например: пара поводов, кабель, область распространения радиоволн, световод и т.д.

4) Приемник  восстанавливается сообщение по  сигналам. Сложность построения приемника обусловлена изменением формы принимаемых сигналов, что связано с наличием шума.

5) Получатель  это лицо или аппарат, для  которого предназначено сообщение. Процесс преобразования сообщения в сигнал, осуществляющий в передатчике и обратный ему процесс, реализующий в приемнике назовем соответственно кодированием и декодированием.

Тогда круг проблем составляющих основное содержание теории информации можно охарактеризовать как исследование методов кодирования  для экономического представления  сообщений различных источников сообщений и для надежной передачи сообщений по каналам связи с шумом.

В основе теории информации лежит статистическое описание источников сообщений и каналов  связи, а так же базирующееся на этом описании измерении количества информации между сообщениями определенного  только вероятностными свойствами сообщений и не от каких других их свойств независящих. На основе теории информации можно ответить на вопросы о предельных возможностях различных систем, определить в какой мере проектируемая система уступает теоретически возможной.

Контрольные вопросы:

1. Определите основные задачи теории информации.
2. Определите понятие информации
3. Приведите основные типы сигналов и их графики.
4. Перечислите основные элементы системы связи
5. Приведите основное содержание курса «Теория информации»

 

Лекция 1. Информационные системы – объект применения основных принципов и методов теория информации.

Понятие информационной системы (ИС). Этапы  обращения информации в ИС. Энтропия. Основные свойства энтропии. Энтропия объединения.

Информационная  система - система сбора, хранения. обновления, передачи, обработки и выдачи информации, необходимой для управления объектом.

Задачами  информационной системы являются:

1. Обеспечение  информацией о происходящем внутри  системы, а также за ее пределами.

2. Обеспечение  информацией о правилах решения. 

3. Регистрация,  анализ и оценка данных о  среде объекта. 

4. Наблюдение  за ходом управляемых процессов,  получение, анализ и оценка  данных о реальном состоянии  управляемой системы.

5. Обеспечение  ввода данных и обработка данных.

6. Извлечение  из обработанных данных в нужной  форме и необходимом объеме  информации для принятия решений.

7. Получение  административной и мотивационной  информации для принятия решения. 

8. Контроль  за выполнением принятых решений. 

В ИС существуют следующие этапы обращения информации:

1) Этап восприятия  информации.

2) Этап подготовки  информации.

3) Этап передачи  и хранения информации.

4) Этап обработки  информации.

5) Этап отображения  информации.

Основные  меры информации. Важнейшим вопросом теории информации является установление меры количества и качества информации.

Предположим, что источник сообщений может  в каждый момент времени случайным  образом принять одно из конечного  множества возможных состояний. Каждому состоянию источника U ставиться в соответствие условное обозначение в виде знака. Совокупность знаков u₁, u₂,:,u_i,:,u_N соответствующих всем N возможным состояниям источника называют его алфавитом, а количество состояний N объемом алфавита. Формирование таким источником сообщений сводиться к выбору им некоторого состояния u_i и выдачи соответствующего знака. Таким образом, под элементарным дискретным сообщением будем понимать символ u_i выдаваемое источником, при этом в течение некоторого времени Т источник может выдать дискретное сообщение в виде последовательности элементарных дискретных сообщений, представляющей сбой набор символов u_i (например, u₅, u₁, u₃) каждый из которых имеет длительность t_i секунд. В общем случае он храниться дискретным ансамблем U т.е. полной совокупностью состояний с вероятностями их появления, составляющими в сумме 1.

, , (1)

где P(u_i) это вероятность выбора источником состояния u_i.

При выдаче источником сообщений в виде последовательности элементарных дискретных сообщений, полным вероятностным описанием является вероятность совместного появления набора различных символов u_i в момент t₁, t₂,...,t_n, где n - длина последовательности .

Располагая  такими сведениями об источнике можно  вычислить вероятность любого отрезка сообщения длиной меньше n. Если функция не меняется во времени, если она при любых t, то источник называется стационарным. Если при определении вероятностных характеристик стационарного источника усреднение по ансамблю можно заменить усреднением по времени, то такой источник называется эргодическим. Вероятностные свойства эргодического источника можно оценить, рассматривая лишь одну его достаточно длинную реализацию.

В каждом элементарном сообщении содержится для его получателя определенная информация совокупность сведений о состоянии дискретного источника сообщения. Определяя количественную меру этой информации, мы совершенно не будем учитывать ее смыслового содержания, так же ее значения для конкретного получателя. Очевидно, что при отсутствии сведений о состоянии источника имеется неопределенность относительно того, какое сообщение u_i из числа возможных им выбрано, а при наличии этих сведений данная неопределенность полностью исчезает. Естественно количество информации содержащейся в дискретном сообщении измерять величиной исчезнувшей неопределенности. Введем меру этой неопределенности, которую можно рассматривать и как меру количественной информации. В качестве меры неопределенности источника с равновероятными состояниями и характеризующего его ансамбля U принять логарифм объема алфавита источника

H(U) = log N  (2).

Легко видеть, что:

1. с ростом N величина H(U) монотонно возрастает.
2. в случае если объем алфавита источника N равен 1, т.е. когда неопределенность отсутствует,

H(U) = log 1 = 0.

3. величина H(U) обладает свойством адетивности, поскольку

log(N∙M) = log(N) + log(M).

Впервые данная мера была предложена Хартли в 1928г. В  общем случае, когда вероятности  различных состояний источника  не одинаковы, степень неопределенности конкретного состояния зависит не только от объема алфавита источника, но и от вероятности этого состояния. В такой ситуации количество информации, содержащееся в одном дискретном сообщении u_k целесообразно определить как функцию вероятности появления этого сообщения P(u_k) и характеризовать величиной