Основы теории информации

Новосибирский государственный педагогический  университет

 Факультет ИФМИЭО

Кафедра информатики и дискретной математики 
 
 
 
 
 
 
 
 
 
 
 
 

КУРСОВАЯ  РАБОТА

 

Основы теории информации. 
 
 
 
 
 
 
 
 
 

  Выполнила:

Студентка  4 курса

ОЗО  ИФМИЭО

Специальность: информатика

Ботяновская Н.В. 
 
 

Научный руководитель:

Трофимова С.В. 
 
 
 
 
 
 

Новосибирск – 2011

Оглавление

Введение

1. Теория информации.
2. Понятие информации и информационных процессов.
3. Свойства, виды и формы представления информации.
4. Подходы к измерению информации. Формула Хартли и формула Шеннона.

Заключение.

Список  литературы.

Приложения. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Введение. 

    В условиях развития информационного  общества, постоянного роста использования  информационных технологий все большее  значение приобретает способность человека грамотно представлять информацию. Изучение вопросов представления информации становится неотъемлемой частью общеобразовательной подготовки ученика к жизни. Сформированные умения представлять информацию важны в любой области знания, в практической деятельности. 

    Понятие информация является одним из фундаментальных  в современной науке вообще и  базовым для информатики. Информацию наряду с веществом и энергией рассматривают в качестве важнейшей  сущности мира, в котором мы живем. Однако, если задаться целью формально определить понятие «информация», то сделать это будет чрезвычайно сложно.

    По  современным представлениям информация является одной из исходных категорий  мироздания наряду с материей и энергией. Эти категории взаимосвязаны  между собой; усмотреть такие связи можно как в природных явлениях, так и в явлениях и процессах. Примерами природных явлений, в которых проявляются связи между материей, энергией и информацией, могут служить:

• переход из кристаллического состояния твердого тела в жидкое – в нем, наряду с материальными преобразованиями и энергетическими затратами, происходит потеря информации относительно расположения атомов;
• передача наследственных признаков в живой природе посредством информации, заключенной в молекулы ДНК;
• условные и безусловные рефлексы – это информация, которая появилась и сохраняется в мозге животного благодаря материальным и энергетическим воздействиям внешней среды.

    Примерами связей материя – энергия –  информация в обществе людей являются:

• любое производство, включающее материальную составляющую, энергетические ресурсы, необходимые для преобразования материальных объектов;
• подготовка новых членов общества – образование – информационный процесс, требующий как материального, так и энергетического обеспечения;
• управление в любой сфере состоит в выработке решений на основе имеющейся информации.

    Можно утверждать, что значимость информации по отношению к остальным категориям возрастает. Именно по этой причине дальнейшее развитие человечества связывают с построением и переходом к новой формации – информационному обществу.

     Таким образом, тема данной работы является актуальной, так как теория информации имеет большое значение в различных  областях человеческого знания, но требует внимательного изучения с целью возможности ее применения в различных ситуациях.

     Целью данной работы является изучение основных понятий теории информации.

     В соответствии с целью, в работе были поставлены следующие задачи:

     -    дать общую характеристику информации;

     - изучить комбинаторный подход  к количественному определению информации;

     - изучить вероятностный подход  к количественному определению  информации;

    - исследовать алгоритмический подход  к количественному определению  информации. 
 
 
 
 
 
 

    Теория  информации.

    Теория  информации как самостоятельная  дисциплина возникла в ходе решения следующей задачи: обеспечить надежную и эффективную передачу информации от источника к приемнику при условии, что передаче этой препятствуют помехи.

    Теория  информации является математической теорией с высокой степенью общности. Она основывается на теории случайных событий, для описания которых применяются понятия вероятность и энтропия. В рамках самой теории вводится понятие информация и устанавливается ее мера – бит. Строится теория информации подобно другим теориям в математике: сначала аксиоматически определяются исходные понятия, а затем из них путем рассуждений доказывается справедливость новых положений или теорем – именно таким путем шел основоположник данной теории Клод Шеннон.

    Как и любая математическая теория, теория информации применима для решения конкретных задач практики. Математическое понятие информации связано с возможностью ее количественного измерения. При этом в теории информации обосновывается энтропийный подход, когда количество информации в сообщении определяется тем, насколько уменьшается неопределенность исхода случайного события. Сообщение несет полную информацию о событии, если оно целиком снимает исходную неопределенность. Важными для передачи и хранения являются количественные характеристики информации и способы их оценки – именно их теория информации и устанавливает.

    Таким образом, теория информации применима  для решения лишь тех практических задач, в которых допустимо игнорирование  смысловой стороны информации. 
 
 
 
 
 
 

    Понятие информации и информационных процессов.

    Термин  «информация»  во многих научных дисциплинах ассоциируется с понятиями сведения, знания, данные, известие, сообщение, управление и др. Общим во всех перечисленных примерах является то, в них существенным и значимым для использования является содержательная сторона информации.

    Информация  – категория нематериальная. Следовательно, для существования и распространения в материальном мире она должна быть обязательно связана с какой-либо материальной основой – без нее информация не может проявиться, передаваться, сохраняться.

    Материальный  объект или среда, которые служат для представления или передачи информации, называют материальным носителем.

    Материальным  носителем информации может быть бумага, воздух, лазерный диск, электромагнитное поле и т.д. При этом хранение информации связано с некоторой характеристикой носителя, которая не меняется с течением времени, например намагниченные области поверхности диска или буква на бумаге, а передача информации – наоборот, с характеристикой, которая изменяется с течением времени, например амплитуда колебаний звуковой волны.

    Изменение характеристики носителя, которое используется для представления информации, называется сигналом, а значение этой характеристики, отнесенное к некоторой шкале  измерений, называется параметром сигнала.

    В таблице приведены примеры процессов, используемых для передачи информации, и связанных с ними сигналов.

 

    Однако  одиночный сигнал не может содержать  много информации. Поэтому для передачи информации используется ряд следующих друг за другом сигналов. Последовательность сигналов называется сообщением.

    Таким образом, от источника к приемнику  информация передается в виде сообщений. Сообщение выступает в качестве материальной оболочки для представления информации при передаче. Следовательно, сообщение служит переносчиком информации, а информация является содержанием сообщения.

    Следующее понятие – информационный процесс. Термин «процесс» применяется в  тех случаях, когда некоторое качество, характеризующее систему или объект, меняется с течением времени в результате внешних воздействий или каких-то внутренних причин.

    Информационный  процесс – это изменение с  течением времени содержания информации или представляющего его сообщения.

    Виды  информационных процессов:

• создание новой информации;
• преобразование информации (обработка);
• хранение информации;
• уничтожение информации;
• передача информации (распространение).

    С передачей информации связаны следующие  понятия – источник и приемник информации.

    Источник  информации – это субъект или  объект, порождающий информацию и  представляющий ее виде сообщения.

    Приемник  информации – это субъект или  объект, принимающий сообщение и  способный правильно его интерпретировать.

               Источники и приемники информации могут быть одушевленными (человек, животное) или неодушевленными (технические устройства, природные явления). 
 
 

    Свойства, виды и формы представления  информации.

      Информация  является частью окружающего нас  мира, т.е. его объектом. И как любой объект информация должна обладать некоторыми свойствами, позволяющими отличать ее от других объектов.

      Можно привести немало разнообразных свойств  информации. Связано это с тем, что в разных науках существует свое определение понятия информации. Соответственно и свойства информации рассматриваются с точки зрения каждой научной дисциплины. Для информатики наиболее важными  представляются следующие свойства: объективность, полнота, достоверность, адекватность, доступность и актуальность.

      Все перечисленные свойства представлены в виде следующей таблицы: