Тема 1: «Энтропия и  информация, их определение  и анализ» 
 
 
 
 
 

    Содержание:

   1. Функциональная  природа энтропии

    Понятие энтропии было введено Р. Клаузиусом, сформулировавшим второе начало термодинамики, согласно которому переход теплоты от более холодного тела к более теплому не может происходить без затраты внешней работы.

    Позднее Р. Больцман дал статистическую трактовку  энтропии через вероятность нахождения молекул идеального газа в некоторой  фиксированной ячейке фазового пространства. В этой трактовке, ставшей для нас привычной, понятие энтропии играет существенную роль как своеобразная мера упорядоченности физической системы.

    Сам факт, что изучение порядка оказывается  возможным в терминах случайных событий, весьма любопытен с методологической точки зрения. В самом деле, с понятием порядка, упорядоченности связывают обычно наличие строгой закономерности в расположении элементов системы, жесткой детерминации отношений и связей между ними. Порядок исключает хаос. Но вот оказывается, что упорядоченность можно оценить и измерить лишь при условии, что система будет описываться как статистический объект, в котором допускаются хаос и неразбериха. Другими словами, порядок предполагает хаос.

    Глубокая  связь между понятиями порядка и хаоса, организации и дезорганизации послужила сильнейшим стимулом к проведению целого ряда серьезных исследований понятия энтропии и ее роли как в области физических явлений, так и в мире живой природы.

    Энтропия  характеризует определенную направленность процесса в замкнутой системе. В соответствии со вторым началом термодинамики возрастанию энтропии соответствует направление теплового потока от более горячего тела к менее горячему. Непрерывное возрастание энтропии в замкнутой системе происходит до тех пор, пока температура не выровняется по всему объему системы. Наступает, как говорят, термодинамическое равновесие системы, при котором исчезают направленные тепловые потоки и система становится однородной.

    Абсолютное  значение энтропии зависит от целого ряда физических параметров. При фиксированном объеме энтропия увеличивается с увеличением температуры системы, а при фиксированной температуре увеличивается с увеличением объема и уменьшением давления. Нагревание системы сопровождается фазовыми превращениями и снижением степени упорядоченности системы, поскольку твердое тело переходит в жидкость, а жидкость превращается в газ. При охлаждении вещества происходит обратный процесс, упорядоченность системы возрастает. Эта упорядоченность проявляется в том, что молекулы вещества занимают все более определенное положение относительно друг друга. В твердом теле их положение фиксировано структурой кристаллической решетки (с точностью до колебательного процесса, интенсивность которого зависит от температуры тела).

    Следует подчеркнуть, что формальное определение  энтропии само по себе не опирается  на субстанциональные характеристики систем. Другими словами, вовсе не важно, из чего построена система. Зато важно, как она себя ведет: является ли ее поведение детерминированным, однозначно определенным или существенную роль играют случайные процессы. Легко поэтому понять, почему энтропия оказывается важной категорией также за пределами физики, в отраслях науки, где изучаются вероятностные процессы, в том числе в теории информации.

    Математическая  теория информации ведет свое летосчисление  от работ Н. Винера и К. Шеннона, появившихся  в конце 50-х гг. Теория была построена  на базе статистических методов. Понятие  энтропии играет в ней центральную  роль как мера информации, точнее, как мера неопределенности. Снятие неопределенности (уничтожение энтропии) трактуется как акт получения информации. Где появляется информация, там исчезает энтропия.

    Предположим, мы наблюдаем поведение некоторой  системы и нам известно, что в следующий момент (скажем, через 1 мин) система может оказаться в одном из N состояний с вероятностями соответственно р1, p2,..., PN, причем

    Обычное определение энтропии для этого случая:

    В следующий момент (в момент наблюдения) система будет в одном из N состояний  и энтропия обратится в нуль.

    Из  данного примера видно, что энтропия характеризует как бы меру неопределенности будущего события, будущего поведения системы. С этой точки зрения упорядоченность любой системы может трактоваться как мера предсказуемости ее будущего.

    Таким образом, говоря об энтропии, мы неявно определяем (и количественно измеряем) отношение системы к самой себе, взятой в другой момент (или другие моменты) времени. Энтропия выступает здесь как поведенческая характеристика системы, определенным образом взаимодействующей с наблюдателем. Полученная ситуация в известной степени сходна с той, которая возникает в квантовой механике, где истолкование вероятностного поведения микрочастиц связывается с особенностями макроскопических средств наблюдения/Аналогия усиливается если принять во внимание, что акт получения информации по своей природе дискретен и сводится к регистрации событий в терминах "да-нет". При получении информации энтропия исчезает скачком, напоминая акт мгновенного сжатия (редукция) волновой функции при попадании микрочастицы на регистрирующую фотопластинку. Не будем настаивать на том, что данная аналогия позволяет свести квантовомеханические процессы к информационным. Такое сведение было бы скорее всего неправильным. Во всяком случае, ясно одно: информационные процессы, как и квантовомеханические, имеют функциональную природу и должны рассматриваться прежде всего с позиции функционального подхода.

    Предположим теперь, что вероятности р1, p2,..., pN характеризуют поведение системы  в любой момент времени. Это могут  быть, например, предельные вероятности марковской цепи, достигшей равновесия. Предполагается, что над системой не проводится актов наблюдения. Но если такой акт проведен, то марковская цепь возвращается к исходному состоянию и вновь приходит к равновесию лишь по истечении достаточно большого количества времени. В течение этого времени ее энтропия возрастает от нулевого значения до максимальной величины Н, определяемой предельными вероятностями. В равновесии система ведет себя так, что с вероятностью pi пребывает в i-м состоянии. Образно выражаясь, она проводит в i-м состоянии pi-ю часть своего времени. Мы говорим, что Η; характеризует меру упорядоченности системы. Если бы все свое время система проводила в одном состоянии, то соблюдалось бы Η = 0, независимо от того, в каком из N состояний она фактически находилась.

    В качестве меры упорядоченности системы  удобно использовать введенную Шенноном величину "избыточности":

    R = 1 – H/Hmax

    При Η = 0 получаем R = 1. Если все состояния  системы одинаково предпочтительны, т.е. р1 = р2 = ... = PN = 1/N, то R = 0 (минимальная упорядоченность).

    В целях более наглядного представления  энтропию можно рассматривать как  измеренное в логарифмической шкале  число предпочтительных состояний  системы, т.е. совокупность состояний, в которых система пребывает подавляющую часть своего времени. Определим это число формулой n – 2Н. Число предпочтительных состояний n равно 1, если система проводит все свое время в одном состоянии (H = 0). При H = Hmax = log2N все состояния системы одинаково предпочтительны и n = N.

    С упорядоченностью системы нередко  связывают (или даже отождествляют) понятие организованности. Некоторые  авторы используют для оценки степени  организованности шенноновскую "избыточность" R. В одной из работ введены  даже три критерия. Наряду с критерием R, который авторы называют мерой относительной организованности, вводится также критерий абсолютной организованности системы, определяемый величиной Rабс = RHmax Третий критерий dH/dt вводится для оценки направления и скорости организационной эволюции системы. Следуя за Г. Ферстером, авторы делят системы (в соответствии со значением третьего критерия) на термодинамические (dH/dt > 0), механические (dH/dt = 0) и самоорганизующиеся (dH/dt < 0).

    Если  использовать формулу для числа  предпочтительных состояний, то легко показать, что упомянутый выше критерий абсолютной организованности Rабс определяет долю предпочтительных состояний относительно максимально возможного их числа:

    Увеличение  абсолютной организованности ведет  к резкому уменьшению доли состояний, в которых фактически пребывает  система. Так, стремясь повысить свою организованность, живые системы движутся в направлении  к своим предпочтительным состояниям, определяемым гомеостатическим равновесием.

    Следует, однако, отметить, что анализ конкретных организационных структур при помощи энтропийных критериев не привел к сколько-нибудь интересным результатам. И это, по-видимому, не случайно. Одна из причин заключается в том, что энтропия – слишком общая характеристика системы, не учитывающая специфических особенностей конкретных организационных структур. Имеются и другие причины более принципиального свойства. Одна из них – функциональная природа энтропии. Будучи функциональной характеристикой системы, энтропия, вообще говоря, не затрагивает внутренних структурных особенностей системы, а определяет черты ее поведения в целом. С этой причиной тесно связана вторая – зависимость величины энтропии от наблюдателя. Как уже говорилось, акт наблюдения приводит к понижению энтропии системы за счет превращения ее в информацию. В частности, марковская цепь, находящаяся в равновесии, переводится актом наблюдения в исходное (неравновесное) состояние. При этом энтропия обращается в нуль и мы, казалось бы, должны признать, следуя энтропийным оценкам организованности, что организация системы выросла до максимально возможного значения, хотя с системой как таковой ровным счетом ничего не произошло. По аналогичным соображениям нам пришлось бы признать, что фотография какой-либо статистической системы (например, газового облака) имеет гораздо более высокую организацию, чем сама система. Учитывая, что энтропия системы уменьшается при уменьшении температуры, можно прийти к абсурдному заключению, что труп человека, замерзшего в степи, более организован, чем живой человек.

    При приближении к абсолютному нулю всякое вещество, в соответствии с  известной теоремой Нернста, приходит в состояние с наименьшей энтропией. Причем энтропия не меняется ни при каких изменениях других термодинамических параметров. Упорядоченность вещества достигает при этом максимальной степени, но сказать то же самое об уровне его организованности, как мы интуитивно себе представляем это понятие, очевидно, нельзя.

    Оценка  упорядоченности с помощью энтропии также имеет свои особенности. Упорядоченность здесь оценивается лишь в смысле однозначной определенности состояний. Неподвижная груда кирпичей и построенный из кирпичей дом могут оказаться одинаково хорошо упорядоченными с точки зрения энтропийной оценки, поскольку в обоих случаях положение кирпичей фиксировано, однозначно определено.

    Действительное  значение энтропийные оценки приобретают  там, где к системам по тем или  иным причинам применяются статистические методы. В этом случае состояние системы, определяемое в терминах, описывающих систему параметров, приобретает известную неопределенность, которая может быть измерена с помощью энтропии. При определенных способах поведения систем эта неопределенность может возрастать или убывать. Максимальная неопределенность достигается в случае, когда все возможные состояния системы становятся равновероятными. Это легко доказывается чисто математически, применением методов оптимизации (например, с помощью метода множителей Лагранжа). С этой точки зрения тепловое равновесие в системах может рассматриваться как термодинамический оптимум по критерию Η; → max. Стремление замкнутых систем перейти в состояние термодинамического оптимума составляет смысл второго начала термодинамики.

    Отталкиваясь от термодинамических аналогов, мы привыкли думать, что увеличение энтропии всегда свидетельствует о деградации системы. Можно, однако, привести пример, когда деградация системы сопровождается не увеличением, а уменьшением энтропии. Причем это уменьшение вполне закономерно. Все зависит от того, в каких параметрах определено состояние системы и что мы вкладываем в понятие деградации.

    Предположим, что наш объект исследования –  это множество людей, проживающих  в условиях региональной замкнутости (например, на острове). И допустим, что мы интересуемся распределением населения по возрастам, т.е. хотим знать функцию n (τ), где n – число людей, имеющих возраст τ. Тогда вероятность, что наудачу взятый индивид имеет возраст τ, равна p (τ) = n(τ)/Ν;, где N – общая численность населения острова в некоторый начальный момент времени. Величина неопределенности, которую мы вводим в результате такого статистического подхода, определяется энтропией

    Предположим далее, что по каким-то причинам рождаемость  на острове постепенно падает. Тогда  численность населения острова  будет постепенно убывать, а средний  возраст населения постепенно увеличиваться. В конце концов на острове останутся  одни старики. Что же произойдет с энтропией? Легко убедиться, что она будет постепенно убывать, в пределе стремясь к нулю. Это уменьшение закономерно, если для падения рождаемости существуют какие-то веские причины.

    Если  бы вместо параметра "возраст" мы ввели другой параметр (например, "пол"), то получили бы иной аспект исследования, иную статистику. Тогда энтропия определялась бы в терминах вероятности, что наудачу взятый индивид имеет мужской (или женский) пол. Вполне возможно, что в этом случае тоже выполнялся бы закон уменьшения энтропии. Однако падения рождаемости для этого уже недостаточно. Дополнительно необходимо, чтобы средняя продолжительность жизни для разных полов была различной.