Ассоциативная память Хопфильда

Ассоциативная память Хопфилда позволяет воспроизводить запомненные образы при предъявлении части изображения или искаженных примеров.

Ассоциативная память Хопфилда реализует полносвязную нейронную сеть, в которой каждый нейрон связан со всеми остальными.

Процесс обучения проходит без учителя на основе принципов правила Хэбба.

В наиболее общем виде ассоциативную память можно описать следующим образом.

Сеть  состоит из единственного слоя, все  элементы которого имеют связи по принципу каждый с каждым. Полная матрица  связей модифицируется на этапе обучения при предъявлении каждого образа по правилу Хэбба, заключающегося в усилении связей между одинаково возбужденными нейронами и уменьшении весов между нейронами с различными уровнями возбуждения.

Пусть x_j,...,x_m набор эталонных образов, каждый из которых представляет собой вектор размерностью N (x^h₁,...,х^h_N ).

Традиционно рассматриваются образы, состоящие из бинарных (+1,-1) элементов. Тогда при предъявлении любого из них в качестве ключевого, даже если он искажен под действием шума, должен  воспроизводиться чистый эталонный вектор. В качестве вектора можно  рассматривать любые изображения, в том числе многомерные, или наборы значимых параметров, которые следует запоминать. Под искажением понимается любое изменение одной или нескольких координат вектора.

Для запоминания  формируется матрица межнейронных связей R=[r_ij], размерностью NxN, которая описывается выражением:

 

В индексной  записи это равенство запишется  в виде:

 

Полученная  в результате такого обучения матрица  связей способна обеспечить восстановление искаженных образов. Для этого воспроизводимый  образ умножается на матрицу связей с последующей пороговой обработкой. Воспроизведение образа заключается  в умножении 

матрицы на вектор-изображение с последующим  поэлементным применением нелинейной пороговой операции:

где пороговая  функция f от двух параметров определяется  соотношением:

 

Эта операция синхронно (одновременно для всех элементов  образа) повторяется до тех пор, пока элементы не перестанут изменяться. При  этом на выходе появляется воспроизводимый  образ.

Доказано [223], что как в синхронном, так  и в несинхронном  случае ассоциативная  память является стабильной. Это следует  из  рассмотрения соответствующей  ей функции Ляпунова.

Максимальное  количество образов М_max , которое может быть  запомнено в ассоциативной памяти первого порядка, определяется  выражением [285]:

 

Традиционную  ассоциативную память можно условно  представить в виде следующей  схемы (рис. 2.22,а).

 

Ассоциативная память второго порядка [216] можно  изобразить в виде аналогичной схемы (рис. 2.22,6).

В индексной  записи это равенство запишется  в виде:

где матрица  R=[r_ij] является матрицей связей второго порядка размерностью NxNxN.

Аналогично  можно определить ассоциативную  память третьего порядка [216]:

где R = [r_ijkl] является матрицей связей третьего порядка размерностью NxNxNxN.

Такое определение допускает прямое обобщение порядка ассоциативной памяти вплоть до (N -1).

Воспроизведение образа проводится согласно выражению:

При обобщенном воспроизведении второго порядка  объединяются отклики первого и второго порядков:

Энергетическая  функция для ассоциативной памяти высших порядков обобщенного вида определяется в виде [137]:

где х - начальный образ, a x_h - h -й образ, запомненный системой, g - порядок ассоциативной памяти. Показано, что ассоциативные памяти всех порядков устойчивы при асинхронном режиме работы, а при всех нечетных порядках устойчивость обеспечивается и в синхронном режиме.  

Доказано, что при синхронном функционировании в случае симметричной положительно определенной матрицы весов, процесс воспроизведения устойчив и сходится к функциональному состоянию сети, реализующему минимум некоторой энергетической функции.  

 

Билет 5

1.

Формальный нейрон

Биологический нейрон — сложная система, математическая модель которого до сих пор полностью не построена. Введено множество моделей, различающихся вычислительной сложностью и сходством с реальным нейроном. Одна из важнейших — формальный нейрон (ФН, рис. .). Несмотряна простоту ФН, сети, построенные из таких нейронов, могут сформировать произвольную многомерную функцию на выходе.

Нейрон состоит  из взвешенного сумматора и нелинейного  элемента. Функционирование нейрона определяется формулами:

где i

x_i  — входные сигналы, совокупность всех входных сигналов нейрона образует вектор x;

w_i  — весовые коэффициенты, совокупность весовых коэффициентов образует вектор весов w;

NET — взвешенная  сумма входных сигналов, значение NET передается на нелинейный элемент;

θ  — пороговый  уровень данного нейрона;

F — нелинейная  функция, называемая функцией  активации.

Нейрон имеет  несколько входных сигналов x и один выходной сигнал OUT. Параметрами нейрона, определяющими его работу, являются: вектор весов w, пороговый уровень θ  и вид функции активации F.

Виды  функций активации

Рассмотрим основные виды функций активации, получившие распространение в искусственных

НС.

1. Жесткая ступенька (рис. .):

Используется  в классическом формальном нейроне. Развита полная теория [Мкртчян71], позволяющая синтезировать произвольные логические схемы на основе ФН с такой нелинейностью. Функция вычисляется двумя*тремя машинными инструкциями, поэтому нейроны с такой нелинейностью требуют малых вычислительных затрат.

Эта функция  чрезмерно упрощена и не позволяет  моделировать схемы с непрерывными сигналами. Отсутствие первой производной затрудняет применение градиентных методов для обучения таких нейронов. Сети на классических ФН чаще всего формируются, синтезируются, т.е. их параметры рассчитываюся итеративно.

2. Логистическая функция (сигмоида, функция Ферми, рис. .)

Применяется очень  часто для многослойных перцептронов и других сетей с непрерывными сигналами. Гладкость, непрерывность функции — важные положительные качества. Непрерывность первой производной позволяет обучать сеть градиентными методами (например, метод обратногораспространения ошибки).

Функция симметрична  относительно точки (NET=0, OUT=1/2), это делает равноправными значения OUT=0 и OUT=1, что существенно в работе сети. Тем не менее, диапазон выходных значений от 0 до 1 несимметричен, из-за этого обучение значительно замедляется.

Данная функция  — сжимающая, т.е. для малых значений NET коэффициент передачи K=OUT/NET велик, для больших значений он снижается. Поэтому диапазон сигналов, с которыми нейрон работает без насыщения, оказывается широким.

Значение производной  легко выражается через саму функцию. Быстрый расчет производной ус*

коряет обучение.

3. Гиперболический тангенс (рис. ):

Тоже применяется  часто для сетей с непрерывными сигналами. Функция симметрична относиельно точки (0,0), это преимущество по сравнению с сигмоидой. Производная также непрерывна и выражается через саму функцию.

4. Пологая ступенька (рис. ):

Рассчитывается  легко, но имеет разрывную первую производную в точках  NET θ = ,  NET θ =+∆ , что усложняет алгоритм обучения.

5. Экспонента:  out=e^-NET Применяется в специальных случаях.

6. SOFTMAX-функция

Здесь суммирование производится по всем нейронам данного  слоя сети. Такой выбор функции обеспечивает сумму выходов слоя, равную единице при любых значениях сигналов NETi данного слоя. Это позволяет трактовать OUTi как вероятности событий, совокупность которых (все выходы слоя) образует полную группу. Это полезное свойство позволяет применить SOFTMAX*функцию в задачах классификации, проверки гипотез, распознавания образов и во всех других, где требуются выходы-вероятности. 
7. Участки синусоиды:

Применяется в  случаях, когда реакция нейрона  должна быть максимальной для некоторого определенного значения NET.

8. Гауссова кривая (рис. ):

Применяется в  случаях, когда реакция нейрона  должна быть максимальной для некоторого определенного значения NET.

9. Линейная функция, OUT = K NET,  K=const. Применяется для тех моделей сетей, где не требуется последовательное соединение слоев нейронов друг за другом.

 
 
 

Билет 3

Математическая  модель динамического адаптивного  нейрона(непрерывный и дискретные варианты)

 
 

2. Кохонена. 

Самоорганизующиеся  карты признаков (Self-organizing feature maps - SOFM)

преобразуют пространство входных признаков  произвольной размерности в одно- или двухмерную карту признаков  в соответствии с топологическими (сохраняющими характер соседства, то есть соседние точки остаются соседними  и после преобразования) ограничениями. Карты признаков рассчитываются с использованием метода Кохонена обучения без учителя. Выходные значения карты признаков могут быть использованы в качестве входа для обучаемых с учителем классификационных нейронных сетей таких, как многослойный персептрон.

Ключевым  преимуществом таких сетей является составление карты признаков, которая  позволяет снизить размерность  пространства до наиболее значимых признаков, получаемых путем самоорганизации. Организация одномерного или  двухмерного представления признаков  позволяет добиться топологического  сходства исходного множества признаков, с получаемым при обучении. Близкие по значимости признаки в обучающих примерах отображаются в соседние области формируемой карты. При этом структура параметрического пространства входных значений сохраняется, а его размерность снижается.

Модель  была предложена известным финским  ученым Кохоненом в 1982 г. [247] на основе более ранней работы [248]. Метод обучения Кохонена является развитием метода обучения на основе соревнований.Известным вариантом этого метода является классический метод кластеризации k-средних (k-means), который широко применяется при анализе данных в задачах кластеризации. Суть этого метода заключается в следующем [2].

Пусть задан набор из N точек, каждая из которых представляет собой вектор x_n=(x₁,x₂,x_k) размерности к. Требуется построить множество М центров кластеров, которые будут являться центрами групп областей сгущения точек исходных данных. Алгоритм сводится к следующему. Первоначально задаются М центров кластеров с произвольным, обычно случайным, расположением. Затем поочередно рассматриваются точки из исходного набора, и вычисления проводится в соответствии с алгоритмом.