Генетический алгоритм обучения

Генетический  алгоритм обучения  

1. Название
2. Авторы и история создания
3. Модель
4. Области применения
5. Недостатки
6. Преимущества
7. Модификации
8. Источники

1. НАЗВАНИЯ.

1.1. Основное по-английски: Neural Network with "genetic" training algorithm.

1.2. Основное по-русски: нейронная сеть с "генетическим" алгоритмом обучения.

1.3. Другие названия: ---.

2. АВТОРЫ И ИСТОРИЯ СОЗДАНИЯ.

Впервые идея использования  генетических алгоритмов для обучения (machine learning) была предложена в 1970-е годы (см. "ИСТОЧНИКИ"). Во второй половине 1980-х к этой идее вернулись в  связи с обучением нейронных сетей.

3. МОДЕЛЬ.

Использование механизмов генетической эволюции для обучения нейронных сетей кажется естественным, поскольку модели нейронных сетей  разрабатываются по аналогии с мозгом и реализуют некоторые его  особенности, появившиеся в результате биологической эволюции.

Основные компоненты генетических алгоритмов - это стратегии  репродукций, мутаций и отбор "индивидуальных" нейронных сетей (по аналогии с отбором  индивидуальных особей).

Первая проблема постоения алгоритмов генетической эволюции - это кодировка информации, содержащейся в модели нейронной сети. Коды называют "хромосомами". Для фиксированной топологии (архитектуры) нейронной сети эта информация полностью содержится в значениях синаптических весов (W) и смещений (B). Вектор (W,B) рассматривается как хромосома. Возможны более сложные способы кодирования информации.

Для реализации концепции  отбора необходимо ввести способ сопоставления (сравнения) различных хромосом в  соответсвии с их возможностями  решения поставленных задач. Для нейронных сетей с последовательными связями это может быть стандартная мера - сумма квадратов разностей компонент действительного и желаемого сигналов. (Эта мера используется в стандартном алгоритме обратного распространения.)

В отличие от большинства других алгоритмов обучения, для генетических алгоритмов требуется не один набор начальных значений параметров, а несколько наборов, которые называются популяцией хромосом.

Популяция обрабатывается с помощью алгоритмов репродукции, изменчивости (мутаций), генетической композиции. Эти алгоритмы напоминают биологические процессы. Наиболее важные среди них: случайные мутации данных в индивидуальных хромосомах, переходы (кроссенговер) и рекомбинация генетического материала, содержащегося в индивидуальных родительских хромосомах (аналогично гетеросексуальной репродукции), и миграции генов.

Генетический алгоритм работает следующим образом. Инициализируется популяция и все хромосомы  сравниваются в соответсвии с  выбранной функцией оценки. Далее (возможно многократно) выполняется процедура репродукции популяции хромосом. Родители выбираются случайным образом в соответствии со значениями оценки (вероятность того, что данная хромосома станет родителем, пропорциональна полученной оценке). Репродукция происходит индивидуально для одного родителя путем мутации хромосомы либо для двух родителей путем кроссенговера генов. Получившиеся дети оцениваются в соответствии с заданной функцией и помещаются в популяцию.

В результате использования описанных операций на каждой стадии эволюции получаются популяции со все более совершенными индивидуумами.

4. ОБЛАСТИ ПРИМЕНЕНИЯ:

распознавание образов, классификация, прогнозирование (в  последнее время наиболее широко генетические алгоритмы обучения используются для банковских прогнозов). В литературе описана нейронная сеть для распознавания сигналов гидролокатора, которая была обучена с помощью генетического алгоритма.

5. НЕДОСТАТКИ.

Генетические алгоритмы  обучения сложны для понимания и программной реализации.

6. ПРЕИМУЩЕСТВА.

Эксперименты, описанные  в литературе, показывают, что генетические алгоритмы очень эффективны в  поиске глобальных минимумов адаптивных рельефов, так как в них исследуются  большие области допустимых значений параметров нейронных сетей. (Градиентные алгоритмы дают возможность находить только локальные минимумы.) Другая причина того, что генетические алгоритмы не застревают в локальных минимухах - случайные мутации, которые аналогичны температурным флуктуациям метода имитации отжига.

В литературе есть указания на достаточно высокую скорость обучения при использовании генетических алгоритмов. Хотя скорость сходимости градиентных алгоритмов в среднем  выше, чем генетических алгоритмов.

Генетические алгоритмы  дают возможность оперировать дискретными значениями параметров нейронных сетей. Это упрощает разработку цифровых аппаратных реализаций нейронных сетей. При обучении на компьютере нейронных сетей, не ориентированных на аппаратную реализацию, возможность использования дискретных значений параметров в некоторых случаях может приводить к сокращению общего времени обучения.

7. МОДИФИКАЦИИ.

В рамках "генетического" подхода в последнее время  разработаны многочисленные алгоритмы  обучения нейронных сетей, различающиеся  способами представления данных нейронной сети в "хромосомах", стратегиями репродукции, мутаций, отбора.

8. ИСТОЧНИКИ:

1. Holland J. Adaptation in Natural and Artificial Systems. - University of Michigan Press, 1975.
2. Holland J. The dynamics of searches directed by Genetic Algorithms. In: Lee Y.S. (ed.) Evolution, Learning and Cognition. - Word Scientific, Singapore, 1988.
3. Goldberg D. Genetic Algorithms in Machine Learning, Optimization, and Search. - Addison-Wesley, 1988.
4. Montana D.J. and Davis L. Training feedforward neural networks using genetic algorithms. - Preprint, BBN Systems and Technologies, Cambridge, Mass., 1989.
5. Muller B., Reinhardt J. Neural networks. Springer -Verlag. 1990. 267 p.
6. International workshop on combination of genetic algorithms and neural networks (1992; Baltimore, Md), June 6, 1992. / COGANN-92; Ed. L.P. Whitley, J.P. Schoffer. - Los Alamatic (Ca) et al.: IEEE computer. soc. press, 1992. - VIII, 262p.
7. Jones A.J. Genetic algorithms and their applications to the design of neural networks // Neural computing and applications, v.1, no. 1, 1993. (Есть в фонде ГПНТБ.)
8. Radcliffe N.J. Genetic set recombination and its application to neural network topology optimization // там же, pp. 67-90.