Автор: Пользователь скрыл имя, 04 Октября 2012 в 23:06, курс лекций
Термин нейронные сети сформировался в 40-х годах ХХ века в среде исследователей, изучавших биологические нейронные сети. Основные результаты получены американскими исследователями: У.Маккалох, Д. Хебб, Ф. Розенблатт, М. Минский, Дж. Хопфилд и др. Нейронная сеть – это вычислительная структура, моделирующая биологические процессы, обычно ассоциируемые с процессами человеческого мозга. Биологический нейрон изображен на рис. 11.1. Искусственные нейронные сети (ИНС) способны к обучению. Элементарным преобразователем в данных сетях является искусственный нейрон. В состав искусственного нейрона ИН (рис.11.2) входят умножители (синапсы), сумматор и нелинейный преобразователь. Синапсы осуществляют связь между нейронами и умножают входной сигнал на число, характеризующее силу связи (вес синапса).
1. Искусственный нейрон
2. Виды активационных функций
3. Классификация искусственных нейронных сетей
4. Обучение нейронных сетей
4. Обучение нейронных сетей
Процесс обучения сети похож на обучение ребенка алфавиту. Показав ребенку изображение буквы "А", мы говорим ему, что это буква "А". Затем показываем эту букву, спрашиваем его: "Какая это буква?". Если ответ неверен, мы сообщаем ребенку правильный ответ. Повторяем процесс предъявления букв снова и снова до тех пор, пока все буквы не будут твердо усвоены. Такой процесс называют "обучение с учителем ".
При обучении сети мы действуем аналогично. Создаем базу данных, содержащую примеры (например, набор изображений букв). Выбираем один пример. Получаем от сети ответ. Если ответ не верен, вычисляем ошибку и в соответствии с алгоритмом обучения вычисляем поправки для весов сети. Один и тот же пример предъявляем сети много раз. В этом случае процесс обучения называется тренировкой. После многократного предъявления примеров веса сети стабилизируется, и сеть дает правильные ответы на все примеры из базы данных. Сеть обучена (рис. 11.9).
Рисунок 11.9 – Графическое представление процесса обучения сети
Алгоритмы обучения нейронных сетей:
1) алгоритмы локальной оптимизации с вычислением частных производных первого порядка:
- градиентный алгоритм (метод наискорейшего спуска);
- методы с одномерной и двумерной оптимизацией целевой функции в направлении антиградиента;
- метод сопряженных градиентов;
- методы, учитывающие направление антиградиента на нескольких шагах алгоритма;
2) алгоритмы локальной оптимизации с вычислением частных производных первого и второго порядка:
- метод Ньютона;
- квазиньютоновские методы;
- методы оптимизации с разреженными матрицами Гессе;
- метод Гаусса – Ньютона;
- метод Левенберга – Марквардта и др.;
3) стохастические алгоритмы оптимизации:
- поиск в случайном направлении;
- имитация отжига;
- метод Монте – Карло;
4) алгоритмы глобальной оптимизации:
- метод перебора значений переменных;
- другие методы.
Термины: синапс, дендрит, аксон, искусственый нейрон, синаптические веса, нейроная сеть, активационная функция, полносвязная сеть, многослойная сеть, слабосвязная сеть, алгоритм обучения сети.
Контрольные вопросы: