Искусственные нейронные сети (ИНС)
Автор: Пользователь скрыл имя, 04 Октября 2012 в 23:06, курс лекций
Описание работы
Термин нейронные сети сформировался в 40-х годах ХХ века в среде исследователей, изучавших биологические нейронные сети. Основные результаты получены американскими исследователями: У.Маккалох, Д. Хебб, Ф. Розенблатт, М. Минский, Дж. Хопфилд и др. Нейронная сеть – это вычислительная структура, моделирующая биологические процессы, обычно ассоциируемые с процессами человеческого мозга. Биологический нейрон изображен на рис. 11.1. Искусственные нейронные сети (ИНС) способны к обучению. Элементарным преобразователем в данных сетях является искусственный нейрон. В состав искусственного нейрона ИН (рис.11.2) входят умножители (синапсы), сумматор и нелинейный преобразователь. Синапсы осуществляют связь между нейронами и умножают входной сигнал на число, характеризующее силу связи (вес синапса).
Содержание
1. Искусственный нейрон
2. Виды активационных функций
3. Классификация искусственных нейронных сетей
4. Обучение нейронных сетей
Работа содержит 1 файл
лекция №11.doc
— 956.00 Кб (Скачать)
4. Обучение нейронных сетей
Процесс обучения сети похож на обучение ребенка алфавиту. Показав ребенку изображение буквы "А", мы говорим ему, что это буква "А". Затем показываем эту букву, спрашиваем его: "Какая это буква?". Если ответ неверен, мы сообщаем ребенку правильный ответ. Повторяем процесс предъявления букв снова и снова до тех пор, пока все буквы не будут твердо усвоены. Такой процесс называют "обучение с учителем ".
При обучении сети мы действуем аналогично. Создаем базу данных, содержащую примеры (например, набор изображений букв). Выбираем один пример. Получаем от сети ответ. Если ответ не верен, вычисляем ошибку и в соответствии с алгоритмом обучения вычисляем поправки для весов сети. Один и тот же пример предъявляем сети много раз. В этом случае процесс обучения называется тренировкой. После многократного предъявления примеров веса сети стабилизируется, и сеть дает правильные ответы на все примеры из базы данных. Сеть обучена (рис. 11.9).
Рисунок 11.9 – Графическое представление процесса обучения сети
Алгоритмы обучения нейронных сетей:
1) алгоритмы локальной оптимизации с вычислением частных производных первого порядка:
- градиентный алгоритм (метод наискорейшего спуска);
- методы с одномерной и двумерной оптимизацией целевой функции в направлении антиградиента;
- метод сопряженных градиентов;
- методы, учитывающие направление антиградиента на нескольких шагах алгоритма;
2) алгоритмы локальной оптимизации с вычислением частных производных первого и второго порядка:
- метод Ньютона;
- квазиньютоновские методы;
- методы оптимизации с разреженными матрицами Гессе;
- метод Гаусса – Ньютона;
- метод Левенберга – Марквардта и др.;
3) стохастические алгоритмы оптимизации:
- поиск в случайном направлении;
- имитация отжига;
- метод Монте – Карло;
4) алгоритмы глобальной оптимизации:
- метод перебора значений переменных;
- другие методы.
Термины: синапс, дендрит, аксон, искусственый нейрон, синаптические веса, нейроная сеть, активационная функция, полносвязная сеть, многослойная сеть, слабосвязная сеть, алгоритм обучения сети.
Контрольные вопросы:
- Что такое нейронная сеть? Опишите структуру искусственного нейрона.
- Что такое функция активации? Какие различают виды активационных функций?
- Перечислите область применения искусственных нейронных сетей.
- Какая существует классификация нейронных сетей?
- Сформулируйте теорему о полноте для построения нейронных сетей.
- Что представляет собой процесс обучения нейронных сетей?