Нейронные сети

Автор: Matrix Matrx, 10 Декабря 2010 в 16:29, лабораторная работа

Описание работы

Цель работы: получение начальных навыков обучения простейшей нейронной сети
Нейронная сеть (НС) представляет собой совокупность нейронов – вычислительных элементов (называемых персептронами), каждый из которых имеет несколько входов–синапсов и один выход–аксон.

Скачать полностью (60.53 Кб) Сколько стоит заказать работу?
Работа содержит 1 файл

лаба по НС.doc

— 415.00 Кб (Скачать)

Обучение нейронной  сети заключается в нахождении значений синаптических весов и выполняется  с помощью алгоритма обратного  распространения ошибки (back propagation algorithm) [1], реализованного в электронной таблице следующим образом:

1. В начале  всем синаптическим весам w присваивается значение единица, и вычисляется значение суммы квадратов ошибки Et на всем множестве обучающей выборки.

2. Для каждого  синапса на каждом наборе входных  данных вычисляется значение  производной функции ошибки d Et /d wjk по формулам:

d E(t) /d wjk = (d E(t) / d yj ) * (d yj / d sj ) * (d sj / d wjk );

d yj / d sj = exp(-sj ) / (1+exp(-sj))2 .

Для сети, состоящей  из одного нейрона:

d E(t) / d y = Y – y ;

при этом значение dsj/dwjk равно выходу нейрона предыдущего слоя или соответствующему входному сигналу для нейрона первого слоя в силу линейного характера функции s.

Таким образом, нами найдены градиенты функции  ошибки по wjk.

3. После этого  вычисляются поправки к wjk по формуле:

D wjk = – v * d E(t) /d wjk ,

где  v – коэффициент скорости обучения. Поправки находятся для каждого i-го набора исходных данных, и вычисляется среднее значение по всему набору.

4. Теперь следует  скорректировать wjk на величину вычисленных поправок, пересчитать всю таблицу и снова оценить величину ошибки E(t). Эту процедуру необходимо повторять до тех пор, пока ошибка не перестанет уменьшаться. Режим автоматического пересчета таблицы должен быть отключен, иначе после коррекции первого же wjk все остальные значения таблицы изменятся.

В связи с  тем, что количество итераций в процессе обучения сети может достигать сотен  и даже тысяч, процедура коррекции  синаптических весов и пересчет таблицы выполняются с помощью  простейшего макроса в среде Microsoft Excel.

2.2.1. Порядок действий при выполнении лабораторной работы №3

  1. Открыть файл lab_iis3.xls.
  2. Изучить структуру таблицы, идентифицировать формулы, описывающие нейронную сеть и алгоритм обратного распространения.
  3. Установить параметры Сервис > Параметры > Вычисления > Вручную.
  4. Включить параметр Сервис > Параметры > Вычисления > Итерации.
  5. Занести данные своего варианта (см. табл. 3.3) в первый столбец таблицы.
  6. Установить стартовые значения всех весовых коэффициентов  w=1.
  7. Установить коэффициент скорости обучения v = 0,2. Счетчик итераций установить равным 0.
  8. Начать обучение сети. Каждая итерация алгоритма обратного распространения выполняется макросом, запускаемым сочетанием клавиш Ctrl+x. Макрос суммирует текущие значения коэффициентов w со значениями поправок, вычисленных на основе алгоритма, и запускает пересчет всей таблицы.
  9. Построить график изменения величин ошибок обучения E(t) и тестирования E(test) от числа итераций алгоритма. Фиксировать только каждое десятое значение (количество необходимых итераций измеряется сотнями).
  10. Остановить обучение после того, как величина ошибки перестанет изменяться в третьем знаке после запятой.
  11. Повторить п.п. 8–10 для коэффициента скорости обучения v=0,5; 0,9. Если при всех перечисленных значениях v процесс обучения будет расходящимся (ошибка не будет стабильно уменьшаться), попытаться резко уменьшить v после первых сотен итераций.
  12. Проанализировать полученные результаты, объяснить причины ошибок обучения и тестирования.

Варианты временных рядов

Таблица 3.3

№ y1 y2 y3 y4 y5 y6 y7 y8 y9 y10 y11 y12 y13 y14 y15
1 2,56 4,20 1,60 4,29 1,17 4,40 0,88 4,14 0,07 4,77 1,95 4,18 0,04 5,05 1,40
2 0,20 5,14 0,47 4,37 1,22 4,29 1,89 4,51 0,32 5,80 1,37 5,77 0,88 4,86 1,94
3 1,92 4,01 1,48 5,45 1,56 5,42 1,28 4,34 1,51 5,49 1,32 4,00 0,49 4,19 1,53
4 0,13 5,97 0,57 4,02 0,31 5,55 0,15 4,54 0,65 4,34 1,54 4,70 0,58 5,83 0,03
5 2,16 3,19 1,85 4,84 0,55 4,20 1,68 4,74 0,14 5,68 0,48 5,03 0,18 5,99 0,09
6 2,54 5,28 0,78 5,72 0,58 4,65 0,91 5,80 1,76 5,67 1,73 5,70 1,03 5,00 1,79
7 1,69 3,38 1,40 5,56 1,86 5,62 0,46 5,51 0,26 5,13 1,18 5,98 1,36 5,09 1,29
8 1,19 5,61 0,89 6,00 1,04 5,98 0,03 6,00 1,83 4,23 0,60 4,15 0,13 5,01 1,87
9 0,87 4,12 0,93 4,62 1,51 5,76 0,50 5,48 0,95 4,03 0,92 5,15 1,66 5,01 0,40
10 2,82 3,48 0,60 4,76 1,51 5,51 1,48 5,19 0,48 5,22 0,21 4,19 0,07 4,63 0,49
11 2,64 4,66 1,87 4,05 1,73 5,31 1,67 5,96 0,13 5,64 1,52 4,07 0,22 4,79 0,73
12 2,65 5,60 1,21 5,48 0,73 4,08 1,88 5,31 0,78 4,36 1,71 5,62 0,43 4,21 1,21
13 2,37 4,85 1,97 4,17 1,39 4,66 1,26 4,40 0,46 5,54 1,34 5,80 1,61 5,97 1,95
14 1,88 4,52 1,91 5,66 1,23 5,50 1,14 5,29 1,60 4,31 0,06 5,33 0,07 4,62 0,69
15 0,78 4,95 1,19 4,08 0,80 4,25 0,22 4,63 1,48 4,97 0,53 5,50 1,28 5,79 0,44
16 0,58 3,38 0,91 5,80 0,91 5,01 1,17 4,67 0,60 4,81 0,53 4,75 1,01 5,04 1,07
17 0,51 4,82 0,43 4,71 1,92 5,86 1,24 4,69 0,72 5,26 0,90 4,55 1,46 5,21 1,50
18 0,07 3,58 0,44 5,33 0,56 5,24 1,99 4,38 0,89 4,53 1,82 4,13 1,88 5,97 1,18
19 1,44 4,60 1,22 5,90 1,34 4,31 1,02 4,35 0,82 4,18 1,60 4,86 1,45 4,97 1,00
20 2,57 4,35 1,27 5,46 1,30 4,92 1,31 4,14 1,97 5,67 0,92 4,76 1,72 4,44 1,49
21 0,79 3,84 0,92 4,50 0,96 5,51 1,14 5,32 0,39 4,99 1,36 5,81 1,90 4,79 1,41
22 0,99 4,72 1,59 5,29 1,53 5,58 0,84 5,79 0,21 5,94 0,42 5,98 1,18 5,55 0,11
23 2,92 3,56 0,15 5,11 1,38 4,44 1,61 4,11 1,97 4,50 1,37 5,08 1,76 5,19 1,58
24 0,48 4,30 0,91 4,85 0,53 4,51 1,95 5,88 0,63 5,79 0,92 5,18 1,88 4,84 0,22
25 1,88 4,98 0,06 5,26 1,16 5,06 0,58 5,28 1,41 5,57 1,19 5,36 1,40 4,30 0,09
26 2,57 5,77 0,38 4,73 0,10 5,93 1,35 4,70 1,62 5,51 1,78 5,66 1,47 5,52 1,88
27 0,11 4,87 1,52 4,47 0,34 5,44 1,20 5,21 1,48 5,93 0,62 5,48 1,34 4,25 0,65
28 1,07 3,17 1,08 5,99 1,28 4,11 0,25 5,82 0,96 4,83 1,10 4,31 0,81 5,49 1,92
29 1,59 5,74 0,48 5,28 1,34 5,91 0,77 5,25 1,37 4,42 0,26 4,21 1,90 4,08 1,40
30 0,68 5,78 0,25 5,58 1,31 4,28 1,57 5,75 0,41 5,55 0,90 5,86 0,03 5,57 0,30
31 1,05 3,29 0,44 5,82 1,39 4,16 0,29 5,67 0,38 5,04 1,84 4,58 0,43 4,24 0,95
32 1,63 4,40 1,77 4,06 1,81 5,40 0,04 5,76 1,32 4,84 0,94 5,78 1,13 5,58 1,23
33 2,08 3,03 1,75 5,87 0,39 4,28 1,93 4,20 1,23 4,39 1,76 5,86 0,12 5,03 0,56
34 0,77 3,47 1,64 5,18 1,35 5,95 0,57 5,50 1,08 5,42 1,14 4,01 0,62 4,15 1,10
35 2,67 5,22 0,41 4,95 1,31 4,11 0,29 5,44 1,00 5,58 1,81 4,09 0,60 5,04 1,22
36 0,33 5,08 1,80 5,39 1,28 5,36 0,16 4,79 0,04 5,45 1,94 4,55 0,35 5,96 0,68
37 2,76 5,34 0,52 5,25 0,44 4,37 1,90 5,77 0,73 5,15 1,49 4,07 0,58 5,48 1,81

Продолжение табл. 3.3

№ y1 y2 y3 y4 y5 y6 y7 y8 y9 y10 y11 y12 y13 y14 y15
38 2,77 3,40 1,39 5,70 1,03 5,91 0,17 5,76 0,72 5,92 1,08 5,87 1,77 4,33 1,49
39 1,95 4,01 0,41 4,25 1,71 5,96 1,39 4,65 1,75 5,37 0,33 5,49 0,07 4,71 1,93
40 1,89 3,14 1,90 4,67 0,22 4,65 0,60 4,31 1,09 4,64 0,15 5,38 0,98 5,84 0,80
41 0,32 3,90 1,81 4,38 1,12 4,06 0,89 4,59 0,66 5,90 1,36 5,75 1,65 4,50 0,80
42 2,96 5,71 1,78 4,59 1,32 5,19 1,11 4,01 1,29 5,62 0,26 4,84 1,64 5,43 1,36
43 0,76 3,96 0,94 4,24 0,28 5,88 1,61 5,23 1,76 4,93 0,29 5,80 0,24 5,39 0,49
44 1,85 4,70 0,54 5,58 0,15 4,95 1,40 4,50 0,09 4,11 1,89 4,71 0,51 5,41 0,94
45 0,19 4,75 0,42 5,87 1,35 4,01 0,73 4,76 0,93 5,17 0,12 5,02 0,22 5,14 0,01
46 2,51 5,48 1,01 4,08 0,26 4,28 0,67 4,86 0,04 5,83 0,68 5,13 0,51 4,29 1,97
47 2,68 3,07 1,63 4,00 0,33 4,96 1,67 4,85 1,76 4,99 1,87 5,44 1,02 4,84 1,82
48 1,68 4,64 1,83 4,67 1,79 5,42 1,89 5,20 0,63 4,98 0,31 4,61 1,06 5,36 1,83
49 0,41 4,78 0,35 4,25 1,39 5,33 1,63 5,28 1,51 4,23 0,03 4,12 1,86 4,07 1,16
50 0,78 5,98 0,03 4,37 0,54 4,02 1,76 5,61 0,51 4,43 1,82 4,92 1,33 5,53 1,96
51 1,59 4,85 1,21 5,03 0,18 5,58 0,19 4,77 0,07 5,85 1,96 5,42 0,31 4,38 0,38
52 0,20 4,57 0,64 4,12 0,20 4,67 1,22 5,45 0,85 5,38 1,14 5,89 1,16 4,78 1,90
53 2,41 3,66 1,16 5,05 1,45 5,26 1,01 4,70 1,19 4,47 1,32 5,93 1,88 5,20 1,31
54 2,28 4,40 1,48 4,75 1,84 5,17 0,21 5,30 0,92 4,21 0,31 4,60 1,35 4,35 1,80
55 2,72 5,64 0,15 5,08 0,98 5,87 0,10 4,83 0,70 4,81 1,53 4,48 0,02 5,71 1,87
56 0,29 4,85 0,63 4,43 0,32 5,82 1,51 5,02 0,47 5,28 0,12 4,25 0,01 4,34 0,90
57 2,57 4,61 1,17 4,73 0,17 4,50 1,86 4,88 0,79 4,17 1,83 4,34 0,62 4,71 1,11
58 1,83 3,87 1,42 4,42 1,49 4,94 0,59 4,93 0,78 5,00 0,60 4,26 0,81 5,49 1,48
59 0,43 4,00 0,37 4,66 0,09 4,86 0,86 5,16 1,19 5,14 0,48 4,17 0,09 5,58 0,62
60 0,65 5,98 0,01 4,96 1,11 5,52 0,71 4,92 1,13 5,95 1,83 4,12 1,31 5,57 1,80
61 0,58 5,50 1,40 4,35 0,77 5,98 1,26 4,06 1,39 5,18 1,80 5,89 0,31 5,10 1,88
62 2,48 3,90 0,04 5,27 0,83 5,72 0,41 4,73 1,39 5,58 0,72 5,82 1,97 5,56 1,39
63 1,85 3,26 0,06 5,95 0,73 5,09 0,83 4,52 1,72 5,19 1,78 5,21 1,76 4,32 1,65
64 2,95 3,65 1,31 5,88 1,21 5,25 0,88 4,64 0,45 4,64 0,04 5,01 0,82 5,63 0,59
65 2,02 3,90 0,65 5,33 1,62 4,50 1,62 5,32 1,14 4,38 1,10 5,13 1,99 5,05 0,70
66 2,09 5,33 1,02 4,87 0,63 5,87 0,10 4,80 0,67 5,65 1,59 5,79 1,72 4,38 1,76
67 1,45 4,82 1,31 5,75 0,96 4,53 0,25 4,17 1,92 5,68 1,27 5,14 0,90 5,46 0,54
68 2,76 4,50 0,98 5,19 0,38 5,16 0,89 4,24 1,50 5,07 0,88 4,63 1,15 5,40 0,05
69 1,47 4,05 1,44 5,46 0,59 4,46 1,61 5,19 1,71 4,27 1,12 5,24 0,24 5,50 1,03
70 0,30 4,71 1,89 4,73 0,29 5,97 1,43 4,34 1,39 4,49 1,09 4,05 1,72 4,74 0,57
71 1,27 5,22 0,41 4,45 1,25 4,19 0,32 5,62 1,49 4,03 1,72 4,73 0,70 5,25 1,12
72 0,54 4,37 1,58 4,30 1,91 5,91 0,07 5,44 0,12 5,17 0,29 5,46 1,55 5,76 1,60
73 0,82 4,15 0,41 4,37 0,59 5,17 0,05 5,81 0,08 5,43 0,40 4,27 0,56 4,13 1,56
74 0,88 4,88 0,96 4,37 1,11 4,01 0,45 4,74 0,45 4,56 1,57 4,85 1,23 4,78 0,22
75 2,30 4,56 0,78 5,56 0,36 4,56 0,88 5,61 1,36 5,73 0,25 4,55 1,67 5,43 1,79
76 1,46 5,02 0,99 5,70 1,00 5,77 1,93 4,33 0,78 5,29 0,04 5,87 1,66 4,34 1,03
77 0,51 4,41 1,64 4,93 1,24 4,06 1,39 5,27 1,77 4,55 0,40 4,85 1,40 5,84 0,98
78 0,13 5,91 1,58 5,54 1,88 4,89 0,94 5,81 0,78 5,71 0,26 4,58 0,62 5,98 1,75
79 0,86 4,30 1,14 4,78 0,75 4,99 0,91 5,59 0,47 4,24 0,66 5,05 0,30 4,12 1,79
80 0,49 6,00 0,84 5,36 1,12 5,81 0,80 5,27 0,25 5,80 0,25 4,14 1,28 5,01 1,22
81 2,89 3,90 1,30 5,33 1,40 4,33 0,47 4,46 1,64 5,07 1,86 4,02 0,63 4,87 1,85
82 2,84 3,35 1,02 5,03 0,84 4,94 1,81 4,28 1,21 4,19 1,13 4,73 0,23 4,19 1,72
83 2,42 3,80 1,53 5,82 1,02 5,70 1,69 5,31 1,24 5,00 1,81 5,89 0,74 4,01 0,95

Окончание табл. 3.3

№ y1 y2 y3 y4 y5 y6 y7 y8 y9 y10 y11 y12 y13 y14 y15
84 2,35 5,04 0,91 5,47 0,04 4,95 1,98 4,94 1,31 5,15 1,87 5,52 0,73 5,16 1,02
85 0,13 3,79 0,50 5,43 1,32 5,84 1,56 4,61 0,19 4,24 0,75 5,71 0,31 4,19 0,65
86 2,55 3,92 0,79 4,78 1,97 5,42 1,91 5,51 0,72 4,74 1,27 4,68 0,96 5,92 1,01
87 0,58 5,94 1,68 4,39 0,19 4,06 0,90 5,00 1,32 5,92 0,69 5,93 0,10 4,63 1,58
88 0,79 4,32 1,10 4,68 1,50 5,12 0,87 4,32 1,70 4,96 0,81 4,60 1,13 5,57 0,17
89 1,34 3,45 0,20 5,80 1,98 5,59 1,74 5,08 0,87 4,04 1,14 5,32 0,98 4,56 0,81
90 2,57 5,74 1,52 4,79 1,95 4,69 0,40 5,76 1,51 4,55 0,20 4,41 0,36 4,28 0,79
91 0,46 5,98 1,43 4,90 1,95 5,51 1,44 5,00 1,43 5,34 0,54 4,47 1,81 5,80 1,96
92 1,19 5,68 0,82 4,73 0,68 5,96 1,18 4,13 0,54 4,92 0,39 5,04 1,13 4,27 1,27
93 1,27 5,09 0,63 4,97 0,73 4,55 0,47 5,09 0,76 4,06 0,53 5,35 1,63 4,49 0,40
94 0,01 4,97 0,85 4,88 0,30 4,45 1,53 5,18 1,65 4,99 1,92 5,39 1,22 5,24 0,14
95 0,03 3,32 1,18 4,07 1,69 5,61 0,35 4,85 1,08 4,43 1,79 5,91 1,84 4,59 0,62
96 0,50 4,66 0,37 5,68 1,03 4,49 1,43 5,43 1,42 5,24 1,24 5,76 1,53 4,79 0,54
97 0,84 5,00 1,70 4,77 0,61 4,48 1,34 4,46 1,19 4,30 1,26 4,84 1,49 5,10 0,96
98 1,46 4,22 1,27 5,02 1,51 5,04 0,93 4,07 1,30 4,04 1,27 5,68 1,62 5,62 0,33
99 0,55 3,82 0,22 5,14 1,40 4,32 0,58 5,31 0,08 4,05 0,69 4,91 1,46 4,05 0,06

2.2.1. Требования к отчету  по лабораторной  работе №3

  1. Титульный лист, содержание.
  2. Краткое описание задачи и метода ее решения.
  3. Распечатка таблицы и графика с наилучшим вариантом обученной сети.
  4. Распечатки кривых изменения ошибки для каждого значения коэффициента скорости обучения (можно на одном графике).
  5. Комментарии к полученным результатам.

Информация о работе Нейронные сети