Составление оптимального инвестиционного портфеля

где

y_j – значение j-го выхода нейросети

d_j – целевое значение j-го выхода

p – число нейронов в выходном слое

Обучение нейросети  производится методом градиентного спуска, т. е. на каждой итерации изменение веса производится по формуле

где h – параметр, определяющий скорость обучения.

где

y_j – значение выхода j-го нейрона

S_j – взвешенная сумма входных сигналов, определяемая по формуле (1).

При этом множитель 

где

x_i – значение i-го входа нейрона

Далее рассмотрим определение  первого множителя формулы (7)

где

k – число нейронов в слое n+1.

Введем вспомогательную  переменную

Тогда мы сможем определить рекурсивную формулу для определения n-ного слоя, если нам известно следующего (n+1)-го слоя.

Нахождение же для  последнего слоя НС не представляет трудности, так как нам известен целевой вектор, т. е. вектор тех значений, которые должна выдавать НС при данном наборе входных значений.

И наконец запишем  формулу (6) в раскрытом виде

Рассмотрим теперь полный алгоритм обучения нейросети:

1. подать на вход НС один из требуемых образов и определить значения выходов нейронов нейросети
2. рассчитать для выходного слоя НС по формуле (12) и рассчитать изменения весов выходного слоя N по формуле (13)
3. Рассчитать по формулам (11) и (13) соответственно и для остальных слоев НС, n = N-1..1
4. Скорректировать все веса НС

5. Если ошибка существенна, то перейти на шаг 1

На этапе 2 сети поочередно в случайном порядке предъявляются  вектора из обучающей последовательности.

Повышение эффективности обучения НС обратного  распространения

Простейший метод  градиентного спуска, рассмотренный выше, очень неэффективен в случае, когда производные по различным весам сильно отличаются. Это соответствует ситуации, когда значение функции S для некоторых нейронов близка по модулю к 1 или когда модуль некоторых весов много больше 1. В этом случае для плавного уменьшения ошибки надо выбирать очень маленькую скорость обучения, но при этом обучение может занять непозволительно много времени.

Простейшим методом  усовершенствования градиентного спуска является введение момента m, когда влияние градиента на изменение весов изменяется со временем. Тогда формула (13) примет вид

Дополнительным преимуществом  от введения момента является способность алгоритма преодолевать мелкие локальные минимумы.

Представление входных данных

Основное отличие  НС в том, что в них все входные  и выходные параметры представлены в виде чисел с плавающей точкой обычно в диапазоне [0..1]. В то же время данные предметной области часто имеют другое кодирование. Так, это могут быть числа в произвольном диапазоне, даты, символьные строки. Таким образом данные о проблеме могут быть как количественными, так и качественными. Рассмотрим сначала преобразование качественных данных в числовые, а затем рассмотрим способ преобразования входных данных в требуемый диапазон.

Качественные данные мы можем разделить на две группы: упорядоченные (ординальные) и неупорядоченные. Для рассмотрения способов кодирования  этих данных мы рассмотрим задачу о  прогнозировании успешности лечения  какого-либо заболевания. Примером упорядоченных данных могут, например, являться данные, например, о дополнительных факторах риска при данном заболевании.

А также возможным примером может быть, например, возраст больного:

Опасность каждого  фактора возрастает в таблицах при  движении слева направо.

В первом случае мы видим, что у больного может быть несколько  факторов риска одновременно. В таком случае нам необходимо использовать такое кодирование, при котором отсутствует ситуация, когда разным комбинациям факторов соответствует одно и то же значение. Наиболее распространен способ кодирования, когда каждому фактору ставится в соответствие разряд двоичного числа. 1 в этом разряде говорит о наличии фактора, а 0 о его отсутствии. Параметру нет можно поставить в соответствии число 0. Таким образом для представления всех факторов достаточно 4-х разрядного двоичного числа. Таким образом число 1010₂ = 10₁₀ означает наличие у больного гипертонии и употребления алкоголя, а числу 0000₂ соответствует отсутствие у больного факторов риска. Таким образом факторы риска будут представлены числами в диапазоне [0..15].

Во втором случае мы также можем кодировать все значения двоичными весами, но это будет нецелесообразно, т.к. набор возможных значений будет слишком неравномерным. В этом случае более правильным будет установка в соответствие каждому значению своего веса, отличающегося на 1 от веса соседнего значения. Так, число 3 будет соответствовать возрасту 50-59 лет. Таким образом возраст будет закодирован числами в диапазоне [0..4].

В принципе аналогично можно поступать и для неупорядоченных  данных, поставив в соответствие каждому  значению какое-либо число. Однако это вводит нежелательную упорядоченность, которая может исказить данные, и сильно затруднить процесс обучения. В качестве одного из способов решения этой проблемы можно предложить поставить в соответствие каждому значению одного из входов НС. В этом случае при наличии этого значения соответствующий ему вход устанавливается в 1 или в 0 при противном случае. К сожалению, данный способ не является панацеей, ибо при большом количестве вариантов входного значения число входов НС разрастается до огромного количества. Это резко увеличит затраты времени на обучение. В качестве варианта обхода этой проблемы можно использовать несколько другое решение. В соответствие каждому значению входного параметра ставится бинарный вектор, каждый разряд которого соответствует отдельному входу НС.

 
Алексей Стариков 
 
Литература

1. Dirk Emma Baestaens, Willem Max Van Den Bergh, Douglas Wood, "Neural Network Solution for Trading in Financial Markets", Pitman publishing
2. R. M. Hristev, "Artifical Neural Networks"
3. С. Короткий, "Нейронные сети: Алгоритм обратного распространения"
4. С. Короткий, "Нейронные сети: Основные положения"

http://www.basegroup.ru/library/analysis/neural/math/