Метод наименьших квадратов

     Одной из основных гипотез МНК является предположение о равенстве дисперсий  отклонений , т.е. их разброс вокруг среднего (нулевого) значения ряда должен быть величиной стабильной. Это свойство называется гомоскедастичностью. На практике дисперсии отклонений достаточно часто неодинаковы, то есть наблюдается гетероскедастичность. Это может быть следствием разных причин. Например, возможны ошибки в исходных данных. Случайные неточности в исходной информации, такие как ошибки в порядке чисел, могут оказать ощутимое влияние на результаты. Часто больший разброс отклонений , наблюдается при больших значениях зависимой переменной (переменных). Если в данных содержится значительная ошибка, то, естественно, большим будет и отклонение модельного значения, рассчитанного по ошибочным данным. Для того, чтобы избавиться от этой ошибки нам нужно уменьшить вклад этих данных в результаты расчетов, задать для них меньший вес, чем для всех остальных. Эта идея реализована во взвешенном МНК.

     Пусть на первом этапе оценена линейная регрессионная модель с помощью  обычного МНК. Предположим, что остатки независимы между собой, но имеют разные дисперсии (поскольку теоретические отклонения нельзя рассчитать, их обычно заменяют на фактические отклонения зависимой переменной от линии регрессии, для которых формулируются те же исходные требования, что и для ). В этом случае квадратную матрицу ковариаций cov(, ) можно представить в виде:

     ,

     где cov(, )=0 при ij; cov(,)=; S - длина рассматриваемого временного ряда.

     Если  величины известны, то далее можно применить взвешенный МНК, используя в качестве весов величины и минимизируя сумму 

     Формула Q, записана для парной регрессии; аналогичный вид она имеет и для множественной линейной регрессии. При использовании IVLS оценки параметров не только получаются несмещенными (они будут таковыми и для обычного МНК), но и более точными (имеют меньшую дисперсию), чем не взвешенные оценки.

     Проблема  заключается в том, чтобы оценить  величины S, поскольку заранее они обычно неизвестны. Поэтому, используя на первом этапе обычный МНК, нужно попробовать выяснить причину и характер различий дисперсий . Существуют специальные критерии и процедуры проверки равенства дисперсий отклонений. Например, можно рассмотреть частное от деления сумм самых больших и самых маленьких квадратов отклонений.

 

      3 ПРИМЕР

     Пусть надо решить систему уравнений: 

число которых более числа неизвестных x, y, z…

     Чтобы решить их по способу наименьших квадратов, составляют новую систему уравнений, число которых равно числу  неизвестных и которые затем  решаются по обыкновенным правилам алгебры. Эти новые, или так называемые нормальные уравнения составляются по следующему правилу: умножают сперва все данные уравнения на коэффициенты у первой неизвестной x и, сложив почленно, получают первое нормальное уравнение, умножают все данные уравнения на коэффициенты у второй неизвестной y и, сложив почленно, получают второе нормальное уравнение и т. д. Если означить для краткости: 

то нормальные уравнения представятся в следующем  простом виде: 

     Легко заметить, что коэффициенты нормальных уравнений весьма легко составляются из коэффициентов данных, и притом коэффициент у первой неизвестной  во втором уравнении равен коэффициенту у второй неизвестной в первом, коэффициент у первой неизвестной  в третьем уравнении равен  коэффициенту у третьей неизвестной в первом и т. д. Для пояснения сказанного ниже приведено решение пяти уравнений с двумя неизвестными: 

Составив  значения [aa], [ab], получаем следующие нормальные уравнения: 

Откуда:  x = 3,55;

         y = − 0,109

     Уравнения (1) представляют систему линейных уравнений, то есть уравнений, в которых все  неизвестные входят в первой степени. В большинстве случаев уравнения, связывающие наблюдаемые и искомые  величины, бывают высших степеней и  даже трансцендентные, но это не изменяет сущности дела: предварительными изысканиями  всегда можно найти величины искомых  с таким приближением, что затем, разложив соответствующие функции  в ряды и пренебрегая высшими  степенями искомых поправок, можно  привести любое уравнение к линейному.

 

      4 ПРАКТИЧЕСКОЕ ЗАДАНИЕ 

1. Найти минимальное  значение параметра c, при котором множество

  выпукло:

     Решение:

1. – является выпуклым множеством при любом параметре с.
2. Исследуем функцию .

     Т.к. , то мы можем разделить левую и правую часть за этот множитель: 

     Построим  график функции: 

у

1

-

0.5

-

0

0.5

1

0

1

2

3

4

х

Рис. 2 – График функции

     По  неравенству область удовлетворяющая  неравенству лежит ниже графика  функции.

     Найдем  точки перегиба данной функции:

     Представим  в виде:  

     Для нахождения точек перегиба вычисляем  вторую производную: 

     Приравниваем  вторую производную к нулю и находим  точки перегиба: 
 

       – точки перегиба.

     Таким образом, получаем, что на промежутке функция является выпуклой.

     Тогда фигура образованная полосой  и является выпуклой.

     Следовательно, минимальное значение параметра  будет равно значению функции в точке перегиба: 
 

                        

                                                                                                                      

1

-

0.5

-

0

0.5

1

0

1

2

3

4

у

х

Рис. 3 – График функции с ограничениями и решением

     Ответ: . 

2. Записать  уравнение гиперплоскости, разделяющей  множества

 

     Решение:

     Построим  графики функций ограничивающих множества: 
 
 

х

у

Рис. 4 –  График функций

     Из  графика видно, что функции пересекаются в 1 точке. Найдем точку пересечения: 
 
 

3

3 
 

  

(2,) – точка пересечения графиков.

     Точка одна и является точкой касания, поэтому  прямой разделяющей множества будет касательная в данной точке.

     Составим  уравнение касательной:

     ; 

  – уравнение разделяющей гиперплоскости. 
 

     

3. Проверить, является ли функция  выпуклой (вогнутой) на заданном множестве X, или указать такие точки из X, в окрестностях которых не является ни выпуклой, ни вогнутой.

F(x) =− ++2+11+6;

X={x: x0}.

Решение:

Находим первую производную: 
 
 

Находим вторую производную: 
 
 

     Очевидно, что все смешанные производные  будут равны 0. Составим матрицу Гессе:

H(x)=

Т.к. Н(х)=0, то нельзя с точностью определить выпуклость(вогнутость) функции. При условии x0 функция не будет являться ни выпуклой, ни вогнутой. 

     4. Симплекс-методом найти решение следующей задачи линейного программирования;

     5. Для задачи линейного программирования составить двойственную к ней. По решению прямой задачи найти решение двойственной к ней с применением теорем двойственности;

f(x)=

 

 

 

 

 

     Решение:

     Приведем  задачу к каноническому виду:

f(x)=

 

 

 

 

 

     Решение задачи симплекс методом: