Классический метод наименьших квадратов

  M[а|Х]=a+(Х¢Х)^–1Х¢×M[e|Х].                      (2.35)

     Безусловная оценка вектора параметров модели может  быть определена как математическое ожидание условных оценок по всем возможным вариантам матрицы Х. Этот результат обычно записывается следующим образом:

  M[а]=M_Х[а|Х]=a+M_Х[(Х¢Х)^–1Х¢×M(e|Х)],            (2.36)

где M_Х – математическое ожидание по всем наборам переменных х_it.

     Из  выражения (2.36) вытекает, что при  “стохастических” независимых переменных оценки параметров эконометрической модели, полученные на основе МНК, могут обладать только свойствами асимптотической несмещенности и эффективности. Иначе говоря, при конечных объемах выборки свойства несмещенности и эффективности для этих оценок не гарантированы.

     Существование асимптотических свойств определяется тем обстоятельством, что при увеличении числа исходных данных, выбираемых из однородной совокупности, выборочное среднее должно стремиться к средней по генеральной совокупности, а дисперсия выборочного среднего – к нулю.

     С учетом вида выражения (2.36) асимптотическая  несмещенность оценок МНК означает, что 

   (a–a)=M_Х[(Х¢Х)^–1Х¢×M(e|Х)]®0.           (2.37)

     Для выполнения условия (2.37) необходимо, чтобы  ошибка модели e_t и значения элементов х_it матрицы Х, i=0, 1,..., п; t=1, 2,..., Т  обладали при Т®¥ определенными свойствами, аналогичными (2.12) и (2.17). Из (2.36) непосредственно следует, что выражение (2.37) будет иметь место, если

  M[e|Х]=M[e]=0, M_Х[Х¢×M(e|Х)]=0,             (2.38)

а также  справедливым является предположение (2.25) относительно существования предела матрицы при Т®¥.

     Выражение (2.38) означает, что каждый столбец  матрицы Х, представляющий собой вектор значений стохастической переменной х_i=[х_i1,..., х_iT]¢, и вектор ошибки e независимы между собой, и, кроме того, математическое ожидание ошибки модели равно нулю при всех вариантах выборочных данных.

     Асимптотическая матрица ковариаций вектора оценок параметров эконометрической модели со стохастическими независимыми переменными согласно выражению (1.56) может быть определена следующим образом:

  asy.var(a)= (a–a) (a–a)¢],       (2.39)

поскольку M[а|Х]=a.

     Несложно  заметить, что если справедливо следующее  условие:

   [(e×e¢)|Х]=s_e² ×E.                   (2.40)

и выполняются  условия (2.38) и (2.25), то выражение (2.39) может  быть представлено в следующем виде (см. также (2.18)):

  asy.var(a)=

где матрица  Q определена выражением (2.25).

     Обобщая полученные результаты, отметим, что  оценки коэффициентов эконометрической модели со стохастическими независимыми переменными, полученные на основе МНК, являются асимптотически состоятельными и эффективными, если выполняются следующие условия:

   e)]=0;                                       (2.42)

     Заметим, что условия (2.42) являются “предельными” аналогами предположений (2.20)–(2.24), имевших место в случае конечной выборки.

     Таким образом, выражение (2.8), являющееся результатом  МНК, позволяет получить значения оценок коэффициентов линейной эконометрической модели “хорошего качества” и при детерминированных, и при стохастических значениях независимых переменных, если выполняются определенные предпосылки относительно соответствующих свойств ошибки этой модели и наблюдаемых исходных данных.

     Однако  априорно проверить справедливость этих предпосылок, как правило, не представляется возможным. Обычно это можно сделать, лишь получив информацию о фактической ошибке модели, после того как она была построена. Фактическая ошибка модели е_t  в данном случае может быть рассмотрена как оценка ее истинной ошибки e_t. Тогда совпадение свойств фактической ошибки с предположениями, выдвигаемыми относительно свойств истинной ошибки, может являться достаточно “веской гарантией” обоснованности использования “классического” МНК в качестве метода оценки параметров модели. 
 
 
 
 
 
 
 
 

     Заключение.

     Широкое применение линейной регрессии обусловлено  тем, что достаточно большое количество реальных процессов в экономике  и бизнесе можно с достаточной точностью описать линейными моделями. В Data Mining, регрессия широко используется для решения задач прогнозирования и численного предсказания.

     Метод наименьших квадратов (МНК) является одним  из наиболее разработанных и распространенных вследствие своей относительной простоты и эффективности методов оценки параметров линейных эконометрических моделей

     Термин  МНК был впервые использован в работе А. М.Лежандра в 1805 г. Можно выделить следующие достоинства метода:

     а) расчеты сводятся к механической процедуре нахождения коэффициентов;

     б) доступность полученных математических выводов.

     Основным  недостатком МНК является чувствительность оценок к резким выбросам, которые встречаются в исходных данных.

     МНК позволяет зная общий вид функции  найти ее конкретный вид (коэффициенты) который наилучшим образом вписывается  в экспериментальные данные.

     Особенностью  МНК является то, что число уравнений превышает число неизвестных коэффициентов в функции f(x). Таким образом, в общем случае точного решения системы не существует. Кроме того следует обратить внимание, что система решается не относительно x_n, а относительно неизвестных коэффициентов функции f(x).

     Основная  идея МНК состоит в том, чтобы  при нахождении конкретного вида функции минимизировать сумму квадратов  ошибок во всех исходных уравнениях. 
 
 

Список  использованной литературы.

1. Бородич С.А. Эконометрика: Учебное пособие. - М.: Новое знание, 2001. - 408с.
2. Лукъяненко И.Г., Красникова Л.И. Эконометрика. - М.: КОО, 1998. - 494с.
3. Мангус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. Начальный курс. - М.: Дело, 1997. - 248с.
4. Наконечный С.И., Терещенко Т.О., Романюк Т.п. Эконометрия: Учебник. - Вид. 2-ге, допов. но перероб. - К.: КНЕУ, 2000 - 296 с.
5. Тихомиров Н.П. Эконометрика / Н.П. Тихомиров, Е.Ю. Дорохина. – М.: Изд-во Рос. экон. акад., 2002.- 640 с.
6. Эконометрика: Учебник/Под ред. И.И.Елисеевой. - М: Финансы и статистика, 2002. - 344 с.