Математическое моделирование экономических процессов методом наименьших квадратов

Зная вектор b, выборочное уравнение множественной регрессии представим в виде:

                                                                         y=X₀b,                                                                         (4.9)

где у— групповая (условная) средняя переменной Y при заданном векторе значений объясняющей переменной

Х₀=(1 х₁₀ х₂₀ ... х_р0).

На практике часто бывает необходимо сравнение влияния на зависимую переменную различных объясняющих переменных, когда последние выражаются разными единицами измерения. В этом случае используют стандартизованные коэффициенты регрессии b_j’ и коэффициенты эластичности E_j (j = 1,2,..., р):

Стандартизованный коэффициент регрессии b_j’ показывает, на сколько величин s_y изменится в среднем зависимая переменная Y при увеличении только j-й объясняющей переменной на s_xj, а коэффициент эластичности E_j — на сколько процентов (от средней) изменится в среднем Yпри увеличении только X_j на 1%.

Преобразуем вектор оценок (4.8) с учетом (4.2):

т.е. оценки параметров (4.8), найденные по выборке, будут содержать случайные ошибки.

Так как математическое ожидание оценки b равно оцениваемому параметру β, т. е.

Т.к. M(ε)=0, то, очевидно, что вектор b есть несмещенная оценка параметра β.

Вариации оценок параметров будут в конечном счете определять точность уравнения множественной регрессии. Для их измерения в многомерном регрессионном анализе рассматривают так называемую ковариационную матрицу вектора оценок параметров ∑_b,  являющуюся матричным аналогом дисперсии одной переменной:

где элементы δ_ij — ковариации (или корреляционные моменты) оценок параметров β_i и β_j. Ковариация двух переменных определяется как математическое ожидание произведения отклонений этих переменных от их математических ожиданий. Поэтому

Ковариация характеризует  как степень рассеяния значений двух переменных относительно их математических ожиданий, так и взаимосвязь этих переменных.

В силу того, что оценки b_j, полученные методом наименьших квадратов, являются несмещенными оценками параметров β_j, т. е. M(b_j)=β_j , выражение (4.13) примет вид:

(в этом легко убедиться,  перемножив векторы (b - β) и (b - β)’).

Учитывая (4.12), преобразуем это выражение:

ибо элементы матрицы X — неслучайные величины.

Матрица М(εε') представляет собой ковариационную матрицу вектора возмущений

в которой все элементы, не лежащие на главной диагонали, равны нулю в силу предпосылки 4 о  некоррелированности возмущений ε_i и ε_j между собой, а все элементы, лежащие на главной диагонали, в силу предпосылок 2 и 3 регрессионного анализа равны одной и той же дисперсии δ²:

Поэтому матрица

где Е_n — единичная матрица n-го порядка. Следовательно, в силу (4.15) ковариационная матрица вектора оценок параметров:

Итак, с помощью обратной матрицы (Х’Х)^-1 определяется не только сам вектор b оценок параметров (4.8), но и дисперсии и ковариации его компонент.

Теперь мы имеем возможность  привести доказательство теоремы Гаусса—Маркова.

Выше мы уже показали, что оценка метода наименьших квадратов b = (Х'Х)^-1 X'Y есть несмещенная оценка для вектора параметров β, т. е. М(b) = β. Любую другую оценку b₁ вектора β без ограничения общности можно представить в виде

где С — некоторая матрица размера (р+1)хn.

Так как рассматриваемые  в теореме оценки относятся к  классу несмещенных оценок, то и 

М(b₁) =β или М(b₁) =  M[(X'X)^-1X' + C]Y = β.

Учитывая, что матрица  в квадратных скобках — неслучайная, а в силу предпосылки 2 регрессионного анализа M(ε)=0, получим

откуда следует, что СХ = 0.

Далее

Так как 

Теперь с помощью преобразований, аналогичных проведенным при  получении формул (4.15), (4.16), найдем, что ковариационная матрица вектора оценок b₁, т. е.

Или, учитывая (4.16),

Диагональные элементы матрицы СС’ неотрицательны, ибо они равны суммам квадратов элементов соответствующих строк этой матрицы. А так как диагональные элементы матриц ∑_b и ∑_b есть дисперсии компонент векторов оценок b_1i и b_i то дисперсия   Это означает, что оценки коэффициентов регрессии, найденных методом наименьших квадратов, обладают наименьшей дисперсией, что и требовалось доказать.

Итак, мы доказали, что оценка b метода наименьших квадратов является «наилучшей» линейной оценкой параметра β. Перейдем теперь к оценке еще одного параметра - дисперсии возмущений δ².

Рассмотрим вектор остатков е, равный в соответствии с (4.2') е= Y- Хb.

 В силу (4.2) и (4.8)

(учли, что произведение (Х’Х)^-1(Х'Х)=Е, т. е. равно единичной матрице Е_p+1 (p+1)-го порядка).

Найдем транспонированный  вектор остатков е'. Так как при транспонировании матрица (Х'Х)^-1 не меняется, т. е.

Так как последние два  слагаемых взаимно уничтожаются, то

Первое слагаемое выражения (4.17)

ибо в силу предпосылок 2,3 регрессионного анализа

Матрица В=Х(Х’Х)^-1 X' симметрическая, так как

Поэтому ε'Вε представляет квадратическую форму

Её математическое ожидание

Последнюю сумму можно  разбить на две составляющие суммы  элементов на главной диагонали  матрицы В и вне ее:

Второе слагаемое равно  нулю в силу предпосылки 4 регрессионного анализа, т.е. M(ε_iε_j)=0. Сумма диагональных элементов матрицы В образует след матрицы tr(B). Получим

Заменив матрицу В ее выражением, получим

так как след матрицы не меняется при ее транспонировании, т. е. tr(AC)= tr(CA), а след единичной матрицы (т.е. сумма ее диагональных элементов) равен порядку этой матрицы.

Теперь по формуле (4.17), учитывая (4.18) и (4.19), получим:

т.е.:

Равенство (4.20) означает, что несмещенная оценка s² параметра δ² или выборочная остаточная дисперсия s² определяется по формуле:

Полученная формула легко  объяснима. В знаменателе выражения (4.21) стоит n-(р+1), а не n-2. Это связано с тем, что теперь (р+1) степеней свободы (а не две) теряются при определении неизвестных параметров, число которых вместе со свободным членом равно (р+1). Можно показать, что рассмотренные оценки b и s² параметров β и δ² при выполнении предпосылки 5 регрессионного анализа о нормальном распределении вектора возмущений ε(ε~N_n(0;δ²E_n)) являются независимыми. Для этого в данном случае достаточно убедиться в некоррелированности оценок b и s².

Перейдем теперь к оценке значимости коэффициентов регрессии b_j и построению доверительного интервала для параметров регрессионной модели β_j (j=1,2,..., р).

В силу (4.14), (4.16) и изложенного выше оценка s_b² дисперсии δ_b² коэффициента регрессии b_j определится по формуле:

где s² — несмещенная оценка параметра δ²;

[(Х'Х)^~1]_jj — диагональный элемент матрицы (X'Х)^-1.

Среднее квадратическое отклонение (стандартная ошибка) коэффициента регрессии b_j примет вид:

Значимость коэффициента регрессии b_j мoжно проверить, если учесть, что статистика (b_j -β_j)/s_b. имеет t-распределение Стьюдента с k =n-р-1 степенями свободы. Поэтому b_j значимо отличается от нуля (иначе — гипотеза H₀ o равенстве параметра β_j нулю, т. е. H₀: β_j = 0, отвергается) на уровне значимости α, если - табличное значение t-критерия Стьюдента, определенное на уровне значимости α при числе степеней свободы k=n-р-1.

В общей постановке гипотеза H₀ о равенстве параметра β_j заданному числу β_j0, т. е. Н₀:β_j=β_j0, отвергается, если

Поэтому доверительный интервал для параметра β_j есть

Наряду с интервальным оцениванием коэффициентов регрессии  по (4.23') весьма важным для оценки точности определения зависимой переменной (прогноза) является построение доверительного интервала для функции регрессии или для условного математического ожидания зависимой переменной M_x(Y), найденного в предположении, что объясняющие переменные Х₁,X₂,..., Х_р приняли значения, задаваемые вектором Х^'₀ =(l х₁₀ х_2о … х_р0). Выше такой интервал получен для уравнения парной регрессии. Обобщая соответствующие выражения на случай множественной регрессии, можно получить  доверительный интервал для M_X(Y):

где у — групповая средняя, определяемая по уравнению регрессии,

— ее стандартная ошибка.

Аналогичный доверительный интервал для индивидуальных значений зависимой переменной y₀^* примет вид:

Доверительный интервал для  параметра δ² в множественной регрессии строится аналогично парной модели по формуле (3.39) с соответствующим изменением числа степеней свободы критерия χ².

 

 

 

 

 

 

 

4. Проверка адекватности модели.

Коэффициент детерминации.

Как и в случае парной регрессионной модели, в модели множественной  регрессии общая вариация Q — сумма квадратов отклонений зависимой переменной от средней (3.41) может быть разложена на две составляющие:

Q=Q_R+Q_e ,

где Q_R, Q_e — соответственно сумма квадратов отклонений, обусловленная регрессией, и остаточная сумма квадратов, характеризующая влияние неучтенных факторов.

Получим более удобные, формулы  для сумм квадратов Q, Q_R и Q_e, не требующие вычисления значений y_i , обусловленных регрессией, и остатков е_i.

Наконец,

Уравнение множественной  регрессии значимо (иначе - гипотеза Hо о равенстве нулю параметров регрессионной модели, т. е. Ho: β₁ = β₂ =...=β_p= 0, отвергается), если при m = р+1)

где F_{α;p;n-p-1 -} табличное значение F- критерия Фишера-Снедекора, а Q_R и Q_e определяются по формулам (4.31) и (4.30).

Kоэффициент детерминации R² как одна из наиболее эффективных оценок адекватности регрессионной модели, мера качества уравнения регрессии, характеристика его  прогностической силы.

Коэффициент детерминации (или множественный коэффициент детерминации) R² определяется по формуле:

R² характеризует долю вариации зависимой переменной, обусловленной регрессией или изменчивостью объясняющих переменных; чем ближе R² к единице, тем лучше регрессия описывает зависимость между объясняющими и зависимой переменными.

Вместе с тем использование  только одного коэффициента детерминации R² для выбора наилучшего уравнения регрессии может оказаться недостаточным. На практике встречаются случаи, когда плохо определенная модель регрессии может дать сравнительно высокий коэффициент R². Недостатком коэффициента детерминации R² является то, что он, вообще говоря, увеличивается при добавлении новых объясняющих переменных, хотя это и не обязательно означает улучшение качества регрессионной модели. В этом смысле предпочтительнее использовать скорректированный  (адаптированный, поправленный (adjusted)) коэффициент детерминации R², определяемый по формуле

Из (4.34) следует, что чем больше число объясняющих переменных р, тем меньше R² по сравнению с R². В отличие от R² скорректированный коэффициент R² может уменьшаться при введении в модель новых объясняющих переменных, не оказывающих существенного влияния на зависимую переменную. Однако даже увеличение скорректированного коэффициента детерминации R² при введении в модель новой объясняющей переменной не всегда означает, что ее коэффициент регрессии значим (это происходит, как можно показать, только в случае, если соответствующее значение t-статистики больше единицы (по абсолютной величине), т.е. |t|>1. Другими словами, увеличение R² еще не означает улучшения качества регрессионной модели. Если известен коэффициент детерминации R², то критерий значимости (4.32) уравнения регрессии может быть записан в виде:

где к₁=р, к₂₌n-р-1, ибо в уравнении множественной регрессии вместе со свободным членом оценивается m=р+1 параметров.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Список использованной литературы

1. Кремер Н.Ш., Путко Б.А.  Эконометрика: Учебник для вузов /

Под ред. проф. Н.Ш. Кремера. - М.: ЮНИТИ-ДАНА, 2002. — 311 с.