Оценка значимости линейного уравнения парной регрессии на основе F-критерии Фишера

http://www.reshebnik.ru/www/econometrica/econometrica1.pdf

ВВЕДЕНИЕ

    Актуальность темы – Рассмотрение простейшей модели парной регрессии – линейная регрессия. Линейная регрессия находит широкое применение в эконометрике ввиду четкой экономической интерпретации ее параметров.

    Линейная регрессия (англ. Linear regression) — используемая в статистике регрессионная модель зависимости одной (объясняемой, зависимой) переменной y от одной или нескольких других переменных (факторов, регрессоров, независимых переменных) x с линейной функцией зависимости.

    Модель линейной регрессии является часто используемой и наиболее изученной в эконометрике. А именно изучены свойства оценок параметров, получаемых различными методами при тех или иных предположениях о вероятностных характеристиках факторов и случайных ошибок модели. Предельные (асимптотические) свойства оценок нелинейных моделей также выводятся исходя из аппроксимации последних линейными моделями. Необходимо отметить, что с эконометрической точки зрения более важное значение имеет линейность по параметрам, чем линейность по факторам модели.

    Цель темы – изучить оценку значимости линейного уравнения парной регрессии на основе F-критерии Фишера, описать, доказать, изучить, привести примеры и сделать заключение по изученной теме.

    Источники – я использовала книгу Орлов А.И. и учебное пособие по эконометрике, для изучения данной темы, а также некоторые источники из интернета.

 

 

 

 

1.Регрессия

Регрессия [regression] – зависимость среднего значения какой-либо случайной величины от некоторой другой величины (парная регрессия) или нескольких величин (множественная регрессия).

Уравнение линейной парной регрессии имеет вид: .

 

Для оценки параметров a, b методом наименьших квадратов (МНК) необходимо решить систему нормальных уравнений:

(1.1)

Можно воспользоваться готовыми формулами решения системы:

, ,

(1.2)

где  – среднее значение фактора X;

 – среднее значение результативной  переменной Y;

 – среднее значение произведения  переменных X и Y;

 – среднее значение квадрата  переменной Х;

 – ковариация переменных  Х и Y;

 – дисперсия переменной  Х.

Коэффициент регрессии b показывает, на сколько единиц в среднем по совокупности изменится результирующая переменная Y, если факторная переменная Х увеличится на одну единицу.

 

Для оценки тесноты линейной связи между переменными используют линейный коэффициент парной корреляции:

,

(1.3)

где  – срднеквадратическое отклонение (СКО) переменной Х;

 – срднеквадратическое отклонение (СКО) переменной Y.

Можно считать, что:

1) если  , то имеется прямая линейная связь между переменными Х и Y;

2) если  , то имеется обратная линейная связь между переменными Х и Y;

3) если ( ), то линейная связь между переменными Х и Y отсутствует.

Качественная оценка тесноты  связи величин Х и Y может быть выявлена на основе шкалы Чеддока:

Тестона связи	Значение коэффициента корреляции
Слабая	0,1-0,3
Умеренная	0,3-0,5
Заметная	0,5-0,7
Высокая	0,7-0,9
Весьма высокая	0,9-0,99

 

Для оценки качества уравнения  регрессии использую коэффициент детерминации .

Коэффициент детерминации характеризует  долю дисперсии, объясняемую регрессией, в общей дисперсии результативного  признака (квадрат коэффициента корреляции):

.

(1.4)

Коэффициент детерминации показывает, какую часть вариации (изменения) результативной переменной Y объясняет вариация (изменение) фактора X. Чем ближе к единице, тем лучше регрессионная модель.

 

Оценка статистической значимости уравнения регрессии в целом  осуществляется с помощью F-критерия Фишера. Проверяется гипотеза Н₀ о статистической незначимости уравнения регрессии. Для этого рассчитывается фактическое значение критерия по формуле:

,

(1.5)

где n – число единиц совокупности;

m – число параметров при переменных х.

Если применяется линейное уравнение регрессии, то расчет F_факт упрощается:

.

(1.6)

F_табл – это максимально возможное значение критерия, которое могло сформироваться под влиянием случайных факторов при данных степенях свободы и уровне значимости a. Уровень значимости a – вероятность отвергнуть правильную гипотезу при условии, что она верна. Имеются таблицы критических (табличных) значений F-критерия: F(a; k₁; k₂), где , . Для линейного уравнения парной регрессии с уровнем значимости a = 0,05 необходимо в таблице значений (приложение №4) найти значение F(0,05; 1; n – 2).

Если F_табл < F_факт, то гипотеза Н₀ о случайной природе оцениваемых характеристик отклоняется и признается их статистическая значимость и надежность.

 

Для оценки статистической значимости коэффициентов регрессии  и коэффициента корреляции рассчитывается t-критерий Стьюдента. Выдвигается гипотеза H₀ о случайной природе показателей, т.е. о незначимом их отличии от нуля. Наблюдаемые значения t-критерия рассчитываются по формулам:

, , ,

(1.7)

где  – случайные ошибки параметров линейной регрессии и коэффициента корреляции.

Для линейной парной регрессии  выполняется равенство  , поэтому проверки гипотез о значимости коэффициента регрессии при факторе и коэффициента корреляции равносильны проверке гипотезы о статистической значимости уравнения регрессии в целом.

Вообще, случайные ошибки рассчитываются по формулам:

, , .

(1.8)

где  – остаточная дисперсия на одну степень свободы:

.

(1.9)

Табличное (критическое) значение t-статистики находят по таблицам распределения t-Стьюдента при уровне значимости α = 0,05 и числе степеней свободы (приложение №5). Если t_табл < t_факт, то H₀ отклоняется, т.е. коэффициенты регрессии не случайно отличаются от нуля и сформировались под влиянием систематически действующего фактора.

 

 

 

 

2. Линейная регрессия

Рассмотрим простейшую модель парной регрессии – линейную регрессию. Линейная регрессия находит широкое применение в эконометрике ввиду четкой экономической интерпретации ее параметров.

Линейная регрессия сводится к нахождению уравнения вида

 

 

 

Уравнение вида                        позволяет по заданным значениям

фактора x находить теоретические значения результативного признака,

подставляя в него фактические  значения фактора x .

Построение линейной регрессии  сводится к оценке ее параметров –

a и b. Классический подход к оцениванию параметров линейной

регрессии основан на методе наименьших квадратов (МНК). МНК

позволяет получить такие  оценки параметров a и b, при которых сумма

квадратов отклонений фактических  значений результативного признака

y от теоретических    минимальна:

 

 

 

Т.е. из всего множества  линий линия регрессии на графике

выбирается так, чтобы  сумма квадратов расстояний по вертикали  между

точками и этой линией была бы минимальной (рис. 1.2):

 

 

 

 

 

 

Рис. 1.2. Линия регрессии с минимальной дисперсией остатков.

Как известно из курса математического  анализа, чтобы найти

минимум функции (1.2), надо вычислить  частные производные по

каждому из параметров a и b и приравнять их к нулю. Обозначим      через S (a, b), тогда:

 

 

 

 

 

 

После несложных преобразований, получим следующую систему

линейных уравнений для  оценки параметров a и b:

 

 

 

 

Решая систему уравнений (1.4), найдем искомые оценки

параметров a и b. Можно воспользоваться следующими готовыми

формулами, которые следуют  непосредственно из решения системы (1.4):

 

 

 

где                             – ковариация признаков x и y ,                      x – дисперсия признака x и

 

 

 

Ковариация – числовая характеристика совместного распределения

двух случайных величин, равная математическому ожиданию

произведения отклонений этих случайных величин от их математических

ожиданий. Дисперсия –  характеристика случайной величины,

определяемая как математическое ожидание квадрата отклонения

случайной величины от ее математического  ожидания. Математическое

ожидание – сумма произведений значений случайной величины на

соответствующие вероятности.

Параметр b называется коэффициентом регрессии. Его величина

показывает среднее изменение  результата с изменением фактора  на одну

единицу.

Возможность четкой экономической  интерпретации коэффициента

регрессии сделала линейное уравнение регрессии достаточно

распространенным в эконометрических исследованиях.

Формально a – значение y при x = 0. Если признак-фактор x не

может иметь нулевого значения, то вышеуказанная трактовка свободного

члена a не имеет смысла, т.е. параметр a может не иметь

экономического содержания.

Уравнение регрессии всегда дополняется показателем тесноты

связи. При использовании  линейной регрессии в качестве такого

показателя выступает  линейный коэффициент корреляции     , который

можно рассчитать по следующим  формулам:

 

 

 

Линейный коэффициент  корреляции находится в пределах:

              Чем ближе абсолютное значение         к единице, тем сильнее

линейная связь между  факторами (при              имеем строгую

функциональную зависимость). Но следует иметь в виду, что  близость

абсолютной величины линейного  коэффициента корреляции к нулю еще

не означает отсутствия связи  между признаками. При другой

(нелинейной) спецификации  модели связь между признаками  может

оказаться достаточно тесной.

Для оценки качества подбора  линейной функции рассчитывается

квадрат линейного коэффициента корреляции         , называемый

коэффициентом детерминации. Коэффициент детерминации характеризует долю дисперсии результативного признака y ,объясняемую регрессией, в общей дисперсии результативного признака:

 

 

 

 

 

Соответственно величина            характеризует долю дисперсии y ,

вызванную влиянием остальных, не учтенных в модели, факторов.

После того как найдено  уравнение линейной регрессии, проводится

оценка значимости как  уравнения в целом, так и отдельных его

параметров.

Проверить значимость уравнения  регрессии – значит установить,

соответствует ли математическая модель, выражающая зависимость