Автокорреляционные методы

План

1. Авторегрессионный процесс первого порядка
2. Оценивание в модели с авторегрессией
3. Процедура Кохрейна-Оркатта (Cochrane-Orcutt)
4. Процедура Хилдрета-Лу (Hildreth-Lu)
5. Процедура Дарбина (Durbin)
6. Тест Дарбина-Уотсона на наличие или отсутствие корреляции по времени

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Авторегрессионный процесс первого порядка

  При анализе  временных рядов часто приходится учитывать статистическую зависимость наблюдений в разные моменты времени. Иными словами, для многих временных рядов предположение о некоррелированности ошибок не выполняется. В этом разделе мы рассмотрим наиболее простую модель, в которой ошибки образуют так называемый авторегрессионный процесс первого порядка (точное определение будет дано ниже). Применение обычного метода наименьших квадратов к этой системе дает несмещенные и состоятельные оценки параметров, однако можно показать (см., например, Johnston and DiNardo, 1997), что получаемая при этом оценка дисперсии оказывается смещенной вниз, что может отрицательно сказаться при проверке гипотез о значимости коэффициентов. Образно говоря, МНК рисует более оптимистичную картину регрессии, чем есть на самом деле.

Рассмотрим модель  
 

  (Формула 1) 

где t-я компонента вектора y представляет значение зависимой переменной в момент времени t, t = l,...,n. Будем для определенности считать, что первым регрессором в X является константа. Запишем подробнее уравнение для наблюдения в момент времени t:

   (Формула 2)

где x'_t = (1, x_t2,..., x_tk) — t-я строка матрицы Х. 

  Один  из наиболее простых способов учета  коррелированности ошибок (в разные моменты времени) состоит в предположении, что случайная последовательность { _t, t = 1,…,n} образует авторегрессионный процесс первого порядка. Это означает, что ошибки удовлетворяют рекуррентному соотношению

  

 (Формула 3)

где { , t — l,...,n} — последовательность независимых нормально распределенных случайных величин с нулевым средним и постоянной дисперсией , а p — некоторый параметр, называемый коэффициентом авторегрессии (|p| < 1). Строго говоря, для полного описания модели надо определить - Будем считать, что — нормальная случайная величина с нулевым средним и дисперсией , не зависящая от { , t = 1,...,n}. Из дальнейшего станет ясно, почему у именно такие параметры. Взяв математическое ожидание от обеих частей (Формула 3), получим E = pE , откуда следует, что E = 0, t = l,...,n. Поскольку выражается через (формула 3), то и независимы. Поэтому

  Легко проверяется, что если , то

   ,  t=1,…,n. (Формула 4)

  Умножая (Формула 4) на и вновь пользуясь независимостью и , получим

  

 (Формула 5)

  Аналогично  и вообще

  

 (Формула 6)

  Таким образом, последовательность { } образует стационарный случайный процесс. Именно этим обстоятельством диктовался выбор параметров начальной величины . На самом деле, с течением времени зависимость от быстро уменьшается, поэтому в большинстве книг по эконометрике проблему начальных условий для { } просто не рассматривают, неявно подразумевая, что процесс (Формула 3) при любом начальном значении быстро сходится к стационарному. Отмечу также, что условие |p| < 1 является необходимым для стационарности.

  Из (Формула 5) следует, что

   ,

т. е. p есть в точности коэффициент корреляции между двумя соседними ошибками. Пользуясь (Формула 6), можно выписать ковариационную матрицу случайного вектора :

  

 

Оценивание  в модели с авторегрессией

  Проблему  оценивания системы (Формула 1) рассмотрим отдельно для случая, когда коэффициент p известен, и отдельно — когда неизвестен.

1. Значение p известно. В этом случае для оценивания системы (Формула 1) можно применить обобщенный метод наименьших квадратов. В данном случае нетрудно найти матрицу P, для которой . Здесь весьма просто догадаться, какое линейное преобразование исходной системы (Формула 1) надо провести, чтобы получить классическую модель. Напишем (Формула 2) для момента времени

умножим обе части  на p и вычтем почленно из (Формула 2). Тогда с учетом (Формула 3) получим

 (Формула 7) 

   При t=1 достаточно обе части уравнения (Формула 3) умножить на :

 (Формула 8)

   В системе (Формула 7), (Формула 8) ошибки удовлетворяют  условиям уже обычной регрессионной  модели. Действительно, в (Формула 7) случайные величины { t=2,…,n} независимы и имеют постоянную дисперсию , а в (Формула 8) ошибка не зависит от { t=2,…,n} и, согласно (Формула 4), также имеет дисперсию .

  На  практике часто опускают преобразование (Формула 8), игнорируя тем самым первое наблюдение. С одной стороны, благодаря этому, преобразование исходной модели (Формула 1) становится единообразным. В частности, для получения оценки параметра достаточно оценку свободного члена в (Формула 7) разделить на (1 — p). С другой стороны, отбрасывание первого наблюдения может привести к потере важной информации, особенно в выборках небольшого размера.

  2. Значение p неизвестно. Ситуации, когда параметр авторегрессии р известен, встречаются крайне редко. Поэтому возникает необходимость в процедурах оценивания при неизвестном р. Как правило, они имеют итеративный характер. Опишем три наиболее употребительные. Мы не будем устанавливать сходимость этих процедур, практика их применения показала, что они достаточно эффективны.

    Процедура Кохрейна-Оркатта (Cochrane-Orcutt). Начальным шагом этой процедуры является применение обычного метода наименьших квадратов к исходной системе (Формула 1) и получение соответствующих остатков . Далее,

1. в качестве приближенного  значения p берется его МНК-оценка r в регрессии
2. проводится преобразование (Формула7) (или (Формула7),(Формула8))при p = r и находятся МНК-оценки вектора параметров ;
3. строится новый вектор остатков е = у — X /3;
4. процедура повторяется, начиная c пункта 1).

  Процесс обычно заканчивается, когда очередное  приближение p мало отличается от предыдущего. Иногда просто фиксируется количество итераций. Процедура Кохрейна-Оркатта реализована в большинстве эконометрических компьютерных программ.

   Процедура Хилдрета-Лу (Hildreth-Lu). Суть процедуры достаточно проста.

   Из  интервала (—1,1) возможного изменения коэффициента p берутся последовательно некоторые значения (например, числа с постоянным шагом 0.1 или 0.05)

   Для каждого из них проводится оценивание преобразованной системы (Формула7).

   Определяется  то значение этого параметра, для  которого сумма квадратов отклонений в (Формула7) минимальна.

   Затем в некоторой окрестности этого значения устраивается более мелкая сетка и процесс повторяется.

   Итерации  заканчиваются, когда будет достигнута желаемая точность. Время работы процедуры, очевидно, сокращается, если есть априорная информация об области изменения параметра p.

   Процедура Дарбина (Durbin). Преобразованная система (Формула 7) переписывается в следующем виде:

,

т.е. включается в число регрессоров, а p — в число оцениваемых параметров. Для этой системы строятся обычные МНК-оценки r и параметров p и p соответственно. В качестве оценки берут /r. Можно улучшить качество оценок , подставив полученное значение r в систему (Формула 7), и найти новые МНК-оценки параметров .

     Тест  Дарбина-Уотсона  на наличие или  отсутствие корреляции по времени

  Большинство тестов на наличие корреляции по времени в ошибках системы (Формула 1) используют следующую идею: если корреляция есть у ошибок , то она присутствует и в остатках , получаемых после применения к (Формула 1) обычного метода наименьших квадратов. Здесь мы рассмотрим только одну реализацию этого подхода. Пусть нулевая гипотеза состоит в отсутствии корреляции, т.е. : р=0. В качестве альтернативной может выступать либо просто : «не », либо односторонняя гипотеза, например, : p > 0.

  Наиболее  широко используется тест Дарбина-Уотсона (Dur-bin-Watson). Он основан на статистике

  

 (Формула 9)

    Будем считать, что постоянный член включен в число регрессоров. Тогда нетрудно проверить, что эта статистика тесно связана с выборочным коэффициентом корреляции между и . Действительно, проводя элементарные выкладки, имеем

  

 (Формула 10)

   Предполагая число наблюдений достаточно большим, можно считать, что приближенно выполнены следующие равенства: и (поскольку выполнено точное равенство в силу наличия постоянного регрессора). Поэтому выборочный коэффициент корреляции r между и можно приближенно представить в виде

   

 
 
    Наконец, пренебрегая в (6.14) слагаемыми и по сравнению с общей суммой окончательно получим

  

 (Формула 11)

Понятен и  содержательный смысл статистики DW: если между и имеется достаточно высокая положительная корреляция, то в определенном смысле и близки друг к другу и величина статистики DW мала. Это согласуется с (Формула 11): если коэффициент r близок к единице, то величина DW близка к нулю. Отсутствие корреляции означает, что DW близка к 2. Таким образом, если бы распределение статистики DW было известно, то для проверки гипотезы : p=0 против альтернативы: : p>0 можно было бы для заданного уровня значимости (например, для 5%-уровня) найти такое критическое значение d*, что если DW > d*, то гипотеза не отвергается, в противном случае она отвергается в пользу . Проблема, однако, состоит в том, что распределение DW зависит не только от числа наблюдений n и количества регрессоров k, но и от всей матрицы X, и, значит, практическое применение этой процедуры невозможно, поскольку нельзя же составить таблицу критических значений d* для всех матриц X!   Тем не менее, Дарбин и Уотсон доказали (Durbin, Watson, 1951), что существуют две границы, обычно обозначаемые и > (u = upper — верхняя, l = low — нижняя), которые зависят лишь от n,k и уровня значимости (а следовательно, могут быть затабулированы) и обладают следующим свойством: если DW > , то DW > d* и, значит, гипотеза не отвергается, а если DW < , то DW < d*, и гипотеза отвергается в пользу . В случае < DW < ситуация неопределенна, т. е. нельзя высказаться в пользу той или иной гипотезы. Если альтернативной является гипотеза об отрицательной корреляции : p<0, то соответствующими верхними и нижними границами будут 4 — и 4 — . Целесообразно представить эти результаты в виде следующей таблицы.