Поняття про мультиколінеарність та її вплив на оцінку параметрів моделі

Поняття про мультиколінеарність  та її вплив на оцінку параметрів моделі

Одна з передумов  застосування методу найменших квадратів  до оцінювання параметрів лінійних багатофакторних  моделей — відсутність лінійних зв'язків між незалежними змінними моделі. Якщо такі зв'язки існують, то це явище називають мультиколінеарністю.

Суть мультиколінеарності  полягає в тому, що в багатофакторній  регресійній моделі дві або більше незалежних змінних пов'язані між  собою лінійною залежністю або, іншими словами, мають високий ступінь кореляції:

Наявність мультиколінеарності  створює певні проблеми при розробці моделей. Насамперед, визначник матриці  спостережень ІХТХ| наближається до нуля, і оператор оцінювання за звичайним  МНК стає надзвичайно чутливий до похибок вимірювань і похибок обчислень. При цьому МНК-оцінки можуть мати значне зміщення відносно дійсних оцінок узагальненої моделі, а в деяких випадках можуть стати взагалі беззмістовними.

Передусім потрібно зрозуміти  природу мультиколінеарності.

Наприклад, коли вивчається залежність між ціною акції, дивідендами на акцію та отриманим прибутком на акцію, то дивіденди та отриманий прибуток на одну акцію мають високий ступінь кореляції. Іншими словами, виникає ситуація, коли два колінеарних фактори змінюються в одному напрямку. У такому разі майже неможливо оцінити вплив кожного з них на досліджуваний показник.

З’ясуємо, до яких наслідків  може призвести мультиколінеарність. Це одне з найважливіших питань, яке потрібно зрозуміти при розробці економетричних моделей.

Практичні наслідки мультиколінеарності: мультиколінеарність незалежних змінних (факторів) призводить до зміщення оцінок параметрів моделі, які розраховуються за методом найменших квадратів. На основі цих оцінок неможливо зробити конкретні висновки про результати взаємозв’язку між показником і факторами; збільшення дисперсії та коваріації оцінок параметрів, обчисле-них за методом найменших квадратів.

Для ілюстрації розглянемо двофакторну регресійну модель та її вибірковий аналог

Дисперсія оцінок параметрів a₁ і a₂ має вигляд

де r - коефіцієнт кореляції  між х1 і х2.

З рівнянь випливає, що якщо r зростає, то D(a₁), D(a₂) також зростають.

Звідси випливає, що якщо г збільшується, cov(a₁, a₂) зростає за абсолютною величиною. Причому при наближенні до граничного значення це збільшення має експоненціальний характер.

• збільшення довірчого  інтервалу (оскільки збільшується середній квадрат відхилення параметрів);

• незначущість статистик.

Зауваження. Мультиколінеарність  не є проблемою, якщо єдиною метою  регресійного аналізу є прогноз (оскільки чим більше значення R2, тим точніший прогноз). Якщо метою аналізу є не прогноз, а дійсне значення параметрів, то мультиколінеарність перетворюється на проблему, оскільки її наявність призводить до значних стандартних похибок оцінок параметрів.

 

 

 

 

Тестування  наявності мультиколінеарності

Єдиного способу визначення мультиколінеарності, на жаль, немає. Зовнішні ознаки наявності мультиколінеарності  такі:

• велике значення R2 і  незначущість статистики. Наявність  цих двох факторів одночасно є "класичною" ознакою мультиколінеарності.

З одного боку, незначущість статистики Стьюдента означає, що один або більше оцінених параметрів статистично  незначуще відрізняються від  нуля. З іншого боку, якщо значення R2 велике, ми приймаємо з великою  ймовірністю _Р-критерій Фішера, який відкидає нульову гіпотезу (Н0 : а₁=а₂ = ... = а =0). Суперечність свідчить про наявність мультиколінеарності;

• велике значення парних коефіцієнтів кореляції.

Якщо значення хоча б одного коефіцієнта  кореляції > 0,8, і Ф ), то мультиколінеарність є серйозною проблемою.

Зауважимо, що велике значення парних коефіцієнтів кореляції —  достатня, але не необхідна умова  наявності мультиколінеарності. Мультиколінеарність  може мати місце навіть при відносно невеликих значеннях парних коефіцієнтах кореляції у більш ніж двофакторній регресійній моделі.

Для визначення мультиколінеарності  здебільшого застосовують такі тести:

• F-mecm, запропонований Глобером і Фарраром (він має й іншу назву: побудова допоміжної регресії);

• характеристичні значення та умовний індекс. Розглянемо їх більш детально.

Перший із них базується  на тому що за наявності мультиколінеарності  один чи більше факторів пов’язані  між собою лінійною або приблизно  лінійною залежністю. Одним із способів визначення щільності регресійного зв’язку є побудова регресійної залежності кожного фактора х. з усіма іншими факторами. Тому f-тест має іншу назву: побудова допоміжної регресії. Обчислення відповідного коефіцієнта детермінації для цього допоміжного регресійного рівняння та його перевірка за допомогою ^-критерію дають змогу виявити лінійні зв’язки між незалежними змінними.

Нехай R₂x i x₁x₂,...,x_m - коефіцієнт детермінації в регресії, яка пов’язує фактор хз іншими факторами. Тоді F-тест виконується так:

1) для кожного коефіцієнта  детермінації розраховуємо ^-відношення:

де n - кількість спостережень; m - кількість факторів.

F-тест перевіряє гіпотезу H0: R2xi,x1, xm = 0 проти гіпотези H1:

R2 ≠0;

2) Екр знаходимо за  таблицею f-розподілу Фішера з  (m–1) і (n–m) ступенями свободи  і заданим рівнем значущості;

3) якщо Fi > F , то гіпотезу Н0 відкидаємо (х — мультиколінеарний фактор), якщо F < F , то гіпотезу Н0 приймаємо  (фактор х- не є мультиколінеарним).

Тест, що застосовує характеристичні  значення (власні числа матриці спостережень) та умовний індекс R (що обчислюється як відношення максимального власного числа матриці до її мінімального власного числа), використовується в сучасних статистичних пакетах. Ми не розглядатимемо його детально, бо це потребує застосування апарату теорії матриць.

Ми розглянули лише основні методи тестування мультиколінеарності. Жоден з них не є універсальним. Усі вони мають один спільний недолік: жоден із них не проводить чіткої межі між тим, що треба вважати “суттєвою” мультиколінеарністю, яку необхідно враховувати, і тим, коли нею можна знехтувати.

Алгоритм Фаррара  — Глобера

Найповніше дослідити  мультиколінеарність дає змогу  алгоритм Фаррара - Глобера, який застосовує три види статистичних критеріїв  для виявлення мультиколінеарності:

• усього масиву незалежних змінних (критерій х₂);
• кожної незалежної змінної з усіма іншими (^-критерій);
• кожної пари незалежних змінних (t-критерій).

Порівнявши ці критерії з їх критичними значеннями, можна  зро-бити конкретні висновки щодо наявності  чи відсутності мультиколінеарності  незалежних змінних. Опишемо цей алгоритм.

Складемо покроковий алгоритм Фаррара - Глобера.

1-й крок:

нормалізувати змінні x1, х2, ..., х економетричної моделі, обчисливши

2-й крок:

на основі матриці X*, елементами якої є нормалізовані незалежні  змінні x*i j , обчислити кореляційну матрицю (матрицю моментів нормалізованої системи нормальних рівнянь):

де X*tr - транспонована  матриця X* (елементи матриці R характе-ризують  щільність зв’язку однієї незалежної змінної з іншою);

rij = rxixj — парні коефіцієнти  кореляції.

Однак на основі цієї залежності не можна стверджувати, що от-риманий  зв’язок є явищем мультиколінеарності. Якщо діагональні елементи матриці R не дорівнюють одиниці, то на діагоналі  цієї матриці ми проставляємо одиниці, а до решти елементів додаємо різницю між одиницею й значенням діагонального елемента.

3-й крок: визначити  |R| - визначник кореляційної матриці  R; обчислити критерій χ2:

порівняти значення χ  з табличним при 1 m(m-1) ступенях свободи  і рівні значущості α (якщо χ2 > χ2табл , то в масиві незалежних змінних існує мультиколінеарність).

4-й крок: визначити матрицю похибок:

5-й крок: розрахувати  ^-критерії:

де ckk - діагональні елементи матриці О;

значення критеріїв Fk порівняти  з табличним при (n–m) і (m–1) ступенях свободи й рівні значущості а (якщо Fk > F б , то відповідна k-та незалежна змінна мультиколінеарна з іншими);

розрахувати коефіцієнти детермінації для кожної змінної:

6-й крок: знайти часткові  коефіцієнти кореляції, які характеризують  щільність зв’язку між двома  змінними за умови, що інші змінні xl1, xl2, ... , xlm не впливають на цей зв’язок (існування парної мульти-колінеарності):

де ckj - елементи матриці  С, що розміщені в k-му рядку та j-му стовпці, k = 1, 2, ..., m; j = 1, 2, ..., m; ckk і с - діагональні елементи матриці С

Однак якщо порівняти конкретні  числові значення часткових і  парних коефіцієнтів, то можна побачити, що перші значно менші,

ніж останні. Тому на основі знання парних коефіцієнтів кореляції  висновок про мультиколінеарність  робити неможливо. Для цього не-обхідно  виконати 7-й крок.

7-й крок: розрахувати  ^-критерії:

значення критеріїв tkj порівняти з табличними при (т-п) ступенях свободи та рівні значущості а; якщо tkj > t б , то між незалеж-ними змінними xk і Xj існує мультиколінеарність.

Висновки:

1. Між незалежними  змінними може існувати лінійна  залежність, однак вона може й  не бути явищем мультиколінеарності  змінних, а тому не впливатиме на кількісні оцінки параметрів моделі, розрахованих за допомогою звичайного МНК.

2. Якщо Fk > F б , то xk залежить  від усіх інших незалежних  змінних і треба вирішити питання  про її виключення з переліку  змінних.

3. Якщо tk > t б , то xk і  хj щільно пов’язані між собою.

4. Аналізуючи F- i t-критерії, робимо висновок, яку зі змінних  треба виключити з моделі (зрозуміло,  якщо це можливо з економіко-логіко-теоретичних  міркувань).

5. Якщо виконавши пп. 2-4, ми не досягли мети, тобто  не усунули мультиколінеарність, оцінку параметрів моделі слід обчислювати за допомогою іншого методу, наприклад методу головних компонентів (або однієї з його модифікацій).

Приклад дослідження  наявності мультиколінеарності  на основі алгоритму Фаррара —  Глобера

Розглянемо дослідження впливу на економічний показник у - реальне споживання країни (у млрд грн.) трьох факторів: х1 - купівлі та оплати товарів і послуг (у млрд грн.), х2 - усіх заощаджень від загального грошового доходу (у % від загальної суми доходу), х3 - рівня ставки ПДВ (у %). Необхідно перевірити фактори на мультиколінеарність.

Розв'язання. 1-й крок:

нормалізуємо змінні x1, x2, х3 економетричної моделі, обчисливши

де n = 20 кількість спостережень (і = 1, 2, ..., n); m = 3 кількість не-залежних змінних (j=1, m); xj - середня арифметичнаj-! незалеж-ної змінної:

x1 =9,3505; x2 =18,874; x3 =37,788; σ  2x j - дисперсія j-ї незалежної змінної:

2-й крок:

на основі нової матриці X', елементами якої є нормалізовані  не-залежні змінні 4,

обчислимо кореляційну  матрицю (матрицю моментів нормалізованої системи нормальних рівнянь):

де X*tr транспонована матриця  Ґ; елементи матриці R характеризу-ють  щільність зв’язку однієї незалежної змінної з іншою ( rij = rxixj -парні  коефіцієнти кореляції);

3-й крок: визначимо  |R| - визначник кореляційної матриці R:

обчислимо значення критерію χ2:

порівняємо значення χ 2 з табличним при 1 m(m-1)=3 ступе-нях  свободи й рівні значущості α = 0,05 (дод. 3):

Оскільки χ2 >χ2табл, то в масиві незалежних змінних існує  муль-тиколінеарність у сукупності. 4-й крок: визначимо матрицю похибок:

 

5-й крок: розрахуємо ^-критерії:

значення критеріїв F, порівняємо з табличним при (п–т) = 17 і (т–1) = 2 ступенях свободи і рівні  значущості α = 0,05 (дод. 5):

Оскільки F1 >F 6,F2 >F 6,F3 >F 6, робимо висновок, що перша, друга й третя незалежні змінні мультиколінеарні з іншими; визначимо коефіцієнти детермінації для кожної змінної:

6-й крок: знайдемо часткові  коефіцієнти кореляції, які характеризують  щільність зв’язку між двома  змінними за умови, що інші змінні x1, x2, ..., x[ не впливають на цей зв’язок (існування парної мультиколінеарності):

де сkj - елементи матриці  С, що розміщені в k-му рядку та j-му стовпці, k = 1, 2,..., m, j = 1, 2, ..., m; ckk і с  діагональні елементи матриці С;