Множественная корреляция и регрессия

     Тема  4. Множественная корреляция и регрессия. 

     1) Проблема выбора факторов для множественной регрессии.

     В реальной жизни, социальных и технологических  системах на результативный признак  всегда влияет множество факторных  признаков. Кроме того, ввиду математического МНК в уравнение регрессии нельзя включать число факторов ≥ (n - 1), где n число наблюдений. А для надлежащих оценок параметров число фактов должно быть в 5 – 6 раз меньше числа наблюдений. Т.к. между самими факторами существует связь, то парная корреляция и регрессия измеряют не чистое влияние каждого фактора, но и часть влияния других факторов, не включенных в модель, но связанных с данными.

     Парная  регрессия может дать хороший  результат, если влиянием других факторов, не включенных в модель, можно пренебречь. Однако исследователь никогда не может быть уверен в справедливости данного предположения. Поэтому, как правило, в эконометрических исследованиях для более полной и точной оценки применяется модель множественной регрессии

     

     Множественная регрессия используется для решения  проблем спроса, доходности акций  при изучении функций издержек. Основная цель множественной регрессии –  построить модель с большим числом факторов, определив при этом влияние  каждого из них в отдельности, а также их совокупное влияние на моделируемый показатель. Построение модели начинают с решения вопроса о спецификации модели. Во множественной регрессии спецификация модели включает в себя решение двух вопросов: 

     

1. отбор факторов
2. выбор вида уравнения.

     Включение в уравнение множественной регрессии того или иного набора факторов связано прежде всего с представлением исследователя о природе взаимосвязи моделируемого показателя с другими жизненными явлениями.

     Факторы включенные в модель должны отвечать следующим требованиям:

1. должны быть количественно измеримы; если необходимо включать качественный фактор, то ему необходимо придать количественное определение.
2. не должны быть интеркоррелированны (т.е. факторные признаки не должны находится в тесной зависимости между собой) и находится в точной функциональной связи. При включении в модель факторов с высокой интеркорреляцией (  ) для множественной регрессии может привести к нежелательным последствиям, т.е. система норм уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии. Если существует высокая корреляция между факторами, то нельзя установить их изолированное влияние на результативный показатель, и параметры уравнения регрессии окажутся не интерпретируемыми.

     Факторы множественной регрессии должны объяснять вариацию зависимой переменной. Если строится модель с набором факторов P, то для нее рассчитывается показатель множественной детерминации R², который фиксирует долю объяснений вариации результативного признака за счет рассмотрения в регрессии P  - факторов. Влияние неучтенных факторов оценивается как 1 – R²  с соответствующей остаточной дисперсией.

     При дополнительном включении в регрессию  (P+1) – го фактора R² должен возрастать, Docm уменьшаться. Если этого не происходит и данные показатели мало отличаются друг от друга, то включенный в анализ (P+1) – фактор не улучшает модель и является практически лишним фактором.

     Пример. Допустим, для множественной регрессии,  включающей 5 факторов, R² = 0,85, а при включении 6-го фактора ® R² = 0,786. Значит включение 6-го фактора нецелесообразно.

     Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии, но и приводит к статической незначимости параметров регрессии по t – критерию Стьюдента. Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число факторов, но практически – в этом нет необходимости.

     Отбор факторов производится на основе качественного  теоретико-жизненного анализа и  проходит в 2 стадии:

1. подбираются факторы, исходя из сущности проблемы,
2. на основе матрицы показателей корреляции определяют      t–статистики для параметров регрессии. Коэффициенты интеркорреляции (т.е. корреляции между факторными признаками) позволяют исключить из модели факторы, дублирующие друг друга.

     Считается, что 2 переменные являются коллинеарными, т.е. находятся между собой в  линейной зависимости, если коэффициент

     

     Поскольку одним из условий построения уравнения  множественной регрессии является независимость действия факторов (в идеале коэффициент ), то коллинеарность факторов нарушает это условие.

     Если  факторы явно коллинеарны, то они  дублируют друг друга и один из них необходимо исключить из модели.

     Правило: предпочтение отдается не фактору, который более тесно связан с результатом, а тому фактору, который при достаточной связи с результатом имеет номинальную тесноту связи с другими факторами.

     Пример. Изучается зависимость между

     Построим матрицу парных коэффициентов корреляции

       
 
 
 
 

     

     Факторы X и Z явно коллинеарны, т.е. дублируют друг друга

     В модели оставляем фактор Z, т.к. несмотря на то, что коэффициенты парной корреляции

      , но зато связь Z с другим фактором слабее:

     

     По  величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в  использовании множественной регрессии возникают при наличии мультиколлинеарности факторов, когда более чем 2 фактора связаны между собой линейной зависимостью, т.е. наблюдается совокупность воздействия факторов друг на друга. Наличие мультиколлинеарности факторов может означать, что некоторые факторы будут всегда действовать в унисон. В результате вариация в исходных данных перестает быть полностью независимой и нельзя оценивать влияние каждого фактора в отдельности. Чем сильнее мультиколлинеарность факторов, тем менее надежна оценка параметров с помощью МНК.

     Включение в модель мультиколлинеарных факторов нежелательно в силу следующих последствий:

1. затрудняется интерпретация параметров множественной регрессии как характеристик действия факторов «в чистом» виде, т.к. факторы коррелированы. Параметры линейной регрессии теряют экономический смысл.
2. оценки параметров ненадежны, обнаруживают большие стандартные ошибки и меняют с изменением объема наблюдений не только по величине, но и по знаку, что делает модель непригодной для анализа и прогноза.

 

     2. Способы линеаризации  связей фактора  с результативным  признаком.

     Для оценки параметров нелинейных уравнений  используют 2 подхода:

1. основан на линеализации модели и заключается в том, что с помощью подходящих преобразований исходных переменный исследуемую зависимость представляют в виде линейного соотношения между преобразованными переменными.
2. обычно применяют в случае, когда подобрать соответствующее линеализационное преобразование невозможно. В этом случае применяют методы нелинейной оптимизации на основе исходных переменных.

     По  аналогии с парной корреляцией. 

     3. Уравнение многофакторной  регрессии, его  построение и интерпретация.

     Как и в парной зависимости возможны различные виды множественной регрессии: линейные и нелинейные. В виду четной интерпретации параметров наиболее широко используются линейная и степенные функции.

     В уравнении множественной регрессии:

     

     Коэффициенты  при х называются коэффициентами «чистой» регрессии. Они показывают среднее изменение результата с  изменением соответствующего фактора на единицу при неизменном значении других факторов, закрепленных на среднем уровне.

     Параметр а не подлежит экономической интерпретации.

     Параметры уравнения множественной регрессии  оцениваются как в парной регрессии  МНК, при котором строится система нормальных уравнений, решение которой позволяет получить оценки параметров регрессии.

     Т. о. для уравнения

     

     Система нормальных уравнений будет иметь  следующий вид:

     

     Ее  решение может быть осуществлено методом определителей

     

     Где Δа, Δb – частные определители системы, при этом

     

     Δа, Δb, … , Δb_р получаются путем замены соответствующего столбца матрицы общего определителя данной системы данными левой части системы.