Метод главных компонент

3. Линейная модель  метода главных  компонент. Метод  Фаддеева - одновременное  вычисление коэффициента  характеристического  многочлена и присоединенной  матрицы 

Рассмотрим  модель метода главных компонент:

y =  

где f_r - r-я главная компонента;

a вес r-q компоненты нa j-й переменной;

y - центрированное (нормированное) значение j-го признака.

       Из модели видно, что отсутствуют специфические (индивидуальные) факторы; число главных компонент r=п здесь соответствует числу признаков п. Значит, в полной модели главных компонент исчерпывается вся дисперсия исследуемого процесса.

     Как будет сказано позже, главные компоненты являются характеристическими векторами ковариационной матрицы.

Множество главных компонент представляет собой удобную систему координат, а соответствующие дисперсии главных компонент характеризуют их статистические свойства. Из общего числа главных компонент для исследования, как правило, оставляют т (т<п) наиболее весомых, т.е. вносящих максимальный вклад в объясняемую часть общей дисперсии. Опыт показал, что m ≈(0,1÷ 0,25)n . Для экономической интерпретации полученных результатов самыми наглядными являются случаи, когда т=1,2 или З.

      Таким образом, несмотря на то, что в методе главных компонент для точного воспроизведения корреляций и дисперсий между переменными необходимо найти все компоненты, большая доля дисперсий объясняется небольшим числом главных компонент. Кроме того, можно по признакам описать главные компоненты, а по главным компонентам описать признаки. Для центроидного метода факторного анализа это принципиально невозможно; можно лишь добиваться, чтобы дисперсия остатков была минимальной. С.Р. Рао показал, что метод главных компонент одинаково хорошо приближает дисперсии и ковариации. Наконец, следует отметить еще одно существенное свойство метода-это его линейность и аддитивность. Центроидный метод, например, несет в себе только гипотезу линейности. Если она верна, то результаты могут быть использованы только для первого приближения. В настоящее время часто используется центроидный метод для получения приближенных оценок, которые затем уточняются методом максимума правдоподобия.

     Рассмотрим  метод Фаддеева. При помощи метода Фаддеева одновременно определяются:

а)    Р₁,Р₂,...,Р_п    -   скалярные   коэффициенты   характеристического многочлена

∆(λ)=λ -P λ -…-P

б) В₁,В₂,...,В_n-₁ - матричные коэффициенты присоединенной матрицы.

При помощи tr А следа матрицы получаем

trA =                         (2)

если  λλλ    характеристические    числа    матрицы   А,    т.е.

∆λ=( λ –λ ) ( λ – λ )….. ( λ – λ )

Теорема. Если λ λ………λ    - все характеристические числа (с учетом кратностей) матрицы A, a g(A) - некоторый скалярный многочлен, то g(λ),g(λ₂ ),...,g{λ„ ) - являются характеристическими числами матрицы g(A).

Частный случай. Дана матрица Л; λ_х, λ₂,..., λ_п - ее характеристические числа. Определить характеристические числа матрицы А .

В соответствии с теоремой g(A) = А  .

Поэтому g(λ,) = λ  g{λ₂) = λ,...,g(λ_n) = λ^k„,   (k = 0,1,2,...).

Отсюда  следует, что trA^k = S_k = , (k=0,1,2,...).

Суммы S_k (k=l,2, ... ,n) степеней корней многочлена (2) связаны с коэффициентами этого уравнения формулами Ньютона.

KP_k=S_k-P_lS_k-l-...-P_k-1S_l, (k=1,n).             (3)

Метод Леверрье. Определение коэффициентов характеристического многочлена по следам степеней матрицы заключается в следующем:

1) определяются  S_l,S₂,...,S_n - следы матрицы А, А²,..., А".

2)  по (3) последовательно определяются P₁,P₂,...,P_n.

Фаддеев в свою очередь предложил вместо следов степеней матриц А,А²,...,А вычислять последовательно следы других матриц А_1,А₂,...,А„  и с их помощью определять Р₁,Р₂,...,Р„ и В₁В₂,...Bn.

A1=A;              P1=tr(A1);              В1=А1-P1E;

A₂=AB₁            P₂=tr(A₂);               В₂=А₂-Р₂Е;

Ап-1 =АВn-₂     P = tr(An-1)    Bn-1 =A n-1 -P n-1 E          (4)                                                                         

A n=AB n-1                P n=   tr(A n)                    Bn= A n- P n E=0        

Для контроля вычислений можно воспользоваться последней формулой (Вn=0). Убедимся, что по системе (4) Р₁,Р₂,...,Р_n; В₁,В₂,...,В_п-1 последовательно определяемые, являются коэффициентами ∆(λ) и В(λ).

Используя систему (4) для А_к и В_к, (к = 1,п) получим:

Ak=A -P1A -…-Pk-1A                                (5)

Bk=A -P1A -…-Pk-1A-PkE                        (6)  

Приравняем  следы левой и правой частей (5)

KP_k=S_k-P₁S k -1 -...-P k -1S₁.                      (7)

Выражения (7) и (3) совпадают с формулами Ньютона, по которым последовательно определяются коэффициенты характеристического многочлена ∆(λ). Значит, числа Р₁,Р₂,...,Р_п системы (4) являются коэффициентами ∆(λ).По формуле (6) определяют матричные коэффициенты В1 ,Вг ,..., В_п-1 присоединенной матрицы В(λ). Значит, система (4) определяет коэффициенты В₁,В₂,...,Вn матричного многочлена  В(λ). 
 
 

4. Квадратичные формы и главные компоненты

Для того чтобы представить в геометрическом плане главные компоненты, рассмотрим простейшие случаи: плоскости и пространства трех измерений.

Пусть дано уравнение линии второго  порядка:

Ах² +2Вху + Су² =Н.                            (8)

Левая часть уравнения (8) не меняется при замене х, у на -х, -у. Значит, во-первых, точки линии (8) расположены парами симметрично относительно начала координат. Во-вторых, линия второго порядка, заданная (8), обладает центром симметрии и, в-третьих, начало координат помещено в центр. Левая часть (8) представляет собой однородный многочлен второй степени. Такой многочлен называют квадратичной формой от двух переменных.

Ах² +2Вху + Су².                                 (9)

Приведем данную квадратичную форму (9) к каноническому виду. Для этого надо будет повернуть так координатные оси х и у, чтобы в новых

координатах исчез член с произведением новых  текущих координат. Переход к новым координатам производится по известным формулам:

     х' = l1 х+т1 у                                       (10)

     у' =l1 x+т2 у

Старые  координаты связаны с новыми по формулам:

     x=l1 x' + l2 y'

     у = т1 х' + т2 у'                                  (11)

где х' и у' - новые координаты.

Характеристика коэффициентов со старыми координатами представлена на рис.1.

 
 
 
 
 
 
 
 

 

Рис. 1. Единичный вектор и его компоненты

На рис. 2 на новой оси абсцисс отложен отрезок OX₁ единичной длины, тогда его проекции на старые координатные оси составят:

l1 =cos α

m1 =sin α

где а  - угол поворота осей х и у.

Значит, вектор с компонентами l1 и m1, является единичным вектором, определяющим направление новой оси абсцисс х':

                                                                   (13)

Аналогично  единичный вектор, определяющий направление  новой оси у' ординат, имеет вид:

                                                                  (14)

Рассматриваемые коэффициенты обладают следующими свойствами:

l + т² =1;                                                                        (15)