第十三講-主成分分析和因子分析

主成分分析和因子分析

PrincipalComponentsAnalysisAndFactoranalysis引言實際工作中，為了全面系統(tǒng)反映問題，往往收集的變量較多，但是經(jīng)常出現(xiàn)變量間具有較強的相關(guān)關(guān)系的情況。直接使用這些變量，會出現(xiàn)模型相當復雜而無法得到合理的專業(yè)解釋的情況，更甚至會出現(xiàn)多重共線性問題而引起較大的誤差。因此，引入主成分分析和因子分析。一、主成分分析主成分分析的一般目的：

定義主成分分析:是一種通過降維技術(shù)把多個變量化為少數(shù)幾個主成分(即綜合變量)的統(tǒng)計分析方法變量的降維主成分的解釋1

概述17個變量國民經(jīng)濟指標3個變量雇主補貼純公共支出股息生產(chǎn)指數(shù)利息凈增庫存消費資料外貿(mào)盈余人口總收入F1總收入變化率F2經(jīng)濟發(fā)展趨勢F3國民經(jīng)濟指標

例子一項十分著名的工作是美國的統(tǒng)計學家斯通(stone)在1947年關(guān)于國民經(jīng)濟的研究。主成分分析1

概述年度指標外貿(mào)盈余人口股息利息消費資料…….….1980120100358646343571981155133441524134479198217612014159143634319831231531618319571661984186134281772856582198521115635124337745719861971652915547863951987166135271322935284198815517723187438573719891271355919529895981990123153161834657166年度指標F1F2F319801201003519811551334419821761201419831231531619841861342819852111563519861971652919871661352719881551772319891271355919901231531661.1基本思想數(shù)據(jù)的降維、數(shù)據(jù)的解釋由于多個變量之間往往存在著一定程度的相關(guān)性。通過線性組合的方式將原來眾多具有一定相關(guān)性的指標，組合成一組新的相互無關(guān)的綜合指標。從中選取幾個較少的綜合指標盡可能多的反映原來眾多指標的信息。在主成分分析適用的場合，用較少的主成分就可以得到較多的信息量。以各個主成分為分量，就得到一個更低維的隨機向量。因此，通過主成分既可以降低數(shù)據(jù)“維數(shù)”又保留了原數(shù)據(jù)的大部分信息。7X1X2112-2-2-1-120相關(guān)變異X1和X2組成的散點分布在一條直線周圍，X1、X2間存在線性關(guān)系二、數(shù)學模型及幾何意義8X1X2Z1Z2112-2-2-2-211-1-1-1-12220以該直線為坐標軸Z1，其垂直線Z2為另外一個坐標抽，Z1和Z2互相垂直且彼此線性無關(guān)Z1Z2-2-211-1-1220相關(guān)變異N個觀測的差異主要表現(xiàn)在Z1方向上，可以用Z1代替原始變量X1X2研究觀測對象的差異。Z1，Z2可用原始變量X1X2的線性組合表示，即Z1為主成分的話，就反映了原始變量指標的主要信息設(shè)有m個原始變量X1……Xm，欲找到新的綜合指標，Z1……Zm。從數(shù)學上講，就是尋求一組常數(shù)ai1，ai2….aim,使m個指標的線性組合：在m個Zm新變量中可找到a個新變量能解釋原始數(shù)據(jù)的大部分方差所包含的信息。其余的m-a個新變量對方差影響很小。這m個變量為原始變量的主成分。每個新變量均為原始變量的線性組合。11Z=AX12第一主成分在所有Zi中最大13第二主成分……理論上主成分個數(shù)最多為m個(指標個數(shù))實際工作中確定的主成分個數(shù)總是小于m個在所有Zi中為第2大。無關(guān)，互相垂直：數(shù)據(jù)標準化計算協(xié)方差矩陣求協(xié)方差矩陣特征值和特征向量求成分的累積貢獻率求第n個主成分的表達式主成分分析步驟主成分分析五步走三、主成分的求法及性質(zhì)15三、主成分的求法及性質(zhì)16（一）主成分的求法

1.對各原始指標值進行標準化為了方便，仍用Xij表示Xij’。17標準化后的數(shù)據(jù)矩陣X=182.

求出X1,X2,…,Xm

的相關(guān)矩陣RR=Cov(X)

=19Pearson相關(guān)系數(shù)

標準化后的協(xié)方差協(xié)方差203.

求出矩陣R的全部特征值(eigenvalue)

i,

第i個主成分的組合系數(shù)ai1,ai2,

,aim滿足方程組:(r11－

i)ai1+r12ai2+

+r1maim=0

r21ai1+(r22－

i)ai2+

+r2maim=0

rm1

ai1+rm2ai2+

+(rmm－

i)aim=0

21(r11－

i)ai1+r12ai2+

+r1maim=0

r21ai1+(r22－

i)ai2+

+r2maim=0

rm1

ai1+rm2ai2+

+(rmm－

i)aim=0

i為矩陣R的第i個特征值，共有m個非負特征值，由大到小的順序排列為：

1≥

2≥

≥

m≥0

i=Var(Zi)224.由以上方程組，求出相應于特征值

i的特征向量(eigenvector)(ai1,ai2,

,aim)’23（二）主成分的性質(zhì)

1.各主成分互不相關(guān)

242.主成分的貢獻率與累積貢獻率

(原始指標值標準化)(指標個數(shù))貢獻率累積貢獻率253.主成分個數(shù)的選取（1）前k個主成分的累積貢獻率>70%。（2）主成分Zi的特征值

i≥

1。（3）結(jié)合專業(yè)知識判斷。4.因子載荷：用來了解主成分與原始數(shù)值的關(guān)系（第i主成分Zi與第j原始指標Xi間相關(guān)系數(shù)）

265.樣品的主成分得分四、SPSS過程以咱們?nèi)雽W時成績?yōu)槔?，介紹如何利用SPSS軟件實現(xiàn)主成分分析。專業(yè)政治英語數(shù)學專業(yè)課總分16559941143321625167127307164656910029816040751222971564377107283..輸出結(jié)果方差貢獻率累積貢獻率主成分系數(shù)矩陣（因子負荷量）各主成分在變量上的載荷，可得到主成分表達式。但是變量是標準化后的變量只有第一個的特征根大于1，只提取了1個主成分，第1個主成分方差占總方差的77%31五、主成分分析的應用

1.對原始指標進行綜合以互不相關(guān)的較少個綜合指標反應眾多原始指標提供的信息。

主成分回歸(解決多元共線問題)。

2.進行綜合評價

323.進行探索性分析利用因子載荷陣，找出影響各綜合指標的主要原始指標。

4.對樣品進行分類利用主成分得分對樣品進行分類：因子分析部分一、因子分析基本思想從分析多個可觀測的原始指標的相關(guān)關(guān)系入手，找到支配這種相關(guān)關(guān)系的有限個不可觀測的潛在變量。是多元分析中處理降維的一種統(tǒng)計方法。34

specificfactor

commonfactor35Xi:觀測指標(標準化數(shù)據(jù))Fi:公因子ei:特殊因子aij:因子載荷(計算關(guān)鍵項)36X=AF+e373839三、因子模型的性質(zhì)

矩陣A的統(tǒng)計意義1.公共度(共性方差)40因子的共性方差412.因子貢獻與因子貢獻率矩陣A第j列元素反映了第j個公因子Fj對所有原始指標的影響;數(shù)據(jù)標準化后全部原始指標的總方差為指標個數(shù)m。Fj對原始指標的方差貢獻率42各因子的貢獻433.因子載荷及因子載荷陣A44四、因子載荷陣的求解及計算步驟

1.

收集原始數(shù)據(jù)并整理為下表452.對各指標進行標準化3.求指標間的相關(guān)系數(shù)矩陣RX4.求指標間的約相關(guān)系數(shù)矩陣R*

（1）R*的非對角線元素與相關(guān)矩陣RX的非對角線元素相等

（2）R*的對角線元素為共性方差465.求出約關(guān)系數(shù)矩陣R*所有大于零的特征值及相應的特征向量6.寫出因子載荷陣A，得出原始指標X的公因子表達式47要求：1.

保留公因子個數(shù)q小于指標個數(shù)m，原則：

j≥1

前k個公因子累積貢獻率≥70%2.

各共性方差接近于1。3.

各原始指標在同一公因子Fj上的因子載荷之間的差別應盡可能大。483.主成分分析與因子分析間的關(guān)系（1）兩者的分析重點不一致

Z=AX主成分為原始變量線性組合，重點在綜合原始變