第八章因子分析

因子分析第八章因子分析因子分析的基本原理因子載荷陣的求解因子載荷和變量共同度的統(tǒng)計意義因子旋轉(zhuǎn)因子分析方法應(yīng)用實例

變量的相關(guān)性公共因子？將多個具有錯綜復(fù)雜關(guān)系的變量轉(zhuǎn)換成少數(shù)幾個不相關(guān)的綜合指數(shù)(因子)？問題的提出20世紀(jì)初由KarlPearson和ChalesSpearman關(guān)于智力的定義和測量工作而開始了因子分析的近代發(fā)展。Spearman對學(xué)生考試所得的分?jǐn)?shù)做了分析，他注意到在分?jǐn)?shù)之間的相關(guān)矩陣中存在一定的系統(tǒng)影響，下表是某學(xué)校33個學(xué)生6門功課的相關(guān)系數(shù)矩陣：

一、概述1234561.古典語2.法語3.英語4.數(shù)學(xué)5.判別6.音樂10.830.780.700.660.6310.670.670.650.5710.640.540.5110.540.5110.41表中課程是按照相關(guān)系數(shù)從上到下遞減排列的。Spearman注意到相關(guān)矩陣中一個有趣的規(guī)律：如果不考慮對角元素的話，任意兩列的元素大致例1成比例，對1列和3列有：那么各門功課相關(guān)的“效應(yīng)”就可以被說明。其中是對所有變量都起作用的公因子，是對所特有的，即每門課程的考試成績可以看作由一個公因子(與智力相一致)和一個特殊因子之和組成。于是Spearman指出第i個變量(第i門功課)上的分?jǐn)?shù)都遵從以下形式：例2考慮人的五個生理指標(biāo)：收縮壓()，舒張壓()，心跳間隔()，呼吸間隔()，舌下溫度()。從生理學(xué)的知識知道這五個指標(biāo)是受植物神經(jīng)的交感神經(jīng)和副交感神經(jīng)這兩個因子的共同影響，即這五個指標(biāo)至少受到兩個公共因子的作用，如果用分別表示交感神經(jīng)和副交感神經(jīng)，那么可以設(shè)想變量是的線性函數(shù)，再加上其它對有影響的因子，即

表示兩個因子，稱為公共因子；系數(shù)稱為因子載荷，表示對第i個變量的影響程度；為特殊因子，是其它不能被兩個因子包括的對有影響的部分。這樣五個生理變量之間的相關(guān)效應(yīng)就可以通過公因子和特殊因子來說明。

因子分析是主成分分析的推廣和發(fā)展，它是將具有錯綜復(fù)雜關(guān)系的變量(或樣品)綜合為數(shù)量較少的幾個因子，以再現(xiàn)原始變量與因子之間的相互關(guān)系，同時根據(jù)不同因子還可以對變量進(jìn)行分類，它也是處理降維的一種統(tǒng)計方法。因子分析的任務(wù)，首先是估計出,然后將抽象因子賦予實際背景的解釋或給以命名。什么是因子分析因子分析R型因子分析：對變量Q型因子分析：對樣品基本思想通過變量的相關(guān)系數(shù)矩陣內(nèi)部結(jié)構(gòu)的研究，找出能控制所有變量的少數(shù)幾個隨機(jī)變量(不可觀測)去描述多個變量之間的相關(guān)關(guān)系；然后根據(jù)相關(guān)性的大小把變量分組，使得同組內(nèi)的變量之間相關(guān)性較高，不同組的變量相關(guān)性較低。相對于主成分分析，因子分析更傾向于描述原始變量之間的相關(guān)關(guān)系。因此，因子分析的出發(fā)點是原始變量的相關(guān)矩陣。二、因子分析模型

一般地，設(shè)為可觀測的隨機(jī)變量，且有1.數(shù)學(xué)模型（8.1）用矩陣表示：

為公共（共性）因子(commonfactor)，簡稱因子(factor)■

為特殊因子(specificfactor)

和均為不可直接觀測的隨機(jī)變量

稱為因子載荷是第i個變量在第j個公共因子上的負(fù)荷，為因子負(fù)荷(載荷）(factorloading)矩陣。高維空間中的互相垂直的m個坐標(biāo)通常先對作標(biāo)準(zhǔn)化處理，使標(biāo)準(zhǔn)化得到的新變量。這樣就有假定(1)

(2)

(3)，即和不相關(guān)。則稱(8.1)為具有m個公因子的正交因子模型。

如果與相關(guān)時()，則不是對角陣，此時的模型稱為斜交因子模型。因子分析的目的是通過以代替，由于，從而達(dá)到簡化變量的維數(shù)。3.因子分析與主成分分析的異同：①從一個協(xié)方差陣出發(fā)，都是降維；②主成分的數(shù)學(xué)模型實質(zhì)上是一種變換，而因子分析是描述原變量的相關(guān)陣結(jié)構(gòu)的一種模型；③主成分的解是唯一的，而因子分析的解是不唯一的；④應(yīng)用目的不同。三、因子分析提取因子的方法主成分法（principalcomponentfactor）用主成分法確定因子載荷是在進(jìn)行因子分析之前先對數(shù)據(jù)進(jìn)行一次主成分分析，然后把前面幾個主成分作為未旋轉(zhuǎn)的公因子。用主成分法尋找公因子的方法如下：

找出p個主成分則主成分與原始變量之間存在如下關(guān)系式：按由大到小其中，為隨機(jī)向量的相關(guān)矩陣的特征值所對應(yīng)的特征向量的分量，因為特征向量之間彼此正交，從到的轉(zhuǎn)換關(guān)系是可逆的，即有（8.2）對上面每一等式只保留前m個主成分而把后面的部分用代替，則上式變?yōu)椋海?.3）（8.4）（8.4）式在形式上與因子模型相一致，且之間互不相關(guān)，把，令，則（8.4）式變?yōu)椋河纱说玫搅溯d荷矩陣和一組初始公因子(未旋轉(zhuǎn))。（8.5）主成分法(principalcomponentfactor)

設(shè)的樣本相關(guān)陣為，的特征根為：對應(yīng)的單位特征向量：

則有從另一個角度講主成分法上式恰是時，因子模型中的結(jié)構(gòu)。因為此時模型為即，設(shè)，則載荷陣的解為：共同度的估計為：正交因子模型具有如下特性：假定因子模型中，各個變量及公共因子、特殊因子都已經(jīng)是標(biāo)準(zhǔn)化的變量。(1)因子載荷(負(fù)荷)的統(tǒng)計意義是隨機(jī)變量與公共因子的相關(guān)系數(shù)，即表示依賴的比重（分量）。反映了在上的相對重要性。（2）變量共同度的統(tǒng)計意義變量的共同度定義為因子載荷中的第i行元素的平方和。X的方差可表示為此時有

是m個公共因子對第i個變量的總方差的貢獻(xiàn)，稱為第i個共同(communality)或共性方差，公因子方差(commonvariance)，說明該變量的幾乎全部原始信息都被所選取的公共因子說明了。該式說明：的方差由兩部分組成：②是特定變量所產(chǎn)生的方差，稱為特殊因子方差(specificfactorvariance)，是不能由公共因子解釋的部分；僅與本身的變化有關(guān)，它是使的補充值。（3）公共因子的方差貢獻(xiàn)的統(tǒng)計意義設(shè)稱為公共因子對的“貢獻(xiàn)”，表示同一公共因子對諸變量所提供的方差貢獻(xiàn)之和，它是衡量公共因子相對重要性的一個指標(biāo)。越大，則表明對的貢獻(xiàn)越大，或者說對的影響和作用越大。

每一個公共因子的載荷系數(shù)之平方和等于對應(yīng)的特征根，即該公共因子的方差。說明：由于用主成分所得的特殊因子之間并不相互獨立，因此，用主成分法確定因子載荷不完全符合因子模型的假設(shè)前提，即所得的因子載荷并不完全正確。但是當(dāng)共同度較大時，特殊因子所起的作用較小，因而特殊因子之間的相關(guān)性所帶來的影響就幾乎可以忽略。極大似然法（maximumlikelihoodfactor）假定原變量服從正態(tài)分布，公共因子和特殊因子也服從正態(tài)分布，構(gòu)造因子載荷和特殊方差的似然函數(shù)，求其極大，得到唯一解。主因子法（principalfactor）設(shè)原變量的相關(guān)矩陣為，其逆矩陣為。各變量特征方差的初始值取為逆相關(guān)矩陣對角線元素的倒數(shù)，。則共同度的初始值為。

以代替相關(guān)矩陣中的對角線上的元素，得到約化相關(guān)矩陣。

的前m個特征根及其對應(yīng)的單位化特征向量就是主因子解。迭代主因子法（iteratedprincipalfactor）主因子的解很不穩(wěn)定。因此，常以估計的共同度為初始值，構(gòu)造新的約化矩陣，再計算其特征根及其特征向量，并由此再估計因子載荷及其各變量的共同度和特殊方差，再由此新估計的共同度為初始值繼續(xù)迭代，直到解穩(wěn)定為止。四、因子旋轉(zhuǎn)目的：使因子負(fù)荷兩極分化，要么接近于0，要么接近于1。結(jié)構(gòu)簡化：就是使每個變量僅在一個公共因子上有較大的載荷，而在其余公共因子上的載荷較小。當(dāng)公共因子涵義不清時結(jié)構(gòu)簡化的A因子載荷陣旋轉(zhuǎn)每個僅在上有較大載荷四、因子旋轉(zhuǎn)常用的旋轉(zhuǎn)方法：(方差最大)正交旋轉(zhuǎn)、斜交旋轉(zhuǎn)等。(1)方差最大正交旋轉(zhuǎn)（varimaxorthogonalrotation）基本思想：使公共因子的相對負(fù)荷（）的方差之和最大，且保持原公共因子的正交性和公共方差總和不變?？墒姑總€因子上的具有最大載荷的變量數(shù)最小，因此可以簡化對因子的解釋?？紤]兩個因子的平面正交旋轉(zhuǎn)，設(shè)正交陣所謂結(jié)構(gòu)簡化，就是使的每一列元素的平方值向1和0兩極分化，或者說使因子的貢獻(xiàn)盡量分散。即把變量分成兩部分：一部分主要與有關(guān)，另一部分主要與有關(guān)，這也就是要求兩組數(shù)據(jù)的方差要盡可能地大。（8.6）故正交旋轉(zhuǎn)角度必須滿足使旋轉(zhuǎn)后所得到因子載荷陣的總方差達(dá)到最大，即（8.7）根據(jù)求極值原理，先求對的偏導(dǎo)數(shù)，利用式(8.6)、(8.7)，經(jīng)過計算知要使

須滿足：其中（8.8）

如果公共因子多于兩個，可以逐次對每兩個進(jìn)行上述的旋轉(zhuǎn)。當(dāng)公因子數(shù)時，可以每次取兩個，全部配對旋轉(zhuǎn)，旋轉(zhuǎn)時總是對初始載荷矩陣中的列、列同時進(jìn)行，此時式（8.8）中只需將就可以了。變換共需進(jìn)行次，這樣就完成了第一輪旋轉(zhuǎn)，然后對第一輪旋轉(zhuǎn)所得結(jié)果用上述方法繼續(xù)進(jìn)行旋轉(zhuǎn)，得到第二輪旋轉(zhuǎn)的結(jié)果。每一次旋轉(zhuǎn)后，矩陣各列平方的相對方差之和總會比上一次有所增加。如此繼續(xù)下去，當(dāng)總方差的改變不大時，就可以停止旋轉(zhuǎn)，這樣就得到了新的一組公共因子及相應(yīng)的因子載荷矩陣，使得各列元素平方的相對方差之和最大。(2)斜交旋轉(zhuǎn)（obliquerotation）因子斜交旋轉(zhuǎn)后，各因子負(fù)荷發(fā)生了較大變化，出現(xiàn)了兩極分化。各因子間不再相互獨立，而彼此相關(guān)。各因子對各變量的貢獻(xiàn)的總和也發(fā)生了改變。適用于大數(shù)據(jù)集的因子分析。五、因子得分因子模型變量(樣品)性質(zhì)及變量(樣品)間的相互關(guān)系例如：考察企業(yè)經(jīng)濟(jì)效益的優(yōu)劣各企業(yè)劃分歸類因子得分五、因子得分因子得分就是公共因子在每一個(變量)樣品點上的得分。在因子模型中，公因子的個數(shù)少于原始變量的個數(shù)，且公因子是不可觀測的隱變量，載荷矩陣不可逆，因而不能直接求得公因子用原始變量表示的精確線性組合。因子得分函數(shù)五、因子得分Thomson法，即回歸法回歸法得分是由1939年由Thomson提出來的，得到的因子得分是有偏的，但計算結(jié)果誤差較小。Thomson用回歸的思想求出線性組合系數(shù)的估計值，建立如下以公因子為因變量、原始變量為自變量的回歸方程(因子得分函數(shù))：由于假設(shè)變量及公因子都已經(jīng)標(biāo)準(zhǔn)化了。以下求回歸系數(shù)。僅知利用樣本值可得因子載荷陣，由因子載荷的意義知：即其中因此記則于是即為估計因子得分的計算公式。Bartlett法

Bartlett因子得分是極大似然估計，也是加權(quán)最小二乘回歸，得到的因子得分是無偏的，但計算結(jié)果誤差較大。估計出因子得分后，用少數(shù)公共因子描述原始變量的數(shù)據(jù)結(jié)構(gòu)；也可用作進(jìn)一步的分析：樣本點之間的比較分析，對樣本點的聚類分析等。六、因子分析的步驟輸入原始數(shù)據(jù)，進(jìn)行標(biāo)準(zhǔn)化計算(處理)；求樣本相關(guān)