第7章 因子分析[沐風(fēng)教學(xué)]VIP

1、 第一節(jié) 因子分析方法 第二節(jié) 因子分析模型 第三節(jié) 因子分析模型的解 第四節(jié) 方差最大正交旋轉(zhuǎn) 第五節(jié) 因子得分 推薦閱讀第四章 因子分析1教育專類第一節(jié) 因子分析方法 因子分析因子分析概念起源于20世紀初Karl Pearson 和Charles Spearmen等人關(guān)于智力測驗的統(tǒng)計分析。 因子分析是主成分分析的推廣和發(fā)展，它是將具有錯綜復(fù)雜的關(guān)系變量（或樣品）綜合為較少幾個因子，以再現(xiàn)原始變量與因子之間的相互關(guān)系，同時根據(jù)不同因子還可以對變量進行分類，它也是屬于多元分析中處理降維的一種統(tǒng)計方法。 因子分析是通過研究眾多變量之間的內(nèi)部依賴關(guān)系，探求觀測數(shù)據(jù)中的基本結(jié)構(gòu)，并用少數(shù)幾個“抽象

2、”的變量來表示其基本結(jié)構(gòu)。這幾個抽象的變量被稱為因子，它能反映原來眾多變量的主要信息。 因子分析的研究內(nèi)容十分豐富，常用的因子分析類型是R型因子分析（對變量作因子分析）和Q型因子分析（對樣品作因子分析）。2教育專類 例如：某公司對100名招聘人員的知識和能力進行測評，主要測評六個方面的內(nèi)容：語言表達能力、邏輯思維能力、判斷事物的敏捷和果斷程度、思想修養(yǎng)、興趣愛好、生活常識等，我們將每一個方面稱為因子，顯然這里所說的因子不同于回歸分析中的因素，因為前者是比較抽象的一種概念，而后者有著極為明確的實際意義。假設(shè)100人測試得分xi可以用上述六個因子表示成線性函數(shù)：.06100, 2 , 1 ,262

3、1621662211），（定稱為特殊因子。通常假含的部分，識不能被前六個因子包個應(yīng)試人員的能力和知是第的能力。個應(yīng)試人員在六個方面載荷，它表示第稱為因子，們的系數(shù)通常稱為公共因子，它是共有因子，個因子，它對所有表示，其中iiiiiiiiiiiiNiiaaaXFFFiFaFaFaX3教育專類因子分析的基本思想是把每個研究變量分解為幾個影響因素變量，將每個原始變量分解成兩部分因素，一部分是由所有變量共同具有的少數(shù)幾個公共因子組成的，另一部分是每個變量獨自具有的因素，即特殊因子。Xi=aijFj+ei因子分析即是通過變量的相關(guān)系數(shù)矩陣內(nèi)部結(jié)構(gòu)的研究，找出能夠控制所有變量的少數(shù)幾個隨機變量去描述多個變

4、量之間的相關(guān)關(guān)系，這里這少數(shù)幾個隨機變量是不可觀測的，通常稱為因子，然后根據(jù)相關(guān)性的大小把變量分組，使得同組內(nèi)的變量之間相關(guān)性較高，不同組的變量相關(guān)性較低。R型從相關(guān)矩陣出發(fā)，Q型從相似系數(shù)矩陣出發(fā)。4教育專類第二節(jié) 因子分析模型 一、因子分析模型 X*:標(biāo)準(zhǔn)化后的數(shù)據(jù)，F(xiàn)：公共因子，e：特殊因子 x1*=a11F1+a12F2+a1mFm+e1 x2*=a21F1+a22F2+a2mFm+e2 xp*=ap1F1+ap2F2+apmFm+ep X*=AF+ e 或X*=FA+ e5教育專類 其中X*=(x1*,x2*,xp*), F=(F1,F2,Fm) e =(e1,e2,ep) a11

5、a12 a1m A= a21 a22 a2m ap1 ap2 apm (mp) A稱為因子載荷矩陣或因子負荷矩陣， aij是第i個變量在第j個因子上的負荷。6教育專類 x*、F、 e滿足下列性質(zhì)： (1)E(x*)=0 E(x)=0 (2)E(F)=0, E(e)=0 (3) cov(F)=I, 即各個公共因子不相關(guān)且方差為1。 （4）cov(e)=2I，即各個特殊因子不相關(guān)，方差要求相等。 (5)cov(ei,F)=0 ，即公共因子與特殊因子是不相關(guān)的。7教育專類 因子分析的目的就是通過模型X*=AF+ e 以F代替X* ，由于mp,從而達到簡化變量維數(shù)的目的。 因子分析和主成分分析有很多相

6、似之處，在求解過程中，二者都是從一個協(xié)方差陣（或相似系數(shù)陣）出發(fā)，但兩種模型是有區(qū)別的，主成分分析的數(shù)學(xué)模型實質(zhì)上是一種變換，將原來坐標(biāo)變換到變異程度大的方向上去，相當(dāng)于從空間上轉(zhuǎn)換觀看數(shù)據(jù)的角度，突出數(shù)據(jù)變異的方向，歸納重要的信息。在主成分分析中每個主成分相應(yīng)的系數(shù)aij是唯一確定的。而因子分析模型是描述原指標(biāo)x協(xié)方差陣結(jié)構(gòu)的一種模型，是從顯在變量去提煉潛在因子的過程，因子的個數(shù)m取多大是要通過一定的規(guī)則確定的。因此，在因子分析中因子載荷陣不是唯一的。一般來說，作為自變量的因子F1，F(xiàn)2, ,Fm是不可觀測的。8教育專類 二、因子載荷量的統(tǒng)計意義與性質(zhì) 1、因子載荷aij的統(tǒng)計意義 xi*=

7、ai1F1+ai2F2+aimFm+eiCov(xi*,Fj)=cov(aikFk+ei,Fj) =cov(aikFk,Fj)+cov(ei,Fj) =aij r=aijijjijiaFxFxr)var(*)var()*,cov( 第第i個變量與第個變量與第j個公共因子的相關(guān)系數(shù)個公共因子的相關(guān)系數(shù)即可以表示為即可以表示為xi*依賴依賴Fj的份量（比重）。的份量（比重）。9教育專類 在各公共因子不相關(guān)的前提下，aij是xi*與Fj的相關(guān)系數(shù)，表示xi*依賴于Fj的程度。反映了第i個原有變量在第j個公共因子上的相對重要性。因此， aij的絕對值越大，則公共因子Fj與原有變量Xi的關(guān)系越強。10教

8、育專類 2、變量共同度及其統(tǒng)計意義 因子載荷陣A中第 i行元素的平方和稱為xi* 的共同度共同度。 h12=a112+a122+a1m2 h22=a212+a222+a2m2 。 hp2=ap12+ap22+apm211教育專類1)var()var()var()var(22221*iiiijijijimjjijihaeFaeFaX因為xi*已經(jīng)標(biāo)準(zhǔn)化 這說明變量xi*的方差由兩部分組成：第一部分為共同度hi2 ，它刻劃了全部公共因子對變量xi*的總方差所作的貢獻，反映了公共因子對變量xi*的影響程度。第二部分為特殊因子ei對變量xi*的方差所作的貢獻。12教育專類hi2反映了全部公共因子對變量

9、Xi*的影響，是全部公共因子對變量方差所做出的貢獻，或者說Xi*對公共因子的共同依賴程度，稱為公共因子對變量Xi*的方差貢獻。hi2接近于1，表明該變量的原始信息幾乎都被選取的公共因子說明了。特殊因子的方差，反映了原有變量方差中無法被公共因子描述的比例。13教育專類 3、公共因子的方差貢獻及其統(tǒng)計意義 因子載荷陣中第 j列元素的平方和稱為公共因子Fj對xi* 的貢獻。 g1=a112+a212+ap12 g2=a122+a222+ap22 gm=a1m2+a2m2+apm2 gj表示第j個公共因子Fj對于X*的每一分量Xi*所提供的方差貢獻的總和。稱第j個公共因子的方差貢獻。14教育專類是衡量

10、某一公共因子相對重要性的指標(biāo)，gi越大，表明公共因子Fj對X*的貢獻越大，該因子的重要程度越高，或者說對X*的影響和作用越大。pgFjj的方差貢獻率也是衡量公共因子相對重要性的另一指標(biāo)。15教育專類4、正交因子載荷不具有唯一性AAeDAFADeEAFAEeEAFeEAFEeAFeAFEeAFEXEXEXEXDR)()()()()()(2)()2)()()()()(22222222*2*16教育專類 但此公式并非唯一公式： 其中： 因子載荷的不唯一性，從表面上看是不利的，但當(dāng)因子載荷矩陣A的結(jié)構(gòu)不夠簡化時，可以對A實行變換以達到簡化的目的，使新的因子更具有鮮明的實際意義。)()(*AAAUAUA

11、UAUAARAUAIUU*,17教育專類兩個變量xk*與xl*的相關(guān)系數(shù)和協(xié)方差等于因子載荷陣中第k行與第l列對應(yīng)元素乘積之和。qilikilqkqlklklkaaaaaaaaXXr12211*.),(18教育專類例1某校對學(xué)生進行了測量語言能力和數(shù)學(xué)能力的六項考試?？荚嚦煽兌蓟癁闃?biāo)準(zhǔn)分。假定x1*,x2*,x3* 是語言能力的三項不同考試的標(biāo)準(zhǔn)分， x4*,x5*,x6*是數(shù)學(xué)能力的三項不同的標(biāo)準(zhǔn)分。通過部分學(xué)生這六項考試成績，得到相關(guān)系數(shù)矩陣： 依此得出因子載荷矩陣：172. 075. 049. 042. 028. 0178. 042. 036. 024. 0135. 030. 020.

12、0142. 028. 0124. 01R172. 0843. 0031. 0848. 0179. 0926. 0513. 0477. 0439. 0409. 0293. 0272. 0A19教育專類據(jù)此可寫出因子模型：621*6521*5421*4321*3221*2121*1172. 0843. 0031. 0848. 0179. 0926. 0513. 0477. 0439. 0409. 0293. 0272. 0effxeffxeffxeffxeffxeffx20教育專類 還可求出各變量的共同度，各變量對應(yīng)的特殊因子方差，各公共因子方差貢獻率以及兩個公共因子的累計方差貢獻。變量ai1ai

13、2共同度特殊因子方差X1*X2*X3*X4*X5*X6*0.2720.4090.4770.9260.8480.8430.2930.4390.513-0.1790.0310.1720.160.360.490.890.720.740.840.640.510.110.280.26方差貢獻率45.9%10.1%56%44%累計方差貢獻率45.9%56%21教育專類因子變量的特點 1、因子變量的數(shù)量遠少于原有指標(biāo)變量的數(shù)量。 2、因子變量是對原始變量的重新組構(gòu)，能夠反映原有眾多指標(biāo)的絕大部分信息。 3、因子變量之間沒有線性相關(guān)關(guān)系，對因子變量的分析能夠為研究工作提供較大的便利。 4、因子變量具有命名解釋

14、性。22教育專類 要建立實際問題的因子分析的具體模型，關(guān)鍵是根據(jù)樣本數(shù)據(jù)估計載荷矩陣A。對A的估計方法有很多，這里主要介紹主成分法、主因子法。第三節(jié) 因子分析模型的解的估計量。是樣本。維是一組。對應(yīng)的標(biāo)準(zhǔn)正交化向量為的特征向量，為，因此是標(biāo)準(zhǔn)化處理后的數(shù)據(jù)由于，的協(xié)方差陣為設(shè)隨機向量SpxxxUUURXXXXXPppp),(,.),(*2*12121*21*23教育專類 一、主成分分析法 在不考慮特殊因子的情況下：。的標(biāo)準(zhǔn)化正交特征向量的屬于特征值為矩陣的特征值，為矩陣iiipppppppRURAAUUUUUUUUUUUURUURURUUIR221122112221110)(24教育專類ppU

15、UUA0000002121即：25教育專類在考慮特殊因子的情況下：AAUUUUUUAARppppp22122112211當(dāng)未知時，可用樣本協(xié)方差陣S代替。26教育專類 具體計算時，一般取前k個特征值所對應(yīng)的因子載荷矩陣A的前k個列向量組成的矩陣作為因子載荷矩陣，只要使累計貢獻率達到85以上。 確定公共因子的個數(shù)有兩種方法：一是根據(jù)具體問題的專業(yè)理論來確定，二是利用主成分分析中選取主成分個數(shù)的方法。27教育專類 二、主因子法二、主因子法 主因子法的基本思想是使用多元相關(guān)的平方作為對公因子方差的初始估計。初始估計公因子方差時多元相關(guān)系數(shù)的平方置于對角線上。這些因子載荷用于估計新公因子方差，替換對角

16、線上前一次的公因子方差估計。這樣的迭代持續(xù)到，本次到下一次迭代結(jié)果公因子方差的變化滿足提取因子的收斂判據(jù)。28教育專類 1、給出共同度hi2的初步估計值hi*2 以第i個變量xi*與其它所有變量x1*,x2*,xi-1*,xi+1*,xp*回歸的復(fù)相關(guān)系數(shù)的平方作為初始估計值。 2、求出約化相關(guān)陣 計算i*=1-hi*2,再計算出R*=R- * 3、求出特征根和特征向量 由方程R*-I=0求出特征根，并利用特征根、特征向量求出因子載荷陣A1。29教育專類 4、求出的估計，用估計值代替第二步的* 的估計： *（1）=R-A1A1 5、繼續(xù)第三步，直到A， 的估計達到穩(wěn)定為止30教育專類 因子分析

17、的目標(biāo)之一就是要對提取的抽象的實際含義進行合理的解釋。有時直接根據(jù)特征根、特征向量求解的因子載荷難以看出公共因子的含義。例如可能有些變量在多個公共因子上都有較大的載荷，有些公共因子對許多許多變量的載荷也不小，說明它對多個變量都有較明顯的影響作用。這種因子模型反而是不利于突出主要矛盾和矛盾的主要方面的，也難對因子的實際背景進行合理的解釋。這就需要通過某種方法是每個變量僅在一個公共因子上有較大的載荷，而在其余的公共因子上的載荷比較小，至多達到中等大小。第四節(jié) 方差最大正交旋轉(zhuǎn)31教育專類第四節(jié) 方差最大正交旋轉(zhuǎn)因子旋轉(zhuǎn)的目的： 使每個變量在盡可能少的因子上有比較高的載荷，讓某個變量在某個因子上的載

18、荷趨于1，而在其他因子上的載荷趨于0。 要求每一列上的載荷大部分為很小的值，每一行中只有少量的最好只有一個較大的載荷值；每兩列中大載荷與小載荷的排列模式應(yīng)該不同。32教育專類因子旋轉(zhuǎn)的方法：1.varimax:方差最大旋轉(zhuǎn)。簡化對因子的解釋2.direct oblimin:直接斜交旋轉(zhuǎn)。允許因子之間具有相關(guān)性。3.quartmax:四次最大正交旋轉(zhuǎn)。簡化對變量的解釋4.equamax:平均正交旋轉(zhuǎn)。5.promax:斜交旋轉(zhuǎn)方法。我們這里只介紹方差最大正交旋轉(zhuǎn)我們這里只介紹方差最大正交旋轉(zhuǎn)。33教育專類兩因子的方差最大正交旋轉(zhuǎn)cossinsincos, 2 , 1,21222122211211

19、CAXpiahAaaaaaaAijijipp設(shè)正交矩陣除之。的元素用每行的共同度規(guī)范化處理。即每一行中的元素進行造成的不平衡，需對的共同度之間的差異所。考慮到各個變量按行計算的共同度對設(shè)因子載荷矩陣34教育專類211211212112111211cossinsincoscossinsincosppppppbbbbaaaaaaaaACB35教育專類 這樣做的目的是使因子載荷矩陣A的結(jié)構(gòu)簡化。換句話說就是希望所得結(jié)果能使載荷矩陣的每一列元素盡可能向1和0兩極分化，即原始變量中一部分主要與第一因子有關(guān)，另一部分主要與第二因子有關(guān)，也就是要求（b112,bp12），（b122,bp22）這兩組的方差V

20、1，V2盡量大，為此正交旋轉(zhuǎn)分角度必須滿足旋轉(zhuǎn)后所得到因子載荷陣的總方差達到最大。36教育專類 pjjjpjjjpjjpjjjjjjjjjjjpiijpiiijpiiijjvDvCvBAhaavhahapBACpABDtgGVVGxxnSVjhbphbpV11221122122212221212212221222 2/ )(/240max12 , 111計算得：方差就是一元統(tǒng)計分析中的這里37教育專類分子符號分母符號4 取值范圍取值范圍0/20/8/2 /8 /4- -/2-/4 -/8-/2 0-/8 0 根據(jù)公式的分子、分母的符號來確定角的取值范圍。38教育專類多因子的方差最大正交旋轉(zhuǎn) 如

21、果公共因子多于2個，可以每次取2個因子，全部配對旋轉(zhuǎn)需要 次，全部旋轉(zhuǎn)完畢算一次循環(huán)，并記第一輪旋轉(zhuǎn)后的因子載荷矩陣記為A1。如果循環(huán)完畢得出的因子載荷陣還沒達到目的，則可以繼續(xù)進行第二輪配對旋轉(zhuǎn)，新的因子載荷矩陣記為A2。 ，如此不斷重復(fù)旋轉(zhuǎn)循可得一系列因子載荷矩陣。 A1 ，A2， As 。 記V（s）為As各列元素平方的相對方差之和。則得到V值的一個升序列： V（1）V（2） V（3） V（s） 這是一個有界的單調(diào)數(shù)列，因此一定會收斂到每一個極限。實際應(yīng)用中，經(jīng)過若干次旋轉(zhuǎn)之后，若相對方差改變不大，則停止旋轉(zhuǎn)。2) 1(2mmcm39教育專類第五節(jié) 因子得分 因子分析的數(shù)學(xué)模型是將變量表

22、示為公共因子的線性組合： Xi=ai1F1+ai2F2+aimFm i=1,2,p 由于公共因子能反映原始變量的相關(guān)關(guān)系，用公共因子代表原始變量時有時更有利于描述研究對象的特征，因而往往需要反過來將公共因子表示為變量的線性組合:即 Fi=i1X1+ i2X2+ ipXp i=1,2,m 上式稱為因子得分函數(shù)，用它來計算每個樣本的公共因子得分。40教育專類 由于因子得分函數(shù)中方程的個數(shù)m小于變量的個數(shù)p，因此不能精確計算出因子得分，只能對因子得分進行估計。 估計因子得分的方法很多，如：巴特萊特因子得分、回歸法等。41教育專類 一、巴特萊特因子得分 把一個個體的p個變量的取值X*當(dāng)作因變量，把求因

23、子解中得到的A作為自變量數(shù)據(jù)陣，對于這個個體在公因子上的取值 F，當(dāng)作未知參數(shù)，而特殊因子的取值看作誤差 e，于是得到如下的線性回歸模型： x*=AF+e，則稱未知參數(shù)F為取值X*的因子得分。42教育專類該方法也稱為加權(quán)最小二乘法。求得最小。加權(quán)平方和，使得的一組取值也就是尋求計。最小二乘估計法進行估對，因此可以采用加權(quán)個特殊方差可以不全相由于的近似解。到型相類似的方法求解得采用與求解線性回歸模。我們其中由于ppiipiiiipppiiffffafafaxffffffpfffFpiDAFX,/)(,),(, 2 , 1,)(,*2112212211*212121243教育專類是無偏的。分最小二

24、乘估計的因子得從條件意義上來說加權(quán)）（）（的條件數(shù)學(xué)期望分因子得值已知的條件下，可得為相互獨立，則在與若）（得：由微積分求極值的方法（可以用矩陣表示為：因此加權(quán)平方和由于FFAFDAADAFAFEDAADAFFEFFFXDAADAFFAXDFAXfafafaxAFXpiipiiii)/()/(*)/)(,*111111111112212211*44教育專類 二、回歸法因子得分 將公共因子F用變量表示的線性組合為： 因為因子得分Fj的值是待估的，我們僅知道利用樣本值可得因子矩陣A=(aij)pm。由載荷的意義知：*2211BXxbxbxbFpjpjjjipjpijpijpijpjpjjijiij

25、rbrbxxEbxxEbxbxbxbxEFxEa11112211*)*(*)*(*)*(*()*(45教育專類 B的最小二乘估計為： 因子得分的估計為：ARXf1*ARB1得ARB 這就是估計因子得分的計算公式。也稱為湯姆森因子得分。46教育專類因子分析的基本步驟 1、將原始數(shù)據(jù)標(biāo)準(zhǔn)化。 2、建立變量的相關(guān)系數(shù)矩陣R=(rij)。nkkjkinkjkjnkikinkjkjikiijxxnxxxxxxxxr1121211)()()( 若作Q型因子分析，則建立樣品的相似系數(shù)矩陣Q。47教育專類 3、求R的特征值及相應(yīng)的單位特征向量。pppppppuuuuuuuuuUuuu21222211121121p21.,單位特征向量記為，特征值記為根據(jù)累計貢獻率的要求，使累計貢獻率達到85以上，取前m個特征值及相應(yīng)