淺談主成分分析與因子分析基本思想主要性質(zhì)應(yīng)用舉例計(jì)算步驟主要區(qū)別

1、淺談主成分分析與因子分析1、主成分分析主成分分析就是設(shè)法將原來(lái)指標(biāo)重新組合成一組新的互相無(wú)關(guān)的幾個(gè)綜合指標(biāo)來(lái)代替原來(lái)指標(biāo)，同時(shí)根據(jù)實(shí)際需要從中可取幾個(gè)較少的綜合指標(biāo)盡可能多地反映原來(lái)指標(biāo)的信息。這種將多個(gè)指標(biāo)化為少數(shù)互相無(wú)關(guān)的綜合指標(biāo)的統(tǒng)計(jì)方法叫做主成分分析，也是數(shù)學(xué)上處理降維的一種方法。主成分分析的一般目的是：(1)變量的降維；(2)主成分的解釋。 1.1基本思想主成分分析是設(shè)法將原來(lái)眾多具有一定相關(guān)性（比如P個(gè)指標(biāo)），重新組合成一組新的互相無(wú)關(guān)的綜合指標(biāo)來(lái)代替原來(lái)的指標(biāo)。通常數(shù)學(xué)上的處理就是將原來(lái)P個(gè)指標(biāo)作線(xiàn)性組合，作為新的綜合指標(biāo)。最經(jīng)典的做法就是用F1（選取的第一個(gè)線(xiàn)性組合，即第一個(gè)綜

2、合指標(biāo)）的方差來(lái)表達(dá)，即Var(F1)越大，表示F1包含的信息越多。因此在所有的線(xiàn)性組合中選取的F1應(yīng)該是方差最大的，故稱(chēng)F1為第一主成分。如果第一主成分不足以代表原來(lái)P個(gè)指標(biāo)的信息，再考慮選取F2即選第二個(gè)線(xiàn)性組合，為了有效地反映原來(lái)信息，F(xiàn)1已有的信息就不需要再出現(xiàn)在F2中，用數(shù)學(xué)語(yǔ)言表達(dá)就是要求Cov(F1,F2)=0，則稱(chēng)F2為第二主成分，依此類(lèi)推可以構(gòu)造出第三、第四，第P個(gè)主成分。這些主成分不僅不相關(guān)，而且他們的方差依次遞減。1.2計(jì)算步驟設(shè)有n個(gè)樣品，每個(gè)樣品觀(guān)測(cè)P個(gè)指標(biāo)，將原始數(shù)據(jù)寫(xiě)成矩陣。（1）將原始數(shù)據(jù)標(biāo)準(zhǔn)化，即將每個(gè)指標(biāo)的原始數(shù)據(jù)減去這個(gè)指標(biāo)的均值后，再除以這個(gè)指標(biāo)的標(biāo)準(zhǔn)差

3、。（2）建立變量的相關(guān)系數(shù)陣：。（3）求R的特征根及相應(yīng)的單位特征向量。在解決實(shí)際問(wèn)題時(shí)，一般不是取p個(gè)主成分，而是根據(jù)累計(jì)貢獻(xiàn)率的大小取前k個(gè)，稱(chēng)第一主成分的貢獻(xiàn)率為，這個(gè)值越大，表明第一主成分綜合信息的能力越強(qiáng)。前k個(gè)主成分的累計(jì)貢獻(xiàn)率達(dá)到85%，表明取前k個(gè)主成分基本包含了全部測(cè)量指標(biāo)所具有的信息。1.3算法原理（1）對(duì)資料陣標(biāo)準(zhǔn)化，得其中 i=1,2n, j=1,2,P。（2）求出相關(guān)矩陣式中i為標(biāo)本編號(hào)，j,k=1,2,P。其中，。此相關(guān)矩陣為一對(duì)稱(chēng)矩陣，所以在下面的計(jì)算中取上三角陣R上=（3）求出R上的特征及特征向量。求R上矩陣的特征值及特征向量有許多方法,特征方程法、迭代法等（4

4、）求出主成分。將求出的特征值按大小依次排列，使得，根據(jù)原則確定m，并依次排列特征向量就可得出我們所需的主成分。14主要性質(zhì)主成分性質(zhì)主要包括以下幾點(diǎn)：（1）設(shè)個(gè)維隨機(jī)向量X1,X2.Xp協(xié)方差矩陣為，的特征值為12p，相應(yīng)的單位特征向量為：則的主成分可表示為：Fi=iX=i1X1+i2X2+ipXp, i=1,2,p記i=(i1,i2,ip)T（2）個(gè)主成分均值為,且個(gè)主成分不相關(guān)。（3）主成分的方差之和與原始變量的方差之和相等,也就是說(shuō),經(jīng)過(guò)變化后，變量間的變異性沒(méi)有改變，信息沒(méi)有損失。（4） 稱(chēng)為第個(gè)主成分的方差貢獻(xiàn)率，稱(chēng)為前個(gè)主成分的累積方差貢獻(xiàn)率。在解決實(shí)際問(wèn)題時(shí)，一般不是取個(gè)主成分，

5、而是根據(jù)累計(jì)貢獻(xiàn)率的大小取前個(gè)。如果前個(gè)主成分的累積貢獻(xiàn)率達(dá)到85，明取前個(gè)主成分基本包含了全部測(cè)量指標(biāo)所具有的信息，這樣即減少了變量的個(gè)數(shù)有利于對(duì)實(shí)際問(wèn)題的分析和研究。（5） 若Fi=iX是數(shù)據(jù)矩陣的主成分則（i=,） 是i與k的相關(guān)系數(shù)。1.5主成分分析方法應(yīng)用實(shí)例實(shí)例：對(duì)流域系統(tǒng)的主成分分析下表給出了某流域系統(tǒng)57個(gè)流域盆地的9項(xiàng)變量指標(biāo)。其中，x1代表流域盆地總高度（m），x2代表流域盆地山口的海拔高度（m），x3代表流域盆地周長(zhǎng)（m），x4代表河道總長(zhǎng)度（m），x5代表河道總數(shù)，x6代表平均分叉率，x7代表河谷最大坡度（度），x8代表河源數(shù)，x9代表流域盆地面積（km2）。分析過(guò)程：

6、 將表中的原始數(shù)據(jù)作標(biāo)準(zhǔn)化處理，然后將它們代入相關(guān)系數(shù)公式計(jì)算，得到相關(guān)系數(shù)矩陣（表3.5.2）。 由相關(guān)系數(shù)矩陣計(jì)算特征值，以及各個(gè)主成分的貢獻(xiàn)率與累計(jì)貢獻(xiàn)率（見(jiàn)表）。由表3.5.3可知，第一，第二，第三主成分的累計(jì)貢獻(xiàn)率已高達(dá)86.5%，故只需求出第一、第二、第三主成分z1，z2，z3即可。z3上的載荷。2、因子分析因子分析法是從研究變量?jī)?nèi)部相關(guān)的依賴(lài)關(guān)系出發(fā)，把一些具有錯(cuò)綜復(fù)雜關(guān)系的變量歸結(jié)為少數(shù)幾個(gè)綜合因子的一種多變量統(tǒng)計(jì)分析方法。它的基本思想是將觀(guān)測(cè)變量進(jìn)行分類(lèi)，將相關(guān)性較高，即聯(lián)系比較緊密的分在同一類(lèi)中，而不同類(lèi)變量之間的相關(guān)性則較低，那么每一類(lèi)變量實(shí)際上就代表了一個(gè)基本結(jié)構(gòu)，即公

7、共因子。對(duì)于所研究的問(wèn)題就是試圖用最少個(gè)數(shù)的不可測(cè)的所謂公共因子的線(xiàn)性函數(shù)與特殊因子之和來(lái)描述原來(lái)觀(guān)測(cè)的每一分量。2.1基本思想因子分析的基本思想是通過(guò)變量（或樣品）的相關(guān)系數(shù)矩陣（對(duì)樣品是相似系數(shù)矩陣）內(nèi)部結(jié)構(gòu)的研究，找出能控制所有變量（或樣品）的少數(shù)幾個(gè)隨機(jī)變量去描述多個(gè)變量（或樣品）之間的相關(guān)（相似）關(guān)系，但在這里，這少數(shù)幾個(gè)隨機(jī)變量是不可觀(guān)測(cè)的，通常稱(chēng)為因子。然后根據(jù)相關(guān)性（或相似性）的大小把變量（或樣品）分組，使得同組內(nèi)的變量（或樣品）之間相關(guān)性（或相似性）較高，但不同組的變量相關(guān)性（或相似性）較低。2.2計(jì)算步驟（1）將原始數(shù)據(jù)標(biāo)準(zhǔn)化，以消除變量間在數(shù)量級(jí)和量綱上的不同；（2）求標(biāo)

8、準(zhǔn)化數(shù)據(jù)的相關(guān)矩陣；（3）求相關(guān)矩陣的特征值和特征向量；（4）計(jì)算方差貢獻(xiàn)率與累積方差貢獻(xiàn)率；（5）確定因子：設(shè)F1，F(xiàn)2，F(xiàn)p為p個(gè)因子，其中前m個(gè)因子包含的數(shù)據(jù)信息總量（即其累積貢獻(xiàn)率）不低于80%時(shí)，可取前m個(gè)因子來(lái)反映原指標(biāo)。2.3算法原理因子分析法是從研究變量?jī)?nèi)部相關(guān)的依賴(lài)關(guān)系出發(fā)，把一些具有錯(cuò)綜復(fù)雜關(guān)系的變量歸結(jié)為少數(shù)幾個(gè)綜合因子的一種多變量統(tǒng)計(jì)分析方法。它的基本思想是將觀(guān)測(cè)變量進(jìn)行分類(lèi)，將相關(guān)性較高，即聯(lián)系比較緊密的分在同一類(lèi)中，而不同類(lèi)變量之間的相關(guān)性則較低，那么每一類(lèi)變量實(shí)際上就代表了一個(gè)基本結(jié)構(gòu)，即公共因子。對(duì)于所研究的問(wèn)題就是試圖用最少個(gè)數(shù)的不可測(cè)的所謂公共因子的線(xiàn)性函數(shù)

9、與特殊因子之和來(lái)描述原來(lái)觀(guān)測(cè)的每一分量。因子分析的數(shù)學(xué)模型如下：（1）符號(hào)與假定設(shè)有n個(gè)樣本，每個(gè)樣本觀(guān)測(cè)p個(gè)變量，記：原始變量矩陣為X： , 公共因子變量矩陣為F: ， 特殊因子矩陣為E：假定因子模型具有以下性質(zhì)：1. E(x)=0，cov(x)=2. E(F)=0，cov(F)=I3. E(E)=0，cov(e)=diag(12,22,p2)4. Cov(F,E)=0若用矩陣形式表示，則為:X=AF+E式中的A，稱(chēng)為因子載荷矩陣，并且稱(chēng)為第i個(gè)變量在第j個(gè)公共因子上的載荷，反映了第i個(gè)變量在第j個(gè)公共因子上的相對(duì)重要性。可以證明因子載荷為第i個(gè)變量與第j個(gè)公共因子的相關(guān)系數(shù)，即反映了變量與

10、公共因子的關(guān)系密切程度，越大，表明公共因子與變量的線(xiàn)性關(guān)系越密切。模型中F1，F(xiàn)2，F(xiàn)m叫做主因子或公共因子，它們是在各個(gè)原觀(guān)測(cè)變量的表達(dá)式中都共同出現(xiàn)的因子，是相互獨(dú)立的不可觀(guān)測(cè)的理論變量。公共因子的含義，必須結(jié)合具體問(wèn)題的實(shí)際意義而定。，叫做特殊因子，是向量x的分量(i=1，2，p)所特有的因子，各特殊因子之間以及特殊因子與所有公共因子之間都是相互獨(dú)立的。模型中載荷矩陣A中的元素()是為因子載荷。因子載荷是與的協(xié)方差，也是與的相關(guān)系數(shù)，它表示依賴(lài)的程度。可將看作第i個(gè)變量在第j公共因子上的權(quán)，的絕對(duì)值越大(|1)，表明與的相依程度越大，或稱(chēng)公共因子對(duì)于的載荷量越大。為了得到因子分析結(jié)果的經(jīng)

11、濟(jì)解釋?zhuān)蜃虞d荷矩陣A中有兩個(gè)統(tǒng)計(jì)量十分重要，即變量共同度和公共因子的方差貢獻(xiàn)。因子載荷矩陣A中第i行元素之平方和記為，稱(chēng)為變量的共同度。它是全部公共因子對(duì)的方差所做出的貢獻(xiàn)，反映了全部公共因子對(duì)變量的影響。大表明x的第i個(gè)分量對(duì)于F的每一分量F1，F(xiàn)2，F(xiàn)m的共同依賴(lài)程度大。將因子載荷矩陣A的第j列(j=1，2，m)的各元素的平方和記為，稱(chēng)為公共因子對(duì)x的方差貢獻(xiàn)。就表示第j個(gè)公共因子對(duì)于x的每一分量(i=1，2，p)所提供方差的總和，它是衡量公共因子相對(duì)重要性的指標(biāo)。越大，表明公共因子對(duì)x的貢獻(xiàn)越大，或者說(shuō)對(duì)x的影響和作用就越大。如果將因子載荷矩陣A的所有(j=1，2，m)都計(jì)算出來(lái)，使其

12、按照大小排序，就可以依此提煉出最有影響力的公共因子。2.4主要性質(zhì)因子分析是主成分分析的推廣，也是一種把多個(gè)變量化為少數(shù)幾個(gè)綜合變量的多變量分析方法，其目的是用有限個(gè)不可觀(guān)測(cè)的隱變量解釋原始變量之間的相關(guān)關(guān)系。因子性質(zhì)主要表現(xiàn)變量之間關(guān)聯(lián)度上，根據(jù)關(guān)聯(lián)度可以劃分為特殊因子和公共因子，利用因子分析，減少分析變量個(gè)數(shù)，通過(guò)對(duì)變量的相關(guān)關(guān)系探測(cè)，將原始變量進(jìn)行分類(lèi)。其中共同度表明x的第i個(gè)分量對(duì)于F的每一分量F1，F(xiàn)2，F(xiàn)m的共同依賴(lài)程度。如果它的值越大，依賴(lài)程度就越大.方差貢獻(xiàn)是衡量公共因子相對(duì)重要性的指標(biāo)。越大，表明公共因子對(duì)x的貢獻(xiàn)越大，或者說(shuō)對(duì)x的影響和作用就越大。2.5因子分析方法的應(yīng)用舉

13、例實(shí)例：因子分析在教師教學(xué)效果評(píng)價(jià)中的應(yīng)用本文選用某校網(wǎng)上評(píng)教數(shù)據(jù),選取的課程均為必修課程(沒(méi)有考慮選修課和實(shí)驗(yàn)課等),且為了排除課程性質(zhì)和班級(jí)容量對(duì)教師排名的影響,本文選取了教授相似課程,所教班級(jí)容量相近的10名教師,通過(guò)統(tǒng)計(jì)軟件SAS 9.0對(duì)其進(jìn)行因子分析,發(fā)現(xiàn)每位教師究竟在教學(xué)環(huán)節(jié)的哪個(gè)方面存在著不足。2.5.1因子分析過(guò)程第一步:數(shù)據(jù)標(biāo)準(zhǔn)化與數(shù)據(jù)相關(guān)性檢驗(yàn).檢驗(yàn)結(jié)果如下,KMO值很大,Bart lett球體檢驗(yàn)值很小,說(shuō)明數(shù)據(jù)適合做因子分析。.第二步:提取因子.用SAS統(tǒng)計(jì)軟件進(jìn)行分析,并計(jì)算出特征值的貢獻(xiàn)率及累計(jì)貢獻(xiàn)率.前5個(gè)因子,反映了原指標(biāo)17%的信息量,可以對(duì)所分析問(wèn)題作出較

14、好的解釋,故選取了5個(gè)公因子。第三步:因子解釋.采用最大方差旋轉(zhuǎn)法得出旋轉(zhuǎn)后因子載荷矩陣。.從上面的因子載荷矩陣中可以看出因子F1主要支配:u10(教師能把本課程在學(xué)生知識(shí)結(jié)構(gòu)中的地位、目的講授給學(xué)生),u11(教師能為人師表,從嚴(yán)執(zhí)教,能把傳授知識(shí)與塑造人的全面素質(zhì)結(jié)合起來(lái)),u12(通過(guò)教師的講授,學(xué)生基本掌握本課程的內(nèi)容),可解釋為教師傳授知識(shí)的能力;因子F2主要支配u7(教師授課內(nèi)容充實(shí)、信息量大)、u8(教師使用教學(xué)輔助手段),u9(教師授課能理論聯(lián)系實(shí)際),可解釋為教學(xué)手段;因子F3主要支配u3(教師能啟發(fā)學(xué)生的思路,激發(fā)學(xué)生的學(xué)習(xí)興趣)、u4(教師教給學(xué)生掌握知識(shí)、方法,鼓勵(lì)學(xué)生

15、獨(dú)立思考),可解釋為教師引導(dǎo)學(xué)生和發(fā)掘?qū)W生潛力的能力;因子F4主要支配u5(教師能培養(yǎng)學(xué)生分析問(wèn)題和解決問(wèn)題的能力)、u6(教師重視與學(xué)生交流,達(dá)到師生互動(dòng)的效果),教師調(diào)動(dòng)學(xué)生聽(tīng)課的能力.因子F5主要支配u1(教師對(duì)教學(xué)工作很有熱情,講課認(rèn)真、投入)、u2(教師講課思路清晰,表達(dá)清楚,重點(diǎn)難點(diǎn)、突出),可解釋為教師講課能力;第四步:因子得分.將所有同學(xué)的十二個(gè)指標(biāo)評(píng)分?jǐn)?shù)值經(jīng)標(biāo)準(zhǔn)化后與因子得分矩陣相乘可得每位同學(xué)對(duì)每位教師的五個(gè)因子得分?jǐn)?shù)值,十位教師的按5個(gè)因子得分見(jiàn)表3,十位教師按5分因子的排名情況如圖1所示.通過(guò)因子分析得出的因子得分(表3)及其排名情況(圖2),可以一目了然的看出教師方面

16、的教學(xué)效果和某位教師在教學(xué)中的哪個(gè)方面存在不足,比如教高級(jí)語(yǔ)言程序設(shè)計(jì)這位教師在因子2教學(xué)手段方面和因子3引導(dǎo)學(xué)生和發(fā)掘?qū)W生潛力的能力方面相比其他教師要落后一些,教路基工程的這位教師在因子4教師調(diào)動(dòng)學(xué)生聽(tīng)課能力方面存在明顯不足,教授機(jī)械設(shè)計(jì)基礎(chǔ)的教師在因子1教師傳授知識(shí)能力方面相比其他教師要落后,而各個(gè)教師在因子5教師講課能力方面差距不大.另外,通過(guò)因子分析也可以給出每位教師的總得分,按總得分的排名情況如表4,可以看出它和目前普遍采用的直接平均法排名是大體一致的,但是由于因子分析在降維的過(guò)程中舍棄了一小部分信息,所以按總得分的排名只具有一定的參考價(jià)值. 2.5.2 結(jié)論目前教師教學(xué)效果的評(píng)價(jià),

17、大都通過(guò)計(jì)算網(wǎng)上評(píng)價(jià)數(shù)據(jù)的平均值,然后按其排名來(lái)進(jìn)行考核教師教學(xué)效果.但是這種傳統(tǒng)取平均值的方法受到課程性質(zhì),班級(jí)人數(shù)多少等因素的影響,光靠名次來(lái)決定教師的水平高低,具有一定的片面性。 于是,本文將統(tǒng)計(jì)中因子分析模型引入教師教學(xué)效果評(píng)價(jià)中,在給出教師排名的同時(shí),還能分析出教師在教學(xué)的具體哪個(gè)環(huán)節(jié)存在不足,從而清醒找到自己排名落后的原因,這樣可以達(dá)到以評(píng)促教.但是,因子分析在降維過(guò)程中會(huì)損失一小部分信息,所以按因子總得分得到的排名只具有參考價(jià)值.總之,在教師評(píng)價(jià)過(guò)程中,排名不是關(guān)鍵,通過(guò)因子分析找到不足之處并得以改進(jìn)才是真正目的。. 3、兩者的主要區(qū)別3.1主要聯(lián)系兩種方法的出發(fā)點(diǎn)都是變量的相關(guān)

18、系數(shù)矩陣（或相似系數(shù)矩陣），在損失較少信息的前提下，把多個(gè)變量（這些變量之間要求存在較強(qiáng)的相關(guān)性，以保證能從原始變量中提取主成分）綜合成少數(shù)幾個(gè)綜合變量來(lái)研究總體各方面信息的多元統(tǒng)計(jì)方法，且這少數(shù)幾個(gè)綜合變量所代表的信息不能重疊，即變量間不相關(guān)。它們都屬于多元分析中處理降維的統(tǒng)計(jì)方法。3.2主要區(qū)別（1）從概念上看主成分分析是將多個(gè)指標(biāo)化為少數(shù)互相無(wú)關(guān)的綜合指標(biāo)的統(tǒng)計(jì)方法。因子分析是主成分分析的推廣和發(fā)展，它也是將具有錯(cuò)綜復(fù)雜關(guān)系的變量（或樣品）綜合數(shù)量較少的幾個(gè)因子，再現(xiàn)原始變量與因子之間的相互關(guān)系同時(shí)根據(jù)不同因子還可以對(duì)變量進(jìn)行分類(lèi)。（2）從基本思想上看主成分分析是設(shè)法將原來(lái)眾多具有一定相

19、關(guān)性的指標(biāo)重新組合成一組新的相互無(wú)關(guān)的綜合指標(biāo)來(lái)代替原來(lái)指標(biāo)。因子分析通過(guò)變量（或樣品）的相關(guān)系數(shù)矩陣（對(duì)樣品是相似系數(shù)矩陣）內(nèi)部結(jié)構(gòu)的研究，找出能控制所有變量（或樣品）的少數(shù)幾個(gè)隨機(jī)變量去描述多個(gè)變量（或樣品）之間的相關(guān)（相似）關(guān)系，這少數(shù)幾個(gè)隨機(jī)變量是不可觀(guān)測(cè)的，通常稱(chēng)為因子。然后根據(jù)相關(guān)性（或相似性）大小將變量分組，使得同組內(nèi)的變量（或樣品）之間相關(guān)性（或相似性）較高但不同組內(nèi)相關(guān)性（或相似性）較低。（3）從數(shù)學(xué)模型上看1）主成分分析的數(shù)學(xué)模型實(shí)質(zhì)上是一種變換，通過(guò)變量變換把注意力集中在具有較大變差的那些主成分上，而舍棄那些變差小的主成分；因子分析是把注意力集中在少數(shù)不可觀(guān)測(cè)的潛在變量（即公共因子）上，而舍棄特殊因子。2 ）主成分分析是將主成分表示為原觀(guān)測(cè)變量的線(xiàn)性組合。其實(shí)質(zhì)是p維空間的坐標(biāo)變換，不改變?cè)紨?shù)據(jù)的結(jié)構(gòu)。因子分析則是描述原指標(biāo)X協(xié)方差陣結(jié)構(gòu)的一種模型。對(duì)原觀(guān)測(cè)變量分解成公共因子和特殊因子兩部分。當(dāng)公共因子的個(gè)數(shù)m=原變量的個(gè)數(shù)p時(shí)就不能考慮，此時(shí)因子分析也對(duì)應(yīng)于一種變量變換。但在實(shí)際應(yīng)用中m都小于p，且為經(jīng)濟(jì)起見(jiàn)總是越小越好。3） 主成分的各系數(shù)aij是唯一確定的、正交的。不可以對(duì)系數(shù)矩陣進(jìn)行任何的旋轉(zhuǎn)，且系數(shù)大小并不代表原變量與主成分的相關(guān)程度；而因子模型的系數(shù)矩陣是不唯一的，且該矩陣表明了原