因子分析︱使用Stata做主成分分析

因子分析︱使用Stata做主成分分析因子分析︱使用Stata做主成分分析因子分析︱使用Stata做主成分分析因子分析︱使用Stata做主成分分析編制僅供參考審核批準(zhǔn)生效日期地址：電話：傳真:郵編:因子分析︱使用Stata做主成分分析文章來(lái)自計(jì)量經(jīng)濟(jì)學(xué)圈主成分分析在許多領(lǐng)域的研究與應(yīng)用中，往往需要對(duì)反映事物的多個(gè)變量進(jìn)行大量的觀測(cè)，收集大量數(shù)據(jù)以便進(jìn)行分析尋找規(guī)律。多變量大樣本無(wú)疑會(huì)為研究和應(yīng)用提供了豐富的信息，但也在一定程度上增加了數(shù)據(jù)采集的工作量，更重要的是在多數(shù)情況下，許多變量之間可能存在相關(guān)性，從而增加了問(wèn)題分析的復(fù)雜性，同時(shí)對(duì)分析帶來(lái)不便。如果分別對(duì)每個(gè)指標(biāo)進(jìn)行分析，分析往往是孤立的，而不是綜合的。盲目減少指標(biāo)會(huì)損失很多信息，容易產(chǎn)生錯(cuò)誤的結(jié)論。因此需要找到一個(gè)合理的方法，在減少需要分析的指標(biāo)同時(shí)，盡量減少原指標(biāo)包含信息的損失，以達(dá)到對(duì)所收集數(shù)據(jù)進(jìn)行全面分析的目的。由于各變量間存在一定的相關(guān)關(guān)系，因此有可能用較少的綜合指標(biāo)分別綜合存在于各變量中的各類(lèi)信息。主成分分析與因子分析就屬于這類(lèi)降維的方法。主成分分析是設(shè)法將原來(lái)眾多具有一定相關(guān)性（比如P個(gè)指標(biāo)），重新組合成一組新的互相無(wú)關(guān)的綜合指標(biāo)來(lái)代替原來(lái)的指標(biāo)。主成分分析，是考察多個(gè)變量間相關(guān)性一種多元統(tǒng)計(jì)方法，研究如何通過(guò)少數(shù)幾個(gè)主成分來(lái)揭示多個(gè)變量間的內(nèi)部結(jié)構(gòu)，即從原始變量中導(dǎo)出少數(shù)幾個(gè)主成分，使它們盡可能多地保留原始變量的信息，且彼此間互不相關(guān).通常數(shù)學(xué)上的處理就是將原來(lái)P個(gè)指標(biāo)作線性組合，作為新的綜合指標(biāo)。最經(jīng)典的做法就是用F1（選取的第一個(gè)線性組合，即第一個(gè)綜合指標(biāo)）的方差來(lái)表達(dá)，即Var(F1)越大，表示F1包含的信息越多。因此在所有的線性組合中選取的F1應(yīng)該是方差最大的，故稱F1為第一主成分。如果第一主成分不足以代表原來(lái)P個(gè)指標(biāo)的信息，再考慮選取F2即選第二個(gè)線性組合，為了有效地反映原來(lái)信息，F(xiàn)1已有的信息就不需要再出現(xiàn)在F2中，用數(shù)學(xué)語(yǔ)言表達(dá)就是要求Cov(F1,F2)=0，則稱F2為第二主成分，依此類(lèi)推可以構(gòu)造出第三、第四，……，第P個(gè)主成分。2.問(wèn)題描述下表1是某些學(xué)生的語(yǔ)文、數(shù)學(xué)、物理、化學(xué)成績(jī)統(tǒng)計(jì)：首先，假設(shè)這些科目成績(jī)不相關(guān)，也就是說(shuō)某一科目考多少分與其他科目沒(méi)有關(guān)系。那么一眼就能看出來(lái)，數(shù)學(xué)、物理、化學(xué)這三門(mén)課的成績(jī)構(gòu)成了這組數(shù)據(jù)的主成分（很顯然，數(shù)學(xué)作為第一主成分，因?yàn)閿?shù)學(xué)成績(jī)拉的最開(kāi)）。為什么一眼能看出來(lái)因?yàn)樽鴺?biāo)軸選對(duì)了！下面再看一組學(xué)生的數(shù)學(xué)、物理、化學(xué)、語(yǔ)文、歷史、英語(yǔ)成績(jī)統(tǒng)計(jì)，見(jiàn)表2，還能不能一眼看出來(lái)：數(shù)據(jù)太多了，以至于看起來(lái)有些凌亂！也就是說(shuō)，無(wú)法直接看出這組數(shù)據(jù)的主成分，因?yàn)樵谧鴺?biāo)系下這組數(shù)據(jù)分布的很散亂。究其原因，是因?yàn)闊o(wú)法撥開(kāi)遮住肉眼的迷霧~如果把這些數(shù)據(jù)在相應(yīng)的空間中表示出來(lái)，也許你就能換一個(gè)觀察角度找出主成分。如下圖1所示：但是，對(duì)于更高維的數(shù)據(jù)，能想象其分布嗎就算能描述分布，如何精確地找到這些主成分的軸如何衡量你提取的主成分到底占了整個(gè)數(shù)據(jù)的多少信息所以，我們就要用到主成分分析的處理方法。3.數(shù)據(jù)降維為了說(shuō)明什么是數(shù)據(jù)的主成分，先從數(shù)據(jù)降維說(shuō)起。數(shù)據(jù)降維是怎么回事兒假設(shè)三維空間中有一系列點(diǎn)，這些點(diǎn)分布在一個(gè)過(guò)原點(diǎn)的斜面上，如果你用自然坐標(biāo)系x,y,z這三個(gè)軸來(lái)表示這組數(shù)據(jù)的話，需要使用三個(gè)維度，而事實(shí)上，這些點(diǎn)的分布僅僅是在一個(gè)二維的平面上，那么，問(wèn)題出在哪里如果你再仔細(xì)想想，能不能把x,y,z坐標(biāo)系旋轉(zhuǎn)一下，使數(shù)據(jù)所在平面與x,y平面重合這就對(duì)了！如果把旋轉(zhuǎn)后的坐標(biāo)系記為x’,y’,z’，那么這組數(shù)據(jù)的表示只用x’和y’兩個(gè)維度表示即可！當(dāng)然了，如果想恢復(fù)原來(lái)的表示方式，那就得把這兩個(gè)坐標(biāo)之間的變換矩陣存下來(lái)。這樣就能把數(shù)據(jù)維度降下來(lái)了！但是，我們要看到這個(gè)過(guò)程的本質(zhì)，如果把這些數(shù)據(jù)按行或者按列排成一個(gè)矩陣，那么這個(gè)矩陣的秩就是2！這些數(shù)據(jù)之間是有相關(guān)性的，這些數(shù)據(jù)構(gòu)成的過(guò)原點(diǎn)的向量的最大線性無(wú)關(guān)組包含2個(gè)向量，這就是為什么一開(kāi)始就假設(shè)平面過(guò)原點(diǎn)的原因！那么如果平面不過(guò)原點(diǎn)呢這就是數(shù)據(jù)中心化的緣故！將坐標(biāo)原點(diǎn)平移到數(shù)據(jù)中心，這樣原本不相關(guān)的數(shù)據(jù)在這個(gè)新坐標(biāo)系中就有相關(guān)性了！有趣的是，三點(diǎn)一定共面，也就是說(shuō)三維空間中任意三點(diǎn)中心化后都是線性相關(guān)的，一般來(lái)講n維空間中的n個(gè)點(diǎn)一定能在一個(gè)n-1維子空間中分析！上一段文字中，認(rèn)為把數(shù)據(jù)降維后并沒(méi)有丟棄任何東西，因?yàn)檫@些數(shù)據(jù)在平面以外的第三個(gè)維度的分量都為0。現(xiàn)在，假設(shè)這些數(shù)據(jù)在z’軸有一個(gè)很小的抖動(dòng)，那么我們?nèi)匀挥蒙鲜龅亩S表示這些數(shù)據(jù)，理由是我們可以認(rèn)為這兩個(gè)軸的信息是數(shù)據(jù)的主成分，而這些信息對(duì)于我們的分析已經(jīng)足夠了，z’軸上的抖動(dòng)很有可能是噪聲，也就是說(shuō)本來(lái)這組數(shù)據(jù)是有相關(guān)性的，噪聲的引入，導(dǎo)致了數(shù)據(jù)不完全相關(guān)，但是，這些數(shù)據(jù)在z’軸上的分布與原點(diǎn)構(gòu)成的夾角非常小，也就是說(shuō)在z’軸上有很大的相關(guān)性，綜合這些考慮，就可以認(rèn)為數(shù)據(jù)在x’,y’軸上的投影構(gòu)成了數(shù)據(jù)的主成分！課堂上老師談到的特征選擇的問(wèn)題，其實(shí)就是要剔除的特征主要是和類(lèi)標(biāo)簽無(wú)關(guān)的特征。而這里的特征很多是和類(lèi)標(biāo)簽有關(guān)的，但里面存在噪聲或者冗余。在這種情況下，需要一種特征降維的方法來(lái)減少特征數(shù)，減少噪音和冗余，減少過(guò)度擬合的可能性。PCA的思想是將n維特征映射到k維上（k二、PCA實(shí)例現(xiàn)在假設(shè)有一組數(shù)據(jù)如下：行代表了樣例，列代表特征，這里有10個(gè)樣例，每個(gè)樣例兩個(gè)特征。可以這樣認(rèn)為，有10篇文檔，x是10篇文檔中“l(fā)earn”出現(xiàn)的TF-IDF，y是10篇文檔中“study”出現(xiàn)的TF-IDF。第一步，分別求x和y的平均值，然后對(duì)于所有的樣例，都減去對(duì)應(yīng)的均值。這里x的均值是，y的均值是，那么一個(gè)樣例減去均值后即為（,），得到第二步，求特征協(xié)方差矩陣，如果數(shù)據(jù)是3維，那么協(xié)方差矩陣是這里只有x和y，求解得對(duì)角線上分別是x和y的方差，非對(duì)角線上是協(xié)方差。協(xié)方差是衡量?jī)蓚€(gè)變量同時(shí)變化的變化程度。協(xié)方差大于0表示x和y若一個(gè)增，另一個(gè)也增；小于0表示一個(gè)增，一個(gè)減。如果ｘ和ｙ是統(tǒng)計(jì)獨(dú)立的，那么二者之間的協(xié)方差就是０；但是協(xié)方差是０，并不能說(shuō)明ｘ和ｙ是獨(dú)立的。協(xié)方差絕對(duì)值越大，兩者對(duì)彼此的影響越大，反之越小。協(xié)方差是沒(méi)有單位的量，因此，如果同樣的兩個(gè)變量所采用的量綱發(fā)生變化，它們的協(xié)方差也會(huì)產(chǎn)生樹(shù)枝上的變化。第三步，求協(xié)方差的特征值和特征向量，得到上面是兩個(gè)特征值，下面是對(duì)應(yīng)的特征向量，特征值對(duì)應(yīng)特征向量為，這里的特征向量都?xì)w一化為單位向量。第四步，將特征值按照從大到小的順序排序，選擇其中最大的k個(gè)，然后將其對(duì)應(yīng)的k個(gè)特征向量分別作為列向量組成特征向量矩陣。這里特征值只有兩個(gè)，我們選擇其中最大的那個(gè)，這里是1.，對(duì)應(yīng)的特征向量是,T。第五步，將樣本點(diǎn)投影到選取的特征向量上。假設(shè)樣例數(shù)為m，特征數(shù)為n，減去均值后的樣本矩陣為DataAdjust(m*n)，協(xié)方差矩陣是n*n，選取的k個(gè)特征向量組成的矩陣為EigenVectors(n*k)。那么投影后的數(shù)據(jù)FinalData為FinalData(10*1)=DataAdjust(10*2矩陣)x特征向量,T得到的結(jié)果是：這樣，就將原始樣例的n維特征變成了k維，這k維就是原始特征在k維上的投影。上面的數(shù)據(jù)可以認(rèn)為是learn和study特征融合為一個(gè)新的特征叫做LS特征，該特征基本上代表了這兩個(gè)特征。上述過(guò)程如下圖2描述：正號(hào)表示預(yù)處理后的樣本點(diǎn)，斜著的兩條線就分別是正交的特征向量（由于協(xié)方差矩陣是對(duì)稱的，因此其特征向量正交），最后一步的矩陣乘法就是將原始樣本點(diǎn)分別往特征向量對(duì)應(yīng)的軸上做投影。整個(gè)PCA過(guò)程貌似及其簡(jiǎn)單，就是求協(xié)方差的特征值和特征向量，然后做數(shù)據(jù)轉(zhuǎn)換。但是有沒(méi)有覺(jué)得很神奇，為什么求協(xié)方差的特征向量就是最理想的k維向量其背后隱藏的意義是什么整個(gè)PCA的意義是什么三、PCA推導(dǎo)先看下面這幅圖：在第一部分中，我們舉了一個(gè)學(xué)生成績(jī)的例子，里面的數(shù)據(jù)點(diǎn)是六維的，即每個(gè)觀測(cè)值是6維空間中的一個(gè)點(diǎn)。我們希望將6維空間用低維空間表示。先假定只有二維，即只有兩個(gè)變量，它們由橫坐標(biāo)和縱坐標(biāo)所代表；因此每個(gè)觀測(cè)值都有相應(yīng)于這兩個(gè)坐標(biāo)軸的兩個(gè)坐標(biāo)值；如果這些數(shù)據(jù)形成一個(gè)橢圓形狀的點(diǎn)陣，那么這個(gè)橢圓有一個(gè)長(zhǎng)軸和一個(gè)短軸。在短軸方向上，數(shù)據(jù)變化很少；在極端的情況，短軸如果退化成一點(diǎn)，那只有在長(zhǎng)軸的方向才能夠解釋這些點(diǎn)的變化了；這樣，由二維到一維的降維就自然完成了。上圖中，u1就是主成分方向，然后在二維空間中取和u1方向正交的方向，就是u2的方向。則n個(gè)數(shù)據(jù)在u1軸的離散程度最大（方差最大），數(shù)據(jù)在u1上的投影代表了原始數(shù)據(jù)的絕大部分信息，即使不考慮u2，信息損失也不多。而且，u1、u2不相關(guān)。只考慮u1時(shí)，二維降為一維。橢圓的長(zhǎng)短軸相差得越大，降維也越有道理。1.最大方差理論在信號(hào)處理中認(rèn)為信號(hào)具有較大的方差，噪聲有較小的方差，信噪比就是信號(hào)與噪聲的方差比，越大越好。如前面的圖，樣本在u1上的投影方差較大，在u2上的投影方差較小，那么可認(rèn)為u2上的投影是由噪聲引起的。因此我們認(rèn)為，最好的k維特征是將n維樣本點(diǎn)轉(zhuǎn)換為k維后，每一維上的樣本方差都很大。比如我們將下圖中的5個(gè)點(diǎn)投影到某一維上，這里用一條過(guò)原點(diǎn)的直線表示（數(shù)據(jù)已經(jīng)中心化）：假設(shè)我們選擇兩條不同的直線做投影，那么左右兩條中哪個(gè)好呢根據(jù)我們之前的方差最大化理論，左邊的好，因?yàn)橥队昂蟮臉颖军c(diǎn)之間方差最大（也可以說(shuō)是投影的絕對(duì)值之和最大）。計(jì)算投影的方法見(jiàn)下圖5：圖中，紅色點(diǎn)表示樣例，藍(lán)色點(diǎn)表示在u上的投影，u是直線的斜率也是直線的方向向量，而且是單位向量。藍(lán)色點(diǎn)是在u上的投影點(diǎn)，離原點(diǎn)的距離是（即xTu或者uTx）。2.最小二乘法我們使用最小二乘法來(lái)確定各個(gè)主軸（主成分）的方向。對(duì)給定的一組數(shù)據(jù)（下面的闡述中，向量一般均指列向量）：其數(shù)據(jù)中心位于:數(shù)據(jù)中心化（將坐標(biāo)原點(diǎn)移到樣本點(diǎn)的中心點(diǎn)）：中心化后的數(shù)據(jù)在第一主軸u1方向上分布散的最開(kāi)，也就是說(shuō)在u1方向上的投影的絕對(duì)值之和最大（也可以說(shuō)方差最大），計(jì)算投影的方法上面已經(jīng)闡述，就是將x與u1做內(nèi)積，由于只需要求u1的方向，所以設(shè)u1也是單位向量。在這里，也就是最大化下式：由矩陣代數(shù)相關(guān)知識(shí)可知，可以對(duì)絕對(duì)值符號(hào)項(xiàng)進(jìn)行平方處理，比較方便。所以進(jìn)而就是最大化下式：兩個(gè)向量做內(nèi)積，可以轉(zhuǎn)化成矩陣乘法：所以目標(biāo)函數(shù)可以表示為：括號(hào)里面就是矩陣乘法表示向量?jī)?nèi)積，由于列向量轉(zhuǎn)置以后是行向量，行向量乘以列向量得到一個(gè)數(shù)，一個(gè)數(shù)的轉(zhuǎn)置還是其本身，所以又可以將目標(biāo)函數(shù)化為：去括號(hào)：又由于u1和i無(wú)關(guān)，可以拿到求和符外面，上式化簡(jiǎn)為：學(xué)過(guò)矩陣代數(shù)的同學(xué)可能已經(jīng)發(fā)現(xiàn)了，上式括號(hào)里面求和后的結(jié)果，就相當(dāng)于一個(gè)大矩陣乘以自身的轉(zhuǎn)置，其中，這個(gè)大矩陣的形式如下：X矩陣的第i列就是xi于是有：所以目標(biāo)函數(shù)最終化為：其中的就是一個(gè)二次型，我們假設(shè)的某一特征值為λ，對(duì)應(yīng)的特征向量為ξ，有所以，是半正定的對(duì)稱矩陣，即是半正定陣的二次型，由矩陣代數(shù)知識(shí)得出，目標(biāo)函數(shù)存在最大值！下面我們求解最大值、取得最大值時(shí)u1的方向這兩個(gè)問(wèn)題。先解決第一個(gè)問(wèn)題，對(duì)于向量x的二范數(shù)平方為:同樣，目標(biāo)函數(shù)也可以表示成映射后的向量的二范數(shù)平方：把二次型化成一個(gè)范數(shù)的形式，由于u1取單位向量，最大化目標(biāo)函數(shù)的基本問(wèn)題也就轉(zhuǎn)化為：對(duì)一個(gè)矩陣，它對(duì)一個(gè)向量做變換，變換前后的向量的模長(zhǎng)伸縮尺度如何才能最大我們有矩陣代數(shù)中的定理知，向量經(jīng)矩陣映射前后的向量長(zhǎng)度之比的最大值就是這個(gè)矩陣的最大奇異值，即：式中，是矩陣A的最大奇異值（亦是矩陣A的二范數(shù)），它等于（或）的最大特征值開(kāi)平方。針對(duì)本問(wèn)題來(lái)說(shuō)，是半正定對(duì)稱陣，也就意味著它的特征值都大于等于0，且不同特征值對(duì)應(yīng)的特征向量是正交的，構(gòu)成所在空間的一組單位正交基。再解決第二個(gè)問(wèn)題，對(duì)一般情況，設(shè)對(duì)稱陣的n個(gè)特征值分別為：相應(yīng)的單位特征向量為：任取一個(gè)向量x，用特征向量構(gòu)成的空間中的這組基表示為：則：所以：針對(duì)第二個(gè)問(wèn)題，我們?nèi)∩鲜街械?，目?biāo)函數(shù)取得最大值，也就是的最大特征值時(shí)，對(duì)應(yīng)的特征向量的方向，就是第一主成分u1的方向?。ǖ诙鞒煞值姆较?yàn)榈牡诙筇卣髦祵?duì)應(yīng)的特征向量的方向，以此類(lèi)推）。證明完畢。主成分所占整個(gè)信息的百分比可用下式計(jì)算：式中分母為所有奇異值平方和，分子為所選取的前k大奇異值平方和。有些研究工作表明，所選的主軸總長(zhǎng)度占所有主軸長(zhǎng)度之和的大約85%即可，其實(shí)，這只是一個(gè)大體的說(shuō)法，具體選多少個(gè)，要看實(shí)際情況而定。3.意義PCA將n個(gè)特征降維到k個(gè)，可以用來(lái)進(jìn)行數(shù)據(jù)壓縮，例如100維的向量最后可以用10維來(lái)表示，那么壓縮率為90%。同樣圖像處理領(lǐng)域的KL變換使用PCA做圖像壓縮，人臉檢測(cè)和匹配。這里一大部分整理自：主成分分析Stata操作讀取數(shù)據(jù)：主成分分析：變量特征向量：Screenplot:預(yù)測(cè)前三個(gè)主成分：預(yù)測(cè)出來(lái)的前三個(gè)主成分結(jié)果：前三個(gè)主成分與原始變量的相關(guān)性：因此，我們可以說(shuō)第一個(gè)主成分變量與原始的8個(gè)變量都是相關(guān)的，而第二個(gè)主成分變量則只反映其中的3個(gè)變量，至于第三個(gè)主成分變量，它只反映1個(gè)變量headroom因素（我們把絕對(duì)值>設(shè)為顯著）。因子分析因子分析是研究如何以最少的信息丟失，將眾多原始變量濃縮成少數(shù)幾個(gè)因子變量，以及如何使因子變量具有較強(qiáng)的可解釋性的一種多元統(tǒng)計(jì)分析方法。我們以下為例：為了了解學(xué)生的學(xué)習(xí)能力，觀測(cè)了n個(gè)學(xué)生p個(gè)科目的成績(jī)，用X1,...,Xp表示p個(gè)科目（例如代數(shù)，幾何，語(yǔ)文，英語(yǔ)......）。我們對(duì)這些資料進(jìn)行歸納分析，得出全部科目X所共有的因子有m(mX(i)=a(i1)F1+a(i2)F2+...+a(im)Fm+ε(i)(i=1,...,p)用這m個(gè)不可觀測(cè)的互不相關(guān)的公共因子F1...Fm和一個(gè)特殊因子ε(i)來(lái)描述原始可測(cè)的相關(guān)變量（科目）X1...Xp，并解釋分析學(xué)生的學(xué)習(xí)能力。它們的系數(shù)a(i1),...a(im)稱為因子載荷。這就是一個(gè)因子分析模型，即達(dá)到了降維又可以用于分類(lèi)。綜上所述，因子分析是尋找潛在的起支配作用的因子模型的方法。因子分析是根據(jù)相關(guān)性大小把變量分組，使得同組內(nèi)的變量之間相關(guān)性較高，但不同的組的變量相關(guān)性較低，每組變量代表一個(gè)基本結(jié)構(gòu)，這個(gè)基本結(jié)構(gòu)稱為公共因子。對(duì)于所研究的問(wèn)題就可試圖用最少個(gè)數(shù)的不可測(cè)的所謂公共因子的線性函數(shù)與特殊因子之和來(lái)描述原來(lái)觀測(cè)的每一分量。通過(guò)因子分析得來(lái)的新變量是對(duì)每個(gè)原始變量進(jìn)行內(nèi)部剖析。因子分析不是對(duì)原始變量的重新組合，而是對(duì)原始變量進(jìn)行分解，分解為公共因子和特殊因子兩部分。具體地說(shuō)，就是要找出某個(gè)問(wèn)題中可直接測(cè)量的具有一定相關(guān)性的諸指標(biāo)，如何受少數(shù)幾個(gè)在專業(yè)中有意義、又不可直接測(cè)量到、且相對(duì)獨(dú)立的因子支配的規(guī)律，從而可用各指標(biāo)的測(cè)定來(lái)間接確定各因子的狀態(tài)。因子分析只能解釋部分變異，主成分分析能解釋所有變異。因子分析法是從研究變量?jī)?nèi)部相關(guān)的依賴關(guān)系出發(fā)，把一些具有錯(cuò)綜復(fù)雜關(guān)系的變量歸結(jié)為少數(shù)幾個(gè)綜合因子的一種多變量統(tǒng)計(jì)分析方法。它的基本思想是將觀測(cè)變量進(jìn)行分類(lèi)，將相關(guān)性較高，即聯(lián)系比較緊密的分在同一類(lèi)中，而不同類(lèi)變量之間的相關(guān)性則較低，那么每一類(lèi)變量實(shí)際上就代表了一個(gè)基本結(jié)構(gòu)，即公共因子。對(duì)于所研究的問(wèn)題就是試圖用最少個(gè)數(shù)的不可測(cè)的所謂公共因子的線性函數(shù)與特殊因子之和來(lái)描述原來(lái)觀測(cè)的每一分量。因子分析模型描述如下：⑴X=(x1，x2，…，xp）￠是可觀測(cè)隨機(jī)向量，均值向量E(X)=0，協(xié)方差陣Cov(X)=∑，且協(xié)方差陣∑與相關(guān)矩陣R相等（只要將變量標(biāo)準(zhǔn)化即可實(shí)現(xiàn)）。⑵F=(F1，F(xiàn)2，…，F(xiàn)m）￠（m⑶e=(e1，e2，…，ep）￠與F相互獨(dú)立，且E(e)=0，e的協(xié)方差陣∑是對(duì)角陣，即各分量e之間是相互獨(dú)立的，則模型：x1=a11F1+a12F2+…+a1mFm+e1x2=a21F1+a22F2+…+a2mFm+e2………xp=ap1F1+ap2F2+…+apmFm+ep稱為因子分析模型，由于該模型是針對(duì)變量進(jìn)行的，各因子又是正交的，所以也稱為R型正交因子模型。其矩陣形式為：x=AF+e這里，⑴m￡p；⑵Cov(F，e)=0，即F和e是不相關(guān)的；⑶D(F)=Im，即F1，F(xiàn)2，…，F(xiàn)m不相關(guān)且方差均為1；D(e)=，即e1，e2，…，ep不相關(guān)，且方差不同。我們把F稱為X的公共因子或潛因子，矩陣A稱為因子載荷矩陣，e稱為X的特殊因子。A=(aij），aij為因子載荷。數(shù)學(xué)上可以證明，因子載荷aij就是第i變量與第j因子的相關(guān)系數(shù)，反映了第i變量在第j因子上的重要性。模型中F1，F(xiàn)2，…，F(xiàn)m叫做主因子或公共因子，它們是在各個(gè)原觀測(cè)變量的表達(dá)式中都共同出現(xiàn)的因子，是相互獨(dú)立的不可觀測(cè)的理論變量。公共因子的含義，必須結(jié)合具體問(wèn)題的實(shí)際意義而定。e1，e2，…，ep叫做特殊因子，是向量x的分量xi(i=1，2，…，p）所特有的因子，各特殊因子之間以及特殊因子與所有公共因子之間都是相互獨(dú)立的。模型中載荷矩陣A中的元素（aij）是為因子載荷。因子載荷aij是xi與Fj的協(xié)方差，也是xi與Fj的相關(guān)系數(shù)，它表示xi依賴Fj的程度?？蓪ij看作第i個(gè)變量在第j公共因子上的權(quán)，aij的絕對(duì)值越大（|aij|￡1），表明xi與Fj的相依程度越大，或稱公共因子Fj對(duì)于xi的載荷量越大。為了得到因子分析結(jié)果的經(jīng)濟(jì)解釋，因子載荷矩陣A中有兩個(gè)統(tǒng)計(jì)量十分重要，即變量共同度和公共因子的方差貢獻(xiàn)。因子載荷矩陣A中第i行元素之平方和記為hi2，稱為變量xi的共同度。它是全部公共因子對(duì)xi的方差所做出的貢獻(xiàn)，反映了全部公共因子對(duì)變量xi的影響。hi2大表明x的第i個(gè)分量xi對(duì)于F的每一分量F1，F(xiàn)2，…，F(xiàn)m的共同依賴程度大。將因子載荷矩陣A的第j列（j=1，2，…，m）的各元素的平方和記為gj2，稱為公共因子Fj對(duì)x的方差貢獻(xiàn)。gj2就表示第j個(gè)公共因子Fj對(duì)于x的每一分量xi(i=1，2，…，p）所提供方差的總和，它是衡量公共因子相對(duì)重要性的指標(biāo)。gj2越大，表明公共因子Fj對(duì)x的貢獻(xiàn)越大，或者說(shuō)對(duì)x的影響和作用就越大。如果將因子載荷矩陣A的所有g(shù)j2(j=1，2，…，m）都計(jì)算出來(lái)，使其按照大小排序，就可以依此提煉出最有影響力的公共因子。因子旋轉(zhuǎn)建立因子分析模型的目的不僅是找出主因子，更重要的是知道每個(gè)主因子的意義，以便對(duì)實(shí)際問(wèn)題進(jìn)行分析。如果求出主因子解后，各個(gè)主因子的典型代表變量不很突出，還需要進(jìn)行因子旋轉(zhuǎn)，通過(guò)適當(dāng)?shù)男D(zhuǎn)得到比較滿意的主因子。旋轉(zhuǎn)的方法有很多，正交旋轉(zhuǎn)（orthogonalrotation）和斜交旋轉(zhuǎn)（obliquerotation）是因子旋轉(zhuǎn)的兩類(lèi)方法。最常用的方法是最大方差正交旋轉(zhuǎn)法（Varimax）。進(jìn)行因子旋轉(zhuǎn)，就是要使因子載荷矩陣中因子載荷的平方值向0和1兩個(gè)方向分化，使大的載荷更大，小的載荷更小。因子旋轉(zhuǎn)過(guò)程中，如果因子對(duì)應(yīng)軸相互正交，則稱為正交旋轉(zhuǎn)；如果因子對(duì)應(yīng)軸相互間不是正交的，則稱為斜交旋轉(zhuǎn)。常用的斜交旋轉(zhuǎn)方法有Promax法等。因子得分因子分析模型建立后，還有一個(gè)重要的作用是應(yīng)用因子分析模型去評(píng)價(jià)每個(gè)樣品在整個(gè)模型中的地位，即進(jìn)行綜合評(píng)價(jià)。例如地區(qū)經(jīng)濟(jì)發(fā)展的因子分析模型建立后，我們希望知道每個(gè)地區(qū)經(jīng)濟(jì)發(fā)展的情況，把區(qū)域經(jīng)濟(jì)劃分歸類(lèi)，哪些地區(qū)發(fā)展較快，哪些中等發(fā)達(dá)，哪些較慢等。這時(shí)需要將公共因子用變量的線性組合來(lái)表示，也即由地區(qū)經(jīng)濟(jì)的各項(xiàng)指標(biāo)值來(lái)估計(jì)它的因子得分。設(shè)公共因子F由變量x表示的線性組合為：Fj=uj1xj1+uj2xj2+…+ujpxjpj=1，2，…，m該式稱為因子得分函數(shù)，由它來(lái)計(jì)算每個(gè)樣品的公共因子得分。若取m=2，則將每個(gè)樣品的p個(gè)變量代入上式即可算出每個(gè)樣品的因子得分F1和F2，并將其在平面上做因子得分散點(diǎn)圖，進(jìn)而對(duì)樣品進(jìn)行分類(lèi)或?qū)υ紨?shù)據(jù)進(jìn)行更深入的研究。但因子得分函數(shù)中方程的個(gè)數(shù)m小于變量的個(gè)數(shù)p，所以并不能精確計(jì)算出因子得分，只能對(duì)因子得分進(jìn)行估計(jì)。估計(jì)因子得分的方法較多，常用的有回歸估計(jì)法，Bartlett估計(jì)法，Thomson估計(jì)法。因子分析的核心問(wèn)題有兩個(gè)：一是如何構(gòu)造因子變量；二是如何對(duì)因子變量進(jìn)行命名解釋。因此，因子分析的基本步驟和解決思路就是圍繞這兩個(gè)核心問(wèn)題展開(kāi)的。（i）因子分析常常有以下四個(gè)基本步驟：⑴確認(rèn)待分析的原變量是否適合作因子分析。⑵構(gòu)造因子變量。⑶利用旋轉(zhuǎn)方法使因子變量更具有可解釋性。⑷計(jì)算因子變量得分。（ii）因子分析的計(jì)算過(guò)程：⑴將原始數(shù)據(jù)標(biāo)準(zhǔn)化，以消除變量間在數(shù)量級(jí)和量綱上的不同。⑵求標(biāo)準(zhǔn)化數(shù)據(jù)的相關(guān)矩陣；⑶求相關(guān)矩陣的特征值和特征向量；⑷計(jì)算方差貢獻(xiàn)率與累積方差貢獻(xiàn)率；⑸確定因子：設(shè)F1，F(xiàn)2，…，F(xiàn)p為p個(gè)因子，其中前m個(gè)因子包含的數(shù)據(jù)信息總量（即其累積貢獻(xiàn)率）不低于80%時(shí)，可取前m個(gè)因子來(lái)反映原評(píng)價(jià)指標(biāo)；⑹因子旋轉(zhuǎn)：若所得的m個(gè)因子無(wú)法確定或其實(shí)際意義不是很明顯，這時(shí)需將因子進(jìn)行旋轉(zhuǎn)以獲得較為明顯的