SPSS因子分析法

1、因子分析F 因子分析（Factor analysis）：用少數(shù)幾個因子來描述許多指標或因素之間的聯(lián)系，以較少幾個因子來反映原資料的大部分信息的統(tǒng)計學分析方法。從數(shù)學角度來看，主成分分析是一種化繁為簡的降維處理技術。主成分分析（Principal component analysis）：是因子分析一個特例，是使用最多的因子提取方法。它通過坐標變換手段，將原有的多個相關變量，做線性變化，轉換為另外一組不相關的變量。選取前面幾個方差最大的主成分，這樣達到了因子分析較少變量個數(shù)的目的，同時又能與較少的變量反映原有變量的絕大部分的信息。兩者關系：主成分分析（PCA）和因子分析（FA）是兩種把變量維數(shù)降低

2、以便于描述、理解和分析的方法。F 特點（1）因子變量的數(shù)量遠少于原有的指標變量的數(shù)量，因而對因子變量的分析能夠減少分析中的工作量。（2）因子變量不是對原始變量的取舍，而是根據(jù)原始變量的信息進行重新組構，它能夠反映原有變量大部分的信息。（3）因子變量之間不存在顯著的線性相關關系，對變量的分析比較方便，但原始部分變量之間多存在較顯著的相關關系。（4）因子變量具有命名解釋性，即該變量是對某些原始變量信息的綜合和反映。在保證數(shù)據(jù)信息丟失最少的原則下，對高維變量空間進行降維處理（即通過因子分析或主成分分析）。顯然，在一個低維空間解釋系統(tǒng)要比在高維系統(tǒng)容易的多。F 類型根據(jù)研究對象的不同，把因子分析分為R

3、型和Q型兩種。當研究對象是變量時，屬于R型因子分析；當研究對象是樣品時，屬于Q型因子分析。但有的因子分析方法兼有R型和Q型因子分析的一些特點，如因子分析中的對應分析方法，有的學者稱之為雙重型因子分析，以示與其他兩類的區(qū)別。F 分析原理假定：有n個地理樣本，每個樣本共有p個變量，構成一個n×p階的地理數(shù)據(jù)矩陣 : 當p較大時，在p維空間中考察問題比較麻煩。這就需要進行降維處理，即用較少幾個綜合指標代替原來指標，而且使這些綜合指標既能盡量多地反映原來指標所反映的信息，同時它們之間又是彼此獨立的。線性組合：記x1，x2，xP為原變量指標，z1，z2，zm（mp）為新變量指標（主成分），則其

4、線性組合為: Lij是原變量在各主成分上的載荷 無論是哪一種因子分析方法，其相應的因子解都不是唯一的，主因子解僅僅是無數(shù)因子解中之一。 zi與zj相互無關； z1是x1，x2，xp的一切線性組合中方差最大者，z2是與z1不相關的x1，x2，的所有線性組合中方差最大者。則，新變量指標z1，z2，分別稱為原變量指標的第一，第二，主成分。Z為因子變量或公共因子，可以理解為在高維空間中互相垂直的m個坐標軸。主成分分析實質就是確定原來變量xj（j=1，2 ，p）在各主成分zi（i=1，2，m）上的荷載 lij。從數(shù)學上容易知道，從數(shù)學上也可以證明，它們分別是相關矩陣的m個較大的特征值所對應的特征向量。F

5、 分析步驟第一步：確定待分析的原有若干變量是否適合進行因子分析因子分析是從眾多的原始變量中重構少數(shù)幾個具有代表意義的因子變量的過程。其潛在的要求：原有變量之間要具有比較強的相關性。因此，因子分析需要先進行相關分析，計算原始變量之間的相關系數(shù)矩陣。如果相關系數(shù)矩陣在進行統(tǒng)計檢驗時，大部分相關系數(shù)均小于0.3且未通過檢驗，則這些原始變量就不太適合進行因子分析。進行原始變量的相關分析之前，需要對輸入的原始數(shù)據(jù)進行標準化計算（一般采用標準差標準化方法，標準化后的數(shù)據(jù)均值為0，方差為1）。SPSS在因子分析中還提供了幾種判定是否適合因子分析的檢驗方法。主要有以下3種：巴特利特球形檢驗（Bartlett

6、Test of Sphericity）反映象相關矩陣檢驗（Anti-image correlation matrix）KMO（Kaiser-Meyer-Olkin）檢驗（1）巴特利特球形檢驗該檢驗以變量的相關系數(shù)矩陣作為出發(fā)點，它的零假設H0為相關系數(shù)矩陣是一個單位陣，即相關系數(shù)矩陣對角線上的所有元素都為1，而所有非對角線上的元素都為0，也即原始變量兩兩之間不相關。巴特利特球形檢驗的統(tǒng)計量是根據(jù)相關系數(shù)矩陣的行列式得到。如果該值較大，且其對應的相伴概率值小于用戶指定的顯著性水平，那么就應拒絕零假設H0，認為相關系數(shù)不可能是單位陣，也即原始變量間存在相關性。（2）反映象相關矩陣檢驗該檢驗以變量的

7、偏相關系數(shù)矩陣作為出發(fā)點，將偏相關系數(shù)矩陣的每個元素取反，得到反映象相關矩陣。偏相關系數(shù)是在控制了其他變量影響的條件下計算出來的相關系數(shù)，如果變量之間存在較多的重疊影響，那么偏相關系數(shù)就會較小，這些變量越適合進行因子分析。（3）KMO（Kaiser-Meyer-Olkin）檢驗該檢驗的統(tǒng)計量用于比較變量之間的簡單相關和偏相關系數(shù)。KMO值介于0-1，越接近1，表明所有變量之間簡單相關系數(shù)平方和遠大于偏相關系數(shù)平方和，越適合因子分析。其中，Kaiser給出一個KMO檢驗標準：KMO>0.9，非常適合；0.8<KMO<0.9，適合；0.7<KMO<0.8，一般；0.6

8、<KMO<0.7，不太適合；KMO<0.5，不適合。第二步：構造因子變量因子分析中有很多確定因子變量的方法，如基于主成分模型的主成分分析和基于因子分析模型的主軸因子法、極大似然法、最小二乘法等。前者應用最為廣泛。主成分分析法（Principal component analysis）：該方法通過坐標變換，將原有變量作線性變化，轉換為另外一組不相關的變量Zi（主成分）。求相關系數(shù)矩陣的特征根i (1,2,p>0)和相應的標準正交的特征向量li；根據(jù)相關系數(shù)矩陣的特征根，即公共因子Zj的方差貢獻（等于因子載荷矩陣L中第j列各元素的平方和），計算公共因子Zj的方差貢獻率與累積

9、貢獻率。主成分分析是在一個多維坐標軸中，將原始變量組成的坐標系進行平移變換，使得新的坐標原點和數(shù)據(jù)群點的重心重合。新坐標第一軸與數(shù)據(jù)變化最大方向對應。通過計算特征根（方差貢獻）和方差貢獻率與累積方差貢獻率等指標，來判斷選取公共因子的數(shù)量和公共因子（主成分）所能代表的原始變量信息。公共因子個數(shù)的確定準則：1）根據(jù)特征值的大小來確定，一般取大于1的特征值對應的幾個公共因子/主成分。2）根據(jù)因子的累積方差貢獻率來確定，一般取累計貢獻率達85-95%的特征值所對應的第一、第二、第m（mp）個主成分。也有學者認為累積方差貢獻率應在80以上。第三步：因子變量的命名解釋因子變量的命名解釋是因子分析的另一個核

10、心問題。經(jīng)過主成分分析得到的公共因子/主成分Z1,Z2,Zm是對原有變量的綜合。原有變量是有物理含義的變量，對它們進行線性變換后，得到的新的綜合變量的物理含義到底是什么？在實際的應用分析中，主要通過對載荷矩陣進行分析，得到因子變量和原有變量之間的關系，從而對新的因子變量進行命名。利用因子旋轉方法能使因子變量更具有可解釋性。計算主成分載荷，構建載荷矩陣A。計算主成分載荷，構建載荷矩陣A。載荷矩陣A中某一行表示原有變量 Xi與公共因子/因子變量的相關關系。載荷矩陣A中某一列表示某一個公共因子/因子變量能夠解釋的原有變量 Xi的信息量。有時因子載荷矩陣的解釋性不太好，通常需要進行因子旋轉，使原有因子

11、變量更具有可解釋性。因子旋轉的主要方法：正交旋轉、斜交旋轉。正交旋轉和斜交旋轉是因子旋轉的兩類方法。前者由于保持了坐標軸的正交性，因此使用最多。正交旋轉的方法很多，其中以方差最大化法最為常用。方差最大正交旋轉（varimax orthogonal rotation）基本思想：使公共因子的相對負荷的方差之和最大，且保持原公共因子的正交性和公共方差總和不變。可使每個因子上的具有最大載荷的變量數(shù)最小，因此可以簡化對因子的解釋。斜交旋轉（oblique rotation）因子斜交旋轉后，各因子負荷發(fā)生了變化，出現(xiàn)了兩極分化。各因子間不再相互獨立，而是彼此相關。各因子對各變量的貢獻的總和也發(fā)生了改變。斜

12、交旋轉因為因子間的相關性而不受歡迎。但如果總體中各因子間存在明顯的相關關系則應該考慮斜交旋轉。適用于大數(shù)據(jù)集的因子分析。無論是正交旋轉還是斜交旋轉，因子旋轉的目的：是使因子負荷兩極分化，要么接近于0，要么接近于1。從而使原有因子變量更具有可解釋性。第四步計算因子變量得分因子變量確定以后，對于每一個樣本數(shù)據(jù)，我們希望得到它們在不同因子上的具體數(shù)據(jù)值，即因子得分。估計因子得分的方法主要有：回歸法、Bartlette法等。計算因子得分應首先將因子變量表示為原始變量的線性組合。即：回歸法，即Thomson法：得分是由貝葉斯Bayes思想導出的，得到的因子得分是有偏的，但計算結果誤差較小。貝葉斯（BAY

13、ES）判別思想是根據(jù)先驗概率求出后驗概率，并依據(jù)后驗概率分布作出統(tǒng)計推斷。Bartlett法：Bartlett因子得分是極大似然估計，也是加權最小二乘回歸，得到的因子得分是無偏的，但計算結果誤差較大。因子得分可用于模型診斷，也可用作進一步分析如聚類分析、回歸分析等的原始資料。關于因子得分的進一步應用將在案例介紹一節(jié)分析。5.5 結果的分析解釋此部分詳細見案例分析Spss實現(xiàn)【1】 在“Analyze”菜單“Dimension Reduction”中選擇“Factor”命令，如下圖所示?！?】在彈出的下圖所示的Factor Analysis對話框中，從對話框左側的變量列表中選擇這9個變量，使之添

14、加到Variables框中?！?】點擊“Descriptives”按鈕，彈出“Factor Analysis：Descriptives”對話框，如圖所示。Statistics框用于選擇哪些相關的統(tǒng)計量，其中：Univariate descriptives（變量描述）：輸出變量均值、標準差；Initial solution （初始結果）Correlation Matrix框中提供了幾種檢驗變量是否適合做引子分析的檢驗方法，其中：Coefficients （相關系數(shù)矩陣）Significance leves （顯著性水平）Determinant （相關系數(shù)矩陣的行列式）Inverse （相關系數(shù)矩

15、陣的逆矩陣）Reproduced （再生相關矩陣，原始相關與再生相關的差值）Anti-image （反影像相關矩陣檢驗）KMO and Bartletts test of sphericity （KMO檢驗和巴特利特球形檢驗）本例中，選中該對話框中所有選項，單擊Continue按鈕返回Factor Analysis對話框?！?】單擊“Extraction”按鈕，彈出“Factor Analysis：Extraction”對話框，選擇因子提取方法，如下圖所示：因子提取方法在Method下拉框中選取，SPSS共提供了7種方法：Principle Components Analysis （主成分分析

16、）Unweighted least squares（未加權最小平方法）Generalized least squares （綜合最小平方法）Maximum likelihood （最大似然估價法）Principal axis factoring （主軸因子法）Alpha factoring （因子）Image factoring （影像因子）Analyze框中用于選擇提取變量依據(jù)，其中：Correlation matrix （相關系數(shù)矩陣）Covariance matrix （協(xié)方差矩陣）Extract框用于指定因子個數(shù)的標準，其中：Eigenvaluse over （大于特征值）Number

17、 of factors （因子個數(shù)）Display框用于選擇輸出哪些與因子提取有關的信息，其中：Unrotated factor solution （未經(jīng)旋轉的因子載荷矩陣）Screen plot （特征值排列圖）Maximun interations for Convergence框用于指定因子分析收斂的最大迭代次數(shù)，系統(tǒng)默認的最大迭代次數(shù)為25。本例選用Principal components方法，選擇相關系數(shù)矩陣作為提取因子變量的依據(jù)，選中Unrotated factor solution和Scree plot項，輸出未經(jīng)過旋轉的因子載荷矩陣與其特征值的碎石圖；選擇Eigenvaluse

18、 over項，在該選項后面可以輸入1，指定提取特征值大于1的因子。單擊Continue按鈕返回Factor Analysis對話框?！?】單擊Factor Analysis對話框中的Rotation按鈕，彈出Factor Analysis: Rotation對話框，如下圖所示：該對話框用于選擇因子載荷矩陣的旋轉方法。旋轉目的是為了簡化結構，以幫助我們解釋因子。SPSS默認不進行旋轉（None）。Method框用于選擇因子旋轉方法，其中：None（不旋轉）Varimax（正交旋轉）Direct Oblimin（直接斜交旋轉）Quanlimax（四分最大正交旋轉）Equamax（平均正交旋轉）Pr

19、omax（斜交旋轉）Display框用于選擇輸出哪些與因子旋轉有關的信息，其中：Rotated solution（輸出旋轉后的因子載荷矩陣）Loading plots（輸出載荷散點圖）本例選擇方差極大法旋轉Varimax，并選中Rotated solution和Loading plot項，表示輸出旋轉后的因子載荷矩陣和載荷散點圖，單擊Continue按鈕返回Factor Analysis對話框?！?】單擊Factor Analysis對話框中的Scores按鈕，彈出Factor Analysis: Scores對話框，如下圖所示：該對話框用以選擇對因子得分進行設置，其中：Regression（

20、回歸法）：因子得分均值為0，采用多元相關平方；Bartlett （巴特利法）：因子得分均值為0，采用超出變量范圍各因子平方和被最小化；Anderson-Rubin （安德森-洛賓法）：因子得分均值為0，標準差1，彼此不相關；Display factor score coefficient matrix：選擇此項將在輸出窗口中顯示因子得分系數(shù)矩陣?！?】單擊Factor Analysis對話框中的Options按鈕，彈出Factor Analysis: Options對話框，如下圖所示：該對話框可以指定其他因子分析的結果，并選擇對缺失數(shù)據(jù)的處理方法，其中： Missing Values框用于選擇

21、缺失值處理方法：Exclude cases listwise：去除所有缺失值的個案Exclude cases pairwise：含有缺失值的變量，去掉該案例Replace with mean：用平均值代替缺失值Cofficient Display Format框用于選擇載荷系數(shù)的顯示格式：Sorted by size：載荷系數(shù)按照數(shù)值大小排列Suppress absolute values less than：不顯示絕對值小于指定值的載荷量本例選中Exclude cases listwise項，單擊Continue按鈕返回Factor Analysis對話框，完成設置。單擊OK，完成計算。3

22、結果與討論（1）SPSS輸出的第一部分如下：第一個表格中列出了18個原始變量的統(tǒng)計結果，包括平均值、標準差和分析的個案數(shù)。這個是步驟3中選中Univariate descriptives項的輸出結果。（2）SPSS輸出結果文件中的第二部分如下：該表格給出的是9個原始變量的相關矩陣（3）SPSS輸出結果的第四部分如下：該部分給出了KMO檢驗和Bartlett球度檢驗結果。其中KMO值為0.585，根據(jù)統(tǒng)計學家Kaiser給出的標準，KMO取值小于0.5，不太適合因子分析。Bartlett球度檢驗給出的相伴概率為0.00，小于顯著性水平0.05，因此拒絕Bartlett球度檢驗的零假設，認為適合于

23、因子分析。（4）SPSS輸出結果文件中的第六部分如下：這是因子分析初始結果，該表格的第一列列出了9個原始變量名；第二列是根據(jù)因子分析初始解計算出的變量共同度。利用主成分分析方法得到9個特征值，它們是因子分析的初始解，可利用這9個初始值和對應的特征向量計算出因子載荷矩陣。由于每個原始變量的所有方差都能被因子變量解釋掉，因此每個變量的共同度為1；第三列是根據(jù)因子分析最終解計算出的變量共同度。根據(jù)最終提取的m個特征值和對應的特征向量計算出因子載荷矩陣。（此處由于軟件的原因有點小問題）這時由于因子變量個數(shù)少于原始變量的個數(shù)，因此每個變量的共同度必然小于1。（5）輸出結果第六部分為Total Varia

24、nce Explained表格該表格是因子分析后因子提取和因子旋轉的結果。其中，Component列和Initial Eigenvalues列（第一列到第四列）描述了因子分析初始解對原有變量總體描述情況。第一列是因子分析9個初始解序號。第二列是因子變量的方差貢獻（特征值），它是衡量因子重要程度的指標，例如第一行的特征值為3.576，后面描述因子的方差依次減少。第三列是各因子變量的方差貢獻率（% of Variance），表示該因子描述的方差占原有變量總方差的比例。第四列是因子變量的累計方差貢獻率，表示前m個因子描述的總方差占原有變量的總方差的比例。第五列和第七列則是從初始解中按照一定標準（在前面