第九章因子分析

1FactorAnalysis因子分析

andInferenceforStructuredCovarianceMatrices信息管理學(xué)院朱永軍2HistoryEarly20th-centuryattempttodefineandmeasureintelligenceDevelopedprimarilybyscientistsinterestedinpsychometricsAdventofcomputersgeneratedarenewedinterestEachapplicationmustbeexaminedonitsownmerits2/2/2023中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心3

因子分分析

目錄上頁(yè)下頁(yè)返回結(jié)束

因子分析（factoranalysis）模型是主成分分析的推廣。它也是利用降維的思想，由研究原始變量相關(guān)矩陣內(nèi)部的依賴(lài)關(guān)系出發(fā)，把一些具有錯(cuò)綜復(fù)雜關(guān)系的變量歸結(jié)為少數(shù)幾個(gè)綜合因子的一種多變量統(tǒng)計(jì)分析方法。相對(duì)于主成分分析，因子分析更傾向于描述原始變量之間的相關(guān)關(guān)系；因此，因子分析的出發(fā)點(diǎn)是原始變量的相關(guān)矩陣。因子分析的思想始于1904年CharlesSpearman對(duì)學(xué)生考試成績(jī)的研究。近年來(lái)，隨著電子計(jì)算機(jī)的高速發(fā)展，人們將因子分析的理論成功地應(yīng)用于心理學(xué)、醫(yī)學(xué)、氣象、地質(zhì)、經(jīng)濟(jì)學(xué)等各個(gè)領(lǐng)域，也使得因子分析的理論和方法更加豐富。本章主要介紹因子分析的基本理論及方法，運(yùn)用因子分析方法分析實(shí)際問(wèn)題的主要步驟及因子分析的上機(jī)實(shí)現(xiàn)等內(nèi)容。

因子分析的基本思想是根據(jù)相關(guān)性大小把原始變量分組，使得同組內(nèi)的變量之間相關(guān)性較高，而不同組的變量間的相關(guān)性則較低。每組變量代表一個(gè)基本結(jié)構(gòu)，并用一個(gè)不可觀(guān)測(cè)的綜合變量表示，這個(gè)基本結(jié)構(gòu)就稱(chēng)為公共因子。對(duì)于所研究的某一具體問(wèn)題，原始變量就可以分解成兩部分之和的形式，一部分是少數(shù)幾個(gè)不可測(cè)的所謂公共因子的線(xiàn)性函數(shù)，另一部分是與公共因子無(wú)關(guān)的特殊因子。在經(jīng)濟(jì)統(tǒng)計(jì)中，描述一種經(jīng)濟(jì)現(xiàn)象的指標(biāo)可以有很多，比如要反映物價(jià)的變動(dòng)情況，對(duì)各種商品的價(jià)格做全面調(diào)查固然可以達(dá)到目的，但這樣做顯然耗時(shí)耗力，為實(shí)際工作者所不取。實(shí)際上，某一類(lèi)商品中很多商品的價(jià)格之間存在明顯的相關(guān)性或相互依賴(lài)性，只要選擇幾種主要商品的價(jià)格或進(jìn)而對(duì)這幾種主要商品的價(jià)格進(jìn)行綜合，得到某一種假想的“綜合商品”的價(jià)格，就足以反映某一類(lèi)物價(jià)的變動(dòng)情況，這里，“綜合商品”的價(jià)格就是提取出來(lái)的因子。2/2/2023中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心4

目錄上頁(yè)下頁(yè)返回結(jié)束

因子分析的基本思想2/2/2023中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心5

目錄上頁(yè)下頁(yè)返回結(jié)束

這樣，對(duì)各類(lèi)商品物價(jià)或僅對(duì)主要類(lèi)別商品的物價(jià)進(jìn)行類(lèi)似分析然后加以綜合，就可以反映出物價(jià)的整體變動(dòng)情況。這一過(guò)程也就是從一些有錯(cuò)綜復(fù)雜關(guān)系的經(jīng)濟(jì)現(xiàn)象中找出少數(shù)幾個(gè)主要因子，每一個(gè)主要因子就代表經(jīng)濟(jì)變量間相互依賴(lài)的一種經(jīng)濟(jì)作用。抓住這些主要因子就可以幫助我們對(duì)復(fù)雜的經(jīng)濟(jì)問(wèn)題進(jìn)行分析和解釋。因子分析還可用于對(duì)變量或樣品的分類(lèi)處理，我們?cè)诘贸鲆蜃拥谋磉_(dá)式之后，就可以把原始變量的數(shù)據(jù)代入表達(dá)式得出因子得分值，根據(jù)因子得分在因子所構(gòu)成的空間中把變量或樣品點(diǎn)畫(huà)出來(lái)，形象直觀(guān)地達(dá)到分類(lèi)的目的。

因子分析不僅僅可以用來(lái)研究變量之間的相關(guān)關(guān)系，還可以用來(lái)研究樣品之間的相關(guān)關(guān)系，通常將前者稱(chēng)之為R型因子分析，后者稱(chēng)之為Q型因子分析。我們下面著重介紹型因子分析。2/2/2023中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心6

目錄上頁(yè)下頁(yè)返回結(jié)束

CharlesSpearman提出因子分析時(shí)用到的例子為了對(duì)因子分析的基本理論有一個(gè)完整的認(rèn)識(shí)，我們先給出CharlesSpearman1904年用到的例子。在該例中Spearman研究了33名學(xué)生在古典語(yǔ)（C）、法語(yǔ)（F）、英語(yǔ)（E）、數(shù)學(xué)（M）、判別（D）和音樂(lè)（Mu）六門(mén)考試成績(jī)之間的相關(guān)性并得到如下相關(guān)陣：2/2/20237

目錄上頁(yè)下頁(yè)返回結(jié)束

式中，為第門(mén)科目標(biāo)準(zhǔn)化后的考試成績(jī)，均值為0，方差為1。為公共因子，對(duì)各科考試成績(jī)均有影響，是均值為0，方差為1。為僅對(duì)第門(mén)科目考試成績(jī)有影響的特殊因子，與相互獨(dú)立。也就是說(shuō)，每一門(mén)科目的考試成績(jī)都可以看作是由一個(gè)公共因子（可以認(rèn)為是一般智力）與一個(gè)特殊因子的和。

Spearman注意到上面相關(guān)陣中一個(gè)有趣的規(guī)律，這就是如果不考慮對(duì)角元素的話(huà)，任意兩列的元素大致成比例，對(duì)C列和E列有：于是Spearman指出每一科目的考試成績(jī)都遵從以下形式：（6.1）

2/2/2023中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心8

目錄上頁(yè)下頁(yè)返回結(jié)束

(6.2)式與無(wú)關(guān)，也正與在相關(guān)矩陣中所觀(guān)察到的比例關(guān)系相一致。在滿(mǎn)足以上假定的條件下，就有：

于是，有

（6.2）除此之外，還可以得到如下有關(guān)方差的關(guān)系式：

2/2/2023中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心9

目錄上頁(yè)下頁(yè)返回結(jié)束

因此，常數(shù)的意義就在于其平方表示了公共因子解釋的方差的比例，因此被稱(chēng)之為因子載荷，而被稱(chēng)作共同度。對(duì)Spearman的例子進(jìn)行推廣，假定每一門(mén)科目的考試成績(jī)都受到個(gè)公共因子的影響及一個(gè)特殊因子的影響，于是（6.1）就變成了如下因子分析模型的一般形式：(6.4)因?yàn)槭且粋€(gè)常數(shù)，與相互獨(dú)立且與的方差均被假定為1。于是有（6.3）2/2/2023中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心10

目錄上頁(yè)下頁(yè)返回結(jié)束

式中，為標(biāo)準(zhǔn)化后的第門(mén)科目的考試成績(jī)，均值為0，方差為1。是彼此獨(dú)立的公共因子，都滿(mǎn)足均值為0，方差為1。為特殊因子，與每一個(gè)公共因子均不相關(guān)且均值為0。則為對(duì)第門(mén)科目考試成績(jī)的因子載荷。對(duì)該模型，有：（6.5）式中，表示公共因子解釋方差的比例，稱(chēng)為的共同度，相對(duì)的可稱(chēng)為的特殊度或剩余方差，表示的方差中與公共因子無(wú)關(guān)的部分。因?yàn)楣餐炔粫?huì)大于1，因此，。由模型(6.4)還可以很容易地得到如下與相關(guān)系數(shù)的關(guān)系式：

（6.6）所以當(dāng)與在某一公共因子上的載荷均較大時(shí)，也就表明了與的相關(guān)性較強(qiáng)。11因子分析的本質(zhì)用少數(shù)潛在的，不可觀(guān)測(cè)的隨機(jī)因素來(lái)描述多個(gè)變量之間的相關(guān)關(guān)系.數(shù)據(jù)應(yīng)該是高度相關(guān)，但是使用相關(guān)性比較小的因素來(lái)表示12例題

9.8

ExaminationScores13正交因子模型14其中15正交因子模型假設(shè)16OrthogonalFactorModel1718Example9.1:Verification19例題

9.2:無(wú)解情況20當(dāng)m>1時(shí)，L的不確定性2/2/2023中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心21

目錄上頁(yè)下頁(yè)返回結(jié)束

主成分法用主成分法確定因子載荷是在進(jìn)行因子分析之前先對(duì)數(shù)據(jù)進(jìn)行一次主成分分析，然后把前面幾個(gè)主成分作為未旋轉(zhuǎn)的公因子。相對(duì)于其它確定因子載荷的方法而言，主成分法比較簡(jiǎn)單。但是由于用這種方法所得的特殊因子之間并不相互獨(dú)立，因此，用主成分法確定因子載荷不完全符合因子模型的假設(shè)前提，也就是說(shuō)所得的因子載荷并不完全正確。但是當(dāng)共同度較大時(shí)，特殊因子所起的作用較小，因而特殊因子之間的相關(guān)性所帶來(lái)的影響就幾乎可以忽略。事實(shí)上，很多有經(jīng)驗(yàn)的分析人員在進(jìn)行因子分析時(shí)，總是先用主成分法進(jìn)行分析，然后再?lài)L試其他的方法。2/2/2023中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心22

目錄上頁(yè)下頁(yè)返回結(jié)束

式中，為隨機(jī)向量的相關(guān)矩陣的特征值所對(duì)應(yīng)的特征向量的分量，因?yàn)樘卣飨蛄恐g彼此正交，從到的轉(zhuǎn)換關(guān)系是可逆的，很容易得出由到的轉(zhuǎn)換關(guān)系為：

用主成分法尋找公因子的方法如下：假定從相關(guān)陣出發(fā)求解主成分，設(shè)有個(gè)變量，則我們可以找出個(gè)主成分。將所得的個(gè)主成分按由大到小的順序排列，記為，則主成分與原始變量之間存在如下關(guān)系式:（9.11）

2/2/2023中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心23

目錄上頁(yè)下頁(yè)返回結(jié)束

(6.12)我們對(duì)上面每一等式只保留前個(gè)主成分而把后面的部分用代替，則（6.12）式變?yōu)椋?/p>

(6.13)2/2/2023中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心24

目錄上頁(yè)下頁(yè)返回結(jié)束

式（6.13）在形式上已經(jīng)與因子模型(6.7)相一致，且（）之間相互獨(dú)立，且與之間相互獨(dú)立，為了把轉(zhuǎn)化成合適的公因子，現(xiàn)在要做的工作只是把主成分變?yōu)榉讲顬?的變量。為完成此變換，必須將除以其標(biāo)準(zhǔn)差，由上一章主成分分析的知識(shí)知其標(biāo)準(zhǔn)差即為特征根的平方根。于是，令，，則(6.13)式變?yōu)椋哼@與因子模型（6.7）完全一致，這樣，就得到了載荷矩陣和一組初始公因子（未旋轉(zhuǎn)）。2/2/2023中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心25

目錄上頁(yè)下頁(yè)返回結(jié)束

一般設(shè)為樣本相關(guān)陣的特征根，為對(duì)應(yīng)的標(biāo)準(zhǔn)正交化特征向量。設(shè)，則因子載荷矩陣的一個(gè)解為：(6.14)

共同度的估計(jì)為：(6.15)

那么如何確定公因子的數(shù)目呢？一般而言，這取決于問(wèn)題的研究者本人，對(duì)于同一問(wèn)題進(jìn)行因子分析時(shí)，不同的研究者可能會(huì)給出不同的公因子數(shù)；當(dāng)然，有時(shí)候由數(shù)據(jù)本身的特征可以很明確地確定出因子數(shù)目。當(dāng)用主成分法進(jìn)行因子分析時(shí)，也可以借鑒確定主成分個(gè)數(shù)的準(zhǔn)則，如所選取的公因子的信息量的和達(dá)到總體信息量的一個(gè)合適比例為止。但對(duì)這些準(zhǔn)則不應(yīng)生搬硬套，應(yīng)按具體問(wèn)題具體分析，總之要使所選取的公因子能夠合理地描述原始變量相關(guān)陣的結(jié)構(gòu)，同時(shí)要有利于因子模型的解釋。26PrincipalComponentSolution27PrincipalComponentSolution28殘差矩陣29確定因子數(shù)目30例題

9.3

消費(fèi)者偏好數(shù)據(jù)31Example9.3

確定公因子數(shù)

m32Example9.3

PrincipalComponentSolution33Example9.3

Factorization34例題

9.4

股票價(jià)格數(shù)據(jù)WeeklyratesofreturnforfivestocksX1:AlliedChemicalX2:duPontX3:UnionCarbideX4:ExxonX5:Texaco35Example9.4

StockPriceData36Example9.4

PrincipalComponentSolution37Example9.4

殘差矩陣

m=2時(shí)38最大似然方法39結(jié)論

9.1相關(guān)系數(shù)矩陣的分解Example9.5:Factorizationof

StockPriceDataExample9.5

MLResidualMatrixExample9.6

OlympicDecathlonDataExample9.6

FactorizationExample9.6

PCResidualMatrixExample9.6

MLResidualMatrix大樣本檢驗(yàn)公因子數(shù)的大樣本檢驗(yàn)Example9.7

股票價(jià)格模型檢驗(yàn)Example9.8

ExaminationScoresExample9.8

MaximumLikelihoodSolutionExample9.8

FactorRotationExample9.8

RotatedFactorLoading方差最大化Varimax準(zhǔn)則Example9.9:Consumer-PreferenceFactorAnalysisExample9.9

FactorRotationExample9.10

股票價(jià)格因子分析Example9.11

奧運(yùn)十項(xiàng)全能數(shù)據(jù)因子分析Example9.11

RotatedMLLoadings因子得分加權(quán)最小二乘方法主成分方法計(jì)算因子得分正交因子模型回歸模型用回歸方法計(jì)算因子得分Example9.12

StockPriceDataExample9.12

FactorScoresbyRegressionExample9.13:SimpleSummaryScoresforStockPriceData因子分析的步驟1.采用主成分方法進(jìn)行因子分析LookforsuspiciousobservationsbyplottingthefactorscoresTryavarimaxrotation2.使用最大似然方法計(jì)算因子分析，包括采用方差最大方法進(jìn)行旋轉(zhuǎn)AStrategyforFactorAnalysis3.比較上述兩種方法的結(jié)果Dotheloadingsgroupinthesamemanner?PlotfactorscoresobtainedforPCagainstscoresfromMLanalysis4.對(duì)其他的公因子重復(fù)第三步。5.對(duì)于大型數(shù)據(jù)，可以分成兩半對(duì)每一部分進(jìn)行因子分析.比較兩類(lèi)結(jié)果，及其同完全數(shù)據(jù)的結(jié)果。Example9.14

Chicken-BoneDataExample9.14:PrincipalComponentFactorAnalysisResultsExample9.14:MaximumLikelihoodFactorAnalysisResultsExample9.14

ResidualMatrixforMLEstimatesExample9.14

FactorScoresforFactors1&2Example9.14

PairsofFactorScores:Fac