數(shù)學(xué)模型講座因子分析

因子分析

(Factoranalysis)

因子分析是主成分分析的推廣和發(fā)展，它也是多元統(tǒng)計(jì)中處理降維的一種方法。因子分析是研究相關(guān)陣或協(xié)差陣的內(nèi)部依賴(lài)關(guān)系，將多個(gè)變量綜合為少數(shù)幾個(gè)因子，再現(xiàn)原始變量與因子之間的關(guān)系。形成和發(fā)展：1904年CharlesSpearman的論文

《對(duì)智力測(cè)驗(yàn)得分進(jìn)行的統(tǒng)計(jì)分析》

早期主要用于心理學(xué)和教育學(xué)方面的問(wèn)題目前：經(jīng)濟(jì)學(xué)、社會(huì)學(xué)、考古學(xué)、生物學(xué)、醫(yī)學(xué)及體育科學(xué)實(shí)例1(1)為了解學(xué)生的學(xué)習(xí)能力，觀測(cè)了n個(gè)學(xué)生p個(gè)科目的成績(jī),用X1,

X2,…,Xp

表示科目（例如代數(shù)、幾何、語(yǔ)文、英語(yǔ)，……）可以認(rèn)為各科目有兩部分組成：其中F是對(duì)所有的Xi都起作用的公共因子，它表示智能高低的因子；系數(shù)ai稱(chēng)為因子載荷，表示第i各科目在智能高低上的體現(xiàn)；εi

是科目變量特有的特殊因子，描述原始變量.這就是一個(gè)最簡(jiǎn)單的因子模型；

(2).推廣到m個(gè)因子，如數(shù)學(xué)因子、記憶因子、計(jì)算因子等，分別記為F1,F2,……,Fm。

這就是一個(gè)因子分析模型.實(shí)例2

調(diào)查青年對(duì)婚姻家庭的態(tài)度，抽取n個(gè)青年回答了50個(gè)問(wèn)題的答卷，這些問(wèn)題可歸納為如下的幾個(gè)方面：如對(duì)相貌的重視，對(duì)孩子的觀點(diǎn)、對(duì)老人的態(tài)度等實(shí)例3考察人體的五項(xiàng)生理指標(biāo)：收縮壓、舒張壓、心跳間隔、呼吸間隔和舍下溫度。從生理學(xué)知識(shí)，這五項(xiàng)指標(biāo)是受植物神經(jīng)支配的，植物神經(jīng)又分為交感神經(jīng)和副交感神經(jīng)，因此這五項(xiàng)指標(biāo)也可以用因子分析模型去處理

因子分析的主要應(yīng)用

(1).尋求基本結(jié)構(gòu)，簡(jiǎn)化觀測(cè)系統(tǒng)，將具有錯(cuò)綜復(fù)雜關(guān)系的對(duì)象（變量或樣本）綜合為少數(shù)幾個(gè)因子（不可觀測(cè)的隨機(jī)變量），以再現(xiàn)因子與原始變量之間的內(nèi)在聯(lián)系

(2).用于分類(lèi)，對(duì)變量或樣本進(jìn)行分類(lèi).

R型和Q型因子分析(1).R型從變量的相關(guān)陣出發(fā)，找出控制所有變量的幾個(gè)公共因子，用以對(duì)變量或樣本進(jìn)行分類(lèi)。(2).Q型從樣本的相相似據(jù)陣出發(fā)，找出控制所有樣本的幾個(gè)主要因素。因子分析與主成分分析的區(qū)別

(1).主成分分析不能作為一個(gè)模型，只是變量變換，而因子分析需要構(gòu)造模型

(2).主成分的個(gè)數(shù)和變量的個(gè)數(shù)相同，它是將一組具有相關(guān)的關(guān)系的變量變換為一組互不相關(guān)的變量，而因子分析是要用盡可能少的的公因子，以便構(gòu)造一個(gè)簡(jiǎn)單的因子模型

(3).

主成分表示為原始變量的線(xiàn)性組合，而因子分析是將原始變量表示為公因子和特殊因子的線(xiàn)性組合。R型因子分析的數(shù)學(xué)模型用矩陣表示因子分析的數(shù)學(xué)模型簡(jiǎn)記為且滿(mǎn)足

為任一個(gè)m階的正交陣，上式仍滿(mǎn)足約束條件因子分析每個(gè)相應(yīng)的系數(shù)不是唯一的，即因子載荷陣不是唯一的

通過(guò)模型以F代替X，由于m<p,或m<n,從而達(dá)到簡(jiǎn)化變量維數(shù)目的因子分析的目的正交因子模型中各統(tǒng)計(jì)量的意義因子載荷的統(tǒng)計(jì)意義第i個(gè)變量與第j個(gè)公共因子的相關(guān)系數(shù)。用統(tǒng)計(jì)學(xué)術(shù)語(yǔ)叫權(quán)重，表示Xi依賴(lài)Fj的分量因子載荷據(jù)陣A中各行元素的平方和記為稱(chēng)為變量Xi的共同度公共因子方差剩余方差變量共同度的統(tǒng)計(jì)意義因子載荷據(jù)陣A中各列元素的平方和記為表示第j個(gè)因子對(duì)所有分量的總影響，稱(chēng)為第j個(gè)因子對(duì)X的貢獻(xiàn)，它是衡量第j個(gè)因子相對(duì)重要性的指標(biāo)公共因子Fj方差的統(tǒng)計(jì)意義因子載荷陣的估計(jì)方法主成分法主因子法極大似然法設(shè)樣本的協(xié)差陣的特征值和特征向量分別為：則協(xié)差陣可分解為其中分量A和D就是因子模型的一個(gè)解，A中的第j列和X中的第j個(gè)主成分的系數(shù)相差一個(gè)倍數(shù)。故此解常稱(chēng)為因子模型的主成分解。當(dāng)最后p-m個(gè)特征值較小時(shí)，協(xié)差陣可以近似的分解為公因子個(gè)數(shù)的確定方法1）根據(jù)實(shí)際問(wèn)題的意義或?qū)I(yè)理論知識(shí)2）用確定主成分個(gè)數(shù)的原則因子旋轉(zhuǎn)

用一個(gè)正交陣右乘A，使旋轉(zhuǎn)后的因子載荷陣結(jié)構(gòu)簡(jiǎn)化，即使得每個(gè)變量?jī)H在一個(gè)公共因子上有較大的載荷，而在其余的因子上載荷比較小。方差最大的正交旋轉(zhuǎn)使得旋轉(zhuǎn)后的所得到的因子載荷陣的總方差達(dá)到最大值.因子得分Thomson回歸法因子分析的海伍德現(xiàn)象若的各分量已經(jīng)標(biāo)準(zhǔn)化，則即共性方差與特殊方差的和為1，也就是說(shuō)共性方差與特殊方差均大于0，并且小于1。但在實(shí)際進(jìn)行參數(shù)估計(jì)的時(shí)候，共性方差的估計(jì)可能會(huì)等于或超過(guò)1，如果等于1，就稱(chēng)為海伍德現(xiàn)象如果超過(guò)1稱(chēng)為超海伍德現(xiàn)象（ultra--Heywoodcase）.超海伍德現(xiàn)象意味著某些特殊因子的方差為負(fù)（negativevariance），表明肯定是存在著問(wèn)題。造成這種現(xiàn)象的可能原因包括：共性方差本身估計(jì)的問(wèn)題；太多的公共因子，出現(xiàn)了過(guò)擬合；太少的公共因子，造成擬合不足；數(shù)據(jù)太少，不能提供穩(wěn)定的估計(jì)；因子模型不合適這些數(shù)據(jù)。當(dāng)出現(xiàn)海伍德現(xiàn)象時(shí)，應(yīng)對(duì)估計(jì)結(jié)果持謹(jǐn)慎態(tài)度?？梢試L試增加數(shù)據(jù)量，或改變公共因子的數(shù)目，讓公共因子數(shù)目在一個(gè)允許的范圍內(nèi)變動(dòng)，觀察估計(jì)的結(jié)果是否有改觀；還可以嘗試用其它多元統(tǒng)計(jì)方法進(jìn)行分析，比如主成分分析。因子分析的步驟

計(jì)算所選原始變量的相關(guān)系數(shù)矩陣相關(guān)系數(shù)矩陣描述了原始變量之間的相關(guān)關(guān)系。可以幫助判斷原始變量之間是否存在相關(guān)關(guān)系，這對(duì)因子分析是非常重要的，因?yàn)槿绻x變量之間無(wú)關(guān)系，做因子分析是不恰當(dāng)?shù)?。并且相關(guān)系數(shù)矩陣是估計(jì)因子結(jié)構(gòu)的基礎(chǔ)。

選擇分析的變量用定性分析和定量分析的方法選擇變量，因子分析的前提條件是觀測(cè)變量間有較強(qiáng)的相關(guān)性，因?yàn)槿绻兞恐g無(wú)相關(guān)性或相關(guān)性較小的話(huà)，他們不會(huì)有共享因子,所以原始變量間應(yīng)該有較強(qiáng)的相關(guān)性。

提取公共因子這一步要確定因子求解的方法和因子的個(gè)數(shù)。需要根據(jù)研究者的設(shè)計(jì)方案或有關(guān)的經(jīng)驗(yàn)或知識(shí)事先確定。因子個(gè)數(shù)的確定可以根據(jù)因子方差的大小。只取方差大于1(或特征值大于1)的那些因子，因?yàn)榉讲钚∮?的因子其貢獻(xiàn)可能很小；按照因子的累計(jì)方差貢獻(xiàn)率來(lái)確定，一般認(rèn)為要達(dá)到60％才能符合要求；

因子旋轉(zhuǎn)通過(guò)坐標(biāo)變換使每個(gè)原始變量在盡可能少的因子之間有密切的關(guān)系，這樣因子解的實(shí)際意義更容易解釋,并為每個(gè)潛在因子賦予有實(shí)際意義的名字。

計(jì)算因子得分求出各樣本的因子得分，有了因子得分值，則可以在許多分析中使用這些因子，例如以因子的得分做聚類(lèi)分析的變量，做回歸分析中的回歸因子。

因子分析計(jì)算步驟與實(shí)例分析

對(duì)我國(guó)30個(gè)省市自治區(qū)的農(nóng)業(yè)生產(chǎn)情況作因子分析。從農(nóng)業(yè)生產(chǎn)條件和生產(chǎn)結(jié)果及效益出發(fā)，選取六項(xiàng)指標(biāo)分別為：X1—鄉(xiāng)村勞動(dòng)力人口（萬(wàn)人）、X2—人均經(jīng)營(yíng)耕地面積（畝）、X3—戶(hù)均生產(chǎn)性固定資產(chǎn)原值（元）、X4—家庭基本純收入（元）、X5—人均農(nóng)業(yè)總產(chǎn)值（千元/人）、X6—增加值占總產(chǎn)值比重（%），原始資料數(shù)據(jù)如下頁(yè)表:序號(hào)地區(qū)X1X2X3X4X5X61北京66.90.932972.413290.732.52549.72天津80.21.644803.542871.621.77449.63河北1621.82.034803.542871.810.8004544山西635.42.762257.661499.140.55556.25內(nèi)蒙古514.110.175834.941550.150.905166.46遼寧605.12.963108.862059.351.475253.17吉林534.24.734767.511940.461.115463.18黑龍江494.88.245573.022075.421.628357.89上海661.021660.034571.813.044835.610江蘇1530.21.262826.862868.331.192150.611浙江1123.10.945494.233289.070.856563.312安徽1953.61.443573.621508.240.575659.213福建775.80.822410.052295.191.149662.814江西1103.21.32310.981804.930.664959.915山東2475.11.443109.111989.530.88095516河南2815.81.53782.261508.360.582358.517湖北1296.51.62291.61754.130.879962.818湖南2089.31.422348.721719.180.58764.719廣東1439.80.883249.612928.241.09659.720廣西1579.91.433090.171590.90.569464.521海南165.91.354454.771575.490.353565.222四川3903.71.082870.451340.610.444364.123貴州1376.61.182282.271206.250.289265.424云南1642.22.424025.061096.730.345664.225西藏88.62.5111559.831257.710.434970.426陜西1046.12.62228.551091.960.438359.727甘肅6725.862879.361037.120.488357.228青海137.12.626725.111133.060.409670.329寧夏139.14.015607.971346.890.497362.530新疆288.53.967438.131161.711.493957.8因子分析計(jì)算步驟與實(shí)例分析第一步將原始數(shù)據(jù)標(biāo)準(zhǔn)化第二步建立指標(biāo)間的相關(guān)系數(shù)陣R：因子分析計(jì)算步驟與實(shí)例分析第三步求R的特征值和特征向量。序號(hào)特征值貢獻(xiàn)率累積貢獻(xiàn)率（%）12.776546.275646.275621.740929.016075.291730.711611.861287.152940.43347.224894.377850.23693.948498.326360.10041.6736100因子分析計(jì)算步驟與實(shí)例分析

由于前三個(gè)特征值累積貢獻(xiàn)率已達(dá)87.15%，所以取前三個(gè)特征值所對(duì)應(yīng)的特征向量如下：u1u2u30.1460-0.6242-0.18540.16310.52700.75470.24210.52720.5369-0.54630.01530.2325-0.54550.2317-0.04220.54530.02250.2276因子分析計(jì)算步驟與實(shí)例分析第四步列出因子載荷矩陣表。

因子指標(biāo)a1a2a3X10.2433-0.8236-0.15640.7621X20.27180.69540.63660.9629X30.40350.69570.45290.8520X4-0.91030.02020.19610.8675X5-0.90890.3057-0.03560.9210X60.90860.02960.1920.8634因子分析計(jì)算步驟與實(shí)例分析第五步對(duì)因子載荷陣實(shí)行方差最大正交旋轉(zhuǎn)，旋轉(zhuǎn)后的矩陣如下：

由上表可見(jiàn)，每個(gè)因子只對(duì)應(yīng)少數(shù)幾個(gè)指標(biāo)的因子載荷較大，因此可根據(jù)上表對(duì)指標(biāo)進(jìn)行分類(lèi)。

因子指標(biāo)F1F2F3X1-0.3793-0.7252-0.3036X2-0.10460.21780.9510X3-0.29570.86980.0890X40.88620.0265-0.2852X50.94990.12060.0645X6-0.89760.2402-0.0009因子分析計(jì)算步驟與實(shí)例分析第六步將六項(xiàng)指標(biāo)按高載荷分成三類(lèi)，并結(jié)合專(zhuān)業(yè)知識(shí)給出各因子的命名如下：高載荷指標(biāo)命名因子一X4-家庭基本純收入X5-人均產(chǎn)值X6-增加值占總產(chǎn)值比重產(chǎn)出及效益因子因子二X1-鄉(xiāng)村勞動(dòng)力人口X3-戶(hù)均生產(chǎn)性固定資產(chǎn)原值人為投入條件因子因子三X2-人均經(jīng)營(yíng)耕地面積自然條件因子因子分析計(jì)算步驟與實(shí)例分析在第一因子中，X4、X5、X6三項(xiàng)指標(biāo)有較大的載荷，這些都從產(chǎn)出效益方面描述農(nóng)業(yè)情況的，所以稱(chēng)為產(chǎn)出及效益因子。在第二個(gè)因子中，X1、X3有較大的載荷，這主要是人們對(duì)農(nóng)業(yè)的生產(chǎn)工具、人力等的投入，所以稱(chēng)為人為投入條件因子。在第三個(gè)因子中，X2有較大的載荷，這主要從自然條件方面刻劃農(nóng)業(yè)的生產(chǎn)條件狀況，所以稱(chēng)為自然條件因子。因子分析的matlab函數(shù)與因子分析相關(guān)的matlab函數(shù)主要有rotatefactors和factoran其中factoran調(diào)用了rotatefactors函數(shù)。factoran用來(lái)根據(jù)原始數(shù)據(jù)樣本觀測(cè)數(shù)據(jù)，樣本協(xié)方差矩陣或樣本相關(guān)系數(shù)矩陣，計(jì)算因子模型中因子載荷陣

的最大似然估計(jì)，求特殊方差的估計(jì)，因子旋轉(zhuǎn)矩陣和因子得分，還能對(duì)因子模型進(jìn)行檢驗(yàn)。factoran函數(shù)的調(diào)用格式如下：1）lambda=factoran(X,m)返回包含m個(gè)公共因子的因子模型的載荷陣lambda。輸入?yún)?shù)X是n行d列的矩陣，每行對(duì)應(yīng)一個(gè)觀測(cè)，每列對(duì)應(yīng)一個(gè)變量。m是一個(gè)正整數(shù)，表示模型中公共因子的個(gè)數(shù)。輸入?yún)?shù)lambda是一個(gè)d行m列的矩陣，第

行第

列元素表示第

個(gè)變量在第

個(gè)公共因子的載荷。默認(rèn)情況下，factoran函數(shù)調(diào)用用rotatefactors函數(shù)，并用'varimax'選項(xiàng)（rotatefactors函數(shù)的可用選項(xiàng)）來(lái)計(jì)算旋轉(zhuǎn)后因子載荷陣的估計(jì)。2)[lambda,psi]=factoran(X,m)返回特殊方差的最大似然估計(jì)psi，psi是包含d個(gè)元素的列變量，分別對(duì)應(yīng)d個(gè)特殊方差的最大似然估計(jì)。3)[lambda,psi,T]=factoran(X,m)返回m行m列的旋轉(zhuǎn)矩陣T。4）[lambda,psi,T,stats]=factoran(X,m)返回一個(gè)包含模型檢驗(yàn)信息的結(jié)構(gòu)體變量stats，