應(yīng)用多元統(tǒng)計(jì)分析因子分析

應(yīng)用多元統(tǒng)計(jì)分析因子分析第一頁(yè)，共三十四頁(yè)，2022年，8月28日

例：心理學(xué)家CharlesSpearman(100多年前),學(xué)習(xí)成績(jī)是由一個(gè)智力因子g唯一決定的.目前考試系統(tǒng):語(yǔ)言(verbal),數(shù)學(xué)(mathematical),邏輯(logical)

第二頁(yè)，共三十四頁(yè)，2022年，8月28日例：100個(gè)學(xué)生的數(shù)學(xué)、物理、化學(xué)、語(yǔ)文、歷史、英語(yǔ)的成績(jī)。智能因子，因子負(fù)荷第三頁(yè)，共三十四頁(yè)，2022年，8月28日記：數(shù)學(xué)、物理、化學(xué)、語(yǔ)文、歷史、英語(yǔ)成績(jī)分別為：X1,X2,X3,X4,X5,X6

其中

F對(duì)所有Xi都起作用的公共因子

(智能因子)-不可觀測(cè);ai表示第i個(gè)科目在智能高低因子上的體現(xiàn),稱為因子載荷;

是Xi特有的特殊因子第四頁(yè)，共三十四頁(yè)，2022年，8月28日可以把模型推廣到多個(gè)因子的情況，如含數(shù)學(xué)推導(dǎo)因子，記憶因子，計(jì)算因子等分別記為：F1,F2,…,Fm

其中

F1,F2,…,Fm又被稱為潛在因子，是相互不相關(guān)不可觀測(cè)的，是對(duì)所有Xi都起作用的公共因子

(作用可大可小);aij稱為因子載荷;

是Xi特有的特殊因子第五頁(yè)，共三十四頁(yè)，2022年，8月28日因子分析的主要應(yīng)用：

1.尋求內(nèi)部結(jié)構(gòu),找出少數(shù)幾個(gè)因子,

以再現(xiàn)它們與原始變量間的內(nèi)在聯(lián)系

2.用于分類,對(duì)p個(gè)變量或n個(gè)樣本分類

R型因子分析：用變量之間的相關(guān)關(guān)系

對(duì)變量或樣本分類

Q型因子分析：用樣本之間的相關(guān)關(guān)系

對(duì)變量或樣本分類第六頁(yè)，共三十四頁(yè)，2022年，8月28日1.不是研究自變量和因變量間關(guān)系，

而是在探尋可能無(wú)法觀察的自變量(因子)的過(guò)程中，研究因變量之間的關(guān)系.回答：A.找?guī)讉€(gè)因子？

B.因子的含義？

C.因子解釋數(shù)據(jù)的程度？

D.隨機(jī)成分解釋數(shù)據(jù)程度

2.啟發(fā)式Heuristic：不是絕對(duì)的模型第七頁(yè)，共三十四頁(yè)，2022年，8月28日正交因子模型矩陣形式第八頁(yè)，共三十四頁(yè)，2022年，8月28日

其中:可觀測(cè)公共因子

不可觀測(cè)

特殊因子與F互不相關(guān)因子載荷陣

附頁(yè)第九頁(yè)，共三十四頁(yè)，2022年，8月28日由于

有方程：

如用標(biāo)準(zhǔn)化的變量X，協(xié)方差陣被換成相關(guān)陣附頁(yè)第十頁(yè)，共三十四頁(yè)，2022年，8月28日還有

如用標(biāo)準(zhǔn)化的變量X

由于系數(shù)ai1,ai2,…,aim

度量了Xi可由F1,F2,…,Fm的線性組合表示的程度,稱作載荷（loading,心理學(xué)).即稱aij

為

第i個(gè)變量在第j個(gè)因子上的載荷附頁(yè)第十一頁(yè)，共三十四頁(yè)，2022年，8月28日由于

其中

是全部公共因子對(duì)變量Xi的總方差的貢

獻(xiàn),稱為共因子方差.它反映了變量Xi對(duì)

公共因子F的依賴程度,也稱為變量Xi的

公共度(communalities)

是由與Xi有關(guān)的特定因子產(chǎn)生的方差，

稱為剩余方差附頁(yè)第十二頁(yè)，共三十四頁(yè)，2022年，8月28日在因子載荷陣A中,求A的各列的平方和

是第j個(gè)公共因子Fj對(duì)所有變量X的總影

響,也稱它為公共因子Fj的方差貢獻(xiàn).

的值越大,表明Fj對(duì)X的貢獻(xiàn)越大.可以將它們排序，得到公共因子的貢獻(xiàn)排序

附頁(yè)第十三頁(yè)，共三十四頁(yè)，2022年，8月28日注1：

因子模型

作量綱變化X*=CX,其中C為對(duì)角陣有

即

模型不受量綱影響附頁(yè)第十四頁(yè)，共三十四頁(yè)，2022年，8月28日注2：

因子模型

做變換,其中G為m×m正交陣,

有

如將看成公共因子,則可看成因子載荷陣,即公共因子和因子載荷陣不唯一.附頁(yè)第十五頁(yè)，共三十四頁(yè)，2022年，8月28日

方差最大的正交旋轉(zhuǎn)(varimax)

記

其中

而

記

做旋轉(zhuǎn)使p個(gè)數(shù)據(jù)的方差最大附頁(yè)第十六頁(yè)，共三十四頁(yè)，2022年，8月28日幾何解釋：

如果記

其長(zhǎng)度為1,即

夾角余弦

它恰好等于變量與的相關(guān)系數(shù)？！附頁(yè)第十七頁(yè)，共三十四頁(yè)，2022年，8月28日公共因子不一定是正交的

---斜交因子模型

把公共因子表示成變量的線性組合

---因子得分

附頁(yè)第十八頁(yè)，共三十四頁(yè)，2022年，8月28日因子模型

1.因子得分的加權(quán)最小二乘估計(jì)：

2.假設(shè)可得到因子得分的最大似然估計(jì)（巴特來(lái)因子得分）

3.回歸法權(quán)（湯普森因子得分）附頁(yè)第十九頁(yè)，共三十四頁(yè)，2022年，8月28日主成分分析與因子分析的公式上的區(qū)別主成分分析因子分析(m<p)SPSS用主成分輸出Componentmatrix因子得分SPSS用主成分輸出中的Componentscorecoefficientmatrix(選Displayfactorscorecoefficientmatrix)prin1

和f1的差別在于前者系數(shù)是單位向量第二十頁(yè)，共三十四頁(yè)，2022年，8月28日參數(shù)估計(jì)方法：

1.主成分法

2.主因子解

3.極大似然法

附頁(yè)第二十一頁(yè)，共三十四頁(yè)，2022年，8月28日

主成分法

設(shè)樣本協(xié)方差陣S的特征向量為

特征值為則S有譜分解

其中

被看作的主成分分解附頁(yè)第二十二頁(yè)，共三十四頁(yè)，2022年，8月28日

主因子解

對(duì)相關(guān)陣R出發(fā),設(shè)則有約相

關(guān)陣：.給定對(duì)角陣D作初始值可得,記其特征向量為

特征值為

記

用作為新D，重復(fù)上面計(jì)算

直到收斂，稱此分解為主因子解附頁(yè)第二十三頁(yè)，共三十四頁(yè)，2022年，8月28日

極大似然法

在正交因子模型中

設(shè)共因子和特殊因子服從正態(tài)分布

則來(lái)自正態(tài)分布

設(shè)取

似然函數(shù)中，A和D未知

上述等式滿足似然方程式

用迭代方法求極大似然解附頁(yè)第二十四頁(yè)，共三十四頁(yè)，2022年，8月28日SPSS數(shù)據(jù)形式第二十五頁(yè)，共三十四頁(yè)，2022年，8月28日SPSS-因子分析打開studentscore.sav，選Analyze－DataReduction－FactorAnalysis進(jìn)入主對(duì)話框；把math、phys、chem、literat、history、english選入Variables，點(diǎn)擊ExtractionA在Method可選擇PrincipalComponentsB在Analysis選Covariancematrix（X不做標(biāo)準(zhǔn)化）；選Correlationmatrix（X標(biāo)準(zhǔn)化）C在Display可選unrotatedfactorsoluation和畫碎石圖就選ScreeplotD在Extract選項(xiàng)可以按照特征值的大小選主成分，也可選主成分的數(shù)目Numberoffactors(2)之后選Continue。第二十六頁(yè)，共三十四頁(yè)，2022年，8月28日點(diǎn)擊RotationA在Method選一個(gè)旋轉(zhuǎn)方法如varimaxB在Display選Rotatedsolution（以輸出和旋轉(zhuǎn)有關(guān)的結(jié)果）和Loadingplot（以輸出載荷圖）；之后選Continue點(diǎn)擊Scores，再選擇Saveasvariables（因子得分就會(huì)作為變量存在數(shù)據(jù)中的附加列上）和計(jì)算因子得分的方法（比如Regression）；要想輸出ComponentScoreCoefficientMatrix表，就要選擇Displayfactorscorecoefficientmatrix；之后選Continue。這時(shí)點(diǎn)OK即可。第二十七頁(yè)，共三十四頁(yè)，2022年，8月28日這里的InitialEigenvalues就是這里的六個(gè)特征值（數(shù)據(jù)相關(guān)陣的特征值）。頭兩個(gè)成分特征值累積占了總方差的81.142%。后面的特征值的貢獻(xiàn)越來(lái)越少。

第二十八頁(yè)，共三十四頁(yè)，2022年，8月28日特征值的貢獻(xiàn)還可以從SPSS的所謂碎石圖看出第二十九頁(yè)，共三十四頁(yè)，2022年，8月28日原始六主成分

用x1,x2,x3,x4,x5,x6來(lái)表示math（數(shù)學(xué)），phys（物理），chem（化學(xué)），literat（語(yǔ)文），history（歷史），english（英語(yǔ)）等變量。選兩個(gè)因子f