多元統(tǒng)計-因子分析

3.1因子分析的基本思想返回3.1.1引例3.1.2因子分析的基本思想3.1.3與主成分分析的區(qū)別2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

3.1.1引例2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

3.1.2因子分析的基本思想

因子分析(factoranalysis)是一種數(shù)據(jù)簡化的技術(shù)。它是通過尋找眾多變量的公共因素來簡化變量中存在的復雜關(guān)系的一種方法。它將多個變量綜合為少數(shù)幾個“因子”(假想變量)，以再現(xiàn)原始變量與“因子”之間的相互關(guān)系。這幾個因子能夠反映原來眾多變量的主要信息。原始的變量是可觀測的顯在變量，而因子是不可觀測的潛在變量。因子分析的含義2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

通過因子分析得來的新變量是對每一個原始變量進行內(nèi)部剖析，打比喻來說，原始變量就如成千上萬的糕點，每一種糕點的原料都有面粉、油、糖及相應(yīng)的不同原料，這其中，面粉、油、糖是所有糕點的共同材料，正如因子分析中的新變量即因子變量，正確選擇因子變量后，如果想考慮成千上萬糕點的物價變動，只需重點考慮面粉、油、糖等共因子的物價變動即可。

3.1.2因子分析的基本思想

所以因子分析不是對原始變量的重新組合，而是對原始變量進行分解，分解為公共因子與特殊因子兩部分。即因子分析就是要利用少數(shù)幾個公共因子去解釋較多個要觀測變量中存在的復雜關(guān)系，它把原始變量分解為兩部分因素，一部分是由所有變量共同具有的少數(shù)幾個公共因子構(gòu)成的，另一部分是每個原始變量獨自具有的因素，即特殊因子。2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

3.1.2因子分析的基本思想

因子分析分為兩類，即R型因子分析（對變量作因子分析），Q型因子分析（對樣品作因子分析）。這兩種因子分析的處理方法一樣，只是出發(fā)點不同，R型從變量的相關(guān)陣出發(fā)，Q型從樣品相似陣出發(fā)。對一批觀測數(shù)據(jù)，可以根據(jù)實際問題的要求來決定采用哪一種類型的因子分析。本章主要介紹R型因子分析。2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

因子分析（FactorAnalysis）是主成分分析的推廣，它也是利用降維的思想，從研究原始變量相關(guān)矩陣內(nèi)部的依賴關(guān)系出發(fā)，把一些具有錯綜復雜關(guān)系的變量歸結(jié)為少數(shù)幾個綜合變量（因子）的一種多變量統(tǒng)計分析方法。

相對于主成分分析，因子分析更傾向于描述原始變量之間的相關(guān)關(guān)系；因此，因子分析的出發(fā)點是原始變量的相關(guān)矩陣。

3.1.2因子分析的基本思想2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

主成分分析分析與因子分析不同，主成分分析僅僅是變量變換，而因子分析需要構(gòu)造因子模型。主成分分析:原始變量的線性組合表示新的綜合變量，即主成分；因子分析：潛在的假想變量和隨機影響變量的線性組合表示原始變量。因子分析與主成分分析3.1.3與主成分分析的區(qū)別2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

因子分析與主成分分析的區(qū)別(參見主成分分析與因子分析的異同比較及應(yīng)用)：

1、主成分分析不能作為一個模型來描述，它只是通常的變量變換；而因子分析需要構(gòu)造因子模型。

2、主成分分析中主成分的個數(shù)和變量的個數(shù)P相同，它是將一組具有相關(guān)性的變量變換為一組獨立的變量（注意應(yīng)用主成分分析解決實際問題時，一般只選取前m(m<p)個主成分；而因子分析的目的是要用盡可能少的公因子，以便構(gòu)造一個結(jié)構(gòu)簡單的因子模型。

3、主成分分析是將主成分表示為可觀測的原變量的線性組合；而因子分析是將原始變量表示為公因子和特殊因子的線性組合。另一方面，這兩種分析方法之間在某些情況下也有一定聯(lián)系，我們將從下面的介紹中看到。因子分析與主成分分析3.1.3與主成分分析的區(qū)別2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院3.1.3與主成分分析的區(qū)別因子分析與回歸分析

因子分析與回歸分析不同，因子分析中的因子是一個比較抽象的概念，而回歸因子有非常明確的實際意義。2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

3.1.2因子分析的基本思想因子變量的特點這些綜合指標稱為因子變量，是原變量的重新組構(gòu)；個數(shù)遠遠少于原變量個數(shù)，但可反映原變量的絕大部分方差；不相關(guān)性，對因子變量的分析能夠為研究工作提供較大的便利；因子變量具有可命名解釋性；2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

因子分析把每個原始變量分解成兩個部分：一部分是由所有變量共同具有的少數(shù)幾個因子構(gòu)成的，即所謂公共因素部分；另一部分是每個變量獨自具有的因素，即所謂獨特因素部分。

設(shè)

為觀察到的隨機向量，

是不可觀測的向量(m應(yīng)小于p)。于是：公共因子與特殊因子3.2.1初始因子模型（R型）2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院3.2.1初始因子模型（R型）初始因子模型2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

因子模型的一般表達形式：Xi=ai1F1+ai2F2+…+aimFm+εi(i=1,…,p)3.2.1初始因子模型（R型）初始因子模型2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

也可以矩陣的形式表示為：X=AF+ε

式中Xi（i=1，2，…，m）和Fj（j=1，2，…，p）都是標準化變量。

3.2.1初始因子模型（R型）初始因子模型或:2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

1、因子模型中Fl，F(xiàn)2，…，F(xiàn)m叫做因子變量或公（共）因子（潛因子）（Commonfactors)，它們是在各個原觀測變量Xi的表達式中共同出現(xiàn)的因子（是各個原觀測變量所共有的因子）。

可理解為原始變量共同具有的公共因素，每個公因子Fj

（j=1,…,m)假定至少對兩個原始變量有作用（有貢獻），否則它將歸入特殊因子。3.2.2因子分析的幾個相關(guān)概念因子變量（公因子）2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

公因子是相互獨立的不可觀測的理論變量（之所以稱其為因子，是因為它是不可觀測的，即不是具體的變量，與聚類分析不同）。公共因子的含義，必須結(jié)合具體問題的實際意義而定。3.2.2因子分析的幾個相關(guān)概念因子變量（公因子）2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院3.2.2因子分析的幾個相關(guān)概念特殊因子2、（i=1，2，…，p）叫做特殊因子（Uniquefactor)，是向量X的分量Xi(i=1，…,P）所特有的因子。

每個特殊因子僅僅出現(xiàn)在與之相應(yīng)的第i個原始變量Xi的表達式中，它只對這個原始變量有作用，表示該變量不能被公因子所解釋的部分。相當于回歸分析中的殘差項。2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院3.2.2因子分析的幾個相關(guān)概念因子載荷

3、模型中的矩陣A=(aij)中的元素aij稱為因子載荷（factorloadings)，它是第i個變量在第j個公因子上的負載（或者叫做第i個變量在第j個主因子上的權(quán)），在各公共因子不相關(guān)的前提下，因子載荷aij就是第i個原有變量與第j個公共因子的相關(guān)系數(shù)。

因子載荷aij表示Xi依賴Fj的程度(比重)（心理學家將它稱為載荷），反映了第i個原有變量在第j個公共因子上的相對重要性。因此，aij的絕對值越大，則公共因子Fj與原有變量Xi的關(guān)系越強?；蚍Q公共因子Fj對于Xi的載荷量大，矩陣A稱為因子載荷矩陣。2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

例：五個觀測變量，兩個公因子的模型：

X1=0.9562F1+0.2012F2+0.2126ε1

X2=0.8735F1+0.2896F2+0.3913ε2

X3=0.1744F1+0.8972F2+0.4057ε3X4=0.5675F1+0.7586F2+0.3202ε4X5=0.8562F1+0.3315F2+0.3962ε5

可看出，公因子F1與變量X1，X2，X4，X5關(guān)系密切，它主要代表了這些變量的信息；公因子F2與變量X3，X4關(guān)系密切，它主要代表了這兩個變量的信息。2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

變量的方差由兩部分組成，一部分由公因子決定，一部分由特殊因子決定。3.2.2因子分析的幾個相關(guān)概念變量共同度Xi標準化后2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

h12=a112+a122+…+a1m2h22=a212+a222+…+a2m2

……

hp2=ap12+ap22+…+apm23.2.2因子分析的幾個相關(guān)概念變量共同度2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院A的行元素平方和(因子載荷陣中第i行元素的平方和)。反映了Xi

對公共因子的共同依賴程度，它的意義在于說明如果用公因子替代原觀測變量后，原來每個變量的信息被保留的程度。故被稱為變量Xi的共同度。3.2.2因子分析的幾個相關(guān)概念變量共同度2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

公因子方差表示了變量方差中能被公因子所解釋的部分（即反映了全部公因子對變量Xi的影響，是全部公因子對Xi的方差所做出的貢獻——公因子對變量Xi的方差貢獻），公因子方差越大，變量能被公因子說明的程度越高（越接近1，說明公共因子已經(jīng)解釋說明了原有變量Xi的幾乎全部信息）。3.2.2因子分析的幾個相關(guān)概念變量共同度2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院3.2.2因子分析的幾個相關(guān)概念變量共同度

特殊因子的方差，反映了原有變量方差中無法被公共因子描述的比例。僅與變量Xi本身的變化有關(guān)。2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

對于上面所舉的五個觀測變量、兩個公因子的例子，計算出每個變量的公因子方差，=0.9548,表明F1和F2兩個因子解釋了變量X1信息量的95.48%。3.2.2因子分析的幾個相關(guān)概念變量共同度2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院3.2.2因子分析的幾個相關(guān)概念公因子的方差貢獻

因子載荷矩陣A中第j列各元素的平方和，表示第j個公共因子Fj對于X諸分量Xi所提供的方差的總和。稱第j個公共因子的方差貢獻。是衡量公共因子相對重要性的指標。2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院S21=a112+a212+…+ap12

S22=a122+a222+…+ap22

………S2m=a1m2+a2m2+…+apm23.2.2因子分析的幾個相關(guān)概念公因子的方差貢獻

每個公因子對原始數(shù)據(jù)的解釋能力，用該因子所解釋的總方差（稱為該因子的貢獻）來衡量，公因子Fj的貢獻等于和該因子有關(guān)的因子載荷量的平方和。（j=1,…,m)2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院3.2.2因子分析的幾個相關(guān)概念公因子的方差貢獻2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院……因子負荷矩陣的一般格式3.3因子載荷的估計方法3.3.1因子載荷的求解3.3.2求主因子解的步驟主成分法2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

要建立某實際問題的因子分析模型，關(guān)鍵是要根據(jù)樣本數(shù)據(jù)矩陣估計載荷矩陣A（即求解初始因子——主要目的是確定能夠解釋觀測變量之間相互關(guān)系的最小因子個數(shù)）。根據(jù)所依據(jù)的準則不同，有很多種求因子解的方法。其中使用最為普遍的方法是主成分法。3.3.1因子載荷的求解主成分法2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院設(shè)隨機向量的協(xié)差陣為∑。為∑的特征根，標準正交化特征向量（只要特征根不等，對應(yīng)的單位特征向量一定是正交的)，則根據(jù)線性代數(shù)知識∑分解為：為對應(yīng)的3.3.1因子載荷的求解主成分法,,21puuuL2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院

上面的分解式恰是公共因子與變量個數(shù)一樣多且特殊因子的方差為0時，因子模型中協(xié)差陣的結(jié)構(gòu)。2007.8安徽財經(jīng)大學統(tǒng)計與應(yīng)用數(shù)學學院因為