人民大學(xué)應(yīng)用統(tǒng)計(jì)專碩多元統(tǒng)計(jì)分析部分總結(jié)

1、多元統(tǒng)計(jì)分析主成分分析一.主成分分析概念主成分分析是指通過考察變量間的相關(guān)性，找到少數(shù)幾個(gè)主成分代表多個(gè)變量的一種多元統(tǒng)計(jì)方法。主成分分析是通過考察變量之間的相關(guān)性找到少數(shù)幾個(gè)主成分來代表原來大多數(shù)的變量，同時(shí)使它們盡可能保留原始變量的信息。這些主成分之間彼此不相關(guān)，數(shù)量遠(yuǎn)遠(yuǎn)少于原始變量的個(gè)數(shù)，從而達(dá)到降維的目的（兩個(gè)變量存在著相關(guān)關(guān)系，這意味著兩個(gè)變量提供的信息有重疊，如果把兩個(gè)變量用一個(gè)新變量來表示，同時(shí)這一新變量又盡可能包含原來的兩個(gè)變量的信息，這就是降維的過程）。如果想把現(xiàn)有的變量變成少數(shù)幾個(gè)新的變量（新的變量幾乎帶有原來所有變量的信息）來進(jìn)入后續(xù)的分析，可以使用主成分分析。二.怎樣選

2、取主成分？載荷：各主成分和原來變量的線性相關(guān)系數(shù)。系數(shù)越大說明主成分對該變量的代表性越強(qiáng)。統(tǒng)計(jì)上降維的處理過程是將原始的變量進(jìn)行線性組合作為新的變量（主成分），原來有多少變量就有多少主成分。我們不能選擇所有的主成分這樣達(dá)不到降維的目的，選擇的標(biāo)準(zhǔn)是所選擇的主成分所代表的主軸長度之和應(yīng)該占主軸總長度之和的大部分。所選的第一個(gè)主成分應(yīng)該是主軸最長的（方差最大的，主成分所代表的原始變量的信息用方差來表示），如果第一個(gè)主成分不足以代表原來變量的信息在考慮第二個(gè)。主成分之間互不相關(guān)且方差遞減。標(biāo)準(zhǔn)：1.選擇的主成分的方差之和占全部方差的80%以上即可；2.此外還可以考慮特征根的大小，如果特征根小于1，就

3、不再選作主成分了，因?yàn)樵撝鞒煞值慕忉屃Χ冗€不如直接用原始變量的解釋力度大；3.碎石圖，從碎石圖中我們可以看出主軸長度（特征根）的變化趨勢，一般情況下，選擇碎石圖中主軸變化趨勢出現(xiàn)拐點(diǎn)的前幾個(gè)主成分作為原始變量的代表。原始變量之間相關(guān)程度越高降維的效果越好，所選著的主成分也就越少。如果原始變量之間不怎么相關(guān)不如用它們本身。三.主成分建模的步驟特征根：又稱方差，反應(yīng)主成分對原始變量影響程度的一個(gè)量，表示引入改主成分后可以在多大程度上解釋原始變量的信息。主成分方差貢獻(xiàn)率：某個(gè)特征根占總特征根總和的比例稱為主成分方差貢獻(xiàn)率。1. 對原有的變量進(jìn)行標(biāo)準(zhǔn)化處理，以消除變量水平和量綱的影響。2. 根據(jù)標(biāo)準(zhǔn)化

4、后的數(shù)據(jù)計(jì)算相關(guān)系數(shù)矩陣。如果變量之間存在著較強(qiáng)的相關(guān)系數(shù)說明適合做主成分分析。3. 求出相關(guān)系數(shù)矩陣的特征根，即主軸或方差，及對應(yīng)的單位特征向量。從各主成分的方差貢獻(xiàn)率和累積方差貢獻(xiàn)率來選擇主成分。4. 確定主成分，并對主成分的含義做出適當(dāng)?shù)慕忉?。對主成分進(jìn)行解釋主要根據(jù)主成分的因子載荷矩陣。通過因子載荷可以看出主成分分別主要代表哪些原始變量。但是主成分的這種解釋模棱兩可主要原因是因子載荷含義不清楚。因子分析一 因子分析含義因子分析是通過對變量之間關(guān)系的研究，找出能綜合原始變量的少數(shù)幾個(gè)因子代表多個(gè)原始變量的一種多元統(tǒng)計(jì)方法。二 主成分分析和因子分析的聯(lián)系和區(qū)別聯(lián)系：都是找出少數(shù)幾個(gè)新的變量

5、來代表原始變量，從而達(dá)到降維的目的。區(qū)別：1.主成分中的主成分個(gè)數(shù)與原始變量的個(gè)數(shù)相同，有幾個(gè)變量就有幾個(gè)主成分而因子分析則需要事先確定要找?guī)讉€(gè)因子，然后將原始變量綜合和為少數(shù)的幾個(gè)因子以再現(xiàn)原始變量與因子之間的關(guān)系。2.主成分是因子分析的一個(gè)特例，因子分析是主成分分析的推廣和拓展。3.因子分析的計(jì)算較主成分分析更加復(fù)雜。4.因子分析在實(shí)際中廣泛應(yīng)用，而主成分分析通常只作為大型數(shù)據(jù)分析的中間步驟，不再單獨(dú)使用，但它的思想對我們有很大的啟迪。三 因子分析模型因子載荷：載荷為變量與因子之間的線性相關(guān)系數(shù)，反應(yīng)變量與因子之間的相關(guān)程度。公因子：由于因子出現(xiàn)在每個(gè)原始變量與因子的線性組合中因此也成為公

6、因子。變量共同度量：它是公因子對特定的變量的方差貢獻(xiàn)率。（計(jì)算方法為一個(gè)線性組合中相關(guān)系數(shù)的平方和）；共同度量越大說明公因子對原始變量的解釋能力越強(qiáng)。公因子的方差貢獻(xiàn)率：指的是某個(gè)因子對變量所提供的方差總和，反映了某個(gè)因子的相對重要程度。方差貢獻(xiàn)率越大表明該公因子對變量的貢獻(xiàn)越大。因子分析模型把每個(gè)變量看成是個(gè)因子的線性組合?？疾熳兞康男畔⒛軌虮籯個(gè)公因子所解釋的程度。四 因子分析的步驟因子分析的步驟分為數(shù)據(jù)檢驗(yàn)，因子提取，因子的命名和解釋，計(jì)算因子得分并進(jìn)行綜合評價(jià)。1. 數(shù)據(jù)檢驗(yàn)數(shù)據(jù)檢驗(yàn)用語判斷手頭上的數(shù)據(jù)是否適合作因子分析。因子分析的目的是把原始變量降維，如果原始變量是獨(dú)立的意味著每個(gè)變

7、量的作用都是不可替代的，也就無法降維了。條件一：用于因子分析的變量必須是相關(guān)的。方法一：計(jì)算變量之間的相關(guān)系數(shù)矩陣，并觀察各相關(guān)系數(shù)。一般來說若相關(guān)矩陣的大部分相關(guān)系數(shù)小于0.3，就不適合作因子分析方法二：可以作KMO檢驗(yàn)和Bartlett球度檢驗(yàn)來判斷；Bartlett檢驗(yàn)是以變量的相關(guān)系數(shù)矩陣為基礎(chǔ)，如果相關(guān)系數(shù)矩陣是單位陣，則變量是獨(dú)立的，也就無法進(jìn)行因子分析了。KMO檢驗(yàn)用語檢驗(yàn)變量間的偏相關(guān)性，取值范圍在0-1之間，如果統(tǒng)計(jì)量取值接近于1，變量間的偏相關(guān)性越強(qiáng)，因子分析的效果就越好。一般來說，KMO統(tǒng)計(jì)量在0.7以上時(shí)因子分析的效果好；0.5以下效果很差。條件二：從樣本量上來看，因子

8、分析要求樣本的個(gè)數(shù)足夠多。一般要求樣本的個(gè)數(shù)至少是變量的5倍以上.同時(shí)樣本總數(shù)據(jù)量也不能太少，理論要求應(yīng)該在100個(gè)以上。2. 因子提取因子提取是根據(jù)原始變量提取出少數(shù)幾個(gè)因子，使得少數(shù)幾個(gè)因子能夠反應(yīng)原始變量的絕大部分信息。，從而達(dá)到降維的目的。因子的提取方法：主成分法；根據(jù)因子的方差貢獻(xiàn)率來選擇。一般情況下貢獻(xiàn)率達(dá)到80%以上的前幾個(gè)因子可以作為最后的公因子。實(shí)際應(yīng)用中，因子的提取要結(jié)合具體問題而定，在某種程度上取決于研究者自身的知識和經(jīng)驗(yàn)。3. 因子的命名和解釋因子命名：考察因子究竟反映了原始變量的那些信息（代表了哪些原始變量）正交旋轉(zhuǎn)：是指坐標(biāo)軸始終保持垂直90度旋轉(zhuǎn)，這樣新生成的因子

9、仍可保持不相關(guān)。斜交旋轉(zhuǎn)：坐標(biāo)軸的夾角可以是任意的，因此新生成的因子不能保證不相關(guān)。對因子命名和解釋之前需要對因子載荷進(jìn)行因子旋轉(zhuǎn)，以便旋轉(zhuǎn)之后因子的意義更加明顯，能夠得到更加合理的解釋。進(jìn)行因子旋轉(zhuǎn)，就是要使因子載荷矩陣中因子載荷的平方值向0和1兩個(gè)方向分化，使大的載荷更大，小的載荷更小。方法有正交旋轉(zhuǎn)和斜交旋轉(zhuǎn)。4. 計(jì)算因子得分因子分析模型建立后，還有一個(gè)重要的作用是應(yīng)用因子分析模型去評價(jià)每個(gè)樣品在整個(gè)模型中的地位，即進(jìn)行綜合評價(jià)。例如地區(qū)經(jīng)濟(jì)發(fā)展的因子分析模型建立后，我們希望知道每個(gè)地區(qū)經(jīng)濟(jì)發(fā)展的情況，把區(qū)域經(jīng)濟(jì)劃分歸類，哪些地區(qū)發(fā)展較快，哪些中等發(fā)達(dá)，哪些較慢等。這時(shí)需要將公共因子用

10、變量的線性組合來表示，也即由地區(qū)經(jīng)濟(jì)的各項(xiàng)指標(biāo)值來估計(jì)它的因子得分。五 因子分析的具體步驟1. 將原始數(shù)據(jù)標(biāo)準(zhǔn)化，以消除變量間在數(shù)量級和量綱上的不同。2. 求標(biāo)準(zhǔn)化數(shù)據(jù)的相關(guān)矩陣，判斷數(shù)據(jù)是否適合用因子分析來進(jìn)行分析。3. 求相關(guān)矩陣的特征值和特征向量；4. 計(jì)算方差貢獻(xiàn)率與累積方差貢獻(xiàn)率；從共同度量表中確定因子是否可以充分解釋原始變量5. 確定因子：設(shè)F1，F(xiàn)2， Fp為p個(gè)因子，其中前m個(gè)因子包含的數(shù)據(jù)信息總量（即其累積貢獻(xiàn)率）不低于80%時(shí)，可取前m個(gè)因子來反映原評價(jià)指標(biāo)；6. 因子旋轉(zhuǎn)：若所得的m個(gè)因子無法確定或其實(shí)際意義不是很明顯，這時(shí)需將因子進(jìn)行旋轉(zhuǎn)以獲得較為明顯的實(shí)際含義。7.

11、用原指標(biāo)的線性組合來求各因子得分：采用回歸估計(jì)法，Bartlett估計(jì)法或Thomson估計(jì)法計(jì)算因子得分。8. 綜合得分以各因子的方差貢獻(xiàn)率為權(quán)，由各因子的線性組合得到綜合評價(jià)指標(biāo)函數(shù)。9. 得分排序：利用綜合得分可以得到得分名次聚類分析一 聚類分析的概念在一些分類中，事先并不知道有多少類別，安全按照反映對象特征的數(shù)據(jù)把對象進(jìn)行分類，這在統(tǒng)計(jì)上稱為聚類分析；有的則是在事先有了某種分類標(biāo)準(zhǔn)之后，判定一個(gè)新的研究對象應(yīng)該歸屬到哪一類別，這在統(tǒng)計(jì)上稱為判別分析。聚類就是把對象分成不同的類別，這些類不是事先定的，而是直接根據(jù)數(shù)據(jù)的特征確定的。對象可以是所觀察的多個(gè)樣本，也可以是針對多個(gè)樣本的多個(gè)變量

12、。如果是根據(jù)變量對所觀察的樣本進(jìn)行分類稱為Q類聚類；如果是根據(jù)樣本對多個(gè)變量進(jìn)行分類則稱為R類聚類。聚類是把相似的東西放在一起，從而使得類別內(nèi)部的差異盡可能的小，而類別之間的差異盡可能大。聚類中的相似是指對象之間關(guān)系或距離的遠(yuǎn)近。根據(jù)樣本觀測數(shù)據(jù)測度變量之間的相似性（r類聚類）可以用相似系數(shù)，計(jì)算方法有夾角余弦，變量間的相關(guān)系數(shù)越大說明它們越相近。根據(jù)變量來測度樣本之間（q類聚類）的相似程度則使用距離。二 相似性的度量聚類分析中用“距離”或“相似系數(shù)”來度量對象之間的相似性。1. 樣本之間的距離度量樣本點(diǎn)間距離的計(jì)算方法：平方歐氏距離變量間相似系數(shù)的計(jì)算方法：夾角余弦，pearson相關(guān)系數(shù)。

13、2. 類間距離的度量常用的方法是離差平方和法。最短距離法：用兩個(gè)類別中各樣本點(diǎn)之間最短的距離表示兩個(gè)類別之間的距離。最長距離法：用兩個(gè)類別中各樣本點(diǎn)之間最長的距離表示兩個(gè)類別之間的距離。重心法：用兩個(gè)類別的重心之間的距離表示兩個(gè)類別之間的距離。組間平均距離：用兩個(gè)類別各樣本點(diǎn)之間的距離的平均表示兩個(gè)類別之間的距離。離差平方和：先將所有的兩個(gè)類別中的點(diǎn)當(dāng)作一個(gè)類別計(jì)算離差平方和，再分別計(jì)算各類別的離差平方和。用總的離差平方和減去各離差平方和。三 聚類方法1. 層次聚類層次聚類分為合并法和分解法。合并法：1.將每個(gè)樣本作為一類。 2.按照某種方法度量樣本之間的距離，并將距離最近的兩個(gè)樣本合并為一個(gè)

14、類別。 3.計(jì)算新產(chǎn)生的類別和其他類別之間的距離，并將距離最近的兩個(gè)類別分為一類。 4.一直重復(fù)進(jìn)行分類指導(dǎo)類別數(shù)為1，所有類別都合并成為一類。分解法：將所有樣本作為一個(gè)大類，然后度量對象之間的距離或者相似系數(shù)，然后將距離最遠(yuǎn)或相似系數(shù)最小的對象分離出去，然后形成兩大類。再度量類別中剩余對象之間的距離或相似系數(shù)，并將最遠(yuǎn)的分離出去，不斷重復(fù)過程，直到所有的對象都自成一類為止。合并法和分解法事先不確定分的組數(shù)，需要根據(jù)聚類的樹狀圖以及需要來決定最后要分幾組。再得到分類結(jié)果后，需要分析個(gè)類別中所屬樣本的變量特征，以判斷所分的類別是否合理。通過對各類別所屬地區(qū)的描述統(tǒng)計(jì)分析，可以檢驗(yàn)所分的類別是否合

15、理。如果個(gè)類別差異顯著意味著所分的類別基本上是合理的。此外還可以使用方差分析來檢驗(yàn)各不同類別相同變量之間是否有顯著差異。2. K-均值聚類K-均值聚類的含義是“K”即事先指定要分的類別個(gè)數(shù)，而“均值”則是指聚類的重心。計(jì)算量較層次聚類法小，效率高也稱為快速聚類法。K-均值聚類法不是把所有可能的聚類結(jié)果都列出來，而是要求研究者先指定要?jiǎng)澐值念悇e個(gè)數(shù)，然后確定各聚類中心，在計(jì)算各樣本到聚類中心的距離，最后按距離遠(yuǎn)近進(jìn)行分類。具體步驟：1. 首先如果原始變量取值差異較大，應(yīng)先將原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，以避免數(shù)量級和量綱上的差異。2. 確定要分的類別數(shù)目。這需要研究者自己確定。在實(shí)際應(yīng)用中往往需要研究者根

16、據(jù)實(shí)際問題反復(fù)嘗試，得到不同分類并進(jìn)行比較，最后得到要分的類別數(shù)量。3. 確定k個(gè)類別的初始聚類中心。這一步要求在用于聚類的全部樣本中，選擇k個(gè)樣本作為k個(gè)類別的初始聚類中心。與確定類別數(shù)目一樣，原始聚類中心的確定也需要研究者根據(jù)實(shí)際問題和經(jīng)驗(yàn)來綜合考慮，選擇的原則是中心點(diǎn)距離其他點(diǎn)盡可能遠(yuǎn)。4. 根據(jù)確定的k個(gè)初始聚類中心，依次計(jì)算每個(gè)樣本點(diǎn)到k個(gè)聚類中心的歐式距離，并根據(jù)距離最近的原則將所有的樣本分到事先確定的k個(gè)類別中。5. 根據(jù)所分成的k個(gè)類別，計(jì)算出各類別中每個(gè)變量的均值，并以均值點(diǎn)作為新的k個(gè)類別中心。根據(jù)新的中心位置，重新計(jì)算每個(gè)樣本到新中心的距離，并重新進(jìn)行分類。6. 重復(fù)第四

17、步，直到滿足終止聚類的條件為止。終止聚類的條件包括：1.迭代次數(shù)達(dá)到研究者事先指定的最大迭代次數(shù)。 2.新確定的聚類中心點(diǎn)與上一次聚類形成的中心點(diǎn)的最大偏移量小于指定的量。7. 對所分類別的每個(gè)變量之間進(jìn)行方差分析判斷所分的類別是否合理。四 注意事項(xiàng)從數(shù)據(jù)要求上 1.參與分類的變量首先應(yīng)符合要求，也就是選擇與目標(biāo)相關(guān)的變量。 2.各變量的去職不應(yīng)有數(shù)量級上的過大差異，否則對分類結(jié)果產(chǎn)生較大影響。一般需要進(jìn)行標(biāo)準(zhǔn)化處理。 3.各變量之間不應(yīng)該有強(qiáng)的相關(guān)關(guān)系。從聚類方法的選擇上1.首先看數(shù)據(jù)，如果參與分類的變量是連續(xù)變量，層次聚類法，k均值聚類法以及兩步聚類法都是適用的；如果變量中包括離散變量（計(jì)

18、數(shù)變量），則需要對離散變量進(jìn)行連續(xù)處理，否則應(yīng)該使用兩步驟聚類法；當(dāng)數(shù)據(jù)量較少時(shí)三種方法都可以選用，當(dāng)數(shù)據(jù)較多時(shí)，應(yīng)考慮選用其他兩種。2.其次要看分類對象。如果對樣本進(jìn)行分類三種方法都是可用的；如果是對變量進(jìn)行分類則應(yīng)該選擇層次聚類法。3.注意對分類結(jié)果的檢驗(yàn)。兩種聚類方法的不同：1.層次聚類的分類是不確定的，k均值聚類事先確定類別數(shù)目。2.計(jì)算量以及效率上 3.具體的聚類步驟上。典型相關(guān)分析一. 典型相關(guān)分析解決的問題及其思想應(yīng)用范圍典型相關(guān)分析是研究兩組變量之間整體相關(guān)程度的多元分析方法。它是將每一組變量作為一個(gè)整體進(jìn)行研究，而不是分析每一組變量內(nèi)部的各個(gè)變量。所研究的兩組變量可以是一組變

19、量為自變量，而另一組變量為因變量，也可以處于同等地位，但典型相關(guān)分析要求兩組變量都至少是間隔尺度的。思想典型相關(guān)分析借用主成分分析降維的思想，分別對兩組變量提取主成分（原因在于使新生成的新的綜合變量能代表原始變量大部分信息，同時(shí)與另一組變量生成的新的綜合變量的相關(guān)程度最大；這樣一組新的綜合變量稱為第一對典型相關(guān)變量，典型相關(guān)變量（不是一對）之間的簡單相關(guān)系數(shù)稱為典型相關(guān)系數(shù)，典型相關(guān)變量反映了x,y之間的線性相關(guān)情況）使兩組變量提取的主成分之間的相關(guān)程度達(dá)到最大，而同一組內(nèi)部提取的主成分之間互不相關(guān)。用兩組分別提取的主成分的相關(guān)性來描述兩組變量整體的線性相關(guān)關(guān)系?？梢酝ㄟ^少數(shù)典型相關(guān)變量的研究

20、代替原來兩組變量之間的相關(guān)關(guān)系研究，從而抓住為題的本質(zhì)?？梢酝ㄟ^典型相關(guān)分析找出幾對主要的典型相關(guān)變量，根據(jù)典型相關(guān)變量相關(guān)程度及各典型相關(guān)變量線性組合中原變量相關(guān)系數(shù)的大小，結(jié)合對所研究實(shí)際問題的定性分析，盡可能給出較為深刻的分析結(jié)果。典型權(quán)重：傳統(tǒng)的解釋典型函數(shù)的方法包括觀察每個(gè)原始變量在它的典型變量中的典型權(quán)重的符號和大小。有較大的典型權(quán)重則說明原始變量對它的典型變量貢獻(xiàn)較大，反之則相反。原始變量的典型權(quán)重有相反的符號，說明變量之間存在一種反向關(guān)系，反之則存在正向關(guān)系。典型載荷：也稱為典型結(jié)構(gòu)相關(guān)系數(shù)，是原始變量和它的典型變量間的簡單線性相關(guān)系數(shù)。典型載荷反映原始變量與典型變量的共同方差，它的解釋類似于因子載荷，也就是每個(gè)原始變量對典型函數(shù)的相對貢獻(xiàn)。典型交叉載荷：計(jì)算典型交叉載荷包括使每個(gè)原始因變量與自變量典型變量直接相關(guān)，提供了一個(gè)更直接地測量因變量組與自變量組關(guān)系的指標(biāo)。判別分析一 判別分析解決的問題判別分析的主要目的是識別一個(gè)個(gè)體所屬類別。在被解釋變量是屬性變量而解釋變量是度量變量時(shí)判別分析是合適的統(tǒng)計(jì)分析方法。判別分析的基本要求是：分組類型在兩組以上；每組案例的規(guī)模必須至少在一個(gè)以上；解釋變量必須是可測的。第一個(gè)判別變量不能是其他判別變量的線性組合。各組變量的協(xié)方差矩陣相等。各判別變量遵從多元正