主成分分析原理

1、Cron bach信度系數(shù)a的取值范圍到底是多大？真如好多專業(yè)書上所說是【0, 1】嗎？對于a的取值范圍很多數(shù)書上的表達都比較模糊，普遍認為a信度系數(shù)的值一般在 0和1之間。更有學者給出了經(jīng)驗判定值，他們認為在基礎(chǔ)研究中a系數(shù)至少應達到 0.8才能接受，在探索研究中a系數(shù)至少應達到0.7才能接受，而在實務研究中a系數(shù)只需達到0.6即可。那么，到底a的理論取值范圍是多大呢？我們先看a信度系數(shù)的計算公式：a=K/(K-1)和-(刀Si)/(S2x)。其中，K為量表中題 項的總數(shù)，S2i為第i題得分的題內(nèi)方差，S2x為全部題項總得分的方差。需要強調(diào)的是S2是總得分的方差，而不是總離差平方和。此前筆者

2、因為沒有看清楚公式，誤把總得分的 方差理解為總離差平方和，在此自汗一個！在方差分析中，總離差一定大于組內(nèi)離差 差；但是總得分方差卻有可能小于題內(nèi)方差。經(jīng)過我的計算，a值的理論區(qū)間應該是(-R, 1。比如這兩組數(shù)據(jù)：1、2、3、4、5與5,4, 3, 2,2。經(jīng)計算兩列數(shù)據(jù)的a信度系數(shù)為-40。如若不信，您大可打開spss自己算一算，消除一下疑慮，所謂實踐出真知。難道專家教授們錯了？幾百萬的莘莘學子又被忽悠了？其實，倒也是不。實際中a系數(shù)檢測的是數(shù)據(jù)間的內(nèi)部一致性。也就是說，在潛在的前提假設中，數(shù)據(jù)內(nèi)部應該是 基本一致的，行話就是正相關(guān)，所以范圍通常在0 , 1之間。a值用來表示這些數(shù)據(jù)間一致程

3、度。如果出現(xiàn)負值，則說明多列數(shù)據(jù)不一致。但是，-a值又不能簡單地理解成內(nèi)部不一致系數(shù)，因為 a是專門為測量一致性而設置的，a只在表示一致性上有意義，或者可以說成是只在 a值大于0時才有意義。當多列數(shù)據(jù)的之間不是正相關(guān)時，總得分方差S2x可能小于題內(nèi)方差 ES2i，所以負值就會出現(xiàn)。只是相關(guān)系數(shù)用于測量兩變量之間的關(guān) 系，而a系數(shù)可用于測量多個變量。信度檢驗測量的是可靠性 。實際的問卷調(diào)查中，一般用a系數(shù)檢驗數(shù)據(jù)內(nèi)部的一致 性！但是，檢驗的前提是數(shù)據(jù)內(nèi)部應該是一致的，或者理論上是一致的。比如：做一項教室衛(wèi)生程度的調(diào)查，地板、桌子、玻璃，理論上潔凈程度應該一致，要么都臟，要么 都干凈。所以可以用

4、a系數(shù)測度內(nèi)部的一致性。但是如果內(nèi)部本來就不一致，檢驗將沒 有意義。比如清潔員只打掃了地板、抹桌子，去卩忘記了擦玻璃。那么地板和桌子可能一 塵不染，但是玻璃卻會滿臉污臟。面對這樣的事實，計算出來的a信度系數(shù)，就可能是負值了。所以，當 a系數(shù)為負時，也不必大驚小怪。這可能反映了數(shù)據(jù)內(nèi)部本身的不一 致，但更可能的是你忘記把調(diào)查中的反向問題正向化了。相關(guān)系數(shù)定義與說明相關(guān)系數(shù)，或稱線性相關(guān)系數(shù)、皮氏積矩相關(guān)系數(shù)(Pearson product-mome nt correlationcoefficie nt, PPCC)等，是衡量兩個隨機變量之間線性相關(guān)程度的指標。它由卡爾皮爾森(Karl Pears

5、on)在1880年代提出，現(xiàn)已廣泛地應用于科學的各個領(lǐng)域。加=7NI" 1叩相關(guān)系數(shù)計算公式相關(guān)系數(shù)(r)的定義如右圖所示，取值范圍為-1,1, r>0表示正相關(guān)，r<0表示負相關(guān)，|r|表示了變量之間相關(guān)程度的高低。特殊地，r=1稱為完全正相關(guān)，r=-1稱為完全負相關(guān)，r=0稱為不相關(guān)。通常|r|大于0.8時，認為兩個變量有很強的線性相關(guān)性。2樣本相關(guān)系數(shù)常用r表示，而總體相關(guān)系數(shù)常用p表示。在線性關(guān)系不顯著時，還可以考慮采用秩相關(guān)系數(shù)(rank correlation)，如斯皮爾曼秩相關(guān)系數(shù)(Spearman's rank correlation coeffi

6、cient)等。編輯本段相關(guān)性質(zhì)(1) 對稱性：X與Y的相關(guān)系數(shù)(rXY)和Y與X之間的相關(guān)系數(shù)(rYX)相等；(2) 相關(guān)系數(shù)與原點和尺度無關(guān)；(3) 若X與Y統(tǒng)計上獨立，則它們之間的相關(guān)系數(shù)為零；但 r=0不等于說兩個變量是 獨立的。即 零相關(guān)并不一定意味著獨立性；(4) 相關(guān)系數(shù)是線性關(guān)聯(lián)或線性相依的一個度量，它不能用于描述非線性關(guān)系；(5) 相關(guān)系數(shù)只是兩個變量之間線性關(guān)聯(lián)的一個度量，不一定有因果關(guān)系的含義第七章主成分分析(一) 教學目的通過本章的學習，對主成分分析從總體上有一個清晰地認識，理解主成分分析的基本思想和數(shù)學模型，掌握用主成分分析方法解決實際問題的能力。(二) 基本要求了解

7、主成分分析的基本思想，幾何解釋，理解主成分分析的數(shù)學模型，掌握主成分分析方法的主要步驟（三）教學要點1主成分分析基本思想，數(shù)學模型，幾何解釋2、主成分分析的計算步驟及應用（四）教學時數(shù)3課時（五）教學內(nèi)容1主成分分析的原理及模型2、主成分的導出及主成分分析步驟在實際問題中，我們經(jīng)常會遇到研究多個變量的問題，而且在多數(shù)情況下，多個 變量之間常常存在一定的相關(guān)性。由于變量個數(shù)較多再加上變量之間的相關(guān)性，勢必 增加了分析問題的復雜性。如何從多個變量中綜合為少數(shù)幾個代表性變量，既能夠代 表原始變量的絕大多數(shù)信息，又互不相關(guān)，并且在新的綜合變量基礎(chǔ)上，可以進一步 的統(tǒng)計分析，這時就需要進行主成分分析。第

8、一節(jié)主成分分析的原理及模型一、主成分分析的基本思想與數(shù)學模型（一）主成分分析的基本思想主成分分析是采取一種數(shù)學降維的方法，找出幾個綜合變量來代替原來眾多的變 量，使這些綜合變量能盡可能地代表原來變量的信息量，而且彼此之間互不相關(guān)。這種將把多個變量化為少數(shù)幾個互相無關(guān)的綜合變量的統(tǒng)計分析方法就叫做主成分分析或主分量分析。主成分分析所要做的就是設法將原來眾多具有一定相關(guān)性的變量，重新組合為一 組新的相互無關(guān)的綜合變量來代替原來變量。通常，數(shù)學上的處理方法就是將原來的 變量做線性組合，作為新的綜合變量，但是這種組合如果不加以限制，則可以有很 多，應該如何選擇呢？如果將選取的第一個線性組合即第一個綜合

9、變量記為F1，自然希望它盡可能多地反映原來變量的信息，這里“信息”用方差來測量，即希望Var(F1)越大，表示F1包含的信息越多。因此在所有的線性組合中所選取的F1應該是方差最大的，故稱F1為第一主成分。如果第一主成分不足以代表原來p個變量的信息，再考慮選取F2即第二個線性組合，為了有效地反映原來信息，F(xiàn)i已有的信息就不需要再出現(xiàn)在F2中，用數(shù)學語言表達就是要求 Cov(Fi ,F2)= 0，稱F2為第二主成分，依此類推 可以構(gòu)造出第三、四,第p個主成分。(二)主成分分析的數(shù)學模型對于一個樣本資料，觀測p個變量X ,X2,Xp，n個樣品的數(shù)據(jù)資料陣為:Xiix = X21X12X22込n1 x

10、n2XipX2pX2j其中:XjXi,X2, Xp主成分分析就是將 p個觀測變量綜合成為 p個新的變量(綜合變量)，即R = a11x1 - a12x2 亠'亠a1pxpF? = a?i Xi ' 822X2 "八-' a 2 p x pF p = a pi Xi a p2 X2 ： ：'八 a pp x p簡寫為:Fj h'jiXi * j2X2 亠 i jpXpj =1,2, p要求模型滿足以下條件： Fi,Fj 互不相關(guān)(i = j , i,j =1,2/ , p) Fi的方差大于F2的方差大于F3的方差，依次類推2 2 2 akiak2

11、 akp " k =i,2, p.p個主成分。主成于是，稱Fi為第一主成分，F(xiàn)2為第二主成分，依此類推，有第 分又叫主分量。這里aj我們稱為主成分系數(shù)。上述模型可用矩陣表示為:F = AX，其中FZXi 'F =F2X =X2|ff 、aiiai2ai paiA =a2ia22a2pa299a=I-<a pia p2a pp J<ap .>A稱為主成分系數(shù)矩陣二、主成分分析的幾何解釋假設有n個樣品，每個樣品有二個變量，即在二維空間中討論主成分的幾何意義。設n個樣品在二維空間中的分布大致為一個橢園，如下圖所示：圖7.1主成分幾何解釋圖將坐標系進行正交旋轉(zhuǎn)一個角

12、度二，使其橢圓長軸方向取坐標 y,，在橢圓短軸方向取坐標y2，旋轉(zhuǎn)公式為y,j = x1j cos日 + x2j sin6y2j =Xij（s in 日）+x2jCos 日Lj =1,2 n寫成矩陣形式為:y,2 y,n I y22 y2nCOSTIL sin -sinr lx,COSX21X12X22X2n其中u為坐標旋轉(zhuǎn)變換矩陣，它是正交矩陣，即有UUU丄I，即滿足sin2 二 cos2 1。經(jīng)過旋轉(zhuǎn)變換后，得到下圖的新坐標:圖7.2主成分幾何解釋圖新坐標 -y2有如下性質(zhì)：(1) n個點的坐標y1和y2的相關(guān)幾乎為零。(2) 二維平面上的n個點的方差大部分都歸結(jié)為 力軸上，而y2軸上的方

13、差較小。yi和y稱為原始變量xi和X2的綜合變量。由于n個點在yi軸上的方差最大，因而將二維空間的點用在 yi軸上的一維綜合變量來代替，所損失的信息量最小，由此稱y1軸為第一主成分，y2軸與y1軸正交，有較小的方差，稱它為第二主成分。三、主成分分析的應用主成分概念首先是由 Karl parson 在1901年引進，但當時只對非隨機變量來討論 的。1933年Hotelling 將這個概念推廣到隨機變量。特別是近年來，隨著計算機軟件 的應用，使得主成分分析的應用也越來越廣泛。其中，主成分分析可以用于系統(tǒng)評估。系統(tǒng)評估是指對系統(tǒng)營運狀態(tài)做出評估，而評估一個系統(tǒng)的營運狀態(tài)往往需要綜合考察許多營運變量，

14、例如對某一類企業(yè)的經(jīng) 濟效益作評估，影響經(jīng)濟效益的變量很多，很難直接比較其優(yōu)劣，所以解決評估問題 的焦點是希望客觀、科學地將一個多變量問題綜合成一個單變量形式，也就是說只有 在一維空間中才能使排序評估成為可能，這正符合主成分分析的基本思想。在經(jīng)濟統(tǒng) 計研究中，除了經(jīng)濟效益的綜合評價研究外，對不同地區(qū)經(jīng)濟發(fā)展水平的評價研究， 不同地區(qū)經(jīng)濟發(fā)展競爭力的評價研究，人民生活水平、生活質(zhì)量的評價研究，等等都 可以用主成分分析方法進行研究。另外，主成分分析除了用于系統(tǒng)評估研究領(lǐng)域外，還可以與回歸分析結(jié)合，進行 主成分回歸分析，以及利用主成分分析進行挑選變量，選擇變量子集合的研究。第二節(jié)主成分的導出及主成分

15、分析的步驟一、主成分的導出根據(jù)主成分分析的數(shù)學模型的定義，要進行主成分分析，就需要根據(jù)原始數(shù)據(jù)， 以及模型的三個條件的要求，如何求出主成分系數(shù)，以便得到主成分模型。這就是導 出主成分所要解決的問題。1、根據(jù)主成分數(shù)學模型的條件要求主成分之間互不相關(guān)，為此主成分之間的協(xié)差陣應該是一個對角陣。即，對于主成分，F(xiàn) =AX其協(xié)差陣應為，Var(F)二Var(AX) =(AX) (AX)二 AXXA% 、二人=2、設原始數(shù)據(jù)的協(xié)方差陣為 V，如果原始數(shù)據(jù)進行了標準化處理后則協(xié)方差陣等 于相關(guān)矩陣，即有，V = R = XX3、 再由主成分數(shù)學模型條件和正交矩陣的性質(zhì)，若能夠滿足條件最好要求A為正交矩陣，

16、即滿足于是，將原始數(shù)據(jù)的協(xié)方差代入主成分的協(xié)差陣公式得Var(F)二 AXX A 二 ARA 二上展開上式得ARA'-.RA 二 A 上ri2J pirp2aiia21ai2a22ai pa2pa pia p2展開等式兩邊，根據(jù)矩陣相等的性質(zhì)，這里只根據(jù)第一列得出的方程為:2袒11ri paip = 0'a paip = 0rpiaii p2ai2 (pp- 1)ai p = 0為了得到該齊次方程的解，要求其系數(shù)矩陣行列式為0,即ri pri prp2rpp iR-=0顯然，'i是相關(guān)系數(shù)矩陣的特征值，ai二aii,ai2,aip是相應的特征向量。根據(jù)第二列、第三列等可

17、以得到類似的方程，于是'i是方程R- I=0的p個根，i為特征方程的特征根，aj是其特征向量的分量4、下面再證明主成分的方差是依次遞減設相關(guān)系數(shù)矩陣R的p個特征根為一乜-“，相應的特征向量為ajaiiai2a21a22a p2ai pa2papp >'ai'a2I-lap丿相對于斤的方差為Var（FJ = aiXXa；二 aiRai = i同樣有：Var(Fi)=%，即主成分的方差依次遞減。并且協(xié)方差為:Cov（aX ,ajX）二 aj Rqp二 ai (二a ：a：)ajp4&%)易)=0,Xj綜上所述，根據(jù)證明有，主成分分析中的主成分協(xié)方差應該是對角矩

18、陣，其對角線上的元素恰好是原始數(shù)據(jù)相關(guān)矩陣的特征值，而主成分系數(shù)矩陣A的元素則是原始數(shù)據(jù)相關(guān)矩陣特征值相應的特征向量。矩陣A是一個正交矩陣。于是，變量x1, x2/ xp經(jīng)過變換后得到新的綜合變量R = a11x1 - a12x2 亠亠 a1pxpF? = a21 x1 ' 822X2 "八-' a2 pxpF p = a pi xi a p2 x2亠亠appXp新的隨機變量彼此不相關(guān)，且方差依次遞減。二、主成分分析的計算步驟樣本觀測數(shù)據(jù)矩陣為:'X11X12X1 pX21X22aaX2palXn1Xn2Xnp jX 二第一步：對原始數(shù)據(jù)進行標準化處理。Xij

19、Xj _Xj (j.var(Xj)= 1,2.,n; j =1,2 , p)其中_1 nXjXjn 7nI 2var(Xj)(Xj - Xj)n T im(j 72,p)第二步：計算樣本相關(guān)系數(shù)矩陣。p121r 22為方便，假定原始數(shù)據(jù)標準化后仍用X表示，則經(jīng)標準化處理后的數(shù)據(jù)的相關(guān)系數(shù)為:nrij7 XtiXtjt丄(i, j "2,P)第三步：用雅克比方法求相關(guān)系數(shù)矩陣R的特征值(，匕p)和相應的特征向量 a =：知問2,aip ,i =1,2 p。第四步：選擇重要的主成分，并寫出主成分表達式。主成分分析可以得到 p個主成分，但是，由于各個主成分的方差是遞減的，包含的信息量也是遞

20、減的，所以實際分析時，一般不是選取p個主成分，而是根據(jù)各個主成分累計貢獻率的大小選取前k個主成分，這里貢獻率就是指某個主成分的方差占全部方差的比重，實際也就是某個特征值占全部特征值合計的比重。即貢獻率=p i遲丸ii d貢獻率越大，說明該主成分所包含的原始變量的信息越強。主成分個數(shù)k的選取，主要根據(jù)主成分的累積貢獻率來決定，即一般要求累計貢獻率達到85%以上，這樣才能保證綜合變量能包括原始變量的絕大多數(shù)信息。另外，在實際應用中，選擇了重要的主成分后，還要注意主成分實際含義解釋。主成分分析中一個很關(guān)鍵的問題是如何給主成分賦予新的意義，給出合理的解釋。一 般而言，這個解釋是根據(jù)主成分表達式的系數(shù)結(jié)

21、合定性分析來進行的。主成分是原來 變量的線性組合，在這個線性組合中個變量的系數(shù)有大有小，有正有負，有的大小相 當，因而不能簡單地認為這個主成分是某個原變量的屬性的作用，線性組合中各變量 系數(shù)的絕對值大者表明該主成分主要綜合了絕對值大的變量，有幾個變量系數(shù)大小相 當時，應認為這一主成分是這幾個變量的總和，這幾個變量綜合在一起應賦予怎樣的實際意義，這要結(jié)合具體實際問題和專業(yè)，給出恰當?shù)慕忉專M而才能達到深刻分析 的目的。第五步：計算主成分得分。根據(jù)標準化的原始數(shù)據(jù)，按照各個樣品，分別代入主成分表達式，就可以得到各 主成分下的各個樣品的新數(shù)據(jù)，即為主成分得分。具體形式可如下。F11F12F 1kF

22、21F 22F2kF n1Fn2F nk j第六步：依據(jù)主成分得分的數(shù)據(jù)，則可以進行進一步的統(tǒng)計分析其中,常見的應用有主成份回歸，變量子集合的選擇，綜合評價等。（）主成分分析法的基本思想主成分分析（Principal Component Analysis）是刑用降維的思想，將多個變 量轉(zhuǎn)化為少數(shù)幾個綜合變量（即主成分），直中每個主成分都是原始變量的線性 組合，各主成分之間互不相關(guān)，從而這些主成分能夠反映始變量的絕大部分信息, 且所含的信息互不重疊。2】采用這種方法可以克服單一的財務指標不能真實反映公司的財務情況的缺 點，引進多方面的財務指標，但又將復雜因素歸結(jié)為幾個主成分，使得復雜間題 得以簡

23、化，同時得到更為科學、準確的財務信息。（-）主成分分析法代數(shù)模型假設用P個變量來描述研究對象，分別用X, x2-xp來表示，這P個變量 構(gòu)成的p維隨機向量為X=（Xp Xy-Xp/o設隨機向量X的均值為卩，協(xié)方差矩 陣為。對X進行線性變化，考慮原始變量的線性組合：Zi=p i:Xi+卩 izX:-:pXpZz=p 21X1+M 22X計卩 zpXpIZ鬥j piXi+p pzX計卩 ppX?主成分是不相關(guān)的線性組合Zi，Z2Zp,并且Z是X】，XrXp的線性組 合中方差最大者，Z2是與Zi不相關(guān)的線性組合中方差最大者，,Zp是與Z, Z2Zn都不相關(guān)的線性組合中方差最大者。（三）主成分分析法基本步驟第一步：設估計樣本數(shù)為n,選取的財務指標數(shù)為