主成分分析-原理

題目:主成分分析PCA

PrincipalComponentAnalysis1內容一、前言二、問題的提出三、主成分分析1.二維數(shù)據(jù)的例子2.PCA的幾何意義3.均值和協(xié)方差、特征值和特征向量4.PCA的性質四、主成分分析的算法五、具體實例

實例2

六、結論七、練習21.前言假定你是一個公司的財務經(jīng)理，掌握了公司的所有數(shù)據(jù)，比如固定資產(chǎn)、流動資金、每一筆借貸的數(shù)額和期限、各種稅費、工資支出、原料消耗、產(chǎn)值、利潤、折舊、職工人數(shù)、職工的分工和教育程度等等。如果讓你介紹公司狀況，你能夠把這些指標和數(shù)字都原封不動地擺出去嗎？

當然不能。實例1

實例2你必須要把各個方面作出高度概括，用一兩個指標簡單明了地把情況說清楚。

匯報什么？3PCA多變量問題是經(jīng)常會遇到的。變量太多，無疑會增加分析問題的難度與復雜性.在許多實際問題中，多個變量之間是具有一定的相關關系的。因此，能否在各個變量之間相關關系研究的基礎上，用較少的新變量代替原來較多的變量，而且使這些較少的新變量盡可能多地保留原來較多的變量所反映的信息？事實上，這種想法是可以實現(xiàn)的.主成分分析原理:是把原來多個變量化為少數(shù)幾個綜合指標的一種統(tǒng)計分析方法，從數(shù)學角度來看，這是一種降維處理技術。主成分分析方法就是綜合處理這種問題的一種強有力的方法。4

(1)如何作主成分分析?當分析中所選擇的變量具有不同的量綱，變量水平差異很大，應該選擇基于相關系數(shù)矩陣的主成分分析。

在力求數(shù)據(jù)信息丟失最少的原則下，對高維的變量空間降維，即研究指標體系的少數(shù)幾個線性組合，并且這幾個線性組合所構成的綜合指標將盡可能多地保留原來指標變異方面的信息。這些綜合指標就稱為主成分。要討論的問題是：2.問題的提出5各個變量之間差異很大6

（2）如何選擇幾個主成分。主成分分析的目的是簡化變量，一般情況下主成分的個數(shù)應該小于原始變量的個數(shù)。關于保留幾個主成分，應該權衡主成分個數(shù)和保留的信息。（3）如何解釋主成分所包含的幾何意義或經(jīng)濟意義或其它。7

美國的統(tǒng)計學家斯通(Stone)在1947年關于國民經(jīng)濟的研究是一項十分著名的工作。他曾利用美國1929一1938年各年的數(shù)據(jù)，得到了17個反映國民收入與支出的變量要素，例如雇主補貼、消費資料和生產(chǎn)資料、純公共支出、凈增庫存、股息、利息、外貿(mào)平衡等等。在進行主成分分析后，竟以97.4％的精度，用三個新變量就取代了原17個變量。實例1:經(jīng)濟分析8

根據(jù)經(jīng)濟學知識，斯通給這三個新變量分別命名為總收入F1、總收入變化率F2和經(jīng)濟發(fā)展或衰退的趨勢F3。更有意思的是，這三個變量其實都是可以直接測量的。9

主成分分析就是試圖在力保數(shù)據(jù)信息丟失最少的原則下，對這種多變量的數(shù)據(jù)表進行最佳綜合簡化，也就是說，對高維變量空間進行降維處理。很顯然，識辨系統(tǒng)在一個低維空間要比在一個高維空間容易得多。10實例2:成績數(shù)據(jù)100個學生的數(shù)學、物理、化學、語文、歷史、英語的成績如下表（部分）。11從本例可能提出的問題目前的問題是，能不能把這個數(shù)據(jù)的6個變量用一兩個綜合變量來表示呢？這一兩個綜合變量包含有多少原來的信息呢？能不能利用找到的綜合變量來對學生排序呢？這一類數(shù)據(jù)所涉及的問題可以推廣到對企業(yè)，對學校進行分析、排序、判別和分類等問題。12例中的的數(shù)據(jù)點是六維的；也就是說，每個觀測值是6維空間中的一個點。我們希望把6維空間用低維空間表示。3.1PCA:二維數(shù)據(jù)分析13平均成績73.769.861.372.577.272.36372.370單科平均成績74.1747066.473.663.31415

先假定數(shù)據(jù)只有二維，即只有兩個變量，它們由橫坐標和縱坐標所代表；因此每個觀測值都有相應于這兩個坐標軸的兩個坐標值；如果這些數(shù)據(jù)形成一個橢圓形狀的點陣（這在變量的二維正態(tài)的假定下是可能的）.16?????????????????????????????????????3.2主成分分析的幾何解釋平移、旋轉坐標軸17?????????????????????????????????????主成分分析的幾何解釋平移、旋轉坐標軸?18????????????????????????????????????主成分分析的幾何解釋平移、旋轉坐標軸?19?????????????????????????????????????主成分分析的幾何解釋平移、旋轉坐標軸???????????????????????????????????????????????????????????????203.2.PCA:進一步解釋

橢圓有一個長軸和一個短軸。在短軸方向上，數(shù)據(jù)變化很少；在極端的情況，短軸如果退化成一點，那只有在長軸的方向才能夠解釋這些點的變化了；這樣，由二維到一維的降維就自然完成了。21二維數(shù)據(jù)22進一步解釋PCA當坐標軸和橢圓的長短軸平行，那么代表長軸的變量就描述了數(shù)據(jù)的主要變化，而代表短軸的變量就描述了數(shù)據(jù)的次要變化。但是，坐標軸通常并不和橢圓的長短軸平行。因此，需要尋找橢圓的長短軸，并進行變換，使得新變量和橢圓的長短軸平行。如果長軸變量代表了數(shù)據(jù)包含的大部分信息，就用該變量代替原先的兩個變量（舍去次要的一維），降維就完成了。橢圓（球）的長短軸相差得越大，降維也越有道理。23進一步解釋PCA(續(xù))對于多維變量的情況和二維類似，也有高維的橢球，只不過無法直觀地看見罷了。首先把高維橢球的主軸找出來，再用代表大多數(shù)數(shù)據(jù)信息的最長的幾個軸作為新變量；這樣，主成分分析就基本完成了。注意，和二維情況類似，高維橢球的主軸也是互相垂直的。這些互相正交的新變量是原先變量的線性組合，叫做主成分(principalcomponent)。

24正如二維橢圓有兩個主軸，三維橢球有三個主軸一樣，有幾個變量，就有幾個主成分。選擇越少的主成分，降維就越好。什么是標準呢？那就是這些被選的主成分所代表的主軸的長度之和占了主軸長度總和的大部分。有些文獻建議，所選的主軸總長度占所有主軸長度之和的大約85%即可，其實，這只是一個大體的說法；具體選幾個，要看實際情況而定。253.3.均值和協(xié)方差

特征值和特征向量

設有n個樣本，每個樣本觀測p個指標（變量）：X1，X2，…，Xn,得到原始數(shù)據(jù)矩陣：261.樣本均值顯然,樣本均值是數(shù)據(jù)散列圖的中心.于是p*n矩陣的列B具有零樣本均值,稱為平均偏差形式M272.樣本協(xié)方差

中心中心

協(xié)方差的大小在一定程度上反映了多變量之間的關系，但它還受變量自身度量單位的影響.注意：協(xié)方差是對稱矩陣且半正定283.3特征值與特征向量定義Ａ為ｎ階方陣，λ為數(shù)，為ｎ維非零向量，若則λ稱為Ａ的特征值，稱為Ａ的特征向量．注②并不一定唯一；③ｎ階方陣Ａ的特征值，就是使齊次線性方程組①特征向量，特征值問題只針對與方陣；有非零解的λ值，即滿足的λ都是方陣Ａ的特征值．定義稱以λ為未知數(shù)的一元ｎ次方程為Ａ的特征方程．29例1:從一個總體中隨機抽取4個樣本作三次測量,每一個樣本的觀測向量為:計算樣本均值M和協(xié)方差矩陣S以及S的特征值和特征向量.30SyntaxC=cov(X)AlgorithmThealgorithmforcovis[n,p]=size(X);X=X-ones(n,1)*mean(X);Y=X'*X/(n-1);SeeAlsocorrcoef,mean,std,var31?????????????????????????????????????平移、旋轉坐標軸?M9/28/202332

為了方便，我們在二維空間中討論主成分的幾何意義。設有n個樣本，每個樣本有兩個觀測變量xl和x2，在由變量xl和x2所確定的二維平面中，n個樣本點所散布的情況如橢圓狀。由圖可以看出這n個樣本點無論是沿著xl軸方向或x2軸方向都具有較大的離散性，其離散的程度可以分別用觀測變量xl的方差和x2的方差定量地表示。顯然，如果只考慮xl和x2中的任何一個，那么包含在原始數(shù)據(jù)中的信息將會有較大的損失。

9/28/202333

如果我們將xl軸和x2軸先平移，再同時按逆時針方向旋轉

角度，得到新坐標軸Fl和F2。Fl和F2是兩個新變量