主成分分析原理

主成分分析原理第一頁，共五十六頁，編輯于2023年，星期六內(nèi)容一、前言二、問題的提出三、主成分分析1.二維數(shù)據(jù)的例子2.PCA的幾何意義3.均值和協(xié)方差、特征值和特征向量4.PCA的性質(zhì)四、主成分分析的算法五、具體實(shí)例實(shí)例2六、結(jié)論七、練習(xí)2第二頁，共五十六頁，編輯于2023年，星期六1.前言假定你是一個(gè)公司的財(cái)務(wù)經(jīng)理，掌握了公司的所有數(shù)據(jù)，比如固定資產(chǎn)、流動(dòng)資金、每一筆借貸的數(shù)額和期限、各種稅費(fèi)、工資支出、原料消耗、產(chǎn)值、利潤(rùn)、折舊、職工人數(shù)、職工的分工和教育程度等等。如果讓你介紹公司狀況，你能夠把這些指標(biāo)和數(shù)字都原封不動(dòng)地?cái)[出去嗎？

當(dāng)然不能。實(shí)例1實(shí)例2你必須要把各個(gè)方面作出高度概括，用一兩個(gè)指標(biāo)簡(jiǎn)單明了地把情況說清楚。

匯報(bào)什么？3第三頁，共五十六頁，編輯于2023年，星期六PCA多變量問題是經(jīng)常會(huì)遇到的。變量太多，無疑會(huì)增加分析問題的難度與復(fù)雜性.在許多實(shí)際問題中，多個(gè)變量之間是具有一定的相關(guān)關(guān)系的。因此，能否在各個(gè)變量之間相關(guān)關(guān)系研究的基礎(chǔ)上，用較少的新變量代替原來較多的變量，而且使這些較少的新變量盡可能多地保留原來較多的變量所反映的信息？事實(shí)上，這種想法是可以實(shí)現(xiàn)的.主成分分析原理:是把原來多個(gè)變量化為少數(shù)幾個(gè)綜合指標(biāo)的一種統(tǒng)計(jì)分析方法，從數(shù)學(xué)角度來看，這是一種降維處理技術(shù)。主成分分析方法就是綜合處理這種問題的一種強(qiáng)有力的方法。4第四頁，共五十六頁，編輯于2023年，星期六

(1)如何作主成分分析?當(dāng)分析中所選擇的變量具有不同的量綱，變量水平差異很大，應(yīng)該選擇基于相關(guān)系數(shù)矩陣的主成分分析。

在力求數(shù)據(jù)信息丟失最少的原則下，對(duì)高維的變量空間降維，即研究指標(biāo)體系的少數(shù)幾個(gè)線性組合，并且這幾個(gè)線性組合所構(gòu)成的綜合指標(biāo)將盡可能多地保留原來指標(biāo)變異方面的信息。這些綜合指標(biāo)就稱為主成分。要討論的問題是：2.問題的提出5第五頁，共五十六頁，編輯于2023年，星期六各個(gè)變量之間差異很大6第六頁，共五十六頁，編輯于2023年，星期六

（2）如何選擇幾個(gè)主成分。主成分分析的目的是簡(jiǎn)化變量，一般情況下主成分的個(gè)數(shù)應(yīng)該小于原始變量的個(gè)數(shù)。關(guān)于保留幾個(gè)主成分，應(yīng)該權(quán)衡主成分個(gè)數(shù)和保留的信息。（3）如何解釋主成分所包含的幾何意義或經(jīng)濟(jì)意義或其它。7第七頁，共五十六頁，編輯于2023年，星期六

美國(guó)的統(tǒng)計(jì)學(xué)家斯通(Stone)在1947年關(guān)于國(guó)民經(jīng)濟(jì)的研究是一項(xiàng)十分著名的工作。他曾利用美國(guó)1929一1938年各年的數(shù)據(jù)，得到了17個(gè)反映國(guó)民收入與支出的變量要素，例如雇主補(bǔ)貼、消費(fèi)資料和生產(chǎn)資料、純公共支出、凈增庫存、股息、利息、外貿(mào)平衡等等。在進(jìn)行主成分分析后，竟以97.4％的精度，用三個(gè)新變量就取代了原17個(gè)變量。實(shí)例1:經(jīng)濟(jì)分析8第八頁，共五十六頁，編輯于2023年，星期六

根據(jù)經(jīng)濟(jì)學(xué)知識(shí)，斯通給這三個(gè)新變量分別命名為總收入F1、總收入變化率F2和經(jīng)濟(jì)發(fā)展或衰退的趨勢(shì)F3。更有意思的是，這三個(gè)變量其實(shí)都是可以直接測(cè)量的。9第九頁，共五十六頁，編輯于2023年，星期六

主成分分析就是試圖在力保數(shù)據(jù)信息丟失最少的原則下，對(duì)這種多變量的數(shù)據(jù)表進(jìn)行最佳綜合簡(jiǎn)化，也就是說，對(duì)高維變量空間進(jìn)行降維處理。很顯然，識(shí)辨系統(tǒng)在一個(gè)低維空間要比在一個(gè)高維空間容易得多。10第十頁，共五十六頁，編輯于2023年，星期六實(shí)例2:成績(jī)數(shù)據(jù)100個(gè)學(xué)生的數(shù)學(xué)、物理、化學(xué)、語文、歷史、英語的成績(jī)?nèi)缦卤恚ú糠郑?1第十一頁，共五十六頁，編輯于2023年，星期六從本例可能提出的問題目前的問題是，能不能把這個(gè)數(shù)據(jù)的6個(gè)變量用一兩個(gè)綜合變量來表示呢？這一兩個(gè)綜合變量包含有多少原來的信息呢？能不能利用找到的綜合變量來對(duì)學(xué)生排序呢？這一類數(shù)據(jù)所涉及的問題可以推廣到對(duì)企業(yè)，對(duì)學(xué)校進(jìn)行分析、排序、判別和分類等問題。12第十二頁，共五十六頁，編輯于2023年，星期六例中的的數(shù)據(jù)點(diǎn)是六維的；也就是說，每個(gè)觀測(cè)值是6維空間中的一個(gè)點(diǎn)。我們希望把6維空間用低維空間表示。3.1PCA:二維數(shù)據(jù)分析13第十三頁，共五十六頁，編輯于2023年，星期六平均成績(jī)73.769.861.372.577.272.36372.370單科平均成績(jī)74.1747066.473.663.314第十四頁，共五十六頁，編輯于2023年，星期六15第十五頁，共五十六頁，編輯于2023年，星期六

先假定數(shù)據(jù)只有二維，即只有兩個(gè)變量，它們由橫坐標(biāo)和縱坐標(biāo)所代表；因此每個(gè)觀測(cè)值都有相應(yīng)于這兩個(gè)坐標(biāo)軸的兩個(gè)坐標(biāo)值；如果這些數(shù)據(jù)形成一個(gè)橢圓形狀的點(diǎn)陣（這在變量的二維正態(tài)的假定下是可能的）.16第十六頁，共五十六頁，編輯于2023年，星期六?????????????????????????????????????3.2主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸17第十七頁，共五十六頁，編輯于2023年，星期六?????????????????????????????????????主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸?18第十八頁，共五十六頁，編輯于2023年，星期六????????????????????????????????????主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸?19第十九頁，共五十六頁，編輯于2023年，星期六?????????????????????????????????????主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸???????????????????????????????????????????????????????????????20第二十頁，共五十六頁，編輯于2023年，星期六3.2.PCA:進(jìn)一步解釋

橢圓有一個(gè)長(zhǎng)軸和一個(gè)短軸。在短軸方向上，數(shù)據(jù)變化很少；在極端的情況，短軸如果退化成一點(diǎn)，那只有在長(zhǎng)軸的方向才能夠解釋這些點(diǎn)的變化了；這樣，由二維到一維的降維就自然完成了。21第二十一頁，共五十六頁，編輯于2023年，星期六二維數(shù)據(jù)22第二十二頁，共五十六頁，編輯于2023年，星期六進(jìn)一步解釋PCA當(dāng)坐標(biāo)軸和橢圓的長(zhǎng)短軸平行，那么代表長(zhǎng)軸的變量就描述了數(shù)據(jù)的主要變化，而代表短軸的變量就描述了數(shù)據(jù)的次要變化。但是，坐標(biāo)軸通常并不和橢圓的長(zhǎng)短軸平行。因此，需要尋找橢圓的長(zhǎng)短軸，并進(jìn)行變換，使得新變量和橢圓的長(zhǎng)短軸平行。如果長(zhǎng)軸變量代表了數(shù)據(jù)包含的大部分信息，就用該變量代替原先的兩個(gè)變量（舍去次要的一維），降維就完成了。橢圓（球）的長(zhǎng)短軸相差得越大，降維也越有道理。23第二十三頁，共五十六頁，編輯于2023年，星期六進(jìn)一步解釋PCA(續(xù))對(duì)于多維變量的情況和二維類似，也有高維的橢球，只不過無法直觀地看見罷了。首先把高維橢球的主軸找出來，再用代表大多數(shù)數(shù)據(jù)信息的最長(zhǎng)的幾個(gè)軸作為新變量；這樣，主成分分析就基本完成了。注意，和二維情況類似，高維橢球的主軸也是互相垂直的。這些互相正交的新變量是原先變量的線性組合，叫做主成分(principalcomponent)。

24第二十四頁，共五十六頁，編輯于2023年，星期六正如二維橢圓有兩個(gè)主軸，三維橢球有三個(gè)主軸一樣，有幾個(gè)變量，就有幾個(gè)主成分。選擇越少的主成分，降維就越好。什么是標(biāo)準(zhǔn)呢？那就是這些被選的主成分所代表的主軸的長(zhǎng)度之和占了主軸長(zhǎng)度總和的大部分。有些文獻(xiàn)建議，所選的主軸總長(zhǎng)度占所有主軸長(zhǎng)度之和的大約85%即可，其實(shí)，這只是一個(gè)大體的說法；具體選幾個(gè)，要看實(shí)際情況而定。25第二十五頁，共五十六頁，編輯于2023年，星期六3.3.均值和協(xié)方差

特征值和特征向量

設(shè)有n個(gè)樣本，每個(gè)樣本觀測(cè)p個(gè)指標(biāo)（變量）：X1，X2，…，Xn,得到原始數(shù)據(jù)矩陣：26第二十六頁，共五十六頁，編輯于2023年，星期六1.樣本均值顯然,樣本均值是數(shù)據(jù)散列圖的中心.于是p*n矩陣的列B具有零樣本均值,稱為平均偏差形式M27第二十七頁，共五十六頁，編輯于2023年，星期六2.樣本協(xié)方差

中心中心

協(xié)方差的大小在一定程度上反映了多變量之間的關(guān)系，但它還受變量自身度量單位的影響.注意：協(xié)方差是對(duì)稱矩陣且半正定28第二十八頁，共五十六頁，編輯于2023年，星期六3.3特征值與特征向量定義Ａ為ｎ階方陣，λ為數(shù)，為ｎ維非零向量，若則λ稱為Ａ的特征值，稱為Ａ的特征向量．注②并不一定唯一；③ｎ階方陣Ａ的特征值，就是使齊次線性方程組①特征向量，特征值問題只針對(duì)與方陣；有非零解的λ值，即滿足的λ都是方陣Ａ的特征值．定義稱以λ為未知數(shù)的一元ｎ次方程為Ａ的特征方程．29第二十九頁，共五十六頁，編輯于2023年，星期六例1:從一個(gè)總體中隨機(jī)抽取4個(gè)樣本作三次測(cè)量,每一個(gè)樣本的觀測(cè)向量為:計(jì)算樣本均值M和協(xié)方差矩陣S以及S的特征值和特征向量.30第三十頁，共五十六頁，編輯于2023年，星期六SyntaxC=cov(X)AlgorithmThealgorithmforcovis[n,p]=size(X);X=X-ones(n,1)*mean(X);Y=X'*X/(n-1);SeeAlsocorrcoef,mean,std,var31第三十一頁，共五十六頁，編輯于2023年，星期六?????????????????????????????????????平移、旋轉(zhuǎn)坐標(biāo)軸?M2023/6/1532第三十二頁，共五十六頁，編輯于2023年，星期六

為了方便，我們?cè)诙S空間中討論主成分的幾何意義。設(shè)有n個(gè)樣本，每個(gè)樣本有兩個(gè)觀測(cè)變量xl和x2，在由變量xl和x2所確定的二維平面中，n個(gè)樣本點(diǎn)所散布的情況如橢圓狀。由圖可以看出這n個(gè)樣本點(diǎn)無論是沿著xl軸方向或x2軸方向都具有較大的離散性，其離散的程度可以分別用觀測(cè)變量xl的方差和x2的方差定量地表示。顯然，如果只考慮xl和x2中的任何一個(gè)，那么包含在原始數(shù)據(jù)中的信息將會(huì)有較大的損失。

2023/6/1533第三十三頁，共五十六頁，編輯于2023年，星期六

如果我們將xl軸和x2軸先平移，再同時(shí)按逆時(shí)針方向旋轉(zhuǎn)角度，得到新坐標(biāo)軸Fl和F2。Fl和F2是兩個(gè)新變量。2023/6/1534第三十四頁，共五十六頁，編輯于2023年，星期六

Fl，F(xiàn)2除了可以對(duì)包含在Xl，X2中的信息起著濃縮作用之外，還具有不相關(guān)的性質(zhì)，這就使得在研究復(fù)雜的問題時(shí)避免了信息重疊所帶來的虛假性。二維平面上的個(gè)點(diǎn)的方差大部分都?xì)w結(jié)在Fl軸上，而F2軸上的方差很小。Fl和F2稱為原始變量x1和x2的綜合變量。

F簡(jiǎn)化了系統(tǒng)結(jié)構(gòu)，抓住了主要矛盾。

2023/6/1535第三十五頁，共五十六頁，編輯于2023年，星期六稍事休息36第三十六頁，共五十六頁，編輯于2023年，星期六§3.4PCA的性質(zhì)

一、兩個(gè)線性代數(shù)的結(jié)論

1、若A是p階實(shí)對(duì)稱陣，則一定可以找到正交陣U，使其中是A的特征根。37第三十七頁，共五十六頁，編輯于2023年，星期六2、若上述矩陣的特征根所對(duì)應(yīng)的單位特征向量為則實(shí)對(duì)稱陣屬于不同特征根所對(duì)應(yīng)的特征向量是正交的，即有令38第三十八頁，共五十六頁，編輯于2023年，星期六§3.4PCA的性質(zhì)(續(xù))3、均值4、方差為所有特征根之和

說明主成分分析把P個(gè)隨機(jī)變量的總方差分解成為P個(gè)不相關(guān)的隨機(jī)變量的方差之和。

協(xié)方差矩陣的對(duì)角線上的元素之和等于特征根之和。39第三十九頁，共五十六頁，編輯于2023年，星期六3.4、精度分析1）貢獻(xiàn)率：第i個(gè)主成分的方差在全部方差中所占比重，稱為貢獻(xiàn)率，反映了原來P個(gè)指標(biāo)多大的信息，有多大的綜合能力。2）累積貢獻(xiàn)率：前k個(gè)主成分共有多大的綜合能力，用這k個(gè)主成分的方差和在全部方差中所占比重來描述，稱為累積貢獻(xiàn)率。40第四十頁，共五十六頁，編輯于2023年，星期六PCA常用統(tǒng)計(jì)量：１.特征根λi

２.各成分貢獻(xiàn)率３.前各成分累計(jì)貢獻(xiàn)率４.特征向量各成分表達(dá)式中標(biāo)準(zhǔn)化原始變量的系數(shù)向量，就是各成分的特征向量。41第四十一頁，共五十六頁，編輯于2023年，星期六

我們進(jìn)行主成分分析的目的之一是希望用盡可能少的主成分F1，F(xiàn)2，…，F(xiàn)k（k≤p）代替原來的P個(gè)指標(biāo)。到底應(yīng)該選擇多少個(gè)主成分，在實(shí)際工作中，主成分個(gè)數(shù)的多少取決于能夠反映原來變量80%以上的信息量為依據(jù)，即當(dāng)累積貢獻(xiàn)率≥80%時(shí)的主成分的個(gè)數(shù)就足夠了。最常見的情況是主成分為2到3個(gè)。42第四十二頁，共五十六頁，編輯于2023年，星期六例

設(shè)的協(xié)方差矩陣為解得特征根為，，，，第一個(gè)主成分的貢獻(xiàn)率為5.83/（5.83+2.00+0.17）=72.875%，盡管第一個(gè)主成分的貢獻(xiàn)率并不小，但應(yīng)該取兩個(gè)主成分。97.88%43第四十三頁，共五十六頁，編輯于2023年，星期六§4主成分分析的步驟第一步：由X的協(xié)方差陣Σx，求出其特征根，即解方程，可得特征根。一、基于協(xié)方差矩陣44第四十四頁，共五十六頁，編輯于2023年，星期六第二步：求出分別所對(duì)應(yīng)的特征向量U1，U2，…，Up，第三步：計(jì)算累積貢獻(xiàn)率，給出恰當(dāng)?shù)闹鞒煞謧€(gè)數(shù)。第四步：計(jì)算所選出的k個(gè)主成分的得分。將原始數(shù)據(jù)的中心化值:

代入前k個(gè)主成分的表達(dá)式，分別計(jì)算出各單位k個(gè)主成分的得分，并按得分值的大小排隊(duì)。45第四十五頁，共五十六頁，編輯于2023年，星期六

例

應(yīng)收賬款是指企業(yè)因?qū)ν怃N售產(chǎn)品、材料、提供勞務(wù)及其它原因，應(yīng)向購貨單位或接受勞務(wù)的單位收取的款項(xiàng)，包括應(yīng)收銷貨款、其它應(yīng)收款和應(yīng)收票據(jù)等。出于擴(kuò)大銷售的競(jìng)爭(zhēng)需要，企業(yè)不得不以賒銷或其它優(yōu)惠的方式招攬顧客，由于銷售和收款的時(shí)間差，于是產(chǎn)生了應(yīng)收款項(xiàng)。應(yīng)收款賒銷的效果的好壞，不僅依賴于企業(yè)的信用政策，還依賴于顧客的信用程度。由此，評(píng)價(jià)顧客的信用等級(jí)，了解顧客的綜合信用程度，做到“知己知彼，百戰(zhàn)不殆”，對(duì)加強(qiáng)企業(yè)的應(yīng)收賬款管理大有幫助。某企業(yè)為了了解其客戶的信用程度，采用西方銀行信用評(píng)估常用的5C方法，5C的目的是說明顧客違約的可能性。

§5PCA的應(yīng)用

46第四十六頁，共五十六頁，編輯于2023年，星期六1、品格（用X1表示），指顧客的信譽(yù)，履行償還義務(wù)的可能性。企業(yè)可以通過過去的付款記錄得到此項(xiàng)。2、能力（用X2表示），指顧客的償還能力。即其流動(dòng)資產(chǎn)的數(shù)量和質(zhì)量以及流動(dòng)負(fù)載的比率。顧客的流動(dòng)資產(chǎn)越多，其轉(zhuǎn)化為現(xiàn)金支付款項(xiàng)的能力越強(qiáng)。同時(shí)，還應(yīng)注意顧客流動(dòng)資產(chǎn)的質(zhì)量，看其是否會(huì)出現(xiàn)存貨過多過時(shí)質(zhì)量下降，影響其變現(xiàn)能力和支付能力。3、資本（用X3表示），指顧客的財(cái)務(wù)勢(shì)力和財(cái)務(wù)狀況，表明顧客可能償還債務(wù)的背景。4、附帶的擔(dān)保品（用X4表示），指借款人以容易出售的資產(chǎn)做抵押。5、環(huán)境條件（用X5表示），指企業(yè)的外部因素，即指非企業(yè)本身能控制或操縱的因素。

47第四十七頁，共五十六頁，編輯于2023年，星期六首先并抽取了10家具有可比性的同類企業(yè)作為樣本，又請(qǐng)8位專家分別給10個(gè)企業(yè)的5個(gè)指標(biāo)打分，然后分別計(jì)算企業(yè)5個(gè)指標(biāo)的平均值，如表。

76.581.57675.871.78579.280.384.476.570.67367.668.178.5949487.589.59290.787.39181.58084.666.968.864.866.477.573.670.969.874.857.760.457.460.86585.668.57062.276.57069.271.764.968.9；48第四十八頁，共五十六頁，編輯于2023年，星期六EigenvaluesoftheCovarianceMatrixEigenvalueDifferenceProportionCumulativePRIN1410.506367.2420.8458540.84585PRIN243.26422.5940.0891460.93500PRIN320.67012.5990.0425910.97759PRIN48.0715.2660.0166300.99422PRIN52.8050.00.0057791.00000

EigenvectorsPRIN1PRIN2PRIN3PRIN4PRIN5X10.468814-.8306120.0214060.254654-.158081X20.4848760.3299160.014801-.287720-.757000X30.472744-.021174-.412719-.5885820.509213X40.4617470.430904-.2408450.7062830.210403X50.3292590.1229300.878054-.0842860.31367749第四十九頁，共五十六頁，編輯于2023年，星期六第一主成份的貢獻(xiàn)率為84.6%，第一主成份Z1=0.469X1+0.485X2+0.473X3+0.462X4+0.329X5

的各項(xiàng)系數(shù)大致相等，且均為正數(shù)，說明第一主成份是對(duì)所有指標(biāo)的一個(gè)綜合測(cè)度，可以作為綜合的信用等級(jí)指標(biāo)?？梢杂脕砼判颉⒃紨?shù)據(jù)的值中心化后，代入第一主成份Z1的表示式，計(jì)算各企業(yè)的得分，并按分值大小排序:

在正確評(píng)估了顧客的信用等級(jí)后，就能正確制定出對(duì)其的信用期、收帳政策等，這對(duì)于加強(qiáng)應(yīng)收帳款的管理大有幫助。序號(hào)12345678910得分3.1613.6-9.0135.925.1-10.3-4.36-33.8-6.41-13.8排序4371285106950第五十頁，共五十六頁，編輯于2023年，星期六例二基于相關(guān)系數(shù)矩陣的主成分分析。對(duì)美國(guó)紐約上市的有關(guān)化學(xué)產(chǎn)業(yè)的三個(gè)證券和石油產(chǎn)業(yè)的2個(gè)證券做了100周的收益率調(diào)查。下表是其相關(guān)系數(shù)矩陣。1）利用相關(guān)系數(shù)矩陣做主成分分析。2）決定要保留的主成分個(gè)數(shù)，并解釋意義。10.5770.5090.00630.00370.57710.5990.3890.520.5090.59910.4360.4260.3870.3890.43610.5230.4620.3220.4260.523151第五十一頁，共五十六頁，編輯于2023年，星期六EigenvaluesoftheCorrelationMatrixEigenvalueDifferenceProportionCumulativePRIN12.856712.047550.5713420.57134PRIN20.809160.269490.1618330.73317PRIN30.539680.088180.1079350.84111PRIN40.451500.108550.0903000.93141PRIN50.342950.00.0685901.00000EigenvectorsPRIN1PRIN2PRIN3PRIN4PRIN5X10.463605-.240339-.6117050.386635-.4512