數(shù)據(jù)挖掘主成分分析pca

1、主成分分析PCAPrincipal Component Analysis內(nèi)容一、二、問(wèn)題的提出三、主成分分析1.二維數(shù)據(jù)的例子2.PCA的幾何意義3.4.均值和協(xié)方差、 特征值和特征向量PCA的性質(zhì)四、主成分分析的算法實(shí)例2五、具體實(shí)例六、 結(jié)論21.假定你是一個(gè)公司的財(cái)務(wù)經(jīng)理，掌握了公司的所有數(shù)據(jù)，比如固定資產(chǎn)、資金、每一筆借貸的數(shù)額和期限、各種稅費(fèi)、工資、原料消耗、產(chǎn)值、利潤(rùn)、折舊、職工人數(shù)、職工的分工和教育程度等等。如果讓你介紹公司狀況，你能夠把這些指標(biāo)和數(shù)字都原封不動(dòng)地?cái)[出去嗎？當(dāng)然不能。實(shí)例1實(shí)例2你必須要把各個(gè)方面作出高度概括，用一兩個(gè)指標(biāo)簡(jiǎn)單明了地把情況說(shuō)清楚。3PCA多特征/屬

2、性問(wèn)題是經(jīng)常會(huì)遇到的。特征太多，無(wú)疑會(huì)增加分析問(wèn)題的難度與復(fù)雜性.在許多實(shí)際問(wèn)題中，多個(gè)特征之間是具有一定的相關(guān)關(guān)系的。因此，能否在各個(gè)變量之間相關(guān)關(guān)系研究的基礎(chǔ)上，用較少的新特征代替原來(lái)較多的變量，而且使這些較少的新特征盡可能多地保留原來(lái)較多的特征所反映的信息？事實(shí)上，這種想法是可以實(shí)現(xiàn)的.主成分分析原理: 是把原來(lái)多個(gè)特征化為少數(shù)幾個(gè)特征指標(biāo)的一種統(tǒng)計(jì)分析方法，從數(shù)學(xué)角度來(lái)看，這是一種降維處理技術(shù)。主成分分析方法就是綜合處理這種問(wèn)題的一種強(qiáng)的方法。42.問(wèn)題的提出在力求數(shù)據(jù)信息丟失最少的原則下，對(duì)高維的特征空間降維，即研究指標(biāo)體系的少數(shù)幾個(gè)線性組合，并且這幾個(gè)線性組合所的綜合指標(biāo)將盡可能多

3、地保留原來(lái)指標(biāo)變異方面的信息。這些綜合指標(biāo)就稱(chēng)為主成分。要討論的問(wèn)題是：(1)如何作主成分分析?當(dāng)分析中所選擇的變量具有不同的量綱，變量水平差異很大，應(yīng)該選擇基于相關(guān)系數(shù)矩陣的主成分分析。5各個(gè)變量之間差異很大6（2）如何確定主成分的數(shù)量。主成分分析的目的是簡(jiǎn)化特征空間，一般情況下主成分的個(gè)數(shù)應(yīng)該小于原始特征的個(gè)數(shù)。關(guān)于保留幾個(gè)主成分，應(yīng)該權(quán)衡主成分個(gè)數(shù)和保留的信息。（3）如何解釋主成分所包含的幾何意義。7實(shí)例1:分析美國(guó)的統(tǒng)計(jì)學(xué)家斯通(Stone)在1947年關(guān)于的研究是一項(xiàng)十分著名的工作。他曾利用美國(guó)1929一1938年各年的數(shù)據(jù)，得到了17個(gè)反映收入與的屬性/特征要素，例如雇主補(bǔ)貼、消費(fèi)

4、資料和生產(chǎn)資料、純公共息、外貿(mào)平衡等等。、凈增庫(kù)存、股息、利l 在進(jìn)行主成分分析后，竟以97.4的精度，用三個(gè)新屬性就取代了原17個(gè)屬性。8根據(jù)學(xué)知識(shí)，斯通給這三個(gè)新屬性分別命名為總收入F1、總收入變化率F2和發(fā)展或的趨勢(shì)F3。更有意思的是，這三個(gè)屬性其實(shí)都是可以直接測(cè)量的。9主成分分析就是試圖在力保數(shù)據(jù)信息丟失最少的原則下，對(duì)這種多特征的數(shù)據(jù)表進(jìn)行最佳綜合簡(jiǎn)化，也就是說(shuō)，對(duì)高維特征空間進(jìn)行降維處理。很顯然，識(shí)辨系統(tǒng)在一個(gè)低要比在一個(gè)高容易得多。10實(shí)例2:成績(jī)數(shù)據(jù)100個(gè)學(xué)生的數(shù)學(xué)、物理、化學(xué)、語(yǔ)文、歷史、英語(yǔ)的成績(jī)?nèi)缦卤恚ú糠郑?1從本例可能提出的問(wèn)題 目前的問(wèn)題是，能不能把這個(gè)數(shù)據(jù)的6

5、 個(gè)屬性用12個(gè)綜合屬性來(lái)表示呢？ 這一兩個(gè)綜合屬性包含有多少原來(lái)的信息呢？ 能不能利用找到的綜合屬性來(lái)對(duì)學(xué)生排序呢？這一類(lèi)數(shù)據(jù)所涉及的問(wèn)題可以推廣到對(duì)企業(yè)，對(duì)學(xué)校進(jìn)行分析、排序、判別和分類(lèi)等問(wèn)題。123.1PCA:二維數(shù)據(jù)分析例中的的數(shù)據(jù)點(diǎn)是六維的；也就是說(shuō)，每個(gè)觀測(cè)值是6 低中的一個(gè)點(diǎn)。我們希望把6 表示。用1314單科平均成績(jī)74.1747066.473.663.3平均成績(jī)73.769.861.372.577.272.36372.3701009590858075706560646668707274767880828415data M先假定數(shù)據(jù)只有二維，即只有兩個(gè)特征，它們由橫坐標(biāo)和縱坐標(biāo)

6、所代表； 因此每個(gè)觀測(cè)值都有相應(yīng)于這兩個(gè)坐 標(biāo)軸的兩個(gè)坐標(biāo)值；如果這些數(shù)據(jù)形成一個(gè)橢圓形狀的點(diǎn)陣（這在特征的二維正態(tài)的假定下是可能的）.16平移、旋轉(zhuǎn)坐標(biāo)軸xF1232主成分分析的幾何解釋F2 x117.平移、旋轉(zhuǎn)坐標(biāo)軸xF12主成分分析的幾何解釋F2 x1 18平移、旋轉(zhuǎn)坐標(biāo)軸xF12主成分分析的幾何解釋F2 x1 19平移、旋x轉(zhuǎn)坐標(biāo)軸F21F2主成分分析的幾何解釋 x1 203.2.PCA:進(jìn)一步解釋橢圓有一個(gè)長(zhǎng)軸和一個(gè)短軸。在短軸方向上，數(shù)據(jù)變化很少；在情況，短軸如果的成一-4-2024點(diǎn)，那只有在長(zhǎng)軸的方向才能夠解釋這些點(diǎn)的變化了；這樣，由二維到一維的降維就自然完成了。21-4-20

7、24二維數(shù)據(jù)-4-202422-4-2024進(jìn)一步解釋PCA當(dāng)坐標(biāo)軸和橢圓的長(zhǎng)短軸平行，那么代表長(zhǎng)軸的變量就描述了數(shù)據(jù)的主要變化，而代表短軸的變量就描述了數(shù)據(jù)的次要變化。但是，坐標(biāo)軸通常并不和橢圓的長(zhǎng)短軸平行。因此，需要尋找橢圓的長(zhǎng)短軸，并進(jìn)行變換， 使得新變量和橢圓的長(zhǎng)短軸平行。如果長(zhǎng)軸變量代表了數(shù)據(jù)包含的大部分信息， 就用該變量代替原先的兩個(gè)變量（舍去次要的一維），降維就完成了。橢圓（球）的長(zhǎng)短軸相差得越大，降維也越有道理。23進(jìn)一步解釋PCA(續(xù))對(duì)于變量的情況和二維類(lèi)似，也有高維的橢球，只不過(guò)無(wú)法直觀地看見(jiàn)罷了。首先把高維橢球的主軸找出來(lái)，再用代表大多數(shù)數(shù)據(jù)信息的最長(zhǎng)的幾個(gè)軸作為新變量

8、；這樣，主成分分析就基本完成了。注意，和二維情況類(lèi)似，高維橢球的主軸也是互相垂直的。這些互相正交的新變量是原先變量的線性組合，叫做主成分(principal component)。24 正如二維橢圓有兩個(gè)主軸，三維橢球有三個(gè)主軸一樣，有幾個(gè)變量，就有幾個(gè)主成分。 選擇越少的主成分，降維就越好。什么是標(biāo)準(zhǔn)呢？那就是這些被選的主成分所代表的主軸的長(zhǎng)度之和占了主軸長(zhǎng)度總和的大部分。有些文獻(xiàn)建議， 所選的主軸總長(zhǎng)度占所有主軸長(zhǎng)度之和的大約85%即可，其實(shí)，這只是一個(gè)大體的說(shuō)法；具體選幾個(gè)，要看實(shí)際情況而定。253.3.均值和協(xié)方差、特征值和特征向量設(shè)有n個(gè)樣本，每個(gè)樣本觀測(cè)p個(gè)指標(biāo)（變量）：X1，X2

9、，Xn, 得到原始數(shù)據(jù)矩陣：ù1nú2n úX =êúúpn úû p´n­Xn­X1­X2-4-202426-4-20241.樣本均值MM = 1 (X + X+ X).-4-202412nn顯然,樣本均值是數(shù)據(jù)散列圖的中心.Xk= Xk- M于是 p*n 矩陣的列B具有零樣本均值,稱(chēng)為平均偏差形式ùB =n û27-4-2024注意：協(xié)方差是對(duì)稱(chēng)矩陣且半正定2.樣本協(xié)方差1S =BBTn -1協(xié)方差的大小在一定程度上反映了多特征之間的相關(guān)關(guān)系，但它還受

10、每種特征自身度量的影響.28·中·心····· · · ····中· 心······3.3特征值與特征向量定義若為階方陣，為數(shù)，X 為維非零向量，AX = l X則稱(chēng)為的特征值，X稱(chēng)為的特征向量特征向量X ¹ 0 ，特征值問(wèn)題只l , X并不一定唯一；階方陣的特征值，就是使齊次線性方程組注 與方陣；(l I - A) x = 0 有非零解的值，即滿(mǎn)足的都是方陣的特征值l I - A =

11、0l I - A = 0稱(chēng)以為未知數(shù)的一元次方程定義為的特征方程29 例1:從一個(gè)總體中隨機(jī)抽取4個(gè)樣本作三次測(cè)量,每一個(gè)樣本的觀測(cè)向量為:é1ùé 4 ùé7ùé8ù= ê8ú ,= ê4úXê úêë1úûê úêë5úû34êë1úûêë13úû計(jì)算樣本均值M和協(xié)方差矩陣S

12、以及S的特征值和特征向量.M = 1nn1åi=1SX = l XXS =BBn -1Ti30SyntaxC = cov(X)AlgorithmThe algorithm for cov is n,p = size(X);X = X - ones(n,1) * mean(X);Y = X'*X/(n-1);See Alsocorrcoef, mean, std, var31平移、旋轉(zhuǎn)坐標(biāo)軸xF12F2 M x1 2014/10/1032為了方便，我們?cè)诙杏懻撝鞒煞值膸缀我饬x。設(shè)有n個(gè)樣本，每個(gè)樣本有兩個(gè)觀測(cè)特征xl和x2，在由特征xl和x2 所確定的二維平面中，n個(gè)樣本點(diǎn)所

13、散布的情況如橢圓狀。由圖可以看出這n個(gè)樣本點(diǎn)無(wú)論是沿著xl 軸方向或x2軸方向都具有較大的離散性，其離散的程度可以分別用觀測(cè)變量xl 的方差和x2 的方差定量地表示。顯然， 如果只考慮xl和x2 中的任何一個(gè)，那么包含在原始數(shù)據(jù)中的信息將會(huì)有較大的損失。2014/10/1033xl 軸和x2軸先平移，再同時(shí)如果按逆時(shí)針?lè)较蛐D(zhuǎn)q角度，得到新坐標(biāo)軸Fl和F2。Fl和F2是兩個(gè)新特征。2014/10/1034Fl，F(xiàn)2除了可以對(duì)包含在Xl，X2中的信息起著濃縮作用之外，還具有不相關(guān)的性質(zhì)，這就使得在研究復(fù)雜的問(wèn)題時(shí)避免了信息重疊所帶來(lái)的虛假性。二維平面上的個(gè)點(diǎn)的方差大部分都?xì)w結(jié)在Fl軸上，而F2軸

14、上的方差很小。Fl和F2稱(chēng)為原始變量x1和x2的綜合特征。F簡(jiǎn)化了系統(tǒng)結(jié)構(gòu)，抓住了主要。2014/10/1035§3.4PCA的性質(zhì)一、兩個(gè)線性代數(shù)的結(jié)論1、若A是p階實(shí)對(duì)稱(chēng)陣，則一定可以找到正交陣U，使él1ê 0LLOL00 ù0 úlU-1AU = êúM ú2ê Mê 0M0úlp ´ pëp û其中l(wèi)i ,i = 1.2.L p是A的特征根。362、若上述矩陣的特征根所對(duì)應(yīng)的為 u1 ,L,up特征向量LLéu11êuu12u

15、1 p ùúuuU = (u ,L,u ) = ê2 p ú2122令1pêúMMMêuúLuuëpp ûp1p 2則實(shí)對(duì)稱(chēng)陣 A 屬于不同特征根所對(duì)應(yīng)的特征向量是正交的，即有U¢U = UU¢ = I37§3.4PCA的性質(zhì)(續(xù))E(UT x) = UT M3、均值4、方差為所有特征根之和påVar(F ) =l + l + l= s+s+s+2222pi12p1i=1說(shuō)明主成分分析把P個(gè)隨量的總方差分解成為P個(gè)不相關(guān)的隨量的方差之和。協(xié)方差矩陣S的對(duì)角

16、線上的元之和。和等于特征根383.4、精度分析1）貢獻(xiàn)率：第i個(gè)主成分的方差在全部方差中所占p比重，稱(chēng)為貢獻(xiàn)率，反映了原來(lái)P個(gè)指標(biāo)多大liå lii=1的信息，有多大的綜合能力。2）累積貢獻(xiàn)率：前k個(gè)主成分共有多大的綜合能力，用這k個(gè)主成分的方差和在全部方差中所占比重pkå liå lii=1i=1來(lái)描述，稱(chēng)為累積貢獻(xiàn)率。39PCA常用統(tǒng)計(jì)量：.特征根iliåli.各成分貢獻(xiàn)率.前各成分累計(jì)貢獻(xiàn)率.特征向量各成分表達(dá)式中標(biāo)準(zhǔn)化原始變量的系數(shù)向量，就是各成分的特征向量。40我們進(jìn)行主成分分析的目的之一是希望用盡可能少的主成分F1，F(xiàn)2，F(xiàn)k（kp）代替 原

17、來(lái)的P個(gè)指標(biāo)。到底應(yīng)該選擇多少個(gè)主成分， 在實(shí)際工作中，主成分個(gè)數(shù)的多少取決于能夠反映原來(lái)變量80%以上的信息量為依據(jù)，即當(dāng)累 積貢獻(xiàn)率80%時(shí)的主成分的個(gè)數(shù)就足夠了。最常見(jiàn)的情況是主成分為2到3個(gè)。41例 設(shè)é 13 的協(xié)方差矩陣為0ù- 250S = ê- 20úêêë 0ú2úû= 2.00 ，l3é0ù= 0.17é0.924ùl1 = 5.83，l2解得特征根為，é 0.383 ùU = ê- 0.924ú

18、= ê0ú= ê0.383úUUêúê úêë1úûêú123êë 0.000 úûêë0.000úû第一個(gè)主成分的貢獻(xiàn)率為5.83/ （ 5.83+2.00+0.17 ）=72.875%，盡管第一個(gè)主成分的貢獻(xiàn)率并不小，但應(yīng)該取兩個(gè)主成分。97.88%42§4主成分分析的步驟一、基于協(xié)方差矩陣)¢(l = 1，2，L，n)pl= (Xl) öS&

19、#247;jèø p´ p第一步：由X的協(xié)方差陣x，求出其特征根，即解方l1 ³ l2 ³L³ lp ³ 0。程 - lI，可得特征根= 043第二步：求出分別所對(duì)應(yīng)的特征向量U1，U2，Up，U = (u ，u ， ，u)Ti1i2ipi第三步：計(jì)算累積貢獻(xiàn)率，給出恰當(dāng)?shù)闹鞒煞謧€(gè)數(shù)。F = UTX，i = 1，2， ，k(k £ p)ii第四步：計(jì)算所選出的k個(gè)主成分的得分。將原始數(shù)據(jù)的中心化值:= ()T-2ip代入前k個(gè)主成分的表達(dá)式，分別計(jì)算出各成分的得分，并按得分值的大小排隊(duì)。k個(gè)主44§5PC

20、A的應(yīng)用應(yīng)收賬款是指企業(yè)因?qū)ν怃N(xiāo)售、材料、提供勞務(wù)及收取的款項(xiàng)，包括應(yīng)例其它，應(yīng)向購(gòu)貨或接受勞務(wù)的收銷(xiāo)貨款、其它應(yīng)收款和應(yīng)收票據(jù)等。出于擴(kuò)大銷(xiāo)售的競(jìng)爭(zhēng)需要，企業(yè)不得不以賒銷(xiāo)或其它的方式招攬顧客，由于銷(xiāo)售和收款的時(shí)間差，于是產(chǎn)生了應(yīng)收款項(xiàng)。應(yīng)收款賒銷(xiāo)的效果的好壞，不僅依賴(lài)于企業(yè)的信用政策，還依賴(lài)于顧客的信用程度。由此，評(píng)價(jià)顧客的信用等級(jí)，了解顧客的綜合信用程度，做到“知己知彼， 百戰(zhàn)不殆”，對(duì)加強(qiáng)企業(yè)的應(yīng)收賬款管理大有幫助。某企業(yè)為了了解其客戶(hù)的信用程度，采用西方5C的目的是說(shuō)明顧客違約的可能性。信用評(píng)估常用的5C方法，451、品格（用X1表示），指顧客的信譽(yù)，履行償還義務(wù)的可能性。企業(yè)可以通過(guò)

21、過(guò)去的付款項(xiàng)。得到此2、能力（用X2表示），指顧客的償還能力。即其流動(dòng)資產(chǎn)的數(shù)量和質(zhì)量以及負(fù)載的比率。顧客的資產(chǎn)越多，其轉(zhuǎn)化為現(xiàn)金支付款項(xiàng)的能力越強(qiáng)。同時(shí)，還應(yīng)注意顧客資產(chǎn)的質(zhì)量，看其是否會(huì)出現(xiàn)存貨過(guò)多過(guò)時(shí)質(zhì)量下降，影響其變現(xiàn)能力和支 付能力。3、（用X3表示），指顧客的財(cái)務(wù)和財(cái)務(wù)狀況，表明顧客可能償還債務(wù)的背景。4、附帶的擔(dān)保品（用X4表示），指借款人以容易出 售的資產(chǎn)做抵押。5、環(huán)境條件（用X5表示），指企業(yè)的外部因素，即指非企業(yè)本身能或的因素。46首先并抽取了10家具有可比性的同類(lèi)企業(yè)作為樣本，又請(qǐng)8位分別給10個(gè)企業(yè)的5個(gè)指標(biāo)打分，然后分別計(jì)算企業(yè)5個(gè)指標(biāo)的平均值，如表。4776.58

22、1.57675.871.78579.280.384.476.570.67367.668.178.5949487.589.59290.787.39181.58084.666.968.864.866.477.573.670.969.874.857.760.457.460.86585.668.57062.276.57069.271.764.968.9；Eigenvalues of the Covariance MatrixEigenvalue 410.50643.26420.6708.0712.805Difference 367.24222.59412.5995.2660. 0Proportion

23、0.8458540.0891460.0425910.0166300.005779Cumulative 0.845850.935000.977590.994221.00000PRIN1 PRIN2 PRIN3 PRIN4 PRIN5EigenvectorsPRIN10.4688140.4848760.4727440.4617470.329259PRIN2-.8306120.329916-.0211740.4309040.122930PRIN30.0214060.014801-.412719-.2408450.878054PRIN40.254654-.287720-.5885820.706283-

24、.084286PRIN5-.158081-.7570000.5092130.2104030.313677X1 X2 X3 X4 X548第一主成份的貢獻(xiàn)率為 84.6% ， 第一主成份Z1=0.469X1+0.485X2+0.473X3+0.462X4+0.329X5的各項(xiàng)系數(shù)大致相等，且均為正數(shù)，說(shuō)明第一主成份是對(duì)所有指標(biāo)的一個(gè)綜合測(cè)度，可以作為 綜合的信用等級(jí)指標(biāo)?？梢杂脕?lái)排序。將原始數(shù)據(jù)的值中心化后，代入第一主成份Z1的表示式， 計(jì)算各企業(yè)的得分，并按分值大小排序:在正確評(píng)估了顧客的信用等級(jí)后，就能正確制定出對(duì)其的信用期、收帳政策等，這對(duì)于加強(qiáng)應(yīng)收帳款的管理大有幫助。49序號(hào)123456

25、78910得分3.1613.6-9.0135.925.1-10.3- 4.36-33.8- 6.41-13.8排序43712851069例二基于相關(guān)系數(shù)矩陣的主成分分析。對(duì)美國(guó)紐約上市的有關(guān)化學(xué)產(chǎn)業(yè)的三個(gè)和石油產(chǎn)業(yè)的2個(gè)做了100周的收益率。下表是其相關(guān)系數(shù)矩陣。1） 利用相關(guān)系數(shù)矩陣做主成分分析。2） 決定要保留的主成分個(gè)數(shù)，并解釋意義。5010.5770.5090.00630.00370.57710.5990.3890.520.5090.59910.4360.4260.3870.3890.43610.5230.4620.3220.4260.5231Eigenvalues of the Correlation MatrixEigenvalue 2.856710.809160.539680.451500.34295Difference 2.047550.269490.088180.108550. 0Proportion 0.5713420.1618330.1079350.0903000.068590Cumulative 0.571340.733170.841110.931411.00000PRIN1