主成分分析_多元回歸分析ppt課件

.,第五章主成分分析,.,什么是主成分分析,主成分分析（PrincipalComponentsAnalysis）也稱(chēng)主分量分析是將多個(gè)指標(biāo)，化為少數(shù)幾個(gè)不相關(guān)的綜合指標(biāo)的一種統(tǒng)計(jì)方法。,.,在綜合評(píng)價(jià)工業(yè)企業(yè)的經(jīng)濟(jì)效益中，考核指標(biāo)有：1每百元固定資產(chǎn)原值實(shí)現(xiàn)產(chǎn)值、2每百元固定資產(chǎn)原值實(shí)現(xiàn)利稅、3每百元資金實(shí)現(xiàn)利稅、4每百元工業(yè)總產(chǎn)值實(shí)現(xiàn)利稅、5每百元銷(xiāo)售收入實(shí)現(xiàn)利稅、6每噸標(biāo)準(zhǔn)煤實(shí)現(xiàn)工業(yè)產(chǎn)值、7每千瓦電力實(shí)現(xiàn)工業(yè)產(chǎn)值、8全員勞動(dòng)生產(chǎn)率、9每百元流動(dòng)資金實(shí)現(xiàn)的產(chǎn)值指標(biāo)間信息有重疊，指標(biāo)數(shù)量又多。經(jīng)過(guò)主成分分析計(jì)算，最后確定選擇了2個(gè)主成分作為綜合評(píng)價(jià)工業(yè)企業(yè)經(jīng)濟(jì)效益的依據(jù)，變量數(shù)由9個(gè)減少到2個(gè)，這兩個(gè)主成分代表的信息達(dá)91.6%，使所研究的問(wèn)題簡(jiǎn)化。,.,第一節(jié)主成分分析的幾何意義,.,X1,X2,幾何意義：為了直觀，先在二維空間中討論主成分的幾何意義。設(shè)對(duì)每個(gè)樣品觀測(cè)兩個(gè)變量X1和X2的數(shù)據(jù)如下,樣品點(diǎn)完全在同一條直線上。,X1,X2,其散點(diǎn)圖如下,.,X1,Y2,X2,Y1,因?yàn)闃悠伏c(diǎn)都在Y1軸上，Y1方向有離散性，Y2方向無(wú)離散性，也就無(wú)區(qū)別?？梢杂肶1來(lái)描述這些樣品點(diǎn),，因此在新坐標(biāo)系中只需用Y1一個(gè)變量就可以描述原來(lái)需用兩個(gè)變量X1和X2描述的樣品。那么Y1包含了原來(lái)變量X1和X2的100%的信息。,在實(shí)際問(wèn)題中，這樣的情況是很少見(jiàn)的。,.,一般情況下，例如有n個(gè)樣品，每個(gè)樣品有兩個(gè)變量值X1和X2，這n個(gè)樣品的散點(diǎn)圖如帶狀.,由圖可見(jiàn)這n個(gè)樣品點(diǎn)無(wú)論是沿著X1軸方向或X2軸方向都具有較大的離散性，其離散的程度可以分別用觀測(cè)變量X1的方差和X2的方差定量地表示。,X1,X2,.,X2,Y2,Y1,X1,同樣我們將X1軸和X2軸同時(shí)按逆時(shí)針?lè)较蛐D(zhuǎn)角度，得到新坐標(biāo)軸Y1和Y2。Y1和Y2是兩個(gè)新變量。根據(jù)解析幾何中的坐標(biāo)旋轉(zhuǎn)變換公式：,.,第二節(jié)主成分的求解假設(shè)我們所討論的實(shí)際問(wèn)題中，有p個(gè)指標(biāo)，我們把這p個(gè)指標(biāo)看作p個(gè)隨機(jī)變量，記為X1，X2，Xp主成分分析就是要把這p個(gè)指標(biāo)的問(wèn)題，轉(zhuǎn)變?yōu)橛懻損個(gè)指標(biāo)的線性組合的問(wèn)題,.,主成分分析通常的做法是，尋求原指標(biāo)的線性組合Yi。,并且滿足：1(i=1,2,P)*,2不相關(guān)性，Yi與Yj不相關(guān)。3方差極大條件，,.,主成分的求解：,求系數(shù)，而其正是觀測(cè)變量相關(guān)矩陣的單位特征向量。因此，通過(guò)求解的特征方程，得到P個(gè)特征根和P個(gè)單位特征向量，把P個(gè)特征根按從大到小的順序排列，記作i(i=1,2,p)，它們分別代表P個(gè)主成分所解釋的觀測(cè)變量的方差，即Var(Yi)=i(i=1,2,p)。相應(yīng)的P個(gè)單位特征向量就是主成分的系數(shù)（i=1,2,p）。,.,主成分,Y=,由的單位特征向量構(gòu)成U，即由|-I|=0求出然后代入（-I)Z=0求出單位特征向量，構(gòu)成U,.,變量的標(biāo)準(zhǔn)化:由于主成分是根據(jù)變量的離散度也即方差的大小來(lái)確定主成分的，這樣當(dāng)不同指標(biāo)的量綱不同時(shí)，不同指標(biāo)的方差大小差別很大，主成分會(huì)受到影響，例如：X1表年收入，從萬(wàn)元到百萬(wàn)元變化，X2表凈收入與總資產(chǎn)之比，從0.01到0.60變化,那么X1的方差的絕對(duì)量將遠(yuǎn)遠(yuǎn)大于X2的方差,這樣主成分會(huì)過(guò)于照顧方差大的變量,為使主成分能均等地對(duì)待每一個(gè)原變量,應(yīng)將原變量作標(biāo)準(zhǔn)化處理.,.,標(biāo)準(zhǔn)化公式:(i=1,2,P)這時(shí)有=因此求U時(shí)可用的特征向量。還可以證明=所以=,.,在實(shí)際問(wèn)題中，利用主成分的目的是為了減少變量的個(gè)數(shù)，所以一般不用P個(gè)主成分，而是根據(jù)如下方法選取前K個(gè)主成分。定義為第i主成分Yi的方差貢獻(xiàn)率。這個(gè)值越大，說(shuō)明這個(gè)主成分Yi綜合原指標(biāo)信息的能力越強(qiáng)。,主成分的方差貢獻(xiàn)率,.,定義（KP）為主成分Yl,Y2,Yk的累積方差貢獻(xiàn)率。當(dāng)前K個(gè)主成分的累積方差貢獻(xiàn)率達(dá)到85%以上時(shí)，就取K個(gè)主成分。這樣K個(gè)主成分基本反映了原指標(biāo)的信息，指標(biāo)數(shù)目由P個(gè)減少到K個(gè)。,這種由討論多個(gè)指標(biāo)降為少數(shù)幾個(gè)綜合指標(biāo)的過(guò)程在數(shù)學(xué)上就叫做降維。,.,(i=1,2,P)對(duì)于標(biāo)準(zhǔn)化后的變量，則,原始變量與主成分之間的相關(guān)系數(shù),.,主成分得分:當(dāng)選取了n個(gè)主成分后，把樣本數(shù)據(jù)代入各主成分表達(dá)式可得樣本的主成分得分。若主成分是由原始數(shù)據(jù)協(xié)方差陣計(jì)算的，則計(jì)算主成分得分時(shí)，用原始數(shù)據(jù)。若主成分是由標(biāo)準(zhǔn)化數(shù)據(jù)計(jì)算，即由R計(jì)算，則計(jì)算主成分得分時(shí)，一定要用標(biāo)準(zhǔn)化數(shù)據(jù)，否則會(huì)出現(xiàn)錯(cuò)誤。,.,主成分的綜合得分利用主成分Yl,Y2,Yk作線性組合，并以每個(gè)主成分Yi的方差貢獻(xiàn)率作為權(quán)數(shù)構(gòu)造一個(gè)綜合函數(shù)：Y=根據(jù)計(jì)算出的Y值大小進(jìn)行排序。,.,主成分的計(jì)算步驟:,原始數(shù)據(jù)矩陣1、原始數(shù)據(jù)標(biāo)準(zhǔn)化2、計(jì)算樣本協(xié)差陣或相關(guān)系數(shù)矩陣R3、求R的非零特征根及對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量4、求出主成分(i=1,2,P)根據(jù)累計(jì)方差貢獻(xiàn)率大于等于80%，85%，90%等，確定選取主成分個(gè)數(shù)。結(jié)合專(zhuān)業(yè)知識(shí)將各主成分給出恰當(dāng)?shù)慕忉專(zhuān)⑦\(yùn)用其來(lái)判斷樣品的特性。,.,例一應(yīng)收賬款是指企業(yè)因?qū)ν怃N(xiāo)售產(chǎn)品、材料、提供勞務(wù)及其它原因，應(yīng)向購(gòu)貨單位或接受勞務(wù)的單位收取的款項(xiàng)。出于擴(kuò)大銷(xiāo)售的競(jìng)爭(zhēng)需要，企業(yè)不得不以賒銷(xiāo)或其它優(yōu)惠的方式招攬顧客，由于銷(xiāo)售和收款的時(shí)間差，于是產(chǎn)生了應(yīng)收款項(xiàng)。應(yīng)收款賒銷(xiāo)的效果的好壞，不僅依賴(lài)于企業(yè)的信用政策，還依賴(lài)于顧客的信用程度。由此，評(píng)價(jià)顧客的信用等級(jí)，了解顧客的綜合信用程度，對(duì)加強(qiáng)企業(yè)的應(yīng)收賬款管理大有幫助。某企業(yè)為了了解其客戶的信用程度，采用西方銀行信用評(píng)估常用的5C方法，5C的目的是說(shuō)明顧客違約的可能性。,.,1、品格（用X1表示），指顧客的信譽(yù)，履行償還義務(wù)的可能性。企業(yè)可以通過(guò)過(guò)去的付款記錄得到此項(xiàng)。2、能力（用X2表示），指顧客的償還能力。即其流動(dòng)資產(chǎn)的數(shù)量和質(zhì)量以及流動(dòng)負(fù)載的比率。顧客的流動(dòng)資產(chǎn)越多，其轉(zhuǎn)化為現(xiàn)金支付款項(xiàng)的能力越強(qiáng)。同時(shí)，還應(yīng)注意顧客流動(dòng)資產(chǎn)的質(zhì)量，看其是否會(huì)出現(xiàn)存貨過(guò)多過(guò)時(shí)質(zhì)量下降，影響其變現(xiàn)能力和支付能力。3、資本（用X3表示），指顧客的財(cái)務(wù)勢(shì)力和財(cái)務(wù)狀況，表明顧客可能償還債務(wù)的背景。4、附帶的擔(dān)保品（用X4表示），指借款人以容易出售的資產(chǎn)做抵押。5、環(huán)境條件（用X5表示），指企業(yè)的外部因素，即指非企業(yè)本身能控制或操縱的因素。,.,首先抽取了10家具有可比性的同類(lèi)企業(yè)作為樣本，又請(qǐng)8位專(zhuān)家分別給10個(gè)企業(yè)的5個(gè)指標(biāo)打分，然后分別計(jì)算企業(yè)5個(gè)指標(biāo)的平均值，如表。,.,第一主成份的貢獻(xiàn)率為84.6%，第一主成份Z1=0.469X1+0.485X2+0.473X3+0.462X4+0.329X5的各項(xiàng)系數(shù)大致相等，且均為正數(shù)，是對(duì)所有指標(biāo)的一個(gè)綜合測(cè)度，可以作為綜合的信用等級(jí)指標(biāo)?？梢杂脕?lái)排序。計(jì)算各企業(yè)的得分，并按分值大小排序:,在正確評(píng)估了顧客的信用等級(jí)后，就能正確制定出對(duì)其的信用期、收帳政策等，這對(duì)于加強(qiáng)應(yīng)收帳款的管理大有幫助。,.,例對(duì)全國(guó)30個(gè)省市自漢區(qū)經(jīng)濟(jì)發(fā)展基本情況的八項(xiàng)指標(biāo)作主成分分析，原始數(shù)據(jù)如下：,.,.,第一步將原始數(shù)據(jù)標(biāo)準(zhǔn)化。第二步建立指標(biāo)之間的相關(guān)數(shù)陣R如下：,.,第三步求R的特征值和特征向量。,從上表看，前3個(gè)特征值累計(jì)貢獻(xiàn)率已達(dá)89.564%，說(shuō)明前3個(gè)主成分基本包含了全部指標(biāo)具有的信息，我們?nèi)∏?個(gè)特征值，并計(jì)算出相應(yīng)的特征向量：,.,從上表看，前3個(gè)特征值計(jì)累計(jì)貢獻(xiàn)率已達(dá)89.564%，說(shuō)明前3個(gè)主成分基本包含了全部指標(biāo)具有的信息，我們?nèi)∏?個(gè)特征值，并計(jì)算出相應(yīng)的特征向量：,.,因而前三個(gè)主成分為：第一主成分：F1=0.456708X1+0.312729X2+0.470641X3+0.240481X4+0.250802X5-0.26267X6-0.31944X7+0.424712X8第二主成分：F1=0.258512X1-0.40431X20.107995X3-0.48868X4+0.498801X50.167392X6+0.400931X70.287536X8第三主成分：F1=0.109819X1+0.24505X2+0.19241X3+0.332179X4-0.24777X5+0.723351X6+0.397525X7+0.19241X8,.,如果一個(gè)主成分僅僅對(duì)某一個(gè)原始變量有作用，則稱(chēng)為特殊成分。如果一個(gè)主成分所有的原始變量都起作用,稱(chēng)為公共成分。,.,選題參考：1、（我國(guó)）房地產(chǎn)發(fā)展因素的主成分分析2、（全國(guó)）工業(yè)企業(yè)市場(chǎng)競(jìng)爭(zhēng)力的主成分分析3、（各地區(qū)）工業(yè)企業(yè)經(jīng)濟(jì)效益的主成分分析4、我國(guó)城市(農(nóng)村）居民消費(fèi)支出的主成分分析5、（各地區(qū)）農(nóng)業(yè)發(fā)展?fàn)顩r的主成分分析6、我國(guó)各省市社會(huì)發(fā)展?fàn)顩r的主成分分析7、零售物價(jià)指數(shù)影響因素的主成分分析8、（我國(guó)）信息產(chǎn)業(yè)發(fā)展因素的主成分分析9、城市環(huán)境質(zhì)量影響因素的主成分分析,.,10、（各地區(qū)）經(jīng)濟(jì)發(fā)展水平的主成分分析11、（各地區(qū)）綜合競(jìng)爭(zhēng)力的主成分分析12、股票價(jià)格指數(shù)影響因素的主成分分析13、城市環(huán)境質(zhì)量因素的主成分分析14、（各地區(qū)）保險(xiǎn)業(yè)發(fā)展?fàn)顩r的主成分分析15、上市公司業(yè)績(jī)?cè)u(píng)價(jià)的主成分分析16、大學(xué)生網(wǎng)絡(luò)面試的主成分分析17、中國(guó)外貿(mào)進(jìn)出口影響因素的主成分分析18、影響國(guó)民經(jīng)濟(jì)增長(zhǎng)因素的主成分分析,.,19、各省市保險(xiǎn)業(yè)發(fā)展?fàn)顩r影響因素的主成分分析,.,9、城市環(huán)境質(zhì)量影響因素：（1）人均工業(yè)總產(chǎn)值（2）人均國(guó)民收入（3）人均居住面積（4）人均生活用水量（5）消費(fèi)指數(shù)=社會(huì)零售總額/市區(qū)人口總數(shù)（6）人均綠化面積（7）人均道路面積（8）人均公共車(chē)輛數(shù)（9）萬(wàn)人病床數(shù)（10）萬(wàn)人醫(yī)生數(shù)（11）每百人擁有電話機(jī)數(shù)（12）每千人中中級(jí)技術(shù)職稱(chēng)以上人數(shù)（13）工業(yè)廢水污染負(fù)荷=工業(yè)廢水排放量/市區(qū)總面積（14）二氧化硫污染負(fù)荷=二氧化硫年排放量/市區(qū)總面積（15）煙塵污染負(fù)荷=煙塵年排放量/市區(qū)總面積（16）噪聲平均值=區(qū)域環(huán)境噪聲平均值和城市交通干線噪聲平均值的平均值,.,1