主成分分析方法

關(guān)于主成分分析方法第1頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三問(wèn)題的提出地理系統(tǒng)是多要素的復(fù)雜系統(tǒng)。變量太多，會(huì)增加分析問(wèn)題的難度與復(fù)雜性，而且多個(gè)變量之間是具有一定的相關(guān)關(guān)系的能否在相關(guān)分析的基礎(chǔ)上，用較少的新變量代替原來(lái)較多的舊變量，而且使這些較少的新變量盡可能多地保留原來(lái)變量所反映的信息？

主成分分析方法就是綜合處理這種問(wèn)題的一種強(qiáng)有力的工具。主成分分析是把原來(lái)多個(gè)變量劃為少數(shù)幾個(gè)綜合指標(biāo)的一種統(tǒng)計(jì)分析方法。從數(shù)學(xué)角度來(lái)看，這是一種降維處理技術(shù)第2頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三§1主成分分析方法的基本原理假定有n個(gè)地理樣本，每個(gè)樣本共有p個(gè)變量，構(gòu)成一個(gè)n×p階的地理數(shù)據(jù)矩陣第3頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三

當(dāng)p較大時(shí)，在p維空間中考察問(wèn)題比較麻煩。為了克服這一困難，就需要進(jìn)行降維處理.

要求：較少的幾個(gè)綜合指標(biāo)盡量多地反映原來(lái)較多變量指標(biāo)所反映的信息，同時(shí)它們之間又是彼此獨(dú)立的第4頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三例，成績(jī)數(shù)據(jù)100個(gè)學(xué)生的數(shù)學(xué)、物理、化學(xué)、語(yǔ)文、歷史、英語(yǔ)的成績(jī)?nèi)缦卤恚ú糠郑?。?頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三對(duì)于多維變量的情況和二維類似，也有高維的橢球，只不過(guò)無(wú)法直觀地看見(jiàn)首先把高維橢球的主軸找出來(lái)，再用代表大多數(shù)數(shù)據(jù)信息的最長(zhǎng)的幾個(gè)軸作為新變量；這樣，主成分分析就基本完成注意，和二維情況類似，高維橢球的主軸也是互相垂直的。這些互相正交的新變量是原先變量的線性組合，叫做主成分.第6頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三正如二維橢圓有兩個(gè)主軸，三維橢球有三個(gè)主軸一樣，有幾個(gè)變量，就有幾個(gè)主成分選擇越少的主成分，降維就越好。什么是標(biāo)準(zhǔn)呢？那就是這些被選的主成分所代表的主軸的長(zhǎng)度之和占了主軸長(zhǎng)度總和的大部分。有些文獻(xiàn)建議，所選的主軸總長(zhǎng)度占所有主軸長(zhǎng)度之和的大約85%即可，其實(shí)，這只是一個(gè)大體的說(shuō)法；具體選幾個(gè)，要看實(shí)際情況而定第7頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三定義：記x1，x2，…，xP為原變量指標(biāo)，z1，z2，…，zm（m≤p）為新變量指標(biāo)第8頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三系數(shù)lij的確定原則：

zi與zj（i≠j；i，j=1，2，…，m）相互無(wú)關(guān)z1是x1，x2，…，xP的一切線性組合中方差最大者，z2是與z1不相關(guān)的x1，x2，…，xP的所有線性組合中方差最大者；……zm是與z1，z2，……，zm－1都不相關(guān)的x1，x2，…xP，的所有線性組合中方差最大者。則新變量指標(biāo)z1，z2，…，zm分別稱為原變量指標(biāo)x1，x2，…，xP的第一，第二，…，第m主成分第9頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三

從以上的分析可以看出，主成分分析的實(shí)質(zhì)就是確定原來(lái)變量xj（j=1，2，…，

p）在諸主成分zi（i=1，2，…，m）上的荷載

lij（

i=1，2，…，m；

j=1，2，…，p）從幾何上看,找主成分的問(wèn)題,就是找出P維空間中橢球體的主軸問(wèn)題；從數(shù)學(xué)上容易知道，從數(shù)學(xué)上可以證明，它們分別是相關(guān)矩陣的m個(gè)較大的特征值所對(duì)應(yīng)的特征向量第10頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三特征值與特征向量與

方差--協(xié)方差矩陣的聯(lián)系例如6個(gè)樣方、2個(gè)種的多度數(shù)據(jù)是：樣方123456物種X1564603物種X21187622第11頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三數(shù)據(jù)的中心化樣方123456總和物種X11202-4-10物種X25210-4-40第12頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三第13頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三中心化后的原始數(shù)據(jù)矩陣第14頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三把坐標(biāo)軸X1、X2剛性地旋轉(zhuǎn)一個(gè)角度，得到圖中新坐標(biāo)軸Y1和Y2Y1Y2第15頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三6個(gè)樣方點(diǎn)在新坐標(biāo)系中位置的數(shù)據(jù)為：與中心化后的原始數(shù)據(jù)有如下關(guān)系：

第16頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三每個(gè)平方和都是6個(gè)點(diǎn)在相應(yīng)坐標(biāo)軸上方差的（6-1）倍每一項(xiàng)都相當(dāng)于數(shù)據(jù)的離差平方和，因?yàn)閤1j,x2j與y1j,y2j的平均值都為0???第17頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三由它的取值只依賴于坐標(biāo)軸旋轉(zhuǎn)角度一個(gè)變量，取極大值的必要條件是對(duì)θ的導(dǎo)數(shù)為0。即

=0=0第18頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三所以上述條件等同于因此，如果原坐標(biāo)旋轉(zhuǎn)后的Y1軸是我們要求的使Var(Y1)最大的直線的話，則必然有Var(Y2)最小，且。這說(shuō)明6個(gè)樣方點(diǎn)對(duì)新坐標(biāo)的離差矩陣應(yīng)為是對(duì)角矩陣，并且第19頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三

和是對(duì)稱離差矩陣S的兩個(gè)特征根（），而U的每一行是相應(yīng)的特征向量第20頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三一、主成分的基本理論第21頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三第22頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三二、主成分分析的幾何解釋進(jìn)行主成分分析的目的，就是找出轉(zhuǎn)換矩陣U第23頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三§2主成分分析的解法一、用方差—協(xié)方差矩陣求解主成分例例:設(shè)有一組古生物腕足動(dòng)物貝殼標(biāo)本的兩個(gè)變量:長(zhǎng)度和寬度.所測(cè)量的數(shù)據(jù)列于表8-1.第24頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三X1X2X1X23212104101211651366813146101315721317713147891513951713981717914181910720201112第25頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三1、方差—協(xié)方差的計(jì)算第26頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三主成分分析的實(shí)質(zhì)；就是要求出方差—協(xié)方差矩陣的特征向量及其對(duì)應(yīng)的特征值，即要找出方差—協(xié)方差矩陣所確定的橢球的主軸，交確定其長(zhǎng)度第27頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三方差—協(xié)方差矩陣為求特征值第28頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三特征向量的求解當(dāng)時(shí),化為聯(lián)立方程求得同理求得時(shí)的特征向量第29頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三算出第一主成分I：特征值為37.9，特征向量為第二主成分II：特征值為6.5，特征向量為第30頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三特征向量的方向由I、II中包括的兩個(gè)數(shù)字控制第一主成分Z1的方差為37.9，第二主成分Z2的方差為6.5。兩者之和恰為X1和X2的總方差44.4?？梢?jiàn)，兩個(gè)主成分Z1、Z2所代表的信息分別為86%和14%。如果用Z1代表原來(lái)的數(shù)據(jù),則僅損失信息14%。但若用X1和X2來(lái)代表原來(lái)的數(shù)據(jù)，則將損失信息46%或54%。第31頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三3、主成分得分的計(jì)算根據(jù)（8-3）式，得到主成分的表達(dá)式為第32頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三原始數(shù)據(jù)的主成分得分Z1Z2Z1Z23.480.9315.422.410.14-3.616.171.747.711.213.085.799.96-0.7819.080.5111.46-2.119.83-0.156.123.9321.33-1.4714.37-3.3314.495.8812.030.0619.652.679.693.4520.974.1711.941.4723.971.5316.44-2.4926.130.9611.852.8828.21.816.260.33第33頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三二、主成分分析的步驟對(duì)原始地理數(shù)據(jù)第34頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三進(jìn)行標(biāo)準(zhǔn)化處理（標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化），即其中第35頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三計(jì)算相關(guān)系數(shù)矩陣R第36頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三計(jì)算特征值和特征向量根據(jù)特征方程計(jì)算特征值，即解的特征多項(xiàng)式，求并使特征值按從大到小的順序排列，即列出關(guān)于每個(gè)特征值的特征向量

第37頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三計(jì)算主成分貢獻(xiàn)率及累計(jì)貢獻(xiàn)率

▲貢獻(xiàn)率:▲累計(jì)貢獻(xiàn)率:一般取累計(jì)貢獻(xiàn)率達(dá)85—95%的特征值所對(duì)應(yīng)的第一、第二、…、第m（m≤p）個(gè)主成分第38頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三計(jì)算主成分載荷(主成分Zk與變量xi之間的相關(guān)系數(shù))

第39頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三各主成分的得分：第40頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三§3特征值與特征向量的計(jì)算方法雅可比法適合于對(duì)稱矩陣任一實(shí)對(duì)稱矩陣A，均存在一正交變換矩陣T，使那么就是A的特征向量，T的列向量就是相應(yīng)的特征向量第41頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三二維情況如令則將原始矩陣A化成了對(duì)角矩陣。由于T是正交陣，A和Λ對(duì)角線元素之和都等于a11+a22第42頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三雅可比法的計(jì)算步驟1、選擇對(duì)稱矩陣中非對(duì)角線元素最大者，記為2、作正交變換第43頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三假設(shè)在原始矩陣的對(duì)角線以外元素中，以的絕對(duì)值為最大。設(shè)，作一個(gè)轉(zhuǎn)軸變換第44頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三第45頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三第46頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三第47頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三§4主成分分析方法應(yīng)用實(shí)例第48頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三第49頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三第50頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三第51頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三例2,根據(jù)表1中給出的數(shù)據(jù)，對(duì)某農(nóng)業(yè)生態(tài)經(jīng)濟(jì)系統(tǒng)做主成分分析表1某農(nóng)業(yè)生態(tài)經(jīng)濟(jì)系統(tǒng)各區(qū)域單元的有關(guān)數(shù)據(jù)

第52頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三第53頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三步驟如下：將表中的數(shù)據(jù)作標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化處理，然后將它們代入公式計(jì)算相關(guān)系數(shù)矩陣表2相關(guān)系數(shù)矩陣第54頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三

（2）由相關(guān)系數(shù)矩陣計(jì)算特征值，以及各個(gè)主成分的貢獻(xiàn)率與累計(jì)貢獻(xiàn)率（見(jiàn)表3）。由表3可知，第一，第二，第三主成分的累計(jì)貢獻(xiàn)率已高達(dá)86.596%（大于85%），故只需要求出第一、第二、第三主成分z1，z2，z3即可。

第55頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三表3特征值及主成分貢獻(xiàn)率

第56頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三

（3）對(duì)于特征值=4.6610，=2.0890，=1.0430分別求出其特征向量e1，e2，e3，再用公式計(jì)算各變量x1，x2，…，x9在主成分z1，z2，z3上的載荷（表4）。第57頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三表4主成分載荷

第58頁(yè)，講稿共60頁(yè)，2023年5月2日，星期三

①第一主成分z1與x1，x