2主成分分析和聚類(lèi)分析

1、2x1x1F2F主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸2x1x1F2F主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸2x1x1F2F 主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸2x1x1F2F主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸 根據(jù)旋轉(zhuǎn)變換的公式：cossinsincos211211xxyxxyxU2121cossinsincosxxyy正交矩陣，即有為旋轉(zhuǎn)變換矩陣，它是U1,yyyUUU UIU xUUU xUx所以，由有即 F1F1F2F2F3F3i ii it tF1F11 1 F2F20 01 1 F3F30 00 01 1 i i0.9950.995-0.041-0.0410.0570.057l l

2、 i i-0.056-0.0560.9480.948-0.124-0.124-0.102-0.102l l t t-0.369-0.369-0.282-0.282-0.836-0.836-0.414-0.414-0.112-0.1121 1n將描述系統(tǒng)的n個(gè)指標(biāo)看作n維空間的n個(gè)隨機(jī)變量(由于運(yùn)行情況不斷變化，其取值是隨機(jī)的)na = (a1, a2, , an )為n維空間Rn的單位向量n記所有單位向量集合為 R0 =a| a a T=1n記n個(gè)線(xiàn)性相關(guān)的隨機(jī)變量為 = (X1, X2, , Xn )Tn記D(Xi)為Xi的方差, zi = ai，aiR0 zi是X的各分量的線(xiàn)性組合n假設(shè)前

3、k-1個(gè)主成分已知，一切形如Z = a中, 且與z1 , z2 , zk-1不相關(guān),使方差達(dá)到最大值者，稱(chēng)為的第k個(gè)主成分，記為： zk =k, kR0 (k=1,2, ,n)n定理：設(shè)E( )=0，E()=; 的n個(gè)不同的特征根記為12n0, 則 的第k個(gè)主分量zk =k的線(xiàn)性系數(shù)k為k的單位化的特征向量。D(z1) = max ai, 稱(chēng)zi為 的第1主成分,記為: z1 = 1, 1R0aiR0n設(shè) 為n維空間的隨機(jī)變量,且E( )=0, =E(), 則 =E()= E( )E()+cov()=cov() 即為一實(shí)對(duì)稱(chēng)的n階協(xié)方差矩陣，有n個(gè)0的特征根，記為12n0, 則 的第k個(gè)主分量

4、zk =k的線(xiàn)性系數(shù)k為k的單位化的特征向量,如此可求得n個(gè)主成分。的協(xié)方差陣2112122122212E()= nTnnnnXX指標(biāo)指標(biāo)樣本樣本12111) (1,2, )1(1,2,)(1,2, )mijimjijiijjjiYmSYjnmYijXmnSj2jj第j個(gè)指標(biāo)的均值： Y第j個(gè)指標(biāo)的方差：(YY可證：E(X)=0,D(X)=1指指標(biāo)標(biāo)樣樣本本1122111()cov(),1( ,1,2, )1( ,1,2, ) ATTmijkikjkmkikjkijmmkikjkkE XXXXX Xi jnmX Xi jnXXAPP AP通過(guò)樣本估計(jì)總體的 。下面兩種估計(jì)都是無(wú)偏估計(jì)：或于是得

5、到一個(gè)實(shí)對(duì)稱(chēng)的協(xié)方差矩陣 。由線(xiàn)代知識(shí)知，任給實(shí)對(duì)稱(chēng)矩陣，總有正交矩陣，使，其中 是以 的n個(gè)特征值為對(duì)角元素的對(duì)角矩陣111111111k11111111111=,nnnnkknkknnnknnnnnnnnnaaaaaZXaaZa XZaaXZZaaZZaa 12n由實(shí)對(duì)稱(chēng)的協(xié)方差矩陣 可得 個(gè)非負(fù)特征根 ，從而得到n個(gè)單位特征向量，構(gòu)成正交矩陣令1111000000Z =Z =Z=nnnnTTTXXXXaXX aa X即-0000Z =Z=TX aa X-15111nikiirniiiiikr若 為協(xié)方差矩陣 的第 個(gè)特征根，則為第 個(gè)主成分的貢獻(xiàn)率；為前 個(gè)主成分的累積貢獻(xiàn)率。前前r個(gè)主

6、成分的累積貢獻(xiàn)率個(gè)主成分的累積貢獻(xiàn)率n設(shè) 為原指標(biāo)列向量，Z為主成分列向量, = BZ ，求BnZ =a , aTZ =aTa a為正交矩陣， aTa = a-1a = I, aTZ = , B = aT1112111212222212rrnnnrnrrXa aaZXa aaZXa aaZ當(dāng)取其前 外主成分時(shí)，上式為：68168216816868111681)67( ,1,2,10)()( ,1,2,10)ijijijiijijjkikjkijijkikjkkXSXXYi jSXXRrri jXXj2jjX(XX，n聚類(lèi)分析是研究（樣品或指標(biāo)）分類(lèi)問(wèn)題的聚類(lèi)分析是研究（樣品或指標(biāo)）分類(lèi)問(wèn)題的一

7、種多元統(tǒng)計(jì)方法。一種多元統(tǒng)計(jì)方法。聚類(lèi)方法的分類(lèi)：n系統(tǒng)聚類(lèi)法系統(tǒng)聚類(lèi)法(分層聚類(lèi)分層聚類(lèi))(Hierarchical Cluster過(guò)程過(guò)程)n聚類(lèi)原則：都是相近的聚為一類(lèi)，即距離最近聚類(lèi)原則：都是相近的聚為一類(lèi)，即距離最近或最相似的聚為或最相似的聚為 一類(lèi)。一類(lèi)。n分層聚類(lèi)的方法可以用于樣本聚類(lèi)（分層聚類(lèi)的方法可以用于樣本聚類(lèi)（Q）型，）型，也可以用于變量聚類(lèi)（也可以用于變量聚類(lèi)（R型）。型）。n非系統(tǒng)聚類(lèi)法（快速聚類(lèi)法非系統(tǒng)聚類(lèi)法（快速聚類(lèi)法K-均值聚均值聚類(lèi)法）（類(lèi)法）（K-means Cluster)n兩步聚類(lèi)法兩步聚類(lèi)法(一種探索性的聚類(lèi)方法一種探索性的聚類(lèi)方法) （TwoStep

8、 Cluster）1111121,2Minkowski( )()2(2)()3mnnmjijijjijmqijikjkkmijikjkkqxxnmxxxxxxSdijdqxxqdxx設(shè)樣本數(shù)為變量數(shù)為 ，樣本矩陣1、對(duì)原始數(shù)據(jù)做標(biāo)準(zhǔn)化變換:(i=1,.n,j=1,.m）、表示標(biāo)本 和樣本 間的距離，常用的有：距離當(dāng)時(shí)，得歐氏距離、根據(jù)一定規(guī)則（如距離最近）歸類(lèi)。最長(zhǎng)距離最長(zhǎng)距離最短距離最短距離ABCDEF nijkikjk=1ijnn22ijkikjk=1k=1聚類(lèi)分析可對(duì)標(biāo)本分類(lèi)，也可對(duì)指標(biāo)分類(lèi)，可用相關(guān)系數(shù)表示標(biāo)本或指標(biāo)間的親疏程度。例如，若想研究指標(biāo)i和j的相似程度，(x -x )(x -x )相關(guān)系數(shù)公式：r =(x -x )(x -x )分子：兩指標(biāo)的協(xié)方差分母：兩指標(biāo)的標(biāo)準(zhǔn)差的積12345遼寧10.00 0.00 浙江211.67 11.67 0.00 0.00 河南313.80 13.80 24.63 24.63 0