《主成分分析》ppt課件

1、第三講 主成分分析因子分析 預備知識 求主成分 因子分析闡明闡明., 0. 1言言的的特特征征值值問問題題是是對對方方陣陣而而特特征征向向量量 x .0,0,. 2 的的特特征征值值都都是是矩矩陣陣的的即即滿滿足足方方程程值值有有非非零零解解的的就就是是使使齊齊次次線線性性方方程程組組的的特特征征值值階階方方陣陣AEAxEAAn 一、特征值與特征向量的概念., , 1的特征向量的特征向量的對應于特征值的對應于特征值稱為稱為量量非零向非零向的特征值的特征值稱為方陣稱為方陣這樣的數(shù)這樣的數(shù)那末那末成立成立使關系式使關系式維非零列向量維非零列向量和和如果數(shù)如果數(shù)階矩陣階矩陣是是設設定義定義 AxAx

2、AxxnnA 0. 3 EA 0212222111211 nnnnnnaaaaaaaaa次次方方程程為為未未知知數(shù)數(shù)的的一一元元稱稱以以n 0 EA . 的的為為A特征方程特征方程,次多項式次多項式的的它是它是n 記記 EAf 稱其稱其. 的的為為方方陣陣A特征多項式特征多項式 則則有有的的特特征征值值為為階階方方陣陣設設,. 4 21nijaAn ;)1(221121nnnaaa .)2(21An 解解例例1 1 .3113的特征值和特征向量的特征值和特征向量求求 A的特征多項式為的特征多項式為A 31131)3(2 )2)(4(682 . 4, 221 的的特特征征值值為為所所以以A,00

3、231123,2211 xx對應的特征向量應滿足對應的特征向量應滿足時時當當 . 0, 02121xxxx 即即,21xx 解解得得.11 1 p取取為為所所以以對對應應的的特特征征向向量量可可,001111,00431143,421212 xxxx即即由由時時當當 .11 ,221 pxx取為取為所以對應的特征向量可所以對應的特征向量可解得解得例例 .201034011的特征值和特征向量的特征值和特征向量求矩陣求矩陣 A解解,)1( )2(201034011 2 EAA的特征多項式為的特征多項式為. 1, 2321 的的特特征征值值為為所所以以A由由解解方方程程時時當當. 0)2(,21 x

4、EA ,0000100010010140132 EA,1001 p 得基礎解系得基礎解系.2)0(11的的全全部部特特征征值值是是對對應應于于所所以以 kpk由由解解方方程程時時當當. 0)(,132 xEA ,000210101101024012 EA,1212 p 得得基基礎礎解解系系.1)0(322的全部特征值的全部特征值是對應于是對應于所以所以 kpk例例 證明：假設證明：假設 是矩陣是矩陣A A的特征值，的特征值， 是是A A的屬于的屬于的特征向量，那么的特征向量，那么 x .)1(是是任任意意常常數(shù)數(shù)的的特特征征值值是是mAmm .,)2(11的的特特征征值值是是可可逆逆時時當當

5、AA 證明證明 xAx 1 xAxxAAxA xxA22 再繼續(xù)施行上述步驟再繼續(xù)施行上述步驟 次，就得次，就得2 mxxAmm .,征征向向量量的的特特對對應應于于是是且且的的特特征征值值是是矩矩陣陣故故mmmmAxA 可得可得由由xAx xAxAAxA111 xxA11 , 0,2 可可逆逆時時當當A., 1111的的特特征征向向量量對對應應于于是是且且的的特特征征值值是是矩矩陣陣故故 AxA.,., 121212121線性無關線性無關則則各不相等各不相等如果如果向量向量依次是與之對應的特征依次是與之對應的特征個特征值個特征值的的是方陣是方陣設設定理定理mmmmppppppmA 證明證明使

6、使設有常數(shù)設有常數(shù)mxxx,21. 02211 mmpxpxpx那么那么 , 02211 mmpxpxpxA即即, 0222111 mmmpxpxpx 類推之，有類推之，有. 0222111 mmkmkkpxpxpx 1, 2 , 1 mk二、特征值和特征向量的性質(zhì)把上列各式合寫成矩陣方式，得把上列各式合寫成矩陣方式，得 11221112211111,mmmmmmmpxpxpx 0 , 0 , 0 于于是是有有可可逆逆從從而而該該矩矩陣陣該該行行列列式式不不等等于于不不相相等等時時當當各各式式列列陣陣的的行行列列式式為為范范德德蒙蒙行行上上式式等等號號左左端端第第二二個個矩矩., 0,i ,0

7、 ,0 ,0,2211 mmpxpxpx ., 2 , 10mjpxjj 即即, 0 jp但但 ., 2 , 10mjxj 故故.,21線線性性無無關關所所以以向向量量組組mppp留意留意.屬于不同特征值的特征向量是線性無關屬于不同特征值的特征向量是線性無關的的.屬于同一特征值的特征向量的非零線性屬于同一特征值的特征向量的非零線性組合仍是屬于這個特征值的特征向量組合仍是屬于這個特征值的特征向量.矩陣的特征向量總是相對于矩陣的特征矩陣的特征向量總是相對于矩陣的特征值而言的，一個特征值具有的特征向量不獨一；值而言的，一個特征值具有的特征向量不獨一；一個特征向量不能屬于不同的特征值一個特征向量不能屬

8、于不同的特征值一、類似矩陣與類似變換的概念.,., , 111的相似變換矩陣的相似變換矩陣變成變成稱為把稱為把可逆矩陣可逆矩陣進行相似變換進行相似變換稱為對稱為對行運算行運算進進對對相似相似與與或說矩陣或說矩陣的相似矩陣的相似矩陣是是則稱則稱使使若有可逆矩陣若有可逆矩陣階矩陣階矩陣都是都是設設定義定義BAPAAPPABAABBAPPPnBA 1. 等價關系等價關系 . 22111211PAPPAPPAAP ., . 3為為正正整整數(shù)數(shù)相相似似與與則則相相似似與與若若mBABAmm二、類似矩陣與類似變換的性質(zhì).本身相似本身相似與與AA.,相似相似與與則則相似相似與與若若ABBA.,相相似似與與則

9、則相相似似與與相相似似與與若若CACBBA反身性反身性)1()2(對稱性對稱性傳遞性傳遞性)3(證明證明相似相似與與BA PEPAPPEB 11 PEAP 1PEAP 1.EA PAPkPAPkPAkAkP21211122111. 4 .,21是是任任意意常常數(shù)數(shù)其其中中kkBAPPP 1,使使得得可可逆逆陣陣., 1的特征值亦相同的特征值亦相同與與從而從而式相同式相同的特征多項的特征多項與與則則相似相似與與階矩陣階矩陣若若定理定理BABABAn推論推論 假設假設 階方陣階方陣A與對角陣與對角陣n n 21.,21個個特特征征值值的的即即是是則則相相似似nAn ., 1對對角角化化這這就就稱稱

10、為為把把方方陣陣為為對對角角陣陣使使若若可可找找到到可可逆逆矩矩陣陣階階方方陣陣對對AAPPPAn 證明證明,1為為對對角角陣陣使使假假設設存存在在可可逆逆陣陣 APPP .,21npppPP 用其列向量表示為用其列向量表示為把把三、利用類似變換將方陣對角化.)( 2個個線線性性無無關關的的特特征征向向量量有有的的充充分分必必要要條條件件是是能能對對角角化化即即與與對對角角矩矩陣陣相相似似階階矩矩陣陣定定理理nAAAn nnnppppppA 212121,即即 .,2211nnppp nnApApAppppA,2121 ., 2 , 1nipApiii 于是有于是有 nppp ,211 ,1

11、PAPAPP得得由由., 的的特特征征向向量量的的對對應應于于特特征征值值就就是是的的列列向向量量而而的的特特征征值值是是可可見見iiiApPA .,21線線性性無無關關所所以以可可逆逆又又由由于于npppP命題得證命題得證., PAPPnnnA使使陣陣個個特特征征向向量量即即可可構構成成矩矩這這個個特特征征向向量量得得并并可可對對應應地地求求個個特特征征值值恰恰好好有有由由于于反反之之闡明闡明 假設假設 階矩陣階矩陣 的的 個特征值互不相等，個特征值互不相等，那么那么 與對角陣類似與對角陣類似推論推論nAAn假設假設 的特征方程有重根，此時不一定有的特征方程有重根，此時不一定有 個線性無關的

12、特征向量，從而矩陣個線性無關的特征向量，從而矩陣 不一定能不一定能對角化，但假設能找到對角化，但假設能找到 個線性無關的特征向量，個線性無關的特征向量， 還是能對角化還是能對角化AAnnA例例1 1 判別以下實矩陣能否化為對角陣？判別以下實矩陣能否化為對角陣？ 242422221)1(A 201335212)2(A解解EA 由由)1( 722 0 242422221. 7, 2321 得得 得得方方程程組組代代入入將將, 02121 EA 04420442022321321321xxxxxxxxx解之得根底解系解之得根底解系.110,10221 , 0, 73 xEA 由由對對求得根底解系求得

13、根底解系 2 , 2 , 13T , 0211210102 由由于于.,321線線性性無無關關所所以以 .,3 化化可可對對角角因因而而個個線線性性無無關關的的特特征征向向量量有有即即AA,同理同理 201335212EA 31 201335212)2(A. 1321 的特征值為的特征值為所以所以A , 01 xEA 代代入入把把解之得根底解系解之得根底解系,) 1, 1 , 1 ( T 故故 不能化為對角矩陣不能化為對角矩陣.A);det()det(,)1(BABA 則則相相似似與與;,)2( 11相相似似與與且且也也可可逆逆則則可可逆逆且且相相似似與與若若 BABABA;,)3( 為為常常

14、數(shù)數(shù)相相似似與與則則相相似似與與kkBkABA.)()(,)(,)4( 相相似似與與則則是是一一多多項項式式而而相相似似與與若若BfAfxfBA四、小結類似矩陣類似矩陣 類似是矩陣之間的一種關系，它具有很多良好類似是矩陣之間的一種關系，它具有很多良好的性質(zhì)，除了課堂內(nèi)引見的以外，還有：的性質(zhì)，除了課堂內(nèi)引見的以外，還有：一、二次型及其規(guī)范形的概念 nnnnnnnnxxaxxaxxaxaxaxaxxxf1,13113211222222211121222 , 稱為二次型稱為二次型. .的的二二次次齊齊次次函函數(shù)數(shù)個個變變量量含含有有定定義義nxxxn, 121; , 稱稱為為是是復復數(shù)數(shù)時時當當f

15、aij復二次型復二次型. , 稱稱為為是是實實數(shù)數(shù)時時當當faij實二次型實二次型只含有平方項的二次型只含有平方項的二次型2222211nnykykykf 稱為二次型的規(guī)范形或法式稱為二次型的規(guī)范形或法式例如例如 312322213214542,xxxxxxxxf 都為二次型；都為二次型； 23222132144,xxxxxxf 為二次型的規(guī)范形為二次型的規(guī)范形. . 323121321,xxxxxxxxxf 1 1用和號表示用和號表示 nnnnnnnnxxaxxaxxaxaxaxaxxxf1,13113211222222211121222 , 對二次型對二次型,aaijji 取取,2xxax

16、xaxxaijjijiijjiij 則則于是于是nnxxaxxaxaf1121122111 .1,xxajinjiij nnxxaxaxxa2222221221 22211nnnnnnnxaxxaxxa 二、二次型的表示方法2 2用矩陣表示用矩陣表示nnxxaxxaxaf1121122111 nnxxaxaxxa2222221221 22211nnnnnnnxaxxaxxa )()()(22112222121212121111nnnnnnnnnnxaxaxaxxaxaxaxxaxaxax nnnnnnnnnnxaxaxaxaxaxaxaxaxaxxx22112222121121211121),

17、(., 為為對對稱稱矩矩陣陣其其中中則則二二次次型型可可記記作作AAxxfT ,21212222111211 nnnnnnnxxxxaaaaaaaaaA記記 nnnnnnnnxxxaaaaaaaaaxxx2121222211121121,三、二次型的矩陣及秩在二次型的矩陣表示中，任給一個二次型，在二次型的矩陣表示中，任給一個二次型，就獨一地確定一個對稱矩陣；反之，任給一個對就獨一地確定一個對稱矩陣；反之，任給一個對稱矩陣，也可獨一地確定一個二次型這樣，二稱矩陣，也可獨一地確定一個二次型這樣，二次型與對稱矩陣之間存在一一對應的關系次型與對稱矩陣之間存在一一對應的關系; 的的矩矩陣陣叫叫做做二二次

18、次型型對對稱稱矩矩陣陣fA; 的的二二次次型型叫叫做做對對稱稱矩矩陣陣Af. 的的秩秩的的秩秩叫叫做做二二次次型型對對稱稱矩矩陣陣fA解解,a,a,a321332211 ,aa22112 ,aa03113 .aa33223 .330322021 A.6432 3221232221的的矩矩陣陣寫寫出出二二次次型型xxxxxxxf 例例 nnnnnnnnnnycycycxycycycxycycycx22112222121212121111,設設四、化二次型為規(guī)范形對于二次型，我們討論的主要問題是：尋求對于二次型，我們討論的主要問題是：尋求可逆的線性變換，將二次型化為規(guī)范形可逆的線性變換，將二次型化

19、為規(guī)范形),(cCij 記記記作記作則上述可逆線性變換可則上述可逆線性變換可 Cyx AxxfT 證明證明于于是是即即有有為為對對稱稱矩矩陣陣,TAAA TTTACCB 有有將將其其代代入入, AxxfT . yACCyTT CyACyT ., 1ARBRBAACCBCT 且且也也為為對對稱稱矩矩陣陣則則矩矩陣陣為為對對稱稱如如果果令令任任給給可可逆逆矩矩陣陣定定理理CACTT ,BACCT ,ACCBT ,ARACRBR , 11 BCCAT又又 .1BRBCRAR .BRAR 即即 為對稱矩陣為對稱矩陣.B闡明闡明2222211nnTTykykykACyCy 就就是是要要使使變變成成標標準

20、準形形經(jīng)經(jīng)可可逆逆變變換換要要使使二二次次型型, 2 Cyxf. ,),(212121 yyykkkyyynnn.成成為為對對角角矩矩陣陣也也就就是是要要使使ACCT; ,1 ACCBAfCyx. T 變變?yōu)闉榈牡木鼐仃囮囉捎傻淦渲戎炔徊蛔冏兒蠛蠖未涡托徒?jīng)經(jīng)可可逆逆變變換換有有型型把此結論應用于二次把此結論應用于二次即即使使總有正交矩陣總有正交矩陣陣陣由于對任意的實對稱矩由于對任意的實對稱矩,.,1 APPAPPPAT 化化為為標標準準形形使使正正交交變變換換總總有有任任給給二二次次型型定定理理fPyxaaxxafjiijnjijiij, 21, ,2222211nnyyyf .,21

21、的的特特征征值值的的矩矩陣陣是是其其中中ijnaAf 用正交變換化二次型為規(guī)范形的詳細步驟用正交變換化二次型為規(guī)范形的詳細步驟;,. 1AAxxfT求求出出將將二二次次型型表表成成矩矩陣陣形形式式 ;,. 221nA 的的所所有有特特征征值值求求出出 ;,. 321n 征征向向量量求求出出對對應應于于特特征征值值的的特特 ;,. 4212121nnnC 記記得得單單位位化化正正交交化化將將特特征征向向量量 .,. 52211nnyyffCyx 的的標標準準形形則則得得作作正正交交變變換換 解解1 1寫出對應的二次型矩陣，并求其特征值寫出對應的二次型矩陣，并求其特征值 144241422217A 144241422217EA 9182 .,844141417 323121232221化成標準形化成標準形通過正交變換通過正交變換將二次型將二次型Pyxxxxxxxxxxf 例例2 2