16典型相關(guān)分析m

1、4.2 典型相關(guān)分析Canonical Correlation Analysis重點：典型相關(guān)分析的思想和方法；難點：典型相關(guān)分析的原理、操作；本節(jié)的重難點本節(jié)的重難點4.2.1 引 言在一元統(tǒng)計分析中，研究兩個隨機(jī)變量之間的線性相關(guān)關(guān)系，可用相關(guān)系數(shù)（稱為簡單相關(guān)系數(shù)）；1936年Hotelling首先將它推廣到研究多個隨機(jī)變量與多個隨機(jī)變量之間的相關(guān)關(guān)系的討論中，提出了典型相關(guān)分析. 典型相關(guān)分析著眼于識別和量化兩組隨機(jī)變量之間的相關(guān)性，它是兩個隨機(jī)變量之間的相關(guān)性在兩組變量之下的推廣.4.2.1 引 言實際問題中，兩組變量之間具有相關(guān)關(guān)系的問題很多.例如，幾種主要產(chǎn)品如豬肉、牛肉、雞蛋的

2、價格(作為第一組變量)和相應(yīng)這些產(chǎn)品的銷售量(作為第二組變量)有相關(guān)關(guān)系；患某種疾病的病人的各種癥狀(第一組變量)和用物理化學(xué)方法檢驗的結(jié)果(第二組變量)具有相關(guān)關(guān)系等等.4.2.1 引 言典型相關(guān)分析的研究焦點是，一組變量的線性組合與另一組變量的線性組合之間的相關(guān)關(guān)系.首先求一對線性組合，它有最大相關(guān)系數(shù)，稱其為典型變量，它們之間的相關(guān)系數(shù)稱為典型相關(guān)系數(shù)；若只有一對典型變量還不足以提取所給兩組變量的相關(guān)性，再考慮構(gòu)造下一對典型變量；4.2.1 引 言下一對典型變量從與最初挑選的這對典型變量不相關(guān)的線性組合配對中，選出有最大相關(guān)系數(shù)的一對，如此繼續(xù)下去.這樣，我們就將兩組變量間的相關(guān)性凝結(jié)為

3、少數(shù)幾對典型變量間的相關(guān)性，通過對相關(guān)性較大的少數(shù)幾對典型變量的研究來了解原來的兩組變量相關(guān)性，從而容易抓住問題的本質(zhì).4.2.2 總體的典型變量與典型相關(guān)1. 總體的典型變量的定義設(shè)有兩組變量 的協(xié)方差陣,),(21TpXXXXTqYYYY),(21TqpTTTYYYXXXYX),(),(212122211211 1. 總體的典型變量的定義在 的協(xié)方差陣中并假定11和22為滿秩矩陣，且 p q.)(11XCov TTTYX),(22211211 ),(2112YXCovT )(22YCov 1. 總體的典型變量的定義分別考慮X和Y的線性組合其中qqTppTYbYbYbYbVXaXaXaXaU

4、121211111121211111TqTpbbbbaaaa),(,),(1121111121111. 總體的典型變量的定義由于11211111122111111111),(),()()()()(baYbXaCovVUCovbbYbVarVVaraaXaVarUVarTTTTTTT 1. 總體的典型變量的定義則U1和V1的相關(guān)系數(shù)為希望確定a1和b1使 達(dá)到最大. 為使目標(biāo)函數(shù)有簡單的形式，選擇約束條件為 (4.18)這也就是Var(U1) = Var(V1) = 1.122111111121,11bbaabaTTTVU 11,VU 112211111bbaaTT 1. 總體的典型變量的定義典

5、型相關(guān)分析的第一步就是在約束條件Var(U1) = Var(V1) = 1(4.18)式)之下，求出a1和b1，使得 達(dá)到最大.如此確定的(U1, V1)稱為X和Y的第一對典型變量，相應(yīng)的相關(guān)系數(shù) 稱為第一典型相關(guān)系數(shù).1121,11baTVU 11,VU 1. 總體的典型變量的定義如果(U1, V1)還不足以反映X和Y之間的相關(guān)性，可以再構(gòu)造第二對線性組合其中 仍然要求U2和V2具有單位方差，即 Var(U2) = Var(V2) = 1 (4.19)qqTppTYbYbYbYbVXaXaXaXaU222212122222212122,),(,),(222212222212TqTpbbbba

6、aaa1. 總體的典型變量的定義為使(U1, V1)反映X和Y的相關(guān)性與(U2, V2)的不重疊，還要求(U2, V2) 與(U1, V1)不相關(guān)，即 (4.20)在約束條件(4.19)和(4.20)之下，求出a2和b2使相關(guān)系數(shù) 達(dá)到最大. 0),(),(1212VVCovUUCov2122,22baTVU 0),(),(2112VUCovVUCov1. 總體的典型變量的定義如此確定的(U2, V2)稱為X和Y的第二對典型變量，相應(yīng)的相關(guān)系數(shù) 稱為第二典型相關(guān)系數(shù).22,VU 1. 總體的典型變量的定義一般地，若前k - 1對典型變量還不足以反映X和Y之間的相關(guān)性信息，可再構(gòu)造第k對線性組合

7、其中 ，k p q.qkqkkTkkpkpkkTkkYbYbYbYbVXaXaXaXaU22112211TkqkkkTkpkkkbbbbaaaa),(,),(21211. 總體的典型變量的定義在約束條件Var(Uk) = Var(Vk) = 1及 1 j k下，求出ak和bk使相關(guān)系數(shù) 達(dá)到最大. 0),(),(jkjkVVCovUUCovkTkVUbakk12, 0),(),(kjjkVUCovVUCov1. 總體的典型變量的定義如此確定的(Uk, Vk)稱為X和Y的第k對典型變量，相應(yīng)的相關(guān)系數(shù) 稱為第k個典型相關(guān)系數(shù).kkVU , 2. 總體典型變量與典型相關(guān)系數(shù)的求法設(shè)其中11和22為

8、滿秩矩陣，且 p q.,),(21TpXXXXTqYYYY),(21)(11XCov ),(2112YXCovT )(22YCov 2. 總體典型變量與典型相關(guān)系數(shù)的求法令設(shè)p階矩陣A的特征值為相應(yīng)的正交單位化特征向量為e1, e2, , ep2112212111 ppA22221p2. 總體典型變量與典型相關(guān)系數(shù)的求法令設(shè)q階矩陣B的相應(yīng)于前p個最大特征值(按由大到小次序排列)的正交單位化特征向量為f1, f2, , fp1211121122 qqB2. 總體典型變量與典型相關(guān)系數(shù)的求法于是，X和Y的第k對典型相關(guān)變量其典型相關(guān)系數(shù)為 , k = 1,2, ,p其中， 是A的第k大特征值 的

9、正平方根.XeXaUTkTkk2111 YfYbVTkTkk2122 kVUkk ,k 2k 2. 總體典型變量與典型相關(guān)系數(shù)的求法 以上結(jié)果表明，求X和Y的典型相關(guān)變量和典型相關(guān)系數(shù)歸結(jié)為求矩陣A及B的對應(yīng)于前p個最大特征值的正交單位特征向量 .2. 總體典型變量與典型相關(guān)系數(shù)的求法 這里不加證明的給出矩陣A和B的特征值的如下性質(zhì)： A和B有相同的非零特征值，且其數(shù)量為p； A和B的特征值非負(fù)； A和B的全部特征值都在0和1之間.2. 總體典型變量與典型相關(guān)系數(shù)的求法 下面討論從標(biāo)準(zhǔn)化變量的協(xié)方差陣(即原變量的相關(guān)系數(shù)陣)出發(fā)作典型相關(guān)分析的問題. 將X和Y的各分量標(biāo)準(zhǔn)化，得其中 ,),(*

10、2*1*TpXXXXTqYYYY),(*2*1*pjXVarXEXXjjjj, 2 , 1,)()(*qkYVarYEYYkkkk, 2 , 1,)()(*2. 總體典型變量與典型相關(guān)系數(shù)的求法則， 的協(xié)方差陣(即 的相關(guān)系數(shù)陣)為其中，從出發(fā)作典型相關(guān)分析，有類似于前述的結(jié)果.),(),(),(*2112*22*11YXCovYCovXCovT TTTYX)( ,)(*22211211 TTTYX),(2. 總體典型變量與典型相關(guān)系數(shù)的求法就是，X*和Y*的第k對典型相關(guān)變量為其典型相關(guān)系數(shù)為 k = 1,2, ,p式中各變量的含意如下所述.*11*21)()(XeXaUTkTkk *22*

11、21)()(YfYbVTkTkk *,*kVUkk 2. 總體典型變量與典型相關(guān)系數(shù)的求法 為矩陣 的p個特征值(從而也是 的前p個最大特征值)； 和 分別為A*和B*對應(yīng)于特征值 的正交單位化特征向量； 是A的第k大特征值 的正平方根.2112212111* A2*2*22*1)()()(p 1211121122* B*kf*ke2*)(k *k 2*)(k 4.2.3 樣本的典型變量與典型相關(guān) 在實際問題中， 的協(xié)方差陣(或相關(guān)系數(shù)陣) 一般是未知的，我們所具有的資料是關(guān)于X和Y中的n組觀測數(shù)據(jù) Tipiiixxxx),(21TTTYX),(niyyyyTiqiii, 2 , 1,),(2

12、14.2.3 樣本的典型變量與典型相關(guān)同主成分分析一樣，用其這些觀測數(shù)據(jù)構(gòu)造樣本協(xié)方差陣S或樣本相關(guān)陣R，以S和R分別作為 和的估計. 從S (或者R)出發(fā)求得的典型變量和典型相關(guān)系數(shù)分別稱為樣本典型變量和樣本典型相關(guān)系數(shù). 4.2.4 典型相關(guān)系數(shù)的顯著性檢驗當(dāng)?shù)湫拖嚓P(guān)系數(shù)有多大時，才可以認(rèn)為相應(yīng)的一對典型相關(guān)變量之間有顯著的相關(guān)性呢？下面介紹有關(guān)的統(tǒng)計檢驗方法. 4.2.4 典型相關(guān)系數(shù)的顯著性檢驗設(shè)總體X和Y的各對典型相關(guān)系數(shù)已排序成 檢驗假設(shè)若不能拒絕 ，就有 1 = 2 = = p = 0. 這樣， X與Y的各對典型相關(guān)變量不能提供X與Y的任何相關(guān)信息，因此對X與Y作典型相關(guān)分析是沒

13、有實際意義的. 021p0:,0:1)1(11)1(0HH)1(0H4.2.4 典型相關(guān)系數(shù)的顯著性檢驗對于檢驗假設(shè)若拒絕 ，可以進(jìn)一步檢驗假設(shè)0:,0:1)1(11)1(0HH)1(0H0:,0:2)2(12)2(0HH4.2.4 典型相關(guān)系數(shù)的顯著性檢驗對于檢驗假設(shè) 若不能拒絕 ，則認(rèn)為除第一對典型變量相關(guān)外，其余各對典型變量的相關(guān)性均不顯著，因而在實際應(yīng)用中，可只考慮第一對典型變量. 若 被拒絕，則需進(jìn)一步檢驗3是否為零. 0:,0:2)2(12)2(0HH)2(0H)2(0H4.2.4 典型相關(guān)系數(shù)的顯著性檢驗一般地，若假設(shè) 被拒絕，則進(jìn)一步檢驗假設(shè) 若不能拒絕 ，則只需考慮前k-1對

14、典型相關(guān)變量. 若 被拒絕，則需進(jìn)一步檢驗k+1是否為零，直到最終檢驗p是否為零. 0:,0:)2(1)(0kkkHH)(0kH)(0kH0:1)1(0kkH4.2.4 典型相關(guān)系數(shù)的顯著性檢驗在總體(XT, YT)T為p + q維正態(tài)Np+q(, )的條件下，對一般情況的第k個假設(shè)檢驗為典型相關(guān)分析過程采用的檢驗統(tǒng)計量為 (4.34)其中，d1k, d2k及t的定義如下： 0:,0:)2(1)(0kkkHHtktkkkkddF111214.2.4 典型相關(guān)系數(shù)的顯著性檢驗檢驗統(tǒng)計量中各個量的定義為) 1)(1(1kqkpdk12112kkdwtd)3(21qpnw5) 1() 1(4) 1(

15、) 1(2222kqkpkqkpt4.2.4 典型相關(guān)系數(shù)的顯著性檢驗而其中， 為各樣本典型相關(guān)系數(shù)的平方.pkjjk)1 (222221)()()(p4.2.4 典型相關(guān)系數(shù)的顯著性檢驗可以證明，當(dāng) 為真時，F(xiàn)k 漸近地服從自由度為d1k和d2k的F分布，其檢驗的 p 值為式中，fk為由Fk求的觀測值，對于給定的顯著性水平 ，若pk ,則拒絕 .)(0kH)(0kkHkfFPp)(0kH4.2.4 典型相關(guān)系數(shù)的顯著性檢驗利用上述檢驗方法，依次就k = 1, 2, , p進(jìn)行檢驗. 若對某個k，檢驗的p值首次大于給定的顯著水平 ，則認(rèn)為只有前k 1對典型變量顯著相關(guān)，從而僅用前k 1對典型變量可描述X和Y的整體相關(guān)性.典型相關(guān)分析計算實例(例4.6) 為研究空氣溫度與