第6章 多元統(tǒng)計(jì)分析初步

第六章多元統(tǒng)計(jì)分析初步一、多元正態(tài)分布的參數(shù)估計(jì)與檢驗(yàn)二、判別分析三、主成分分析四、因子分析五、典型相關(guān)分析一、多元正態(tài)分布的參數(shù)估計(jì)與檢驗(yàn)1、多元正態(tài)分布2、參數(shù)的估計(jì)3、參數(shù)的檢驗(yàn)如果維隨機(jī)向量(隨機(jī)變量)1、多元正態(tài)分布定義(聯(lián)合)概率密度函數(shù)為則稱隨機(jī)向量為維正態(tài)隨機(jī)向量，其中稱為均值向量，為協(xié)方差矩陣(協(xié)差陣)，且對于一般情形仍可定義多維正記為?！珣B(tài)隨機(jī)向量，當(dāng)時(shí)，假設(shè)令多元正態(tài)分布的性質(zhì)：〔1〕維正態(tài)分布由其均值向量和協(xié)方差陣唯一確定?！?〕對于任一維向量及階非負(fù)定矩陣，〔3〕設(shè)，是常數(shù)矩陣，～是維向量，～則必存在維正態(tài)隨機(jī)向量?！星懊娴拿芏缺硎?，而當(dāng)時(shí)，的分布是退化的正態(tài)分布?！?〕為維正態(tài)隨機(jī)向量的充要條件為對任一維向量，是一維正態(tài)隨機(jī)變量。〔5〕設(shè)為多維正態(tài)隨機(jī)向量，則與互不相關(guān)的充要條件是與相互獨(dú)立。注：假設(shè)，則稱與互不相關(guān)?！?〕設(shè)，～則的充要條件是存在矩陣使得其中?！C明充分性由性質(zhì)3立得。下證必要性。由于是秩為的非負(fù)定陣，則必存在正交矩陣使得其中。令則有令則由性質(zhì)3知，～且,～由上式可得假設(shè)記它是矩陣，即有〔7〕假設(shè),～且，則～證明由可知是正定矩陣，所以存在且為對稱矩陣，這樣令則～且由性質(zhì)3知的每個(gè)分量服從標(biāo)準(zhǔn)正態(tài)分布，且相互獨(dú)立，故分布的定義知～2、參數(shù)的估計(jì)在此給出多元正態(tài)分布的參數(shù)和的估計(jì)。為簡單計(jì)，僅考慮的情形。設(shè)是來自多元正態(tài)總體的簡單樣本，令——樣本均值向量—樣本離差陣定理18.1則是設(shè)是來自多元正態(tài)總體的簡單樣本，且，的極大似然估計(jì)，是的極大似然估計(jì)。定理18.2則是設(shè)是來自多元正態(tài)總體的簡單樣本，且，的一致最小方差無偏估計(jì)，是的一致最小方差無偏估計(jì)。3、均值的檢驗(yàn)〔一〕協(xié)差陣時(shí)，均值的檢驗(yàn)設(shè)是來自多元正態(tài)總體的簡單樣本，其中?？紤]假設(shè)檢驗(yàn)問題令則可以證明當(dāng)成立時(shí)，即時(shí)，～而當(dāng)不成立時(shí)，有偏大的趨勢。因此，對給定的顯著性水平，當(dāng)時(shí)拒絕，否則接受，即拒絕域?yàn)椤捕硡f(xié)差陣未知時(shí)，均值的檢驗(yàn)設(shè)是來自多元正態(tài)總體的簡單樣本，其中未知?？紤]假設(shè)檢驗(yàn)問題令則可以證成立時(shí)，即時(shí)，～明當(dāng)而當(dāng)不成立時(shí)，有偏大的趨勢。因此，對給定的顯著性水平，當(dāng)時(shí)拒絕，否則接受，即拒絕域?yàn)椤踩硟蓚€(gè)正態(tài)總體均值相等的檢驗(yàn)設(shè)是來自多元正態(tài)總體的簡單樣本，考慮假設(shè)檢驗(yàn)問題是來自多元正態(tài)總的簡單樣本，且兩個(gè)樣本相互獨(dú)立，協(xié)方差陣。根據(jù)協(xié)方差陣和未知分兩種情形：〔1〕檢驗(yàn)統(tǒng)計(jì)量可以證明當(dāng)成立時(shí)，即時(shí)，～而當(dāng)不成立時(shí)，有偏大的趨勢。因此，對給定的顯著性水平，當(dāng)時(shí)拒絕，否則接受，即拒絕域?yàn)椤?〕未知檢驗(yàn)統(tǒng)計(jì)量可以證明當(dāng)成立時(shí)，即時(shí)，其中是協(xié)方差陣的估計(jì)量?！?dāng)不成立時(shí)，有偏大的趨勢。因此，對給定的顯著性水平，拒絕域?yàn)槎?、判別分析1、距離判別2、Bayes判別3、Fisher判別1、距離判別定義18.1〔一〕馬氏距離設(shè)和是總體中抽取的樣品，稱的均值和協(xié)方差陣分別為和為與之間的馬氏距離，記為，即為與總體的馬氏距離，容易證明滿足距離的三條根本公里：稱〔1〕非負(fù)性：〔2〕自反性：且當(dāng)且僅當(dāng)時(shí)，〔3〕三角不等式：對任意三個(gè)點(diǎn)及有〔二〕兩個(gè)總體的判別設(shè)有兩個(gè)總體為和，對于給定的樣品需要判斷它來自哪個(gè)總體？判別的規(guī)則是：當(dāng)時(shí)，判定；否則判定。定理18.1當(dāng)參數(shù)及時(shí)，判別準(zhǔn)則是：當(dāng)時(shí)，判定；否則，判定，其中，兩個(gè)總體協(xié)方差陣相同的情形：證明因?yàn)榱钏援?dāng)時(shí)，有判定；否則判定由于函數(shù)是的線性函數(shù)，故稱為的線性判別函數(shù)，稱為判別系數(shù)。在實(shí)際應(yīng)用中，參數(shù)及往往是未知的，此時(shí)需要根據(jù)收集到的樣本資料對參數(shù)作出估計(jì)，然后將其相應(yīng)的估計(jì)值代入線性判別函數(shù)中。下面就給出參數(shù)的估計(jì)。設(shè)是來自總體的樣本，是來自總體的樣本，且兩樣本相互獨(dú)立，則樣本平均值分別是總體均值和的無偏估計(jì)。的估計(jì)為這樣的估計(jì)可取為其中故當(dāng)參數(shù)均未知時(shí)，判別函數(shù)為其中判別系數(shù)為注：距離判別法沒有要求知道總體的分布。兩個(gè)總體協(xié)方差陣不等的情形：設(shè)兩個(gè)總體和的協(xié)方差陣為和，且所有的參數(shù)均，這時(shí)就直接用樣品到總體的馬氏距離來判別，即判別規(guī)則為當(dāng)時(shí)，當(dāng)時(shí)，其中當(dāng)參數(shù)未知時(shí)，需用來自兩個(gè)總體的相互獨(dú)立的樣本來估計(jì)這些參數(shù)，即將這些估計(jì)值代入上述判別法即可進(jìn)行判別。通常為了初略了解所建立的判別方法的誤判率，需進(jìn)行回報(bào)判別，即對已給的兩個(gè)樣本逐個(gè)進(jìn)行判別，可以計(jì)算出回報(bào)誤判率。假設(shè)回報(bào)的誤判率較大，則說明所建立的判別規(guī)則不適用，分析其原因，重新建立恰當(dāng)?shù)呐袆e規(guī)則。注：回報(bào)的誤判率并不是錯(cuò)判概率，一般情形下，前者比后者小，這種衡量標(biāo)準(zhǔn)僅供參考。〔三〕多個(gè)總體的判別設(shè)有個(gè)總體：其均值和協(xié)方差陣分別為及且所有的。當(dāng)這些參數(shù)都時(shí)，計(jì)算假設(shè)存在某個(gè)使得成立，則判別。同樣地當(dāng)總體的參數(shù)是未知的時(shí)，應(yīng)先利用來自個(gè)總體的相互獨(dú)立的樣本給出所有未知參數(shù)的估計(jì)，再利用上述判別法進(jìn)行判別。對同協(xié)方差陣的情形，可以由個(gè)樣本給出的估計(jì)具體判別過程不再贅述。2、Bayes判別〔一〕Bayes判別法的根本概念設(shè)有個(gè)總體，其概率密度分別為且是互不相同的。進(jìn)一步假設(shè)個(gè)總體各自發(fā)生的概率為這個(gè)的概率稱為先驗(yàn)概率，它可以由經(jīng)驗(yàn)給出，也可以由收集到的歷史資料確定。定義損失函數(shù)，表示將本來屬于的樣品錯(cuò)判為屬于所造成的損失，規(guī)定顯然應(yīng)有當(dāng)然也可用矩陣表示，即其中或，由于一個(gè)判別規(guī)則實(shí)質(zhì)上是就是對維空間劃分成個(gè)互不相交的局部，即滿足和故為了方便起見，可簡記一個(gè)的樣品判為屬于的〔錯(cuò)判概率〕概率記為判別規(guī)則為那么將屬于即注意這里的積分是重積分。這樣在判別規(guī)則下，錯(cuò)判來自總體的個(gè)這時(shí)表示正確判別的概率，即因此有體所造成的平均損失為其中表示損失矩陣的第行元素，而表示矩陣的第行元素。由于每個(gè)總體發(fā)生的概率為所以通過判別規(guī)則來進(jìn)行判別所造成的總平均損失為Bayes方法的原理是尋求使平均損失到達(dá)最小的規(guī)則或一種劃分這種規(guī)則或劃分稱為Bayes判別法。并將〔二〕兩個(gè)總體的判別設(shè)有兩個(gè)總體其密度函數(shù)分兩個(gè)總體的先驗(yàn)概率為損失函數(shù)矩陣為定理18.2別為則Bayes判別法具有如下形式在實(shí)際使用Bayes判別法時(shí)，并不需要求出集合而只要將需判別的樣品代入假設(shè)該不等式成立，則判定否則，判定如果總體分別服從協(xié)方差陣相同的正態(tài)分布則Bayes判別法有更簡便的形式，依定理形式給出如下。定理18.3設(shè)總體分別服從協(xié)方差陣相Bayes判別法同的正態(tài)分布且則當(dāng)參數(shù)均時(shí)，具有如下形式其中注：從的表達(dá)式可知Bayes判別函數(shù)與距離判別函數(shù)完全相同，只是臨界值有所不同，領(lǐng)先驗(yàn)概率，即任取一個(gè)樣品，它等可能地來自總體或，且錯(cuò)判損失時(shí)，有這說明在種情況下Bayes判別與距離判別等價(jià)。其它情形下兩者并不等價(jià)。當(dāng)參數(shù)均時(shí)，定理18.3中的Bayes判別法的所產(chǎn)生的錯(cuò)判概率為其中在實(shí)際應(yīng)用中，參數(shù)及往往是未知的，此時(shí)需要根據(jù)收集到的樣本資料對參數(shù)作出估計(jì)，然后將其相應(yīng)的估計(jì)值代入線性判別函數(shù)中不再贅述。例子可參見P316?！踩扯鄠€(gè)總體的判別設(shè)有個(gè)總體，其概率密度分別為且各個(gè)總體出現(xiàn)的先驗(yàn)概率為錯(cuò)判造成的損失為假設(shè)為維空間的一個(gè)劃分，則在規(guī)則下，錯(cuò)判的平均損失為如何尋找一個(gè)劃分，使到達(dá)最小呢？我們有如下的定理。定理18.4設(shè)有個(gè)總體，其概率密度分別為且各個(gè)總體出現(xiàn)的先驗(yàn)概率為錯(cuò)判造成的損失為則使到達(dá)最小的劃分為其中由定理所獲得的劃分稱為劃分的Bayes解。定理18.4給出了實(shí)際可行的具體判別方法。對給定的樣品，計(jì)算個(gè)錯(cuò)判平均損失然后比較他們的大小，假設(shè)最小，則判定。推論18.1在定理18.4的條件下，假設(shè)(即錯(cuò)判的損失均相同)，則Bayes解為此推論說明當(dāng)錯(cuò)判損失相同時(shí)，Bayes解具有上述更簡單的形式。3、Fisher判別設(shè)有個(gè)總體：其均值和協(xié)方差陣分別為及任給一個(gè)樣品,考慮它的線性函數(shù)，則在來自的條件下有假設(shè)令其中判別函數(shù)中的系數(shù)的選取應(yīng)使目標(biāo)函數(shù)到達(dá)極大，此時(shí)極大值稱為判別效率。定理18.5設(shè)有個(gè)總體：其均值和協(xié)方差陣分別為及任給一個(gè)樣品,在下，使得正是矩陣的最大特征值所對應(yīng)的特征到達(dá)最大的線性判別函數(shù)中的系數(shù)向量，其中是所有元素都是的矩陣。判別方法：對給定的樣品，計(jì)算假設(shè)存在使得成立，則判定。如果認(rèn)為這種判別法還不很好的區(qū)分各個(gè)總體，還可以由的前個(gè)特征值所對應(yīng)的特征向量建立個(gè)線性判別函數(shù)這樣就相當(dāng)于把原來的個(gè)指標(biāo)壓縮成個(gè)指標(biāo)，再用這個(gè)指標(biāo)，根據(jù)歐氏距離的大小來規(guī)定的范圍，即對維空間作劃分其中當(dāng)樣品時(shí)，則判定。方法。所研究的問題是：設(shè)有某個(gè)維總體三、主成分分析主成分分析是一種將多個(gè)指標(biāo)化為少數(shù)幾個(gè)指標(biāo)以便揭示問題背后隱藏深層次原因的統(tǒng)計(jì)每個(gè)樣品都測得個(gè)指標(biāo)，而這個(gè)指標(biāo)往往互有影響。能否將這個(gè)指標(biāo)綜合成很少幾個(gè)綜合性指標(biāo)(或特征)，要求這幾個(gè)綜合既能盡可能充分反映原來個(gè)指標(biāo)的信息，且彼此間互不相關(guān)?！惨弧硰膫€(gè)指標(biāo)求主元的方法設(shè)為維隨機(jī)向量，那么如何將這個(gè)指標(biāo)綜合成很少的幾個(gè)指標(biāo)且要盡可能反映原來指標(biāo)的作用，又彼此不相關(guān)呢？一個(gè)自然的方法是尋找指標(biāo)線性組合(線性變換)。我們先來考慮第一個(gè)總合指標(biāo)，令其中是待定的常向量。現(xiàn)在的任務(wù)是選取適當(dāng)?shù)氖沟米畲笙薅鹊胤从吃瓉碇笜?biāo)的作用，這就相當(dāng)于要求要有盡可能大的方差，即選取使得盡可能地大。說明是的無界函數(shù)。然而不能通過加大向量的長度使的方差變因?yàn)閷θ我獾某?shù)，有因此如果對不加大，即只要變長倍，相應(yīng)的方差就擴(kuò)大倍，也限制，問題就會變得毫無意義。一個(gè)自然的限制是令即要求是單位向量。從而問題變?yōu)椋涸诘臈l件下，求使到達(dá)最大的。定理19.1設(shè)總體的均值和協(xié)方差陣分別為是總體的個(gè)指標(biāo)，令其中，則使得的方差和到達(dá)最大的正好是矩陣的最大特征根所對應(yīng)的特征向量。證明用Lagrange乘數(shù)法來證明。令則有令可得這樣就有由于根據(jù)克萊姆法則知，上述齊次線性方程有非零解的充要條件是系數(shù)行列式為零，即這說明是矩陣的特征根，且由可知是對應(yīng)于特征根的特征向量。又由可知欲使的方差最大，只要取為的最大特征根即可，這樣就是對應(yīng)的單位特征向量。由定理19.1可知，第一個(gè)綜合指標(biāo)為其中是的對應(yīng)于矩陣最大特征值的單位特征向量，稱為第一主成分(或第一主元)。假設(shè)協(xié)方差矩陣即是非負(fù)定的，由矩陣論知它有個(gè)非負(fù)的特征根，不妨設(shè)為且是對應(yīng)的個(gè)特征向量。自然應(yīng)為的第二大特征根所對應(yīng)的單位特征向量，并稱為第二主成分。類似地，第二個(gè)綜合指標(biāo)可以取為重復(fù)以上過程，可得的第個(gè)綜合指標(biāo)稱為的第個(gè)主成分?？傊?，我們可得到個(gè)主成分且其中是協(xié)方差陣的非零特征根并有而是對應(yīng)的單位特征向量。假設(shè)用矩陣可表示如下其中且即矩陣是行正交矩陣。因此，所謂的主成分分析也可以看作是對原來的個(gè)指標(biāo)進(jìn)行了一次正交變換而得到個(gè)互不相關(guān)的綜合指標(biāo)，即主成分這樣關(guān)于尋找總體的綜合指標(biāo)——主成分的問題就轉(zhuǎn)化為求的協(xié)方差矩陣的特征值和標(biāo)準(zhǔn)正交特征向量的問題，歸納為如下幾個(gè)步驟：1.求的協(xié)方差陣的特征值，記為2.求對應(yīng)的單位特征向量且要求正交。3.獲得第個(gè)主成分注：假設(shè)，則可得到的個(gè)主成分；當(dāng)

有重特征值時(shí)，主成分不唯一。實(shí)際應(yīng)用時(shí)到底應(yīng)取多少個(gè)主成分作為分析問題的綜合指標(biāo)的問題留在后面討論。在實(shí)際應(yīng)用時(shí)，經(jīng)常會遇到個(gè)指標(biāo)的量綱不盡相同或取值彼此差異很大的問題，處理的一般方法是先將各指標(biāo)進(jìn)行標(biāo)準(zhǔn)化，即其中的協(xié)方差陣為但應(yīng)注意這時(shí)即為相關(guān)矩陣其中因此求的主成分就是求的特征值和相應(yīng)的單位特征向量，然后可得的分量的線性組合，即為所求的主成分。協(xié)方差陣和相關(guān)矩陣往往是未知的。這時(shí)在實(shí)際問題中，所研究的總體的均值需對總體進(jìn)行抽樣，設(shè)樣本為取和的估計(jì)分別為——樣本均值〔二〕樣本主成分——樣本相關(guān)矩陣設(shè)的特征值為對應(yīng)的單位特征向量為則稱為的第個(gè)樣本主成分?！獦颖緟f(xié)方差陣同樣地，假設(shè)記的特征值為對應(yīng)的單位特征向量為則稱為標(biāo)準(zhǔn)化變量的第個(gè)樣本主成分，其中對于樣本可以得到相應(yīng)的主成分的樣本為了區(qū)別起見，將這小節(jié)的主成分統(tǒng)稱為樣本主成分；而上一小節(jié)的主成分統(tǒng)稱為總體主成分。〔二〕奉獻(xiàn)率和主成分的解釋構(gòu)造綜合指標(biāo)的目的是想用盡可能少的主成分來代替原有的個(gè)指標(biāo)，且能對原始資料所具有的意義做出合理的解釋。那么到底應(yīng)該選擇多少主成分才合理呢？下面就來討論總體主成分個(gè)數(shù)的選取問題，對樣本主成分也有類似的分析。設(shè)維總體的協(xié)方差陣為的第個(gè)主成分為由于這些主成分時(shí)互不相關(guān)的，因此有這說明的“總方差〞(即個(gè)分量的方差之和)等于個(gè)互不相關(guān)的隨機(jī)變量的方差之和，其中具有最大的方差，次之且有方差具有最小方差這樣主成分依次集中了各分量的變化的主要局部，第一主成分的方差最大，即是以變化最大的方向向量為系數(shù)所得到的線性函數(shù)作為比值說明了方差在“全部方差〞中所占的比重，顯然這個(gè)比值越大，說明這個(gè)變量“綜合〞原始資料的能力越強(qiáng)。通常稱這個(gè)比值為第一主成分的奉獻(xiàn)率。類似地稱為第個(gè)主成分的奉獻(xiàn)率。而稱為前個(gè)主成分的累計(jì)奉獻(xiàn)率。這就是說，奉獻(xiàn)率約達(dá)，則對應(yīng)的主成分反映的能力就越強(qiáng)，反之則弱。因此，在實(shí)用常常略去那些奉獻(xiàn)率小的主成分。經(jīng)驗(yàn)指出：一般只要前個(gè)主成分的累計(jì)奉獻(xiàn)率超過85%就足夠了。這樣就可以用前個(gè)不相關(guān)的主成分的變化來刻畫的個(gè)相關(guān)分量的變化，即就是說可以用低維指標(biāo)來反映高維指標(biāo)的變化特性。例子參見P340.例某還海灣地區(qū)生物和地理環(huán)境之間的關(guān)系分析，在某海灣地區(qū)設(shè)置了274塊地，調(diào)查了8個(gè)環(huán)境變量和7個(gè)物種。環(huán)境變量的選擇是根據(jù)預(yù)備調(diào)查資料分析而確定的，變量名稱和物種名稱如表所示。由于量綱不同，現(xiàn)將它們進(jìn)行標(biāo)準(zhǔn)化。環(huán)境因子(%)平均標(biāo)準(zhǔn)差物種平均(個(gè)/m2)標(biāo)準(zhǔn)差>250μm顆粒1.214.479Macomabalthica23255996125-250顆粒20.3123.27Tellinatenuis49.254462.5-125顆粒53.6721.36Hydrobiaulvae374.21014<62.5顆粒24.7420.77Corophiumvolutator540.51180燃燒損失1.5040.555Nereisdiversicolor63.5116Ca2.4010.704Arenicolamarina16.726P0.0280.056Nephthyshomergii4.9417N0.0130.0093某海灣地區(qū)環(huán)境與物種關(guān)系調(diào)查因子表四、因子分析因子分析法是用盡可能少的不可觀測的所謂的“公共因子〞的線性函數(shù)與特定因子之和來描述原來觀測的每一分量。其目的是盡可能合理地解釋存在于原始變量之間的相關(guān)性，且簡化變量的維數(shù)與結(jié)構(gòu)?！惨弧骋蜃幽Ｐ湍Ｐ头Q為因子模型，其中假設(shè)1.是可觀測的向量，且均值協(xié)方差陣等于其相關(guān)矩陣2.是不可觀測的向量，其均值協(xié)方差陣是3.與相互獨(dú)立，且的協(xié)方差陣為對角矩陣用矩陣可將因子模型表示為其中滿足前面的三個(gè)假設(shè)條件，是矩陣，即模型中叫做公共因子，它們是在各個(gè)原變量的表達(dá)式中都共同出現(xiàn)的因子，是相互獨(dú)立的不可觀測的理論變量。叫做特殊因子，是原單一變量(各分量)所特有因子，各特殊因子之間以及特殊因子與公共因子之間都是相互獨(dú)立的。矩陣的元素叫做因子載荷，當(dāng)?shù)慕^對值大時(shí)()說明與的相依程度大，或說公共因子對于的載荷量大，因此稱為公共因子載荷量，簡稱因子載荷，而矩陣稱為因子載荷矩陣。所謂因子分析，就是如何從一組資料出發(fā)，分析出公共因子與特殊因子來，并求出相應(yīng)的〔二〕因子載荷矩陣的統(tǒng)計(jì)意義載荷矩陣，最后解釋各個(gè)公共因子的含義。1.因子載荷的統(tǒng)計(jì)意義因?yàn)榍乙虼思仁桥c協(xié)方差，又是它們的相關(guān)系數(shù)，即就是說是用來度量可用線性組合表示的程度，這樣稱因子載荷叫做權(quán)，表示與的依賴程度。2.變量共同度的統(tǒng)計(jì)意義稱因子載荷矩陣中各行的平方和為變量的共同度。由于即上式說明變量的方差有兩局部組成：其一是它是全部公共因子對于變量的總方差所作出的奉獻(xiàn)；其二是它是變量的特殊因子所產(chǎn)生的方差，僅與變量的本身變化有關(guān)，而與公共因子無關(guān)，常稱為剩余方差。3.公共因子的方差奉獻(xiàn)統(tǒng)計(jì)意義將載荷矩陣的各列元素平方和稱為公共因子對的奉獻(xiàn)?！捕骋蜃虞d荷矩陣得求法五、典型相關(guān)分析典型相關(guān)分析是一種研究兩個(gè)隨機(jī)向量的相關(guān)關(guān)系的統(tǒng)計(jì)方法。類似于主成分分析，它是將兩個(gè)隨機(jī)向量的相關(guān)變?yōu)閮蓚€(gè)新隨機(jī)變量之間的相關(guān)來進(jìn)行討論，同時(shí)又盡可能保存原變量的信息，即就是分別對兩個(gè)隨機(jī)向量構(gòu)造其分量的線性組合，并使兩個(gè)線性組合所形成為典型相關(guān)，形成的兩個(gè)新變量為典型變量。進(jìn)而還可