《多元正態(tài)分布》PPT課件.ppt

第三章 多元正態(tài)分布,3.1 多元正態(tài)分布的定義 3.2 多元正態(tài)分布的性質(zhì) 3.3 復相關(guān)系數(shù)和偏相關(guān)系數(shù) 3.4 極大似然估計及估計量的性質(zhì) 3.5 和(n 1) S的抽樣分布 *3.6 二次型分布,3.1 多元正態(tài)分布的定義,一元正態(tài)分布N(,2)的概率密度函數(shù)為 若隨機向量 的概率密度函數(shù)為 則稱x服從p元正態(tài)分布，記作xNp (, )，其中，參數(shù)和分別為x的均值和協(xié)差陣。,例3.1.1（二元正態(tài)分布 ）,設(shè)xN2(, )，這里 易見，是x1和 x2的相關(guān)系數(shù)。當|1時，可得x的概率密度函數(shù)為,二元正態(tài)分布的密度曲面圖,下圖是當 時二元正態(tài)分布的鐘形密度曲面圖。,二元正態(tài)分布等高線,等高（橢圓）線： 上述等高線上的密度值,二元正態(tài)分布的密度等高線族 （使用SAS/INSIGHT，由10000個二維隨機數(shù)生成）,3.2 多元正態(tài)分布的性質(zhì),*（1）略。 （2）設(shè)x是一個p維隨機向量，則x服從多元正態(tài)分布，當且僅當它的任何線性函數(shù) 均服從一元正態(tài)分布。 性質(zhì)（2）?？捎脕碜C明隨機向量服從多元正態(tài)分布。 （3）設(shè)xN p (, )，y=Cx+b其中C為rp 常數(shù)矩陣，則 該性質(zhì)表明，（多元）正態(tài)變量的任何線性變換仍為（多元）正態(tài)變量。,例3.2.2 設(shè)xNp (, )，a為p維常數(shù)向量，則由上述性質(zhì)（2）或（3）知， （4）設(shè)xNp (, )，則x的任何子向量也服從（多元）正態(tài)分布，其均值為的相應(yīng)子向量，協(xié)方差矩陣為的相應(yīng)子矩陣。 該性質(zhì)說明了多元正態(tài)分布的任何邊緣分布仍為（多元）正態(tài)分布。 需注意，隨機向量的任何邊緣分布皆為（多元）正態(tài)分布未必表明該隨機向量就服從多元正態(tài)分布。例2.2.2就是這樣的一個反例。,還需注意，正態(tài)變量的線性組合未必就是正態(tài)變量。 這是因為： x1,x2, ,xn均為一元正態(tài)變量 ()x1,x2, ,xn的聯(lián)合分布為多元正態(tài)分布 x1,x2, ,xn的一切線性組合是一元正態(tài)變量 例3.2.4 設(shè)xN4(, )，這里,則 （i） ； （ii） ； （iii） 。,3.2 多元正態(tài)分布的性質(zhì),（5）設(shè)x1,x2, ,xn相互獨立，且xiN p (i, i) ，i=1,2,n，則對任意n個常數(shù)，有 此性質(zhì)表明，獨立的多元正態(tài)變量（維數(shù)相同）的任意線性組合仍為多元正態(tài)變量。 （6）設(shè)xN p (, )，對x, , (0)作如下的剖分：,則子向量x1和x2相互獨立，當且僅當12=0。 該性質(zhì)指出，對于多元正態(tài)變量而言，其子向量之間互不相關(guān)和相互獨立是等價的。 （7）設(shè)xN p (, ), 0，則 例3.2.5 設(shè)xN3(,)，其中 則x2和x3不獨立，x1和(x2,x3)獨立。 *（8）略,*（9）略 *（10）略 （11）設(shè)xN p (, ), 0，作如下剖分 則給定x2時x1的條件分布為 ，其中 12和112分別是條件數(shù)學期望和條件協(xié)方差矩陣，112通常稱為偏協(xié)方差矩陣。,這一性質(zhì)表明，對于多元正態(tài)變量，其子向量的條件分布仍是（多元）正態(tài)的。 例3.2.7 設(shè)xN3(, )，其中 試求給定x1+2x3時 的條件分布。,3.3 復相關(guān)系數(shù)和偏相關(guān)系數(shù),一、復相關(guān)系數(shù) 二、偏相關(guān)系數(shù),一、復相關(guān)系數(shù),（簡單）相關(guān)系數(shù)度量了一個隨機變量x1與另一個隨機變量x2之間線性關(guān)系的強弱。 復相關(guān)系數(shù)度量了一個隨機變量x1與一組隨機變量x2, ,xp之間線性關(guān)系的強弱。 將x, (0)剖分如下：,x1和x2的線性函數(shù) 間的最大相關(guān)系數(shù)稱為 x1和x2間的復(或多重)相關(guān)系數(shù)(multiple correlation coefficient)，記作12,p, 它度量了一個變量x1與一組變量x2, ,xp間的相關(guān)程度。 可推導出 例3.3.1 隨機變量x1,xp的任一線性函數(shù)F=l1x1+ lp xp與x1,xp的復相關(guān)系數(shù)為1。 證明,二、偏相關(guān)系數(shù),將x, (0)剖分如下： 稱 為給定x2時x1的偏協(xié)方差矩陣。記 ，稱 為偏協(xié)方差，它是剔除了 的（線性）影響之后，xi和xj之間的協(xié)方差。,給定x2時xi 和xj的偏相關(guān)系數(shù)（partial correlation coefficient）定義為 其中 。 ijk+1,p度量了剔除xk+1, ,xp的（線性）影響之后，xi和xj間相關(guān)關(guān)系的強弱。 對于多元正態(tài)變量x，由于112也是條件協(xié)方差矩陣，故此時偏相關(guān)系數(shù)與條件相關(guān)系數(shù)是同一個值，從而ijk+1,p同時也度量了在xk+1, ,xp值給定的條件下xi和xj間相關(guān)關(guān)系的強弱。,3.4 極大似然估計及估計量的性質(zhì),本課程第二章和第三章前三節(jié)的內(nèi)容屬概率論的范疇。 從第三章3.4 開始的內(nèi)容屬數(shù)理統(tǒng)計的范疇，特點是推斷和分析從樣本出發(fā)。 一、樣本x1,x2, ,xn的聯(lián)合概率密度 二、 和的極大似然估計 三、相關(guān)系數(shù)的極大似然估計 四、估計量的性質(zhì),設(shè)xNp(, ) , 0，x1,x2, ,xn是從總體x中抽取的一個簡單隨機樣本（今后簡稱為樣本），即滿足：x1,x2, ,xn獨立，且與總體分布相同。 令 稱之為（樣本）數(shù)據(jù)矩陣或觀測值矩陣。,一、樣本x1,x2, ,xn的聯(lián)合概率密度,極大似然估計是通過似然函數(shù)來求得的，似然函數(shù)可以是樣本聯(lián)合概率密度 f (x1,x2,xn)的任意正常數(shù)倍，我們不妨取成相等，記為L(, )?？删唧w表達為：,二、和的極大似然估計,一元正態(tài)情形： 多元正態(tài)情形： 其中 稱為樣本均值向量（簡稱為樣本均值）， 稱為樣本離差矩陣。,三、相關(guān)系數(shù)的極大似然估計,1.簡單相關(guān)系數(shù) 2.復相關(guān)系數(shù) 3.偏相關(guān)系數(shù),1.簡單相關(guān)系數(shù),相關(guān)系數(shù)ij的極大似然估計為 其中 。稱S為樣本協(xié)方差矩陣、rij為樣本相關(guān)系數(shù)、 為樣本相關(guān)矩陣。,2.復相關(guān)系數(shù),將x, (0),S剖分如下： 則復相關(guān)系數(shù)12,p的極大似然估計為r12,p,稱之為樣本復相關(guān)系數(shù)。其中,3.偏相關(guān)系數(shù),將x, (0),S剖分如下： 則偏相關(guān)系數(shù)ijk+1,p的極大似然估計為rijk+1,p ，稱之為樣本偏相關(guān)系數(shù)，其中,。,四、估計量的性質(zhì),1.無偏性 2.有效性 3.一致性 4.充分性,1.無偏性,設(shè) 是未知參數(shù) （可以是一個向量或矩陣）的一個估計量，如果 ，則稱估計量 是被估參數(shù)的一個無偏估計，否則就稱為有偏的。 樣本均值 是總體均值的無偏估計，即有 由于 ，故 不是的無偏估計。 若將該估計量稍加修正為 則S將是的一個無偏估計，即有E(S)=。,3.5 和(n 1)S的抽樣分布,一、 的抽樣分