多元正態(tài)分布及其抽樣分布課件

1、多元正態(tài)分布及其抽樣分布內(nèi) 容第一節(jié) 多元正態(tài)分布的定義第二節(jié) 多元正態(tài)的性質(zhì)第三節(jié) 多元正態(tài)參數(shù)的極大似然估計第四節(jié) 多元正態(tài)的樣本分布多元正態(tài)分布及其抽樣分布第一節(jié)第一節(jié) 多元正態(tài)分布的定義多元正態(tài)分布的定義一、標準多元正態(tài)分布一、標準多元正態(tài)分布2111exp()22niix 則),(21 puuuu) 1 , 0(N),(21 puuuu12( ,)pf x xx設(shè)隨機向量其分量獨立同分布于密度函數(shù)為2211(2)exp()2ppiix多元正態(tài)分布及其抽樣分布pi, 2 , 1 其中的),(21 puuuu0),()(21pEuEuEuEu u均值為iu多元正態(tài)分布及其抽樣分布 221

2、2221212121)()(pppppuuuuuuuuuuuuuuuEVaruuEu 協(xié)方差矩陣為I 111多元正態(tài)分布及其抽樣分布 二、一般的正態(tài)分布二、一般的正態(tài)分布 1 221(2 )exp2p-1(x-)(x-) ix 設(shè)隨機向量 ,若其的密度函數(shù)為),(21 pxxxx12( ,)pf x xx多元正態(tài)分布及其抽樣分布其中 的均值為 ),(21 pxxxx),()(21 pEx協(xié)方差為 22211222222122112211211)()()()()()()()()(pppppppppxxxxxxxxxxxxxxxE),(21 pxxxx稱 服從均值為E(X)，協(xié)方差為 的正態(tài)分布。

3、多元正態(tài)分布及其抽樣分布 三、一般的三、一般的p p維正態(tài)和維正態(tài)和p p維標準正態(tài)的關(guān)系維標準正態(tài)的關(guān)系),(),()(2121 ppExExExEx 設(shè) ，其中 是一個 階非退化矩陣， 服從 維標準正態(tài)分布，則 p AuxA),(21 puuuuxAup服從p維正態(tài)分布，且均值向量為多元正態(tài)分布及其抽樣分布xAA x x的協(xié)方差矩陣為的協(xié)方差矩陣為( )()()VarxE xx E Auu A AE uu A AIA多元正態(tài)分布及其抽樣分布12( ,)pf x xx1 2211(2 )exp()()2px x211)( AAAJxu其密度函數(shù)為 1211(2 )exp()() |2pxAA

4、xJ多元正態(tài)分布及其抽樣分布 若 ，則1存在， 是非退化 元正態(tài)分布；)()(qpprank A Auxp 若 ，則 不存在， 是退化 元正態(tài)分布，不存在密度函數(shù)。)()(qpprank A1 Auxp 值得注意值得注意 設(shè)隨機向量 ， 是常數(shù)向量， 是一個 的常數(shù)矩陣，則 服從正態(tài)分布，記為 ，其中 ), 0(IqNuAqp* Aux),(pNx)*(ppAA 多元正態(tài)分布及其抽樣分布10111010112 1 101211112 101011010101101111112AA 例：設(shè)隨機向量 ， ， ，則 的分布是退化的三元正態(tài)分布。), 0(2INuAux 111001Ax多元正態(tài)分布及

5、其抽樣分布第二節(jié)第二節(jié) 多元正態(tài)分布的性質(zhì)多元正態(tài)分布的性質(zhì)二、x x是一個服從p維正態(tài)分布，當且僅當它的任何線性函數(shù) 服從一元正態(tài)分布 。( , )pN xa一、多元正態(tài)分布的特征函數(shù)一、多元正態(tài)分布的特征函數(shù))exp()(ttit 21t 三、 X X服從 維正態(tài)分布，則 ，其中 為 常數(shù)矩陣， 為 維的常數(shù)向量，則pbCxyCprbr),(CCbCyrN多元正態(tài)分布及其抽樣分布 四、設(shè) ，則 的任何子向量也服從多元正態(tài)分布，其均值為 的相應子向量，協(xié)方差為 的相應子矩陣。),(pNxxkpk21xxxkpk21kpk22211211多元正態(tài)分布及其抽樣分布nxxx,21),(iipNix

6、ni, 2 , 1nnkk,1).,(1112inininiiipikNkix 五、設(shè) , ， 相互獨立，且，則對任意 個常數(shù) ，有多元正態(tài)分布及其抽樣分布 六、 ，則 分布。()pNx,2() ( ) p-1x-) (x-)(xy21)()(xy21VarVar2121)(xVar2121分布。（服從維標準正態(tài)分布，故是)2ppyyy多元正態(tài)分布及其抽樣分布,xkpk21xxxkpk21pkk2221121121,xx012 七、將 作如下的分塊： 子 向量相互獨立，當且僅當 。證：必要性相互獨立和21xx)x)(x221112 E又012)x)E(E(x221112多元正態(tài)分布及其抽樣分布

7、充分性0121221111002211 )(x)(x211exp)2(),(21221ppxxxf12211111 21 221122(2 )p11111112212222()1exp()()()2xxxx多元正態(tài)分布及其抽樣分布21exp)2(21112/)(x)(x11111k21exp)2.(222221222/ )(22)(x)(x1kp1 21 221122(2 )p11111111222222()1exp()()()2xxxx1 21 221122(2 )p111111112222221exp()()()() 2xxxx多元正態(tài)分布及其抽樣分布相互獨立。和故2xx1)()()(21

8、21xxxfff多元正態(tài)分布及其抽樣分布 八、設(shè) ， ， ，其中 是 階矩陣， 是 階矩陣， ， ，則 與 相互獨立，當且僅當 。 ),(I0Nxn Axy BxzAnpBnqpArank)(qBrank)(YZ0 B BA A)()cov(zzyyzy,EEE)(BxAx)(BxAxEEEBxx)(xxA)(EEEBxA)(VarBAI BA 多元正態(tài)分布及其抽樣分布 九、設(shè) ， ， ，其中 是 階矩陣， 是 階矩陣， ， ，則 與 相互獨立，當且僅當 。 ),(0Nxn Axy BxzAnpBnqpArank)(qBrank)(0BAYZ同上可證。多元正態(tài)分布及其抽樣分布kpk21xxx

9、十、將 作如下的分塊： ,xkpk21pkk22211211則 與 相互獨立， 與相互獨立 。2X1X2122121XX1111212XX證：21xx0Ix令2111121xxIz)cov(zx1,21xx0IvarI11121多元正態(tài)分布及其抽樣分布222112110II1112121xx0IvarI1112101212I121111211相互獨立。與所以1111212xxx1多元正態(tài)分布及其抽樣分布則給定 時 的條件分布為 ，其中2x1x),(21121kN).(x2212212121差。的條件 協(xié)條件協(xié)方的條件下是1221122121111.2xxkpk21xxx 十一、將 作如下的分塊

10、： kpk21pkk22211211,x為 給定的條件下 數(shù)學期望。1x2x多元正態(tài)分布及其抽樣分布 十二、偏相關(guān)系數(shù)十二、偏相關(guān)系數(shù) 矩陣 稱為條件協(xié)方差矩陣，它的元素用表示。是當 給定的條件下， 與 （ ）的偏相關(guān)系數(shù)，定義為11.2pkij, 1.2xixjxkji,pkjjpkiipkijpkij, 1., 1., 1., 1. 它度量了在值 給定的條件下， 與（ ）相關(guān)性的強弱。p1kx,xixjxkji,多元正態(tài)分布及其抽樣分布例 設(shè)XN6( ,)，其協(xié)方差矩陣為，計算偏相關(guān)系數(shù)。363.27525. 4860. 3069. 4851. 1107. 3532.19864. 5638

11、. 4530.30939. 2161. 1276. 1874. 2981. 4213. 5276. 1681. 1540. 3168. 2033. 7多元正態(tài)分布及其抽樣分布1440. 01441. 0534. 01676. 0540. 0476. 01252. 0265. 0324. 0233. 01376. 0245. 0360. 0242. 0366. 01多元正態(tài)分布及其抽樣分布363.27525. 4860. 3069. 4851. 1107. 3532.19864. 5638. 4530.30939. 2161. 1276. 1874. 2981. 4213. 5276. 1681

12、. 1540. 3168. 2033. 7求x7給定的條件下，x1， x6的偏協(xié)方差矩陣多元正態(tài)分布及其抽樣分布2112212112 .11860. 3851. 1107. 3864. 5638. 4530.30161. 1276. 1874. 2981. 4276. 1681. 1540. 3168. 2033. 7525. 4069. 4532.19939. 2132. 5525. 4069. 4532.19939. 2213. 5363.271多元正態(tài)分布及其抽樣分布112. 3178. 1502. 2634. 2734. 1588.16675. 0839. 0776. 0665. 44

13、14. 0906. 0181. 0608. 1040. 6)/,(651xxx 1442. 01367. 0269. 01177. 0246. 0088. 01096. 0233. 0018. 0303. 01)/,(651xxx 多元正態(tài)分布及其抽樣分布112. 3178. 1502. 2634. 2734. 1588.16675. 0839. 0776. 0665. 4414. 0906. 0181. 0608. 1040. 6)/,(651xxx 211221211),/,(5641xxxx 502. 2734. 1588.16839. 0776. 0665. 4906. 0181. 0

14、608. 1040. 6多元正態(tài)分布及其抽樣分布178. 1634. 2675. 0414. 0178. 1634. 2675. 0414. 0112. 31056. 2737. 0359.14583. 0198. 0519. 4749. 0531. 0518. 1985. 5多元正態(tài)分布及其抽樣分布1136. 01191. 0025. 01214. 0057. 0292. 01),/,(654321xxxxxx多元正態(tài)分布及其抽樣分布3 3 實例分析及實例分析及SAS/CORRSAS/CORR 例1 今對31人進行人體測試，考察的7個指標是： x1：年齡 x2：體重 x3：肺活量 x4：1.

15、5英里跑所需時間 x5：休息時的脈搏 x6：跑步時的脈搏 x7：跑步時記錄的最大的脈搏 對這些指標進行一些相關(guān)分析。多元正態(tài)分布及其抽樣分布SAS的程序的程序data a;input x1-x7;cards;44 89.47 44.609 11.37 62 178 18240 75.07 45.313 10.07 62 185 18538 89.02 49.874 9.22 55 178 18047 48 61.24 47.920 11.50 52 170 17652 82.78 47.467 10.50 53 170 172; proc corr nosimpl cov;var x1;wit

16、h x7;partial x3;run;多元正態(tài)分布及其抽樣分布proc corr nosimpl cov;分析相關(guān)系數(shù)nosimpl是要求不打印描述性統(tǒng)計量。var x1;指定分析相關(guān)系數(shù)的變量。with x7; with指定變量與var指定的變量之間的相關(guān)系數(shù)。partial x3;當指定的變量給定時，計算偏相關(guān)系數(shù)。多元正態(tài)分布及其抽樣分布 x1x2x3x4x5x6x7 x11.00000-0.23354-0.304590.18875-0.16410-0.33787-0.43292P值值 0.20610.09570.30920.37770.06300.0150 x2-0.233541.0

17、0000-0.162750.143510.043970.181520.24938P值值0.2061 0.38170.44120.81430.32840.1761 x3-0.30459-0.162751.00000-.86219-0.39936-0.39797-0.23674P值值0.09570.3817 .00010.02600.02660.1997 x40.188750.14351-0.862191.000000.450380.313650.22610P值值0.30920.4412.0001 0.01100.08580.2213 x5-0.164100.04397-0.399360.4503

18、81.000000.352460.30512P值值0.37770.81430.02600.0110 0.05180.0951 x6-0.337870.18152-0.397970.313650.352461.000000.92975P值值0.06300.32840.02660.08580.0518 .0001 x7-0.432920.24938-0.236740.226100.305120.929751.00000P值值0.01500.17610.19970.22130.0951 |r| under H0: Partial Rho=0 x1 x7 -0.54573 0.0018 多元正態(tài)分布及

19、其抽樣分布第三節(jié) 極大似然估計及其性質(zhì)多元正態(tài)分布及其抽樣分布),(pNx設(shè), 0 則總體的密度函數(shù)為)()(21exp)2(),(121221xxxxxfpp X1，X2，Xn是從總體中抽取的一個簡單隨機樣本，滿足X1，X2，Xn相互獨立，且同正態(tài)分布 2212222111211nnnppnxxxxxxxxxxxxX21稱X X為樣本數(shù)據(jù)矩陣。一、樣本的聯(lián)合密度函數(shù)一、樣本的聯(lián)合密度函數(shù)多元正態(tài)分布及其抽樣分布211()exp2nnpi2-1ii(X -) (X -)()()()(21nXfXfXff X為樣本聯(lián)合密度函數(shù)。nip121221exp)2()(x)(xi1i多元正態(tài)分布及其抽樣

20、分布1()ni-1iiX - (X -1(nitr-1iiX -) (X -)所以，似然函數(shù)還可以表示為：)(11nitrxxii)()2()(112/ninpetrfxxXii多元正態(tài)分布及其抽樣分布二、 和 的極大似然估計的極大似然估計 所謂和的極大似然估計，是尋找 和 滿足條件 , ()max ()LL,多元正態(tài)分布及其抽樣分布令 11niinxx niii 1A(xx)(xx)niii 1A(xx)(xx)nXXXXniii 1A(x)(x)niii 1(xxx)(xxx)()()nniii 1(xx)(xx)x x()()nAx x多元正態(tài)分布及其抽樣分布211( )()exp()

21、()2nnpiiif2tr-1XXX211()e() ()2nnpiii2tr-1XX21()()()2np2etrn-1Ax- x- = x1 = S =An可以證明和的極大似然估計為多元正態(tài)分布及其抽樣分布三、相關(guān)系數(shù)的極大似然估計 （一）極大似然估計的不變性質(zhì) 設(shè) 是的極大似然估計是 ，而且變換f( )是一一對應的，則f( )的極大似然估計就是 ( )f 多元正態(tài)分布及其抽樣分布（二）簡單相關(guān)系數(shù)的極大似然估計ijijiijjss s 其中Sij是樣本協(xié)方差矩陣S中相應位置上的元素多元正態(tài)分布及其抽樣分布（三）偏相關(guān)系數(shù)的極大似然估計12kpkxxx kSpk11122122SSSS則偏

22、相關(guān)系數(shù)的極大似然估計1,.1,1,1,ij kpij kpii kpjj kpsss 其中11,11122221()ij kpsSS S S ，, i jk。 多元正態(tài)分布及其抽樣分布（四）復相關(guān)系數(shù)的極大似然估計將x和S作如下的分塊 1211xpxx 1211p11122211sSp11121222ssS多元正態(tài)分布及其抽樣分布的線性函數(shù)為 2x2 l x12212,12( ,)( ) ()xCOVxV x V2l xl xl x21212( ,)( ) ()COV xV x Vl xl x2212121122( ,)( ) ()COV xV x V12x l ll xl l221122-

23、1122212 l ll l11-1122212 多元正態(tài)分布及其抽樣分布 定義定義 (復相關(guān)系數(shù)復相關(guān)系數(shù))212,3,p12,0maxx2l xl21201211( ,)max( ) ()COVxV x V-1122212ll x l x 一個變量y與一組變量X1,X2,XK的負相關(guān)系數(shù)是以y為被解釋變量，X1,X2,XK為自變量的回歸方程的可決系數(shù)。為自變量的回歸方程的可決系數(shù)。多元正態(tài)分布及其抽樣分布 為了研究四川經(jīng)濟增長的影響因素，欲建立四川省經(jīng)濟增長模型。主要經(jīng)濟指標采用國內(nèi)生產(chǎn)總值增長率（Y），投資指標資本形成總額增長率（X1），人口指標用自然增長率（X2），就業(yè)指標失業(yè)率（X3

24、）和消費指標居民消費水平增長率（X4）。分析指標之間的關(guān)系。多元正態(tài)分布及其抽樣分布data a;input y x1-x4;cards;數(shù)據(jù)行;proc corr nosimpl noprob cov;run;多元正態(tài)分布及其抽樣分布proc iml;sigma22=76.58605619 2.59407381 -3.45807619 49.03157071, 2.59407381 5.14447619 -0.78252381 4.24046429, -3.45807619 -0.78252381 3.63747619 -2.32063571, 49.03157071 4.24046429

25、-2.32063571 53.90793143;sigma12= 57.79053524 4.91975476 -2.98844524 52.41117214;fcorr=sigma12*inv(sigma22)*t(sigma12)/54.8989690;print fcorr;proc reg;model y=x1-x4;run;多元正態(tài)分布及其抽樣分布 Analysis of Variance Sum of MeanSource DF Squares Square F Value Pr FModel 4 1089.28592 272.32148 501.20 F Wilks Lambda

26、 0.54561620 6.87 4 33 0.0004 Pillais Trace 0.45438380 6.87 4 33 0.0004 Hotelling-Lawley Trace 0.83279015 6.87 4 33 0.0004 Roys Greatest Root 0.83279015 6.87 4 33 0.0004直接檢驗兩個總體的均值向量是否相等。多元正態(tài)分布及其抽樣分布 Dependent Variable: x1 （對（對X1進行的檢驗）進行的檢驗） Sum of Source DF Squares Mean Square F Value Pr F Model 1 0

27、.87466791 0.87466791 16.90 0.0002 Error 36 1.86300840 0.05175023 Corrected Total 37 2.73767632 X1在類間有顯著性差異。 Dependent Variable: x2 （對（對X2進行的檢驗）進行的檢驗） Sum of Source DF Squares Mean Square F Value Pr F Model 1 0.08312077 0.08312077 1.95 0.1710 Error 36 1.53370028 0.04260279 Corrected Total 37 1.616821

28、05X2在類間沒有顯著性差異。多元正態(tài)分布及其抽樣分布Dependent Variable: x3（對（對X3進行的檢驗）進行的檢驗） Sum of Source DF Squares Mean Square F Value Pr F Model 1 16.46958443 16.46958443 21.45 F Model 1 0.00112694 0.00112694 0.03 0.8643 Error 36 1.36978095 0.03804947 Corrected Total 37 1.37090789X4在類間沒有顯著性差異。多元正態(tài)分布及其抽樣分布第四節(jié)第四節(jié) 抽樣分布抽樣分布

29、 一、維希特（一、維希特（WishartWishart） 1 1、定義、定義隨機矩陣的分布npnnppxxxxxxxxx212222111211X設(shè)隨機矩陣 矩陣中的每一個元素均為隨機變量，則矩陣X的分布是其列向量拉長，組成一個長向量的分布。npnppxxxxxx1221111x多元正態(tài)分布及其抽樣分布 特別當 是 階對稱陣，則 的分布為的下三角部分組成的長向量XpXppppppppxxxxxxx,1,1, 1222111x 在一元正態(tài)隨機變量中，我們曾經(jīng)討論了 分布，在多元正態(tài)隨機變量也有類似的樣本分布。維希特分布（Wishart）相當于一元統(tǒng)計中的 分布。 22多元正態(tài)分布及其抽樣分布 定

30、義定義 維希特（維希特（WishartWishart）分布的統(tǒng)計量）分布的統(tǒng)計量 設(shè) 個隨機向量 n), 3 , 2 , 1(),(21niXXXipiii X)()2()1(212222111211npnnpnnppXXXXXXXXXXXXX 獨立同分布于 ，則隨機矩陣),( pNn n1 1i i）（）（ii多元正態(tài)分布及其抽樣分布 服從自由度為 的非中心維斯特分布，記為 。n),( nWpnpnnppnpppnnxxxxxxxxxxxxxxxxxxA212222111211212221212111X XX X多元正態(tài)分布及其抽樣分布 定理1：若 ，且 ， ，則 的分布密度為特別，當 和

31、時， 服從 分布。),(nWppn 0 0,)21(|2)21exp(|)(1221)1(212)1( ainAtraaFpinnppnpp1 p1 2維希特（ Wishart）分布的密度函數(shù)多元正態(tài)分布及其抽樣分布二、維斯特(Wishart)分布有如下的性質(zhì)： （1）若A1和A2獨立，其分布分別 和 ，則 的分布為 ，即維斯特分布有可加性。),(1nWp),(2nWp21 ),(21nnWp （2） ，C為mp階的矩陣，則 的分布為 分布。),(nWpCC),(CC nWm多元正態(tài)分布及其抽樣分布 三、三、 抽樣分布抽樣分布 定理1：設(shè)X1,X2,Xn是來自多元正態(tài)總體Np(,)的簡單隨機樣

32、本，有),(11211 pxxx1x),(222212 pxxxx),(21 npnnnxxxx niin11令 n1iXXXXS)(ii 則有XXXXSi nnjj1多元正態(tài)分布及其抽樣分布)1,(1nNp、2S、 和( n-1)3(1, )pWnS、( n-1)證明： 為一正交矩陣設(shè) nnnijnn2111* nnXXX2121)(令獨立多元正態(tài)分布及其抽樣分布為正交矩陣，所以且獨立同正態(tài)分布由于,), 4 , 3 , 2 , 1(ni iX獨立同正態(tài)分布)(21n 11nniinn x11()nipiNnnx,多元正態(tài)分布及其抽樣分布) 1, 3 , 2 , 1()()(1 narEEn

33、jjajanjajr101 ninjajrrnnjajnrn11多元正態(tài)分布及其抽樣分布0()ijCovijij ,1()()(1,2,3,1)naajjjDDran21()najjjr D21najjr21najjr故()pN1n-1z ,z,且相互獨立。多元正態(tài)分布及其抽樣分布1(1)()()njjniSXX XX1njjniX XXX1njjnn iX X1122-1-1nnnn 11(1)njjjn SS與( n-1)11(1)(1, )npjnW n jjS 獨立多元正態(tài)分布及其抽樣分布當 ， 時，由卡方分布的定義可知1 p1 1122) 1(niinyA可見維希特分布是由卡方分布在

34、多元下的推廣。), 4 , 3 , 2 , 1(ni iX)(1)(0120 xx0nT )()(01 xx0n服從自由度為 的卡方分布。p定理定理2 2 設(shè) 獨立同正態(tài)分布，則統(tǒng)計量多元正態(tài)分布及其抽樣分布 證： 由于樣本均值 )1,(npNx)(21 Xn令 )()(21XnEEpnDD )()(21X)()(21Io,XpNn )2222212pZZZp（所以 相互獨立的標準正態(tài)分布的平方和為自由度為 的卡方分布。p多元正態(tài)分布及其抽樣分布 在一元正態(tài)的情形下，我們有樣本的統(tǒng)計量當總體的方差未知時，我們必須用樣本的方差來代替總體的方差，則那么在多元正態(tài)的情形下，是否有相同的問題呢？回答時肯定的。) 1 , 0( NnxZ niixxnS122*)(11) 1(* ntnSxt多元正態(tài)分布及其抽樣分布定義： 則相互獨立和設(shè),),(),( ppNunW),(212uunpTn 稱T2服從參數(shù)為P和