第二章 多元正態(tài)分布及參數(shù)的估計匯總

第二章多元正態(tài)分布及參數(shù)的估計在多元統(tǒng)計分析中，多元正態(tài)分布占有相當重要的地位.這是因為許多實際問題涉及到的隨機向量服從正態(tài)分布或近似服從正態(tài)分布；當樣本量很大時，許多統(tǒng)計量的極限分布往往和正態(tài)分布有關;此外，對多元正態(tài)分布，理論與實踐都比較成熟，已有一整套行之有效的統(tǒng)計推斷方法.基于這些理由，我們在介紹多元統(tǒng)計分析的種種具體方法之前，首先介紹多元正態(tài)分布的定義、性質及多元正態(tài)分布中參數(shù)的估計問題.目錄§2.1隨機向量§2.2多元正態(tài)分布的定義與基本性質§2.3條件分布和獨立性§2.4多元正態(tài)分布的參數(shù)估計§2.1隨機向量§2.1隨機向量本課程所討論的是多變量總體.把p個隨機變量放在一起得廬01,A2,???,Xp)'為一個刀維隨機向量，如果同時對p維總體進行一次觀測，得一個樣品為P維數(shù)據(jù)?常把門個樣品排成一個nXp矩陣,稱為樣本資料陣.￡“2…A(l)X=兀21??%22…????X2p??de???宀1??Xn2…?X"P)忍J=(X1，x29其中X(i)(匚\,…，門)是來自刀維總體的一個樣品.在多元統(tǒng)計分析中涉及到的都是隨機向量，或是多個隨機向量放在一起組成的隨機矩陣.本節(jié)有關隨機向量的一些概念(聯(lián)合分布，邊緣分布，條件分布,獨立性;X的均值向量,J的協(xié)差陣和相關陣,X與卩的協(xié)差陣)要求大家自已復習.三、均值向量和協(xié)方差陣的性質設x卩為隨機向量，凡於為常數(shù)陣，則E(AX)=A?E(A),E(AX&=A?E(A)?BD(AX)=A?D(X)?A，COV(AX,BY)=A?COV(X,Y)?B，若X,Y相互獨立，則COV(X,Y)二0;反之不成立.若COV(X,Y)=0,我們稱X與Y不相關.故有：兩隨機向量若相互獨立，則必不相關；

兩隨機向量若不相關，則未必相互獨立.（3）隨機向量X二（X1,X2,…,Xp）‘的協(xié)差陣D（X）=S是對稱非負定陣.即E二&,&Za^O（a為任給的p維常量）.（4）為二02,其中0為非負定陣.由于工20（非負定），利用線性代數(shù)中實對稱陣的對角化定理，存、Or^r、Or^r、or1V^7jx=rI0=L?Lfo]其中l(wèi)=rr\l=厶‘，古攵厶＞o.I。V^7j當矩陣E＞0（正定）時，矩陣「也稱為工的平方根矩陣，記為V.當矩陣工＞0（正定）時，必有pXp非退化矩陣A使得共中A=r若工20（若工20（非負定），必有PxQ矩陣A]使得*4（纟VP）-其中A】=rLo（纟VP）-這里記廠=（廠1/廠2）,廠1為pXq列正交陣S2Q）.并設:A>0(Z=l5---5q)爲+1=0,-=0.§2.2多元正態(tài)分布的定義在一元統(tǒng)計中，若0~N(O,1),則/的任意線性變換X二001?N(U,/)。利用這一性質，可以從標準正態(tài)分布來定義一般正態(tài)分布：若厶?N(0,1),則稱X二。莎U的分布為一般正態(tài)分布，記為T?N(U,CT2)O此定義中，不必要求。＞0,當。退化為0時仍有意義。把這種新的定義方式推廣到多元情況，可得出多元正態(tài)分布的第一種定義。定義2.2.1設廬(S,…，佝)'為隨機向量，/,???，％相互獨立且同N(0,1)分布；設U為p維常數(shù)向量，A為pXQ常數(shù)矩陣，貝IJ稱X=AU+卩的分布為刀維正態(tài)分布，或稱X為卩維正態(tài)隨機向量，記為X?Np(u,AAf)o簡單地說，稱q個相互獨立的標準正態(tài)隨機變量的一些線性組合構成的隨機向量的分布為多元正態(tài)分布?！?.2多元正態(tài)分布的性質1在一元統(tǒng)計中，若X~N(“。，),則X的特征函數(shù)為<p(J)=E{el,x)=e?qpitu——t2cr2.IOO_Gv—Z￡>L=Eyx)=丄—「e心e2—dx—oo—ooTOC\o"1-5"\h\z=,f2、/2兀-iopooIcrr’1「一虧["~一2“6”+("b)-—]ez—/Ie2du「?12T1-^u-itcr)-=exprirzz—一才」b」]x—zIe2du=exp[ir/z——嚴cH]當4N(0,1)時，<1)(t)=exp[—尸/2]?性質1設“（乙…,Uq）'為隨機向量，U、,…,Uq相互獨立且同N（0,l）分布；令廬“+猶；則X的特征函數(shù)為eX(疋)=it'i這里匸（/”???，/?）,故①X&）為p元函數(shù).性質1的證明:根據(jù)隨機向量特征函數(shù)的定義和性質，經計算即可得出X的特征函數(shù)為①X&)=E(ei#A)二E(eit'U莎“))令tzA=sf=(町,???$g)oxp>(zr>z)?豆y'55+a、、ezxipyz)?豆ydsXX)

（因"，…，S相互獨立，乘積的期望等于期望的乘積）=)xx“)itfjLL)?丄丄——7=1=exjp<Zr>z=exjp<Zr>z)?oxjp[——++巧）]§2.2多元正態(tài)分布的第二種定義記工二A4',則有以下定義。定義2.2.2若p維隨機向量X的特征函數(shù)為：8*a）="—曠了了]>O〉則稱X服從p維正態(tài)分布，記為T?NpJu,工）.一元正態(tài)：Q1）(p(t)=(p(t)=expitu—=expitu—t2cy2§2.2多元正態(tài)分布的性質2性質2設X?助（卩，工），〃為sXp常數(shù)陣，〃為sXl常向量，令Z/r，d則7-Ns（g“+",BZB）.該性質指出正態(tài)隨機向量的任意線性組合仍為正態(tài)分布.證明：因工20,工可分解為工二AA；其中A為pXq矩隊已知

X?Np（u,S）,由定義2.2.1可知X二AU+卩（d表示兩邊的隨機向量服從相同的分布.）其中U二Uq）：且/，…,Uq相互獨立同N（O,1）分布。丹閃二B（AUW+d二（BA）快（Bu+d）由定義2.2.1可知Z?NslBu+d,（場）（場）'），即Z?Ns（B"d,B》B）.（這里工二曲）.推論設F推論設F梓（叮?Np（u,工），將門，工剖分為則X⑴?NrSu),X⑵?N」?,%).證明：取d二ap）‘r維向量心二o，由性質2可得：rxp類似地B2(P?r)xpGB2(P?r)xp我?=Bx*+d?~TVd?佶“〉?此推論指出，多元正態(tài)分布的邊緣分布仍為正態(tài)分布。但反之，若隨機向量的任何邊緣分布均為正態(tài)分布，也不一定能導出該隨機向

量服從多元正態(tài)分布.如例2.1.1,證明了X,均為一元正態(tài)分布，但由(X”XJ聯(lián)合密度函數(shù)的形式易見它不是二元正態(tài).例2.1.1(X“XJ的聯(lián)合密度函數(shù)為/(x19x2)=-^-eW+曰［1+乂心曲心)2兀我們從后面將給出的正態(tài)隨機向量的聯(lián)合密度函數(shù)的形式可知,(X】，xj不是二元正態(tài)隨機向量.但通過計算邊緣分布可得出：X］?N(O,1),X2?N(O,1)這就說明若隨機向量的任何邊緣分布均為正態(tài)分布時，也不一定能導出該隨機向量服從多元正態(tài)分布.例如：設三維隨機向量X二(X”X,,X),且110rulv、—丿200ZHV(A—■■y123JVJVJV110rulv、—丿200ZHV(A—■■y123JVJVJV-JV120\y0039\|7115(2N(0020)03=29=29「rA7「rA72=BX、l^sJ010100001由性質2知，y為3維正態(tài)隨機向量,且X1J002200廠」X1J002200廠」-丿010100001、y001010、——丿030201101廠a、丿loo001010zll\、—丿00312011OB、丿、—丿JO1O1O1X1oO030BOO1201rn\z/ln\V--(x2)/0、/201、Y_X2N(090303X210111丿k//（3）設Z=2X1-X2+3X3,試求隨機變量Z的分布.Z=2X1-X2+3X3二⑵T,3）X^CX故有：1201112011O再比如取再比如取t=(0,???,1,0,???!,..,0)所以Z所以Z?N(4,29)?性質3若4Np(u,藝)，EQ)二u,DCm.證明：因工20,工可分解為：S=A4Z,則由定義2.2.1可知X二AU+UU為pXq實矩陣)其中山口，…,U)，且U”…,匕相互獨立同N(0,1)分布，故有E(tO=0,D(〃)二帀?利用均值向量和協(xié)差陣的有關性質可得：EQX)=U+“)=AEQU)+jLi=JLI、Q(X)=DQAU+“)=DQAU)=.此性質給出多元正態(tài)分布中參數(shù)U和E的明確統(tǒng)計意義.U是隨機向量X的均值向量，S是隨機向量X的協(xié)差陣。如簡單例子中，由性質2知Z服從正態(tài)分布，利用性質3,宀=E(N)=EQUX)=Ujlj=4,匚=Q(N)=DQUX)==bf=29.性質4設膽(血…,血)'為卩維隨機向量，則X服從p維正態(tài)分布u＞對任一p維實向量=a'X是一維正態(tài)隨機變量.證明：必要性的證明由性質2即得(只須取B=af，由0即可).充分性的證明：①首先說明隨機向量X的均值和協(xié)方差陣存在：因對任給P維實向量tERp,§二己X~一元正態(tài)分布,可知§的各階矩存在，如取r二s二(o,…，1,???,o)‘,X^etzX且E(XQ(1=1,2,-,p)存在，E(X,.2)(2=1,2,???,p)也存在.§二t'X二X,+Xj,且E(§)-E(X,+Xj)(Z戶1,2,…,p)存在.E(嚴)-E[(X,+XJ2]二E(x,2)+2E(X")+E(X「)也存在，即E(X")(乙戶1,2,…,p)存在.故E(Xj),Cov(X,,)=E(X/j)-E(X,)E(Xf?)(2,J=lf…,p)存在.i己E(力二U,D(A)二工.計算§的特征函數(shù)：對任意給定的re卍,因隨機變量§二廠X服從N(r”廠wt).,故知E的特征函數(shù)為0§(心(嚴)二exp[i〃(廠U)~02(廠工才)/2]計算隨機向量X的特征函數(shù)：在§的特征函數(shù)中，取〃二1,即得化⑴二E(<)二E(?t‘X)二①X(t)=exp[it，卩一t'St/2]由定義2.2.2可知，X?Np(u,S).定義2.2.3若p維隨機向量T的任意線性組合均服從一元正態(tài)分布，則稱X為p維正態(tài)隨機向量.在概率論屮人家都知道一元正態(tài)隨機變量的密度函數(shù)是f（X）1JCT（兀一f（X）1JCT（兀一“）22cr2（bAO）這個式子可改寫為:/（X）=^Fcr2/（X）=^Fcr21/2exp-￡（兀-“）@2尸（?！埃┳鳛橐辉龖B(tài)隨機變量的推廣，以下性質來導出多元正態(tài)隨機向量的聯(lián)合密度函數(shù).性質5設4Np（u,工），且工>0（正定），則X的聯(lián)合密度函數(shù)為f（X）=f（X）=[（2兀）必E1/21=exp|2童"~—“）'（工）7（兀—X7）證明①因2>0,rk（E）=A由線性代數(shù)的知識知存在非奇異方陣4使得工二曲',且AlA\x其中匸口,…,U"，且U、，???,Up相互獨立同N（0,1）分布。②〃的聯(lián)合密度函數(shù)3元函數(shù)）為

frr(U)=——右eXO——U'LAJ八丿(2疋)必2③利用/的聯(lián)合密度函數(shù)及隨機向量的變換求X=AL^u的密度函數(shù)。對任給Borel可測集B,求p元函數(shù)冊(力使得P{XP{XeB}jjfxJx'dxBP{UD}jjP{UD}jj幾(m)★D其中D=jww=A-1(x-u),xgB)根據(jù)附錄§8(P397)公式(8.4),即有P{Xg^}=JJ(u)du[u=A-l(x-jU)]D=JJ(A-1(jc—//))?丿(％tx)dxB=\\fxMdxB以下來求Jacobi行列式J(u-^x).積分變換的Jacobi行列式Jlu-處可利用線性變換x二Au+“及Jlxfii)來計算：因dxYJ(xTVL)=dxrJ(xTVL)=dxrduduxdxYdux&pdu..=|Af|+=|AAf/2=|Z|1/2>x)=J(JV>x)=J(JV—>VL)—JL/2關于積分變換的Jacobi行列式J（il必的有關內容請參閱附錄部分。寫出X二AU+卩的密度函數(shù)：fx（兀）=（2：嚴exp-扣％心TX）=1/V2eXP—斗［AT（X—“）］"-心一“）］|習T"\Z7T）L么_=~~exp—1（兀一“）'工7（兀一“）（2疋）絹習厶L2J（這里工二曲，,另-=（心'）"=）定義2.2.4p維隨機向量用（X”Xj?J0）‘的聯(lián)合密度函數(shù)為

f（X）=二~~exp（2^）/?/2|E|vL2」其中〃是刀維實向量，工是p階正定陣，則稱r（x”X?…xpy服從（非退化的）p元正態(tài)分布.也稱x為p維正態(tài)隨機向量,簡記為4Np（",工）.以上給出了多元正態(tài)分布的4種定義。定義2.2.4用密度函數(shù)給出定義，它可看成一元正態(tài)密度的直接推廣；但在這個定義里要求工是正定陣，它給出的是非退化的正態(tài)分布的定義。另三種定義中把工陣推廣到非負定的情形，這三種定義是等價的。例2.2.1（二元正態(tài)分布）N2(“￡)，pcy^cy^>0N2(“￡)，pcy^cy^>0(即6>0,6>0,IP|<1)（1）試寫出x的聯(lián)合密度函數(shù)和邊際密度函數(shù);⑵試說明p的統(tǒng)計意義。解：（1）因|糾=bjbja—K)

1bjb；(JL—q2)(2rr2—1bjb；(JL—q2)(2rr2—pb|rr22Z11一jO、1bj1—盯11pb[b2b;丿Qb[b2b]b]pb'b?2二元正態(tài)隨機向量X的聯(lián)合密度函數(shù)為/('^2)=2^T^exp-+-Q1ex1exP2兀b\b?7\—p-f1z、乂丄一XZ1[2(1—K)■b丄>Z、2—2p乂2—卜丄2—2p<b?丿另由性質2的推論，即得X]?Njgbjx??NgC因Cov{XI，腸二。12二q。2，而幻與膨的相關系數(shù)為

pgxj=“譲:賦仏)=^7=P故二元正態(tài)分布的參數(shù)P就是兩個分量的相關系數(shù).顯然當P二0時，f（y,心）二/；（耳）?人（心），即X］與兀相互獨立.當丨P|=1時，丨工1=0（工退化，即工的列向量或行向量線性相關），貝|J存在非零向量r二a,），,使得st=o,從而廠wt=o,故而隨機變量k-tf（X-U）的方差為Var［廠（X-u）］二廠工t=0,這表示P{tf（X-U）=O}=1.即匚（XpJ+g（X「g）二0以概率1成立；反之，若X占兀以概率1存在線性相關關系，貝lj|P1=1.當P>0時,我們稱/與X,存在正相關;當P<0時,我們稱/與X,存在負相關.例2例2?2?2二元正態(tài)密度函數(shù)的圖形及等高線的圖形為了對多維正態(tài)密度函數(shù)有更直觀地了解，下面的例子給出幾組參數(shù)下二維正態(tài)密度函數(shù)的幾何圖形.我們把具有等密度的點的軌跡稱為等咼線（面）.顯然當尸2時f（x“J二C（00）=>2—2pX]-w2—2pX]-w1x2-U2_I6)2二a2它是一族中心在（w1,h2）/的橢園.一般的?維正態(tài)密度等高面為（x—%）士J—（20）取吩0,◎二0,以下繪制三組參數(shù)下二元正態(tài)密度函數(shù)及密度等高線

圖形：(1)當o-/=l,o-,2=1，P=O時當=1,6,=1,Q=0.75時當巧2=4,簾=l,p=_0.75時crj=15ct22=15/7=0CT,二1,込2-^p-0.75

<7j2二4,cr?2-\^p--0.75§2.3條件分布和獨立性--獨立性設X?心(U,S)(p22),將尤廠三剖分為*2)p~r*2)p~r推論推論1設/；Ml（f二1，…，0，且斤+q+…+rk-p,廠三丄丄乏^21以下是關于獨立性的一條重要結論:定理2.3.1設卩維隨機向量X?心（卩，工）,^21無22力廠廠（^21無22力“2）<\"丿則X⑴與X㈢相互獨立O兀=0皿_刀（即X⑴與X⑵不相關）證明：必要性顯然成立.（充分性）：設召=0,則X的聯(lián)合密度函數(shù)為/(*)二11/21exp<——気00$22-1（2龍嚴％1X（2刃|爲21/2exp一扣⑴一“⑴燉（宀“⑴）1/2exp卜扣⑵一“⑵y羽（x⑵一“⑵）=力（乂⑴）X兀（乂⑺）,所以X⑴與X⑵相互獨立./?…藝nX=;?xl?■X?7?Nprk■■5■?■■■■■■...y厶賊」)則X⑴X⑷相互獨立O綣=0(—切iHj)推論2設X?心(U,工)，若工為對角形矩陣，則X」，…，Xp相互獨立.例如:設三維隨機向量r(x“X2,Xj',且1則有⑴2、1?2V(O,3)(xj例如:設三維隨機向量r(x“X2,Xj',且1則有⑴2、1?2V(O,3)(xj與X3相互獨同因％=1°丿丿X3的密度函數(shù)為/2X3的密度函數(shù)為/2(x3)=exp(—2x3⑶X]與X3,X2與兀，也相互獨立；⑷丄X]-丄X,與禺也相互獨立；22-更一般地，aXL+bX2與兀也相互獨立;(5)令丫=5|-丄X’，則Y?N(1丄)；且22-4(Y\Z=&丿故二維隨機向量Z的聯(lián)合密度函數(shù)為小5島叫-20—1）2一滬§2.4多元正態(tài)分布的參數(shù)估計考慮P維正態(tài)總體X?Np（U,S）,設x（“二（X^…,X）（A1,…，門）為p維總體X的簡單隨機樣本，資料陣Xnxp51乂Xnxp51乂21乂12乂22V))是一個隨機矩陣.XpxlXpxl^xpy=乂2JL■■■、1巧2■■兀22■■■■■■■f2■■1■=丄％1”,n■■■■■n乂r2p■■■丿11J屮心化數(shù)據(jù)陣:二二XX（X=GX）X=兀21—瓦nxp:^12-^2*^22?^2P7=x-inxf=x-1J-x'lj=（厶--i」：）x,nn記G二/〃_丄則G=G2,G=Gn（2）樣本離差陣/!（交叉乘積陣）—乂）a=l(兀辺一九…(兀辺一九…n=sa=l

——\_X1=（勺）wn（i,j二1,2（i,j二1,2P)a=l或者把表為:層=f（Xg-左輕3—司a=l(X⑴-乂，…,Xg-司X”）-刃J,1.,X人一一1乙X=XGX=g)pxp或者把力表為:nZ=1nAPxP—*3ZX⑷Xg-工-E軋；+z乂&ja=la=la=la=l(x(i),…>x(p))-nX(X')jX(p)=XX-nX^X樣本協(xié)方差S:或者sP"樣本相關陣斤R=y異ru/『R=y異ruy/Siiyj^jjyj^JJ例：設從某書店隨機抽取4張收據(jù)了解圖書的銷售情況.每張收據(jù)記錄售書數(shù)量A2及總金額川，具體數(shù)值如下:42524、5X=4x2484^583>(n二4,p=2)試計算樣本均值，樣本離差陣，樣本協(xié)差陣和相關陣.解:—11解:—11(42524858、11‘50、X=-Xln=-——n4<4543,11<4,樣本離差陣￡的計算公式為:=乂=乂Xx(°7=1—乂)或4=或4=(X⑴-乂,"竿631-6—6、"竿631-6—6、2>45-3-2-22‘42-504—4、80、52-505-421X=—48-504-4-20、58—503-4?<8-1>'(X⑴一乂廠…，X(4)-刃10D'丿此例中,其中，￡為中心化數(shù)據(jù)陣。r-8O'?,?<-82-28)21‘136-6、故A=XX=、010—1丿-20-62丿,8-1.樣本協(xié)方差