協(xié)方差與相關(guān)系數(shù)

1、協(xié)方差與相關(guān)系數(shù) 引言 若X，Y獨(dú)立，則： D(X+Y)=D(X)+D(Y)E(XY)=E(X)E(Y),從而有 EX-E(X)Y-E(Y)=0. 說明EX-E(X)Y-E(Y)的大小反映了X，Y間關(guān)聯(lián)的程度。 三、協(xié)方差與相關(guān)系數(shù)的定義 1協(xié)方差的定義協(xié)方差的定義 量EX-E(X)Y-E(Y)稱為隨機(jī)變量X與Y的協(xié)方差，記為Cov(X，Y)，即 Cov(X，Y)= EX-E(X)Y-E(Y).而當(dāng)D(X)0, D(Y)0時(shí)， 稱為隨機(jī)變量X與Y的相關(guān)系數(shù)。)()(),(YDXDYXCovXY 注釋： (1)Cov(X，Y)作為X-E(X)Y-E(Y)的均值，依賴于X，Y 的度量單位，選擇適當(dāng)

2、的單位使X，Y的方差是1，協(xié)方 差就是相關(guān)系數(shù)，這能更好的反映X，Y之間的關(guān)系，而 不受所用單位的影響。 (2)XYXY是一比例常數(shù)，并有定義：XYXY=0 X，Y不相關(guān)。 (3) XYXY又稱為標(biāo)準(zhǔn)協(xié)方差。因?yàn)樵O(shè) )(, )(YDXDYX YXXYYEYXEXEYDXDYXCov )()()()(),(YXYEYYXEXX )(,)(* ：令令 。則有則有1, 0* YDXDYEXE 一般地，數(shù)學(xué)期望為0，方差為1的隨機(jī)變量的分布稱為標(biāo)準(zhǔn)分布，故XYXY又稱為標(biāo)準(zhǔn)協(xié)方差。 2關(guān)系公式: (1) 協(xié)方差與方差的關(guān)系：D(X+Y)=D(X)+D(Y)+2Cov(X，Y) (2) 協(xié)方差與數(shù)學(xué)期望

3、的關(guān)系：Cov(X，Y)=E(XY)-E(X)E(Y) 我們常用這個(gè)公式計(jì)算協(xié)方差。 (3) 若X，Y獨(dú)立，則Cov(X，Y)=0,但反之不成立。3協(xié)方差與相關(guān)系數(shù)的性質(zhì) 協(xié)方差具有下述性質(zhì)： (1) Cov(X，Y)= Cov(Y，X)；(2) Cov(aX，bY)= abCov(X，Y)； (3) Cov(X1+X2，Y)= Cov(X1，Y)+ Cov(X2，Y)相關(guān)系數(shù)具有下述性質(zhì)：(1)|XY|1 ;證： 由柯西一許瓦茲不等式知 )()()(222YEXEXYE )()()()(22YEYEXEXEYEYXEXE 所所以以)()(| ),(|YDXDYXCov 即即所以 |XYXY|

4、1。 (2) |XY|=1 存在常數(shù)a,b使PY=aX+b=1. 意義意義 |XY|=1當(dāng)且僅當(dāng)Y跟X幾乎有線性關(guān)系。這在一定程度上說明了相關(guān)系數(shù)的概率意義。XY并不是刻畫X，Y之間的“一般”關(guān)系，而只是刻畫X，Y之間線性相關(guān)的程度。4計(jì)算： (1)用定義求：若X，Y為離散型隨機(jī)變量 ijiijipYEyXExYXCov )()(),(11若X，Y為連續(xù)型隨機(jī)變量 dydxyxfYEyXExYXCov),()()(),(2)用公式： )()()(21),(YDXDYXDYXCov )()()(YEXEXYE )()(YDXDXY 例1 若X、Y的E(X)=-2,E(Y)=4, D(X)=4,

5、D(Y)=9,分別在(1) X、Y相互獨(dú)立，(2) XY=0.5的條件下，求 E(Z)=E(3X2-2XY+Y2-3). 解：(1)因?yàn)閄、Y相互獨(dú)立，所以E(XY)= E(X) E(Y)；E(Z)=E(3X2-2XY+Y2-3)= 3 E(X2)-2E(X)E(Y)+ E(Y2)-3 =3D(X)+E(X)2-2E(X)E(Y)+D(Y)+E(Y)2-3=62； (2) E(Z)= 3D(X)+E(X)2-2E(XY)+D(Y)+E(Y)2-3 =24-2Cov(X,Y)+ E(X)E(Y)+25-3 =24-2XY + E(X)E(Y)+25-3=68. )()(YDXD 例2 設(shè)=aX+

6、b,=cY+d,(a,c同號(hào)),證明：=XY。 證： )()(|)()()()(),(YDXDacEEEDDCov )()(|)()(YDXDacdYcEdcYbXaEbaXE )()(|)()(YDXDacYEYXEXacE XYYDXDacYEYXEXacE )()(|)()(5定義定義 若X與Y的相關(guān)系數(shù)XY=0，則稱X與Y不相關(guān)。 假設(shè)隨機(jī)變量X，Y的相關(guān)系數(shù)XY存在，當(dāng)X與Y相互獨(dú)立時(shí),XY=0,即X與Y不相關(guān)，反之若X與Y不相關(guān)，X與Y卻不一定相互獨(dú)立。例1: 設(shè)(X，Y)在單位圓x2+y21上服從均勻分布，證明：XY=0，但X與Y不相互獨(dú)立。解: (1)(X，Y)的概率密度為 其

7、它其它011),(22yxyxf 關(guān)于X的邊緣密度為 其它其它01|1),()(2211xdydyyxfxfxxX 其其它它01|122xx 同理，關(guān)于Y的邊緣密度為 其它其它01|12)(2yyyfY 容易看到，(1/2,1/2)是fX(x), fY(y), f(x,y)的 連續(xù)點(diǎn)，但 )21()21()21,21(YXfff 所以X與Y不相互獨(dú)立。 dxdyxdydxyxxfXEyx 122),()()2( 11112201xxxdydx dxdyxdydxyxfxXEyx 122222),()( 20102241cos1rdrdrdy所以 D(X)=1/4.同樣方法可得 E(Y)=0,D

8、(Y)=1/4.于是 dxdyxydydxyxxyfXYEyx 122),()( 11112201xxydyxdx Cov(X，Y)=E(XY)-E(X)E(Y)=0 所以 ,即 X與Y不相關(guān)。 0)()(),( YDXDYXCovXY 由相關(guān)系數(shù)性質(zhì)(2),XY并不是刻畫X，Y之間的“一般”關(guān)系，而只是刻畫X，Y之間線性相關(guān)的程度。雖然X，Y不相關(guān)，但X，Y可以有關(guān)系。例如XU(-1/2,1/2),Y=cosX,則E(X)=0, )()()(),(YEXEXYEYXCov 0cos)cos(2/12/1 xdxxXXE 因此，XY=0，但X，Y有嚴(yán)格的函數(shù)關(guān)系。那么，是否有特例哪？ 例2:

9、設(shè)(X，Y)N(1, 2 ,12, 22,)，求X與Y的相關(guān)系數(shù)XY 解: XN(1,12), E(X)=1, D(X)=12； YN(2,22)，E(Y)=2, D(X)=22；而 dydxyxfyxYXEYXCov),()()(),(2121 dydxeeyxyxy2221122222)1(212)(21221)(121 2222112,11 yuyxt令令于是由公式于是由公式，則有則有2211),(),( utyxdudvutyxutyutxfdxdyyxfDtuDxy),(),(),(),(),( dudteutuYXCovtu2222122122)1(21),( )(12)(2222

10、21222212222dtteduuedtedueututu 2121222 所以 XY=。 二維正態(tài)隨機(jī)變量的分布完全可由X，Y個(gè)別的數(shù)學(xué)期望、方差以及它們的相關(guān)系數(shù)所確定。 若(X，Y)服從二維正態(tài)分布，那么X和Y相互獨(dú)立的充要條件為=0，而=XY，故知對(duì)于二維正態(tài)隨機(jī)變量(X，Y)來說， X與Y不相關(guān)與X和Y相互獨(dú)立是等價(jià)的。 小結(jié)小結(jié)：結(jié)論1：X與Y相互獨(dú)立 XY=0 X與Y不相關(guān)； 反之，XY=0 不能推出X與Y相互獨(dú)立。結(jié)論2：對(duì)任意X與Y，以下結(jié)論等價(jià)XY=0 Cov(X，Y)=0 E(XY)=E(X)E(Y) D(X+Y)=D(X)+D(Y)。結(jié)論3：若(X，Y)N(1, 2

11、,12, 22,)，則X與Y相互獨(dú)立 XY=0 X與Y不相關(guān)。四、矩、協(xié)方差矩陣的定義 1. 矩的定義1.設(shè)X為隨機(jī)變量，c為任意常數(shù)，k為正整數(shù),稱量E(X-c)k為X關(guān)于c點(diǎn)的k階矩。比較重要的有兩種情況：(1) c=0, 這時(shí)，ak=E(Xk)稱為X的k階原點(diǎn)矩；(2) c=E(X), 這時(shí)，bk=EX-E(X)k稱為X的k階中心矩。定義定義2 2：對(duì)正整數(shù)k與l，稱E(XkYl)為X和Y的k+l階混合矩；若EX-E(X)kY-E(Y)l存在，稱它為X和Y的k+l 階混合中心矩。 例例1: 1: 設(shè)XN(,2),求:X的k階中心矩ak(k為正整數(shù))。 解: E(X)=, dxexdxxf

12、xXEaxkkkk22221)()( 當(dāng)k為奇數(shù)時(shí)ak=0。當(dāng)k為偶數(shù)時(shí)， dxexaxkk22221 )(22221分分步步積積分分 xkdex22)1( kak ;357;35;3268246224aaaaaa 由此推遞關(guān)系223)3)(1(akkakk 而a2=D(x)=2,所以當(dāng)k為偶數(shù)時(shí): .!)!1(kkka 所以X的k階中心矩為 ,0!)!1( 為為奇奇數(shù)數(shù)為為偶偶數(shù)數(shù)kkkakk 特別地，若XN(0,1),則 .0!)!1( 為為奇奇數(shù)數(shù)為為偶偶數(shù)數(shù)kkkbakk 1.n維隨機(jī)變量的協(xié)方差矩陣(1)二維隨機(jī)向量的協(xié)方差矩陣 二維隨機(jī)變量(X1,X2)有四個(gè)二階中心矩(設(shè)他們存在

13、)，分別記為 )()(, )(22111221111XEXXEXECXEXEC )(,)()(22222112212XEXECXEXXEXEC 寫為矩陣的形式： ,22211211 CCCC稱為隨機(jī)變量(X1,X2)的協(xié)方差矩陣。 例例2 2: 設(shè)(X,Y)N(1, 2,12,22,),求向量(X，Y)的均值與協(xié)方差矩陣。 解: E(X)=1，E(Y)=2， 212221,)(,)( CovYDXD 所以(X，Y)的均值為=(1,2)協(xié)方差矩陣為 22212121 (2)推廣 對(duì)于n維隨機(jī)向量(X1,X2,Xn),把向量(X1,X2,Xn)用列向量形式表示并記為X，即X=(X1,X2,Xn)。

14、 定義定義 設(shè)X=(X1,X2,Xn) 為n維隨機(jī)向量,并記i=E(Xi)， njiXXCovCjiij, 2 , 1,),( 則稱=(1,2,n)為向量X的數(shù)字期望或均值，稱矩陣 nnnnnnCCCCCCCCCC212222111211為向量X的協(xié)方差矩陣。 3.矩、協(xié)方差矩陣的性質(zhì) 協(xié)方差矩陣具有以下性質(zhì)： (1)協(xié)方差矩陣對(duì)角線上的元素Cii為Xi的方差即Cii=D(Xi) i=1，2，n；(2)協(xié)方差矩陣C為對(duì)稱矩陣,即Cij=Cji ,i，j=1，2，n；(3)C為非負(fù)定矩陣,即對(duì)于任意實(shí)向量t=(t1，t2，tn),有tCt0；證：性質(zhì)(1)，(2)顯然，只證(3) njnijjj

15、iiinjnijiijtXEXXEXEtttCCtt1111)()( njnijjjjiiitXEXtXEXtE11)()( njnijjjjiiitXEXtXEXtE11)()(21)( niiiiXEXtE4多維正態(tài)分布及其性質(zhì) 二維正態(tài)隨機(jī)向量X=(X1，X2) 的概率密度為 )()(2)()1(21exp121),(2222221221121211222121 xxxxxxf引入下面記號(hào) 222121212121, Cxxx 22112121212222111),(|1 xxxxCxCx)()(2)(1122222212211212112 xxxx經(jīng)簡單的運(yùn)算可得出 222211| C

16、 212121221|1 CC 于是X=(X1，X2) 的概率密度可寫成 )(21exp|21),(12/12/221 xCxCxxf 并且,若將二維正態(tài)分布密度用向量和矩陣寫成上式，那么上式中的向量=(1，2)正是X的均值，矩陣C正是X的協(xié)方差陣，而且當(dāng)|1時(shí)C為正定矩陣。 上式推廣至n維正態(tài)分布的情況，于是有以下定義：(1)定義 若n維隨機(jī)向量X=(X1，Xn)的概率密度為 )(21exp|21),(12/12/21 xCxCxxxfnn 其中X=(X1，Xn),=(1，2，n)為n維實(shí)向量，C為n階正定對(duì)稱矩陣，則稱向量X=(X1，Xn)服從n維正態(tài)分布，記為XN(,C) . 對(duì)于n維正

17、態(tài)分布XN(,C) ，X的期望為，X的協(xié)方差矩陣為C。 (2) (2) 性質(zhì)性質(zhì) n維正態(tài)分布具有下述性質(zhì)：(1)n維隨機(jī)向量(X1，Xn)服從n維正態(tài)分布的充要條件是X1，Xn的任意線性組合 l1X1+l2X2+lnXn(l1,l2,ln不全為0)服從一維正態(tài)分布。(2)若X=(X1,Xn)N(,C)，設(shè)Y=(Y1,Y2,Ym)=AX,即Yi為Xj(j=1，2，n)的線性函數(shù),i=1，2，m，則YN(A，ACA)，其中A為m行n列且秩為m的矩陣。(3)設(shè)(X1，Xn)服從n維正態(tài)分布，則“X1，Xn”相互獨(dú)立與“X1，Xn兩兩不相關(guān)”是等價(jià)的。 例例3:3: 設(shè)XN（0，1），YN(0，1 ),若X與Y相互獨(dú)立，求E(|X-Y|)。 解: 令Z=X-Y，問題化為求E(|Z|)，為求E(|Z|),我們先求出Z的分布密度. 由于(X，Y)服從二維正態(tài)分布，由性質(zhì)知Z服從一維正態(tài)分布，而E(Z)=E(X-Y)=E(X)-E(Y)=0，D(Z)=D(X-Y)=D(X)+D(Y)=2，故ZN（0，2），即Z的分布密度為 42221)(zezf 于是 2|221|)(|)(|42 dzezZEYXEz例4: 設(shè) ,問X與Z是 否獨(dú)