協(xié)方差及相關系數課件

協(xié)方差及相關系數一、協(xié)方差3.計算協(xié)方差的一個簡單公式1.定義2.簡單性質4.隨機變量和的方差與協(xié)方差的關系5.許瓦茲不等式二、相關系數相關系數的性質四個等價命題前面我們介紹了隨機變量的數學期望和方差，對于多維隨機變量，反映各隨機變量之間關系的數字特征中，最重要的，就是本講要討論的協(xié)方差和相關系數任意兩個隨機變量X和Y的協(xié)方差,記為Cov(X,Y),定義為⑶Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)⑴Cov(X,Y)=Cov(Y,X)一、協(xié)方差2.簡單性質⑵Cov(aX,bY)=ab

Cov(X,Y)a,b是常數Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}1.定義(4)Cov(X,X)=D(X);Cov(X,a)=0

Cov(X,Y)=E(XY)-E(X)E(Y)

可見，若X與Y獨立，Cov(X,Y)=0.3.計算協(xié)方差的一個簡單公式由協(xié)方差的定義及期望的性質，可得Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}=E[XY-E(X)Y-E(Y)X+E(X)E(Y)]=E(XY)-E(X)E(Y)即=E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y)D(X+Y)=D(X)+D(Y)+2Cov(X,Y)4.隨機變量和的方差與協(xié)方差的關系證明：若X1,X2,…,Xn兩兩獨立,，上式化為D(X+Y)=D(X)+D(Y)+2Cov(X,Y)4.隨機變量和的方差與協(xié)方差的關系證明：設(t)=E(X+tY)2，則(t)=E(X2)+2tE(XY)+t2E(Y2)0，其判別式0，即=[2E(XY)]2-4E(X2)E(Y2)0，所以[E(XY)]2E(X2)E(Y2)。5.許瓦茲不等式[E(XY)]2E(X2)E(Y2)協(xié)方差的大小在一定程度上反映了X和Y相互間的關系，但它還受X與Y本身度量單位的影響.例如：Cov(kX,kY)=k2Cov(X,Y)為了克服這一缺點，對協(xié)方差進行標準化，這就引入了相關系數.二、相關系數為隨機變量X和Y的相關系數

.定義:設D(X)>0,D(Y)>0,稱在不致引起混淆時，記

為.相關系數的性質：證:由方差的性質和協(xié)方差的定義知,對任意實數b,有0≤D(Y-bX)=b2D(X)+D(Y)-2b

Cov(X,Y

)令，則上式為

D(Y-bX)=

由于方差D(Y)是正的,故必有1-2≥0,所以||≤1。這一性質也可以用許瓦茲不等式證明設U=X-E(X),V=Y-E(Y),由許瓦茲不等式[E(UV)]2E(U2)E(V2)，知[E((X-E(X))(Y-E(Y)))]2E[(X-E(X))2]E[(Y-E(Y))2]所以2XY

1,即|XY

|1存在常數a,b(b≠0），使P{Y=a+bX}=1，即X和Y以概率1線性相關.2.|XY

|=1考慮以X的線性函數a+bX來近似表示Y，以均方誤差e=E{[Y-(a+bX)]2}來衡量以a+bX近似表示Y的好壞程度,e值越小表示a+bX與Y的近似程度越好.

用微積分中求極值的方法，求出使e

達到最小時的a,b.相關系數刻劃了X和Y間“線性相關”的程度.

=E(Y2)+b2E(X2)+a2-2bE(XY)+2abE(X)-2aE(Y)e=E{[Y-(a+bX)]2}解得這樣求出的最佳逼近為L(X)=a0+b0X

這樣求出的最佳逼近為L(X)=a0+b0X這一逼近的剩余是若

=0，Y與X無線性關系;Y與X有嚴格線性關系;若可見,若0<|

|<1,|

|的值越接近于1,Y與X的線性相關程度越高;|

|的值越接近于0,Y與X的線性相關程度越弱.E[(Y-L(X))2]=D(Y)(1-

)3.X和Y獨立時，

=0，但其逆不真.由于當X和Y獨立時，Cov(X,Y)=0.故=0但由并不一定能推出X和Y獨立.例1

設X服從(-1/2,1/2)內的均勻分布,而Y=cosX,因而=0，即X和Y不相關.但Y與X有嚴格的函數關系，即X和Y不獨立.因Cov(X,Y)=E(XY)-E(X)E(Y)，E(X)=0，故Cov(X,Y)=0任意兩個隨機變量X和Y的協(xié)方差,記為Cov(X,Y),定義為⑶Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)⑴Cov(X,Y)=Cov(Y,X)一、協(xié)方差2.簡單性質⑵Cov(aX,bY)=ab

Cov(X,Y)a,b是常數Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}1.定義(4)Cov(X,X)=D(X);Cov(X,a)=0

Cov(X,Y)=E(XY)-E(X)E(Y)

二、相關系數為隨機變量X和Y的相關系數

.定義:設D(X)>0,D(Y)>0,稱在不致引起混淆時，記

為.但對下述情形，獨立與不相關等價若(X,Y)服從二維正態(tài)分布，則X與Y獨立X與Y不相關所以有：若X與Y獨立，則X與Y不相關，但由X與Y不相關，不一定能推出X與Y獨立.

1、X與Y不相關，XY=0；

2、Cov(X,Y)=0；

3、E(XY)=E(X)E(Y)；

4、D(X+Y)=D(X)+D(Y)。

四個等價命題證明：12。已知XY=0，

1、X與Y不相關，XY=0；

2、Cov(X,Y)=0；

3、E(XY)=E(X)E(Y)；

4、D(X+Y)=D(X)+D(Y)。

四個等價命題證明：23。已知Cov(X,Y)=0，因為Cov(X,Y)=E(XY)-E(X)E(Y)所以E(XY)=E(X)E(Y)

1、X與Y不相關，XY=0；

2、Cov(X,Y)=0；

3、E(XY)=E(X)E(Y)；

4、D(X+Y)=D(X)+D(Y)。

四個等價命題證明：34。已知E(XY)=E(X)E(Y)，因為D(X+Y)=D(X)+D(Y)+2Cov(X,Y)=D(X)+D(Y)+2[E(XY)-E(X)E(Y)]所以D(X+Y)=D(X)+D(Y)

1、X與Y不相關，XY=0；

2、Cov(X,Y)=0；

3、E(XY)=E(X)E(Y)；

4、D(X+Y)=D(X)+D(Y)。

四個等價命題證明：41。已知D(X+Y)=D(X)+D(Y)，D(X+Y)=D(X)+D(Y)+2Cov(X,Y)所以XY=0這一節(jié)我們介紹了協(xié)方差和相關系數相關系數是刻劃兩個變量間線性相關程度的一個重要的數字特征.注意獨立與不相關并不是等價的.當(X,Y)服從二維正態(tài)分布時，有X與Y獨立X與Y不相關例1例2二維r.v.(X,Y)的聯(lián)合分布律如表，求：(1)ρXY

(2)X與Y是否相互獨立

？

-2-112101/41/4041/4001/4

XY解：先求X的邊緣分布1/21/2

1/41/4

1/4

1/4例1

-2-112101/41/4041/4001/4

XY1/21/2

1/41/4

1/4

1/4同理可得例1例3(Ex.)二維c.r.v.(X,Y)的概率密度為，求：ρXY解：先求X，Y的邊緣分布yy=xO1x1例1yy=xO1x1例1例4(Ex.)

解：例1例4(Ex.)

解：（3）對于二維正態(tài)分布，X、Y相互獨立等價于X、Y不相關，故ξ與Z相互獨立。矩、協(xié)方差矩陣定義設X和Y是隨機變量，若E(Xk),k=1,2,…存在，稱它為X的k階原點矩，簡稱k階矩。若E{[X-E(X)]k},k=1,2,…存在，稱它為X的k階中心矩。若E(XkYl),k,l=1,2,…存在，稱它為X和Y的k+l階混合矩。若E{[X-E(X)]k[Y-E(Y)]l},k,l=1,2,…存在，稱它為X和Y的k+l階混合中心矩。協(xié)方差Cov(X,Y)是X和Y的二階混合中心矩.可見，協(xié)方差矩陣的定義

將二維隨機變量（X1,X2）的四個二階中心矩排成矩陣的形式:稱此矩陣為（X1,X2）的協(xié)方差矩陣.這是一個對稱矩陣類似定義n維隨機變量(X1,X2,…,Xn)的協(xié)方差矩陣.下面給出n維正態(tài)分布的概率密度的定義.為(X1,X2,…,Xn)的協(xié)方差矩陣稱矩陣都存在,i,j=1,2,…,n若f(x1,x2,…,xn)則稱X服從n維正態(tài)分布.其中C是(X1,X2,…,Xn)的協(xié)方差矩陣.|C|是它的行列式，表示C的逆矩陣，X和是n維列向量，表示X的轉置.設

=(X1,X2,…,Xn)是一個n維隨機向量,若它的概率密度為n維正態(tài)分布的幾條重要性質1.n維正態(tài)變量(X1,X2,…,Xn)的每一個分量Xi,i=1,2,…,n都是正態(tài)變量；反之，若X1,X2,…,Xn都是正態(tài)變量，且相互獨立，則(X1,X2,…,Xn)是n維正態(tài)變量。n維正態(tài)分布的幾條重要性質2.n

維隨機變量(X1,X2,…,Xn)服從n維正態(tài)分布的充分必要條件是X1,X2,…,Xn的任意和線性組合：a1X1+a2

X2+…+an