概率23-大數(shù)定理與中心極限定理

概率論基礎(chǔ)（Ⅲ）2009年3月山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理1知識(shí)拓展山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理2一、多維隨機(jī)變量（隨機(jī)向量）二、多維隨機(jī)變量的特征數(shù)三、大數(shù)定理四、中心極限定理相關(guān)概念山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理3n維隨機(jī)變量（隨機(jī)向量）的形式：n維隨機(jī)變量的聯(lián)合分布函數(shù)：二維離散型隨機(jī)變量的聯(lián)合分布列：二維連續(xù)型隨機(jī)變量的聯(lián)合分布函數(shù)：二維隨機(jī)變量的特征數(shù)山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理4協(xié)方差相關(guān)系數(shù)二維隨機(jī)變量的協(xié)方差山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理5設(shè)（X，Y）是一個(gè)二維隨機(jī)變量，如果存在，則稱其為X與Y的協(xié)方差，或稱為X與Y的相關(guān)（中心）矩，并記為特別地：協(xié)方差>0，稱X與Y正相關(guān)，即同增同減；協(xié)方差<0，稱X與Y負(fù)相關(guān)，即增減相反；協(xié)方差=0，稱X與Y不（線性）相關(guān)。二維隨機(jī)變量的協(xié)方差山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理6協(xié)方差的性質(zhì)：Cov(X,Y)=E(XY)-E(X)E(Y)；若X與Y獨(dú)立，則Cov(X,Y)=0，反之亦然；Cov(X,Y)=Cov(Y,X)；Cov(X,a)=0，a為常數(shù)；Cov(aX,bY)=abCov(Y,X)，a,b為常數(shù);Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)；Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y),Var(X-Y)=Var(X)+Var(Y)-2Cov(X,Y)。二維隨機(jī)變量的相關(guān)系數(shù)山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理7設(shè)（X，Y）是一個(gè)二維隨機(jī)變量，且Var(X)>0，Var(Y)>0。則稱為X與Y的相關(guān)系數(shù)。相關(guān)系數(shù)與協(xié)方差是同符號(hào)的，即同正同負(fù)，所以從相關(guān)系數(shù)的取值也可以反映X與Y的（線性）相關(guān)性。相關(guān)系數(shù)可以看做是X與Y標(biāo)準(zhǔn)化后的協(xié)方差。二維隨機(jī)變量的相關(guān)系數(shù)山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理8相關(guān)系數(shù)的性質(zhì)：有界：;不等式關(guān)系：；相關(guān)系數(shù)為的充分必要條件是X與Y幾乎處處有線性關(guān)系，即存在a(不為0)和b，使得P(Y=aX+b)=1。其中當(dāng)Corr(X,Y)=1時(shí)，有a>0；當(dāng)Corr(X,Y)=1，有a<0。獨(dú)立與不相關(guān)山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理9一般場(chǎng)合，獨(dú)立必然導(dǎo)致不相關(guān)，但不相關(guān)推不出獨(dú)立。但在正態(tài)場(chǎng)合下兩者等價(jià)。TH.在二維正態(tài)分布場(chǎng)合，不相關(guān)與獨(dú)立是等價(jià)的。伯努利大數(shù)定律山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理10設(shè)為n重伯努利試驗(yàn)中事件A發(fā)生的次數(shù)，p為每次實(shí)驗(yàn)中A出現(xiàn)的概率，則對(duì)任意的，有注解：只要試驗(yàn)次數(shù)足夠大，事件A發(fā)生的頻率就會(huì)與其概率真值相當(dāng)?shù)慕咏?，偏離的機(jī)會(huì)很小，可以認(rèn)為是0。大數(shù)定律的一般形式山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理11設(shè)有一隨機(jī)變量序列{Xn}，若對(duì)任意的，有則稱該隨機(jī)變量序列服從大數(shù)定律。注解：只要n充分大，隨機(jī)變量“平均值”與理論“期望”可以無限接近。大數(shù)定律的不同形式山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理121、切比雪夫大數(shù)定律設(shè){Xn}為一列兩兩不相關(guān)的隨機(jī)變量序列，若每個(gè)Xi的方差存在，且有共同的上界，則{Xn}服從大數(shù)定律。2、馬爾科夫大數(shù)定律（條件）隨機(jī)變量序列{Xn}，若滿足3、辛欽大數(shù)定律設(shè){Xn}為一獨(dú)立同分布的隨機(jī)變量序列，若Xi的期望存在，則{Xn}服從大數(shù)定律。中心極限定理&大數(shù)定律的關(guān)系山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理13大數(shù)定律討論的是多個(gè)隨機(jī)變量的平均(1)的漸進(jìn)性質(zhì)，中心極限定理討論的是隨機(jī)變量和(2)的極限分布。(1)(2)獨(dú)立同分布的中心極限定理山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理141、林德貝格-勒維中心極限定理設(shè){Xn}是獨(dú)立同分布的隨機(jī)變量序列，且記則對(duì)任意實(shí)數(shù)y，有注解：獨(dú)立隨機(jī)變量和序列標(biāo)準(zhǔn)化后的分布是漸進(jìn)正態(tài)的。二項(xiàng)分布的正態(tài)近似山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理152、棣莫弗-拉普拉斯極限定理設(shè)n重伯努利試驗(yàn)中，事件A在每次實(shí)驗(yàn)中出現(xiàn)的概率是p(0<p<1)，記為n次試驗(yàn)中事件A出現(xiàn)的次數(shù)，且記則，對(duì)任意實(shí)數(shù)y，有注解：二項(xiàng)分布（n個(gè)獨(dú)立同分布事件和）是漸進(jìn)正態(tài)的。林德貝格條件山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理16林德貝格條件設(shè){Xn}是一個(gè)相互獨(dú)立的的隨機(jī)變量序列，他們具有有限的數(shù)學(xué)期望和方差：

，則隨機(jī)變量的和的期望方差分別為：若諸Xi為連續(xù)隨機(jī)變量時(shí)，記其密度函數(shù)為pi(x)。如果對(duì)任意的，有 *獨(dú)立不同分布的中心極限定理1山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院大數(shù)定律&中心極限定理173、林德貝格中心極限定理設(shè){Xn}是相互獨(dú)立的的隨機(jī)變量序列，如果滿足林德貝格條件，即對(duì)任意，有則對(duì)任意的x，有

注解：n個(gè)獨(dú)立不同分布事件的和是漸進(jìn)正態(tài)的，只要它