概率論及數(shù)理統(tǒng)計(jì)大數(shù)定律與中心極限定理

1、第五章第五章極極 限限 定定 理理 初初 步步 概率論與數(shù)理統(tǒng)計(jì)是研究隨機(jī)現(xiàn)象統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)是研究隨機(jī)現(xiàn)象統(tǒng)計(jì)規(guī)律性的學(xué)科規(guī)律性的學(xué)科. 隨機(jī)現(xiàn)象的規(guī)律性只有在相隨機(jī)現(xiàn)象的規(guī)律性只有在相同的條件下進(jìn)行大量重復(fù)試驗(yàn)時(shí)才會(huì)呈現(xiàn)出同的條件下進(jìn)行大量重復(fù)試驗(yàn)時(shí)才會(huì)呈現(xiàn)出來(lái)來(lái). 也就是說(shuō)，要從隨機(jī)現(xiàn)象中去尋求必然也就是說(shuō)，要從隨機(jī)現(xiàn)象中去尋求必然的法則，應(yīng)該研究大量隨機(jī)現(xiàn)象的法則，應(yīng)該研究大量隨機(jī)現(xiàn)象. 研究大量的隨機(jī)現(xiàn)象，常常采用極限研究大量的隨機(jī)現(xiàn)象，常常采用極限形式，由此導(dǎo)致對(duì)極限定理進(jìn)行研究形式，由此導(dǎo)致對(duì)極限定理進(jìn)行研究. 極極限定理的內(nèi)容很廣泛，其中最重要的有兩限定理的內(nèi)容很廣泛，其中

2、最重要的有兩種種:與與大數(shù)定律大數(shù)定律中心極限定理中心極限定理下面我們先介紹大數(shù)定律下面我們先介紹大數(shù)定律大大 數(shù)數(shù) 定定 律律第一節(jié)第一節(jié) 大量的隨機(jī)現(xiàn)象中平均結(jié)果的穩(wěn)定性大量的隨機(jī)現(xiàn)象中平均結(jié)果的穩(wěn)定性 大數(shù)定律的客觀背景大數(shù)定律的客觀背景大量拋擲硬幣大量拋擲硬幣正面出現(xiàn)頻率正面出現(xiàn)頻率字母使用頻率字母使用頻率生產(chǎn)過(guò)程中的生產(chǎn)過(guò)程中的廢品率廢品率1|1|lim1 niinxnp 設(shè)設(shè)x1,x2, 是獨(dú)立同分布的隨機(jī)變量是獨(dú)立同分布的隨機(jī)變量序列，且序列，且e(xi)= ，d(xi)= ， i=1,2,其中方差有共同的上界，則對(duì)任給其中方差有共同的上界，則對(duì)任給 0,2 作為切比雪夫大數(shù)定律

3、的作為切比雪夫大數(shù)定律的特殊情況，有下面的定理特殊情況，有下面的定理.定理（獨(dú)立同分布下的大數(shù)定律）定理（獨(dú)立同分布下的大數(shù)定律） 切比雪夫切比雪夫設(shè)設(shè) x xn n 為隨機(jī)變量序列，為隨機(jī)變量序列，x x為隨機(jī)變量，若為隨機(jī)變量，若任給任給 0, 0, 使得使得1)|(|limxxpnn則稱則稱 x xn n 依概率收斂于依概率收斂于x. x. 可記為可記為.xxpn依概率收斂依概率收斂aaanxaxpn如如意思是意思是:當(dāng)當(dāng)n時(shí)時(shí),xn落在落在),(aa內(nèi)的概率越來(lái)越大內(nèi)的概率越來(lái)越大.00,nnnaxn而而意思是意思是:0, 0n|axn,當(dāng)當(dāng)0nn 證明證明:由切由切比雪夫不等式比雪夫

4、不等式.)(1)| )(|2nnnydyeyp這里這里nkknxenye1)(1)(nxdnydnkkn212)(1)().(1)|(|222是有界的nypn故故1)|(|limnnyp則nkknxny11 切比雪夫大數(shù)定律表明，獨(dú)立隨機(jī)變切比雪夫大數(shù)定律表明，獨(dú)立隨機(jī)變量序列量序列xn，如果方差有共同的上界，則，如果方差有共同的上界，則niixn11與其數(shù)學(xué)期望與其數(shù)學(xué)期望niixen1)(1 偏差很小的偏差很小的 概率接近于概率接近于1. niixn11隨機(jī)的了，取值接近于其數(shù)學(xué)期望的概率接隨機(jī)的了，取值接近于其數(shù)學(xué)期望的概率接近于近于1.即當(dāng)即當(dāng)n充分大時(shí)，充分大時(shí)，差不多不再是差不多不

5、再是切比雪夫大數(shù)定律給出了平均值穩(wěn)定性的科學(xué)描述切比雪夫大數(shù)定律給出了平均值穩(wěn)定性的科學(xué)描述 下面給出的貝努里大數(shù)定律，下面給出的貝努里大數(shù)定律，是上述定理的一種特例是上述定理的一種特例.貝努里貝努里 設(shè)設(shè)sn是是n重貝努里試驗(yàn)中事件重貝努里試驗(yàn)中事件a發(fā)發(fā)生的次數(shù)，生的次數(shù)，p是事件是事件a發(fā)生的概率，發(fā)生的概率，否則，發(fā)生次試驗(yàn)如第，01aixi引入引入i=1,2,n則則 niinxs1niinxnns11是事件是事件a發(fā)生的頻率發(fā)生的頻率 于是有下面的定理：于是有下面的定理： 設(shè)設(shè)sn是是n重貝努里試驗(yàn)中事件重貝努里試驗(yàn)中事件a發(fā)生的發(fā)生的 次數(shù)，次數(shù)，p是事件是事件a發(fā)生的概率，則對(duì)任

6、給的發(fā)生的概率，則對(duì)任給的 0，定理定理5.1.1（貝努里大數(shù)定律）（貝努里大數(shù)定律）1)|(|limpnspnn或或0)|(|limpnspnn貝努里貝努里 貝努里大數(shù)定律提供了通過(guò)試驗(yàn)來(lái)確貝努里大數(shù)定律提供了通過(guò)試驗(yàn)來(lái)確定事件概率的方法定事件概率的方法.0)|(|limpnspnn任給任給0， 貝努利大數(shù)定律表明：當(dāng)重復(fù)試驗(yàn)次數(shù)貝努利大數(shù)定律表明：當(dāng)重復(fù)試驗(yàn)次數(shù)n充分大時(shí)，事件充分大時(shí)，事件a發(fā)生的頻率發(fā)生的頻率sn/n幾乎等于幾乎等于事件事件a的概率的概率p。因此可用事件發(fā)生的頻率。因此可用事件發(fā)生的頻率作為相應(yīng)概率的估計(jì)。作為相應(yīng)概率的估計(jì)。蒲豐投針問(wèn)題中解法的蒲豐投針問(wèn)題中解法的理論

7、依據(jù)就是大數(shù)定律理論依據(jù)就是大數(shù)定律 當(dāng)投針次數(shù)當(dāng)投針次數(shù)n很大時(shí)，用針與線相交的很大時(shí)，用針與線相交的頻率頻率m/n近似針與線相交的近似針與線相交的概率概率p，從而求得，從而求得的的近似值近似值.針長(zhǎng)針長(zhǎng)l線距線距aamln2 下面給出的獨(dú)立同分布下的大數(shù)定下面給出的獨(dú)立同分布下的大數(shù)定律，不要求隨機(jī)變量的方差存在律，不要求隨機(jī)變量的方差存在. 設(shè)隨機(jī)變量序列設(shè)隨機(jī)變量序列x1,x2, 獨(dú)立同分獨(dú)立同分布，具有有限的數(shù)學(xué)期望布，具有有限的數(shù)學(xué)期望e(xi)=, i=1,2,， 則對(duì)任給則對(duì)任給 0 ，定理定理5.1.2（辛欽大數(shù)定律）（辛欽大數(shù)定律）1)|1(|lim1niinxnp辛欽辛欽

8、 辛欽大數(shù)定律為尋找隨機(jī)變量的期辛欽大數(shù)定律為尋找隨機(jī)變量的期望值提供了一條實(shí)際可行的途徑望值提供了一條實(shí)際可行的途徑.辛欽大數(shù)定律表明：當(dāng)辛欽大數(shù)定律表明：當(dāng)n無(wú)限增大時(shí)，無(wú)限增大時(shí)，n個(gè)個(gè)獨(dú)立同分布的隨機(jī)變量算術(shù)平均值獨(dú)立同分布的隨機(jī)變量算術(shù)平均值)(121nxxxnx幾乎等于常數(shù)幾乎等于常數(shù)因此可用算術(shù)平均值作為因此可用算術(shù)平均值作為的估計(jì)的估計(jì)1)|1(|lim1niinxnp 例如要估計(jì)某地區(qū)的平均畝產(chǎn)量，只例如要估計(jì)某地區(qū)的平均畝產(chǎn)量，只要收割某些有代表性的地塊，例如要收割某些有代表性的地塊，例如n 塊塊. 計(jì)算其平均畝產(chǎn)量，則當(dāng)計(jì)算其平均畝產(chǎn)量，則當(dāng)n 較大時(shí)，可用較大時(shí)，可用它

9、作為整個(gè)地區(qū)平均畝產(chǎn)量的一個(gè)估計(jì)它作為整個(gè)地區(qū)平均畝產(chǎn)量的一個(gè)估計(jì). 大數(shù)定律以嚴(yán)格的數(shù)學(xué)形式表達(dá)了隨大數(shù)定律以嚴(yán)格的數(shù)學(xué)形式表達(dá)了隨機(jī)現(xiàn)象最根本的性質(zhì)之一：機(jī)現(xiàn)象最根本的性質(zhì)之一：它是隨機(jī)現(xiàn)象統(tǒng)計(jì)規(guī)律的具體表現(xiàn)它是隨機(jī)現(xiàn)象統(tǒng)計(jì)規(guī)律的具體表現(xiàn).大數(shù)定律在理論和實(shí)際中都有廣泛的應(yīng)用大數(shù)定律在理論和實(shí)際中都有廣泛的應(yīng)用.平均結(jié)果的穩(wěn)定性平均結(jié)果的穩(wěn)定性第第 二二 節(jié)節(jié)中中 心心 極極 限限 定定 理理 中心極限定理的客觀背景中心極限定理的客觀背景 在實(shí)際問(wèn)題中，常常需要考慮許多隨機(jī)在實(shí)際問(wèn)題中，常常需要考慮許多隨機(jī)因素所產(chǎn)生總影響因素所產(chǎn)生總影響.例如：炮彈射擊的落點(diǎn)與目標(biāo)的偏差，就受例如：炮彈射

10、擊的落點(diǎn)與目標(biāo)的偏差，就受著許多隨機(jī)因素的影響著許多隨機(jī)因素的影響. 空氣阻力所產(chǎn)生的誤差，空氣阻力所產(chǎn)生的誤差，對(duì)我們來(lái)說(shuō)重要的是這些對(duì)我們來(lái)說(shuō)重要的是這些隨機(jī)因素的總影響隨機(jī)因素的總影響.如瞄準(zhǔn)時(shí)的誤差，如瞄準(zhǔn)時(shí)的誤差，炮彈或炮身結(jié)構(gòu)所引起的誤差等等炮彈或炮身結(jié)構(gòu)所引起的誤差等等. 觀察表明，如果一個(gè)量是由大量相互獨(dú)觀察表明，如果一個(gè)量是由大量相互獨(dú)立的隨機(jī)因素的影響所造成，而每一個(gè)別因立的隨機(jī)因素的影響所造成，而每一個(gè)別因素在總影響中所起的作用不大素在總影響中所起的作用不大. 則這種量一則這種量一般都服從或近似服從正態(tài)分布般都服從或近似服從正態(tài)分布. 自從高斯指出測(cè)量誤差服從正自從高斯指

11、出測(cè)量誤差服從正態(tài)分布之后，人們發(fā)現(xiàn)，正態(tài)分布態(tài)分布之后，人們發(fā)現(xiàn)，正態(tài)分布在自然界中極為常見(jiàn)在自然界中極為常見(jiàn). 現(xiàn)在我們就來(lái)研究獨(dú)立隨機(jī)變量之和所現(xiàn)在我們就來(lái)研究獨(dú)立隨機(jī)變量之和所特有的規(guī)律性問(wèn)題特有的規(guī)律性問(wèn)題. 當(dāng)當(dāng)n無(wú)限增大時(shí)，這個(gè)和的極限分布是無(wú)限增大時(shí)，這個(gè)和的極限分布是什么呢？什么呢？在什么條件下極限分布會(huì)是正態(tài)的呢？在什么條件下極限分布會(huì)是正態(tài)的呢？ 由于無(wú)窮個(gè)隨機(jī)變量之和可能趨于由于無(wú)窮個(gè)隨機(jī)變量之和可能趨于，故我們不研究故我們不研究n個(gè)隨機(jī)變量之和本身而考慮個(gè)隨機(jī)變量之和本身而考慮它的標(biāo)準(zhǔn)化的隨機(jī)變量它的標(biāo)準(zhǔn)化的隨機(jī)變量nkknknkkknxdxexy111)()(的分布

12、函數(shù)的極限的分布函數(shù)的極限.可見(jiàn)可見(jiàn)n越大越接近正態(tài)分布。越大越接近正態(tài)分布。例例:20個(gè)個(gè)0-1分布的和的分布密度分布的和的分布密度x1 f(x)x1 +x2g(x)x1 +x2+x3 h(x)幾個(gè)幾個(gè)(0,1)上均勻分布的和的分布密度上均勻分布的和的分布密度0123xfgh 在概率論中，習(xí)慣于把和的分布在概率論中，習(xí)慣于把和的分布收斂于正態(tài)分布這一類定理都叫做收斂于正態(tài)分布這一類定理都叫做中心中心極限定理極限定理.我們只討論幾種簡(jiǎn)單情形我們只討論幾種簡(jiǎn)單情形. 下面給出的獨(dú)立同分布隨機(jī)變量序列下面給出的獨(dú)立同分布隨機(jī)變量序列的中心極限定理，也稱的中心極限定理，也稱列維一林德伯格列維一林德伯

13、格（levylindberg）定理）定理.xniinxnnxp-2t -1dte21)(lim2定理定理5.2.1（獨(dú)立同分布下的中心極限定理）（獨(dú)立同分布下的中心極限定理） 它表明，當(dāng)它表明，當(dāng)n充分大時(shí)，充分大時(shí)，n個(gè)具有期望和方差個(gè)具有期望和方差的獨(dú)立同分布的的獨(dú)立同分布的r.v之和近似服從正態(tài)分布之和近似服從正態(tài)分布.設(shè)設(shè)x1,x2, 是獨(dú)立同分布的隨機(jī)是獨(dú)立同分布的隨機(jī)變量序列，且變量序列，且e(xi)= ，d(xi)= ，i=1,2,，則，則2 1niinxnynn(0,1)()()(1nnannbbxapnii時(shí)，nnkknknkkknxdxexy111)()(例例1 根據(jù)以往經(jīng)

14、驗(yàn)，某種電器元件的壽命服從均根據(jù)以往經(jīng)驗(yàn)，某種電器元件的壽命服從均值為值為100小時(shí)的指數(shù)分布小時(shí)的指數(shù)分布. 現(xiàn)隨機(jī)地取現(xiàn)隨機(jī)地取16只，設(shè)只，設(shè)它們的壽命是相互獨(dú)立的它們的壽命是相互獨(dú)立的. 求這求這16只元件的壽命只元件的壽命的總和大于的總和大于1920小時(shí)的概率小時(shí)的概率.由題給條件知，諸由題給條件知，諸xi獨(dú)立，獨(dú)立，16只元件的壽命的總和為只元件的壽命的總和為161kkxy分析分析: 設(shè)第設(shè)第i只元件的壽命為只元件的壽命為xi , i=1,2, ,16e(xi)=100, d(xi)=10000依題意，所求為依題意，所求為p(y1920)由題給條件知由題給條件知,諸諸xi獨(dú)立獨(dú)立,

15、16只元件的壽命的總和為只元件的壽命的總和為161kkxy解解: 設(shè)第設(shè)第i只元件的壽命為只元件的壽命為xi , i=1,2, ,16e(xi)=100,d(xi)=10000依題意，所求為依題意，所求為p(y1920)由于由于e(y)=1600,d(y)=160000由中心極限定理由中心極限定理,近似近似n(0,1)4001600y =1-(0.8) =1-0.7881=0.2119)40016001920( =1-p(y1920)=1-p(y1920) 雖然在一般情況下，我們很難求出雖然在一般情況下，我們很難求出x1+x2+ +xn 的分布的確切形式，但當(dāng)?shù)姆植嫉拇_切形式，但當(dāng)n很大時(shí)，可

16、以求出近似分布很大時(shí)，可以求出近似分布. 德莫佛拉普拉斯定理德莫佛拉普拉斯定理（二項(xiàng)分布的（二項(xiàng)分布的正態(tài)近似）是上述定理的特殊正態(tài)近似）是上述定理的特殊 情況情況.定理定理5.2.2( (德莫佛拉普拉斯定理）德莫佛拉普拉斯定理）dtexpnpnpzpxtnn2221)1 (lim 設(shè)隨機(jī)變量設(shè)隨機(jī)變量 服從參數(shù)服從參數(shù)n, p( (0p1) )的的二項(xiàng)分布，則對(duì)任意二項(xiàng)分布，則對(duì)任意x，有，有nz 定理表明，當(dāng)定理表明，當(dāng)n很大，很大，0p0,nkknxnp11| 1 . 01|lim (2) 至少應(yīng)取球多少次才能使至少應(yīng)取球多少次才能使“0”出現(xiàn)的頻出現(xiàn)的頻率在率在0.09-0.11之間的

17、概率至少是之間的概率至少是0.95?解：設(shè)應(yīng)取球解：設(shè)應(yīng)取球n次，次，0出現(xiàn)頻率為出現(xiàn)頻率為nkkxn11, 1 . 0)1(1nkkxnenxndnkk09. 0)1(1由中心極限定理由中心極限定理近似近似n(0,1)nnxnkk3 . 01 . 01nxnnkk3 . 01 . 011xkp0 10.9 0.1)11. 0109. 0(1nkkxnp)01. 0| 1 . 01(|1nkkxnp)30|3 . 01 . 01(|1nnxnpnkk1)30(2n nxnnkk3 . 01 . 011近似近似n(0,1)95. 01)30(2n 欲使欲使975. 0)30(n 即即96. 13

18、0n查表得查表得從中解得從中解得3458n即至少應(yīng)取球即至少應(yīng)取球3458次次才能使才能使“0”出現(xiàn)的頻出現(xiàn)的頻率在率在0.09-0.11之間的之間的概率至少是概率至少是0.95.若用切比雪夫不等式估計(jì)呢？若用切比雪夫不等式估計(jì)呢？)01. 0| 1 . 01(|1nkkxnp21)01. 0()1(1nkkxnd2)01. 0(09. 01n95. 0/9001 n則18000 n得即至少應(yīng)取球即至少應(yīng)取球18000次才能使次才能使“0”出現(xiàn)的出現(xiàn)的頻率在頻率在0.09-0.11之間之間的概率至少是的概率至少是0.95.n/9001(3) 用中心極限定理計(jì)算在用中心極限定理計(jì)算在100次抽取

19、中次抽取中,數(shù)碼數(shù)碼“0”出現(xiàn)次數(shù)在出現(xiàn)次數(shù)在7和和13之間的概率之間的概率.解：在解：在100次抽取中次抽取中, 數(shù)碼數(shù)碼“0”出現(xiàn)次數(shù)為出現(xiàn)次數(shù)為1001kkx由中心極限定理由中心極限定理,100110011001)()(kkkkkkxdxex近似近似n(0,1)3101001kkx即即近似近似n(0,1)e(xk)=0.1, d(xk)=0.09即在即在100次抽取中，數(shù)碼次抽取中，數(shù)碼“0”出現(xiàn)次數(shù)在出現(xiàn)次數(shù)在7和和13之間的概率為之間的概率為0.6826.1001)137(kkxp=0.68263101001kkx近似近似n(0,1) 13101(1001kkxp) 1() 1 (1

20、) 1 (2不知大家是否還記得街頭賭博的演示不知大家是否還記得街頭賭博的演示? 現(xiàn)在我們用現(xiàn)在我們用中心極限定理中心極限定理來(lái)揭穿這個(gè)來(lái)揭穿這個(gè)賭博中的奧秘賭博中的奧秘. .街頭賭博街頭賭博再看演示請(qǐng)點(diǎn)擊再看演示請(qǐng)點(diǎn)擊如圖如圖, ,釘板有釘板有n=1616層，可以層，可以求出標(biāo)準(zhǔn)差求出標(biāo)準(zhǔn)差 ,416 n次碰釘后小球的位置次碰釘后小球的位置yn近似服從正態(tài)分布近似服從正態(tài)分布n(0,n). e(yn)=0, d(yn)=n .根據(jù)正態(tài)分布的查表計(jì)算根據(jù)正態(tài)分布的查表計(jì)算知道知道, ,落在落在2 以內(nèi)即中線以內(nèi)即中線左右左右8顆釘子以內(nèi)的概率近似為顆釘子以內(nèi)的概率近似為95.6%, ,說(shuō)說(shuō), ,

21、落在這以外的概率只有落在這以外的概率只有4%左右左右. . 即是即是如圖釘板有如圖釘板有n=1616層，可以層，可以求出標(biāo)準(zhǔn)差求出標(biāo)準(zhǔn)差 ,416 根據(jù)正態(tài)分布的查表計(jì)算根據(jù)正態(tài)分布的查表計(jì)算知道知道, ,落在落在2 以內(nèi)即中線以內(nèi)即中線左右左右8顆釘子以內(nèi)的概率顆釘子以內(nèi)的概率近似為近似為95.6%, ,即是說(shuō)即是說(shuō), ,落落在這以外的概率只有在這以外的概率只有4%4%左左右右. .現(xiàn)在你知道為什么擺攤的人敢于現(xiàn)在你知道為什么擺攤的人敢于在上面放那么值錢(qián)的東西了吧在上面放那么值錢(qián)的東西了吧! 在后面的課程中，我們還將經(jīng)常用到中心在后面的課程中，我們還將經(jīng)常用到中心極限定理極限定理. 中心極限定理是概率論中最著名的結(jié)果中心極限定理是概率論中最著名的結(jié)果之一，它不僅提供了計(jì)算獨(dú)立隨機(jī)變量之和之一，它不僅提供了計(jì)算獨(dú)立隨機(jī)變量之和的近似概率的簡(jiǎn)單方