大數定律與中心極限定理

1、二、二、 中心極限定理一、一、 大數定律 第五章第五章 大數定律與中心極限大數定律與中心極限定理 第一章引入概率概念時，曾經指出，事件發(fā)生的頻率在一、二次或少數次試驗中是有隨機性的，但隨著試驗次數n的增大，頻率將會逐漸穩(wěn)定且趨近于概率。特別，當n很大時，頻率與概率會非?！敖咏钡摹＿@個非?！敖咏笔鞘裁匆馑?？這與高等數學中的極限概念有否聯系？本章將從理論上討論這一問題。 定理1 設隨機變量的數學期望E= ，方差D = 2,則對任意的正數，不等式 (1.1)成立。這個不等式稱為契貝雪夫(Cheby shev)不等式。 22|P一、一、 大數定律證 我們僅就連續(xù)型隨機變量情形加以證明。 設 的概率

2、密度為 f(x)，于是 xxdxxfxdxxfP)()()(|222222)()(1dxxfx證畢式(1.1)表明當D 很小時，概率 更小。這就是說在上述條件下，隨機變量 落入E 的 鄰域之外的可能性很小，落入E 的 鄰域內可能性很大。由此說明 的取值比較集中，也即離散程度較小，這正是方差的意義所在。契貝雪夫不等式在理論研究和實際應用中都有很重要的價值。 |EP例1 已知正常男性成人血液中，每一毫升血液中白細胞的平均數是7300，均方差是700。試估計每毫升血液中白細胞數在52009400之間的概率。解 設每一毫升血液中白細胞數為 ，則由(1.2)式有 98)2100700(12100|730

3、0|940052002PP契貝雪夫不等式也可以寫成如下等價形式221|P(1.2) 的值。不等式估計試用切比雪夫的方差為思考題：設隨機變量5 . 7|, 5 . 2EP定理2 （伯努利(Bernoulli)大數定律）設 是n次獨立重復試驗中事件A發(fā)生的次數，p是事件A在每次試驗中發(fā)生的概率，則對任意正數 0，有 An1limpnnPAn(1.3)或 0limpnnPAn(1.4) 證 令 )1 (.,0, 1niiAiAi次試驗中不出現在第次試驗中出現在第則1， 2， n是n個相互獨立的隨機變量，且nippDpEii, 2 , 1, )1 (,易知 nAn21于是 nEnnpnpnnninii

4、iAA11)(22111)(| )(|nDnEPpnnPniininiiiA由契貝雪夫不等式得又由1， 2， n 的獨立性可知niiniipnpDD11)1 ()(從而有 )(0)1 (1)1 (|222nppnnpnppnnPA證畢 上述伯努利大數定律從理論上給出了頻率“接近”概率這種“現象”的更加確切的含意，它反映了大數次重復試驗下隨機現象所呈現的客觀規(guī)律性。 設 1， 2， n，是一個隨機變量序列，a是一個常數，若對任意的正數 ，有 1|limaPnn則稱隨機變量序列 n依概率收斂于a，記作)(naPn定理2 是n次獨立重復試驗中事件A發(fā)生的次數，p是事件A在每次試驗中發(fā)生的概率，則An

5、)(npnnPA定理3（契貝雪夫大數定律）設 1， 2， n，是相互獨立的隨機變量序列，又設它們的方差有界，即存在常數c0，使得 , 2 , 1 ,icDi則對任意的 0，有 證明（略）11111limniniiinEnnP(1.5)或 01111limniniiinEnnP(1.6) 伯努利大數定律是契貝雪夫大數定律的特例, 在它們的證明中, 都是以契貝雪夫不等式為基礎的, 所以要求隨機變量具有方差。但進一步的研究表明，方差存在這個條件并不是必要的。下面我們介紹獨立同分布的辛欽大數定律。定理4 （辛欽()大數定律）設 是一獨立同分布的隨機變量序列，且數學期望存在,21n, 2 , 1,iEi

6、則對任意的 0，有證明（略）111limniinnP (1.7) 伯努利大數定律說明了當n很大時，事件發(fā)生的頻率會非?！敖咏备怕剩@里的辛欽大數定律則表明，當n很大時，隨機變量在n次觀察中的算術平均值 也會“接近”它的期望值，即niin11)(11nnniPi這就為尋找隨機變量的期望值提供了一條實際可行的途徑。 在第二章介紹正態(tài)分布時曾經特別強調了它在概率論與數理統(tǒng)計中的地位與作用，為什么會有許多隨機變量遵循正態(tài)分布？僅僅是經驗猜測還是確有理論根據？這當然是一個需要弄清的問題。實踐表明，客觀實際中有很多隨機變量，它們往往是由大量的相互獨立的隨機因素的綜合作用所形成的。而其中每一個別因素在總

7、的影響中所起的作用是微小的。下面將要介紹的中心極限定理從理論上闡明了這樣的隨機變量總是近似地服從正態(tài)分布的。二、二、 中心極限定理 定理5（獨立同分布的林德貝爾格-勒維(LindebergLevy)中心極限定理）設 是相互獨立，且服從同一分布的隨機變量序列，并具有數學期望和方差： ,21n, 2 , 1, 0,2iDEii則對任意的x有證明（略）兩點說明： dtexnnPxtniin21221lim（2.1） nnniin1 1無論隨機變量 服從同一分布的情況如何，只要 i滿足定理的條件，則隨機變量序列,21n當n無限增大時，總以標準正態(tài)分布為其極限分布。或者說，當n充分大時， 近似服從標準正

8、態(tài)分布。根據這一點，在實際應用中，只要n充分大，我們便可把n個獨立同分布的隨機變量的和當作正態(tài)隨機變量。 n2因為對 niiniinnnn11中每一被加項 ni有 nDnnDii1)(12故有 01limlimnnuDnin即 n中每一被加項對總和的影響都很微小，但它們迭加的和卻以標準正態(tài)分布作為極限。解 由于 i 服從參數為 = 0.05的指數分布。因此100, 2 , 1,4001,2012iDEii又由題設知 ，因此由定理5得： 1001ii1002020100180010020201001800PP12002000112002000PP8413.0)1 ()1(1211212dtet例

9、1 設有100個電子器件，它們的使用壽命 均服從參數為 =0.05(h-1)的指數分布，其使用情況為：第一個損壞第二個立即使用，第二個損壞第三個立即使用等等。 令 表示這100個電子器件使用的總時間，試求 超過1800h小時的概率。10021,作為定理5的推論有 定理6（德莫佛拉普拉斯(De Moivre-Laplace)定理）在n重貝努里試驗中，事件A在每次試驗中出現的概率為p，n為n次試驗中事件A出現的次數，則對任意的x，有dtexpnpnpPtxnn2221)1 (lim(2.2) 證證 由5.1的定理2的證明可知，n可以看成是n個相互獨立，且服從同一(01)分布的隨機變量 1，2，,

10、n之和，即)1 (,ppDpEii且 niin1由定理5得dtexpnpnpPtxnn2221)1 (lim 定理表明，二項分布的極限分布是正態(tài)分布。因此，當n充分大時，我們可以利用(2.2)式來計算二項分布的概率。 對于相互獨立但不同分布的隨機變量和的分布的極限問題, 有李雅普諾夫中心極限定理。 定理7（李雅普諾夫Liapunov定理）設隨機變量 1，2 ， n，相互獨立，且 niiniiiiBiDE1222), 2 , 1( , 0,，記若存在 0，使得 )(0|1212nEBiniin則對任意的x，有證略略。 xtniiinndtexBP21221)(1lim (2.3) 不難看出,當n

11、很大時， nininiiiniinnBB1111)(1近似服從標準正態(tài)分布N(0，1)，也即 niinnniiB11近似服從正態(tài)分布 ),(21nniiBN. 這就是說，無論各個隨機變量 i (i=1，2，)服從什么樣的分布，只要滿足定理7的條件，那么它們的和 iin1當n很大時，就近似地服從正態(tài)分布。這也就說明了為什么正態(tài)隨機變量在概率論與數理統(tǒng)計中占有重要地位的一個最基本的原因。 , 例2 某單位有300架電話分機，每個分機有5%的時間要用外線通話，可以認為各個電話分機用不用外線是相互獨立的。試問該單位總機至少應配備多少條外線，才能以95%的把握保證各個分機在用外線時不必等待？解 令 )300,21(.,0,1，個分機不要用外線第個分機要用外線第iiii)05. 01 (05. 030005. 0300)05. 01 (05. 030005. 0300300300 xPxPn=300，p=0.05的二項分布。根據題意，要求確定最小的正整數 x，使得 95. 0300 xP則 i 服從(01)分布，且p=0.05。如果假定300架分機中同時要求使用外線的分機數為 300 ，顯然有 = 3001ii是服從參數