第五章 大數(shù)定律和中心極限定理

1、第五章 大數(shù)定律和中心極限定理我們知道，概率論與數(shù)理統(tǒng)計(jì)是研究隨機(jī)現(xiàn)象統(tǒng)計(jì)規(guī)律性的數(shù)學(xué)分之。但是，只有對(duì)大量隨機(jī)現(xiàn)象進(jìn)行觀(guān)測(cè)時(shí)，隨機(jī)現(xiàn)象的統(tǒng)計(jì)規(guī)律性才會(huì)呈現(xiàn)出來(lái)。為了考察“大量”的隨機(jī)現(xiàn)象，就導(dǎo)致了極限定理的研究。概率論中極限定理的內(nèi)容是很廣泛的，其中最主要的是大數(shù)定律和中心極限定理。5.1 大數(shù)定理在引入大數(shù)定理之前,我們先證明一個(gè)重要的定理.5.1.1 切貝雪夫不等式對(duì)于任何具有有限方差的隨機(jī)變量X都有其中e 是任一正數(shù)。證 設(shè)是的分布函數(shù),則顯然有切貝雪夫不等式也可以表示成。由于切貝雪夫不等式只利用隨機(jī)變量的數(shù)學(xué)期望及方差就可對(duì)X的概率分布進(jìn)行估計(jì)，因此它在理論研究及實(shí)際應(yīng)用中有價(jià)值。從

2、切貝雪夫不等式還可以看出，當(dāng)方差越小時(shí)，事件發(fā)生的概率也越小，從而可知，方差確實(shí)是一個(gè)描述隨機(jī)變量與其期望值離散程度的一個(gè)量。例1 設(shè)電站供電網(wǎng)有10000盞電燈，夜晚每盞燈開(kāi)燈的概率均為0.7，假定燈的開(kāi)、關(guān)是相互立的，使用切貝雪夫不等式估計(jì)夜晚同時(shí)開(kāi)著的燈數(shù)在6800到7200盞之間的概率。解 令表示在夜晚同時(shí)開(kāi)著的燈數(shù)目，則服從n=10000，p=0.7的二項(xiàng)分布，這時(shí)，由切貝雪夫不等式可得事實(shí)上，這個(gè)概率的近似值表明，在10000盞燈中，開(kāi)著的燈數(shù)在6800到7200的概率大于0.95。而實(shí)際此概率的精確值可由貝努里公式求得為0.99999。由此可知，切貝雪夫不等式雖可用來(lái)估計(jì)概率，但

3、精度不夠高，它的重要意義是在理論上的應(yīng)用，在大數(shù)定律的證明中，用切貝雪夫不等式可使證明非常簡(jiǎn)潔。5.1.2 貝努里大定理設(shè)是重貝奴里試驗(yàn)中事件出現(xiàn)的次數(shù)，而是事件在每次試驗(yàn)中出現(xiàn)的概率，則對(duì)任意，都有在證明這個(gè)定理之前，先看看它的具體含義。是重貝努里試驗(yàn)中出現(xiàn)的次數(shù),則便是這次試驗(yàn)中出現(xiàn)的頻率， 上式表明，當(dāng)次數(shù)很大時(shí)，事件出現(xiàn)的頻率與事件A出現(xiàn)的概率p的偏差超過(guò)任意正數(shù)e 的可能性很小，或者基本上說(shuō) ，是不可能的。也就是說(shuō)，要從理論上證明：對(duì)于任意的e > 0 ，有它等價(jià)于 。 貝努里大數(shù)定律是研究這種極限定理的第一個(gè)定律，也是一個(gè)從理論上證明隨機(jī)現(xiàn)象的頻率具有穩(wěn)定性的定律。下面我們給

4、出由貝奴里在1713年發(fā)表的這個(gè)定律的證明。證 設(shè)是第次試驗(yàn)中事件發(fā)生的次數(shù)，由服從參數(shù)為的(0-1)分布, 其中相互獨(dú)立,且，從而知由切貝雪夫不等式有因此亦即貝努里大數(shù)定律證明了在大量重復(fù)實(shí)驗(yàn)時(shí)，隨機(jī)事件的頻率在它的概率的附近擺動(dòng)，若事件的概率很小，則正如貝努里定律所指出的，事件的頻率也很小，或者說(shuō)事件很少發(fā)生?！案怕屎苄〉碾S機(jī)事件在個(gè)別試驗(yàn)中是幾乎不能發(fā)生的”這一原理稱(chēng)為小概率事件的實(shí)際不可能性原理。它在國(guó)家經(jīng)濟(jì)建設(shè)中有著廣泛的應(yīng)用。至于“小概率”小到什么程度才能看作實(shí)際上不可能發(fā)生，則要視具體情況的要求和性質(zhì)而定。例如，自動(dòng)車(chē)床加工零件出現(xiàn)次品的概率為0.01，若零件的重要性不大而價(jià)格又

5、低，則完全可允許有1%的次品率，即可忽視100個(gè)零件中出現(xiàn)一個(gè)次品的可能性。但如果制造一批降落傘出現(xiàn)的次品的概率為0.01，顯然在這種情況下，這1%的忽視也是絕對(duì)不允許的，因?yàn)樗赡芪＜斑@百分之一跳傘者的生命。貝努里大數(shù)定律還提供了通過(guò)試驗(yàn)來(lái)確定事件概率的方法。既然頻率與概率有較大偏差的可能性很小，那么我們就可以通過(guò)做試驗(yàn)確定某事件發(fā)生的頻率并把它作為相應(yīng)概率的估計(jì)，這種方法稱(chēng)為參數(shù)估計(jì)，它是數(shù)理統(tǒng)計(jì)中主要的研究課題之一。參數(shù)估計(jì)的一個(gè)重要理論基礎(chǔ)就是大數(shù)定律。設(shè)是一個(gè)互相獨(dú)立的隨機(jī)變量序列，是一個(gè)常數(shù)，若對(duì)于任意正數(shù)e ，有，則稱(chēng)序列依概率收斂于a。因此，由貝奴里大數(shù)定律可得：設(shè)是次獨(dú)立試驗(yàn)

6、中事件出現(xiàn)的次數(shù)，而是事件在每次試驗(yàn)中出現(xiàn)的概率,則頻率依概率收斂于概率。人們?cè)谑录羞€發(fā)現(xiàn)，除了頻率具有穩(wěn)定性之外，大量觀(guān)察值的平均值也具有穩(wěn)定性。這就是切貝雪夫大數(shù)定律。5.1.3 切貝雪夫大數(shù)定律設(shè)隨機(jī)變量相互獨(dú)立,每一隨機(jī)變量都有數(shù)學(xué)期望和有限的方差，并且它們有公共上界c,即，則對(duì)任意的e > 0 ，皆有 證 因相互獨(dú)立，所以又因 ，由切貝雪夫不等式可得所以于是, 在1866年由俄國(guó)數(shù)學(xué)家切貝雪夫證明的大數(shù)定律是關(guān)于大數(shù)定律大的一個(gè)相當(dāng)普遍的結(jié)論。貝努里大數(shù)定律就是切貝雪夫大數(shù)定律的一個(gè)特例。切貝雪夫大數(shù)定律表明相互獨(dú)立的隨機(jī)變量的算術(shù)平均值與數(shù)學(xué)期望的算術(shù)平均值的差在充分大時(shí)是一個(gè)無(wú)窮小量，這也意味著在從分大時(shí)，經(jīng)算術(shù)平均后得到的隨機(jī)變量的值將比較緊密地聚集在它的數(shù)學(xué)期望的附近。有切貝雪夫大數(shù)定律還得益的下面的推論：設(shè)獨(dú)立隨機(jī)變量服從同一分布，并且有數(shù)學(xué)期望及方差，則的算術(shù)平均值在時(shí)，依概率收斂與數(shù)學(xué)期望，即對(duì)任意正數(shù)e ，有.上述推論，是我們關(guān)于算術(shù)平均值的法則有了理論上的依據(jù)。如我們要測(cè)量某