大數(shù)定律和中心極限定理

1、 第五章第五章 大數(shù)定律和中心極限定理大數(shù)定律和中心極限定理 大數(shù)定律和中心極限定理是概率論的重要基本理大數(shù)定律和中心極限定理是概率論的重要基本理論，它們揭示了隨機現(xiàn)象的重要統(tǒng)計規(guī)律，在概率論，它們揭示了隨機現(xiàn)象的重要統(tǒng)計規(guī)律，在概率論與數(shù)理統(tǒng)計的理論研究和實際應用中都具有重要論與數(shù)理統(tǒng)計的理論研究和實際應用中都具有重要的意義。本章將介紹這方面的主要內(nèi)容。的意義。本章將介紹這方面的主要內(nèi)容。5.1 大數(shù)定律大數(shù)定律 迄今為止迄今為止,人們已發(fā)現(xiàn)很多人們已發(fā)現(xiàn)很多大數(shù)定律大數(shù)定律(laws of large numbers)所謂大數(shù)定律，簡單地說，就是大量數(shù)目的隨機變量所呈現(xiàn)所謂大數(shù)定律，簡單地

2、說，就是大量數(shù)目的隨機變量所呈現(xiàn)出的規(guī)律，這種規(guī)律一般用隨機變量序列的某種收斂性來刻出的規(guī)律，這種規(guī)律一般用隨機變量序列的某種收斂性來刻畫。本章僅介紹幾個最基本的大數(shù)定律。下面，先介紹一個畫。本章僅介紹幾個最基本的大數(shù)定律。下面，先介紹一個重要的不等式。重要的不等式。 一、切比雪夫（一、切比雪夫（Chebyshev）不等式）不等式 對于任一隨機變量對于任一隨機變量X ,若若EX與與DX均存在均存在,則對任意則對任意0,恒有恒有 . (5-1) 2 | DXEXXP 證明證明 我們僅給出我們僅給出X為連續(xù)型隨機變量情形下的證明。設為連續(xù)型隨機變量情形下的證明。設為連續(xù)型隨機變量為連續(xù)型隨機變量X

3、的密度函數(shù)，則有的密度函數(shù)，則有 （5-1）式的等價形式為）式的等價形式為 . (5-2) )(xf | EXXP d)(EXxxxf 22d)(|EXxxxfEXx 22d)(| xxfEXxDX21 | EXXP21DX 切比雪夫不等式說明，切比雪夫不等式說明，DX越小，則越小，則 越小，越小， 越大，越大， 也就是說，隨機變量也就是說，隨機變量X取值取值基本上集中在基本上集中在EX附近，這進一步說明了方差的意義。附近，這進一步說明了方差的意義。同時當同時當EX和和DX已知時，切比雪夫不等式給出了概率已知時，切比雪夫不等式給出了概率 的一個上界，該上界并不涉及隨機變的一個上界，該上界并不涉

4、及隨機變X的具體概率分布，而只與其方差的具體概率分布，而只與其方差DX和和有關，因此，有關，因此，切比雪夫不等式在理論和實際中都有相當廣泛的應切比雪夫不等式在理論和實際中都有相當廣泛的應用。需要指出的是，雖然切比雪夫不等式應用廣泛，用。需要指出的是，雖然切比雪夫不等式應用廣泛，但在一個具體問題中，由它給出的概率上界通常比較但在一個具體問題中，由它給出的概率上界通常比較保守。保守。 | EXXP | EXXP | EXXP 二、大數(shù)定律二、大數(shù)定律 在敘述大數(shù)定律之前，首先介紹兩個基本概念。在敘述大數(shù)定律之前，首先介紹兩個基本概念。 定義定義5.1 設設 為一個隨機變量序列，記為為一個隨機變量序

5、列，記為 ，若對任何，若對任何n2，隨機變量，隨機變量 都相互獨立都相互獨立，則稱，則稱 是是相互獨立的隨機變量序列相互獨立的隨機變量序列。 定義定義5.2 設設 為一隨機變量序列，為一隨機變量序列，X為一隨機變量為一隨機變量或常數(shù)，若對任意或常數(shù)，若對任意0，有，有則稱則稱 依概率收斂于依概率收斂于X,記為記為 或或 ， . 下面是一個帶普遍性結果的大數(shù)定律。下面是一個帶普遍性結果的大數(shù)定律。 ,21nXXXnXnXXX,21nXnX1limXXPnnnXXXPn0PnXXn 定理定理5.1 （切比雪夫大數(shù)定律）設（切比雪夫大數(shù)定律）設 是相互獨立的隨機變是相互獨立的隨機變量序列，并且量序列

6、，并且 和和 均存在，均存在， ,同時，存在常數(shù)同時，存在常數(shù)C，使，使則對任意的則對任意的0，有，有 （5-3）即，即， . 證明證明 因因 為獨立隨機變量序列，故為獨立隨機變量序列，故 .根據(jù)切比雪夫不等式可得根據(jù)切比雪夫不等式可得 ,nXiEXiDX, 2 , 1i, 2 , 1 ,iCDXi111lim11niniiinEXnXnP)( 01111nEXnXnPniiniinXnCDXnXnDniinii12111niniiininiiiXnEXnPEXnXnP11111111所以所以 利用計算極限的夾逼準則可知，（利用計算極限的夾逼準則可知，（5-3）式成立。）式成立。 本結果由俄國

7、數(shù)學家切比雪夫于本結果由俄國數(shù)學家切比雪夫于1866年證明，是關于大數(shù)年證明，是關于大數(shù)定律的普遍結果，許多大數(shù)定律的古典結果都是它的特例。定律的普遍結果，許多大數(shù)定律的古典結果都是它的特例。 推論推論1 設設 是獨立同分布的隨機變量序列，且是獨立同分布的隨機變量序列，且則對任意則對任意0，有，有 . （5-4）221111nCXnDnii1111112niniiiEXnXnPnCnX , 2 , 1,2iDXEXii11lim1niinXnP 證明證明 只需將只需將 代入（代入（5-3）即證（）即證（5-4）. 推論推論1使我們關于算術平均值的法則有了理論上的依據(jù)。如使我們關于算術平均值的法

8、則有了理論上的依據(jù)。如我們要測量某段距離，在相同條件下重復進行我們要測量某段距離，在相同條件下重復進行n次，得次，得n個測個測量值量值 ，它們可以看成是，它們可以看成是n個相互獨立的隨機變量個相互獨立的隨機變量,具有相同的分布、相同的數(shù)學期望具有相同的分布、相同的數(shù)學期望和方差和方差 ，由推論，由推論1的大的大數(shù)定律知，只要數(shù)定律知，只要n充分大，則以接近于充分大，則以接近于1的概率保證的概率保證這便是在這便是在n較大情況下反映出的客觀規(guī)律較大情況下反映出的客觀規(guī)律,故稱為故稱為“大數(shù)大數(shù)”定律。定律。 比推論比推論1條件更寬的一個大數(shù)定律是條件更寬的一個大數(shù)定律是辛欽辛欽（Khintchin

9、e）大大數(shù)定律數(shù)定律,它不需要推論它不需要推論1條件中條件中“方差方差 存在存在”的限制，而在的限制，而在其它條件不變的情況下，仍有（其它條件不變的情況下，仍有（5-4）式的結論。）式的結論。niniinEXn1111nXXX,212niiXn11iDX 推論推論2（貝努利大數(shù)定律）設事件（貝努利大數(shù)定律）設事件A發(fā)生的概率為發(fā)生的概率為p，在，在n重重貝努利試驗中貝努利試驗中A發(fā)生的頻率為發(fā)生的頻率為 ，則對任意的，則對任意的0，有，有 , （5-5）即，即， . 證明證明 首先引入一隨機變量序列首先引入一隨機變量序列 ，對每個，對每個Xi取值如下：取值如下： 則則 ， . 從而，從而， ，

10、 , .將將 一并代入（一并代入（5-4）式便得（）式便得（5-5）式）式. 這是歷史上最早的大數(shù)定律，是貝努利在這是歷史上最早的大數(shù)定律，是貝努利在1713年建立的。年建立的。概率論的研究到現(xiàn)在約有概率論的研究到現(xiàn)在約有300多年的歷史，最終以事件的頻率多年的歷史，最終以事件的頻率穩(wěn)定值來定義其概率。作為概率這門學科的基礎，其穩(wěn)定值來定義其概率。作為概率這門學科的基礎，其“定義定義”nf1 |limpfPnnnpfPn ,nX 10發(fā)生次試驗中第不發(fā)生次試驗中第AiAiXini, 2 , 1), 1 (pBXini, 2 , 1pEXi)1 (ppDXini, 2 , 1nniifXn11

11、的合理性這一懸而未決的帶根本性的問題的合理性這一懸而未決的帶根本性的問題,由貝努利于由貝努利于1713年發(fā)年發(fā)表的這個表的這個“大數(shù)定律大數(shù)定律”給予了解決，被稱為概率論的第一篇論給予了解決，被稱為概率論的第一篇論文文,為概率論的公理化體系奠定了理論基礎。之所以被成為為概率論的公理化體系奠定了理論基礎。之所以被成為“定定律律”,是這一規(guī)律表述了一種全人類多年的集體經(jīng)驗因此是這一規(guī)律表述了一種全人類多年的集體經(jīng)驗因此 ，對爾后的，對爾后的類似定理統(tǒng)稱為大數(shù)類似定理統(tǒng)稱為大數(shù)“定律定律”。 在大數(shù)定律中，由在大數(shù)定律中，由 可知，對充分大的可知，對充分大的n，有，有 ， 或或 ，根據(jù)實際，根據(jù)實際推斷原理推斷原理,概率論中把這兩類特別的隨機事件實際上當作非隨機概率論中把這兩類特別的隨機事件實際上當作非隨機事件來處理的事件來處理的,也就不能引起人們的重視也就不能引起人們的重視.但貝努利正是通過對這但貝努利正是通過對這種所謂種所謂“非隨機事件非隨機事件”的研究的研究,以嚴