大數(shù)定理與中心極限定理5.ppt

1、第五章 大數(shù)定律與中心極限定理,本章要解決的問題,為何能以某事件發(fā)生的頻率 作為該事件的 概率的估計？,為何能以樣本均值作為總體 期望的估計？,為何正態(tài)分布在概率論中占 有極其重要的地位？,大樣本統(tǒng)計推斷的理論基礎 是什么？,ANSWER,大數(shù) 定律,中心極 限定理,大數(shù)定律和中心極限定理是概率論的重要基本理 論，它們揭示了隨機現(xiàn)象的重要統(tǒng)計規(guī)律，在概率 論與數(shù)理統(tǒng)計的理論研究和實際應用中都具有重要 的意義。 迄今為止,人們已發(fā)現(xiàn)很多大數(shù)定律(laws of large numbers) 所謂大數(shù)定律，簡單地說，就是大量數(shù)目的隨機變量所呈現(xiàn) 出的規(guī)律，這種規(guī)律一般用隨機變量序列的某種收斂性來刻

2、 畫。 本章僅介紹幾個最基本的大數(shù)定律。下面，先介紹一個 重要的不等式。,設非負隨機變量 X 的期望 E( X )存在，則對于任意實數(shù) 0,馬爾可夫（Markov） 不等式,5.1 切爾謝夫不等式,設隨機變量 X 的方差 D ( X )存在， 則對于任意實數(shù) 0,推論 2 切貝雪夫（ chebyshev ）不等式,或,示意圖,Ex,Ex+e,Ex-e,j(x),x,Dx/e2,例1 設x是擲一顆骰子所出現(xiàn)的點數(shù), 若給定e=1,2, 實際計算P(|x-Ex|e), 并驗證切貝謝夫不等式成立.解 因P(x=k)=1/6, (k=1,2,3,4,5,6),例2 設有一大批種子，其中良種占1/6.

3、試估計 在任選的 6000 粒種子中, 良種所占比例與 1/6 比較上下小于1%的概率.,解 設 X 表示 6000 粒種子中的良種數(shù) ,X B (6000,1/6 ) -注：二項分布,實際精確計算：,用Poisson 分布近似計算：,取 = 1000,例3 設電站供電網(wǎng)有10000盞電燈，夜晚每一盞燈開燈的概率是0.7, 而假定開、關時間彼此獨立，估計夜晚同時開著的燈數(shù)在6800與7200之間的概率.（p105）,解 設 X 表示夜晚同時開燈的數(shù)目,X B (10000,0.7 ) -注：二項分布,例4 設每次試驗中，事件 A 發(fā)生的概率為 0.75, 試用 Chebyshev 不等式估計,

4、 n 多大時, 才 能在 n 次獨立重復試驗中, 事件 A 出現(xiàn)的 頻率在0.74 0.76 之間的概率大于 0.90?,解 設 X 表示 n 次獨立重復試驗中事件 A 發(fā)生 的次數(shù) , 則,X B(n,0.75),事件A發(fā)生的概率,即,即,由 Chebyshev 不等式， = 0.01n ,故,令,解得,切比雪夫不等式說明，DX越小，則 越小， 越大，也就是說，隨機變量X取值基 本上集中在EX附近，這進一步說明了方差的意義。 同時當EX 和DX 已知時，切比雪夫不等式給出了概率 的一個上界，該上界并不涉及隨機變X 的具體概率分布，而只與其方差DX和有關，因此，切比 雪夫不等式在理論和實際中都

5、有相當廣泛的應用。需要指 出的是，雖然切比雪夫不等式應用廣泛，但在一個具體問 題中，由它給出的概率上界通常比較保守。,5.2 大數(shù)定律,在敘述大數(shù)定律之前，首先介紹兩個基本概念。 定義5.1 設 為一個隨機變量序列，記為 ，若對任何n2，隨機變量 都相互獨 立，則稱 是相互獨立的隨機變量序列。 定義5.2 設 為一隨機變量序列，X為一隨機變 量或常數(shù)，若對任意0，有 則稱 依概率收斂于X,記為 或 ， . 下面是一個帶普遍性結(jié)果的大數(shù)定律。,大數(shù)定律,貝努里（Bernoulli） 大數(shù)定律,設 nA 是 n 次獨立重復試驗中事件 A 發(fā)生的 次數(shù), p 是每次試驗中 A 發(fā)生的概率，則,有,或

6、,貝努里（Bernoulli） 大數(shù)定律的意義：,定義,a 是一常數(shù)，,(或,故,在 Bernoulli 定理的證明過程中， Y n 是相互 獨立的服從 0-1分布的隨機變量序列 Xk 的 算術平均值, Y n 依概率收斂于其數(shù)學期望 p .,結(jié)果同樣適用于服從其它分布的獨立隨 機變量序列,Chebyshev 大數(shù)定律,(指任意給定 n 1, 相互獨立)，且 具有相同的數(shù)學期望和方差,或,算術平均值,定理的意義：,當 n 足夠大時，算術平均值幾乎就是一個常數(shù), 可以用算術平均值近似地代替數(shù)學期望.,具有相同數(shù)學期望和方差的獨立隨機變量序列的 算術平均值依概率收斂于數(shù)學期望.即,本結(jié)果由俄國數(shù)學

7、家切比雪夫于1866年證明，是關于大數(shù)定律的普遍結(jié)果，許多大數(shù)定律的古典結(jié)果都是它的特例。,推論1 設 是獨立同分布的隨機變量序列，且 則對任意0，有 .,推論1使我們關于算術平均值的法則有了理論上的依據(jù)。如 我們要測量某段距離，在相同條件下重復進行n次，得n個 測量值 ，它們可以看成是n個相互獨立的隨機 變量,具有相同的分布、相同的數(shù)學期望和方差 ， 由推論1的大數(shù)定律知，只要n充分大，則以接近于1的概率 保證 這便是在n較大情況下反映出的客觀規(guī)律,故稱為“大數(shù)”定 律。 比推論1條件更寬的一個大數(shù)定律是辛欽（Khintchine） 大數(shù)定律,它不需要推論1條件中“方差 存在”的限制， 而在

8、其它條件不變的情況下，仍有切比雪夫式的結(jié)論。,辛欽大數(shù)定律-推論2,推論2（貝努利大數(shù)定律）設事件A發(fā)生的概率為p，在n重 貝努利試驗中A發(fā)生的頻率為 ，則對任意的0，有 , 即， . 這是歷史上最早的大數(shù)定律，是貝努利在1713年建立 的。概率論的研究到現(xiàn)在約有300多年的歷史，最終以事件 的頻率穩(wěn)定值來定義其概率。作為概率這門學科的基礎， 其“定義”的合理性這一懸而未決的帶根本性的問題,由貝努 利于1713年發(fā)表的這個“大數(shù)定律”給予了解決，被稱為概 率論的第一篇論文,為概率論的公理化體系奠定了理論基礎。 之所以被成為“定律”,是這一規(guī)律表述了一種全人類多年的 集體經(jīng)驗.因此，對爾后的類似

9、定理統(tǒng)稱為大數(shù)“定律”。,5.3 中心極限定理,人們已經(jīng)知道，在自然界和生產(chǎn)實踐中遇到的大量隨機 變量都服從或近似服從正態(tài)分布，正因如此，正態(tài)分布占有 特別重要的地位。那么，如何判斷一個隨機變量服從正態(tài)分 布顯得尤為重要。如經(jīng)過長期的觀測，人們已經(jīng)知道，很多 工程測量中產(chǎn)生的誤差X都是服從正態(tài)分布的隨機變量。分 析起來，造成誤差的原因有儀器偏差X1、大氣折射偏差X2, 溫度變化偏差X3、估讀誤差造成的偏差X4等等，這些偏差Xi 對總誤差 的影響都很微小，沒有一個起到特別突 出的影響，雖然每個Xi的分布并不知道，但 卻服從正態(tài)分布。類似的例子不勝枚舉。 設 為一隨機變量序列，其標準化隨機變量,在

10、什么條件下， , 這是十八世紀以來概率論 研究的中心課題，因而，從二十世紀二十年代開始，習慣上把 研究隨機變量和的分布收斂到正態(tài)分布的這類定理稱為中心極 限定理（Central Limit Theorems）。這里僅介紹獨立同分 布場合下的中心極限定理。,5.2 中心極限定理,定理1 獨立同分布的中心極限定理,則對于任意實數(shù) x ,本定理的證明在20世紀20年代由林德伯格和萊維給出， 因證明較復雜，在此從略。 由定理5.2可知，當n充分大時， ， (5-8) 從而，,注：,即 n 足夠大時，Y n 的分布函數(shù)近似于標準正態(tài) 隨機變量的分布函數(shù),記,近似,近似服從,定理2 李雅普諾夫(Liapu

11、nov)定理,獨立，且有有限的期望和方差：,記,若,則對于任意實數(shù) x ,定理3 德莫佛 拉普拉斯中心極限定理 （DeMoivre-Laplace ）,設 Y n B( n , p) , 0 p 1, n = 1,2,則對任一實數(shù) x，有,即對任意的 a b,Y n N (np , np(1-p) (近似),正態(tài)分布的概率密度的圖形,二項分布的隨機變量可看作許多相互獨立的0-1分布的隨機變量之和, 下面是當x-B(20,0.5)時, x的概率分布圖,普阿松分布相當于二項分布中p很小n很大的分布, 因此, 參數(shù)l=np當很大時也相當于n特別大, 這個時候普阿松分布也近似服從正態(tài)分布, 下面是l=

12、30時的普阿松概率分布圖.,例1 設有一大批種子，其中良種占1/6. 試估計 在任選的6000粒種子中，良種所占比例與 1/6比較上下不超過1%的概率.,解 設 X 表示6000粒種子中的良種數(shù) , 則,X B(6000,1/6),比較幾個近似計算的結(jié)果,用中心極限定理,用二項分布(精確結(jié)果),用Poisson 分布,用Chebyshev 不等式,例2 某車間有200臺車床，每臺獨立工作，開工 率為0.6. 開工時每臺耗電量為 r 千瓦. 問供 電所至少要供給這個車間多少電力, 才能以 99.9% 的概率保證這個車間不會因供電不足 而影響生產(chǎn)？,解 設至少要供給這個車間 a 千瓦的電力,設 X

13、 為200 臺車床的開工數(shù).,X B(200,0.6) ,問題轉(zhuǎn)化為求 a , 使,X N (120, 48) (近似),由于將 X 近似地看成正態(tài)分布，故,反查標準正態(tài)函數(shù)分布表，得,令,例3 檢查員逐個地檢查某種產(chǎn)品, 每檢查一只 產(chǎn)品需要用10秒鐘 . 但有的產(chǎn)品需重復檢 查一次，再用去10秒鐘. 假設產(chǎn)品需要重 復檢查的概率為 0.5, 求檢驗員在 8 小時內(nèi) 檢查的產(chǎn)品多于1900個的概率.,解 檢驗員在 8 小時內(nèi)檢查的產(chǎn)品多于1900個 即檢查1900個產(chǎn)品所用的時間小于 8 小時.,設 X 為檢查1900 個產(chǎn)品所用的時間(單位： 秒),設 Xk 為檢查第 k 個產(chǎn)品所用的時間

14、(單位：秒), k = 1,2,1900,0.5 0.5,相互獨立,且同分布,解法二, 1900個產(chǎn)品中需重復檢查的個數(shù),例4 對敵人的防御工事用炮火進行 100 次轟擊, 設每次轟擊命中的炮彈數(shù)服從同一分布, 其 數(shù)學期望為 2, 均方差為 1.5 . 如果各次轟擊 命中的炮彈數(shù)是相互獨立的, 求100 次轟擊 (1) 至少命中180發(fā)炮彈的概率; (2) 命中的炮彈數(shù)不到200發(fā)的概率.,解 設 X k 表示第 k 次轟擊命中的炮彈數(shù),相互獨立，,設 X 表示100次轟擊命中的炮彈數(shù), 則,(1),(2),例5 售報員在報攤上賣報, 已知每個過路人在 報攤上買報的概率為1/3. 令X 是出售了100份 報時過路人的數(shù)目，求 P (280 X 320).,解 令Xi 為售出了第 i 1 份報紙后到售出第