大數(shù)定律與中心極限定理

遼寧石油化工大學 概率論與數(shù)理統(tǒng)計教案 1 第五章 大數(shù)定律及中心極限定理 【 基本要求 】 1、了解切比雪夫不等式； 2、了解切比雪夫大數(shù)定律， Bernoulli 大數(shù)定律和辛欽大數(shù)定律成立的條件及結(jié)論； 3、了解獨立同分布的中心極限定理（列維 林德伯格定理）和德莫佛 拉普拉斯中心極限定理（二項分布以正態(tài)分布為極限分布）的應用條件和結(jié)論，并會用相關(guān)定理近似計算有關(guān)隨機事件的概率。 【 本章重點 】 切比雪夫不等式，切比雪夫大數(shù)定理及 Bernoulli 大數(shù)定理。 【 本章難點 】 對切比雪夫大數(shù)定理及獨立同分布的中心極限定理的理解。 【 學時分配 】 2 學時 【 授課內(nèi)容 】 5.1 大數(shù)定律 0.前言 在第一章我們提到過事件發(fā)生的頻率具有穩(wěn)定性，即隨著試驗次數(shù)的增加，事件發(fā)生的頻率逐漸穩(wěn)定于某個常數(shù)，這一事實顯示了可以用一個數(shù)來表征事件發(fā)生的可能性大小，這使人們認識到概率是客觀存在的，進而由頻率的三條性質(zhì)的啟發(fā)和抽象給出了概率的定義，而頻率的穩(wěn)定性是概率定義的客觀基礎(chǔ)。在實踐中人們還認識到大量測量值的算術(shù)平均值也具有穩(wěn)定性，而這種穩(wěn)定性就是本節(jié)所要討論的大數(shù)定律的客觀背景，而這些理論正是概率論的理論基礎(chǔ)。 下面介紹三個定理，它們分別反映了算術(shù)平均值及頻率的穩(wěn)定性。 一、切比 雪夫大數(shù)定律 遼寧石油化工大學 概率論與數(shù)理統(tǒng)計教案 2 事 件 的 頻 率 穩(wěn) 定 于 概 率 ， 能 否 有 pnlim nn ， 答 案 是 否 定 的 。 而 是 用)(0 npnP n 依概率收斂 來刻劃（弱）?；蛘哂?1nnPpn a.e.收斂 來刻劃（強）。 1.定義： 設(shè) ,21 nXXX是一個隨機變量序列， a 是一個常數(shù)，若對于任意正數(shù) ，有 1lim aXP nn ， 則稱序列 ,21 nXXX依概率收斂于 a .記為 aX Pn . 2切比雪夫不等式 設(shè)隨機變量 具有有限的期望與方差，則對 0 ，有 2)()( DEP 或2)(1)( DEP 證明：我們就連續(xù)性隨機變量的情況來證明。設(shè) ( )px ，則有 22( ) ( )( ( ) )( ( ) ) ( ) ( )x E x ExEP E p x d x p x d x 2221 ( )( ( ) ) ( ) Dx E p x d x 該不等式表明：當 )(D 很小時， )( EP 也很小，即 的取值偏離 )(E 的可能性很小。這再次說明方差是描述 取值分散程度的一個量。 切比雪夫不等式常用來求在隨機變量分布未知，只知其期望 和方差的情況下，事件E 概率的下限估計；同時，在理論上切比雪夫不等式常作為其它定理證明的工具。 3定理 1（切比雪夫大數(shù)定律） 設(shè) n是相互獨立的隨機變量序列，每一隨機變量都有有限的方差，且一致有界，即存在常數(shù) C ，使 ,2,1)( iCDi，則對任意的 0 ，有 0111 1 )(EnnPlim nini iin即遼寧石油化工大學 概率論與數(shù)理統(tǒng)計教案 3 1111 ( ) ( )nnpiiiiEnnn 證明：由切比雪夫不等式知： ,0 有： )(0)1(1)(110 222221121 1 nn Cn nCnDnDEnnPniiniininiii 該定理表明：當 n 很大時，隨機變量n ,1 的算術(shù)平均值11 niin 接近于其數(shù)學期望11()niiE n ，這種接近是在概率意義下的接近。通俗的說，在定理的條件下， n 個相互獨立的隨機變量算術(shù)平均值，在 n 無限增加時將幾乎變成一個常數(shù)。 推 論 ： 設(shè)n ,1 是 相 互 獨 立 的 隨 機 變 量 ， 由 相 同 的 數(shù) 學 期 望 和 方 差,2,1)(,)( 2 iDE ii ，則 ,0 有 01lim1ni in nP （即 ni in 11 以概率收斂于 ） 這個結(jié)論有很實際的意義：人們在進行精密測量時，為了減少隨機誤差，往往重復測量多次，測得若干實測值n ,1 ，然后用其平均值 ni in 11 來代替 。 切比雪夫大數(shù)定律是最基本的大數(shù)定理，作為切比雪夫大數(shù)定律的特殊情形有 Bernoulli 大數(shù)定理和辛欽大數(shù)定律。 二、 Bernoulli 大數(shù)定律 定理 2：設(shè)n是 n 重 Bernoulli 試驗中事件 A 出現(xiàn)的次數(shù)，而 )10( pp 是事件 A 在每次試驗中出現(xiàn)的概率，則對 0 ， 0lim pnP nn 證明：令不出現(xiàn)次試驗中第出現(xiàn)次試驗中第AiAii 01 ， ni ,1,2, 遼寧石油化工大學 概率論與數(shù)理統(tǒng)計教案 4 則12, , , n 相互獨立且nn ni in 11 ， PE i )( ，11()niiEpn ，41)1()( PPD i，ni ,1,2, 故由切比雪夫大數(shù)定律立刻推出貝努里大數(shù)定律。 或者，直接由切比雪夫不等式，對 0 ，有 ni ini in nEnPPnP11110 0111 212 n)p(pnDni i )( n 即 Pnpn )( n 。故 i 服從大數(shù)定律。 Bernoulli 大數(shù)定律表表明：事件發(fā)生的頻率 nn依概率收斂于事件的概率 p ，這個定理以嚴格的數(shù)學形式表達了頻率的穩(wěn)定性。就是說當 n 很大時 ，事件發(fā)生的頻率于概率有較大偏差的可能性很小。由實際推斷原理，在實際應用中，當試驗次數(shù)很大時，便可以用事件發(fā)生的頻率來代替事件的概率。 切比雪夫大數(shù)定律（定理 1）中要求隨機變量12, , , ,n 的方差存在，但在這些隨機變量服從相同分布的場合，并不需要這一要求，從而我們有以下的定理： 三、辛欽大數(shù)定律 定理 3： 設(shè)隨機變量n ,1 獨立同分布，且具有數(shù)學期望 ( ) , 1 , 2 ,iEi，則 ,0 有 01lim1ni in nP （即 ni in 11 以概率收斂于 ） 證明：略。 顯然， Bernoulli 大數(shù)定律是辛欽大數(shù)定律的特殊情況。 遼寧石油化工大學 概率論與數(shù)理統(tǒng)計教案 5 5.2 中心極限定理 0.前言 在客觀實際中有許多隨機變量，它們是由大量的相互獨立的隨機因素的綜合影響所形成的，而其中每一個因素在總的影響中所起的作用都是微小的，這種隨機變量是近似地服從正態(tài)分布，這種現(xiàn)象就是中心極限定理的客觀背景。 中心極限定理的 內(nèi)容包含極限，因而稱它為極限定理是很自然的，又由于它在統(tǒng)計中的重要性，稱它為中心極限定理這是 Poyla 在 1920 年取得名字。 設(shè) n是相互獨立的隨機變量序列，它們的期望與方差均存在，考慮)()(111niiniiniinDE（標準化和） 2,1n ，這時對于任意的 n 都有 1,0 nn DE，因而當 n 時，n不至于發(fā)生趨向于 0 或 這種情形，這時討論它的分布才有意義。下面研究n的分布： 中心極限定理有多種不同的形式，下面我主要講 獨立同分布 的中心極限定理及其一特殊情形： 一、定理 1:(Levy-Lindeberg 極限定理 )獨立同分布的中心極限定理 設(shè) n是獨立同分布的隨機變量序列，且 2, ii DE（ 0 ）， ,2,1i ，均存在，則 Rx ，有 )(21lim 212xdtexnnPx tniin 證：（略） 該定理也可改寫為：對 ba ，有 )()(lim 1 abbnnaPniin 遼寧石油化工大學 概率論與數(shù)理統(tǒng)計教案 6 在一般情況下，很難求出 n 個隨機變量之和1nii 的分布函數(shù)，該定理表明：當 n 充分大時，可以通過 ()x 給出其近似分布，這樣就可以利用正態(tài)分布對1nii 作理論分析或作實際計算，其好處是明顯的。 二、定理 2（ De Moivre-Laplace 極限定理） (定理 1 的特殊情形 ) 設(shè) ( 1 , 2 , )n n 是 n 重 Bernoulli 試驗中成功的次數(shù)，已知每次試驗成功的概率為 10 pp ，則對 ,Rx 有 221l i m 2xnntnpP x d t xn p q e 。 該定理也可改寫為： ba ，有 l i m nn npP a b b an p q 證明： 令次試驗不出現(xiàn)成功第次試驗出現(xiàn)成功第iii 01 則 i 為獨立同分布的隨機變量序列 ,且 , (1 )iiE p D p p 均存在 顯然：1nnii ，此時nn npnpq 該定理為上定理的一個特殊情形，故由上定理該定理得證。 中心極限定理表明：在相當一般的條件下，當獨立隨機變量 的個數(shù)增加時，其和的分布趨于正態(tài)分布。因此，只要和式中加項的個數(shù)充分大，就可以不必考慮和式中的隨機變量服從什么分布，都可以用正態(tài)分布來近似，這在應用上是有效的和重要的。 作為以上兩個定理的應用，我們給出下面例子： 例 1：一加法器同時收到 20 個噪聲電壓 )20,2,1( kVk ，設(shè)它們是相互獨立的隨機變量，且都在區(qū)間（ 0， 10）上服從均勻分布。記 201k kVV ，求 )105( VP 的近似值。 解： )20,2,1(121 0 0)(,5)( kVDVEkk，由定理 1，得 )105( VP )20)1210(52010520)1210(520( VP 遼寧石油化工大學 概率論與數(shù)理統(tǒng)計教案 7 )3 8 7.020)1210(1 0 0( VP )3 8 7.020)1210(1 0 0(1 VP )387.0(1 348.0 即有 )105( VP 348.0 例 2:一船舶在某海區(qū)航行，已知每遭受一次波浪的沖擊，縱搖角大于 3 的概率為 31p ，若船舶遭受了 90000 次波浪沖擊，問其中有 3050029500 次縱搖角大于 3 的概率是多少？ 解：設(shè) 3 縱搖角大于A ，