概率論數(shù)理統(tǒng)計(jì)課件第14講極限定理

1、 概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)第十四講第十四講 概率論與數(shù)理統(tǒng)計(jì)是概率論與數(shù)理統(tǒng)計(jì)是研究隨機(jī)現(xiàn)象統(tǒng)計(jì)研究隨機(jī)現(xiàn)象統(tǒng)計(jì)規(guī)律性的學(xué)科。規(guī)律性的學(xué)科。 所以，要從隨機(jī)現(xiàn)象中去尋求統(tǒng)計(jì)規(guī)律所以，要從隨機(jī)現(xiàn)象中去尋求統(tǒng)計(jì)規(guī)律,就應(yīng)該對(duì)隨機(jī)現(xiàn)象進(jìn)行就應(yīng)該對(duì)隨機(jī)現(xiàn)象進(jìn)行大量的觀測(cè)。大量的觀測(cè)。第五章第五章 極限定理極限定理 隨機(jī)現(xiàn)象的統(tǒng)計(jì)規(guī)律性只有隨機(jī)現(xiàn)象的統(tǒng)計(jì)規(guī)律性只有在相同條件下進(jìn)行在相同條件下進(jìn)行大量的重復(fù)試驗(yàn)大量的重復(fù)試驗(yàn)才能呈現(xiàn)才能呈現(xiàn)出來。出來。 研究隨機(jī)現(xiàn)象的大量觀測(cè)，研究隨機(jī)現(xiàn)象的大量觀測(cè)， 常采用極常采用極限形式，由此導(dǎo)致了極限定理的研究。限形式，由此導(dǎo)致了極限定理的研究。 極極限定理

2、的內(nèi)容很廣泛限定理的內(nèi)容很廣泛, 最重要的有兩種最重要的有兩種: “大數(shù)定律大數(shù)定律”和和“中心極限定理中心極限定理”。 對(duì)隨機(jī)現(xiàn)象進(jìn)行大量重復(fù)觀測(cè)，對(duì)隨機(jī)現(xiàn)象進(jìn)行大量重復(fù)觀測(cè)，各種結(jié)各種結(jié)果的出現(xiàn)頻率果的出現(xiàn)頻率具有穩(wěn)定性具有穩(wěn)定性。 5.1 大數(shù)定律大數(shù)定律大量地?cái)S硬幣大量地?cái)S硬幣正面出現(xiàn)頻率正面出現(xiàn)頻率字母使用頻率字母使用頻率生產(chǎn)過程生產(chǎn)過程中廢品率中廢品率5.1.1 切比雪夫不等式切比雪夫不等式 定理定理1: 設(shè)隨機(jī)變量設(shè)隨機(jī)變量X有期望有期望和方差和方差2，則對(duì)任給的則對(duì)任給的 0, 有有. | 22XP, 1 22XP或或 證明：證明：只對(duì)只對(duì)X 是連續(xù)型情況加以證明。是連續(xù)型情況

3、加以證明。設(shè)設(shè)X 的概率密度函數(shù)為的概率密度函數(shù)為 f(x)，則有，則有 |d )( | xxxfXP放大被積函數(shù)放大被積函數(shù) |22d )()( xxxfx放大積分域放大積分域. d )()(1d )()(122 22 22xxfxxxfx5.1.2 大數(shù)定律大數(shù)定律首先引入隨機(jī)變量序列相互獨(dú)立的概念。首先引入隨機(jī)變量序列相互獨(dú)立的概念。 定義定義1：設(shè)設(shè) X1, X2, 是一隨機(jī)變量序列。是一隨機(jī)變量序列。如果對(duì)任意的如果對(duì)任意的 n1， X1, X2, , Xn相互獨(dú)立相互獨(dú)立,則稱則稱X1, X2, 相互獨(dú)立。相互獨(dú)立。 幾個(gè)常見的大數(shù)定律幾個(gè)常見的大數(shù)定律定理定理2 (切比雪夫大數(shù)定

4、律切比雪夫大數(shù)定律): . 1 (1) , 1 lim 1nkknnnXnXXP其中 設(shè)隨機(jī)變量設(shè)隨機(jī)變量序列序列 X1, X2, 相互獨(dú)立，且有相同的期望和相互獨(dú)立，且有相同的期望和方差方差: E(Xi)=, Var(Xi) =2，i=1, 2, 。則對(duì)任意的則對(duì)任意的0，有，有證明：證明：. )(Var1)(Var )(1)(2121nXnXXEnXEnkknnkkn，得到使用切比雪夫不等式，對(duì) nX, 1 2nXPn令 n，并注意到概率小于等于1，得(1)式。定理證畢。 該大數(shù)定律表明：無論正數(shù)該大數(shù)定律表明：無論正數(shù) 怎樣小怎樣小, 只只要要 n充分大，事件充分大，事件 發(fā)生發(fā)生 的概

5、率均可任意地接近于的概率均可任意地接近于 1。) ,(nX 即當(dāng)即當(dāng) n充分大時(shí)，充分大時(shí)， 差不多不再是隨機(jī)差不多不再是隨機(jī)變量，變量， 取值接近于其數(shù)學(xué)期望取值接近于其數(shù)學(xué)期望 的概率接近的概率接近于于 1。nX 在概率論中，將在概率論中，將(1) 式所表示的收斂性稱式所表示的收斂性稱為隨機(jī)變量序列為隨機(jī)變量序列 依概率收斂依概率收斂于于 ，記為 。 , , , ,21nXXX. PnX 下面再給出定理下面再給出定理2的一種特例的一種特例貝努里大數(shù)定律貝努里大數(shù)定律。 設(shè)設(shè)nA 是是 n重貝努里試驗(yàn)中事件重貝努里試驗(yàn)中事件A發(fā)生的頻數(shù)，發(fā)生的頻數(shù)，p是每次試驗(yàn)中是每次試驗(yàn)中A發(fā)發(fā)生的概率。

6、生的概率。.21,生不 次試 第 ,發(fā)生 次試 第 1,n, iAiA iXi發(fā)驗(yàn)驗(yàn)0 引入引入, 1niiAXn則發(fā)生的頻率。次試驗(yàn)中是AnXnnnniiA 11于是于是, 有下面定理。有下面定理。 設(shè)設(shè) nA是是 n 重貝重貝努里試驗(yàn)中事件努里試驗(yàn)中事件A發(fā)生的頻數(shù)，發(fā)生的頻數(shù)， p是是 A 發(fā)生的發(fā)生的概率，對(duì)任給的概率，對(duì)任給的 0，有，有 定理定理3 (貝努里大數(shù)定律貝努里大數(shù)定律): ，1 limpnnPAn或或.0 limpnnPAn 貝努里大數(shù)定律表明：當(dāng)重復(fù)試驗(yàn)次數(shù)貝努里大數(shù)定律表明：當(dāng)重復(fù)試驗(yàn)次數(shù)n充分大時(shí)，事件充分大時(shí)，事件A發(fā)生的頻率發(fā)生的頻率nA / n與事件與事件A

7、發(fā)生的概率發(fā)生的概率 p 有一定偏差的概率很小。有一定偏差的概率很小。 下面給出獨(dú)立同分布條件下的大數(shù)定律下面給出獨(dú)立同分布條件下的大數(shù)定律,它不要求隨機(jī)變量的方差存在它不要求隨機(jī)變量的方差存在。 設(shè)隨機(jī)設(shè)隨機(jī)變量序列變量序列 X1, X2, 獨(dú)立同分布，有獨(dú)立同分布，有有限的數(shù)學(xué)期有限的數(shù)學(xué)期 E(Xi)=, i=1,2,， 則對(duì)任給則對(duì)任給 0 ，有，有 定理定理4 (辛欽大數(shù)定律辛欽大數(shù)定律): .11 lim1niinXnP 中心極限定理是棣莫弗中心極限定理是棣莫弗 (De Moivre) 在在18世紀(jì)首先提出的，到現(xiàn)在內(nèi)容已十分豐富。世紀(jì)首先提出的，到現(xiàn)在內(nèi)容已十分豐富。在這里，我們

8、只介紹其中兩個(gè)最基本的結(jié)論。在這里，我們只介紹其中兩個(gè)最基本的結(jié)論。5.25.2 中心極限定理中心極限定理1. 當(dāng)當(dāng) n 無限增大時(shí)，獨(dú)立同分布隨機(jī)變量之無限增大時(shí)，獨(dú)立同分布隨機(jī)變量之 和的極限分布是正態(tài)分布；和的極限分布是正態(tài)分布；2. 當(dāng)當(dāng) n 很大時(shí)，二項(xiàng)分布可用正態(tài)分布近似。很大時(shí)，二項(xiàng)分布可用正態(tài)分布近似。 由于無窮個(gè)隨機(jī)變量之和可能趨于由于無窮個(gè)隨機(jī)變量之和可能趨于，故我們不研究故我們不研究 n 個(gè)隨機(jī)變量之和本身，而只個(gè)隨機(jī)變量之和本身，而只考慮其標(biāo)準(zhǔn)化的隨機(jī)變量考慮其標(biāo)準(zhǔn)化的隨機(jī)變量nkknknkkknXVarXEXZ111)()(的極限分布。的極限分布。nkknknkkkn

9、XVarXEXZ111)()(的極限分布。的極限分布。 可以證明：可以證明：當(dāng)當(dāng) Xn 滿足一定條件時(shí)滿足一定條件時(shí), Zn的極限分布是標(biāo)準(zhǔn)正態(tài)分布的極限分布是標(biāo)準(zhǔn)正態(tài)分布。 考慮考慮 概率論中，常把隨機(jī)變量之和標(biāo)準(zhǔn)化后概率論中，常把隨機(jī)變量之和標(biāo)準(zhǔn)化后的分布收斂于正態(tài)分布的定理稱為的分布收斂于正態(tài)分布的定理稱為中心極限中心極限定理。定理。中心極限定理的幾種簡(jiǎn)單情形。中心極限定理的幾種簡(jiǎn)單情形。 下面給出獨(dú)立同分布隨機(jī)變量序列和的下面給出獨(dú)立同分布隨機(jī)變量序列和的中心極限定理，稱作中心極限定理，稱作 列維列維林德伯格林德伯格(Levy Lindberg) 定理。定理。， )( dlim -2

10、1221xtexnnXPxt -niin 定理定理1 (列維列維林德伯格定理林德伯格定理)： 設(shè)設(shè) X1, X2, 是獨(dú)立同分布隨機(jī)變量序列，且是獨(dú)立同分布隨機(jī)變量序列，且 E(X1) =, Var(X1)=2，對(duì)任給，對(duì)任給 x (- -, ), 均均有有其中其中 (x) 是標(biāo)準(zhǔn)正態(tài)分布是標(biāo)準(zhǔn)正態(tài)分布 N(0, 1) 的分布函的分布函數(shù)。數(shù)。還有另一記法還有另一記法: delim-2t -1221xniintxnnXP有，記 1 1nkknXnX. de/ lim2221x-t -nntxnXP 定理定理2 ( (棣莫佛棣莫佛拉普拉斯定理拉普拉斯定理):):).( d21)1 (lim2/2

11、xtexpnpnpYPxtnn 定理定理 2 表明表明: 當(dāng)當(dāng) n 很大很大時(shí)，二項(xiàng)分布時(shí)，二項(xiàng)分布 Yn 標(biāo)標(biāo)準(zhǔn)化后的分布近似于標(biāo)準(zhǔn)正態(tài)分布準(zhǔn)化后的分布近似于標(biāo)準(zhǔn)正態(tài)分布 N(0, 1) 。設(shè)隨機(jī)變量設(shè)隨機(jī)變量 Yn 服從參數(shù)為服從參數(shù)為 (n, p) 的二項(xiàng)分布的二項(xiàng)分布(0p0，有，有貝努里大數(shù)定律是切比雪夫大數(shù)定律的特例貝努里大數(shù)定律是切比雪夫大數(shù)定律的特例:設(shè)設(shè) nA是是 n 重貝努里試驗(yàn)中事件重貝努里試驗(yàn)中事件A發(fā)生的頻數(shù)發(fā)生的頻數(shù), p 是是 A 發(fā)生的概率，對(duì)任給的發(fā)生的概率，對(duì)任給的 0，有，有； 1 limpnnPAn辛欽大數(shù)定律條件較寬：辛欽大數(shù)定律條件較寬： 設(shè)隨機(jī)變量序列設(shè)隨機(jī)變量序列 X1, X2, 獨(dú)立同分布，有有限的數(shù)學(xué)期獨(dú)立同分布，有有限的數(shù)學(xué)期E(Xi)=, i=1,2,，則對(duì)任給，則對(duì)任給 0 ，有，有.11 lim1niinXnP 其后介紹了兩個(gè)中心極限定理其后介紹了兩個(gè)中心極限定理: 列維列維林德伯格定理林