CH5-2概率論基礎(chǔ)

1、第第5 5章章 極限定理極限定理15.2 收斂性收斂性一、分布函數(shù)弱收斂一、分布函數(shù)弱收斂二、連續(xù)性定理二、連續(xù)性定理三、隨機(jī)變量的收斂性三、隨機(jī)變量的收斂性四、波赫納爾辛欽定理四、波赫納爾辛欽定理*5.2 收斂性收斂性2一、分布函數(shù)弱收斂一、分布函數(shù)弱收斂問題的引入問題的引入由棣莫弗拉普拉斯積分極限定理可知由棣莫弗拉普拉斯積分極限定理可知( )( )nnnpFxPxxnpq 即即( )( )nFxx 此時(shí)分布函數(shù)列收斂于某一分布函數(shù)此時(shí)分布函數(shù)列收斂于某一分布函數(shù),以下討論一以下討論一般情形下分布函數(shù)列收斂的相關(guān)定義般情形下分布函數(shù)列收斂的相關(guān)定義.5.2 收斂性收斂性3 ( ),( )nF

2、xF x對(duì)對(duì)于于分分布布函函數(shù)數(shù)列列如如果果存存在在一一個(gè)個(gè)非非降降函函數(shù)數(shù)使使義義得得定定1 1lim( )( )nnFxF x( )( )( )nF xFxF x在在的的每每一一斂斂連連續(xù)續(xù)點(diǎn)點(diǎn)都都成成立立，則則稱稱于于，簡簡記記為為弱弱收收( )( )WnFxF x 5.2 收斂性收斂性4 10,0,0( )( )11,01,nxxnFxF xxxn 設(shè)設(shè) 例例1 11( )1nFxPn 顯顯然然是是退退化化分分布布的的分分布布函函數(shù)數(shù)，此例說明弱收斂定義在分布函數(shù)的連續(xù)點(diǎn)上的必要性此例說明弱收斂定義在分布函數(shù)的連續(xù)點(diǎn)上的必要性.( )0,0( )( ).nF xxxFxF x的的連連續(xù)

3、續(xù)點(diǎn)點(diǎn)為為顯顯然然時(shí)時(shí)( )01F xP 而而是是退退化化分分布布的的分分布布函函數(shù)數(shù). .0(0)1(0)0.nxFF而而時(shí)時(shí)，5.2 收斂性收斂性5 20,( )1,nxnFxxn 例例設(shè)設(shè)lim( )0( )0nnFxxF x顯顯然然，對(duì)對(duì)一一切切 都都成成立立, ,但但不不是是分分布布函函數(shù)數(shù). . 此例說明分布函數(shù)列弱收斂于某一個(gè)非降函數(shù)此例說明分布函數(shù)列弱收斂于某一個(gè)非降函數(shù),此此非降函數(shù)不一定仍是分布函數(shù)非降函數(shù)不一定仍是分布函數(shù). 因而需要更多的條件因而需要更多的條件約束約束, 才可以使得分布函數(shù)列收斂于分布函數(shù)才可以使得分布函數(shù)列收斂于分布函數(shù).5.2 收斂性收斂性6 1(

4、)( )( ),( )nnFxxDRDFxF xF xx設(shè)設(shè)是是實(shí)實(shí)數(shù)數(shù)變變量量 的的非非降降函函數(shù)數(shù)列列, , 是是 上上的的稠稠密密集集. .若若對(duì)對(duì)于于 中中所所有有點(diǎn)點(diǎn), ,序序列列收收斂斂于于則則對(duì)對(duì)的的一一切切連連續(xù)續(xù)點(diǎn)點(diǎn) 有有引引理理1 1 lim( )( ).nnFxF x5.2 收斂性收斂性7,xxD xDxxx證證 設(shè)設(shè) 是是任任意意點(diǎn)點(diǎn)，選選擇擇使使得得由由非非降降性性可可知知明明()( )()nnnFxFxFx因此因此()lim( )lim( )()nnnnF xFxFxF x1DR因因?yàn)闉?在在上上是是稠稠密密的的，故故(0)lim( )lim( )(0)nnnnF

5、xFxFxF x ( ), lim( )( ).nnF xxFxF x所所以以對(duì)對(duì)于于的的連連續(xù)續(xù)點(diǎn)點(diǎn)5.2 收斂性收斂性8( )( )( ).knnFxFxeFh llxy 任任一一一一致致有有界界的的非非降降函函數(shù)數(shù)列列中中必必有有一一個(gè)個(gè)子子序序列列弱弱收收斂斂于于某某一一有有界界的的非非降降函函數(shù)數(shù)（海海萊萊第第一一定定理理）定定理理1 11R,D證證 任任取取上上的的一一個(gè)個(gè)處處處處稠稠密密的的可可數(shù)數(shù)點(diǎn)點(diǎn)集集明明12,mr rr下下面面取取有有理理數(shù)數(shù)全全體體, ,并并排排列列為為111,1( ),( )( ),nnF rG rFr對(duì)對(duì)于于序序列列這這是是一一個(gè)個(gè)有有界界的的實(shí)實(shí)數(shù)

6、數(shù)序序列列 故故必必包包含含一一收收斂斂于于某某極極限限的的子子序序列列即即1,11lim( )( )nnFrG r5.2 收斂性收斂性91,22,22( ),( )( ).,nnFrFrG r 現(xiàn)現(xiàn)在在考考慮慮序序列列同同樣樣由由于于有有界界性性 在在其其中中存存在在子子序序列列收收斂斂于于某某一一值值這這時(shí)時(shí) 同同時(shí)時(shí)成成立立著著 2,112,22lim( )( ),lim( )( ),nnnnFrG rFrG r,( ),m nFx繼繼續(xù)續(xù)這這樣樣做做 可可以以得得到到序序列列使使得得下下式式成成立立 ,lim()(),1,2,m nkknFrG rkm5.2 收斂性收斂性10 ,( )

7、nFx這這樣樣 我我們們得得到到了了的的如如下下子子序序列列 , 1,11,21,31,( ),( ),( ),( ),nFxFxFxFx , 2,12,22,32,( ),( ),( ),( ),nFxFxFxFx , ,1,2,3,( ),( ),( ),( ),mmmm nFxFxFxFx ,:lim()(),1,2,.m nkknFrG rkm這這里里每每一一行行都都是是前前一一行行的的子子序序列列 而而且且它它們們都都具具有有性性質(zhì)質(zhì)5.2 收斂性收斂性11 ,1,11( )( ),( ),lim( )( )n nn nnn nnFxFxFxFrG r 選選取取這這個(gè)個(gè)陣陣列列的的對(duì)

8、對(duì)角角線線元元素素構(gòu)構(gòu)成成新新序序列列由由于于它它是是從從分分出出來來的的 故故2,( ),nFx 其其次次, ,除除第第一一項(xiàng)項(xiàng)外外, ,它它是是由由分分出出來來 故故 ,22lim( )( )n nnFrG r ,lim()().n nkknkFrG r 一一般般地地, ,對(duì)對(duì)任任何何固固定定的的皆皆有有r 因因此此對(duì)對(duì)一一切切有有理理數(shù)數(shù) ,lim( )( )n nnFrG r5.2 收斂性收斂性12( ),G r這這里里的的是是定定義義在在有有理理數(shù)數(shù)上上的的函函數(shù)數(shù) 它它也也是是有有界界和和非非降降的的. .1,xR 對(duì)對(duì)一一切切定定義義( )sup()kkrxF xG r( ),.

9、G x這這個(gè)個(gè)函函數(shù)數(shù)在在一一切切有有理理數(shù)數(shù)上上與與相相等等 它它顯顯然然也也是是有有界界和和非非降降的的由引理由引理1可知可知 ,lim( )( )n nnFxF x ( ).F x對(duì)對(duì)的的一一切切連連續(xù)續(xù)點(diǎn)點(diǎn)成成立立這這種種證證明明方方法法為為對(duì)對(duì)線線角角法法5.2 收斂性收斂性13( ) , ,( ) , ( ),( )nf xa bFxa bF xahellF xyb 設(shè)設(shè)是是上上的的連連續(xù)續(xù)函函數(shù)數(shù) 又又是是在在上上弱弱收收斂斂于于函函數(shù)數(shù)的的一一致致有有界界非非降降序序列列 且且 和和 是是（海海的的連連續(xù)續(xù)點(diǎn)點(diǎn), ,則則萊萊第第二二定定理理）定定理理2 2lim( )d( )(

10、 )d( )bbnaanf xFxf xF x( )0,f x 證證 由由函函數(shù)數(shù)的的連連續(xù)續(xù)性性可可知知, ,對(duì)對(duì)任任意意的的 明 明0112, , ,a bxxxx總總可可以以找找到到一一種種分分割割 把把區(qū)區(qū)間間分分為為111,(,),|( )()|,NNNNiiixxaxbxNxx xf xf x 其其中中等等個(gè)個(gè)小小區(qū)區(qū)間間 使使得得時(shí)時(shí)利利用用此此結(jié)結(jié)論論 引引入入輔輔5.2 收斂性收斂性14( ),fx 助助函函數(shù)數(shù)使使得得 1( )(),1,2,1( )(),1,2,kkkkkfxf xxxxkNfxf xxxkN 當(dāng)當(dāng)當(dāng)當(dāng),axb顯顯然然當(dāng)當(dāng)時(shí)時(shí)|( )( )|f xfx 1

11、210 , ,( ),( )( ),-1,NnNa bxxxF xFxF xnNxx 在在分分割割區(qū)區(qū)間間時(shí)時(shí) 選選取取分分點(diǎn)點(diǎn)為為函函數(shù)數(shù)的的連連續(xù)續(xù)點(diǎn)點(diǎn)由由定定理理?xiàng)l條件件可可知知, ,弱弱收收斂斂于于因因而而當(dāng)當(dāng) 充充分分大大時(shí)時(shí), ,在在此此個(gè)個(gè)分分點(diǎn)點(diǎn)以以及及上上下下面面不不等等式式成成立立|()()|knkF xFxMN 5.2 收斂性收斂性15|( )|Mf xaxb其其中中是是在在區(qū)區(qū)間間中中的的最最大大值值由積分性質(zhì)可知由積分性質(zhì)可知|( )d( )( )d( )|( )d( )( )d( )( )d( )( )d( )( )d( )( )d( )|bbnaabbbaaabb

12、bnnnaaaf xF xf xFxf xF xfxF xfxF xfxFxfxFxf xFx|( )d( )( )d( )|( )d( )( )d( )|( )d( )( )d( )|bbbaaabbbnnnaaaf xF xfxF xfxF xfxFxfxFxf xFx 5.2 收斂性收斂性16又因?yàn)橛忠驗(yàn)閨( )d( )( )d( )|( ( )( )d( )|( )( )bbaabaf xF xfxF xf xfxF xF bF a 同理同理|( )d( )( )d( )|( )( )bbnnnnaaf xFxfxFxF bF a 而而|( )d( )( )d( )|bbnaafxF

13、xfxFx 5.2 收斂性收斂性17111100|()()()()()()NNkkkknknkkkf xF xF xf xF xF x111100|()()()()()()NNkknkkknkkkf xF xFxf xF xFx()2N MMMNMN 綜上所述綜上所述|( )d( )( )d( )|( )( )( )( )2bbnaannf xF xf xFxF bF aF bF a ( ),nFx 由由于于的的一一致致有有界界性性 因因而而上上式式右右邊邊可可以以任任意意小小, ,所所以以定定理理成成立立5.2 收斂性收斂性18( )(,),( )(,)( ),nf xFhellyxF x設(shè)

14、設(shè)是是的的上上有有界界連連續(xù)續(xù)函函數(shù)數(shù) 又又是是在在上上弱弱收收斂斂于于函函數(shù)數(shù)（拓拓廣廣的的海海萊萊第第二二定定理理）的的一一致致有有界界非非降降序序列列 且且 定定理理3 3 lim()(), lim()(),nnnnFFFF 則則lim( )d( )( )d( )nnf xFxf xF x證明證明 設(shè)設(shè)A0, 令令1|( )d( )( )d( )|AAnJf xFxf xF x5.2 收斂性收斂性192|( )d( )( )d( )|BBnAAJf xFxf xF x3|( )d( )( )d( )|nBBJf xFxf xF x顯然顯然123|( )d( )( )d( )|nf xFx

15、f xF xJJJ13( ),0,|( )|,( ),( ),nf xMf xMFxABABF xnJJ 由由于于是是有有界界的的 存存在在常常數(shù)數(shù)使使又又由由于于序序列列的的一一致致有有界界性性 只只要要 與與 的的絕絕對(duì)對(duì)值值充充分分大大, ,并并使使 和和 是是的的連連續(xù)續(xù)點(diǎn)點(diǎn) 而而 也也取取得得充充分分大大則則可可使使小小到到預(yù)預(yù)先先給給定定的的程程度度, ,也也就就是是5.2 收斂性收斂性201( )()( )()nnJM FAFF AF 3( )()( )()nnJM FF BFF B 而由題設(shè)條件可知而由題設(shè)條件可知 lim( )( ), lim( )( ),nnnnFAF AF

16、 BF B lim()(), lim()(),nnnnFFFF 132,2,.JJnJ因因而而可可以以任任意意小小 再再結(jié)結(jié)合合定定理理只只要要 充充分分大大, ,也也可可以以使使得得任任意意小小 由由此此可可以以得得到到定定理理成成立立5.2 收斂性收斂性21二、連續(xù)性定理二、連續(xù)性定理( )( ),( )( ),nnFxF xfxf tt設(shè)設(shè)分分布布函函數(shù)數(shù)列列弱弱收收斂斂于于某某一一分分布布函函數(shù)數(shù)則則相相應(yīng)應(yīng)的的特特（征征函函數(shù)數(shù)列列收收斂斂于于特特征征函函數(shù)數(shù)且且在在 的的任任一一有有限限區(qū)區(qū)正正極極限限定定理理間間內(nèi)內(nèi)致致）收收斂斂是是一一的的. .定定理理4 4證明證明ietxx

17、 函函數(shù)數(shù)在在上上有有界界連連續(xù)續(xù), ,而而di( )e( )txnnftFxdi( )e( )txf tF xn 因因此此由由拓拓廣廣的的海海萊萊第第二二定定理理可可知知當(dāng)當(dāng)時(shí)時(shí), ,有有( )( )nftf t,t對(duì)對(duì)于于在在 的的每每一一個(gè)個(gè)有有限限區(qū)區(qū)間間內(nèi)內(nèi)收收斂斂的的一一致致性性 由由拓拓廣廣的的海海萊萊第第二二定定理理的的證證明明就就可可以以得得到到. .5.2 收斂性收斂性22( )( )( )0( )( ),( )( )nnfxf tf ttFxF xf tF x設(shè)設(shè)特特征征函函數(shù)數(shù)列列收收斂斂于于某某一一函函數(shù)數(shù)，且且在在連連續(xù)續(xù)，則則相相應(yīng)應(yīng)的的分分布布函函數(shù)數(shù)列列弱弱收

18、收斂斂于于某某一一分分布布函函數(shù)數(shù)且且（逆逆是是的的特特征征函函理理）數(shù)數(shù). .極極限限定定定定理理5 55.2 收斂性收斂性23( )( )( )()0,()1,( ).F xF xF xFFF x 弱弱收收斂斂于于某某一一非非降降函函數(shù)數(shù)，且且可可視視為為左左連連續(xù)續(xù)的的. . 極極限限函函數(shù)數(shù)顯顯然然滿滿足足我我們們將將證證明明是是分分布布函函數(shù)數(shù) 否否則則，應(yīng)應(yīng)有有()()1.FF 1-( )(0)1,( )0f tff tt 任任取取一一正正數(shù)數(shù)，因因?yàn)闉槭鞘翘靥卣髡骱瘮?shù)數(shù)列列的的極極限限，因因而而由由于于在在是是連連續(xù)續(xù)的的，故故可可選選取取充充分分小小的的正正數(shù)數(shù) ，使使得得1

19、( )d1222f tt 4XKkK 同同時(shí)時(shí)可可選選取取以以及及 ，使使得得時(shí)時(shí)，( )knFx 證證 由由海海萊萊第第一一定定理理，知知必必存存在在子子序序列列明明5.2 收斂性收斂性24()()4kkknnFXFX ( )knft又又因因?yàn)闉槭鞘翘靥卣髡骱瘮?shù)數(shù)，那那么么di( )ded ( ) kktxnnftttFx顯然顯然ied2txt |xX還還有有，在在時(shí)時(shí)，i22edsintxtxxX 5.2 收斂性收斂性25因此因此d di| |i| |( )ded ( )ed ( )kkktxnnxXtxnxXftttFxtFx 22kX所以所以11( )d22knkfttX ,k 令令

20、由由控控制制收收斂斂定定理理可可知知1( )d22f tt 5.2 收斂性收斂性26它與前面的結(jié)論矛盾它與前面的結(jié)論矛盾,因而假設(shè)因而假設(shè)()()1.FF 錯(cuò)誤錯(cuò)誤. 因而有因而有()1()0.FF ， 所以所以F(x)是分布函數(shù)是分布函數(shù),再由定理再由定理4推知推知f(t)是是F(x)的特的特征函數(shù)征函數(shù).000( )( ).( )()().nnFxF xF xxFxF x 其其次次證證明明也也弱弱收收斂斂于于同同一一分分布布函函數(shù)數(shù)如如其其不不然然，一一定定存存在在的的一一個(gè)個(gè)連連續(xù)續(xù)點(diǎn)點(diǎn)使使得得不不收收斂斂于于5.2 收斂性收斂性27( ).F x也也弱弱收收斂斂于于分分布布函函數(shù)數(shù)00

21、00()()()().knmFxFxFxF x 現(xiàn)現(xiàn)在在從從中中選選取取一一個(gè)個(gè)收收斂斂的的子子序序列列，其其極極限限根根據(jù)據(jù)海海萊萊第第一一00()()( )kklmmFxFxFx定定理理，一一定定可可以以選選取取的的一一個(gè)個(gè)子子序序列列弱弱收收斂斂于于一一個(gè)個(gè)有有界界的的非非降降函函數(shù)數(shù)，0( )( )xF xFx這這個(gè)個(gè)極極限限函函數(shù)數(shù)至至少少在在 點(diǎn)點(diǎn)與與不不相相等等. . 但但重重復(fù)復(fù)前前面面的的結(jié)結(jié)論論可可知知，亦亦應(yīng)應(yīng)是是分分布布函函數(shù)數(shù)，( )( )( ),( )nf tFxF xFx其其對(duì)對(duì)應(yīng)應(yīng)的的特特征征函函數(shù)數(shù)也也是是，由由唯唯一一性性定定理理可可知知，這這就就引引起起矛

22、矛盾盾，因因而而定理證畢定理證畢5.2 收斂性收斂性28三、隨機(jī)變量的收斂性三、隨機(jī)變量的收斂性 ( )( )( )( )( )( )( )( )( )( ).nnWnnLnFxF xFxF x 設(shè)設(shè)隨隨機(jī)機(jī)變變量量、的的分分布布函函數(shù)數(shù)分分別別義義（依依分分布布收收斂斂）依依分分為為以以及及，如如果果則則稱稱，簡簡記記布布斂斂于于為為收收定定2 2( )( )0lim|( )( )|0nnnP 如如果果隨隨機(jī)機(jī)變變量量、對(duì)對(duì)任任意意的的都都滿滿足足 義義（依依概概率率收收斂斂）定定3 3 ( )( )( )( ).nPn 依依概概率率收收斂斂則則稱稱，簡簡記記于于為為 5.2 收斂性收斂性2

23、9利用定義利用定義3, 伯努利大數(shù)定律伯努利大數(shù)定律可以描述為可以描述為.nnApAp 設(shè)設(shè)是是 次次獨(dú)獨(dú)立立試試驗(yàn)驗(yàn)中中事事件件 出出現(xiàn)現(xiàn)的的次次數(shù)數(shù)，而而是是事事件件 每每次次出出現(xiàn)現(xiàn)的的概概率率, ,則則頻頻率率依依概概率率收收斂斂于于概概率率依概率收斂與依分布收斂的關(guān)系：依概率收斂與依分布收斂的關(guān)系：6.PLnn 定定理理Pnpn 5.2 收斂性收斂性30證明證明xx因因?yàn)闉閷?duì)對(duì)有有, ,nnxxxxx ,nnxxx 因而因而()( ),nnF xFxPxx ,n 如如果果依依概概率率收收斂斂于于則則,|0nnPxxPxx因而有因而有()lim( )nnF xFx 6.PLnn 定定理

24、理5.2 收斂性收斂性31,xx同同理理可可證證：對(duì)對(duì)有有 lim( )()nnFxF x,xxx所所以以對(duì)對(duì)任任意意的的有有()lim( )lim( )()nnnnF xFxFxF x( ),xF xx xx如如果果 是是的的連連續(xù)續(xù)點(diǎn)點(diǎn)，則則令令趨趨于于 可可得得( )lim( )nnF xFx定理證畢定理證畢從定理可以看到：從定理可以看到：.PLnn 但定理的逆命題不成立但定理的逆命題不成立,反例如下：反例如下：5.2 收斂性收斂性32例例121212121,()(),2( )()1, ()1,11 ()1, ()1.22PPPP 若若樣樣本本空空間間定定義義隨隨機(jī)機(jī)變變量量如如下下：其

25、其分分布布列列為為,( )( ),( )( )( )( ).nnLnn 對(duì)對(duì)于于一一切切令令顯顯然然的的分分布布列列與與的的分分布布列列相相同同，因因此此02, 但但對(duì)對(duì)任任意意的的|( )( )|1 nPP ( )( ).n 因因此此不不依依概概率率收收斂斂于于5.2 收斂性收斂性337.PLnnCCC 設(shè)設(shè) 是是常常數(shù)數(shù)，則則定定理理證明證明由定理由定理6可知可知, 只需證明只需證明LPnnCC 0, 由由于于對(duì)對(duì)任任意意的的|nPC n1 100 定理證畢定理證畢1()(0)nnF CF C nnPCPC 5.2 收斂性收斂性34( )( )(|),(|),0lim(|( )( )| )0nrrnrnnEErE 設(shè)設(shè)對(duì)對(duì)隨隨機(jī)機(jī)變變量量、有有其其中中為為常常數(shù)數(shù), ,如如果果 義義階階斂斂 定定4（4（r收r收）n階階則則簡簡記記斂斂稱稱, ,為為r收r收于于rn 依概率收斂與依概率收斂與r階收斂的關(guān)系：階收斂的關(guān)