北京理工大學統(tǒng)計學課件大全

1、第一章第一章 古典概型和概率空間古典概型和概率空間1. 條件概率和乘法公式條件概率和乘法公式)()()|(bpabpbap p(ab)=p(b)p(a|b) 2. 事件的獨立性事件的獨立性 對任意的事件對任意的事件a，b，若，若p(ab)=p(a)p(b)， 則稱事件則稱事件a，b是相互獨立的。是相互獨立的。3. 全概率公式和全概率公式和bayes公式公式)|()()(1iniibapbpapnjbapbpbapbpapabpabpniiijjjj, 1,)|()()|()()()()|(1 離散型隨機變量 連續(xù)型隨機變量 概率分布函數(shù) 隨機變量函數(shù)的分布第二章第二章 隨機變量及其分布隨機變量

2、及其分布1.1.離散型隨機變量的概率分布離散型隨機變量的概率分布 ,1kkp xxpk2. 2. 幾種常用的離散型隨機變量幾種常用的離散型隨機變量1.兩點分布 (bernoulli分布) 1,bp2.二項分布 (binomial分布) ,bnp3.泊松分布(poisson 分布) p 4.幾何分布(geometric分布) ( )kkxxf xp xxp 分布函數(shù)分布函數(shù)分布列分布列 kkp xxp3.分布列與分布函數(shù)的關(guān)系圖示如下分布列與分布函數(shù)的關(guān)系圖示如下4.4.離散型隨機變量函數(shù)的分布離散型隨機變量函數(shù)的分布12nyyy， ， ， ，llll( ( ) )( () )12nnyg xn

3、其其中中，=l l 設(shè)設(shè) x 是離散型是離散型隨機變量，隨機變量，其分布列為其分布列為 yg x y 是是 x 的函數(shù)的函數(shù) ， 則則 y 也是離散也是離散型隨機變量型隨機變量. . 它的取值為它的取值為或或 ,1kkp xxpk bap axbfx dx fx設(shè)設(shè)x 是隨機變量是隨機變量, ,如果存在非負函數(shù)如果存在非負函數(shù)ab ,a b使得對任何滿足使得對任何滿足 的的 有有 fx則稱則稱 x 是連續(xù)型隨機變量是連續(xù)型隨機變量, ,稱稱 是是 x 的的概率密度函數(shù)概率密度函數(shù), ,簡稱為簡稱為概率密度概率密度或或密度密度1.1.連續(xù)型隨機變量的概率分布連續(xù)型隨機變量的概率分布2. 2. 幾

4、種幾種常用的常用的連續(xù)型隨機變量連續(xù)型隨機變量1.均勻分布(uniform 分布) ,ua b2.指數(shù)分布(exponential 分布) e 3.3.正態(tài)分布（高斯分布）正態(tài)分布（高斯分布）重要結(jié)論重要結(jié)論 若若 ，則，則 2(,)xn (0 ,1)xzn 1 1、 bap axb 3 3、2 2、 xfx 3. 連續(xù)型隨機變量的分布函數(shù)連續(xù)型隨機變量的分布函數(shù) xf xf t dt fx 1 1、 如果如果 x 是連續(xù)型隨機變量是連續(xù)型隨機變量, 有概率有概率 密度密度 則則 fxfx fx并且在并且在 的連續(xù)點有的連續(xù)點有 4.4.連續(xù)型隨機變量函數(shù)的分布連續(xù)型隨機變量函數(shù)的分布也是連續(xù)

5、型隨機變量. 試求 y = g ( x ) 的密度函數(shù) yfy 設(shè) x 是連續(xù)型隨機變量，其密度函數(shù)為 再設(shè) y = g ( x )是 x 的函數(shù)，假定 y xfx xg xyfx dx （1）先求 y = g ( x ) 的分布函數(shù)（2）利用 y = g ( x ) 的分布函數(shù)與密度函數(shù)的關(guān)系 ，求 y = g ( x ) 的密度函數(shù) yyfyfy yfyp yy p g xy 設(shè)設(shè) x x 是一個取值于區(qū)間是一個取值于區(qū)間 a , b a , b ，具有，具有概率密度概率密度 f f ( ( x x ) ) 的連續(xù)型隨機變量的連續(xù)型隨機變量 ；又設(shè)；又設(shè) y = g y = g ( ( x

6、 x ) ) 處處可導，且對于任意處處可導，且對于任意 x x , , 恒有恒有 或恒有或恒有 ；則則 y = g y = g ( (x x) ) 是一個連續(xù)型隨機變量是一個連續(xù)型隨機變量 , , 它的概率密度為它的概率密度為0)( xg0)( xg定理定理 ,0,ydh yfh yyfydy 其其它它 ,0,ydh yfh yyfydy 其其它它 min,maxa x ba x bg xg x 其中，其中， x = h x = h ( ( y y ) ) 是是 y = g y = g ( ( x x ) ) 的反函數(shù)的反函數(shù)定理定理 5.1 (5.1 (續(xù)續(xù)) ) 1122yxxfyfhyh

7、yfhyhy 上逐段嚴格單調(diào)，其上逐段嚴格單調(diào)，其反函數(shù)分別為反函數(shù)分別為隨機變量，其概率密度為隨機變量，其概率密度為若若 g g ( ( x x ) ) 在不相疊的區(qū)間在不相疊的區(qū)間12,ii 12,hyhy均為連續(xù)可導函數(shù)，那么均為連續(xù)可導函數(shù)，那么y = g ( x ) 是連續(xù)型是連續(xù)型補充定理補充定理第第 3 章章隨機向量及其獨立性隨機向量及其獨立性聯(lián)合分布邊緣分布隨機變量的獨立性隨機向量函數(shù)的概率分布1. 二維離散型隨機向量二維離散型隨機向量 ( x,y ) 的分布律的分布律xy 21ixxxjyyy21 12111ippp 22212ippp 21ijjjppp., 2 , 1,j

8、ipyyxxpijji 聯(lián)合分布律的性質(zhì)聯(lián)合分布律的性質(zhì)., 2 , 1, 0)1( jipji. 1)2(, jijip., 2 , 1,1 ipxxpjiji., 2 , 1,1 jpyypiijjxyixxx21jyyy2112111ippp22212ipppijjjppp212.邊緣分布列邊緣分布列3. 離散型隨機變量的獨立性離散型隨機變量的獨立性.,jijijiyypxxpyyxxpyx 對對任任何何件是相互獨立的充分必要條和yx., 2 , 1, 2 , 1, jipppjiij即即1. 連續(xù)型隨機向量聯(lián)合概率密度連續(xù)型隨機向量聯(lián)合概率密度 ddxdyyxfdyxp),(),( 聯(lián)

9、合概率密度的聯(lián)合概率密度的性質(zhì)性質(zhì).),(),( 概率密度概率密度的的是連續(xù)型隨機向量是連續(xù)型隨機向量設(shè)設(shè)yxyxf. 1),(),()3(22 ryxpdxdyyxfr bdxdyyxfbyxpbr),(),( ,)2(2有有上上的的所所有有子子區(qū)區(qū)域域?qū)? 0),()1( yxf2. 聯(lián)合分布與聯(lián)合密度聯(lián)合分布與聯(lián)合密度連續(xù)型隨機變量連續(xù)型隨機變量(x,y)，其概率密度，其概率密度與分布函數(shù)的關(guān)系如下：與分布函數(shù)的關(guān)系如下：.),(),()1(dudvvufyxfxy . ),(),( ,),(),(2)2yxfyxyxfyxyxf 則則有有連連續(xù)續(xù)在在若若 dyx,yfxfx)()(同

10、理，同理， y的的邊緣密度為邊緣密度為 dxx,yfyfy)()(x的的邊緣密度為邊緣密度為3. 3. 邊緣密度邊緣密度4. 連續(xù)型隨機變量的獨立性連續(xù)型隨機變量的獨立性).(),(,yfxfyxyx分分別別具具有有概概率率密密度度設(shè)設(shè).)()(),( ),(),(,幾幾乎乎處處處處成成立立，且且有有聯(lián)聯(lián)合合密密度度隨隨機機向向量量獨獨立立的的充充分分必必要要條條件件是是則則yfxfyxfyxfyxyxyx 1. 二維均勻分布2. 二維正態(tài)分布五、兩個常用的分布五、兩個常用的分布下面介紹兩個常用的二維隨機變量.均勻分布均勻分布 設(shè)d為平面上的區(qū)域, 面積), 0()( dm若 (x,y)的聯(lián)合

11、密度為則稱(x,y)在d上服從均勻分布. 其它其它，的面積的面積,0),(1),(dyxdyxf二二 維正態(tài)分布維正態(tài)分布的的概概率率密密度度為為設(shè)設(shè)二二維維隨隨機機變變量量),(yx 2222212121212221)()(2)()1(21exp 121),(yyxxyxf . 11, 0, 0,212121 且且都都是是常常數(shù)數(shù)其其中中.,),(2121正正態(tài)態(tài)分分布布的的二二維維服服從從參參數(shù)數(shù)為為稱稱yx).(),(222121 ；，；，記記做做nyx則則若若),;,(),(222121 nyx一個重要的結(jié)論一個重要的結(jié)論),(),()1(222211 nynx即二維正態(tài)分布的兩個邊緣

12、分布都是一維正態(tài)分布,. 并且都不依賴于參數(shù)并且都不依賴于參數(shù). 0)2( 件是件是相互獨立的充分必要條相互獨立的充分必要條，yx5. 隨機向量的函數(shù)的分布隨機向量的函數(shù)的分布 設(shè)設(shè)(x, y)是二維隨機變量是二維隨機變量,z = (x, y)是一個已是一個已知的二元函數(shù)知的二元函數(shù),如果當如果當(x, y)取值為取值為(x, y)時時, 隨隨機變量機變量z取值為取值為z = (x, y),則則稱稱z是二維隨機變是二維隨機變量的函數(shù)量的函數(shù),記作記作z = (x, y)問題問題: 已知已知(x, y)的分布的分布, 求求z = (x, y)的分布的分布.一、離散型隨機向量函數(shù)的分布一、離散型隨

13、機向量函數(shù)的分布 二、連續(xù)型隨機變量函數(shù)的概率分布二、連續(xù)型隨機變量函數(shù)的概率分布1. 已知已知(x,y) f(x,y)，求，求z = (x,y)的概率分布的概率分布. 2. 若若z為連續(xù)型隨機變量為連續(xù)型隨機變量, 則在則在 f(z) 的連續(xù)的連續(xù)點處點處)( )(zfzfzz zyxdxdyyxf),(),( dyyyzfzfz),()(dxxzxfzfz),()(推論推論 設(shè)設(shè)(x,y)關(guān)于關(guān)于x,y的邊緣密度分別為的邊緣密度分別為fx(x) , fy(y). 若若x和和y獨立獨立, 則則 dxxzfxfzfyxz)()()( dyyfyzfzfyxz)()()(z=x+y的概率密度的一

14、般公式的概率密度的一般公式極大極小值的分布極大極小值的分布 設(shè)設(shè)x x，y y是兩個是兩個相互獨立的相互獨立的隨機變量，隨機變量，它們的分布函數(shù)分別為它們的分布函數(shù)分別為f fx x( (x x) )和和f fy y( (y y), ), 求求m=m=max(max(x x, ,y y) ) 及及 n n=min(=min(x x, ,y y) )的分布函數(shù)的分布函數(shù). .m=max(x,y)fm(z) = pmz = pmax(x,y)z= pxz,yz= pxz pyz= fx(z) fy(z) 類似地，可得n=min(x,y)的分布函數(shù)是=1-pxz,yzfn(z) =pnz =pmin

15、(x,y) z=1 pmin(x,y) z=1- pxzpyz= 1-1-fx(z)1-fy(z) 第四章第四章 數(shù)學期望和方差數(shù)學期望和方差q 隨機變量的平均取值隨機變量的平均取值 數(shù)學數(shù)學 期望期望q 隨機變量取值平均偏離平均值的隨機變量取值平均偏離平均值的 情況情況 方差方差q 描述兩個隨機變量之間的某種關(guān)描述兩個隨機變量之間的某種關(guān) 系的數(shù)系的數(shù) 協(xié)方差協(xié)方差與與相關(guān)系數(shù)相關(guān)系數(shù)本本章章內(nèi)內(nèi)容容定義定義1.1：設(shè)離散型設(shè)離散型隨機變量隨機變量x 的概率分布為的概率分布為, 2 , 1,)(kpxxpkk若無窮級數(shù)若無窮級數(shù)1kkkpx絕對收斂絕對收斂，則稱其和為隨機變量，則稱其和為隨機

16、變量 x 的的數(shù)學期望數(shù)學期望或或均值，均值，記作記作 e( x )。1)(kkkpxxe數(shù)學期望的定義數(shù)學期望的定義定義定義1. 2 ：設(shè)設(shè) x 為連續(xù)型隨機變量為連續(xù)型隨機變量, , 其密度函數(shù)為其密度函數(shù)為，若積分，若積分)(xfdxxxf)(絕對收斂絕對收斂，則稱此積分為隨機變量，則稱此積分為隨機變量 x 的的數(shù)學期望數(shù)學期望或或均值，均值，記作記作 e( x )。dxxxfxe)()( 離散型隨機向量函數(shù)的數(shù)學期望離散型隨機向量函數(shù)的數(shù)學期望q 設(shè)設(shè)x=(x1 , xn)為離散型隨機向量，概率為離散型隨機向量，概率 分布為分布為. 1,),(111njjjjjjpxxxpnnz =

17、g(x1 , xn),若級數(shù)若級數(shù)絕對收斂，則絕對收斂，則.),(111nnnjjjjjjpxxgnnnjjjjjjnpxxgxxgeze111),(),()(1連續(xù)型隨機向量函數(shù)的數(shù)學期望連續(xù)型隨機向量函數(shù)的數(shù)學期望q 設(shè)設(shè)x=(x1 , xn)為連續(xù)型隨機向量，聯(lián)合為連續(xù)型隨機向量，聯(lián)合 密度函數(shù)為密度函數(shù)為 ),(1nxxfz = g(x1 , xn),若積分若積分絕對收斂，則絕對收斂，則nnnxddxxxfxxg111),(),(),()(1nxxgezennnxddxxxfxxg111),(),(a. 方差的概念和計算公式方差的概念和計算公式var (x)=e(x-e(x)2)()(

18、)(22xexexvar性質(zhì)性質(zhì)2: var(b+x)=var(x) .特別地，特別地，若若x=c，c為常數(shù)，則為常數(shù)，則 var(c)=0b. 方差的性質(zhì)方差的性質(zhì)var (ax + b ) = a2 var(x)性質(zhì)性質(zhì)3: 若若a,b為常數(shù)為常數(shù),)(xvar, 則則性質(zhì)性質(zhì)1: 若若b為常數(shù)為常數(shù),隨機變量隨機變量x的方差存在，的方差存在， 則則bx的方差存在，且的方差存在，且 var(bx) = b2var(x)若隨機變量若隨機變量x,y 的方差都存在，的方差都存在，則則x+y的方差存在，且的方差存在，且 性質(zhì)性質(zhì)5:性質(zhì)性質(zhì)4:var(x y)= var(x) +var(y) 2c

19、ov(x,y)若若x, y 獨立，獨立， var(x y)= var(x) +var(y)a. 協(xié)方差函數(shù)和相關(guān)系數(shù)協(xié)方差函數(shù)和相關(guān)系數(shù)協(xié)方差協(xié)方差)()()(),cov(yexexyeyx)()(),cov(yvarxvaryxxy相關(guān)系數(shù)相關(guān)系數(shù)協(xié)方差的性質(zhì)協(xié)方差的性質(zhì)q )()()(),cov(),cov(yexexyexyyxq q q q ),cov(),cov(yxabbyax),cov(),cov(),cov(zyzxzyx)(),cov(xvarxx)()(| ),cov(|2yvarxvaryx當且僅當當且僅當1)()(0xextyeyp時，等式成立時，等式成立cauchy-

20、schwarz不等式不等式b. 協(xié)方差和相關(guān)系數(shù)的性質(zhì)協(xié)方差和相關(guān)系數(shù)的性質(zhì)47相關(guān)系數(shù)的性質(zhì)相關(guān)系數(shù)的性質(zhì)q 1|xy48q 0xyx , y x , y 不相關(guān)不相關(guān)0),cov(yx)()()(yexexye)()()(yvarxvaryxvar注：注：x x與與y y不相關(guān)不相關(guān)僅僅是僅僅是不線性相關(guān)不線性相關(guān)，可以非線性，可以非線性相關(guān)。相關(guān)。49q x,y x,y 相互獨立相互獨立x,y x,y 不相關(guān)不相關(guān)若若 x , y x , y 服從二維正態(tài)分布，服從二維正態(tài)分布，x,y x,y 相互獨立相互獨立x,y x,y 不相關(guān)不相關(guān)221212(, ) ().x yn， ；，； x

21、y第五章第五章 極限定理極限定理強大數(shù)律強大數(shù)律中心極限定理中心極限定理 設(shè)隨機序列設(shè)隨機序列 獨立同分布，并獨立同分布，并且且 ，則有，則有 定理定理 11 , wp1. 2.6niixn（）nx1ex（中心極限定理中心極限定理）這里這里 是標準正態(tài)分布的分布函數(shù)是標準正態(tài)分布的分布函數(shù). .( )xlim().nnpxx 設(shè)隨機序列設(shè)隨機序列 獨立同分布獨立同分布, ,有共同有共同的數(shù)學期的數(shù)學期望望 和方差和方差 . 部分和部分和則則 的標準化的標準化2 nnsnn依分布收斂到標準正態(tài)分布依分布收斂到標準正態(tài)分布. . 即對任何即對任何 , ,(3.2)jxnnxxxs21nsx 點估計

22、和矩估計 最大似然估計 抽樣分布及其上分位數(shù) 正態(tài)總體的區(qū)間估計第七章第七章 參數(shù)估計參數(shù)估計參數(shù)估計參數(shù)估計點估計點估計區(qū)間估計區(qū)間估計點估計點估計 估計未知參數(shù)的值估計未知參數(shù)的值區(qū)間估計區(qū)間估計 根據(jù)樣本構(gòu)造出適當?shù)膮^(qū)根據(jù)樣本構(gòu)造出適當?shù)膮^(qū)間，使他以一定的概率包含未知參數(shù)或間，使他以一定的概率包含未知參數(shù)或未知參數(shù)的已知函數(shù)的真值未知參數(shù)的已知函數(shù)的真值記總體記總體k階矩為階矩為()kke x 樣本樣本k階矩為階矩為11nkkiiaxn 用相應的樣本矩去估計總體矩的用相應的樣本矩去估計總體矩的估計方法就稱為估計方法就稱為矩估計法矩估計法. .1. 1. 矩估計法矩估計法矩估計的一般步驟矩

23、估計的一般步驟設(shè)總體分布含有設(shè)總體分布含有m個未知參數(shù)個未知參數(shù) 1 ， m（1）根據(jù)未知參數(shù)的個數(shù)求總體的各階矩根據(jù)未知參數(shù)的個數(shù)求總體的各階矩),()(2111mxe),()(21222mxe),()(21mmmmxe（2 2）解方程組（即從方程組中解出未知參數(shù)）解方程組（即從方程組中解出未知參數(shù)）),(2111m),(2122m),(21mmm（3 3）用）用ai代替上述方程組中的代替上述方程組中的 ，i=1,2,mi得到得到),(21miiaaai=1,2,m作為作為 的矩估計量的矩估計量ii=1,2,m（4 4）若估計的是參數(shù)的函數(shù)）若估計的是參數(shù)的函數(shù)),(21mg則用則用i代替代

24、替i得到得到),(21mg作為作為),(21mg的矩估計量的矩估計量最大似然估計法的基本思想：根據(jù)樣本觀測值，選擇參數(shù)p的估計 ，使得樣本在該樣本值附近出現(xiàn)的可能性最大 p2. 2. 最大似然估計法最大似然估計法求最大似然估計求最大似然估計(mle)(mle)的一般步驟是：的一般步驟是：(1) (1) 由總體分布導出樣本的聯(lián)合分布列由總體分布導出樣本的聯(lián)合分布列 ( (或聯(lián)合密度或聯(lián)合密度););(2) (2) 把把樣本聯(lián)合分布列樣本聯(lián)合分布列( (或聯(lián)合密度或聯(lián)合密度) )中自變中自變 量看成已知常數(shù)量看成已知常數(shù), ,而把參數(shù)而把參數(shù) 看作自變量看作自變量, , 得到得到似然函數(shù)似然函數(shù)l

25、 l( );( );(3) (3) 求似然函數(shù)求似然函數(shù) 的最大值點的最大值點( (常轉(zhuǎn)化為求對常轉(zhuǎn)化為求對 數(shù)似然函數(shù)數(shù)似然函數(shù) 的最大值點的最大值點) ) 即即 的的mle;mle;( )lln ( )l11( )( ,; )( ; ), nniill xxf x11( )(,; )(; )nniill xxp x離散型樣本的似然函數(shù)離散型樣本的似然函數(shù)連續(xù)型樣本的似然函數(shù)連續(xù)型樣本的似然函數(shù)點估計的無偏性點估計的無偏性( )e對任意 ，有 則稱 為 的無偏估計 .1(,)nxx設(shè)是未知參數(shù) 的估計量，若注：注： 樣本均值 與樣本方差s2 分別是 總體均值和總體方差2的無偏估計量.nx 設(shè)設(shè)x1 ，x2, ,，xn為來自總體為來自總體x f(x; )的一個的一個樣本樣本， 是未知參數(shù)是未知參數(shù). 若對于給定的若對于給定的 （0 1），），存在兩個統(tǒng)計量存在兩個統(tǒng)計量 11122112(,), (,)()nnxxxx 使得對任意的使得對任意的 滿足滿足 1121(,) (,)1nnpxxxx 區(qū)間估計區(qū)間估計則稱隨機區(qū)間則稱隨機區(qū)間 為參數(shù)為參數(shù)