5 2參數(shù)的最大似然估計

1、5.2最大似然估計例設(shè)一袋中裝有紅、白兩種球, 從中隨機取一球,取到紅球取到白球q = 1 - p令 X = 1,X是總體. 0,X 01 qp p是取到紅球的概率. 現(xiàn)在要估計 p作放回抽樣, 取球10次(每次一球)第 i次取到紅球 01 = 1,Xi = 1, 2,.,10X0, qpi第 i 次取到白球iX1 , X 2 ,., X10 是來自總體X的容量為10的樣本.取到紅球取到白球X 1 0X = 1,qp 0,X 是總體，現(xiàn)在要估計 p作放回抽樣, 取球10次(每次一球) 01 第 i次取到紅球第 i 次取到白球 1X qpX= ii 0i = 1, 2,.,10設(shè)已知10次摸球的

2、結(jié)果得到樣本值( 1,0,1,0,0,0,1,0,0,0 ),10次摸球得此樣本值的概率為= 1, X2 = X 4 = X 5 = X 6 = X 8 = X 9 = X10= 0P X1 = X 3= X7P X= 0 = P X = 1P X= 0=p3 (1 - p)7L( p)1012記為X 1 0qp 是取到紅球的概率.p10次摸球得到樣本值( 1,0,1,0,0,0,1,0,0,0 )的概率為L( p) = p3(1 - p)7最大似然估計的思想是:.01或0或10或1一次抽樣有許多可能結(jié)果, 如果某一結(jié)果在一次抽樣中出現(xiàn)了, 就認為這一結(jié)果是所有可能結(jié)果中概率最大的一個.本例中

3、, 一次抽樣有210 個結(jié)果, 一次抽樣后,出現(xiàn)結(jié)果( 1,0,1,0,0,0,1,0,0,0 ), 就認為得到此結(jié)果的概率p3(1 - p)7 最大. 即選擇 p, 使L( p) =即求L( p) 的最大值點 p最大,p3 (1 - p)710次摸球得到樣本值( 1,0,1,0,0,0,1,0,0,0 ) 的概率為 L( p) = p3 (1 - p)7 , 即求 L( p) 的最大值點pL( p) = 3 p2 (1 - p)7 -7 p3(1 - p)6=p2(1 - p)63(1 - p)-7 pp2 (1 - p)6 (3 - 10 p) = 10 p2(1 - p)6 ( 0.3

4、- p )=取 p = 0.3 作為 p的估計值.此時,一次抽樣后,出現(xiàn)結(jié)果( 1,0,1,0,0,0,1,0,0,0 ) 的概率最大.L( p) = p3 (1 - p)7為待估參數(shù) p的函數(shù),L( p)0.31稱為似然函數(shù).L( p) 在 p = 0.3處達到最大值, 稱 p = 0.3 為參數(shù)最大似然估計值.p的量,其分布率為 PX = x= p( x;q )設(shè)X是離散型隨其中是待估參數(shù)當一次抽樣得觀測值X 取值為x的概率( x1 , x2 ,., xn )時,得此觀測值的概率為:與 x有關(guān),與參數(shù)有關(guān)P X1 = x1 , X., X= xn = x,n22= P X1= x1P X2

5、 = x2 . P Xn= xn 記為np( xi ;q )= L(q )=p( x ;q ) p( x ;q ) . p( x;q ) = 1n2i =1L(q )為待估參數(shù)的函數(shù),稱為似然函數(shù).若 L(q )在q處達到最大值, 則稱q為參數(shù) q的最大似然估計值. 相應(yīng)的估計量q( X1 , X 2 ,., Xn ) 稱為的最大似然估計量. 統(tǒng)稱為的 最大似然估計.當X是量時, 設(shè)其密度函數(shù)為連續(xù)型隨X f ( x;q )其中是待估參數(shù),記nL(q ) = f ( x1;q ) f ( x2 ;q ) . f ( xn ;q ) = f ( xi ;q )i =1L(q ) 稱為似然函數(shù).若

6、L(q ) 在q 處達到最大值, 則稱q為參數(shù) q的最大似然估計值. 相應(yīng)的估計量 q( X, X,., X) 稱為12n的最大似然估計量.統(tǒng)稱為的最大似然估計.由于q是L(q ) 的最大值點, q 一般應(yīng)滿足條件:d L(q ) = 0, 從而滿足條件d ln L(q ) = 1= 0dql n L(q ) =L(q )dq ln p( x1;q ) p( x2 ;q ). p( xn ;q )X是離散型隨X 是連續(xù)型隨量量= ln f ( x1;q ) f ( x2 ;q ). f ( xn ;q )離散型ln p( x ;q )+ ln p( x ;q )+. + ln p( x;q )

7、= 12nln f ( x1;q ) + ln f ( x2 ;q ) + . + ln f ( xn ;q ) 連續(xù)型d L(q )dq當只有一個待估參數(shù)時，求最大似然估計量的步驟:1.寫出似然函數(shù)n p( xi ,q )X是離散型隨X是連續(xù)型隨量量L(q ) = i =1nf ( x ,q )i =1i2.寫出似然方程d ln L(q ) = 1d L(q ) = 0或L(q )dqdq3.求解似然方程 得到駐點，并判斷駐點是否為最大值點.= 0d L(q )dq幾種常見分布的最大似然估計量1.01分布設(shè)總體X 01 為p待估參數(shù).1 - ppP X = 1=p =p1(1 - p)0 ,

8、P X = 0= 1 - p= p0 (1 - p)1可統(tǒng)一表示為x = 0, 1設(shè)一抽樣得觀測值為 x1 , x2 ,., xn= x1 , X2 = x2 , ., Xn = xn L( p) =P X1= x2 . P Xn = xn = x1 P X2= P X1= px1(1 - p)1- x1 px2 (1 - p)1- x2 . pxn(1 - p)1- xn為似然函數(shù).(1 - p) n -( x1 + x2+ . + xn )= px+ x + . + x12nP X = x=px(1 - p)1- x+(1 - p)n - ( x1 + x2+ . + xn )為似然函數(shù).

9、+ . + xn ) ln(1 - p)L( p) = px+ x + . + x12nln L( p) =( x1 + x2 + . + xn ) ln p+n - ( x1+ x21d ln L( p) = ( x+ x+ . + x ) 1= 0n - ( x+ x+ . + x)1 - p12n12ndppi )(i )(n -)(n - xi) p 11 - p 1pnnnni=1x(1 -,i=1x=p) = xii =1i =11nnnnnx - px= n p - px ,xp = xii = n p,iiin i =1i =1i =1i =1i =1為 p的最大似然估計值,

10、p =1nXin i =1為p的最大似然 估計量.p =1nx為的最大似然估計值,pin i =11n為p的最大似然估計量.p =Xin i =1X 01 ,例如 總體為p待估參數(shù).1 - pp已知10次摸球的結(jié)果得到樣本值( 1,0,1,0,0,0,1,0,0,0 )即一次抽樣, 得樣本觀測值為= 0p =x3 = 1x1 = 1x2 = 0x10110的p最大似然估計值為x= 0.3i10 i =12.泊松分布X P(l ), P X = k = l k設(shè)總體e- l ,k = 0,1, 2, 3,.k !lx即P X = x =e- l ,x = 0,1, 2, 3,.,為待估參數(shù).x!

11、設(shè)樣本觀測值為 x1 , x2 ,., xnL(l ) = P X1 = x1 , X2= xn = x2 , ., Xn= P X1 = x1P X2= x2 . P Xn = xn x1 + x2 + . + xn= lel x1l x2l xn- nl=e- l e- lx2 !e- l.x1 !xn !x1 ! x2 !. xn !為似然函數(shù).lnex1 + x2 + . + xnl l-ne為似然函數(shù).L(l ) =x1 ! x2 !. xn !()nln L(l ) =ln l - ln( x! x!. x!)-nli =1xi12ni )()(d ln L(l )dl1 -n =

12、 01 = nnn=i =1xi =1xllil =1 nx為的最大似然估計值.in i =1l =1n為的最大似然估計量.Xin i =13.指數(shù)分布服從指數(shù)分布l e- l x ,x 0x 0設(shè)總體 Xf ( x) = X 0,為待估參數(shù).求參數(shù)的最大似然估計.f ( x)解設(shè)樣本觀測值為x , x,., x1f ( x)dx = 02nPX 0=0-可以認為 xi 0,i = 1, 2,., nf ( x1 ,l )L(l ) =f ( x2 ,l )f ( xn ,l )e -l x1- l x2- . - l x nl e-l xle-l x= l e-l x= l nn21+ x2

13、 + . + x n )為似然函數(shù).= l n e- l ( x1lnee-l ( x1 + x2 + . + x n )為似然函數(shù).L(l ) = l nnln L(l ) = nlnl -l xii =1d ln L(l )dln 1=1lnn- xi = 0,i =1x= nlii =1l = n= 1=1為的最大似然估計值.1nnxi =1xi =1xiinl = 1= 1 為的最大似然估計量.1XnXin i =1時，當有兩個或兩個以上未知參數(shù)q1 ,q2 ,.,qk似然函數(shù)為PX = x ,., X= x= x,X11nn22= PX1= x1P X2= x2 . PXn= xn

14、= p( x1;q1 ,q2 ,.,qk)p( x2 ;q1 ,q2 ,.,qk ) . p( xn ;q1 ,q2 ,.,qk)n（離散型）= i =1或p( xi ;q1 ,q2 ,.,qk) = L(q,q,.,q)12k). f ( xn ;q1 ,q2 ,.,qkf ( x1;q1 ,q2 ,.,qknf ( x2 ;q1 ,q2 ,.,qk) （連續(xù)型）= i =1f ( x ;q,q,.,q) = L(q,q,.,q12ki12k時，當有兩個或兩個以上未知參數(shù)q1 ,q2 ,.,qk似然函數(shù)為L(q若似然函數(shù)在q,q,.,q,q,.,q*2*k),12k1達到最大，則稱為q的最大

15、似然估計值，相應(yīng)的q*ii估計量稱為i的最大似然估計量.i = 1, 2,., k此時，一般應(yīng)滿足條件:q*i L(qiqi ln L(qiqi) = 0,) = 0或i = 1, 2,., kj( x)4.正態(tài)分布設(shè)總體 X 服從正態(tài)分布- ( x- m )2X j( x) = 1e2s 22p s的最大似然估計.求參數(shù)和s2令s 2 = d ,=d( x - m )22d-1eX j( x;m,d ) =和為待估參數(shù),2pd求參數(shù)和的最大似然估計.j( x)令s 2= d ,=d( x - m )22d-1eX j( x;m,d ) =2pd求參數(shù)和的最大似然估計.解設(shè)樣本觀測值為x1 ,

16、 x2 ,., xn , 似然函數(shù)為：j ( xn ;m,d )L(m,d ) = j ( x ;m,d ) j( x ;m,d )21( x- m )2( x- m)2( x- m)2-n2de- 1 12pd1 212de e2d=2pd2pd- ( xn -m )2- ( x2 -m )2( x - m )21-e12d=2d2d ()npdn2 ( x- m ) - 12 - n- n2dei2 d= (2p )i =12n- 1( x- m)22d nn2ed -似然函數(shù)為 L(m,d ) = (2p )- 2ii =112dln L(m,d ) = - n ln(2p ) - n

17、lndn-( x- m)2i =1i22 ln L(m,d ) = -1- m )(-1) = 1nn( x- m )i =1i =12( xm2di =1dii(= 1- nm = 0nn= nxi =1xdii ln L(m,d )1 -1n1n- m)2= -2 d-2 d= 0i =1( xdm = 1i2n為的最大似然估計值.= xxin i =1mn- 1( x- m)2i =1 n2e-d -似然函數(shù)為ln L(m,d ) = -2dnL(m,dp) =i(2)2n2n212dn- m)2i =1( xln(2p ) -lnd -i(m,d ln L()1dnnx = n= xi

18、- nm = 0i =1mini =1 ln L(m,d )1 -1n1- x)2(2)= -2 d-2 d= 0( xi =1di2m = 1n為的最大似然估計值.x = xin i =1代入（2）式，解得 d = 1n ( x - x)2= s2i0ni =1為的最大似然估計值.n- 1( x- m)2i =1 n2e-d -似然函數(shù)為ln L(m,d ) = -2dnL(m,dp) =i(2)2n2n212dn- m)2i =1( xln(2p ) -lnd -i(m,d ln L()1dnnx = n= xi- nm = 0i =1mini =1 ln L(m,d ) =1 -1n1- m)2-2 d-2 d= 0( xi =1di21n =1n n( x - m )2m =i =1 xi = x 為的最大似然估計值.dd