第7章參數(shù)估計(jì)1節(jié)點(diǎn)估計(jì)點(diǎn)估計(jì)

1、第一節(jié)第一節(jié) 點(diǎn)估計(jì)點(diǎn)估計(jì) 一、點(diǎn)估計(jì)問題的提法一、點(diǎn)估計(jì)問題的提法 二、估計(jì)量的求法二、估計(jì)量的求法 三、小結(jié)三、小結(jié) 一、點(diǎn)估計(jì)問題的提法一、點(diǎn)估計(jì)問題的提法 設(shè)總體設(shè)總體X 的分布函數(shù)形式已知的分布函數(shù)形式已知, , , 在某炸藥制造廠在某炸藥制造廠次次一天中發(fā)生著火現(xiàn)象的一天中發(fā)生著火現(xiàn)象的 ,是一個(gè)隨機(jī)變量是一個(gè)隨機(jī)變量數(shù)數(shù) X為參數(shù)為參數(shù)假設(shè)它服從以假設(shè)它服從以0 ,的泊松分布的泊松分布,為未知為未知參數(shù)參數(shù) . 試估計(jì)參數(shù)試估計(jì)參數(shù) ,現(xiàn)有以下的樣本值現(xiàn)有以下的樣本值 但它的一個(gè)或但它的一個(gè)或 總體未知參數(shù)的值的問題稱為總體未知參數(shù)的值的問題稱為點(diǎn)估計(jì)問題點(diǎn)估計(jì)問題. . 多個(gè)參

2、數(shù)為未知多個(gè)參數(shù)為未知, , 借助于總體借助于總體X的一個(gè)樣本來估計(jì)的一個(gè)樣本來估計(jì) 例例1 250012622549075 76543210 k n k k 火的天數(shù)火的天數(shù) 次著次著發(fā)生發(fā)生 著火次數(shù)著火次數(shù) 解解),( X因?yàn)橐驗(yàn)?).( XE 所以所以 用樣本均值來估計(jì)總體的均值用樣本均值來估計(jì)總體的均值 E(X) . x223542901750( 250 1 )162564 6 0 6 0 k k k k n kn .22. 1 .22. 1)(的估計(jì)為的估計(jì)為故故 XE 點(diǎn)估計(jì)問題的一般提法點(diǎn)估計(jì)問題的一般提法 ，的形式為已知的形式為已知的分布函數(shù)的分布函數(shù)設(shè)總體設(shè)總體);( xF

3、X ., 21 為相應(yīng)的一個(gè)樣本值為相應(yīng)的一個(gè)樣本值 n xxx 一個(gè)適當(dāng)?shù)慕y(tǒng)計(jì)量一個(gè)適當(dāng)?shù)慕y(tǒng)計(jì)量點(diǎn)估計(jì)問題就是要構(gòu)造點(diǎn)估計(jì)問題就是要構(gòu)造 ),( 21n XXX ),( 21n xxx 用它的觀察值用它的觀察值 . 來估計(jì)未知參數(shù)來估計(jì)未知參數(shù) .是待估參數(shù)是待估參數(shù) , 21 的一個(gè)樣本的一個(gè)樣本是是 XXXX n .),( 21 的估計(jì)量的估計(jì)量稱為稱為 n XXX .),( 21 的估計(jì)值的估計(jì)值稱為稱為 n xxx. , 簡記為簡記為 通稱估計(jì)通稱估計(jì) 二、估計(jì)量的求法二、估計(jì)量的求法 由于估計(jì)量是樣本的函數(shù)由于估計(jì)量是樣本的函數(shù), 矩估計(jì)法和最大似然估計(jì)法矩估計(jì)法和最大似然估計(jì)法.

4、 . 求估計(jì)量是關(guān)鍵問題求估計(jì)量是關(guān)鍵問題. 如何如何 得到的參數(shù)值往往不同得到的參數(shù)值往往不同, 對不同的樣本值對不同的樣本值, 是隨機(jī)變量是隨機(jī)變量, 故故 常用構(gòu)造估計(jì)量的方法常用構(gòu)造估計(jì)量的方法: : ( (兩種兩種) ) 1. 矩估計(jì)法矩估計(jì)法 ,為連續(xù)型隨機(jī)變量為連續(xù)型隨機(jī)變量設(shè)設(shè) X ,為離散型隨機(jī)變量為離散型隨機(jī)變量或或 X xXP 布律為布律為 , 21 為待估參數(shù)為待估參數(shù)其中其中 k 其概率密度為其概率密度為 ),;( 21k xf ),;( 21k xp , 21 的樣本的樣本是來自是來自XXXX n 其分其分 ( (X為離散型為離散型) ) l )( l XE ),;

5、( 21k Rx l xpx X 或或 l ( (X為連續(xù)型為連續(xù)型) ) )( l XE xxfx k l d),;( 21 . )(可能取值的范圍可能取值的范圍是是其中其中存在存在xRX kl, 2 , 1 階矩階矩的前的前假設(shè)總體假設(shè)總體kX 矩估計(jì)法的定義矩估計(jì)法的定義 用樣本矩來估計(jì)總體矩用樣本矩來估計(jì)總體矩, , 矩估計(jì)法的具體做法矩估計(jì)法的具體做法: : ., 2, 1,klAl l 令令 , 21 的方程組的方程組個(gè)未知參數(shù)個(gè)未知參數(shù)這是一個(gè)包含這是一個(gè)包含 k k ., 21k 解出其中解出其中 的的分別作為分別作為用方程組的解用方程組的解 kk , , , 2121 矩估計(jì)

6、量的觀察值稱為矩估計(jì)值矩估計(jì)量的觀察值稱為矩估計(jì)值. . 估計(jì)法估計(jì)法. 這種估計(jì)法稱為這種估計(jì)法稱為矩矩 數(shù)來估計(jì)總體矩的連續(xù)函數(shù)數(shù)來估計(jì)總體矩的連續(xù)函數(shù), 用樣本矩的連續(xù)函用樣本矩的連續(xù)函 ,估計(jì)量估計(jì)量.量量這個(gè)估計(jì)量稱為矩估計(jì)這個(gè)估計(jì)量稱為矩估計(jì) 例例2,上服從均勻分布上服從均勻分布在在設(shè)總體設(shè)總體baX,a其中其中 ,未知未知b,),( 21 的樣本的樣本是來自總體是來自總體XXXX n ,a求求.的的估估計(jì)計(jì)量量b 解解 1 2 , 4 )( 12 )( 22 baba 2 )()(XEXD )(XE , 2 ba )( 2 XE 2 ba 1 A , 1 1 n i i X n

7、令令 4 )( 12 )( 22 baba 2 A, 1 1 2 n i i X n . )(12 ,2 2 12 1 AAab Aba 解方程組得到解方程組得到a , b的矩估計(jì)量分別為的矩估計(jì)量分別為 a b 即即 )(3 2 121 AAA ,)( 3 1 2 n i i XX n X )(3 2 121 AAA .)( 3 1 2 n i i XX n X 例例3, 2 都存在都存在和方差和方差的均值的均值設(shè)總體設(shè)總體 X且有且有 , 0 2 , 2 均為未知均為未知和和但但 是是又設(shè)又設(shè) n XXX, 21 ,一個(gè)樣本一個(gè)樣本. 2 的矩估計(jì)量的矩估計(jì)量和和求求 解解 1 2 )(X

8、E , )( 2 XE 2 )()(XEXD , 22 解得解得; 1 . 2 12 2 2 1 A ,X 2 12 AA n i i XX n 1 2 2 1 .)( 1 1 2 n i i XX n 的矩估計(jì)量分的矩估計(jì)量分和和得得 2 , 2121 代替代替分別以分別以AA 別為別為 所得結(jié)果表明，所得結(jié)果表明， 達(dá)式不因不同的總體分布而異達(dá)式不因不同的總體分布而異. 總總體均值與方差的矩估計(jì)量的表體均值與方差的矩估計(jì)量的表 例如，例如， ),( 2 NX, 2 未知未知 2 , 即得即得 的矩估計(jì)量的矩估計(jì)量 2 .)( 1 1 2 n i i XX n ,X , 1 1 的均值的矩估

9、計(jì)的均值的矩估計(jì)作為總體作為總體用樣本均值用樣本均值XX n X n i i 作為總體作為總體用樣本二階中心矩用樣本二階中心矩 2 1 2 )( 1 XX n B n i i 一般地一般地, , .的方差的矩估計(jì)的方差的矩估計(jì)X 2. 最大似然估計(jì)法最大似然估計(jì)法 屬離散型屬離散型總體總體 X)1( 似然函數(shù)的定義似然函數(shù)的定義 , 屬離散型屬離散型若總體若總體 X設(shè)分布律設(shè)分布律 ),;( xpxXP ,的形式為已知的形式為已知 為待為待 ,估參數(shù)估參數(shù).可能的取值范圍可能的取值范圍是是 n XXX, 21 設(shè)設(shè) ,的樣本的樣本是來自總體是來自總體 X的聯(lián)合分布的聯(lián)合分布則則 n XXX,

10、21 . );( 1 n i i xp 律為律為 n XXX, 21 則樣本則樣本的的取到觀察值取到觀察值 n xxx, 21 發(fā)生的概率為發(fā)生的概率為即即, 2211nn xXxXxX )( L ,);( 1 n i i xp );,( 21 n xxxL .)(稱為樣本的似然函數(shù)稱為樣本的似然函數(shù) L ，概率概率 為相應(yīng)于樣本為相應(yīng)于樣本又設(shè)又設(shè) n xxx, 21 n XXX, 21 .的一個(gè)樣本值的一個(gè)樣本值 最大似然估計(jì)法最大似然估計(jì)法 , 21 時(shí)時(shí)得到樣本值得到樣本值 n xxx , 的估計(jì)值的估計(jì)值作為未知參數(shù)作為未知參數(shù)取得最大值的取得最大值的 ).;,(max) ;,( 2

11、1 21 nn xxxLxxxL 即即 )(可能的取值范圍可能的取值范圍是是其中其中 , 21 有關(guān)有關(guān)與樣本值與樣本值這樣得到的這樣得到的 n xxx ),( 21n XXX , 的最大似然估計(jì)值的最大似然估計(jì)值參數(shù)參數(shù) . 的最大似然估計(jì)量的最大似然估計(jì)量參數(shù)參數(shù) )( L選取使似然函數(shù)選取使似然函數(shù) ),( 21n xxx 記為記為 屬連續(xù)型屬連續(xù)型總體總體 X)2( 似然函數(shù)的定義似然函數(shù)的定義 , );( xf設(shè)概率密度為設(shè)概率密度為, ,為待估參數(shù)為待估參數(shù) .可能的取值范圍可能的取值范圍是是 的樣本，的樣本，是來自是來自設(shè)設(shè)XXXX n , 21 則則 . );(, 1 21 n

12、 i in xfXXX 的聯(lián)合密度為的聯(lián)合密度為 nn XXXxxx, 2121 為相應(yīng)于樣本為相應(yīng)于樣本設(shè)設(shè) .的一個(gè)樣本值的一個(gè)樣本值落在點(diǎn)落在點(diǎn)則隨機(jī)點(diǎn)則隨機(jī)點(diǎn)),( 21n XXX nn xxxxxxd,d,d(),( 2121 邊長分別為邊長分別為的鄰域的鄰域 概率近似地為概率近似地為內(nèi)的內(nèi)的維立方體維立方體的的)n )( L);,( 21 n xxxL , );( 1 n i i xf .)(稱為樣本的似然函數(shù)稱為樣本的似然函數(shù) L ).;,(max) ;,( 2121 nn xxxLxxxL 若若 ),( 21n xxx ),( 21n XXX , 的最大似然估計(jì)值的最大似然估計(jì)

13、值參數(shù)參數(shù) . 的最大似然估計(jì)量的最大似然估計(jì)量參數(shù)參數(shù) ,d );( 1 i n i i xxf 求最大似然估計(jì)的步驟求最大似然估計(jì)的步驟: : );();,()( 1 21 n i in xpxxxLL );(ln)(ln 1 n i i xpL ; );(ln)(ln 1 n i i xfL ; );();,()( 1 21 n i in xfxxxLL或或 取對數(shù)取對數(shù)二二 )( 或或 寫出似然函數(shù)寫出似然函數(shù)一一 )( )(三三 最大似然估計(jì)法也適用于分布中含有最大似然估計(jì)法也適用于分布中含有多個(gè)多個(gè)未知未知 ., 2 , 1, 0lnkiL i ,個(gè)方程組成的方程組個(gè)方程組成的方程

14、組解出由解出由 k 對數(shù)似然方程組對數(shù)似然方程組 對數(shù)似對數(shù)似 然方程然方程 此時(shí)只需令此時(shí)只需令參數(shù)的情況參數(shù)的情況. . . ), 2 , 1( ii ki 的最大似然估計(jì)值的最大似然估計(jì)值數(shù)數(shù) 即可得各未知參即可得各未知參 . 的最大似然估計(jì)值的最大似然估計(jì)值解方程即得未知參數(shù)解方程即得未知參數(shù) , 0 d )(lnd L 并令并令, d )(lnd L 求導(dǎo)求導(dǎo)對對 例例4), 1(pbX設(shè)設(shè) ,個(gè)樣本個(gè)樣本.的最大似然估計(jì)量的最大似然估計(jì)量求求 p 的一的一是來自是來自XXXX n , 21 解解的的為相應(yīng)于樣本為相應(yīng)于樣本設(shè)設(shè) nn XXXxxx, 2121 ,一個(gè)樣本值一個(gè)樣本值

15、的分布律為的分布律為X .1 , 0 xxXP ,)1( 1 xx pp 故似然函數(shù)故似然函數(shù) ii x n i x pp 1 1 )1( ,)1( 11 n i i n i i xnx pp )(pL )(lnpL 而而 ),1ln(ln 11 pxnpx n i i n i i , 0 的最大似然估計(jì)值的最大似然估計(jì)值解得解得 p p )(ln d d pL p p xn p x n i i n i i 1 11 令令 n i i x n1 1 .x 的最大似然估計(jì)量為的最大似然估計(jì)量為p p .X n i i X n1 1 這一估計(jì)量與矩估計(jì)量是相同的這一估計(jì)量與矩估計(jì)量是相同的. .

16、例例5),( 2 NX設(shè)總體設(shè)總體, 2為未知參數(shù) 為未知參數(shù) , 21 的一個(gè)樣本值的一個(gè)樣本值是來自是來自Xxxx n 的最的最和和求求 2 .大似然估計(jì)量大似然估計(jì)量 解解的概率密度為的概率密度為X ),;( 2 xf,e 2 1 2 2 2 )( x 似然函數(shù)為似然函數(shù)為 ,e 2 1 2 2 2 )( 1 i x n i ),( 2 L ),(ln 2 L , 0),(ln , 0),(ln 2 2 2 L L 令令 ,0 1 1 2 n i i nx ,0)( )(2 1 2 1 2 222 n i i x n ,)( 2 1 ln 2 )2ln( 2 1 2 2 2 n i i

17、x nn 由前一式解得由前一式解得 n i i x n 1 1 x 代入后一式得代入后一式得 .)( 1 2 1 xx n n i i 2 為為的的最最大大似似然然估估計(jì)計(jì)量量分分別別因因此此 2 , ,X .)( 1 2 1 XX n n i i 它們與相應(yīng)的矩估計(jì)量相同它們與相應(yīng)的矩估計(jì)量相同. . 2 例例6,上服從均勻分布上服從均勻分布在在設(shè)總體設(shè)總體baX,a其中其中 ,未知未知b , 21 的一個(gè)樣本值的一個(gè)樣本值是來自總體是來自總體 Xxxx n ., 的最大似然估計(jì)量的最大似然估計(jì)量求求ba 解解 ,min 21n xxx ,max 21n xxx )1( x )(n x 記記

18、 ),;(baxf , bxa .其他其他 , 1 ab ,0 的概率密度為的概率密度為X 補(bǔ)充例題補(bǔ)充例題 ),(baL .其他其他 , )( 1 n ab ,0 似然函數(shù)為似然函數(shù)為 由于由于 , 21 bxxxa n , 21 bxxxa n 等價(jià)于等價(jià)于 , )1( xa , )( bx n 似然函數(shù)為似然函數(shù)為 ),(baL .其他其他 , )( 1 n ab ,0 , )1( xa , )( bx n ),(baL n ab)( 1 , )( 1 )1()( n n xx 時(shí)取到最大時(shí)取到最大在在即似然函數(shù)即似然函數(shù) )()1( ,),( n xbxabaL .)( )1()( n

19、 n xx 值值 的最大似然估計(jì)值為的最大似然估計(jì)值為ba, 的最大似然估計(jì)量為的最大似然估計(jì)量為ba, a )1( x ,min 1 i ni x b )(n x ,max 1 i ni x , )1( xa 于是對于滿足條件于是對于滿足條件有有的任意的任意baxb n , )( a b ,min 1 i ni X .max 1 i ni X 最大似然估計(jì)的性質(zhì)最大似然估計(jì)的性質(zhì) , )( uu 的函數(shù)的函數(shù)設(shè)設(shè)具有單值反函數(shù)具有單值反函數(shù) Uuu ),( 的概率密度函數(shù)的概率密度函數(shù)是是又設(shè)又設(shè)X ,)();(的最大似然估計(jì)的最大似然估計(jì)中的參數(shù)中的參數(shù)形式已知形式已知 fxf .)() (