點估計量的求法(1)

1、一、矩估計法一、矩估計法 二、最大似然估計法二、最大似然估計法 三、用次序統(tǒng)計量估計參數(shù)的方法三、用次序統(tǒng)計量估計參數(shù)的方法 由于估計量是樣本的函數(shù)由于估計量是樣本的函數(shù), 是隨機變量是隨機變量, 故故 對不同的樣本值對不同的樣本值, 得到的參數(shù)值往往不同得到的參數(shù)值往往不同, 因此因此 如何求得參數(shù)如何求得參數(shù) 的估計量便是問題的關鍵所在的估計量便是問題的關鍵所在. 常用構造估計量的方法常用構造估計量的方法: (三種三種) 1. 矩估計法矩估計法 2. 最最(極極)大似然估計法大似然估計法. 3. 次序統(tǒng)計量估計法次序統(tǒng)計量估計法 1. 矩估計法矩估計法 基本思想基本思想：用：用樣本矩樣本矩

2、估計估計總體矩總體矩 . 理論依據(jù)理論依據(jù): : 或格列汶科定理或格列汶科定理 它是基于一種簡單的它是基于一種簡單的“替換替換”思思 想建立起來的一種估計方法想建立起來的一種估計方法 . 是英國統(tǒng)計學家是英國統(tǒng)計學家K.皮爾遜最早提出的皮爾遜最早提出的 . 大數(shù)定律大數(shù)定律 記總體記總體k階原點矩為階原點矩為)( k k XE 樣本樣本k階原點矩為階原點矩為 n i k ik X n A 1 1 記總體記總體k階中心矩為階中心矩為 k k XEXE)( 樣本樣本k階中心矩為階中心矩為 n i k ik XX n B 1 )( 1 用樣本矩來估計總體矩用樣本矩來估計總體矩, , 用樣本矩的連續(xù)函

3、用樣本矩的連續(xù)函 數(shù)來估計總體矩的連續(xù)函數(shù)數(shù)來估計總體矩的連續(xù)函數(shù), , 這種估計法稱這種估計法稱 為矩估計法為矩估計法. . 矩估計法的具體步驟矩估計法的具體步驟: ；，求求出出mkXE m k k , 2 , 1),()(1 21 設總體設總體 X 的分布函數(shù)為的分布函數(shù)為),;( 21m xF m個待估參數(shù)個待估參數(shù) (未知未知) ), 2 , 1()(mkXE k k 存存在在 ),( 21n XXX 為來自總體為來自總體X的簡單隨機樣本的簡單隨機樣本. 21 2, , kk Akm 要要求求： 12 ,. m m 這這是是一一個個包包含含個個未未知知參參數(shù)數(shù)的的方方程程組組 ,3 2

4、1m 解解出出其其中中. , , 21 表表示示用用 m . , , , 4 21 21 矩矩估估計計量量 這這個個估估計計量量稱稱為為的的估估計計量量 分分別別作作為為用用方方程程組組的的解解 m m 矩估計量的觀察值稱為矩估計值矩估計量的觀察值稱為矩估計值. 注注 ( ) ()(). kk kk g gg 若若是是的的矩矩估估計計，為為連連續(xù)續(xù)函函數(shù)數(shù)，則則也也 稱稱是是的的矩矩估估計計 . ,),( ,)0( , 0 21 的估計量的估計量求求 的樣本的樣本是來自總體是來自總體未知未知 其中其中上服從均勻分布上服從均勻分布在在設總體設總體 XXXX X n 解解)( 1 XE 因為因為,

5、 2 根據(jù)矩估計法根據(jù)矩估計法, , 2 1 XA 令令 .2 的的估估計計量量為為所所求求所所以以 X 例例1 . ,),( , , 21 的的估估計計量量 求求的的樣樣本本是是來來自自總總體體未未知知 其其中中上上服服從從均均勻勻分分布布在在設設總總體體 b aXXXXb abaX n 解解)( 1 XE , 2 ba )( 2 2 XE , 412 22 baba 2 )()(XEXD , 1 2 1 1 n i i X n A ba 令令 2 22 4 )( 12 )( A baba , 1 1 2 n i i X n 例例2 )(12 2 2 12 1 AAab Aba 即即 解方程

6、組得到解方程組得到a, b的矩估計量分別為的矩估計量分別為 )(3 2 121 AAAa ,)( 3 1 2 n i i XX n X )(3 2 121 AAAb ,)( 3 1 2 n i i XX n X ., , 0 , 2 21 22 2 的的矩矩估估計計量量和和求求一一個個樣樣本本 是是又又設設均均為為未未知知和和但但 且且有有都都存存在在和和方方差差的的均均值值設設總總體體 n XXX X 解解)( 1 XE , )( 2 2 XE , 22 2 )()(XEXD 2 22 1 A A 令令 解方程組得到矩估計量分別為解方程組得到矩估計量分別為, 1 XA 2 12 2 AA n

7、 i i XX n 1 2 21 .)( 1 1 2 n i i XX n 例例3 上例表明上例表明: 總體均值與方差的矩估計量的表達式不因不總體均值與方差的矩估計量的表達式不因不 同的總體分布而異同的總體分布而異. 的的矩矩估估計計量量即即得得未未知知例例 222 , ,),( NX ,X 2 .)( 1 1 2 n i i XX n 一般地一般地: : , 1 1 的均值的矩估計的均值的矩估計作為總體作為總體用樣本均值用樣本均值XX n X n i i . )( 1 2 1 2 的的方方差差的的矩矩估估計計 作作為為總總體體用用樣樣本本二二階階中中心心矩矩 X XX n B n i i X

8、XE )( 設總體設總體X的分布密度為的分布密度為 )0,(e 2 1 );( Rxxp x ),( 21n XXX為來自總體為來自總體X的樣本的樣本. 求參數(shù)求參數(shù) 的矩估計量的矩估計量. 分析：分析： ，中中只只含含有有一一個個未未知知參參數(shù)數(shù) );(xp 一般地，一般地， 只需要求：只需要求： 11 A 的矩估計量的矩估計量. xxpxXEd);()( 然然而而 xxpxXEd);()( 然然而而 0de 2 1 xx x 不含有不含有 ，故不能由此得到故不能由此得到 的矩估計量的矩估計量. 解解(方法方法1) n i i X n XE 1 22 1 )( 22 A 要求：要求： xxp

9、xXEd);()( 22 xx x de 2 1 2 xx x de 1 0 2 .2 2 n i i X n 1 22 1 2 n i i X n 1 2 2 1 的矩估計量的矩估計量 要求：要求： n i i X n XE 1 1 )( xxpxXEd);()( xx x de 2 1 xx x de 1 0 )dee( 0 0 xx xx 的矩估計量：的矩估計量： n i i X n 1 1 注注 此例表明：同一參數(shù)的矩估計量可不唯一此例表明：同一參數(shù)的矩估計量可不唯一. 1 0 00 00 ( ,), e, ( ; ,)( ) , , , x X xx f x x 已已知知水水文文站站

10、最最高高水水位位 服服從從 ， 其其中中未未知知參參數(shù)數(shù)，試試求求 ， 的的矩矩估估計計 例例5(p43例例2.9) 1由由 分分布布的的性性質質 可可知知， 2 2 1() (), (),E XE X 解解 建立方程建立方程 2 2 1 11 , () n i i X X n 求解方程可得求解方程可得 2 22 , nn XX SS 矩法的矩法的優(yōu)點：優(yōu)點：簡單易行簡單易行, 并不需要事先并不需要事先 知道總體是什么分布知道總體是什么分布 . 缺點：缺點：當總體類型已知時，沒有當總體類型已知時，沒有 充分利用分布提供的信息充分利用分布提供的信息. 一般場合下一般場合下, 矩估計量不矩估計量不

11、 具有唯一性具有唯一性 . 其主要原因在于建立矩法方程時，選取那些其主要原因在于建立矩法方程時，選取那些 總體矩用相應樣本矩代替帶有一定的隨意性總體矩用相應樣本矩代替帶有一定的隨意性 . 小結：小結： 最大似然估計法是在總體類型已知條件下最大似然估計法是在總體類型已知條件下 使用的一種參數(shù)估計方法使用的一種參數(shù)估計方法 . 它首先是由德國數(shù)學家它首先是由德國數(shù)學家 高斯在高斯在1821年提出的年提出的 , Gauss Fisher 然而，這個方法常歸功于然而，這個方法常歸功于 英國統(tǒng)計學家英國統(tǒng)計學家Fisher . Fisher在在1921年重新發(fā)現(xiàn)了年重新發(fā)現(xiàn)了 這一方法，并首先研究了這種

12、方這一方法，并首先研究了這種方 法的一些性質法的一些性質 . Fisher資料資料 先看一個簡單例子：先看一個簡單例子： 一只野兔從前方竄過一只野兔從前方竄過 . 是誰打中的呢？是誰打中的呢？ 某位同學與一位獵人一起外某位同學與一位獵人一起外 出打獵出打獵 . 如果要你推測，如果要你推測， 你會如何想呢你會如何想呢? 只聽一聲槍響，野兔應聲倒下只聽一聲槍響，野兔應聲倒下 . 你就會想，只發(fā)一槍便打中你就會想，只發(fā)一槍便打中,獵人命中的概獵人命中的概 率一般大于這位同學命中的概率率一般大于這位同學命中的概率. 看來這一槍看來這一槍 是獵人射中的是獵人射中的 . 這個例子所作的推斷已經(jīng)體現(xiàn)了這個例

13、子所作的推斷已經(jīng)體現(xiàn)了最大似然最大似然 法法的基本思想的基本思想 . 設設 XB(1, p), p未知未知. 設想我們事先知道設想我們事先知道 p 只有兩種可能只有兩種可能: 問問: 應如何估計應如何估計p? p=0.7 或或 p=0.3 如今重復試驗如今重復試驗3次次,得結果得結果: 0 , 0, 0 由概率論的知識由概率論的知識, 3次試驗中出現(xiàn)次試驗中出現(xiàn)“1”的次數(shù)的次數(shù) ), 3(pBY (k=0, 1, 2, 3) 3 1() kkn k P YkC pp (k=0, 1, 2, 3) Y0 1 2 3 kYP 時時3 . 0 p 0.343 0.441 0.189 0.027 時

14、時7 . 0 p0.027 0.189 0.441 0.343 依題設，依題設，“重復試驗重復試驗3次次, 得結果得結果: 0 , 0, 0” 應如何估計應如何估計p?p=0.7 還是還是 p=0.3 ？ 7 . 0; 03 . 0; 0 pYPpYP .3 . 0的的估估計計作作為為選選pp 3 1() kkn k P YkC pp 0.Y 即即事事件件發(fā)發(fā)生生 的概率的概率取到觀察值取到觀察值則樣本則樣本 nn xxxXXX, 2121 發(fā)生的概率為發(fā)生的概率為即事件即事件 nn xXxXxX , 2211 ),;();,()( 1 21 n i in xpxxxLL .)(稱為樣本似然函

15、數(shù)稱為樣本似然函數(shù) L 1212 , . nn x xxXXX 設設為為相相應應于于樣樣本本的的 一一個個樣樣本本值值 2 2 似然函數(shù)似然函數(shù) 最大似然估計法最大似然估計法 )(, 21 Lxxx n 選選取取使使似似然然函函數(shù)數(shù)時時得得到到樣樣本本值值 , 的的估估計計值值作作為為未未知知參參數(shù)數(shù)取取得得最最大大值值的的 ).;,(max) ;,( 2121 nn xxxLxxxL 即即 )(可可能能的的取取值值范范圍圍是是其其中中 ),( , 21 21 n n xxx xxx 記記為為有有關關與與樣樣本本值值這這樣樣得得到到的的 ),( 21n XXX , 的的最最大大似似然然估估計計

16、值值參參數(shù)數(shù) . 的的最最大大似似然然估估計計量量參參數(shù)數(shù) ,)2(屬連續(xù)型屬連續(xù)型設總體設總體 X ,),;(為為待待估估參參數(shù)數(shù)設設概概率率密密度度為為xf , 21 的的樣樣本本是是來來自自總總體體XXXX n . );(, 1 21 n i in xfXXX 的的聯(lián)聯(lián)合合密密度度為為則則 似然函數(shù)的定義似然函數(shù)的定義 )(可可能能的的取取值值范范圍圍是是其其中中 . , 2121 一一個個樣樣本本值值 的的為為相相應應于于樣樣本本又又設設 nn XXXxxx 概概率率近近似似地地為為的的 內內維維立立方方體體的的邊邊長長分分別別為為鄰鄰域域 的的落落在在點點則則隨隨機機點點 ),( )

17、,(),( 21 2121 ndxdxdx xxxXXX n nn ,);( 1 i n i i dxxf ),;();,()( 1 21 n i in xfxxxLL .)(稱為樣本的似然函數(shù)稱為樣本的似然函數(shù) L ).;,(max) ;,( 2121 nn xxxLxxxL 若若 ),( 21n xxx ),( 21n XXX , 的的最最大大似似然然估估計計值值參參數(shù)數(shù) . 的的最最大大似似然然估估計計量量參參數(shù)數(shù) 3.3.求最大似然估計的步驟求最大似然估計的步驟 ; );();,()( );();,()( )( 1 21 1 21 n i in n i in xfxxxLL xpxxx

18、LL 或或 寫出似然函數(shù)寫出似然函數(shù)一一 ; );(ln)(ln);(ln)(ln )( 11 n i i n i i xfLxpL或或 取取對對數(shù)數(shù)二二 . , 0 d )(lnd , d )(lnd )( 的最大似然估計值的最大似然估計值解方程即得未知參數(shù)解方程即得未知參數(shù) 并令并令求導求導對對三三 LL 最大似然估計法也適用于分布中含有多個最大似然估計法也適用于分布中含有多個 未知參數(shù)的情況未知參數(shù)的情況. 此時只需令此時只需令 ., 2 , 1, 0lnkiL i . ), 2 , 1( , ii ki k 的的最最大大似似然然估估計計值值數(shù)數(shù) 即即可可得得各各未未知知參參個個方方程程

19、組組成成的的方方程程組組解解出出由由 對數(shù)似然方程組對數(shù)似然方程組 對數(shù)似對數(shù)似 然方程然方程 12 (0) , . n X XXXX 設設服服從從參參數(shù)數(shù)為為的的泊泊松松 分分布布是是來來自自的的一一個個樣樣本本 求求 的的最最 大大似似然然估估計計量量 解解的分布律為的分布律為因為因為X ), 2 , 1 , 0( ! nxe x xXP x n ii x e x L i 1 ! )( , ! 1 1 n i i x n x e n i i 的似然函數(shù)為的似然函數(shù)為所以所以 例例6(p466(p46例例2 2.12).12) ,!ln)(ln 11 n i i n i i xxnL , 0

20、)(ln d d 1 n i i x nL令令 的最大似然估計值的最大似然估計值解得解得 , 1 1 xx n n i i 的的最最大大似似然然估估計計量量為為 . 1 1 XX n n i i 這一估計量與矩估計量是相同的這一估計量與矩估計量是相同的. 12 22 2 ( ,), , . n XN x xxX 設設總總體體為為未未知知 參參數(shù)數(shù)是是來來自自的的一一個個樣樣本本值值 求求 和和的的最最大大似似然然估估計計量量 解解 的的概概率率密密度度為為X , 2 1 ),;( 2 2 2 )( 2 x exf X 的的似然函數(shù)為似然函數(shù)為 , 2 1 ),( 2 2 2 )( 1 2 i

21、x n i eL 例例7(p477(p47例例2 2.13).13) ,)( 2 1 ln 2 )2ln( 2 ),(ln 1 2 2 22 n i i x nn L 0),(ln 0),(ln 2 2 2 L L 令令 ,0 1 1 2 n i i nx ,0)( )(2 1 2 1 2 222 n i i x n 解得解得由由0 1 1 2 n i i nx , 1 1 xx n n i i 解解得得由由0)( )(2 1 2 1 2 222 n i i x n ,)( 1 2 1 2 xx n n i i 為為的最大似然估計量分別的最大似然估計量分別和和故故 2 ,X .)( 1 2 1

22、 2 XX n n i i 它們與相應的矩它們與相應的矩 估計量相同估計量相同. 例例8(p478(p47例例2 2.14).14)設總體設總體X服從柯西分布，其分布密度為服從柯西分布，其分布密度為 2 1 1 ( , ), , () f xx x 解解由分布可知，其似然函數(shù)為由分布可知，其似然函數(shù)為 2 1 1 1 ( ) () n i i L x 2 1 0 1 d ( ) d() n i i i xL x 此方程只能求解其數(shù)值解，可以以樣本中位數(shù)為初始此方程只能求解其數(shù)值解，可以以樣本中位數(shù)為初始 值進行迭代。又因為此分布均值不存在，不可用矩估計值進行迭代。又因為此分布均值不存在，不可用

23、矩估計. 12 1212 12 , , ,. n X x xxX 設設總總體體在在上上服服從從均均勻勻分分 布布 其其中中未未知知是是來來自自總總體體的的一一 個個樣樣本本值值 求求的的最最大大似似然然估估計計量量 解解 112( ) min(,), n xx xx 記記 12( ) max(,), nn xx xx 的的概概率率密密度度為為X 12 21 12 1 0 , ( ;,) , x f x 其其它它 例例9(p48例例2.15) 1122112( )( ) , nn x xxxx 因因為為等等價價于于 12 作作為為, ,的的函函數(shù)數(shù)的的似似然然函函數(shù)數(shù)為為 112 21 12 1

24、 0 ( )( ) , ()(,) , nn xx L 其其它它 11212( )( ) , v xx 于于是是對對于于滿滿足足條條件件的的任任意意有有 12 211 11 ( )( ) (,), ()() nn n L xx 12112 1 ( )( ) ( )( ) ( ,), (), n n n Lxx xx 即即似似然然函函數(shù)數(shù)在在時時 取取到到最最大大值值 12 , 的的最最大大似似然然估估計計值值 11 1 ( ) min, i i n xx 2 1 ( ) max, ni i n xx 12 , 的的最最大大似似然然估估計計量量 1 1 min, i i n X 2 1 max.

25、 i i n X ()( )( ) . ggg 設設 是是 的的最最大大似似然然估估計計，如如果果函函數(shù)數(shù) 是是的的連連續(xù)續(xù)函函數(shù)數(shù)，則則是是的的最最大大似似 然然估估計計 4.4. 最大似然估計的性質最大似然估計的性質 定理定理2.4 此性質可以推廣到總體分布中含有多個未知此性質可以推廣到總體分布中含有多個未知 參數(shù)的情況參數(shù)的情況. 2 12 2 22 ( ,), ,(,) . n XN x xxXg P X 設設總總體體為為未未知知 參參數(shù)數(shù)是是來來自自的的一一個個樣樣本本值值 求求 的的最最大大似似然然估估計計 例例10(p4810(p48例例2 2.16).16) 解解 2 212(

26、,)gP XP X 22 11() X P 222 2 ,( ,) ( ,) n X S g 而而 和和的的最最大大似似然然估估計計為為同同時時為為 連連續(xù)續(xù)函函數(shù)數(shù)，因因而而的的最最大大似似然然估估計計為為 2 2 1 ( ,)() n X g S 2 (,) . n TTXX T 1 1 設設X X為為 的的任任一一充充 分分統(tǒng)統(tǒng)計計量量， 則則 的的最最大大似似然然估估計計 一一定定可可以以表表示示成成 的的函函數(shù)數(shù) 定理定理2.5 證證由因子分解定理可知由因子分解定理可知 1212 ( )(,) ( (,), ) nn Lh x xxg T x xx ( ) (, ), hL g T

27、T 其其中中 與與 無無關關，因因此此，最最大大化化等等于于最最大大化化 因因此此，最最大大似似然然估估計計 （若若存存在在）一一定定是是 的的函函數(shù)數(shù). . 注注 該定理說明最大似然估計充分利用了樣本該定理說明最大似然估計充分利用了樣本 中包含的參數(shù)的信息，因而是一種比較好的估計，中包含的參數(shù)的信息，因而是一種比較好的估計， 通常情況下，最大似然估計不僅是相合估計，而通常情況下，最大似然估計不僅是相合估計，而 且是漸近正態(tài)估計且是漸近正態(tài)估計. 1.1. 用樣本中位數(shù)與樣本極差估計參數(shù)用樣本中位數(shù)與樣本極差估計參數(shù) 由由1.4節(jié)可知，由于樣本中位數(shù)與樣本極差計算節(jié)可知，由于樣本中位數(shù)與樣本極差計算 方便，因而通常情況下，可以用樣本中位數(shù)估計總體期方便，因而通常情況下，可以用樣本中