chap7-1-參數(shù)的點估計課件

第七章參數(shù)估計例如

(1)為了研究人們的市場消費行為,我們要先搞清楚人們的收入狀況.

假設(shè)某城市人均年收入X～N(,2).但參數(shù)和2的具體值并不知道.需要通過樣本來估計.(2)假定某城市在單位時間(譬如一個月)內(nèi)交通事故發(fā)生次數(shù)X～P().

參數(shù)未知,需要從樣本來估計.

總體是由總體分布來刻畫的.點估計參數(shù)估計區(qū)間估計總體分布的未知參數(shù)的估計──總體分布的參數(shù)往往是未知的,需要通過樣本來估計.通過樣本來估計總體的參數(shù),稱為參數(shù)估計,它是統(tǒng)計推斷的一種重要形式.我們主要討論參數(shù)估計的常用方法.

估計的優(yōu)良性準則.

若干重要總體的參數(shù)估計問題.

第七章第一節(jié)矩估計記總體k階原點矩為樣本k階原點矩為記總體k階中心矩為樣本k階中心矩為

∵X1,X2,,Xn是獨立同分布的.∴X1m,X2m,,Xnm也是獨立同分布的.于是有:

E(X1m)=E(X2m)==E(Xnm)=E(Xm)=

.由大數(shù)定律,樣本原點矩Am作為X1m,X2m,,Xnm

的算術(shù)平均值依概率收斂到均值μm

=E(Xm).即:

其基本思想是:用同階、同類的樣本矩來估計總體矩。理論依據(jù):矩估計是基于一種簡單的“替換”思想建立起來的一種估計方法.是英國統(tǒng)計學(xué)家K.皮爾遜最早提出的.大數(shù)定律用相應(yīng)的樣本矩去估計總體矩的估計方法就稱為矩估計法.設(shè)總體X的分布函數(shù)中含有k個未知參數(shù)

步驟一、我們把總體X的m階原點矩E(Xm)記為μm,m=1,2,,k

一般地,μm(m=1,2,,k)是總體分布中的參數(shù)1,2,,k的函數(shù).故應(yīng)該把μm(m=1,2,,k)記之為:μm

(1,2,,k)(m=1,2,,k

)方法：步驟二、

寫出m階樣本原點矩:步驟四、解這個方程組,其解記為

它們就可以做為1,2,,k的估計.這樣求出的估計叫做矩估計.

步驟三、令得關(guān)于1,2,,k的方程組解:由矩法,總體矩樣本矩從中解得的矩估計.即為數(shù)學(xué)期望是一階原點矩

例1

設(shè)總體X的概率密度為是未知參數(shù),其中X1,X2,…,Xn是取自X的樣本,求參數(shù)的矩估計.設(shè)總體的均值為,方差為2,于是由此列出方程組:例2

均值,方差2的矩估計

∴均值,方差2的矩估計是:例3設(shè)總體X的概率密度函數(shù)為未知，求的矩估計量。解：由于E(X)=0與未知參數(shù)無關(guān)，因此必須考慮總體的更高階矩。令得

矩法的優(yōu)點是簡單易行,并不需要事先知道總體是什么分布.

缺點是，當總體類型已知時，沒有充分利用分布提供的信息.一般場合下,矩估計量不具有唯一性.其主要原因在于建立矩法方程時，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性.第七章第二節(jié)極大似然估計極大似然法是在總體類型已知條件下使用的一種參數(shù)估計方法.它首先是由德國數(shù)學(xué)家高斯在1821年提出的,然而，這個方法常歸功于英國統(tǒng)計學(xué)家費歇.GaussFisher費歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).并給出了求參數(shù)極大似然估計一般方法——極大似然估計原理。

極大似然法的基本思想先看一個簡單例子：一只野兔從前方竄過.是誰打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測，你是如何推斷的呢?只聽一聲槍響，野兔應(yīng)聲倒下.你就會想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來這一槍是獵人射中的.這個例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.I.極大似然估計原理設(shè)總體

X

的分布

(連續(xù)型時為概率密度，離散型時為概率分布)

為f(x,

θ)

,X1,X2,…,Xn

是抽自總體

X

的簡單樣本。于是，樣本的聯(lián)合概率函數(shù)(連續(xù)型時為聯(lián)合概率密度，離散型時為聯(lián)合概率分布)

為被看作固定，但未知的參數(shù)。視為變量將上式簡記為

L(θ

)，即稱L(θ

)為θ

的似然函數(shù)。視為變量視為固定值假定現(xiàn)在我們觀測到一組樣本X1,X2,…,Xn，要去估計未知參數(shù)θ

。稱為θ

的極大似然估計(MLE)。一種直觀的想法是：哪個參數(shù)(多個參數(shù)時是哪組參數(shù))

使得現(xiàn)在的出現(xiàn)的可能性(概率)最大，哪個參數(shù)(或哪組參數(shù))就作為參數(shù)的估計。這就是極大似然估計原理。如果θ

可能變化空間,稱為參數(shù)空間。MaximumLikelihoodEstimator

(4)在最大值點的表達式中,用樣本值代入就得參數(shù)的極大似然估計值.II.求極大似然估計(MLE)的一般步驟是：由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù),得到似然函數(shù)L();(2)求ln

L(),(為求似然函數(shù)L()的最大值點簡單，ln

L()和L()在同一點處取得極值）（3）很多情況下關(guān)于可微，這時可從求出的MLE對數(shù)似然方程(組)L(p)=f(X1,X2,…Xn;p)

例1設(shè)X1,X2,…Xn是取自總體X~B(1,p)的一個樣本，求參數(shù)p的極大似然估計.解：似然函數(shù)為:用上述求導(dǎo)方法求參數(shù)的MLE有時行不通，這時要用極大似然原理來求.對數(shù)似然函數(shù)為：對p求導(dǎo)并令其為0，=0得即為p

的MLE.解：似然函數(shù)為例2：設(shè)X1,X2,…,Xn

是抽自總體

X

的一個樣本，X

有如下概率密度函數(shù)其中θ

>0為未知常數(shù)。求θ

的極大似然估計。也可寫成求導(dǎo)并令其導(dǎo)數(shù)等于零，得解上述方程，得

正態(tài)總體

N(,2)兩個未知參數(shù)和2的極大似然估計.(注:我們把2看作一個參數(shù))解:例3

似然方程組為根據(jù)第一式,就得到:代入第二式,就得到:

由上,似然方程組的解唯一.自己驗證它是極大值點.例4：設(shè)

X

～U(a,b)，求a,b的極大似然估計。

解：因所以由上式看到：L(a,b)作為a和b的二元函數(shù)是不連續(xù)的，所以我們不能用似然方程組來求極大似然估計，而必須從極大似然估計的定義出發(fā)，求L(a,b)的最大值。為使L(a,b)達到最大,b－a應(yīng)該盡量地小.但b又不能小于max{x1,x2,,xn

}.否則，L(a,b)=0.類似地a不能大過min{x1,x2,,xn}.

因此,a和b的極大似然估計為我們不能用似然方程組來求極大似然估計,而必須從極大似然估計的定義出發(fā),求L(a,b)的最大值.解：似然函數(shù)為

例5

設(shè)X1,X2,…Xn是取自總體X的一個樣本其中>0,求的極大似然估計.i=1,2,…,n解：似然函數(shù)為i=1,2,…,n對數(shù)似然函數(shù)為=0(2)由(1)得=0(1)對分別求偏導(dǎo)并令其為0,對數(shù)似然函數(shù)為用求導(dǎo)方法無法最終確定用極大似然原則來求.是對故使達到最大的即的MLE，于是

取其它值時，即為的MLE.且是的增函數(shù)由于第七章第三節(jié)估計量的優(yōu)良性準則

從前面兩節(jié)的討論中可以看到:●同一參數(shù)可以有幾種不同的估計，這時就需要判斷采用哪一種估計為好的問題?！窳硪环矫?，對于同一個參數(shù)，用矩法和極大似然法即使得到的是同一個估計,也存在衡量這個估計優(yōu)劣的問題。估計量的優(yōu)良性準則就是：評價一個估計量“好”與“壞”的標準。

設(shè)總體的分布參數(shù)為，對一切可能的成立,則稱為的無偏估計。一、無偏性對于樣本X1,X2,,Xn的不同取值，取不同的值

)。如果的均值等于，即簡記為是的一個估計(注意!它是一個統(tǒng)計量，是隨機變量。例1：設(shè)

X1,X2,…,Xn

為抽自均值為的總體X的隨機樣本，考慮

的如下幾個估計量：定理1：設(shè)總體

X

的均值為,方差為2,X1,X2,…,Xn

為來自總體

X的隨機樣本，記與分別為樣本均值與樣本方差，即

即樣本均值和樣本方差分別是

總體均值

和總體方差

的無偏估計。證明：因為

X1,X2,…,Xn

獨立同分布，且E(Xi

)=μ

,所以另一方面，因于是，有注意到前面兩節(jié)中，我們曾用矩法和極大似然法分別求得了正態(tài)總體N(μ

,σ2)中參數(shù)

σ2

的估計,均為很顯然，它不是

σ2

的無偏估計。這正是我們?yōu)槭裁匆獙⑵浞帜感拚秊閚-1，獲得樣本方差S2來估計

σ2

的理由。例2：求證：樣本標準差S不是總體標準差的無偏估計。證明：因

E(S2)=2，所以，Var(S)+[E(S)]2=

2，由

Var(S)＞0，知

[E(S)]2=

2-Var(S)＜

2.所以，E(S)＜

.故，S

不是

的無偏估計。例3：設(shè)是的無偏估計，且有證明不是的無偏估計。證明：是的無偏估計

用估計量估計，估計誤差I(lǐng)I.均方誤差準則

是隨機變量，通常用其均值衡量估計誤差的大小。

要注意:為了防止求均值時正、負誤差相互抵消，我們先將其平方后再求均值，并稱其為均方誤差，記成，即(MeanSquareError)