西工大-概率論與數(shù)理統(tǒng)計(jì)：參數(shù)的點(diǎn)估計(jì)

概率論與數(shù)理統(tǒng)計(jì)一、問題的提出二、矩估計(jì)法第一節(jié)參數(shù)的點(diǎn)估計(jì)三、最大似然估計(jì)未知參數(shù)，這種問題稱為參數(shù)估計(jì)問題.在實(shí)際中我們經(jīng)常遇到的問題：總體的分布函數(shù)的形式為已知，是未知參數(shù).是的一個(gè)樣本,為相應(yīng)的一個(gè)樣本值.我們希望用樣本值去估計(jì)一、點(diǎn)估計(jì)問題的提出

已知某電話局在單位時(shí)間內(nèi)收到用戶呼喚次數(shù)這個(gè)總體服從泊松分布,即的分布律例1已知某種燈泡的壽命，即的分布密度

的形式已知，但參數(shù)未知.利用樣本值，估計(jì)，.

例2考慮某廠生產(chǎn)的一批電子元件的壽命X,

總體的分布形式未知，根據(jù)樣本值

估計(jì)元件的平均壽命和元件壽命的差異程度,即估計(jì)總體的均值和方差.例3在數(shù)理統(tǒng)計(jì)中稱統(tǒng)計(jì)量

點(diǎn)估計(jì)常用方法：矩估計(jì)和最大似然估計(jì)法.

解決上述參數(shù)的點(diǎn)估計(jì)問題的思路是:設(shè)法作出合理的估計(jì).的估計(jì)值.構(gòu)造一個(gè)合適的統(tǒng)計(jì)量,對為的估計(jì)量,的觀測值稱為矩估計(jì)法是由英國統(tǒng)計(jì)學(xué)家矩估計(jì)法的基本思想是用樣本的階原點(diǎn)矩去估計(jì)總體的階原點(diǎn)矩;皮爾遜(K.Pearson)在1894年提出.用樣本的階中心矩去估計(jì)總體并由此得到未知參數(shù)的估計(jì)量.二、矩估計(jì)法(MethodofMoment)的k階中心矩存在，現(xiàn)用樣本矩作為總體矩的估計(jì)，即令這便得到含個(gè)參數(shù)的個(gè)方程組,解該方程組得以作為參數(shù)的估計(jì)量.這種求出估計(jì)量的方法稱為矩估計(jì)法.矩估計(jì)法的具體步驟:注這里要求方程組中方程的個(gè)數(shù)=待估參數(shù)的個(gè)數(shù).設(shè)總體服從泊松分布,求參數(shù)的矩估計(jì)量

.

解

設(shè)是總體的一個(gè)樣本,由于可得例4解

設(shè)是總體的一個(gè)樣本，容易求得設(shè)總體服從區(qū)間上的均勻分布,求參數(shù)的矩估計(jì)量.例5故令解得和的矩估計(jì)量為求總體的均值和方差的矩估計(jì).解

設(shè)是總體的一個(gè)樣本，由于故令解得例6解

設(shè)是總體的一個(gè)樣本，容易求得設(shè)總體服從區(qū)間上的均勻分布,求參數(shù)的矩估計(jì)量.例5故令解得和的矩估計(jì)量為設(shè)總體的分布密度為

為總體的一個(gè)樣本，求參數(shù)的矩估計(jì)量.

由于只含有一個(gè)未知參數(shù),一般只需求出便能得到的矩估計(jì)量，但是解即不含有,故不能由此得到的矩估計(jì)量.例7解得的矩估計(jì)量為令故令即的矩估計(jì)量為該例表明參數(shù)的矩估計(jì)量不唯一.本例的矩估計(jì)量也可以這樣求得最大似然估計(jì)作為一種點(diǎn)估計(jì)方法最初是由德國數(shù)學(xué)家高斯(Gauss)于1821年提出，英國統(tǒng)計(jì)學(xué)家費(fèi)歇爾(R.A.Fisher)在1922年作了進(jìn)一步發(fā)展使之成為數(shù)理統(tǒng)計(jì)中最重要應(yīng)用最廣泛的方法之一.GaussFisher三、最大似然估計(jì)

(MaximumLikelihoodestimator)設(shè)總體的分布律為或分布密度為，其中是未知參數(shù)，的分布律(或分布密度)為,當(dāng)給定樣本值后，

它只是參數(shù)的函數(shù)，記為，即則稱為似然函數(shù)，似然函數(shù)形式上和樣本的分布律或分布密度一樣.1.似然函數(shù)

先看一個(gè)簡單例子：一只野兔從前方竄過.是誰打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測，你會如何想呢?只聽一聲槍響，野兔應(yīng)聲倒下.2.最大似然估計(jì)法

下面我們再看一個(gè)例子,進(jìn)一步體會最大似然法的基本思想.

我們想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.估計(jì)這一槍是獵人射中的.

這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了最大似然法的基本思想.最大似然原理的直觀想法：在試驗(yàn)中概率最大的事件最有可能出現(xiàn).一個(gè)試驗(yàn)如有若干個(gè)可能結(jié)果,若在一次試驗(yàn)中，結(jié)果出現(xiàn),則認(rèn)為出現(xiàn)的概率最大.

假定一個(gè)盒中黑球和白球兩種球的數(shù)目之比為3:1，但不知哪種球多，表示從盒中任取一球是黑球的概率，那么或,現(xiàn)在有放回地從盒中抽3個(gè)球，試根據(jù)樣本中的黑球數(shù)來估計(jì)參數(shù).解隨機(jī)變量，即例8估計(jì)只需在和之間作出選擇.直觀來看：

X0123估計(jì)黑球多黑球多白球多白球多估計(jì)只需在和之間作出選擇.計(jì)算這兩種情況下的分布律：的估計(jì)

27/6427/649/641/641/649/6427/6427/643210,,這種情形概率大于另一種情形，說明這種情形最有可能發(fā)生，對應(yīng)的p=1/4最有可能是真值.既然在一次試驗(yàn)中得到樣本值，那么樣本取該樣本值的概率L()應(yīng)最大，但是這里L(fēng)()的最大值點(diǎn)，則這一點(diǎn)就是的估計(jì)值，因?yàn)樗顾迫缓瘮?shù)達(dá)到最大。此法便稱為最大似然估計(jì)法。是樣本的一個(gè)觀測值,設(shè)總體的分布律為

的聯(lián)合概率為則樣本分析：以離散型為例！連續(xù)型類似！注意：這里似然函數(shù)是一個(gè)概率！L()卻是的函數(shù)，所以要想使得其最大，就需找出設(shè)總體的分布密度(或分布律)為，其中為未知參數(shù).又設(shè)是總體的一個(gè)樣本值，如果似然函數(shù)在處達(dá)到最大，則稱分別為的最大似然估計(jì)量.定義6.1由于與有相同的最大值點(diǎn).因此，為最大似然估計(jì)的必要條件為

稱它為似然方程,其中求最大似然估計(jì)量的一般步驟：1°求似然函數(shù)；2°求出及似然方程3°解似然方程得到最大似然估計(jì)值

4°最后得到最大似然估計(jì)量

設(shè)總體服從泊松分布,其中為未知參數(shù)，試求參數(shù)的最大似然估計(jì)量.

設(shè)樣本的一個(gè)觀測值為解,由于總體,故有似然函數(shù)為例9取對數(shù)即

所以的最大似然估計(jì)量為.設(shè)總體，求參數(shù)的最大似然估計(jì)量.解設(shè)是總體的樣本，其觀測值為,由總體,分布密度為例10似然函數(shù)解似然方程得最大似然估計(jì)量為.

設(shè)總體服從區(qū)間上的均勻分布,試求參數(shù)矩估計(jì)量和最大似然估計(jì)量.解其觀測值為，故即的矩估計(jì)量為設(shè)是總體的樣本,例10-1總體的分布密度為則似然函數(shù)為估計(jì)量為當(dāng)時(shí)達(dá)到最大,故的最大似然特殊情形總結(jié)：當(dāng)似然函數(shù)是參數(shù)的嚴(yán)格單調(diào)函數(shù)時(shí)，利用似然函數(shù)的定義直觀得到參數(shù)的最大似然估計(jì)。（1）當(dāng)似然函數(shù)是參數(shù)的嚴(yán)格單調(diào)增函數(shù)時(shí)，參數(shù)最大似然估計(jì)值取其取值范圍內(nèi)最大值點(diǎn)。（2）當(dāng)似然函數(shù)是參數(shù)的嚴(yán)格單調(diào)減函數(shù)時(shí)，參數(shù)最大似然估計(jì)值取其取值范圍內(nèi)最小值點(diǎn)。（3）當(dāng)似然函數(shù)是參數(shù)的常函數(shù)時(shí)，參數(shù)最大似然估計(jì)值取其取值范圍內(nèi)任一點(diǎn)。兩種求點(diǎn)估計(jì)的方法:矩估計(jì)法最大似然估計(jì)法

在統(tǒng)計(jì)問題中往往先使用最大似然估計(jì)法,

在最大似然估計(jì)法使用不方便時(shí),再用矩估計(jì)法.內(nèi)容小結(jié)第二次捕出的有記號的魚數(shù)X是r.v,X具有超幾何分布：試用最大似然法估計(jì)湖中的魚數(shù).為了估計(jì)湖中的魚數(shù)N，第一次捕上r條魚，做上記號后放回.隔一段時(shí)間后,再捕出S條魚,

結(jié)果發(fā)現(xiàn)這S條魚中有k條標(biāo)有記號.根據(jù)這個(gè)信息,如何估計(jì)湖中的魚數(shù)呢?思考題應(yīng)取使L(N;k)達(dá)到最大的N,作為N的最大似然估計(jì).把上式右端看作N的函數(shù)，記作L(N;k).經(jīng)過簡單的計(jì)算知，這個(gè)比值大于或小于1，或而定

.由但用對N求導(dǎo)的方法相當(dāng)困難,我們考慮比值：經(jīng)過簡單的計(jì)算知，這個(gè)比值大于或小于1，或而定.由這就是說，當(dāng)N增大時(shí)，序列P(X=k;N)先是上升而后下降;當(dāng)N為小于

的最大整數(shù)時(shí),達(dá)到最大值.故N的最大似然估計(jì)為再見解則X1,X2,…,Xn是取自B(1,p)的樣本，p是每次抽取時(shí)取到白球的概率，p未知.先求p的最大似然估計(jì)：一罐中裝有白球和黑球，有放回地抽取一個(gè)容量為n的樣本，其中有k個(gè)白球，求罐中黑球與白球之比R

的最大似然估計(jì).備用題

例9-1我們?nèi)菀浊蟮糜汕笆鲎畲笏迫还烙?jì)的性質(zhì)不難求得p的最大似然估計(jì)為的最大似然估計(jì)是設(shè)總體服從對于容量為的樣本,求使得的點(diǎn)的最大似然估計(jì).解設(shè)為來自總體的一個(gè)樣本,可求得與的最大似然估