西北工業(yè)大學(xué)《概率論與數(shù)理統(tǒng)計(jì)》課件-第六章-參數(shù)估計(jì)

參數(shù)估計(jì)參數(shù)估計(jì)的目的：用樣本觀察值估計(jì)總體的某些數(shù)字特征.如：數(shù)學(xué)期望E(X)，方差D(X)等等.1.估計(jì)法點(diǎn)估計(jì)區(qū)間估計(jì)矩估計(jì)法最大似然估計(jì)法內(nèi)容：第六章內(nèi)容：2.估計(jì)量的評(píng)選標(biāo)準(zhǔn)無(wú)偏性有效性一致性(或相合性)參數(shù)估計(jì)第六章第一節(jié)參數(shù)的點(diǎn)估計(jì)第二節(jié)估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)第三節(jié)參數(shù)的區(qū)間估計(jì)參數(shù)估計(jì)第六章第一節(jié)參數(shù)的點(diǎn)估計(jì)一、點(diǎn)估計(jì)問(wèn)題的提法二、估計(jì)量的求法三、內(nèi)容小結(jié)第六章一、點(diǎn)估計(jì)問(wèn)題的提法設(shè)總體X的分布函數(shù)形式已知,但它的一個(gè)或多個(gè)參數(shù)為未知,借助于總體X的一個(gè)樣本來(lái)估計(jì)總體未知參數(shù)的值的問(wèn)題稱為點(diǎn)估計(jì)問(wèn)題.例1解用樣本均值來(lái)估計(jì)總體的均值E(X)點(diǎn)估計(jì)問(wèn)題的一般提法：二、估計(jì)量的求法由于估計(jì)量是樣本的函數(shù),是隨機(jī)變量,故對(duì)不同的樣本值,得到的參數(shù)值往往不同,因此如何求得參數(shù)

的估計(jì)量便是問(wèn)題的關(guān)鍵所在.常用構(gòu)造估計(jì)量的方法:(兩種)1.矩估計(jì)法2.最(極)大似然估計(jì)法.1.矩估計(jì)法

基本思想：用樣本矩估計(jì)總體矩.理論依據(jù):或格列汶科定理它是基于一種簡(jiǎn)單的“替換”思想建立起來(lái)的一種估計(jì)方法.是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出的.大數(shù)定律記總體k階原點(diǎn)矩為樣本k階原點(diǎn)矩為記總體k階中心矩為樣本k階中心矩為

用樣本矩來(lái)估計(jì)總體矩,用樣本矩的連續(xù)函數(shù)來(lái)估計(jì)總體矩的連續(xù)函數(shù),這種估計(jì)法稱為矩估計(jì)法.矩估計(jì)法的具體步驟:設(shè)總體X的分布函數(shù)為m個(gè)待估參數(shù)(未知)為來(lái)自總體X的簡(jiǎn)單隨機(jī)樣本.矩估計(jì)量的觀察值稱為矩估計(jì)值.注方程組中方程的個(gè)數(shù)=待估參數(shù)的個(gè)數(shù).解根據(jù)矩估計(jì)法，令例2解例3解方程組得到a,b的矩估計(jì)量分別為解解方程組得到矩估計(jì)量分別為例4注.上例表明:總體均值與方差的矩估計(jì)量的表達(dá)式不因不同的總體分布而異.一般地:例5設(shè)總體X的分布密度為為來(lái)自總體X的樣本.求參數(shù)

的矩估計(jì)量.分析：一般地，只需要求：

的矩估計(jì)量.不含有

，故不能由此得到

的矩估計(jì)量.解(方法1)要求：—的矩估計(jì)量(方法2)要求：

的矩估計(jì)量：注此例表明：同一參數(shù)的矩估計(jì)量可不唯一.

矩法的優(yōu)點(diǎn)：簡(jiǎn)單易行,并不需要事先知道總體是什么分布.缺點(diǎn)：當(dāng)總體類型已知時(shí)，沒(méi)有充分利用分布提供的信息.一般場(chǎng)合下,矩估計(jì)量不具有唯一性.其主要原因在于建立矩法方程時(shí)，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性.小結(jié)：是在總體類型已知條件下使用的一種參數(shù)估計(jì)方法.它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的,GaussFisher然而，這個(gè)方法常歸功于英國(guó)統(tǒng)計(jì)學(xué)家費(fèi)歇.

費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).2.最大似然估計(jì)法先看一個(gè)簡(jiǎn)單例子：一只野兔從前方竄過(guò).是誰(shuí)打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測(cè)，你會(huì)如何想呢?只聽(tīng)一聲槍響，野兔應(yīng)聲倒下.(1)最大似然法的基本思想下面我們?cè)倏匆粋€(gè)例子,進(jìn)一步體會(huì)最大似然法的基本思想.你就會(huì)想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來(lái)這一槍是獵人射中的.這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了最大似然法的基本思想.設(shè)X~B(1,p),p未知.

設(shè)想我們事先知道

p只有兩種可能:問(wèn):應(yīng)如何估計(jì)p?p=0.7或p=0.3如今重復(fù)試驗(yàn)3次,得結(jié)果:0,0,0由概率論的知識(shí),3次試驗(yàn)中出現(xiàn)“1”的次數(shù)(k=0,1,2,3)例6(k=0,1,2,3)Y01230.3430.4410.1890.0270.0270.1890.4410.343依題設(shè)，“重復(fù)試驗(yàn)3次,得結(jié)果:0,0,0”應(yīng)如何估計(jì)p?p=0.7還是p=0.3？(1)如果有p1,p2,…,pm可供選擇,又如何從中選取使Qi最大的pi

作為p的估計(jì).i=1,2,…,m則估計(jì)參數(shù)p為時(shí)Qi

最大,比方說(shuō),當(dāng)若重復(fù)進(jìn)行試驗(yàn)n次,結(jié)果“1”出現(xiàn)k次(0≤k≤n),我們計(jì)算一切可能的

P{Y=k;pi

}=Qi，

i=1,2,…,m一般地，合理地選p呢?(2)如果只知道0<p<1,并且實(shí)測(cè)記錄是Y=k(0≤k≤n),又應(yīng)如何估計(jì)p呢?注意到:是p的函數(shù),可用求導(dǎo)的方法找到使f(p)達(dá)到極大值的p.但因f(p)與lnf(p)達(dá)到極大值的自變量相同,故問(wèn)題可轉(zhuǎn)化為求lnf(p)的極大值點(diǎn).=

f(p)將lnf(p)對(duì)p求導(dǎo)并令其為0,這時(shí),對(duì)一切0<p<1,均有從中解得=0便得

p(n-k)=k(1-p)參數(shù)p的估計(jì)值

以上這種選擇一個(gè)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率的思想就是最大似然法的基本思想.綜上所述：設(shè)某試驗(yàn)的可能結(jié)果為：A1,A2,···,Ai

,···若在一次試驗(yàn)中，某結(jié)果Ai

出現(xiàn)，則應(yīng)選擇參數(shù)使Ai

出現(xiàn)的概率最大.為自總體X的樣本(X1,X2,…,Xn)的一個(gè)觀察值，則稱樣本的聯(lián)合分布(2)似然函數(shù)定義6.1設(shè)總體X的分布密度(或分布律)為p(x;

),又設(shè)p(x1,x2,…,xn;

)為似然函數(shù).(3)最大似然估計(jì)量(值)定義最大似然估計(jì)值(MLE).maximumlikelihoodestimate注1o對(duì)于給定的樣本值在最大似然估計(jì)值處，L(

)取得最大值;則稱(4)求最大似然估計(jì)(MLE)的步驟:注1o上述求最大似然估計(jì)的方法，要求lnL可微，若不滿足此條件，則須從定義出發(fā)最大似然估計(jì).2o似然估計(jì)方程組與最大似然估計(jì)之間沒(méi)有必然的關(guān)系.解似然函數(shù)例7這一估計(jì)量與矩估計(jì)量是相同的.解例8這一估計(jì)量與矩估計(jì)量是相同的.解X的似然函數(shù)為例9它們與相應(yīng)的矩估計(jì)量相同.解例10分析三、內(nèi)容小結(jié)兩種求點(diǎn)估計(jì)的方法:矩估計(jì)法最大似然估計(jì)法在統(tǒng)計(jì)問(wèn)題中往往先使用最大似然估計(jì)法,在最大似然估計(jì)法使用不方便時(shí),再用矩估計(jì)法.費(fèi)希爾資料RonaldAylmerFisherBorn:17Feb1890inLondon,England

Died:29July1962inAdelaide,Australia第二節(jié)估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)一、問(wèn)題的提出二、無(wú)偏性三、有效性四、相合性第六章一、問(wèn)題的提出從前一節(jié)可以看到,對(duì)于同一個(gè)參數(shù),用不同的估計(jì)方法求出的估計(jì)量可能不相同,如上節(jié)的例3和例10.而且,很明顯,原則上任何統(tǒng)計(jì)量都可以作為未知參數(shù)的估計(jì)量.問(wèn)題(1)對(duì)于同一個(gè)參數(shù)究竟采用哪一個(gè)估計(jì)量好?(2)評(píng)價(jià)估計(jì)量的標(biāo)準(zhǔn)是什么?下面介紹幾個(gè)常用標(biāo)準(zhǔn).二、無(wú)偏性定義6.2證例1特別地,不論總體X服從什么分布,只要它的數(shù)學(xué)期望存在,證例2分析例3設(shè)總體X的方差D(X)存在，且D(X)>0,(X1,X2,···,Xn

)為來(lái)自總體X的樣本，試選擇適當(dāng)?shù)某?shù)C，使得為D(X)的無(wú)偏估計(jì).需選擇C，使而X1,X2,···,Xn

相互獨(dú)立，且與X同分布解依題意，要求：注一般地，一個(gè)參數(shù)

的無(wú)偏估計(jì)量不唯一.如：設(shè)樣本(X1,X2,···,Xn

)來(lái)自總體X，E(X)=

,也均是

的無(wú)偏估計(jì).問(wèn)題：對(duì)于同一個(gè)參數(shù)的多個(gè)無(wú)偏估計(jì)量，如何評(píng)價(jià)它們的優(yōu)劣？三、有效性換句話說(shuō)，的波動(dòng)越小，即方差越小越好.定義6.3例4來(lái)自總體X的樣本，問(wèn)：下列三個(gè)對(duì)

的無(wú)偏估計(jì)量哪一個(gè)最有效？解注一般地，在

的無(wú)偏估計(jì)量可用求條件極值的拉格朗日乘數(shù)法證明(1)證例5解背景隨機(jī)抄n個(gè)自行車的號(hào)碼，由這n個(gè)號(hào)碼來(lái)估計(jì)某市市區(qū)的自行車總數(shù)N.如：樣本值100,1000,10000,100000,1000000.可算得：2.最小方差無(wú)偏估計(jì)量定義注最小方差無(wú)偏估計(jì)是一種最優(yōu)估計(jì).問(wèn)題：無(wú)偏估計(jì)的方差是否可以任意小?如果不任意小,那么它的下界是什么?定理6.1(Rao-Cramer不等式)設(shè)是實(shí)數(shù)軸上的一個(gè)開(kāi)區(qū)間,總體X的分布密度為p(x;

),

,是來(lái)自總體X的一個(gè)樣本,是參數(shù)

的一個(gè)無(wú)偏估計(jì)量,且滿足條件:上不等式的右端稱為羅-克拉美下界,I(

)稱為Fisher信息量.注(1)I(

)的另一表達(dá)式為(2)定理6.1對(duì)離散型總體也適用.由此,根據(jù)定理6.1求證的步驟為是

的最小方差無(wú)偏估計(jì)根據(jù)定理6.1,若參數(shù)

的無(wú)偏估計(jì)量的方差達(dá)到下界,則必為

的最小方差無(wú)偏估計(jì).3.有效估計(jì)定義6.4定義6.5說(shuō)明(2)求有效估計(jì)的方法和求MVUE的方法完全一樣.

所以四、相合性例如定義6.6相合估計(jì)量(或一致估計(jì)量).證(1)由大數(shù)定律知,例6由大數(shù)定律知,通過(guò)此例題,我們看到,要證明一個(gè)估計(jì)量具有相合性,必須證明它依概率收斂,這有時(shí)很麻煩.因此,我們下面我們不加證明的給出一個(gè)相合性的判定定理.利用定理6.2再證例6.同樣六、小結(jié)估計(jì)量的評(píng)選的三個(gè)標(biāo)準(zhǔn)無(wú)偏性有效性相合性相合性是對(duì)估計(jì)量的一個(gè)基本要求,不具備相合性的估計(jì)量是不予以考慮的.由最大似然估計(jì)法得到的估計(jì)量,在一定條件下也具有相合性.估計(jì)量的相合性只有當(dāng)樣本容量相當(dāng)大時(shí),才能顯示出優(yōu)越性,這在實(shí)際中往往難以做到,因此,在工程中往往使用無(wú)偏性和有效性這兩個(gè)標(biāo)準(zhǔn).證例5由以上兩例可知,一個(gè)參數(shù)可以有不同的無(wú)偏估計(jì)量.證明例6

(續(xù)例5)第三節(jié)參數(shù)的區(qū)間估計(jì)一、區(qū)間估計(jì)的基本概念二、正態(tài)總體均值與方差的區(qū)間估計(jì)三、內(nèi)容小結(jié)第六章一、區(qū)間估計(jì)基本概念1.問(wèn)題的提出點(diǎn)估計(jì)法：不足之處：例1問(wèn)：很小較大區(qū)間估計(jì)解決了上述問(wèn)題，從而克服了點(diǎn)估計(jì)的不足之處.2.置信區(qū)間與置信度定義6.7關(guān)于定義的說(shuō)明因此定義中下述表達(dá)式的本質(zhì)是:若反復(fù)抽樣多次(各次得到的樣本容量相等,都是n)按貝努利大數(shù)定理,當(dāng)抽樣次數(shù)充分大時(shí)，在這些區(qū)間中包含

真值的頻率接近置信度1

,即例如一旦有了樣本，就把估計(jì)在區(qū)間內(nèi).這里有兩個(gè)要求:由定義可見(jiàn)，對(duì)參數(shù)作區(qū)間估計(jì)，就是要設(shè)法找出兩個(gè)只依賴于樣本的界限(構(gòu)造統(tǒng)計(jì)量)(X1,…Xn)(X1,…Xn)2.估計(jì)的精度要盡可能的高.如要求區(qū)間長(zhǎng)度盡可能短，或能體現(xiàn)該要求的其它準(zhǔn)則.1.要求以很大的可能被包含在區(qū)間內(nèi)，就是說(shuō)，概率要盡可能大.即要求估計(jì)盡量可靠.可靠度與精度是一對(duì)矛盾，一般是在保證可靠度的條件下盡可能提高精度.3.求置信區(qū)間的一般步驟(共3步)3°作等價(jià)變形二、正態(tài)總體均值與

方差的區(qū)間估計(jì)1.I.單個(gè)總體的情況4°作等價(jià)變形簡(jiǎn)寫(xiě)成其置信區(qū)間的長(zhǎng)度為例2包糖機(jī)某日開(kāi)工包了12包糖,稱得重量(單位:克)分別為506,500,495,488,504,486,505,513,521,520,512,485.假設(shè)重量服從正態(tài)分布,解查表得4°作等價(jià)變形簡(jiǎn)寫(xiě)成例3解有一大批糖果,現(xiàn)從中隨機(jī)地取16袋,稱得重量(克)如下:設(shè)袋裝糖果的重量服從正態(tài)分布,試求總體均值就是說(shuō)估計(jì)袋裝糖果重量的均值在500.4克與507.1克之間,這個(gè)估計(jì)的可信程度為95%.這個(gè)誤差的可信度為95%.例4解(續(xù)例2)如果只假設(shè)糖包的重量服從正態(tài)分布推導(dǎo)過(guò)程如下:根據(jù)第五章第三節(jié)定理知2.方差

2的置信區(qū)間進(jìn)一步可得:注意:在密度函數(shù)不對(duì)稱時(shí),習(xí)慣上仍取對(duì)稱的分位點(diǎn)來(lái)確定置信區(qū)間(如圖).例5

(續(xù)例3)求例3中總體標(biāo)準(zhǔn)差

的置信度為0.95的置信區(qū)間.解代入公式得標(biāo)準(zhǔn)差的置信區(qū)間Ⅱ.兩個(gè)總體的情況討論兩個(gè)總體均值差和方差比的估計(jì)問(wèn)題.推導(dǎo)過(guò)程如下:1.為比較?,??兩種型號(hào)步槍子彈的槍口速度,隨機(jī)地取?型子彈10發(fā),得到槍口速度的平均值為隨機(jī)地取??型子彈20發(fā),得槍口速度平均值為假設(shè)兩總體都可認(rèn)