高等工程數(shù)學(xué) 第二講 參數(shù)估計(jì)

總體樣本統(tǒng)計(jì)量描述作出推斷隨機(jī)抽樣第十三章參數(shù)估計(jì)參數(shù)估計(jì)問題是利用從總體抽樣得到的信息來估計(jì)總體的某些參數(shù)或者參數(shù)的函數(shù).1.1參數(shù)估計(jì)在參數(shù)估計(jì)中，假定總體分布已知，未知的僅僅是一個(gè)或幾個(gè)參數(shù).參數(shù)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)§13.1求點(diǎn)估計(jì)量的方法點(diǎn)估計(jì)的方法矩估計(jì)法最大似然法參數(shù)估計(jì)是對已知分布類型的總體，利用樣本對其未知參數(shù)作出估計(jì)。一、

矩法理論依據(jù):大數(shù)定律它是由簡單“替換”的思想建立起來的一種估計(jì)方法.是英國統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出的.用相應(yīng)的樣本矩去代替總體矩的估計(jì)方法就稱為矩估計(jì)法.解:由矩估計(jì)法,樣本矩總體矩從中解得的矩估計(jì).即為數(shù)學(xué)期望是一階原點(diǎn)矩

例1

設(shè)總體X的概率密度為(p24,ex2)是未知參數(shù),其中X1,X2,…,Xn是取自X的樣本,求參數(shù)

的矩估計(jì).例2區(qū)間[0,]上均勻分布的矩估計(jì) 設(shè)樣本X1，X2，…，Xn是來自在區(qū)間[0,]上均勻分布的總體，

未知，求

的矩估計(jì)。解：#注意：估計(jì)量是隨機(jī)變量而期望是數(shù)值注意：樣本矩是隨機(jī)變量，而總體矩是數(shù)值要注意相應(yīng)的字母大小寫區(qū)分注：1運(yùn)用矩估計(jì)的前提條件是總體對應(yīng)的各階矩要存在。2盡量用低階樣本矩去估計(jì)未知參數(shù)。

二、

極大似然法它首先是由德國數(shù)學(xué)家高斯在1821年提出的,GaussFisher費(fèi)歇爾在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).最大似然法的基本思想先看一個(gè)簡單例子：一只野兔從前方竄過.是誰打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測，你會如何想呢?只聽一聲槍響，野兔應(yīng)聲倒下.你就會想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來這一槍是獵人射中的.這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.例極大似然法---簡例例如果一個(gè)老兵和一個(gè)新兵同時(shí)打靶，但僅有一人命中，問誰命中的可能性大？

(1)老兵(2)新兵大家首先想到的是老兵，因?yàn)樗锨槔?！例若袋中有黑白兩種球(除顏色外別無差異),且已知兩種球數(shù)之比為1:3，現(xiàn)任取一球，發(fā)現(xiàn)是白色，問哪種顏色的球多一些？顯然，大家都會覺得白色的多一些。#極大似然法的基本思想選擇一個(gè)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率的思想就是最大似然法的基本思想.極大似然估計(jì)原理：當(dāng)給定樣本x1,x2,…xn時(shí)，定義似然函數(shù)為：設(shè)X1,X2,…Xn是取自總體X的一個(gè)樣本，樣本的聯(lián)合密度(連續(xù)型)或聯(lián)合分布律(離散型)為f(X1,X2,…Xn;).最大似然估計(jì)法就是用使達(dá)到最大值的去估計(jì)

.稱為的最大似然估計(jì)（MLE）.求極大似然估計(jì)的一般步驟：1.寫出似然函數(shù)：4.解似然函數(shù)方程組得即為所求。2.對似然函數(shù)取對數(shù)：3.對j(j=1,…,m)分別求偏導(dǎo)，并令其為0得似然方程(組)：例指數(shù)分布的點(diǎn)估計(jì)例某電子管的使用壽命X（單位：小時(shí))(從開始使用到首次失效為止）服從指數(shù)分布，

今取一組樣本，數(shù)據(jù)如下，問如何估計(jì)θ？162950681001301402702803404104505206201902108001100解：可用兩種方法估計(jì)：矩法估計(jì)和極大似然估計(jì)（二）極大似然估計(jì)構(gòu)造似然函數(shù)：（一）矩法估計(jì)求偏導(dǎo)：求解得：#取對數(shù)：例均勻分布的極大似然估計(jì)

設(shè)樣本X1，X2，…，Xn是來自在區(qū)間[0,]上均勻分布的總體，未知，求的極大似然估計(jì)。解:注意：該似然函數(shù)不能用一般方法----通過求導(dǎo)構(gòu)造似然方程。嘗試用其他方法求解！#從前例可以看到,對于同一個(gè)參數(shù),用不同的估計(jì)方法求出的估計(jì)量可能不相同,而且,很明顯,原則上任何統(tǒng)計(jì)量都可以作為未知參數(shù)的估計(jì)量.問題(1)對于同一個(gè)參數(shù)究竟采用哪一個(gè)估計(jì)量好?評價(jià)估計(jì)量的標(biāo)準(zhǔn)是什么?下面介紹幾個(gè)常用標(biāo)準(zhǔn).(2)我們希望一個(gè)“好的”估計(jì)量具有什么特性？(3)怎樣決定一個(gè)估計(jì)量是否比另一個(gè)估計(jì)量“好”？第二節(jié)估計(jì)量的評選標(biāo)準(zhǔn)無偏性有效性相合性估計(jì)量是隨機(jī)變量，對于不同的樣本值會得到不同的估計(jì)值.我們希望估計(jì)值在未知參數(shù)真值附近擺動，而它的期望值等于未知參數(shù)的真值.這就導(dǎo)致無偏性這個(gè)標(biāo)準(zhǔn).一、無偏性則稱為的無偏估計(jì)

.設(shè)是未知參數(shù)的估計(jì)量，若例：下列估計(jì)量是否μ的無偏估計(jì)量？由上例可見，一個(gè)參數(shù)的無偏估計(jì)可以有很多；無偏估計(jì)只能保證無系統(tǒng)誤差，；但是卻可能有極大的偏差。因此一個(gè)優(yōu)良的估計(jì)量，其方差應(yīng)該較小。二、有效性D()≤D()則稱較有效.都是參數(shù)

的無偏估計(jì)量，若對任意，設(shè)和且至少對于某個(gè)上式中的不等號成立，例：下列估計(jì)量哪一個(gè)更有效？例一般地，在的無偏估計(jì)量三、相合性任意，當(dāng)時(shí)依概率收斂于,則稱為的相合估計(jì)量.設(shè)是參數(shù)

的估計(jì)量，若對于為的相合估計(jì)量對于任意,有點(diǎn)估計(jì)的缺陷：由于樣本是隨機(jī)的，估計(jì)值可能非真值----即便估計(jì)量是無偏有效估計(jì)量。即使估計(jì)值等于真實(shí)值，也無從肯定；若不等于真實(shí)值，不知相差多少。改進(jìn)：對于θ的估計(jì)，給定一個(gè)范圍：，并滿足:我們希望兩者都能滿足，但這二者是矛盾的！無法同時(shí)滿足。于是可以將上述兩個(gè)要求改為：在一定可靠程度下找出被估參數(shù)的可能取值范圍

譬如，在估計(jì)湖中魚數(shù)的問題中，若我們根據(jù)一個(gè)實(shí)際樣本，得到魚數(shù)N的極大似然估計(jì)為1000條.若我們能給出一個(gè)區(qū)間，在此區(qū)間內(nèi)我們合理地相信N的真值位于其中.這樣對魚數(shù)的估計(jì)就有把握多了.實(shí)際上，N的真值可能大于1000條，也可能小于1000條.也就是說，我們希望確定一個(gè)區(qū)間，使我們能以比較高的可靠程度相信它包含真參數(shù)值.湖中魚數(shù)的真值[]這里所說的“可靠程度”是用概率來度量的，稱為置信度或置信水平.習(xí)慣上把置信水平記作，這里是一個(gè)很小的正數(shù).第三節(jié)區(qū)間估計(jì)置信區(qū)間定義置信區(qū)間的求法單側(cè)置信區(qū)間定義設(shè)總體的未知參數(shù)為θ，由樣本X1，…，Xn確定兩個(gè)統(tǒng)計(jì)量和，對于給定的實(shí)數(shù)a(0<a

<1)，滿足則稱隨機(jī)區(qū)間為θ的置信度為1-a的置信區(qū)間。1-a又稱置信系數(shù)或置信概率

a又稱置信水平，通常取值為0.1，0.05等等。兩點(diǎn)要求1可靠性：2精確性：要求估計(jì)的精確度盡可能的高，這是一對矛盾，一般是在保證可靠度的條件下盡可能提高精確度.正態(tài)分布中μ的區(qū)間估計(jì)例設(shè)X~N(μ,σ2)，σ2=σ02已知，求參數(shù)μ的置信度為1-a的置信區(qū)間。分析:要估計(jì)參數(shù)，就涉及統(tǒng)計(jì)量；而選取統(tǒng)計(jì)量應(yīng)根據(jù)優(yōu)良性質(zhì)準(zhǔn)則來選。這里μ的優(yōu)良估計(jì)是：2）將統(tǒng)計(jì)量化為常用分布，再通過臨界值確定區(qū)間。這里：它是無偏、有效、相合估計(jì)解：是μ的優(yōu)良估計(jì)，且令由標(biāo)準(zhǔn)正態(tài)分布的對稱性可知從而，前式可化為：即由此可得，μ的置信度為1-a的置信區(qū)間為：從而特別，當(dāng)σ0=1，a=0.05

，樣本觀測值為：5.15.14.85.04.75.05.25.15.0u

α/2=

，m的置信區(qū)間為：1.96[4.35，5.65]尋找置信區(qū)間的步驟(樞軸變量法)：選取待估參數(shù)θ的估計(jì)量；原則：優(yōu)良性準(zhǔn)則常用：對查上側(cè)分位數(shù)；代換得到

區(qū)間[A，B]即為所求。考察含有待估參數(shù)和估計(jì)量的統(tǒng)計(jì)量所服從的分布

(不能含有其他未知參數(shù))；

化至常用分布(主要是：正態(tài)、2

、t、F分布)；

相應(yīng)的變換函數(shù)W

稱為樞軸變量可見，確定區(qū)間估計(jì)很關(guān)鍵的是要尋找一個(gè)待估參數(shù)和估計(jì)量T的函數(shù)U(T,),且U(T,)的分布為已知,不依賴于任何未知參數(shù).而這與總體分布有關(guān)，所以，總體分布的形式是否已知，是怎樣的類型，至關(guān)重要.單個(gè)正態(tài)總體的抽樣雙正態(tài)總體的抽樣未知參數(shù)的替換例設(shè)X~N(μ,σ2)，σ2未知，求參數(shù)μ的置信度為1-α的置信區(qū)間。是μ的優(yōu)良估計(jì)思考：是否仍選統(tǒng)計(jì)量分析：1.令求得置信區(qū)間？不可因?yàn)棣?未知，故U不是統(tǒng)計(jì)量2.據(jù)抽樣分布定理有：得T

的置信區(qū)間：由分布的對稱性，即可化為：代換后可得μ

的置信區(qū)間：比較：σ2=σ02

時(shí)，μ的置信區(qū)間為一、正態(tài)總體均值的區(qū)間估計(jì)二正態(tài)總體方差的區(qū)間估計(jì)分析:應(yīng)選統(tǒng)計(jì)量為：當(dāng)μ未知時(shí)，要化至常用分布，由抽樣分布定理可知：零件長度的方差例從自動機(jī)床加工的同類零件中任取16件測得長度值為(單位：mm)

求方差的估計(jì)值和置信區(qū)間(α=0.05)。12.1512.1212.0112.2812.0912.1612.0312.0112.0612.1312.0712.1112.0812.0112.0312.06解：設(shè)零件長度為X，可認(rèn)為X服從正態(tài)分布，由于μ未知，S2是σ2的優(yōu)良估計(jì)，相應(yīng)的常用分布為：相應(yīng)的置信區(qū)間為：查c2分布表可得：下面計(jì)算方差的置信區(qū)間：σ2的置信度為0.95的置信區(qū)間為：三、兩個(gè)正態(tài)總體均值差的區(qū)間估計(jì)四、兩個(gè)正態(tài)總體方差比的區(qū)間估計(jì)五、單側(cè)置信區(qū)間

前面討論的區(qū)間估計(jì)問題，其置信區(qū)間都有兩個(gè)有限的端點(diǎn)，這樣的置信區(qū)間稱為雙側(cè)置信區(qū)間。

在有些實(shí)際問題中，我們常常關(guān)心的是未知參數(shù)至少有多大（例如設(shè)備、元件的使用壽命等），或者是未知參數(shù)至多是多少（例如產(chǎn)品的不合格品率、雜質(zhì)含量等），這就引出了只有一個(gè)有限端點(diǎn)的單側(cè)置信區(qū)間概念。是來自某個(gè)總體的樣本，定義設(shè)

總體分布包含未知參數(shù)q

．是q的估計(jì)量．如果對q的一切可