《數(shù)據(jù)科學(xué)統(tǒng)計(jì)基礎(chǔ)（第二版）》 課件 第二章 參數(shù)估計(jì)

參數(shù)估計(jì)第二章第2章參數(shù)估計(jì)點(diǎn)估計(jì)與無偏性PART2.12.1點(diǎn)估計(jì)與無偏性定義2.1.1

2.1點(diǎn)估計(jì)與無偏性定義2.1.1參數(shù)通常指如下幾種，它們都可以表示為總體概率分布的函數(shù)，記為??=??(??)或??=??(??)。分布中所含的未知常數(shù);分布中的期望、方差、標(biāo)準(zhǔn)差、分位數(shù)等特征數(shù);某事件的概率等。一個(gè)參數(shù)的估計(jì)量常不止一個(gè)，如何評(píng)價(jià)其優(yōu)劣性呢？常用的評(píng)價(jià)標(biāo)準(zhǔn)有多個(gè)，如無偏性、有效性、均方誤差最小與相合性。本節(jié)先講無偏性，其他幾個(gè)評(píng)價(jià)標(biāo)準(zhǔn)以后再作介紹。2.1點(diǎn)估計(jì)與無偏性定義2.1.2

2.1點(diǎn)估計(jì)與無偏性定義2.1.2圖2.1.12.1點(diǎn)估計(jì)與無偏性定義2.1.2

2.1點(diǎn)估計(jì)與無偏性例2.1.1

2.1點(diǎn)估計(jì)與無偏性例2.1.1

2.1點(diǎn)估計(jì)與無偏性

2.1點(diǎn)估計(jì)與無偏性表2.1.1正態(tài)標(biāo)準(zhǔn)差的修偏系數(shù)表第2章參數(shù)估計(jì)矩估計(jì)與相合性PART2.22.2矩估計(jì)與相合性2.2.1矩估計(jì)矩估計(jì)是一種具體的尋找點(diǎn)估計(jì)的方法,它的基本思想是“替代”，具體是:用樣本矩(即矩統(tǒng)計(jì)量)估計(jì)總體矩。用樣本矩的函數(shù)估計(jì)總體矩的相應(yīng)函數(shù)。2.2矩估計(jì)與相合性2.2.1矩估計(jì)這里的矩可以是各階原點(diǎn)矩,也可以是各階中心矩。這一思想是英國統(tǒng)計(jì)學(xué)家皮爾遜

(K.Pearson)在1900年提出的。該思想合理,方法簡(jiǎn)單,使用方便,只要總體矩存在的場(chǎng)合都可使用。該思想后人稱為矩法,

所得估計(jì)稱為矩估計(jì)。2.2矩估計(jì)與相合性例2.2.1

2.2矩估計(jì)與相合性例2.2.1

2.2矩估計(jì)與相合性例2.2.2

2.2矩估計(jì)與相合性例2.2.3設(shè)樣本X1,X2,···,Xn來自正態(tài)總體N(μ,σ2),μ與σ未知，求p=P(X<1)的估計(jì)。2.2矩估計(jì)與相合性解

2.2矩估計(jì)與相合性

2.2矩估計(jì)與相合性2.2.2相合性2.2矩估計(jì)與相合性定義2.2.1

2.2矩估計(jì)與相合性定義2.2.1

2.2矩估計(jì)與相合性

2.2矩估計(jì)與相合性定理2.2.1（辛欽大數(shù)定律）

2.2矩估計(jì)與相合性定理2.2.2

2.2矩估計(jì)與相合性定理2.2.2證

2.2矩估計(jì)與相合性

2.2矩估計(jì)與相合性故有由τ的任意性,定理得證。

2.2矩估計(jì)與相合性例2.2.4

2.2矩估計(jì)與相合性例2.2.4

最大似然估計(jì)與漸近正態(tài)性PART2.32.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)定義2.3.1

2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)例2.3.1

設(shè)X=(X1，X2，···，Xn)是來自二點(diǎn)分布??(1，??)的一個(gè)樣本，其中諸Xi非0即1，??∈[0，1]是成功概率，該樣本的聯(lián)合分布為：2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)圖2.3.1成功概率??的似然函數(shù)2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)

對(duì)其求導(dǎo)，并令導(dǎo)函數(shù)為零可得對(duì)數(shù)似然方程，在本例中

2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)

2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)例2.3.2設(shè)某機(jī)床加工的軸的直徑與圖紙規(guī)定的尺寸的偏差服從N(μ，σ2)，

其中μ，σ2未知。為估計(jì)μ與σ2，

從中隨機(jī)抽取n=100根軸，測(cè)得其偏差為X1，X2，···，X100。試求μ，σ2的最大似然估計(jì)。2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)

解

2.寫出對(duì)數(shù)似然函數(shù)：

2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)3.分別對(duì)

μ與

σ2求偏導(dǎo)，并令它們都為0，得到對(duì)數(shù)似然方程為：解

2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)

2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)例2.3.3設(shè)X=(X1，X2，···，Xn)是來自均勻分布U(0，θ)的一個(gè)樣本，求

θ的MLE2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)

解其中X(n)是樣本的最大次序統(tǒng)計(jì)量。圖2.3.2均勻分布U(0，θ)中θ的似然函數(shù)2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)這里并不能使用一階條件求函數(shù)極值，因此使用MLE的定義求θ的MLE。

2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)

為了說明這一點(diǎn)，我們可求得最大次序統(tǒng)計(jì)量X(n)的密度函數(shù)：2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)

可見，同一參數(shù)的無偏估計(jì)不止一個(gè)，它們的進(jìn)一步比較將在下一節(jié)討論。2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)例2.3.4設(shè)X=(X1，X2，···，Xn)是來自均勻分布U(θ，θ+1)的一個(gè)樣本，其中θ可為任意實(shí)數(shù)，現(xiàn)要尋求θ

的MLE。2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)

解該似然函數(shù)在其不為零的區(qū)域上是常數(shù)，只要??不超過X(1)或??+1不小于X(n)都可使??(??)達(dá)到極大，即

2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)例2.3.5它有兩個(gè)參數(shù)，μ可取任意實(shí)數(shù)，稱為位置參數(shù)；σ>0稱為尺度參數(shù)。

現(xiàn)要求μ與σ的MLE。設(shè)X=(X1，X2，···，Xn)是來自雙參數(shù)指數(shù)分布exp(μ，σ)的一個(gè)樣本，該分布的密度函數(shù)為：

2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)先寫出μ與σ的似然函數(shù)，在非零區(qū)域上有解

這雖是在固定σ下尋求μ的最大值，但沒有具體規(guī)定σ的值。

即σ為任意值時(shí)μ的MLE都為X(1)。

2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)

解此對(duì)數(shù)似然方程，可得σ的MLE為：這是因?yàn)閷?duì)任意的μ與σ，有

2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)例2.3.6

2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)由二元正態(tài)密度函數(shù)可以寫出σ2與ρ的似然函數(shù)：解

2.3最大似然估計(jì)與漸近正態(tài)性2.3.1最大似然估計(jì)經(jīng)驗(yàn)證，它們確實(shí)使似然函數(shù)L(σ2，ρ)達(dá)到最大值，

故它們分別是σ2與ρ的MLE。解之可得

2.3最大似然估計(jì)與漸近正態(tài)性2.3.2最大似然估計(jì)的不變?cè)矶ɡ?.3.1(不變?cè)?

2.3最大似然估計(jì)與漸近正態(tài)性2.3.2最大似然估計(jì)的不變?cè)砝?.3.7某產(chǎn)品生產(chǎn)現(xiàn)場(chǎng)有多臺(tái)設(shè)備，設(shè)備故障的維修時(shí)間T服從對(duì)數(shù)正態(tài)分布LN(μ，σ2)?，F(xiàn)在一周內(nèi)共發(fā)生24次故障，其維修時(shí)間t(單位：

分)為：平均維修時(shí)間μT

與維修時(shí)間的標(biāo)準(zhǔn)差σT

的MLE?？赏瓿?5%故障的維修時(shí)間t0.95(0.95分位數(shù))的MLE。1228125475853368851110407564115485260728710555826665求2.3最大似然估計(jì)與漸近正態(tài)性這個(gè)問題的一般提法是：設(shè)t1，t2，···，tn是來自對(duì)數(shù)正態(tài)分布LN(μ，σ2)的一個(gè)樣本，現(xiàn)要對(duì)其均值μT、標(biāo)準(zhǔn)差σT和0.95分位數(shù)t0.95分別給出MLE。解2.3.2最大似然估計(jì)的不變?cè)恚?）對(duì)數(shù)正態(tài)分布LN(μ，σ2)的均值和方差分別為：若能獲得μ與σ2的MLE，由不變?cè)砹⒓纯傻忙蘐與σT的MLE。

2.3最大似然估計(jì)與漸近正態(tài)性2.3.2最大似然估計(jì)的不變?cè)懋?dāng)T～LN(μ，σ2)時(shí)，有X=lnT～N(μ，σ2)。

由此可知，lnt1，lnt2，···，lntn是來自正態(tài)分布

N(μ，σ2)的一個(gè)樣本，由此可得μ與σ2的MLE分別為(見例2.3.2)：

2.3最大似然估計(jì)與漸近正態(tài)性2.3.2最大似然估計(jì)的不變?cè)韽亩傻脤?duì)數(shù)正態(tài)分布的均值μT與方差σT2的MLE分別為：這表明，該生產(chǎn)現(xiàn)場(chǎng)設(shè)備的平均維修時(shí)間約為68分鐘，維修時(shí)間的標(biāo)準(zhǔn)差約為26分鐘。

2.3最大似然估計(jì)與漸近正態(tài)性2.3.2最大似然估計(jì)的不變?cè)恚?）為了給出t0.95的MLE，我們先對(duì)對(duì)數(shù)正態(tài)分布LN(μ，σ2)的p

分位數(shù)tp

給出一般表達(dá)式，記維修時(shí)間T的

的分布函數(shù)為F(t)，則有

2.3最大似然估計(jì)與漸近正態(tài)性2.3.2最大似然估計(jì)的不變?cè)?/p>

2.3最大似然估計(jì)與漸近正態(tài)性2.3.2最大似然估計(jì)的不變?cè)砝?.3.8設(shè)某電子設(shè)備的壽命（從開始工作到首次發(fā)生故障的連續(xù)工作時(shí)間，單位：小時(shí)）服從指數(shù)分布exp(λ)?，F(xiàn)任取15臺(tái)進(jìn)行壽命試驗(yàn)，按規(guī)定到第7臺(tái)發(fā)生故障時(shí)試驗(yàn)停止，所得7個(gè)壽命數(shù)據(jù)為：500 1350 2130 2500 3120 3500 3800這是一個(gè)不完全樣本，常稱為定數(shù)截尾樣本，現(xiàn)要對(duì)其尋求平均壽命θ=1/λ的MLE。2.3最大似然估計(jì)與漸近正態(tài)性

解2.3.2最大似然估計(jì)的不變?cè)?/p>

2.3最大似然估計(jì)與漸近正態(tài)性2.3.2最大似然估計(jì)的不變?cè)砥渲?，p

與F

分別為指數(shù)分布的密度函數(shù)與分布函數(shù)代入后，略去與參數(shù)無關(guān)的量，即得λ的似然函數(shù)

2.3最大似然估計(jì)與漸近正態(tài)性2.3.2最大似然估計(jì)的不變?cè)?/p>

用微分法可得對(duì)數(shù)似然方程

2.3最大似然估計(jì)與漸近正態(tài)性2.3.2最大似然估計(jì)的不變?cè)碓诒纠?，n=15，r=7，t(r)=3800，首先算得總試驗(yàn)時(shí)間由此可得平均壽命(單位：小時(shí))的MLE

為:

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性定義2.3.2

或依分布收斂符號(hào)L

記為:

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性例2.3.9

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性或

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性例2.3.10

前面已經(jīng)指出：

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性則由中心極限定理知

或

考慮到n/(n?1)→1，又有有

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性這表明

S2

是σ2的漸近正態(tài)估計(jì)，其漸近方差為2σ4/n。綜上所述，有

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性定理2.3.2

則有下述三個(gè)結(jié)論成立：

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性定理2.3.3設(shè)p(x;θ)是某密度函數(shù)，其參數(shù)空間Θ={θ}是直線上的非退化區(qū)間，假如：（1）對(duì)一切θ∈Θ，p=p(x;θ)對(duì)θ的如下偏導(dǎo)數(shù)都存在（2）對(duì)一切θ∈Θ，有成立，其中F1(x)與F2(x)在實(shí)數(shù)軸上可積，而H(x)滿足這里M與θ無關(guān)。

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性定理2.3.3（3）對(duì)一切θ∈Θ，有

其中，I(θ)稱為費(fèi)希爾信息量，有時(shí)還簡(jiǎn)稱信息量。

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性定義2.3.3

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性例2.3.11求二點(diǎn)分布b(1,θ)參數(shù)

θ的費(fèi)希爾信息量，其分布列為:

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性解可以驗(yàn)證，二點(diǎn)分布屬于Cramer-Rao正則族。為求其費(fèi)希爾信息量，要進(jìn)行如下運(yùn)算:

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性例2.3.12設(shè)X1,X2,···,Xn是來自正態(tài)總體N(μ,σ2)的一個(gè)樣本，可以驗(yàn)證，正態(tài)分布屬于Cramer-Rao正則族。

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性

從而

2.3最大似然估計(jì)與漸近正態(tài)性2.3.3最大似然估計(jì)的漸近正態(tài)性在已知μ的條件下,σ的MLE是

而??的費(fèi)希爾信息量的計(jì)算如下:

從而

2.3最大似然估計(jì)與漸近正態(tài)性2.3.4EM算法MLE是一種非常有效的參數(shù)估計(jì)方法，但當(dāng)分布中有多余參數(shù)或數(shù)據(jù)為截尾或缺失時(shí)，其MLE的求取是比較困難的。于是Dempster等于1977年提出了EM算法，其出發(fā)點(diǎn)是把求MLE的過程分兩步走。第一步求期望，以便把多余的部分去掉；第二步求最大值。2.3最大似然估計(jì)與漸近正態(tài)性2.3.4EM算法Dempster等人建議如下分兩步進(jìn)行迭代求解首先，人為設(shè)一個(gè)θ的初值

θ(0)第一步(也稱E-步)，在已知觀測(cè)數(shù)據(jù)y和第i步估計(jì)值θ(i)條件下，求基于完全數(shù)據(jù)的對(duì)數(shù)似然函數(shù)(關(guān)于潛在變量z)的期望，稱為Q函數(shù)：

第二步(也稱M-步)，求Q(θ|y,θ(i))關(guān)于θ的最大值，記錄對(duì)應(yīng)的θ值進(jìn)行更新:

??重復(fù)以上兩步，直到收斂即可得到θ的MLE。2.3最大似然估計(jì)與漸近正態(tài)性2.3.4EM算法

EM算法是一種引入潛在變量的方法,相比于其他同類方法,如缺失數(shù)據(jù)填補(bǔ)法等,EM算法較為簡(jiǎn)單和穩(wěn)定,原因是每次迭代會(huì)使似然函數(shù)增大或達(dá)到局部極值(參考2.3.4節(jié))EM算法只能保證收斂到一個(gè)穩(wěn)定點(diǎn),并不能保證其能夠達(dá)到全局最優(yōu).2.3最大似然估計(jì)與漸近正態(tài)性2.3.4EM算法例2.3.13設(shè)一次試驗(yàn)可能有4個(gè)結(jié)果，發(fā)生的概率分別為1/2?θ/4，(1?θ)/4，(1+θ)/4，θ/4，θ∈(0,1)?，F(xiàn)進(jìn)行了197次試驗(yàn)，四種結(jié)果的發(fā)生次數(shù)分別為75,18,70,34,試求θ的MLE。2.3最大似然估計(jì)與漸近正態(tài)性以y1，y2，y3，y4

表示四種結(jié)果發(fā)生的次數(shù)，此時(shí)總體分布為多項(xiàng)分布，

其似然函數(shù)為我們可以通過最大化對(duì)數(shù)似然函數(shù)的方式求解θ的MLE。

2.3.4EM算法2.3最大似然估計(jì)與漸近正態(tài)性EM算法通過引入兩個(gè)潛在變量

z1,z2后，通過迭代計(jì)算方式求解。假設(shè)第一種結(jié)果可以分成兩個(gè)部分，發(fā)生的概率分別為(1?θ)/4和?，令z1和y1?z1分別表示落入這兩部分的次數(shù)；再假設(shè)第三種結(jié)果也分成兩部分，發(fā)生的概率分別為θ/4和1/4，令z2和y3?z2分別表示落入這兩部分的次數(shù)，z1,z2是不可觀測(cè)的。也稱(y,z)是完全數(shù)據(jù)，而只有觀測(cè)數(shù)據(jù)y時(shí)稱為不完全數(shù)據(jù)。此時(shí)完全數(shù)據(jù)的似然函數(shù)用Lc表示：2.3.4EM算法2.3最大似然估計(jì)與漸近正態(tài)性2.3.4EM算法

其對(duì)數(shù)似然為

然而此時(shí)由于z1

和z2

未知，上式無法直接求解，但我們注意到，當(dāng)給定y，θ已知時(shí)，

2.3最大似然估計(jì)與漸近正態(tài)性2.3.4EM算法對(duì)于本例，可得到

所以

又知

所以

取θ(0)=0.5，則13次迭代后可求得θ的MLE為0.6067。2.3最大似然估計(jì)與漸近正態(tài)性定理2.3.4

2.3.4EM算法2.3最大似然估計(jì)與漸近正態(tài)性證

2.3.4EM算法2.3最大似然估計(jì)與漸近正態(tài)性上式兩邊求z在(Y,θ=θ(i))已知條件下的期望有2.3.4EM算法

(2.3.2)(2.3.2)式分別取θ=θ(i)和θ(i+1)，得

(2.3.3)(2.3.4)2.3最大似然估計(jì)與漸近正態(tài)性2.3.4EM算法(2.3.4)–(2.3.3)得

2.3最大似然估計(jì)與漸近正態(tài)性2.3.4EM算法例2.3.14給定數(shù)據(jù)X是n行p列的矩陣，每一行是一個(gè)樣本點(diǎn)，每一列是一個(gè)變量，我們的目標(biāo)是根據(jù)列變量的取值對(duì)樣本點(diǎn)進(jìn)行聚類，假定一共有K類。

在EM聚類方法中假定每一行觀測(cè)有一個(gè)潛在的(未觀測(cè)到的)指標(biāo)向量Zi=(Zi1,Zi2,···,ZiK)，其中Zik=0或1，并且K個(gè)中只有一個(gè)等于1。如果Zik=1，那么表明第i個(gè)樣本點(diǎn)屬于第k類。向量Zi

服從多項(xiàng)分布，概率分布列為(π1,π2,···,πK)。2.3最大似然估計(jì)與漸近正態(tài)性

2.3.4EM算法2.3最大似然估計(jì)與漸近正態(tài)性2.3.4EM算法本例所要估計(jì)的參數(shù)為(μk,Σk,πk),k=1,...,K.EM算法步驟如下:首先，數(shù)據(jù)(X,Z)的完全似然函數(shù)可以寫成：完全對(duì)數(shù)似然函數(shù)為:(2.3.5)

2.3最大似然估計(jì)與漸近正態(tài)性2.3.4EM算法為了得到該問題的Q函數(shù)，需要計(jì)算給定Xi時(shí)Zi的期望，也就是要得到如下概率值P(Zik=1|Xi)。根據(jù)全概率公式，有所以將(2.3.5)式Zik替換為γ(Zik)，即為Q函數(shù)。

(2.3.6)2.3最大似然估計(jì)與漸近正態(tài)性2.3.4EM算法

EM算法的參數(shù)估計(jì)步驟如下:最小方差無偏估計(jì)PART2.42.4最小方差無偏估計(jì)2.4.1無偏估計(jì)的有效性

圖2.4.1θ的兩個(gè)無偏估計(jì)的密度函數(shù)示意圖2.4最小方差無偏估計(jì)2.4.1無偏估計(jì)的有效性因而，我們可以用估計(jì)量的方差去衡量?jī)蓚€(gè)無偏估計(jì)的好壞，從而引入無偏估計(jì)有效性的標(biāo)準(zhǔn)。2.4最小方差無偏估計(jì)2.4.1無偏估計(jì)的有效性定義2.4.1

例2.4.1

2.4最小方差無偏估計(jì)2.4.1無偏估計(jì)的有效性2.4最小方差無偏估計(jì)2.4.1無偏估計(jì)的有效性例2.4.2

2.4最小方差無偏估計(jì)2.4.2有偏估計(jì)的均方誤差準(zhǔn)則定義2.4.2

2.4最小方差無偏估計(jì)2.4.2有偏估計(jì)的均方誤差準(zhǔn)則

例2.4.3

2.4最小方差無偏估計(jì)2.4.2有偏估計(jì)的均方誤差準(zhǔn)則n

2.4最小方差無偏估計(jì)2.4.2有偏估計(jì)的均方誤差準(zhǔn)則

2.4最小方差無偏估計(jì)2.4.2有偏估計(jì)的均方誤差準(zhǔn)則以下數(shù)據(jù)是在n=10時(shí)算得的:表2.4.1三個(gè)估計(jì)的偏差平方、方差與均方誤差

00.22220.22220.010.18000.19000.03300.14880.18182.4最小方差無偏估計(jì)

2.4.2有偏估計(jì)的均方誤差準(zhǔn)則表2.4.1可以對(duì)三個(gè)估計(jì)的優(yōu)劣作出評(píng)價(jià)2.4最小方差無偏估計(jì)2.4.3一致最小方差無偏估計(jì)例2.4.4

2.4最小方差無偏估計(jì)定義2.4.3假如參數(shù)的無偏估計(jì)存在，則稱此參數(shù)為可估參數(shù)?？晒绤?shù)g（θ）

的無偏估計(jì)可能只有一個(gè)，也可能有多個(gè)。

在有多個(gè)無偏估計(jì)的場(chǎng)合，常用其方差作為進(jìn)一步選擇的指標(biāo)。2.4.3一致最小方差無偏估計(jì)2.4最小方差無偏估計(jì)定義2.4.4

2.4.3一致最小方差無偏估計(jì)2.4最小方差無偏估計(jì)定理2.4.1

2.4.3一致最小方差無偏估計(jì)證2.4.3一致最小方差無偏估計(jì)

2.4最小方差無偏估計(jì)證2.4.3一致最小方差無偏估計(jì)

2.4最小方差無偏估計(jì)2.4最小方差無偏估計(jì)2.4.3一致最小方差無偏估計(jì)例2.4.5

2.4最小方差無偏估計(jì)2.4.3一致最小方差無偏估計(jì)例2.4.5

2.4最小方差無偏估計(jì)定理2.4.2

2.4.3一致最小方差無偏估計(jì)之前的定理是驗(yàn)證性的，加下來介紹構(gòu)造UMVUE的方法

證2.4.3一致最小方差無偏估計(jì)

所以2.4最小方差無偏估計(jì)

證2.4.3一致最小方差無偏估計(jì)故得

2.4最小方差無偏估計(jì)2.4最小方差無偏估計(jì)例2.4.6

2.4.3一致最小方差無偏估計(jì)2.4最小方差無偏估計(jì)例2.4.62.4.3一致最小方差無偏估計(jì)

2.4最小方差無偏估計(jì)定義2.4.5

2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)例2.4.7

2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)

2.4.4完備性及其應(yīng)用

2.4最小方差無偏估計(jì)

2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)

2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)一些結(jié)論簡(jiǎn)單隨機(jī)樣本的聯(lián)合分布族總是不完備的指數(shù)型分布族，其充分統(tǒng)計(jì)量都是完備的次序統(tǒng)計(jì)量是完備的2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)定理2.4.3

2.4.4完備性及其應(yīng)用

證2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)2.4最小方差無偏估計(jì)

2.4.4完備性及其應(yīng)用證2.4最小方差無偏估計(jì)例2.4.8

2.4.4完備性及其應(yīng)用

解2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)

解2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)考慮到諸X1,X2,···,Xn是相互獨(dú)立的，且X2+X3+···+Xn服從參數(shù)為(n?1)λ的泊松分布，所以2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)

2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)

2.4最小方差無偏估計(jì)例2.4.9某廠生產(chǎn)一種產(chǎn)品，這種產(chǎn)品包裝好后按一定數(shù)量放在盒子里。在檢驗(yàn)產(chǎn)品時(shí)，檢驗(yàn)員從每個(gè)盒子里隨機(jī)選出一個(gè)容量為n的樣本，并逐個(gè)檢查每個(gè)樣品的質(zhì)量。假如樣本中有2個(gè)或更多個(gè)不合格品，那么這一盒被認(rèn)為是不合格品，退回工廠，而工廠要求質(zhì)檢員把每盒查出的廢品通報(bào)廠方。2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)例2.4.9

2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)例2.4.9

2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)例2.4.9

2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)例2.4.9

2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)例2.4.9

2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)例2.4.9

2.4.4完備性及其應(yīng)用例2.4.102.4最小方差無偏估計(jì)尋求二點(diǎn)分布b（1，p）的可估參數(shù)p（1?p）的UMVUE。2.4.4完備性及其應(yīng)用使用求解方程的方法直接尋找UMVUE

解2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)nt=0nt=0t=0n-1t=1n

比較左右兩端的系數(shù)可得p（1?p）的UMVUE為：2.4最小方差無偏估計(jì)2.4.4完備性及其應(yīng)用解

例2.4.112.4最小方差無偏估計(jì)

2.4.4完備性及其應(yīng)用

解2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)

2.4.4完備性及其應(yīng)用2.4最小方差無偏估計(jì)C-R不等式PART2.52.5C-R不等式定理2.5.1

(2.5.1)2.5C-R不等式定理2.5.1證因?yàn)闃颖臼呛?jiǎn)單樣本，又記

由于

2.5C-R不等式定理2.5.1證所以

2.5C-R不等式定理2.5.1再利用協(xié)方差性質(zhì)（即施瓦茲不等式）

將上述結(jié)果代回原式，即得C-R不等式。2.5C-R不等式定義2.5.1

2.5C-R不等式例2.5.1

2.5C-R不等式例2.5.2設(shè)X1,X2,···,Xn

是取自正態(tài)總體N(0,σ2)的一個(gè)樣本，可以驗(yàn)證，正態(tài)分布族{N(0,σ2):σ>0}是C-R正則分布族。下面來求參數(shù)g(σ2)=σ2的C-R下界，由于

2.5C-R不等式利用E(x2k)=σ2k(2k?1)(2k?3)···1，可算得費(fèi)希爾信息量

2.5C-R不等式

,都是σ2

的無偏估計(jì)，其方差分別為：,

2.5C-R不等式

2.5C-R不等式例2.5.3

2.5C-R不等式

置信區(qū)間PART2.62.6置信區(qū)間2.6.1置信區(qū)間概念定義2.6.1

1.區(qū)間估計(jì)及其置信度與置信系數(shù)2.6置信區(qū)間2.6.1置信區(qū)間概念定義2.6.1注1：從上述定義可知，構(gòu)造一個(gè)未知參數(shù)的區(qū)間估計(jì)并不難。

一個(gè)參數(shù)的區(qū)間估計(jì)可以給出多種，但要給出一個(gè)好的區(qū)間估計(jì)需要有豐富的統(tǒng)計(jì)思想和熟練的統(tǒng)計(jì)技巧。注2：當(dāng)置信度所示概率與參數(shù)θ無關(guān)時(shí)，置信度就是置信系數(shù),以后我們將努力尋求置信度與θ無關(guān)的區(qū)間估計(jì)。注3：上述定義中區(qū)間估計(jì)用閉區(qū)間給出，也可用開區(qū)間或半開區(qū)間給出，由實(shí)際需要而定。1.區(qū)間估計(jì)及其置信度與置信系數(shù)2.6置信區(qū)間2.6.1置信區(qū)間概念例2.6.1它的置信度可用t分布算得，具體如下：

1.區(qū)間估計(jì)及其置信度與置信系數(shù)2.6置信區(qū)間2.6.1置信區(qū)間概念

例2.6.1由于t分布只依賴于其自由度n?1，而不依賴于未知參數(shù)μ與σ,所以用

t分布算得的置信度就是置信系數(shù)。在n=20，對(duì)k=1,2,3可算出其置信系數(shù)如下：其中：

1.區(qū)間估計(jì)及其置信度與置信系數(shù)例2.6.12.6置信區(qū)間2.6.1置信區(qū)間概念正態(tài)均值μ的三個(gè)區(qū)間估計(jì)的置信系數(shù)一個(gè)比一個(gè)高，第三個(gè)區(qū)間的置信系數(shù)達(dá)到0.99。

1.區(qū)間估計(jì)及其置信度與置信系數(shù)

2.6置信區(qū)間2.6.1置信區(qū)間概念例2.6.1其中：現(xiàn)轉(zhuǎn)入考察這三個(gè)區(qū)間估計(jì)的平均長度由式(2.6.1)可知，

其平均長度為：

1.區(qū)間估計(jì)及其置信度與置信系數(shù)

2.6置信區(qū)間2.6.1置信區(qū)間概念例2.6.1由此可得平均長度為：

利用伽瑪分布可算得

1.區(qū)間估計(jì)及其置信度與置信系數(shù)在保證置信系數(shù)的前提下，盡量縮短置信區(qū)間平均長度。2.6置信區(qū)間2.6.1置信區(qū)間概念定義2.6.2

2.置信區(qū)間2.6置信區(qū)間2.6.1置信區(qū)間概念

2.置信區(qū)間2.6置信區(qū)間2.6.1置信區(qū)間概念定義2.6.3在定義2.6.2的記號(hào)下，如對(duì)給定的α(0<α<1)恒有

3.同等置信區(qū)間2.6置信區(qū)間2.6.1置信區(qū)間概念定義2.6.4

4.置信限2.6置信區(qū)間2.6.1置信區(qū)間概念定義2.6.4

4.置信限定義2.6.52.6置信區(qū)間2.6.1置信區(qū)間概念設(shè)X=(X1,X2,···,Xn)是來自某總體分布Fθ(x)的一個(gè)樣本，其中θ=(θ1,θ2,···,θk)是k維參數(shù)，其參數(shù)空間為Θ?Rk。假如對(duì)Θ的一個(gè)子集R(X)，有R(X)僅是樣本X的函數(shù)；12對(duì)給定的α(0<α<1)，有概率不等式

5.置信域定義2.6.52.6置信區(qū)間2.6.1置信區(qū)間概念5.置信域則稱R(X)是θ的置信水平為1?α的置信域（或置信集）。

而概率Pθ(θ∈R(X))在參數(shù)空間Θ上的下確界稱為該置信域的置信系數(shù)，假如式(2.6.6)等號(hào)成立，且不依賴于θ，則稱R(X)為1?α同等置信域。2.6置信區(qū)間2.6.2樞軸量法構(gòu)造未知參數(shù)θ的置信區(qū)間的一種常用方法是樞軸量法，它的具體步驟是：

2.6置信區(qū)間2.6.2樞軸量法

2.6置信區(qū)間2.6.2樞軸量法例2.6.2設(shè)X1,X2,···,Xn是來自均勻分布U(0,θ)的一個(gè)樣本，對(duì)給定的α(0<α<1)，尋求θ的1?α置信區(qū)間。2.6置信區(qū)間2.6.2樞軸量法用樞軸量法來尋求θ的置信區(qū)間，分幾步進(jìn)行。解

2.6置信區(qū)間2.6.2樞軸量法

它們都與θ無關(guān)，故可取G=X(n)/θ為樞軸量。其密度函數(shù)曲線見圖2.6.3。2.6置信區(qū)間2.6.2樞軸量法對(duì)給定的置信水平1?α,適當(dāng)選擇c與d，使利用不等式等價(jià)變形，可得θ的1?α同等置信區(qū)間。

2.6置信區(qū)間2.6.2樞軸量法一個(gè)直觀的方法是：把具有高密度值的點(diǎn)歸入?yún)^(qū)間，使區(qū)間外的點(diǎn)的密度值不超過區(qū)間內(nèi)的密度值，這種集最大密度點(diǎn)形成的區(qū)間（若可能）稱為最大密度區(qū)間，此種區(qū)間長度應(yīng)是最短的。

2.6置信區(qū)間2.6.2樞軸量法若(2.9,3.0,0.9,1.7,0.7)是取自均勻分布U(0,θ)的一個(gè)樣本，其

x(5)=3.0。若取α=0.1，則θ的最優(yōu)置信區(qū)間為；

2.6置信區(qū)間2.6.2樞軸量法

因?yàn)閷?shí)踐中人們對(duì)一次實(shí)現(xiàn)賦予一定概率是常見的事。如兩人約定在某時(shí)間段會(huì)合，甲認(rèn)為乙會(huì)按時(shí)到達(dá)的概率為0.9。又如一次球賽中觀眾認(rèn)為甲隊(duì)勝的概率為0.7等，都在一次實(shí)現(xiàn)中使用概率。2.6置信區(qū)間2.6.2樞軸量法例2.6.3設(shè)X1,X2,···,Xn是從指數(shù)分布exp(1/θ)中抽取的一個(gè)樣本。其密度函數(shù)為:其中，θ>0為總體均值，即E(x)=θ，現(xiàn)要求θ的1?α置信區(qū)間(0<α<1)。

2.6置信區(qū)間2.6.2樞軸量法在指數(shù)分布場(chǎng)合，Tn=X1+X2+···+Xn是θ的充分統(tǒng)計(jì)量。由于指數(shù)分布是伽瑪分布的特例，即Xi～Ga(1,1/θ)。利用伽瑪分布性質(zhì)可知解

2.6置信區(qū)間2.6.2樞軸量法對(duì)給定的置信水平1?α，利用χ2分布的α/2和1?α/2分位數(shù)可得

再利用不等式等價(jià)變形可得：

2.6置信區(qū)間2.6.2樞軸量法

譬如，某產(chǎn)品的壽命服從指數(shù)分布exp(1/θ)，如今從中隨機(jī)抽取9個(gè)樣品進(jìn)行壽命試驗(yàn)，獲得如下9個(gè)壽命數(shù)據(jù)（單位：小時(shí)）可算得Tn=5329，若取α=0.1，可由計(jì)算機(jī)函數(shù)得到χ2分布α分位數(shù)χ20.05(18)=9.39，χ20.95(18)=28.87于是平均壽命θ的0.9同等置信區(qū)間為152457505531607645707822903

2.6置信區(qū)間2.6.2樞軸量法由于平均壽命θ是望大特性，越大越好，因此人們關(guān)心其單側(cè)置信下限。它仍可用上述樞軸量2Tn/θ尋求θ的1?α單側(cè)置信下限。由χ2(2n)分布的1?α分位數(shù)χ12?α(2n)可得

2.6置信區(qū)間2.6.2樞軸量法

2.6置信區(qū)間2.6.2樞軸量法例2.6.4設(shè)X1,X2,···,Xn是來自某分布函數(shù)F(x;θ)的一個(gè)樣本，若此分布函數(shù)F(x;θ)既是x的連續(xù)函數(shù)，又是θ的嚴(yán)格單調(diào)函數(shù)，則可構(gòu)造樞軸量，獲得θ的置信區(qū)間。2.6置信區(qū)間2.6.2樞軸量法例2.6.4在X～F(x;θ)，F(xiàn)是x的連續(xù)函數(shù)場(chǎng)合，可利用如下分布間的關(guān)系：

2.6置信區(qū)間2.6.2樞軸量法例2.6.4

P

P2.6置信區(qū)間2.6.2樞軸量法例2.6.4

2.6置信區(qū)間2.6.2樞軸量法例2.6.4

P2.6置信區(qū)間2.6.2樞軸量法例2.6.4再取對(duì)數(shù)即得θ的1?α置信區(qū)間為：

，，這個(gè)例子表明：在一定的條件下，樞軸量是廣泛存在的。2.6置信區(qū)間2.6.3大量本置信區(qū)間

1.基于MLE的近似置信區(qū)間

2.6置信區(qū)間2.6.3大量本置信區(qū)間

1.基于MLE的近似置信區(qū)間

其中由此可得

2.6置信區(qū)間2.6.3大量本置信區(qū)間

1.基于MLE的近似置信區(qū)間

由此可得

2.6置信區(qū)間2.6.3大量本置信區(qū)間例2.6.5

設(shè)X1,X2,···,Xn是來自指數(shù)分布p(x;θ)=1/θe?x/θ(x>0)的一個(gè)樣本。該總體的費(fèi)希爾信息量為：

1.基于MLE的近似置信區(qū)間

2.6置信區(qū)間2.6.3大量本置信區(qū)間例2.6.51.基于MLE的近似置信區(qū)間

2.6置信區(qū)間2.6.3大量本置信區(qū)間

2.基于中心極限定理的近似置信區(qū)間

由此立即可得總體均值μ的近似1?α的等尾置信區(qū)間：

若其中σ未知，用σ2的相合估計(jì)（譬如樣本方差S2）替代即可。正態(tài)總體參數(shù)的置信區(qū)間PART2.72.7正態(tài)總體參數(shù)的置信區(qū)間對(duì)于正態(tài)總體參數(shù)的置信區(qū)間，可以通過樞軸量法獲得，其中樞軸量的分布本書1.5節(jié)均有介紹。表2.7.1給出了單總體正態(tài)均值、方差、標(biāo)準(zhǔn)差的置信區(qū)間。2.7正態(tài)總體參數(shù)的置信區(qū)間表2.7.1一個(gè)正態(tài)總體參數(shù)的置信區(qū)間編號(hào)參數(shù)條件樞軸量（1-a）%置信區(qū)間1234同（3）

2.7正態(tài)總體參數(shù)的置信區(qū)間

2.7正態(tài)總體參數(shù)的置信區(qū)間表2.7.2兩個(gè)正態(tài)總體參數(shù)的置信區(qū)間編號(hào)參數(shù)條件樞軸量（1-a）%置信區(qū)間12

2.7正態(tài)總體參數(shù)的置信區(qū)間表2.7.2兩個(gè)正態(tài)總體參數(shù)的置信區(qū)間編號(hào)參數(shù)條件樞軸量（1-a）%置信區(qū)間34

2.7正態(tài)總體參數(shù)的置信區(qū)間表2.7.2兩個(gè)正態(tài)總體參數(shù)的置信區(qū)間編號(hào)參數(shù)條件樞軸量（1-a）%置信區(qū)間567同（6）

2.7正態(tài)總體參數(shù)的置信區(qū)間其中

2.7正態(tài)總體參數(shù)的置信區(qū)間需要說明的幾點(diǎn)：第2行假設(shè)方差未知但相等，用合樣本方差進(jìn)行估計(jì)，樞軸量服從t分布；第3行是大樣本正態(tài)近似的結(jié)果；2.7正態(tài)總體參數(shù)的置信區(qū)間需要說明的幾點(diǎn)：第4行假設(shè)方差未知且不等，小樣本下，樞軸量的分布未知，使用t分布近似。若l為非整數(shù)時(shí)，取最接近的整數(shù)；第5行假設(shè)X與Y不獨(dú)立，數(shù)據(jù)成對(duì)出現(xiàn)，d=X?Y是一維正態(tài)分布，記為N(μd,σd2)，di=Xi?Yi,i=1,...,n是來自該分布的樣本。μd=μ1?μ2

的置信區(qū)間按照一維情況處理。2.7正態(tài)總體參數(shù)的置信區(qū)間2.7.2二維參數(shù)(μ,??2)的置信域

就取這兩個(gè)量作為樞軸量，對(duì)給定的置信水平1?α，可以通過標(biāo)準(zhǔn)正態(tài)分布的分位數(shù)與χ2(n?1)的分位數(shù)確定三個(gè)數(shù)c,d1,d2,使得2.7正態(tài)總體參數(shù)的置信區(qū)間2.7.2二維參數(shù)(μ,??2)的置信域

所以正態(tài)參數(shù)(μ,σ2)的1?α置信域?yàn)?這是兩條平行線與一條二次曲線所圍成的區(qū)域，見圖2.7.1.