參數估計-白城師范學院課件

第六章參數估計

§6.1

點估計的幾種方法§6.2

點估計的評價標準§6.3

最小方差無偏估計§6.4

貝葉斯估計§6.5

區(qū)間估計第六章參數估計§6.1點估計的幾種方法一般常用

表示參數，參數

所有可能取值組成的集合稱為參數空間，常用

表示。參數估計問題就是根據樣本對上述各種未知參數作出估計。參數估計的形式有兩種：點估計與區(qū)間估計。一般常用表示參數，參數所有可能取值組成的集合稱為參數設x1,x2,…,xn是來自總體X的一個樣本，我們用一個統(tǒng)計量的取值作為

的估計值，稱為

的點估計（量），簡稱估計。在這里如何構造統(tǒng)計量并沒有明確的規(guī)定，只要它滿足一定的合理性即可。這就涉及到兩個問題：

其一

是如何給出估計，即估計的方法問題；

其二

是如何對不同的估計進行評價，即估計的好壞判斷標準。設x1,x2,…,xn是來自總體X的一個樣本，§6.1點估計的幾種方法

6.1.1

替換原理和矩法估計

一、矩法估計

替換原理是指用樣本矩及其函數去替換相應的總體矩及其函數，譬如：用樣本均值估計總體均值E(X)，即；用樣本方差估計總體方差Var(X)，即用樣本的p分位數估計總體的p分位數，用樣本中位數估計總體中位數。

§6.1點估計的幾種方法6.1.1替換原理和矩法估計例6.1.1

對某型號的20輛汽車記錄其每加侖汽油的行駛里程(km)，觀測數據如下：29.827.628.327.930.128.729.928.027.928.728.427.229.528.528.030.029.129.829.626.9經計算有

由此給出總體均值、方差和中位數的估計分別為:28.695,0.9185和28.6。矩法估計的實質是用經驗分布函數去替換總體分布，其理論基礎是格里紋科定理。例6.1.1對某型號的20輛汽車記錄其每加侖汽油的行駛里二、概率函數P(x,θ)已知時未知參數的矩法估計

設總體具有已知的概率函數P(x,

1,

…,

k)，

x1,x2

,

…,xn是樣本，假定總體的k階原點矩

k存在，若

1,

…,

k能夠表示成

1,

…,

k的函數

j=

j(

1,

…,

k)，則可給出諸

j的矩法估計為

其中二、概率函數P(x,θ)已知時未知參數的矩法估計設總體例6.1.2設總體服從指數分布，由于EX=1/

，即

=1/EX，故

的矩法估計為另外，由于Var(X)=1/

2，其反函數為因此，從替換原理來看，

的矩法估計也可取為

s為樣本標準差。這說明矩估計可能是不唯一的，這是矩法估計的一個缺點，此時通常應該盡量采用低階矩給出未知參數的估計。例6.1.2設總體服從指數分布，由于EX=1/，例6.1.3

x1,x2,

…,xn是來自(a,b)上的均勻分布U(a,b)的樣本，a與b均是未知參數，這里k=2，由于不難推出由此即可得到a,b的矩估計：例6.1.3x1,x2,…,xn是來自(a,b)上的6.1.2極(最)大似然估計

定義6.1.1設總體的概率函數為P(x;

)，

是參數

可能取值的參數空間，x1,x2

,…,xn是樣本，將樣本的聯合概率函數看成

的函數，用L(

;x1,x2,

…,xn)表示，簡記為L(

)，

稱為樣本的似然函數。6.1.2極(最)大似然估計定義6.1.1設總體的概如果某統(tǒng)計量滿足

則稱是

的極(最)大似然估計，簡記為MLE（MaximumLikelihoodEstimate）。

人們通常更習慣于由對數似然函數lnL(

)出發(fā)尋找

的極大似然估計。當L(

)是可微函數時，求導是求極大似然估計最常用的方法，對lnL(

)求導更加簡單些。如果某統(tǒng)計量滿足人們通常更習慣例6.1.6設一個試驗有三種可能結果，其發(fā)生概率分別為現做了n次試驗，觀測到三種結果發(fā)生的次數分別為n1,n2,n3(n1+n2+n3=n)，則似然函數為其對數似然函數為例6.1.6設一個試驗有三種可能結果，其發(fā)生概率分別為將之關于

求導，并令其為0得到似然方程解之，得由于所以是極大值點。將之關于求導，并令其為0得到似然方程例6.1.7對正態(tài)總體N(,2)，θ=(,2)是二維參數，設有樣本x1,x2

,

…,xn，則似然函數及其對數分別為

例6.1.7對正態(tài)總體N(,2)，θ=(,2將lnL(,2)分別關于兩個分量求偏導并令其為0,即得到似然方程組

(6.1.9)

(6.1.10)將lnL(,2)分別關于兩個分量求偏導并令其為

解此方程組，由(6.1.9)可得

的極大似然估計為將之代入(6.1.10)，得出

2的極大似然估計利用二階導函數矩陣的非正定性可以說明上述估計使得似然函數取極大值。

解此方程組，由(6.1.9)可得的極大似然估計為

雖然求導函數是求極大似然估計最常用的方法，但并不是在所有場合求導都是有效的。

例6.1.8

設x1,x2

,

…,xn是來自均勻總體

U(0,

)的樣本，試求

的極大似然估計。雖然求導函數是求極大似然估計最常用的方法，但并不是在所有

解似然函數要使L(

)達到最大，首先一點是示性函數取值應該為1，其次是1/

n盡可能大。由于1/

n是

的單調減函數，所以

的取值應盡可能小，但示性函數為1決定了

不能小于x(n)，由此給出

的極大似然估計：。解似然函數

極大似然估計有一個簡單而有用的性質：如果是

的極大似然估計，則對任一函數g(

)，其極大似然估計為。該性質稱為極大似然估計的不變性，從而使一些復雜結構的參數的極大似然估計的獲得變得容易了。

例6.1.9

設x1,x2,

…,xn是來自正態(tài)總體N(

,

2)的樣本，則

和

2的極大似然估計為，于是由不變性可得如下參數的極大似然估計，它們是:標準差

的MLE是；例6.1.9設x1,x2,…,xn是來自概率的MLE是；總體0.90分位數x0.90=+

u0.90

的MLE是，其中u0.90為標準正態(tài)分布的0.90分位數。概率的MLE是；§6.2

點估計的評價標準

6.2.1

相合性

我們知道，點估計是一個統(tǒng)計量，因此它是一個隨機變量，在樣本量一定的條件下，我們不可能要求它完全等同于參數的真實取值。但如果我們有足夠的觀測值，根據格里紋科定理，隨著樣本量的不斷增大，經驗分布函數逼近真實分布函數，因此完全可以要求估計量隨著樣本量的不斷增大而逼近參數真值，這就是相合性，嚴格定義如下?！?.2點估計的評價標準6.2.1相合性定義6.2.1設

∈Θ為未知參數，是

的一個估計量，n是樣本容量，若對任何一個ε>0，有(6.2.1)則稱為

參數的相合估計。定義6.2.1設∈Θ為未知參數，相合性被認為是對估計的一個最基本要求,如果一個估計量,在樣本量不斷增大時，它都不能把被估參數估計到任意指定的精度,那么這個估計是很值得懷疑的。通常,不滿足相合性要求的估計一般不予考慮。證明估計的相合性一般可應用大數定律或直接由定義來證.相合性被認為是對估計的一個最基本要求,如果一個估計量,若把依賴于樣本量n的估計量看作一個隨機變量序列,相合性就是依概率收斂于

,所以證明估計的相合性可應用依概率收斂的性質及各種大數定律。若把依賴于樣本量n的估計量看作一個隨機變量序列,相合在判斷估計的相合性時下述兩個定理是很有用的。定理6.2.1設是

的一個估計量，若

則是

的相合估計，定理6.2.2若分別是

1,

…,

k的相合估計，

=g(

1

,

…,

k)是

1,

…,

k的連續(xù)函數，則是

的相合估計。在判斷估計的相合性時下述兩個定理是很有用的。定理6.2.2例6.2.2設x1,x2

,

…,xn是來自均勻總體U(0,

)的樣本，證明

的極大似然估計是相合估計。證明：在例6.1.7中我們已經給出

的極大似然估計是x(n)。由次序統(tǒng)計量的分布，我們知道x(n)的分布密度函數為p(y)=nyn-1/

n,y<

,

故有由定理6.2.1可知，x(n)是

的相合估計。例6.2.2設x1,x2,…,xn是來自均勻總由大數定律及定理6.2.2，我們可以看到：矩估計一般都具有相合性。比如：樣本均值是總體均值的相合估計；樣本標準差是總體標準差的相合估計；樣本變異系數是總體變異系數的相合估計。由大數定律及定理6.2.2，我們可以看到：樣本均值是總6.2.2無偏性

定義6.2.2

設是

的一個估計，

的參數空間為Θ，若對任意的

∈Θ，有

則稱是

的無偏估計，否則稱為有偏估計。

6.2.2無偏性定義6.2.2設例6.2.4對任一總體而言，樣本均值是總體均值的無偏估計。當總體k階矩存在時，樣本k階原點矩ak是總體k階原點矩

k的無偏估計。但對中心矩則不一樣，譬如，由于，樣本方差s*2不是總體方差

2的無偏估計，對此，有如下兩點說明：

(1)當樣本量趨于無窮時，有E(s*2)

2，我們稱s*2為

2的漸近無偏估計。

(2)若對s*2作如下修正：，則s2是總體方差的無偏估計。例6.2.4對任一總體而言，樣本均值是總體均值的無偏估計。例6.2.5設總體為N(

,

2)，x1,x2,

…,xn是樣本，則s2是

2的無偏估計，且可求出這說明s不是

的無偏估計.利用修正技術可得cns是

的無偏估計，其中是修偏系數.可以證明，當n

時,有cn1.這說明s是

的漸近無偏估計。例6.2.5設總體為N(,2)，x1,x26.2.3有效性

定義6.2.3設是

的兩個無偏估計，如果對任意的

∈Θ,有且至少有一個

∈Θ使得上述不等號嚴格成立，則稱比有效。

6.2.3有效性定義6.2.3設是的兩例6.2.6設x1,x2

,

…,xn是取自某總體的樣本，記總體均值為

，總體方差為

2，則,,都是

的無偏估計，但顯然，只要n>1，比有效。這表明用全部數據的平均估計總體均值要比只使用部分數據更有效。例6.2.6設x1,x2,…,xn是取自某總例6.2.7均勻總體U(0,

)中

的極大似然估計是x(n)，由于，所以x(n)不是

的無偏估計，而是

的漸近無偏估計。經過修偏后可以得到

的一個無偏估計：。且另一方面，由矩法我們可以得到

的另一個無偏估計，且由此，當n>1時，比有效。例6.2.7均勻總體U(0,)中的極大似然估計6.2.4均方誤差

無偏估計不一定比有偏估計更優(yōu)。評價一個點估計的好壞一般可以用：點估計值與參數真值

的距離平方的期望，這就是下式給出的均方誤差

均方誤差是評價點估計的最一般的標準。我們希望估計的均方誤差越小越好。6.2.4均方誤差無偏估計不一定比有偏估計更優(yōu)。注意到，因此

(1)若是

的無偏估計，則，這說明用方差考察無偏估計有效性是合理的。

(2)當不是

的無偏估計時，就要看其均方誤差。下面的例子說明：在均方誤差的含義下有些有偏估計優(yōu)于無偏估計。

注意到，因此例6.2.8對均勻總體U(0,

)，由

的極大似然估計得到的無偏估計是，它的均方誤差

現我們考慮θ的形如的估計，其均方差為

用求導的方法不難求出當時上述均方誤差達到最小，且其均方誤差

所以在均方誤差的標準下，有偏估計優(yōu)于無偏估計。例6.2.8對均勻總體U(0,)，由的極大似然§6.3最小方差無偏估計

6.3.1

Rao-Blackwell定理

以下定理說明：好的無偏估計都是充分統(tǒng)計量的函數。

定理6.3.2

設總體概率函數是

p(x,

)，x1,x2

,

…,xn

是其樣本，T=T(x1,x2

,

…,xn)是

的充分統(tǒng)計量，則對

的任一無偏估計，令，則也是

的無偏估計，且

§6.3最小方差無偏估計6.3.1Rao-Black

定理6.3.2說明：如果無偏估計不是充分統(tǒng)計量的函數，則將之對充分統(tǒng)計量求條件期望可以得到一個新的無偏估計，該估計的方差比原來的估計的方差要小，從而降低了無偏估計的方差。換言之，考慮

的估計問題只需要在基于充分統(tǒng)計量的函數中進行即可，該說法對所有的統(tǒng)計推斷問題都是正確的，這便是所謂的充分性原則。

定理6.3.2說明：如果無偏估計不是充分統(tǒng)計例6.3.1

設x1,x2

,

…,xn是來自b(1,p)的樣本，則是p的充分統(tǒng)計量。為估計

=p2，可令由于，所以是

的無偏估計。這個只使用了兩個觀測值的估計并不好.下面我們用Rao-Blackwell定理對之加以改進：求關于充分統(tǒng)計量的條件期望，得例6.3.1設x1,x2,…,xn是來自b(6.3.2

最小方差無偏估計

定義6.3.1對參數估計問題，設是

的一個無偏估計，如果對另外任意一個

的無偏估計，在參數空間Θ上都有

則稱是

的一致最小方差無偏估計，簡記為

UMVUE。如果UMVUE存在，則它一定是充分統(tǒng)計量的函數。6.3.2最小方差無偏估計定義6.3.1對參數

定理6.3.3

設x=(x1,x2

,

…,xn)是來自某總體的一個樣本，是

的一個無偏估計，如果對任意一個滿足E(

(x))=0的

(x)，都有則是

的UMVUE。關于UMVUE，有如下一個判斷準則。定理6.3.3設x=(x1,x2,…,xn)例6.3.2設x1,x2

,…,xn是來自指數分布Exp(1/

)的樣本，則T=x1+…+xn是

的充分統(tǒng)計量，而是

的無偏估計。設

=

(x1,x2,

…,xn)是0的任一無偏估計，則兩端對

求導得這說明，從而，由定理6.3.3，它是

的UMVUE。例6.3.2設x1,x2,…,xn是來自指數分6.3.3Cramer-Rao不等式

定義6.3.2設總體的概率函數P(x,

),

∈Θ滿足下列條件：(1)參數空間Θ是直線上的一個開區(qū)間；(2)支撐S={x:P(x,

)>0}與

無關；(3)導數對一切

∈Θ都存在；(4)對P(x,

)，積分與微分運算可交換次序；(5)期望存在；則稱為總體分布的費希爾(Fisher)信息量。

6.3.3Cramer-Rao不等式定義6.3.2費希爾信息量是數理統(tǒng)計學中一個基本概念，很多的統(tǒng)計結果都與費希爾信息量有關。如極大似然估計的漸近方差，無偏估計的方差的下界等都與費希爾信息量I(

)有關。I(

)的種種性質顯示，“I(

)越大”可被解釋為總體分布中包含未知參數

的信息越多。費希爾信息量是數理統(tǒng)計學中一個基本概念，很多的統(tǒng)計結果都例6.3.3設總體為泊松分布P(

)分布，則于是例6.3.3設總體為泊松分布P()分布，則例6.3.4設總體為指數分布，其密度函數為

可以驗證定義6.3.2的條件滿足，且于是例6.3.4設總體為指數分布，其密度函數為定理6.3.4（Cramer-Rao不等式）

設定義6.3.2的條件滿足，x1,x2

,

…,xn是來自該總體的樣本，T=T(x1,x2

,

…,xn)是g(

)的任一個無偏估計，存在，且對

∈Θ

中一切

，微分可在積分號下進行，則有定理6.3.4（Cramer-Rao不等式）上式稱為克拉美-羅（C-R）不等式;

[g’(θ)]2/(nI(

))稱為g(

)的無偏估計的方差的C-R下界，簡稱g(

)的C-R下界。特別，對

的無偏估計,有;如果等號成立，則稱T=T(x1,

…,xn)是g(

)的有效估計，有效估計一定是UMVUE。上式稱為克拉美-羅（C-R）不等式;例6.3.5設總體分布列為p(x,

)=

x(1-

)1-x,x=0,1，它滿足定義6.3.2的所有條件，可以算得該分布的費希爾信息量為，若x1,x2,

…,xn是該總體的樣本，則

的C-R下界為(nI(

))-1=

(1-

)/n。因為是

的無偏估計，且其方差等于

(1-

)/n，達到C-R下界，所以是

的有效估計，它也是

的UMVUE。例6.3.5設總體分布列為p(x,)=x(1例6.3.6設總體為指數分布Exp(1/

)，它滿足定義6.3.2的所有條件，例6.3.4中已經算出該分布的費希爾信息量為I(

)=

-2，若x1,x2,

…,xn是樣本，則

的C-R下界為(nI(

))-1=

2/n。而是

的無偏估計，且其方差等于

2/n，達到了C-R下界，所以，是

的有效估計，它也是

的UMVUE。例6.3.6設總體為指數分布Exp(1/)，它滿足定能達到C-R下界的無偏估計不多:例6.3.7設總體為N(0,

2)，滿足定義6.3.2的條件，且費希爾信息量為，令,則

的C-R下界為,而

的UMVUE為其方差大于C-R下界。這表明所有

的無偏估計的方差都大于其C-R下界。能達到C-R下界的無偏估計不多:費希爾信息量的主要作用體現在極大似然估計。

定理6.3.5

設總體X有密度函數p(x;

)，

∈Θ，

Θ為非退化區(qū)間，假定

(1)對任意的x，偏導數，和對所有

∈Θ都存在；(2)?

∈Θ,有，其中函數F1(x),F2(x),F3(x)可積.費希爾信息量的主要作用體現在極大似然估計。定理6.3.5(3)?

∈Θ,

若x1,x2

,

…,xn是來自該總體的樣本，則存在未知參數

的極大似然估計，且具有相合性和漸近正態(tài)性:

(3)?∈Θ,§6.4貝葉斯估計

6.4.1統(tǒng)計推斷的基礎

經典學派的觀點：統(tǒng)計推斷是根據樣本信息對總體分布或總體的特征數進行推斷，這里用到兩種信息：總體信息和樣本信息；貝葉斯學派的觀點：除了上述兩種信息以外，統(tǒng)計推斷還應該使用第三種信息：先驗信息。

§6.4貝葉斯估計6.4.1統(tǒng)計推斷的基礎經典學派（1）總體信息:總體分布提供的信息。（2）樣本信息:抽取樣本所得觀測值提供的信息。（3）先驗信息:人們在試驗之前對要做的問題在經驗上和資料上總是有所了解的，這些信息對統(tǒng)計推斷是有益的。先驗信息即是抽樣（試驗）之前有關統(tǒng)計問題的一些信息。一般說來，先驗信息來源于經驗和歷史資料。先驗信息在日常生活和工作中是很重要的。（1）總體信息:總體分布提供的信息?；谏鲜鋈N信息進行統(tǒng)計推斷的統(tǒng)計學稱為貝葉斯統(tǒng)計學。它與經典統(tǒng)計學的差別就在于是否利用先驗信息。貝葉斯統(tǒng)計在重視使用總體信息和樣本信息的同時，還注意先驗信息的收集、挖掘和加工，使它數量化，形成先驗分布，參加到統(tǒng)計推斷中來，以提高統(tǒng)計推斷的質量。忽視先驗信息的利用，有時是一種浪費，有時還會導出不合理的結論?；谏鲜鋈N信息進行統(tǒng)計推斷的統(tǒng)計學稱為貝葉斯統(tǒng)計學。它

貝葉斯學派的基本觀點：任一未知量

都可看作隨機變量，可用一個概率分布去描述，這個分布稱為先驗分布；在獲得樣本之后，總體分布、樣本與先驗分布通過貝葉斯公式結合起來得到一個關于未知量

新的分布—后驗分布；任何關于

的統(tǒng)計推斷都應該基于

的后驗分布進行。貝葉斯學派的基本觀點：任一未知量都可看作隨機變量，可6.4.2貝葉斯公式的密度函數形式

總體依賴于參數

的概率函數在貝葉斯統(tǒng)計中記為P(x|

)，它表示在隨機變量θ取某個給定值時總體的條件概率函數；

根據參數

的先驗信息可確定先驗分布

(

)；

從貝葉斯觀點看，樣本x1,x2

,

…,xn的產生分兩步進行:首先從先驗分布(

)產生一個樣本

0，然后從P(x|

0)中產生一組樣本。這時樣本的聯合條件概率函數為，這個分布綜合了總體信息和樣本信息；6.4.2貝葉斯公式的密度函數形式總體依賴于參數的概

0

是未知的，它是按先驗分布

(

)產生的。為把先驗信息綜合進去，不能只考慮

0，對

的其它值發(fā)生的可能性也要加以考慮，故要用

(

)進行綜合。這樣一來，樣本x1

,

…,xn和參數

的聯合分布為:h(x1,x2

,

…,xn,

)=p(x1,x2

,

…,xn

)

(

)，

這個聯合分布把總體信息、樣本信息和先驗信息三種可用信息都綜合進去了；0是未知的，它是按先驗分布()產生的。為把先驗信息在沒有樣本信息時，人們只能依據先驗分布對

作出推斷。在有了樣本觀察值x1,x2

,

…,xn之后，則應依據h(x1,x2

,

…,xn,

)對

作出推斷。由于h(x1,x2

,…,xn,

)=

(

x1,x2

,…,xn)m(x1,x2

,…,xn)，其中是x1,x2

,

…,xn的邊際概率函數，它與

無關，不含

的任何信息。因此能用來對

作出推斷的僅是條件分布

(

x1,x2

,

…,xn)，它的計算公式是在沒有樣本信息時，人們只能依據先驗分布對作出推斷。在有了這個條件分布稱為

的后驗分布，它集中了總體、樣本和先驗中有關

的一切信息。

后驗分布

(

x1,x2

,

…,xn)的計算公式就是用密度函數表示的貝葉斯公式。它是用總體和樣本對先驗分布

(

)作調整的結果，貝葉斯統(tǒng)計的一切推斷都基于后驗分布進行。

這個條件分布稱為的后驗分布，它集中了總體、樣本和先驗6.4.3貝葉斯估計基于后驗分布

(

x1,x2

,

…,xn)對

所作的貝葉斯估計有多種，常用有如下三種：使用后驗分布的密度函數最大值作為

的點估計，稱為最大后驗估計；使用后驗分布的中位數作為

的點估計，稱為后驗中位數估計；使用后驗分布的均值作為

的點估計，稱為后驗期望估計。用得最多的是后驗期望估計，它一般也簡稱為貝葉斯估計，記為。6.4.3貝葉斯估計例6.4.2設某事件A在一次試驗中發(fā)生的概率為

，為估計

，對試驗進行了n次獨立觀測，其中事件A發(fā)生了X次，顯然X

b(n,

)，即假若我們在試驗前對事件A沒有什么了解，從而對其發(fā)生的概率

也沒有任何信息。在這種場合，貝葉斯本人建議采用“同等無知”的原則使用區(qū)間（0,1）上的均勻分布U(0,1)作為

的先驗分布，因為它?。?,1）上的每一點的機會均等。貝葉斯的這個建議被后人稱為貝葉斯假設。例6.4.2設某事件A在一次試驗中發(fā)生的概率為，為估由此即可利用貝葉斯公式求出

的后驗分布。具體如下：先寫出X和

的聯合分布然后求X的邊際分布最后求出

的后驗分布最后的結果說明

XBe(x+1,n-x+1)，其后驗期望估計為

(6.4.4)由此即可利用貝葉斯公式求出的后驗分布。具體如下：先寫某些場合，貝葉斯估計要比極大似然估計更合理一點。比如:“抽檢3個全是合格品”與“抽檢10個全是合格品”，后者的質量比前者更信得過。這種差別在不合格品率的極大似然估計中反映不出來（兩者都為0），而用貝葉斯估計兩者分別是0.2和0.83。由此可以看到，在這些極端情況下，貝葉斯估計比極大似然估計更符合人們的理念。某些場合，貝葉斯估計要比極大似然估計更合理一點。比如:例6.4.3設x1,x2

,

…,xn是來自正態(tài)分布N(,02)的一個樣本，其中

02已知，

未知，假設

的先驗分布亦為正態(tài)分布N(

,2)，其中先驗均值

和先驗方差

2均已知，試求

的貝葉斯估計。解：樣本x的分布和

的先驗分布分別為例6.4.3設x1,x2,…,xn是來自正態(tài)分布由此可以寫出x與

的聯合分布其中，。若記則有由此可以寫出x與的聯合分布注意到A,B,C均與

無關，由此容易算得樣本的邊際密度函數應用貝葉斯公式即可得到后驗分布這說明在樣本給定后，

的后驗分布為

N(B/A,1/A)，即

注意到A,B,C均與無關，由此容易算得樣本的邊際密度后驗均值即為其貝葉斯估計：它是樣本均值與先驗均值

的加權平均。后驗均值即為其貝葉斯估計：6.4.4共軛先驗分布

若后驗分布

(

x)與

(

)屬于同一個分布族，則稱該分布族是

的共軛先驗分布(族)。二項分布b(n,

)中的成功概率

的共軛先驗分布是貝塔分布Be(a,b)；泊松分布P(

)中的均值

的共軛先驗分布是伽瑪分布Ga(

,

)；在方差已知時，正態(tài)均值

的共軛先驗分布是正態(tài)分布N(,2);在均值已知時，正態(tài)方差

2的共軛先驗分布是倒伽瑪分布IGa(

,

)。6.4.4共軛先驗分布若后驗分布(x)與§6.5區(qū)間估計

6.5.1區(qū)間估計的概念

定義6.5.1

設

是總體的一個參數，其參數空間為Θ，x1,x2

,

…,xn是來自該總體的樣本，對給定的一個

(0<

<1)，若有兩個統(tǒng)計量和，若對任意的

∈Θ，有（6.5.1）§6.5區(qū)間估計6.5.1區(qū)間估計的概念定義6.5則稱隨機區(qū)間[]為

的置信水平為1-

的置信區(qū)間，或簡稱[]是

的1-

置信區(qū)間.

和分別稱為

的（雙側）置信下限和置信上限.

這里置信水平1-

的含義是指在大量使用該置信區(qū)間時，至少有100(1-

)%的區(qū)間含有

。

則稱隨機區(qū)間[]為的置信水平為1-的置例6.5.1

設x1,x2

,

…,x10是來自N(,

2)的樣本，則

的置信水平為1-

的置信區(qū)間為其中，,s分別為樣本均值和樣本標準差。這個置信區(qū)間的由來將在6.5.3節(jié)中說明，這里用它來說明置信區(qū)間的含義。若取

=0.10，則t0..95(9)=1.8331，上式化為例6.5.1設x1,x2,…,x10是來自N(現假定

=15,

2=4，則我們可以用隨機模擬方法由N(15,4)產生一個容量為10的樣本，如下即是這樣一個樣本：14.8513.0113.5014.9316.9713.8017.953313.3716.2912.38由該樣本可以算得從而得到

的一個區(qū)間估計為該區(qū)間包含

的真值--15?，F重復這樣的方法100次，可以得到100個樣本，也就得到100個區(qū)間，我們將這100個區(qū)間畫在圖6.5.1上。現假定=15,2=4，則我們可以用隨機模擬方由圖6.5.1可以看出，這100個區(qū)間中有91個包含參數真值15，另外9個不包含參數真值。圖6.5.1

的置信水平為0.90的置信區(qū)間由圖6.5.1可以看出，這100個區(qū)間中有91個包含參數取

=0.50，我們也可以給出100個這樣的區(qū)間，見圖6.5.2。可以看出，這100個區(qū)間中有50個包含參數真值15，另外50個不包含參數真值。圖6.5.2

的置信水平為0.50的置信區(qū)間取=0.50，我們也可以給出100個這樣的區(qū)間，見圖6定義6.5.2沿用定義6.5.1的記號，如對給定的

(0<

<1)，對任意的

∈Θ，有

（6.5.2）

稱為

的1-

同等置信區(qū)間。

同等置信區(qū)間是把給定的置信水平1-

用足了。常在總體為連續(xù)分布場合下可以實現。定義6.5.2沿用定義6.5.1的記號，如對給定的(0定義

若對給定的

(0<

<1)和任意的

∈Θ，有，則稱為

的置信水平為1-

的（單側）置信下限。假如等號對一切

∈Θ成立，則稱為

的1-

同等置信下限。若對給定的

(0<

<1)和任意的

∈Θ，有,則稱為

的置信水平為1-

的（單側）置信上限。若等號對一切

∈Θ成立，則稱為1-

同等置信上限。單側置信限是置信區(qū)間的特殊情形。因此，尋求置信區(qū)間的方法可以用來尋找單側置信限。定義若對給定的(0<<1)和任意的∈Θ，有6.5.2樞軸量法

構造未知參數

的置信區(qū)間的最常用的方法是樞軸量法，其步驟可以概括為如下三步：1.設法構造一個樣本和

的函數G=G(x1,x2

,

…,xn,

)使得G的分布不依賴于未知參數。一般稱具有這種性質的G為樞軸量。2.適當地選擇兩個常數c,d，使對給定的

(0<

<1)有P(c≤G≤d)=1-

3.假如能將c≤G

≤d進行不等式等價變形化為則[，]是

的1-

同等置信區(qū)間。6.5.2樞軸量法構造未知參數的置信區(qū)間的關于置信區(qū)間的構造有兩點說明：

滿足置信度要求的c與d通常不唯一。若有可能，應選平均長度達到最短的c與d，這在G的分布為對稱分布場合通常容易實現。實際中，選平均長度盡可能短的c與d，這往往很難實現，因此，常這樣選擇c與d，使得兩個尾部概率各為

/2，即P(G<c)=P(G>d)=

/2，這樣的置信區(qū)間稱為等尾置信區(qū)間。這是在G的分布為偏態(tài)分布場合常采用的方法。關于置信區(qū)間的構造有兩點說明：滿足置信度要求的c與d通常不例6.5.2

設x1,x2

,

…,xn是來自均勻總體U(0,

)的一個樣本，試對給定的

(0<

<1)給出

的1-

同等置信區(qū)間。解:（1）取x(n)作為樞軸量，其密度函數為p(y;

)=nyn，0<y<1；

（2）x(n)/

的分布函數為F(y)=yn,0<y<1，故P(c≤x(n)/

≤d)=dn-cn，因此我們可以適當地選擇c和d滿足dn-cn=1-

例6.5.2設x1,x2,…,xn是來自均勻總（3）利用不等式變形可容易地給出

的1-

同等置信區(qū)間為[x(n)/d，x(n)/c]，該區(qū)間的平均長度為。不難看出，在0≤c<d≤1及dn-cn=1-

的條件下，當d=1,c=

時，取得最小值，這說明是

的置信水平1-

為最短置信區(qū)間。（3）利用不等式變形可容易地給出的1-同等置信區(qū)間為[6.5.3單個正態(tài)總體參數的置信區(qū)間

一、

已知時

的置信區(qū)間在這種情況下，樞軸量可選為，c和d應滿足P(c≤G≤d)=

(d)-

(c)=1-

，經過不等式變形可得該區(qū)間長度為。當d=-c=u1-

/2時，d-c達到最小，由此給出了的同等置信區(qū)間為[，]。（6.5.8）這是一個以為中心，半徑為的對稱區(qū)間，常將之表示為。6.5.3單個正態(tài)總體參數的置信區(qū)間一、已知時例6.5.3

用天平秤某物體的重量9次，得平均值為（克），已知天平秤量結果為正態(tài)分布，其標準差為0.1克。試求該物體重量的0.95置信區(qū)間。解：此處1-

=0.95，

=0.05，查表知u0.975=1.96，于是該物體重量

的0.95置信區(qū)間為，從而該物體重量的0.95置信區(qū)間為

[15.3347，15.4653]。例6.5.3用天平秤某物體的重量9次，得平均值為例6.5.4

設總體為正態(tài)分布N(

,1)，為得到

的置信水平為0.95的置信區(qū)間長度不超過1.2，樣本容量應為多大？解：由題設條件知

的0.95置信區(qū)間為

其區(qū)間長度為，它僅依賴于樣本容量n而與樣本具體取值無關?，F要求，立即有n(2/1.2)2u21-

/2.現1-

=0.95，故u1-

/2=1.96，從而n(5/3)21.962=

10.6711。即樣本容量至少為11時才能使得

的置信水平為0.95的置信區(qū)間長度不超過1.2。例6.5.4設總體為正態(tài)分布N(,1)，為得到的二、

2未知時

的置信區(qū)間

這時可用t統(tǒng)計量，因為，因此t可以用來作為樞軸量。完全類似于上一小節(jié)，可得到

的1-

置信區(qū)間為

此處是

2的無偏估計。二、2未知時的置信區(qū)間這時可用t統(tǒng)計量例6.5.5假設輪胎的壽命服從正態(tài)分布。為估計某種輪胎的平均壽命，現隨機地抽12只輪胎試用，測得它們的壽命（單位：萬公里）如下：4.684.854.324.854.615.025.204.604.584.724.384.70此處正態(tài)總體標準差未知，可使用t分布求均值的置信區(qū)間。經計算有=4.7092，s2=0.0615。取

=0.05，查表知t0.975(11)=2.2010，于是平均壽命的0.95置信區(qū)間為（單位：萬公里）例6.5.5假設輪胎的壽命服從正態(tài)分布。為估計某種輪胎的在實際問題中，由于輪胎的壽命越長越好，因此可以只求平均壽命的置信下限，也即構造單邊的置信下限。由于由不等式變形可知

的1-

置信下限為

將t0.95(11)=1.7959代入計算可得平均壽命

的0.95置信下限為4.5806（萬公里）。在實際問題中，由于輪胎的壽命越長越好，因此可以只求平均壽三、

2的置信區(qū)間

取樞軸量，由于

2分布是偏態(tài)分布，尋找平均長度最短區(qū)間很難實現，一般都用等尾置信區(qū)間：采用

2的兩個分位數

2

/2(n-1)和

21-

/2(n-1)，在

2分布兩側各截面積為

/2的部分，使得由此給出

2的1-

置信區(qū)間為三、2的置信區(qū)間取樞軸量例6.5.6某廠生產的零件重量服從正態(tài)分布N(,

2)，現從該廠生產的零件中抽取9個，測得其重量為（單位：克）45.345.445.145.345.545.745.445.345.6試求總體標準差

的0.95置信區(qū)間。解：由數據可算得s2=0.0325，(n-1)s2=8

0325=0.26.查表知

20.025(8)=2.1797，

20.975(8)=17.5345，代入可得

2的0.95置信區(qū)間為

從而

的0.95置信區(qū)間為:[0.1218，0.3454]。例6.5.6某廠生產的零件重量服從正態(tài)分布N(,在樣本容量充分大時，可以用漸近分布來構造近似的置信區(qū)間。一個典型的例子是關于比例p的置信區(qū)間。6.5.4大樣本置信區(qū)間

在樣本容量充分大時，可以用漸近分布來構造近似的置信區(qū)間。

設x1,…,xn是來自b(1,p)的樣本,有對給定

，，通過變形，可得到置信區(qū)間為

其中記=u21-

/2，實用中通常略去

/n項，于是可將置信區(qū)間近似為設x1,…,xn是來自b(1,p)的樣本,有例6.5.7對某事件A作120次觀察，A發(fā)生36次。試給出事件A發(fā)生概率p的0.95置信區(qū)間。解：此處n=120，=36/120=0.3而u0.975=1.96，于是p的0.95（雙側）置信下限和上限分別為故所求的置信區(qū)間為[0.218，0.382]例6.5.7對某事件A作120次觀察，A發(fā)生36次。試給出例6.5.8

某傳媒公司欲調查電視臺某綜藝節(jié)目收視率p，為使得p的1-

置信區(qū)間長度不超過d0，問應調查多少用戶？解：這是關于二點分布比例p的置信區(qū)間問題，由（6.5.11）知，1-

的置信區(qū)間長度為這是一個隨機變量，但由于，所以對任意的觀測值有