應(yīng)用數(shù)理統(tǒng)計(jì)-估計(jì)量的優(yōu)良性準(zhǔn)則

估計(jì)量的優(yōu)良性準(zhǔn)則

對于同一個(gè)參數(shù)，用不同的估計(jì)方法可能得到不同的估計(jì)量。那么，哪一個(gè)估計(jì)更好呢？這就涉及到評(píng)價(jià)估計(jì)量優(yōu)良性的標(biāo)準(zhǔn)。設(shè)總體X~f(x,),其中為未知參數(shù)。X1,X2,…,Xn為來自該總體的樣本。為的一個(gè)估計(jì)量。它是一個(gè)隨機(jī)變量，當(dāng)樣本(X1,…,Xn)有觀測值(x1,…,xn)時(shí)，估計(jì)值為而當(dāng)樣本(X1,…,Xn)有觀測值(y1,…,yn)時(shí)，估計(jì)值為

由不同的觀測結(jié)果，就會(huì)求得不同的參數(shù)估計(jì)值.因此評(píng)價(jià)一個(gè)估計(jì)量的好壞，不能僅僅依據(jù)一次試驗(yàn)的結(jié)果來判斷，而必須根據(jù)估計(jì)量的分布從整體上來做評(píng)價(jià)。

當(dāng)樣本值取不同的觀測值時(shí)，我們希望相應(yīng)的估計(jì)值在未知參數(shù)真值附近擺動(dòng)，而它的均值與未知參數(shù)的真值的偏差越小越好.當(dāng)這種偏差為0時(shí)，就導(dǎo)致無偏性這個(gè)標(biāo)準(zhǔn)。1．無偏性

定義：設(shè)總體的分布包含未知參數(shù)1,…,k，X1,…,Xn

是從該總體中抽出的樣本，要估計(jì)g(1,…,

k)．g為一已知函數(shù)．設(shè)有估計(jì)量，且滿足則稱是g(1,…,

k)的一個(gè)無偏估計(jì)量．這里是指：求期望值時(shí)，各樣本X1,…,Xn分布中的參數(shù)為1,…,

k．比如，X1，X2是取自正態(tài)總體N(,1)的樣本，希望計(jì)算X1+X2的期望值．這要看參數(shù)值等于多少：=1時(shí)，期望值為2；=2.5時(shí)，期望值為5．標(biāo)出E，就明白顯示是在哪個(gè)值之下去算期望值，也表示值可以流動(dòng)．因?yàn)樵趨?shù)估計(jì)問題中，我們并不知參數(shù)的真值，它能在一定范圍內(nèi)流動(dòng)．如廢品率p，可在[0，1]內(nèi)流動(dòng)．當(dāng)比較兩個(gè)估計(jì)量時(shí)，需要對種種可能的參數(shù)值去比較．估計(jì)量的無偏性有兩個(gè)含義第一個(gè)含義是沒有系統(tǒng)性的偏差，不論你用什么樣的估計(jì)量去估計(jì)g()，總是時(shí)而(對某些樣本)偏低，時(shí)而(對另一些樣本)偏高．無偏性表示，把這些正負(fù)偏差在概率上平均起來，其值為0。比如用一把秤去秤?xùn)|西，誤差來源有二：一是秤本身結(jié)構(gòu)制作上的問題，使它在秤?xùn)|西時(shí)，傾向于給出偏高或偏低之值，這屬于系統(tǒng)誤差．另一種是操作上和其他隨機(jī)性原因，使秤出的結(jié)果有誤差，這屬于隨機(jī)誤差．在此，無偏性的要求相應(yīng)于秤沒有系統(tǒng)誤差，但隨機(jī)誤差總是存在．另一個(gè)含義是由定義并結(jié)合大數(shù)定理引伸出來的.一次，第i天的估計(jì)值記為，i=1,2,…,N，…。則按大數(shù)定理，當(dāng)N∞時(shí)，各次估計(jì)值的平均，即依概率收斂到被估計(jì)的值g(1,…,

k)。設(shè)想每天使用估計(jì)量所以，若估計(jì)量有無偏性，則在大量次數(shù)使用取平均時(shí)，能以接近于100％的把握無限逼近被估計(jì)的值．如果沒有無偏性，則無論使用多少次，其平均也會(huì)與真值保持一定距離——這個(gè)距離就是系統(tǒng)誤差。例10

設(shè)總體為X

，記E(X)=，D(X)=

2未知，X1,X2,…,Xn為來自總體的樣本。試證明樣本均值和樣本方差S2分別是，

2無偏估計(jì).二階樣本中心矩2不是的

2無偏估計(jì)，是漸近無偏估計(jì)

證明：因?yàn)樗?，和S2分別是，

2無偏估計(jì)。因?yàn)樗?不是

2的無偏估計(jì)。又由于所以2是

2的漸近無偏估計(jì)。例11在例10中用S去估計(jì)總體分布的標(biāo)準(zhǔn)差，不是無偏估計(jì)．證明：事實(shí)上，由于

2=ES2=D(S)+(ES)2由于方差總非負(fù)，即D(S)0，于是有ES。即如用S去估計(jì)，總是系統(tǒng)地偏低．在一些情況下，可以通過簡單的調(diào)整達(dá)到無偏估計(jì)．辦法是把S乘上因子cn，得cnS．適當(dāng)選擇cn可以使E(cnS)=

cnE(S)=

．對正態(tài)分布總體N(,

2)而言，不難證明例12

設(shè)總體X服從均勻分布U(0,)

,從例7知參數(shù)的極大似然估計(jì)為max(X1,…,Xn),

其中max(X1,…,Xn為樣本。試驗(yàn)證該估計(jì)是的有偏估計(jì)。并找出調(diào)整因子cn解：因?yàn)閄的分布函數(shù)為所以的分布函數(shù)為對x求導(dǎo)數(shù)，得到的概率密度函數(shù)為由此得到即以估計(jì)系統(tǒng)偏低。且是的無偏估計(jì)

2.最小方差無偏估計(jì)

一個(gè)參數(shù)往往有不止一個(gè)無偏估計(jì)，從這些眾多的無偏估計(jì)中，我們想挑出那個(gè)最優(yōu)的．這牽涉到兩個(gè)問題：一是為優(yōu)良性制定一個(gè)準(zhǔn)則，二是在已定的準(zhǔn)則之下，如何去找到最優(yōu)者．這里我們介紹一個(gè)較常用的方法A充分統(tǒng)計(jì)量

統(tǒng)計(jì)量是把樣本中的信息進(jìn)行加工處理的結(jié)果,人們自然的希望這種加工處理不損失原樣本中的信息,這種不損失信息的統(tǒng)計(jì)量就是充分統(tǒng)計(jì)量.

例13為研究某個(gè)運(yùn)動(dòng)員的打靶命中率,我們對該運(yùn)動(dòng)員進(jìn)行測試,觀測其10次,發(fā)現(xiàn)除第3,6次未命中外,其余8次都命中,這樣觀測結(jié)果包含了兩種信息:打靶10次命中8次;2次不命中分別出現(xiàn)在第3,6次

顯然,命中率與不命中發(fā)生在哪幾次上無關(guān),因此第二種信息對了解運(yùn)動(dòng)員的命中率是沒有什么幫助的.

因此關(guān)于命中率的信息都集中在第一種信息中.即只與命中的次數(shù)有關(guān).

一般地,我們對該運(yùn)動(dòng)員進(jìn)行了n次觀x1,…,xn,每個(gè)xj取值非0即1，命中為1，不命中為0，令

T=x1+…+xn,則T是對樣本的加工，但不會(huì)損失命中率的信息，這就是充分性。

下面從概率層面對充分性進(jìn)行分析設(shè)樣本X=(X1,…,Xn)的樣本分布為F

(x),則這個(gè)分布包含了樣本中一切有關(guān)的信息；統(tǒng)計(jì)量T=T(X1,…,Xn)的抽樣分布為當(dāng)我們期望用統(tǒng)計(jì)量T代替原始樣本X并且不損失任何有關(guān)的信息時(shí)，也就是期望像F

(x),一樣概括了有關(guān)的信息換言之，我們考察在統(tǒng)計(jì)量T的取值為t的情況下X的條件分布F

(x|T=t),可能有兩種情況：（1）F

(x|T=t)依賴于參數(shù)，此條件分布仍含有的信息。（2）F

(x|T=t)不依賴于參數(shù)，此條件分布不含有的信息。后者表明，條件“T=t”的出現(xiàn)使得從樣本分布F

(x),到條件分布F

(x|T=t),有關(guān)參數(shù)的信息含在統(tǒng)計(jì)量T中。當(dāng)已知統(tǒng)計(jì)量T的取值之后，也就知道了樣本中關(guān)于的所有信息，這就是統(tǒng)計(jì)量的充分性的含義。例14設(shè)總體為兩點(diǎn)分布b(1,),

X1,…,Xn為樣本，令T=X1+…+Xn，則在給定T的取值后，對任意的一組

x1,…,xn

，有表明T為充分統(tǒng)計(jì)量定義：設(shè)X1,…,Xn為來自某總體的樣本，總體分布函數(shù)為F

(x;),給定統(tǒng)計(jì)量T=T(X1,…,Xn)稱為的充分統(tǒng)計(jì)量，如果在給定T的取值后，X1,…,Xn的條件分布與無關(guān)。注：充分統(tǒng)計(jì)量的一對一變換仍是充分統(tǒng)計(jì)量。因子分解定理：設(shè)總體的概率函數(shù)為f

(x;),X1,…,Xn為樣本,則T=T(X1,…,Xn)為的充分統(tǒng)計(jì)量充分必要條件是：存在兩個(gè)函數(shù)g

(t;)和h(x1,…,xn),有f

(x1,…,xn

;)=

g

(t(x1,…,xn);)h(x1,…,xn)其中g(shù)

(t;)是通過統(tǒng)計(jì)量T的取值而依賴于樣本的。在統(tǒng)計(jì)學(xué)中有一個(gè)基本原則：在充分統(tǒng)計(jì)量存在的場合，任何統(tǒng)計(jì)推斷都可以基于充分統(tǒng)計(jì)量進(jìn)行，通常稱為充分性原則。例16設(shè)X1,…,Xn為來自總體U(0,)的樣本,即總體的密度函數(shù)為：于是樣本的聯(lián)合密度函數(shù)為：取T=X(n),并令則由因子分解定理知，T=X(n)為充分統(tǒng)計(jì)量注:順序統(tǒng)計(jì)量X(1),…,X

(n)是充分統(tǒng)計(jì)量這個(gè)結(jié)論與人們的經(jīng)驗(yàn)事實(shí)相符:若n次試驗(yàn)都在相同的條件下獨(dú)立的進(jìn)行，那我們只需知道n次試驗(yàn)的結(jié)果是什么，而試驗(yàn)結(jié)果的排列次序是無關(guān)緊要的，特別，當(dāng)人們知道次序統(tǒng)計(jì)量的觀察值時(shí)，并沒有損失樣本中的任何有用的信息。例17設(shè)X1,…,Xn為來自某正態(tài)總體的樣本則是充分統(tǒng)計(jì)量解：樣本的聯(lián)合密度函數(shù)為：取并令：由因子分解定理，是充分統(tǒng)計(jì)量進(jìn)一步，已知這個(gè)統(tǒng)計(jì)量與是一一對應(yīng)的，因此在正態(tài)分布場合，是充分統(tǒng)計(jì)量。例18設(shè)X1,…,Xn為來自某總體P(λ)的樣本，其中參數(shù)λ為未知參數(shù)，試求λ的充分統(tǒng)計(jì)量。解：樣本的聯(lián)合密度函數(shù)為：由因子分解定理，是參數(shù)λ的充分統(tǒng)計(jì)量。例19設(shè)X1,…,Xn為來自某指數(shù)總體的樣本，其中參數(shù)λ為未知參數(shù)，試求λ的充分統(tǒng)計(jì)量。解：樣本的聯(lián)合密度函數(shù)為：由因子分解定理，是參數(shù)λ的充分統(tǒng)計(jì)量。BFisher信息矩陣（量）1定義：設(shè)總體的概率函數(shù)滿足下列條件（1）參數(shù)空間是直線上的一個(gè)開區(qū)間；（2）支撐與參數(shù)無關(guān)；（3）導(dǎo)數(shù)對一切都存在；（4）對積分與微分運(yùn)算可交換次序，即（5）期望