概率統(tǒng)計簡明教程_第七章_參數(shù)估計

1、第七章 參數(shù)估計統(tǒng)計推斷是數(shù)理統(tǒng)計的重要內(nèi)容，它是指在總體的分布完全未知或形式已知而參數(shù)未知的情況下，通過抽取樣本對總體的分布或性質(zhì)作出推斷.大致可以分為估計問題和假設(shè)檢驗問題兩大類.本章重點介紹參數(shù)估計問題，即根據(jù)樣本對總體分布中所包含的未知參數(shù)或總體的數(shù)字特征作出數(shù)值上的估計.主要內(nèi)容包括：點估計和區(qū)間估計. §1 點估計概述1.1 點估計在許多實際問題中,可以認(rèn)為總體分布的形式是已知的,它只依賴于一個或幾個未知參數(shù).如果能對分布中所含的參數(shù)作出推斷,那么就可以確定總體分布.例如, 已知總體服從正態(tài)分布,未知,我們的目的是通過樣本提供的信息對未知參數(shù)作出估計,也就是借助于樣本對總

2、體作出推斷,這類問題就是參數(shù)估計問題.點估計問題的一般提法是:設(shè)總體的分布函數(shù)類型已知,為未知參數(shù),它的可能取值范圍是已知的,稱為參數(shù)空間,即.這樣,我們有一族分布函數(shù).如果是正態(tài)分布的分布函數(shù)族,其中.設(shè)是的一個樣本, 為相應(yīng)的樣本值.我們構(gòu)造一個統(tǒng)計量,以的值作為參數(shù)的真實值的估計.習(xí)慣上,稱為參數(shù)的估計量,稱為的估計值為.在不致混淆的情況下, 估計量與估計值都簡稱為估計,簡記為.容易看出,對于不同的樣本值來說,由同一個估計量得出的估計值一般是不相同的.在幾何上一個數(shù)值是數(shù)軸上的一個點,用的估計值作為的近似值就像用一個點來估計,故稱為點估計.如果總體分布中含有個未知參數(shù),則需要構(gòu)造個統(tǒng)計量

3、分別作為的估計量.例11 設(shè)總體服從參數(shù)為的泊松分布, 為未知參數(shù),現(xiàn)有以下樣本值3,4,1,5,6,3,8,7,2,0,1,5,7,9,8試求未知參數(shù)的估計值.解:由于,自然地想到用樣本均值作為的估計量,利用樣本值得.這樣，我們獲得了參數(shù)的估計量與估計值.在本例中，對于總體的一個樣本，亦可以作為的估計量；同樣地，和都應(yīng)該可作為的估計量.這樣，對于同一個參數(shù)，可以有許多不同的點估計；在這些估計中，我們自然地希望挑選一個最“優(yōu)”的點估計.因此，有必要建立評價估計量優(yōu)劣的標(biāo)準(zhǔn).下面介紹幾個常用的標(biāo)準(zhǔn)：無偏性、有效性和一致性.1.2 評價估計量的標(biāo)準(zhǔn)1. 無偏性 對于不同的樣本值來說,由估計量得出的

4、估計值一般是不相同的,這些估計只是在參數(shù)真實值的兩旁隨機地擺動.要確定估計量的好壞,要求某一次抽樣所得的估計值等于參數(shù)的真實值是沒有意義的,但我們希望,這是估計量所應(yīng)該具有的一種良好性質(zhì),稱之為無偏性，它是衡量一個估計量好壞的一個標(biāo)準(zhǔn). 定義1.1 如果未知參數(shù)的估計量的數(shù)學(xué)期望存在,且對任意,都有 （1.1）則稱是的無偏估計量.在科學(xué)技術(shù)中，稱是以作為估計的系統(tǒng)誤差. 無偏估計的實際意義就是無系統(tǒng)誤差.例1.2 設(shè)是總體的一個樣本, 總體的階原點矩記為,樣本原點階矩記為,證明：是的無偏估計量. 證明: 是總體的一個樣本,即與同分布,因此 .即 . 例1.3 設(shè)總體的均值和方差都存在,證明：未

5、修正樣本方差不是的無偏估計量.證明: 在第六章第二節(jié)中，我們證明了，因此，修正的樣本方差是的無偏估計量，也就是說不是的無偏估計量. 我們以后一般取作為的估計量.例1.4 設(shè)總體,是的一個樣本, 為樣本方差,證明：是參數(shù)的無偏估計量.證明:易見, 因此，估計量是的無偏估計.2. 有效性 同一個參數(shù)可以有多個無偏估計量,那么用哪一個為好呢?設(shè)參數(shù)有兩個無偏估計量和,在樣本容量相同的情況下, 的觀測值都集中在的真值附近,而的觀測值較遠離的真值,即的方差較的方差小,我們認(rèn)為較好,由此有如下的定義:定義1.2 設(shè)和都是參數(shù)的無偏估計量,若對任意,都有 （1.2）且至少存在一個使得上式中的不等號成立,則稱

6、較有效.例1.5 設(shè)是總體的一個樣本, 的均值 和方差都存在,且,記,.易見,.因此, 這些估計量都是的無偏估計量.由于 ,從而最有效.3.一致性無偏性和有效性都是在假設(shè)樣本容量固定的條件下討論的.由于估計量是樣本的函數(shù),它依賴樣本容量,自然地,我們希望一個好的估計量,當(dāng)越來越大時,它與參數(shù)的真值幾乎一致,這就是估計量的一致性或稱之為相合性.定義1.3 設(shè)為參數(shù)的一個估計量, 為樣本容量,如果對任意，依概率收斂于,即對任意,有 (1.3)則稱為參數(shù)的一致估計量.例1.6 設(shè)總體的均值和方差都存在,證明:樣本均值是的一致估計量.證明:由切比雪夫大數(shù)定律可知,對任意,有 因此，是的一致估計量.例1

7、.7 設(shè)總體,是總體的一個樣本,證明: 樣本方差是的一致估計量.證明:由于,有 ,因此, .由切比雪夫不等式可知,對任意,有.這樣 ,即 , 是的一致估計量.§2 矩估計與最大似然估計 本節(jié)我們介紹兩種常用的構(gòu)造估計量的方法,即矩估計法和最大似然估計法.2.1 矩估計法 許多總體的未知參數(shù)與總體矩之間存在著函數(shù)關(guān)系,如在泊松總體中,它的參數(shù)就是總體的一階矩,又如在正態(tài)總體中.若總體矩存在,我們很自然地想到用樣本矩來估計相應(yīng)的總體矩,從而可以獲得未知參數(shù)的估計量,這種方法稱之為矩估計法.設(shè)是總體的一個樣本,若是連續(xù)型隨機變量,則其概率密度函數(shù)為;若是離散型隨機變量,則其分布律為,.假設(shè)

8、總體的階原點矩存在,記,.由辛欽大數(shù)定律可知,依概率收斂于,即可以用樣本矩替換同階的總體矩,我們稱之為替換原則.替換原則是矩估計法的思想實質(zhì),這種方法只需假設(shè)總體矩存在,無需知道總體的分布類型.由于依賴于參數(shù),可設(shè) 將此方程組的解記為用替換,得到并把它們分別作為參數(shù)的估計量,稱之為矩估計量, 矩估計量的觀測值稱為矩估計值. 例2.1 設(shè)總體的概率密度函數(shù)為求參數(shù)的矩估計量.解: ,解得 ,因此, 的矩估計量為 .如果我們獲得一組樣本觀測值,其樣本均值為,則參數(shù)的矩估計值為.例22 設(shè)總體的均值和方差都存在,且,又設(shè)是總體的一個樣本,求和的矩估計量.解:注意到,由方程組解得,.因此,和的矩估計量

9、分別為，.此例表明, 總體均值和方差的矩估計量分別是樣本均值與樣本的二階中心矩,而不依賴總體的分布. 2.2 最大似然估計法由于矩估計法只需假設(shè)總體矩存在,沒有充分利用總體分布提供的信息,為獲得更理想的估計,需要引入最大似然估計法,它的一個直觀想法是某個隨機試驗有若干個結(jié)果等,如果在一次試驗中,出現(xiàn)結(jié)果,則認(rèn)為事件發(fā)生的概率是最大的.例如,一只袋子里有黑白兩種外形相同的球,這兩種球的數(shù)量不詳,只知道它們占總數(shù)的比例:一種球為10%,另一種球占90%.今從中任抽取一只球,取得白球,一種比較合理的想法是認(rèn)為袋子里白球的數(shù)量較多, 占總數(shù)的90%，這就是最大似然估計法的基本思想.我們通過下面的例子說

10、明最大似然估計法的原理.某工廠加工一批產(chǎn)品,現(xiàn)需要估計其不合格品率,今從中抽取一個容量為的樣本值,令,總體的分布律為.取得樣本獲得觀測值的概率為, .顯然是的函數(shù),記為,即.由于在一次取樣中,樣本值出現(xiàn),我們認(rèn)為概率是最大的,選取使得達到最大的作為參數(shù)的一個估計值,即.由微積分中求極大點的方法, 可從方程求出,又由于是的單調(diào)增函數(shù),與在同一個處取極大值,也可從方程求出,，解得: .容易驗證, 能使得達到最大,稱之為參數(shù)的最大似然估計值,其對應(yīng)的統(tǒng)計量稱為參數(shù)的最大似然估計量.下面我們討論最大似然估計法.設(shè)是取自總體的一個樣本, 為樣本值.如果總體是離散型的,其分布律為,為未知參數(shù),. 樣本的聯(lián)

11、合分布律為,容易看出,當(dāng)樣本值固定時上式是參數(shù)的函數(shù),當(dāng)取固定值時,上式是事件發(fā)生的概率,記 ， (2.1)并稱為樣本的似然函數(shù).若樣本值的函數(shù)滿足 ， (2.2)則稱為的最大似然估計值,其相應(yīng)的統(tǒng)計量稱為的最大似然估計量.如果總體是連續(xù)型的,的概率密度為,為未知參數(shù),.隨機點落在點的邊長為的鄰域內(nèi)的概率近似為.我們尋找使達到最大的,但與它無關(guān),故可取樣本的似然函數(shù)為. (2.3)類似地, 若樣本值的函數(shù)滿足 則稱為的最大似然估計值,其相應(yīng)的統(tǒng)計量稱為的最大似然估計量.獲得樣本的似然函數(shù)后,為求出未知參數(shù)的最大似然估計量,可以利用微積分中求函數(shù)極值的方法.假設(shè)或關(guān)于可微,由下面的似然方程，或?qū)?/p>

12、數(shù)似然方程，可求出最大似然估計. 例2.3 設(shè)總體求的最大似然估計量.解:似然函數(shù)為 , 對數(shù)似然函數(shù)為 , 令,求得的最大似然估計值為 , 最大似然估計量為 .例2.4 總體求的最大似然估計量.解: 總體的概率密度為.似然函數(shù)為 ,對數(shù)似然函數(shù)為，令,有，因此,的最大似然估計值為 ,最大似然估計量為.假設(shè)總體的分布中含有個未知參數(shù),類似地,寫出似然函數(shù),求解方程組或可獲得未知參數(shù)的最大似然估計.例2.5 總體求的最大似然估計量.解: 似然函數(shù)為 對數(shù)似然函數(shù)為分別求關(guān)于的偏導(dǎo)數(shù),得以下對數(shù)似然方程組解上述方程組得的最大似然估計值分別為 ，因此的最大似然估計量分別為和.最大似然估計具有一個性質(zhì)

13、:如果為總體未知參數(shù)的最大似然估計,函數(shù)具有單值反函數(shù),則為的最大似然估計.利用此性質(zhì),我們可獲得例2.5中的最大似然估計量為.例2.6 設(shè)總體服從上的均勻分布,求的最大似然估計值.解:記.似然函數(shù)為 注意到對于有 .因此,取的最大似然估計值為.最后我們給出求最大似然估計的一般步驟(有時候它并不適用,如上例):1、寫出似然函數(shù),即由總體分布導(dǎo)出樣本的聯(lián)合分布律（或聯(lián)合概率密度）；2、令或,求出駐點(常轉(zhuǎn)化為求對數(shù)似然函數(shù)的駐點:令或)；3、求出最大值點；4、求得參數(shù)的最大似然估計. §3 區(qū)間估計參數(shù)的點估計實質(zhì)是用一個估計值來估計未知參數(shù)的真值,但估計值只是的一個近似值,它本身既沒

14、有反映這種近似的精度又沒有給出誤差的范圍,因此，在實際問題的應(yīng)用中意義有限.例如在一大批產(chǎn)品中,任意取出60件產(chǎn)品,經(jīng)檢驗有3件為次品,按點估計的方法,我們獲得次品率的一個估計值為=0.05,但與次品率的真值是有誤差的,這個誤差有多大,點估計無法給予回答.我們希望給出一個區(qū)間,用它來估計次品率的真值,這樣就產(chǎn)生了誤差的大小及用區(qū)間估計次品率真值的可靠程度的問題.區(qū)間估計解決了上述問題,我們將介紹在區(qū)間估計理論中被廣泛接受的置信區(qū)間.3.1 置信區(qū)間定義3.1設(shè)是取自總體的一個樣本, 為總體分布中所含的未知參數(shù), .對于給定的,若存在兩個統(tǒng)計量和,使得 （3.1）則稱隨機區(qū)間是的置信水平為的置信

15、區(qū)間,和分別稱為的置信下限和置信上限. 定義3.1表明置信區(qū)間包含的真值的概率為,它的兩個端點是只依賴的隨機變量.設(shè)為一個樣本值,我們獲得一個普通的區(qū)間稱之為置信區(qū)間的一個實現(xiàn),在不致引起誤解的情形下,也簡稱為置信區(qū)間.對于一個實現(xiàn),只有兩種可能, 它要么包含的真值,要么不包含的真值.在重復(fù)取樣下(各次取樣的樣本容量均為),我們獲得許多不同的實現(xiàn),根據(jù)伯努利大數(shù)定律,這些不同的實現(xiàn)中大約有100()%的實現(xiàn)包含的真值,而有100%的實現(xiàn)不包含的真值.例3.1 已知某產(chǎn)品的重量(單位:克),其中,未知,現(xiàn)從中隨機抽取9個樣品,其平均重量為克,試求該產(chǎn)品的均值的置信水平為的置信區(qū)間.解:樣本均值是

16、未知參數(shù)的較優(yōu)的點估計,同時有, 或 .因此,我們構(gòu)造一個樞軸量,選取區(qū)間,使得，即 .這樣我們得到的置信水平為的置信區(qū)間為.由,=,=1.96算得所以，的一個置信區(qū)間為.從此例可以看出, 尋求未知參數(shù)的置信區(qū)間的步驟為:(1) 選取的一個較優(yōu)的點估計,一般是通過最大似然估計法獲得.(2) 以為基礎(chǔ), 尋求未知參數(shù)的一個樞軸量,即且的分布已知.(3)對于給定的置信水平（與無關(guān)）,確定兩個分位點,使得.可通過 確定.(4)求出的置信區(qū)間.3.2 單個正態(tài)總體均值與方差的置信區(qū)間以下我們將討論正態(tài)總體的均值與方差的置信區(qū)間.設(shè),是取自總體的一個樣本.1. 參數(shù)的置信區(qū)間關(guān)于參數(shù)的置信區(qū)間,我們分方

17、差已知和未知兩種情形.(1) 方差已知的情形例3.1中,我們已經(jīng)獲得了在方差已知的條件下, 的置信區(qū)間為,簡記為.(2) 方差未知的情形由于中含有未知參數(shù),又是的無偏估計量,因此，選取隨機變量作為樞軸量.由第六章定理4.1可知，對于給定的置信水平,有,即,因此,的置信水平為的置信區(qū)間為， （3.2）簡記為. 例3.2 假設(shè)輪胎的壽命.為估計它的平均壽命，現(xiàn)隨機抽取12只，測得它們的壽命為（單位：萬千米）4.68 4.85 4.32 4.85 4.61 5.02 5.20 4.60 4.58 4.72 4.38 4.70求的置信水平為0.95的置信區(qū)間.解：, ,=,算得的置信水平為0.95的置

18、信區(qū)間為. 2. 參數(shù)的置信區(qū)間(1) 均值已知的情形由于,即,所以 . 我們選取隨機變量作為樞軸量, 對于給定的置信水平,有,即因此，的置信水平為的置信區(qū)間為. （3.3）我們也得到的置信水平為的置信區(qū)間為 . (3.4)(2) 均值未知的情形由于,選取隨機變量作為樞軸量,類似地, 我們得到的置信水平為的置信區(qū)間為,即，和的置信水平為的置信區(qū)間為， (3.5)即.例3.3 在例3.2中，求的置信水平為0.95的置信區(qū)間.解：, ,=,算得的置信水平為0.95的置信區(qū)間為(0.03086,0.17728).3.3 兩個正態(tài)總體均值差與方差比的置信區(qū)間設(shè),從總體和中,分別獨立地取出樣本和,樣本均

19、值依次記為和,樣本方差依次記為和. 1. 設(shè)和已知,求的置信區(qū)間 由第六章定理2.2可知.對于給定的置信水平,有 ，即因此,的置信水平為的置信區(qū)間為 . (3.6)例3.4 分別從,中獨立地取出樣本容量為16和24的兩樣本,已知,求的置信水平為的置信區(qū)間.解:, ,=,因此的置信水平為的置信區(qū)間為由此可以認(rèn)為,在置信水平為的情形下.2. 設(shè)未知,求的置信區(qū)間記,由第六章定理4.2可知.以為樞軸量,類似地,我們得到的置信水平為的置信區(qū)間為 (3.7)例3.5 為了估計磷肥對某農(nóng)作物增產(chǎn)的作用,現(xiàn)選用20塊條件大致相同的地塊進行對比試驗.其中10塊地施磷肥,另外10塊地不施磷肥,得到單位面積的產(chǎn)量

20、如下（單位：公斤）:施磷肥:620, 570, 650, 600, 630, 580, 570, 600, 600, 580;不施磷肥:560, 590, 560, 570, 580, 570, 600, 550, 570, 550.設(shè)施磷肥的地塊的單位面積的產(chǎn)量,不施磷肥的地塊的單位面積的產(chǎn)量,求的置信水平為的置信區(qū)間. 解:,=,.因此,的置信水平為的置信區(qū)間為 ，即我們可以認(rèn)為磷肥對此農(nóng)作物增產(chǎn)有作用.3. 設(shè)和已知,求的置信區(qū)間因為,且樣本與樣本獨立,所以有,對于給定的置信水平,有 ，即因此,的置信水平為的置信區(qū)間為. (3.8)4.設(shè)和未知,求的置信區(qū)間由于,對于給定的置信水平,有

21、，即,從而的置信水平為的置信區(qū)間為. (3.9)例3.6 某車間有甲,乙兩臺機床加工同類零件,假設(shè)此類零件直徑服從正態(tài)分布.現(xiàn)分別從由甲機床和乙機床加工出的產(chǎn)品中取出5個和6個，進行檢查,得其直徑數(shù)據(jù)（單位：毫米）為甲: 5.06, 5.08, 5.03, 5.00, 5.07；乙: 4.98, 5.03, 4.97, 4.99, 5.02, 4.95；試求的置信水平為的置信區(qū)間.解: ,=,于,因此的置信水平為的置信區(qū)間為.3.4 單側(cè)置信區(qū)間前面討論的參數(shù)的置信區(qū)間是雙側(cè)置信區(qū)間,即有置信上限和置信下限.有時在一些實際問題中,我們只關(guān)心參數(shù)的上限或下限,因此有必要討論參數(shù)的單側(cè)置信區(qū)間.定

22、義3.2設(shè)是取自總體的一個樣本, 為總體分布中所含的未知參數(shù), .對于給定的（）,若存在統(tǒng)計量或,使得 (3.10)或 (3.11)則稱隨機區(qū)間(或)是的置信水平為的單側(cè)置信區(qū)間,稱為的單側(cè)置信下限(稱為的單側(cè)置信上限).求參數(shù)的單側(cè)置信區(qū)間的方法與求的置信區(qū)間的方法是類似的,只需將步驟（3）中的改為或,其中,可通過 確定.詳細的結(jié)果看表7.2. 例3.7 在例3.2中，求的置信水平為0.95的單側(cè)置信下限.解:, ,=,算得的置信水平為0.95的單側(cè)置信下限為 .表7.1 正態(tài)總體均值,方差的置信區(qū)間待估參數(shù)條件樞軸量置信區(qū)間一個正態(tài)總體已知未知已知未知兩個正態(tài)總體-,已知-,未知但相等已知

23、未知表7.2 正態(tài)總體均值,方差的單側(cè)置信上、下限待估參數(shù)條件單側(cè)置信下限單側(cè)置信上限一個正態(tài)總體已知未知已知未知兩個正態(tài)總體-,已知-，未知但相等已知未知習(xí)題七( A )1、設(shè)總體服從參數(shù)為和的二項分布，為取自的一個樣本，試求參數(shù)的矩估計量與極大似然估計量.2,、設(shè)為取自總體的一個樣本,的概率密度為其中參數(shù)，求的矩估計.3、設(shè)總體的一個樣本, 的概率密度為 其中是未知參數(shù)，是已知常數(shù),求的最大似然估計.4、設(shè)總體服從幾何分布 試?yán)脴颖局?求參數(shù)的矩估計和最大似然估計. 5、設(shè)總體的概率密度為為未知參數(shù), 為總體的一樣本,求參數(shù)的最大似然估計.6、證明第5題中的最大似然估計量為的無偏估計量.

24、7,、設(shè)總體的概率密度為,為未知參數(shù), 為總體的一個樣本,求參數(shù)的的矩估計量和最大似然估計量.8、設(shè)總體,已知,為未知參數(shù), 為的一個樣本, 求參數(shù),使為的無偏估計.9、設(shè)是參數(shù)的無偏估計量,且有,試證不是的無偏估計量.10、設(shè)總體,是來自的樣本,試證：估計量;都是的無偏估計,并指出它們中哪一個最有效.11,、設(shè)是總體的一個樣本,證明：是的相合估計量.12、設(shè)總體的數(shù)學(xué)期望為,方差為,分別抽取容量為和的兩個獨立樣本,分別為兩樣本均值,試證明:如果滿足,則是的無偏估計量,并確定,使得最小.13、設(shè)是總體的一個樣本, 的概率密度為,未知，已知,試求的置信水平為的置信區(qū)間.14、從大批彩色顯像管中隨機抽取100只,其平均壽命為10000小時,可以認(rèn)為顯像管的壽命服從正態(tài)分布.已知均方差小時,在置信水平0.95下求出這批顯像管平均壽命的置信區(qū)間.15、設(shè)