上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)課件

1、上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)第七章 參數(shù)估計(jì)參數(shù)估計(jì)數(shù)理統(tǒng)計(jì)的目的是進(jìn)行統(tǒng)計(jì)推斷，而統(tǒng)計(jì)推斷的基本問題可以分為兩大類，一類是估計(jì)問題估計(jì)問題，另一類是假假設(shè)檢驗(yàn)設(shè)檢驗(yàn)問題。在本章我們將要考慮的是估計(jì)問題。所謂參數(shù)估計(jì)就是： 對(duì)于總體X,其分布形式已知 ,但其中 為未知參數(shù)，現(xiàn)在從總體中抽出一個(gè)簡單隨機(jī)樣本 ，要依據(jù)這個(gè)樣本去對(duì)未知參數(shù) 的值作出估計(jì)。),(21mxFm,21nXXX,21m,21上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)一種是點(diǎn)估計(jì)點(diǎn)估計(jì)；另一種是區(qū)間估計(jì)區(qū)間估計(jì)。我們先考慮點(diǎn)估計(jì)參數(shù)估計(jì)有兩種類型：例：已知一批電視機(jī)的壽命服從正態(tài)分布，但期望和方差未知，現(xiàn)從中抽取一個(gè)容量為4的樣本，測得樣本值

2、為（1453，1502，1367，1650）?，F(xiàn)在要根據(jù)樣本來估計(jì)總體的期望和方差。 由于樣本是總體的“代表”，所以用樣本均值來估計(jì)總體均值（期望),用樣本方差來估計(jì)總體方差是比較“合理”的.當(dāng)然也可以用其他”合理”的辦法來估計(jì).注意注意：樣本均值和樣本方差都是統(tǒng)計(jì)量上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)1 點(diǎn) 估 計(jì)一、點(diǎn)估計(jì)的概念設(shè)總體的分布函數(shù)為 ， 是 的一個(gè)樣本， 是相應(yīng)的一個(gè)樣本值,點(diǎn)估計(jì)問題就是要構(gòu)造一個(gè)“合理合理”的統(tǒng)計(jì)量 ,用它的觀察值 作為未知參數(shù) 的估計(jì)值，稱 為 的估計(jì)量估計(jì)量，稱 為 的估計(jì)值估計(jì)值。估計(jì)量和估計(jì)值統(tǒng)稱為估計(jì)估計(jì)，簡記為 。);(xFnXXX,21Xnxxx,21

3、),(21nXXX),(21nxxx),(21nXXX),(21nxxx由此可見，點(diǎn)估計(jì)的關(guān)鍵在于構(gòu)造一個(gè)“合理合理”的估計(jì)量。那么根據(jù)什么原理來構(gòu)造估計(jì)量呢上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)二、 點(diǎn)估計(jì)的常用方法1. 矩估計(jì)法原理：設(shè) 是來自總體 的樣本，由大數(shù)定理可知 ，矩估計(jì)就是根據(jù)這一原理來構(gòu)造估計(jì)量的,即用樣本矩來估計(jì)總體矩。 由來進(jìn)行未知參數(shù)的估計(jì)。進(jìn)一步還可以用樣本矩的函數(shù)來估計(jì)總體矩的函數(shù).nXXX,21XnikPkikXEXnA1)(1kmkkAXE),()(21mk, 2 , 1上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)當(dāng)總體是連續(xù)型隨機(jī)變量概率密度為（其中 是 個(gè)未知參數(shù)），則),;(21mxf

4、m,21mdxxfxXEmkkmk),;()(),(2121當(dāng)總體是離散型隨機(jī)變量，其分布律為),;()(21mnnxpxXP, 2 , 1n12121),;()(),(nmnknkmkxpxXE則方法：第一步：求總體矩上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)解出 ，就以 作為 的估計(jì)，稱之為矩估計(jì)量，矩估計(jì)量的觀察值稱為矩估計(jì)值。通常取k=1最簡單，但有時(shí)E( X )= 0，這時(shí)可取K = 2或K = 3等等。 12()( ,)kkmE X 12(,)iinXXXii第二步：用相應(yīng)的樣本矩 作為總體矩的估計(jì)kA12 ( ,)kmkA 令：12( ,)iinx xx上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)例:求下列總體分

5、布中的未知參數(shù)的矩估計(jì)(1)其中c是已知參數(shù).(2) p 是未知參數(shù) X U(a,b) ,求 a,b的矩估計(jì)量.教材173頁第4題(求矩估計(jì)量和矩估計(jì)值) 10,10c xxccfxotherwise1,0,1,mxxmP Xxppxmx上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)2、 最大似然估計(jì)法基本思想：如果事件A在一次試驗(yàn)中就發(fā)生，有理由 認(rèn)為該事件發(fā)生的概率很大，即P(A)很大。最大似然估計(jì)就是根據(jù)這一思想來估計(jì)未知參數(shù)的。若一次試驗(yàn)就取得樣本值 ，這就意味著取到這組樣本值的概率很大。nxxx,21上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)(i) 對(duì)離散型隨機(jī)變量，設(shè)總體的分布律為12( ;,)mP Xxp x 則樣

6、本 的分布律為),(21nXXXniminnxpxXxXxXP1212211),;(,最大似然估計(jì)就是確定參數(shù) ，使事件 的概率m,21nimixp121),;(為最大。,2211nnxXxXxX上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)),;,(max),;,(2121,212121mnmnxxxLxxxLm若記則稱 為 的最大似然估計(jì)值最大似然估計(jì)值，稱 為 的最大似然估計(jì)量最大似然估計(jì)量。L稱為似然函數(shù).),(21m),(21m),(211nXXX),(21nmXXX),(21m,1111,; ,; ,nnniniL xxp x上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)(ii) 對(duì)連續(xù)型隨機(jī)變量，設(shè)總體 的概率密度為

7、則樣本 的概率密度為 最大似然估計(jì)就是要選取使 達(dá)到最大。 X),;(21mxf),(21nXXXniminxfxxxf12121),;(),(m,211212(,)(;,)mimLf x 上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)設(shè) 是對(duì)應(yīng)于樣本 的一個(gè)樣本值，令nxxx,21nXXX,21離散型連續(xù)型niminimimnxpxfxxxL1211212121),;(),;(),;,(把 看作是 的函數(shù),稱這個(gè)函數(shù)為似然函數(shù)似然函數(shù).Lm,21這樣，最大似然估計(jì)的問題就歸結(jié)為求似然函數(shù)的最大值的問題了。因此由以下的似然方程組0),;,(2121imnxxxL), 2 , 1(mi就可以求得 的最大似然估值 。

8、m,21),(21m上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)又因?yàn)樗迫缓瘮?shù) 與 在同一處取到極值同一處取到極值，因此 的最大似然估計(jì) 也可以從對(duì)數(shù)似然方程組),;,(2121mnxxxL),;,(ln2121mnxxxL),(21m),(21m0),(ln21imL), 2 , 1(mi求得。這樣往往計(jì)算更簡單.最大似然估計(jì)的計(jì)算步驟: (1) 寫出似然函數(shù); (2) 求對(duì)數(shù); (3) 求導(dǎo)數(shù); (4) 解方程. 上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)例1:總體概率密度為 其中c是已知參數(shù),求 的最大似然估計(jì).例2: 總體 的最大似然估計(jì). 10,10c xxccfxotherwise ,:Xe求例5: 總體 的最大似

9、然估計(jì).例4: 總體 的最大似然估計(jì).例3: 總體 的最大似然估計(jì).22,: ,XN 求 ,:XP求;,:Xb n pp求例6: 總體 的最大似然估計(jì)0,:XU求例7: 教材173頁第4題上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)3 估計(jì)量的評(píng)選標(biāo)準(zhǔn)1、無偏性若估計(jì)量 的數(shù)學(xué)期望 存在，且 ，則稱 是 的 無偏估計(jì)（量）無偏估計(jì)（量）。)(E),(21nXXX)(E例1:證明: 樣本均值 是總體均值 的無偏估計(jì); 證明:樣本方差 是總體方差 的無偏估計(jì)，而估計(jì)量 卻不是 的無偏估計(jì)。XniiXXnS122)(112niiXXn12)(12上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)因?yàn)槎x:若對(duì)于 的估計(jì)量 有 ,則稱 是 的

10、漸進(jìn)無偏估計(jì)（量）漸進(jìn)無偏估計(jì)（量）),(21nXXXlim( )nE例例2.2.設(shè)設(shè) 是參數(shù)是參數(shù) 的無偏估計(jì)的無偏估計(jì), ,且且 證明證明 : : 不是不是 的無偏估計(jì)的無偏估計(jì). . 22)( )0D22111() niinEXXnn所以不是 的無偏估計(jì).但是隨n的增大它越來越接近我們稱之為漸進(jìn)無偏估計(jì).22由此可知若由此可知若 是參數(shù)是參數(shù) 的無偏估計(jì)的無偏估計(jì), ,但但 不一定就不一定就是是 的無偏估計(jì)的無偏估計(jì). .( )g( )g上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)2、 有效性設(shè) 與 都是 的無偏估計(jì)量無偏估計(jì)量，若 則稱稱 比比 有效。有效。例例3. 3. 是來自總體是來自總體X X的一

11、個(gè)樣本的一個(gè)樣本, ,哪些是總體均值的無偏估計(jì)哪些是總體均值的無偏估計(jì), ,哪一個(gè)最有效哪一個(gè)最有效. .),(2111nXXX),(2122nXXX)()(21DD12),(321XXX321321321313131;834183;412141XXXXXXXXX上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)3、相合性（一致性）設(shè) 為參數(shù) 的估計(jì)量，若當(dāng) 時(shí)， 依概率收斂于 ，即對(duì)于任意 ，有則稱 是 的相合估計(jì)量。這就是說樣本容量越大,越能夠反映總體的真實(shí)情況.),(21nXXXn),(21nXXX01|limPn上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)例5： 設(shè)總體 的概率密度為 是取自 的簡單隨機(jī)樣本，求（1） 的矩估計(jì)

12、量 ；（2） 的方差 ;（3）判別這個(gè)估計(jì)是否無偏估計(jì)。XnXXX,21X)(D其他00)(6)(3xxxxf例4. 是總體X的一個(gè)樣本當(dāng)c為何值時(shí) 是總體方差的無偏估計(jì).nXXX,212111)(iiniXXc上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)例6：設(shè) 是總體 的兩個(gè)獨(dú)立樣本X2(),(),E XD XZaXbY:,;,a bZa b求 當(dāng)滿足什么條件時(shí) 是 的無偏估計(jì)又當(dāng)為何值時(shí)這個(gè)估計(jì)最有效.1212(,) ,(,)mnXXXY YY上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)例7：設(shè)總體 的概率密度為 其中 是未知參數(shù)， 是來自總體 的一個(gè)容量為 的簡單隨機(jī)樣本，分別用矩 估計(jì)法和最大似然估計(jì)法求 的估計(jì)量。X

13、其它010)1 ()(xxxf1nXXX,21Xn上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)例8：設(shè)某種元件的使用壽命 的概率密度為 其中 為未知參數(shù)，設(shè) 是 的一組樣本觀測值，求參數(shù) 的最大似然估計(jì)值。Xxxexfx02);()(20nxxx,21Xnxxx,21例9:設(shè) 是總體 的一個(gè)樣本, 求 的最大似然估計(jì).X X0XP上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)4 區(qū)間估計(jì)一、置信區(qū)間的定義設(shè)總體 的分布函數(shù) 含有一個(gè)未知參數(shù) ， ( 是 可能取值的范圍)對(duì)于給定值 ，若由樣本 確定的兩個(gè)統(tǒng)計(jì)量 和 ，滿足: ),(xF10nXXX,2112(,)nX XX),(21nXXX1212 (,)(,) 1nnPXXXXX

14、X X則稱隨機(jī)區(qū)間 是 的置信水平為 的置信區(qū)間置信區(qū)間， 和 分別被稱為置信水平 的雙側(cè)置信區(qū)間的置信下限置信下限和置信上限置信上限。稱 為置信水平置信水平(度度)。( ,) 111上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)例: 設(shè)總體 是總體的一個(gè)樣本,求 的置信 水平為 的置信區(qū)間.解: 因?yàn)?,由標(biāo)準(zhǔn)正態(tài)分布的雙側(cè) 分位點(diǎn)的定義可知:22,XN 其中已知, 未知0,1XNn),(21nXXX12XPnZ21XPnZ 221PXZXZnn上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì) 注:下面討論的都是正態(tài)總體的區(qū)間估計(jì),對(duì)于非正態(tài)總 體的情況都要利用中心極限定理把它化為正態(tài)的情況 但要注意這時(shí) n 必須很大,即要采取大樣

15、本.這樣就得到了置信區(qū)間 再把樣本值代入,就可得到確定的區(qū)間(不再是隨機(jī) 區(qū)間)22(,)XZXZnn這個(gè)區(qū)間仍然稱為置信區(qū)間.例: 設(shè)某種涂料的干燥時(shí)間 ,現(xiàn)隨機(jī)抽取 4個(gè)樣品,測得樣本值為12.6;13.4;12.8;13.2,求:2( ,0.3 )XN的95%的置信區(qū)間.22(,)xZxZnn上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì) 置信區(qū)間 的意義: 包含 的可信度為 ;而在 的可信度下,其誤差不超過區(qū)間的長度1122Zn例:設(shè)總體 ,現(xiàn)取一個(gè)容量為16的樣本,則 的 90%的置信區(qū)間的長度為多少;又若要求長度不超過1 則n至少應(yīng)該取多少.,4XN22(,)xZxZnn2222 1.6451.645

16、16zn解：長度為又若要求長度21Zn221.64523.293.2910.82nZn上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)要解決這一對(duì)矛盾,即既要提高置信水平,又要減小置信區(qū)間的長度,只能加大n ,即提高取樣成本.要提高置信水平就要減小 ,但這樣就會(huì)導(dǎo)致 增大,這就意味著置信區(qū)間的長度 加大，所以這是一對(duì)矛盾。2Z22zn1再來討論兩個(gè)問題：1.置信水平與置信區(qū)間長度的關(guān)系置信水平 是越高越好，而置信區(qū)間的長度是越短越好。22Zn上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì) 2. 2.同一置信水平同一置信水平 下的置信區(qū)間并不是唯一的下的置信區(qū)間并不是唯一的。1例如 是 的置信度為0.95 的置信區(qū)間; 0.0250.0

17、25(/,/)XZn XZn由上 的分位點(diǎn)定義知0.040.010.95/XPZZn所以 也是 的置信度為0.95的置信區(qū)間。0.010.04(/,/)XZn XZn通常在同一置信度下要。在相同的條件下在相同的條件下, ,選擇對(duì)稱的置信區(qū)間長度最短選擇對(duì)稱的置信區(qū)間長度最短. .0.040.010.025()/2ZZnZn上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)有時(shí)為了實(shí)際問題的需要可以不設(shè)置信下有時(shí)為了實(shí)際問題的需要可以不設(shè)置信下( (上上) )限限. .如如: : 由上 的分位點(diǎn)定義知0.050.95/XPun 所以 也是 的置信度為0.95的置信區(qū)間。當(dāng)然,也可以0.05(,/)Xun這樣的置信區(qū)間稱

18、為單側(cè)置信區(qū)間這樣的置信區(qū)間稱為單側(cè)置信區(qū)間0.050.95XPnu 這樣 也是 的置信度為0.95的置信區(qū)間。0.05,Xun上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)單側(cè)置信區(qū)間的定義給定置信度 ，若由樣本 確定的統(tǒng)計(jì)量 ， ，對(duì)任意 , 滿足) 10(nXXX,21),(21nXXX),(21nXXX(1) , 則稱隨機(jī)區(qū)間 是的置信水平為 的單側(cè)置信區(qū)間,稱 為 的置信度為 的單側(cè)置信下限單側(cè)置信下限;1P),(11(2) , 則稱隨機(jī)區(qū)間 是的置信水平為 的單側(cè)置信區(qū)間,稱 為 的置信度為 的單側(cè)置信上限。單側(cè)置信上限。1P),(11上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)5 正態(tài)總體的置信區(qū)間正態(tài)總體的置信區(qū)間

19、一、單個(gè)總體 的情況),(2N1、均值 的置信區(qū)間（1） 為已知的情形2 (2) 為未知的情形2置信度為 的置信區(qū)間為 ；1) 1(2/ntnSX置信度為 的置信區(qū)間為 ；1/2XZn例 設(shè)某種涂料的干燥時(shí)間 ,現(xiàn)隨機(jī)抽取 4個(gè)樣品,測得樣本值為12.6;13.4;12.8;13.2,求:2( ,)XN 的95%的置信區(qū)間.上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)2、方差 的置信區(qū)間 因?yàn)?2) 1() 1(222nSn22222/21/2(1)(1)1(1)(1)nSnSPnn 2221222(1)1nSP 上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)所以方差 的一個(gè)置信水平為 的置信區(qū)間為21) 1() 1(,) 1()

20、 1(22/1222/2nSnnSn標(biāo)準(zhǔn)差 的一個(gè)置信水平為 的置信區(qū)間1) 1() 1(,) 1() 1(22/122/nSnnSn例 設(shè)某種涂料的干燥時(shí)間 ,現(xiàn)隨機(jī)抽取 4個(gè)樣品,測得樣本值為12.6;13.4;12.8;13.2,求:2( ,)XN 的95%的置信區(qū)間2上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)) 1() 1(222nSn1) 1() 1(2122nSnP1) 1() 1(2122nSnP方差 的一個(gè)置信水平 的單側(cè)置信區(qū)間為 21) 1() 1(, 0212nSn，所以，單側(cè)置信上限為) 1() 1(2122nSn關(guān)于單側(cè)區(qū)間:注意:方差一定大于零.上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)二、 兩個(gè)

21、總體 的情形),(),(222211NN1、兩個(gè)總體均值差 的置信區(qū)間21（1）方差 為已知的情形 因?yàn)?221,) 1 , 0()()(22212121NnnYX由此得 的置信水平為 的置信區(qū)間為2112212/212XYZnn上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)(2) 方差 相等但未知時(shí)的情形2221,)2(11)()(212121nntnnSYXw 的置信水平為 的置信區(qū)間為21121212/11)2(nnSnntYXw2) 1() 1(21222211nnSnSnSw這里上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)2、兩個(gè)總體方差比 的置信區(qū)間2221/) 1, 1(/2122212221nnFSS22121/2

22、12/2122212/(1,1)(1,1) =1/SSP FnnFnn所以方差比 的置信水平為 的置信區(qū)間為2221/1) 1, 1(1,) 1, 1(1212/12221212/2221nnFSSnnFSS上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)例1：有一大批糖果，現(xiàn)從中隨機(jī)地取10袋，稱得重 量（以克為單位）如下： 506,508,499,503,504, 514,505,493,496,506 設(shè)袋裝糖果的重量近似地服從正態(tài)分布，試求總 體均值 的置信水平為 的置信區(qū)間和標(biāo)準(zhǔn)差 的置信水平為 的置信區(qū)間。95. 095. 0三、舉例上海大學(xué)級(jí)概率論與數(shù)理統(tǒng)計(jì)例2：設(shè)一個(gè)物體的重量 未知，為估計(jì)其重量用天平去稱量。由于稱重