數(shù)學參數(shù)點估計學習教案

1、會計學1數(shù)學數(shù)學(shxu)參數(shù)點估計參數(shù)點估計第一頁，共34頁。第1頁/共34頁第二頁，共34頁。對概率分布中的未知參數(shù), 如果不能利用概率分布的歸一性, 或者利用隨機變量的獨立性,包括(boku)利用特定點或特定區(qū)間上的給定概率關(guān)系, 確定它們的大小,那就只有通過從相應(yīng)的總體內(nèi)抽取適度容量的樣本, 利用樣本所必然攜帶的總體信息, 做出參數(shù)大小的合理近似估計.起碼的要求是:估計量與被估計量二者的數(shù)學期望應(yīng)彼此相等!第2頁/共34頁第三頁，共34頁。 六退出一四二三五第3頁/共34頁第四頁，共34頁。退出(tuch)返回(fnhu) 對分布中未知參數(shù) 的近似取值或準確值的落入范圍進行的估計稱為

2、參數(shù)估計. 其中, 對參數(shù)近似取值進行的估計稱為參數(shù)的點估計; 對參數(shù)準確值的落入范圍所進行的估計稱為參數(shù)的區(qū)間估計. 進行參數(shù)點估計所使用的統(tǒng)計量 稱為參數(shù)的點估計量; 按點估計量依具體的樣本值算出的參數(shù)值 稱為參數(shù)的點估計值. 類似的術(shù)語可同樣地套用于區(qū)間估計中.1. 點估計與區(qū)間估計的概念2. 點估計量與點估計值第4頁/共34頁第五頁，共34頁。退出(tuch)返回(fnhu) 1. 無偏性 2. 有效性較好的無偏估計量 應(yīng)具較小的方差 ()( ) .iDD 好的估計量 應(yīng)能使() .E 最好的無偏估計量 應(yīng)依lim( .,)12pnnXXX 3. 一致性（相合性）概率收斂于參數(shù)的準確值

3、, 即(,)nXXX12 第5頁/共34頁第六頁，共34頁。退出(tuch)返回(fnhu) 證()()11nii E XE Xn1nn證: 總體的樣本均值 是總體均值 的無偏估計.例2-1 設(shè) X1, X2 , , X n 是總體 X 的一個樣本，().E X,()(),niii XX E XE X n1111nin,()E X 試總體數(shù)學期望樣本算術(shù)平均量故樣本均值 是總體均值的無偏估計量.X11niiXXn樣本均值的觀測值 是總體均值的無偏估計值.x第6頁/共34頁第七頁，共34頁。故樣本方差 S2 是總體(zngt)方差的無偏估計.退出(tuch)返回(fnhu)而 證()() ,nn

4、iiiiXXXnXn n S2221121111niiXX ,n11(),()(),niiE X D XD X nn22111()()(),iiiE XD XEX 2222證明: 總體的樣本方差 S2 是總體方差 的無偏估計. 例2-2 設(shè) X1, X2 , , X n 是總體 X 的一個樣本，2(),E X ()(),()(), ,iiE XE X D XD X in21 2()()(),E XD XEX n22221()()()niiE SnE XnE X221211()()ninnn22221111()(), DnXn22111().D X2 ()nnn222211證畢.其中第7頁/共3

5、4頁第八頁，共34頁。退出(tuch)返回(fnhu) 例2-3 設(shè) X1, X2 , X3 , X4 是總體 X 容量為4 的樣本則總體均值的以下無偏估計中, 最有效的點估計量是 ( )D.XXXX123412115555C.XXXX123443119999BXXXX123411114444A.XXXX123411113663B.()()()()DXDXDXDX123411113663解()DXXXX123411113663()()()()D XD XD XD X1111936369()D X1036同樣, ()()DXXXXD X12341111444414其中, 最小的方差為()()DX

6、XXXD X12344311999913()D XDXXXX123472512115555() ,D X 14最有效的估計量是XXXX123411114444第8頁/共34頁第九頁，共34頁。且()123E abXXXc)()()(,abXc E XE 故 是總體期望 的無偏估計. ()E X123XXabXc(), ,()1 2 3iE X Xi E例2-4 設(shè) X1, X2 , X3 是總體 X 的樣本(yngbn)三常數(shù)退出(tuch)返回 證()()()E XE XXabcE而各.1abc ()123E abXXXc()()()123aEbXEXcE X,1abc 試證明: 是總體期望

7、 的無偏估計. ()E X123XXabXc證畢.第9頁/共34頁第十頁，共34頁。退出(tuch)返回(fnhu)從而有 證( )(),EE X 212121 ()().)()nniiiE XEE XXXnn E111121(), D X2112 X R( 1,) , 例2-4 設(shè)總體 X R( 1,). 證明: 的估計量X21(), E X12()( )()(),()DDD XXDnnnX 221112432144進而就有即首先是參數(shù)的無偏估計.此外, 又是的一致估計量.X21()lim(i,)l mnnD n2103 是參數(shù)的一致估計.X21第10頁/共34頁第十一頁，共34頁。退出(t

8、uch)返回(fnhu)可見, 要確定(qudng)參數(shù)的準確值, 必須發(fā)掘已知條件所隱含的其本例無法利用概率分布的歸一性確定的其中, 未知參數(shù)【求解分析】事實上, 依歸一性, 我們只能得出恒等式準確值. ( )()|f x dxx dxx11 100111. 1設(shè)X1, X2, Xn 是變量 X 的簡單隨機樣本. 試求參數(shù) 的矩估計量與極大似然估計量.例1 設(shè)隨機變量X 的概率密度(),( ),x xf x 1010 其它它有關(guān)信息. 例如, “簡單隨機樣本” 有何隱含的意思？“矩估計量”一詞有何提示？“極大似然估計量”又有何提示？還有,第11頁/共34頁第十二頁，共34頁。 (一般講, 總

9、體數(shù)字特征不是總體原點矩, 就是總體中心矩, 或者可借總體原點矩與中心矩加以(jiy)表示) 若用表示分布參數(shù),則易知總體的數(shù)字(shz)特征(如數(shù)學期望和方差等)都是總體分布參數(shù)的函數(shù),反過來, 分布參數(shù)也是總體數(shù)字(shz)特征的函數(shù).退出(tuch)返回 1. 矩估計法做點估計的基本思路 同時, 只要把計算點估計值的求解公式當作未知參數(shù)的估計函數(shù)式, 就可輕松獲得未知參數(shù)的點估計( 統(tǒng)計)量 , 并稱其為參數(shù)的矩估計量; 估計時最高用到幾階矩, 就說方法是幾階矩估計法. 因此, 若用樣本原點矩和樣本中心矩的觀測值去近似總體的原點矩和中心矩, 就可通過解方程而解出含在原點矩和中心矩內(nèi)的總體

10、分布參數(shù)的近似值, 并將其視為總體分布參數(shù)的點估計值 . 第12頁/共34頁第十三頁，共34頁?？傮w k 次方數(shù)學(shxu)期望 的別名即總體的 k 階原點矩;總體(zngt)方差 的別名即總體(zngt)的二階中心矩. 退出(tuch)返回 估計之初就應(yīng)明確總體數(shù)學期望 的別名即總體X 的一階原點矩,()E X()D X()kE X樣本一階原點矩 即樣本均值( 算術(shù)平均量);niiAXn111但樣本二階中心矩 不是樣本方差.()niiBXXn2211 還應(yīng)提醒自己2. 用矩估計法進行點估計的ABC總體平方數(shù)學期望 的別名即總體的二階原點矩,()2E X第13頁/共34頁第十四頁，共34頁。

11、退出(tuch)返回(fnhu)() .21XX X 的一階原點矩(即數(shù)學期望)其中, 未知參數(shù)【解】即可得出 的矩估計值()xf xxE Xd. 0設(shè) X1, X2 , X n 是總體 X 的簡單隨機樣本. 試求參數(shù) 的矩估計量.例3 隨機變量 X 的概率密度1, 01( )0,xxf x其它從而 的矩估計量即是()xE X1() .xx21xdx10|x1 1011 只要令樣本一階原點矩 的觀察值 與之相等, 即令xXA1第14頁/共34頁第十五頁，共34頁。 求總體含有未知參數(shù)的數(shù)學期望和方差等數(shù)字特征(tzhng) g () . 并能正確地用總體的一階原點矩和二階中心矩等術(shù)語解讀它們退

12、出(tuch)返回(fnhu)3. 用矩估計法進行點估計的一般步驟 將矩估計值計算式 中表示矩估計值與樣本矩觀測值的小寫字母分別改寫成大寫字母, 即得未知參數(shù)的矩估計量( )1xg() .1 gX 作為參數(shù)的矩估計值 . 令樣本一階原點矩 的觀測值 ( 或樣本二階中心矩 的觀測值 )近似地等于總體的一階原點矩(或二階中心矩) , 即令)() (x ggs211 或或Xx 2S2s()( )XxEg再將反解出的()( ) 2D X sg 或 或 第15頁/共34頁第十六頁，共34頁。 總體均值即總體的一階原點矩 A1 , 故其矩估計值為樣本(yngbn)一階原點矩的觀測值, 即退出(tuch)返

13、回(fnhu)觀測值.解此外, 總體樣本方差 S2 的觀測值為()iisxx8221181()iibxx8222118().iiiixxx881111741007474 0028800.514 8 108 總體方差是總體的二階中心矩 B2 , 故其矩估計值為樣本二階中心矩的觀測值, 即.66 0 10.66 86 10.514 8 107試求總體均值、總體方差2 的矩估計值與樣本方差S2 的74.001, 74.005, 74.003, 74.001, 74.000, 73.998, 74.006, 74.002 例4 隨機抽取8只活塞環(huán), 測出的直徑依次為:第16頁/共34頁第十七頁，共34

14、頁。 在隨機(su j)世界里, 發(fā)生概率最大的事件實際出現(xiàn)的可能性最大. 由于用抽樣算得的事件概率L () 是參數(shù)的函數(shù),因而不同參數(shù)值以樣本為依據(jù)所算出的事件概率必然會有大有小. 因此, 最可能的參數(shù)值應(yīng)是使似然函數(shù)L () 取最大的值. 退出(tuch)返回(fnhu) ( 事件發(fā)生概率表現(xiàn)為參數(shù) 的函數(shù)L () 時, 該函數(shù)通常稱為樣本的似然函數(shù).使似然函數(shù)L () 取最大值的點 稱為參數(shù) 的極大或最大似然點.用極大似然點 作為待估參數(shù)點估計值的方法稱為極大似然估計法 )1. 用極大似然估計法做點估計的基本思路 若用表示分布參數(shù),則顯然總體的分布律或者概率密度中必含有參數(shù), 從而以其為

15、基本工具所算出的事件發(fā)生概率, 也勢必是 的函數(shù) L ().第17頁/共34頁第十八頁，共34頁。退出(tuch)返回(fnhu) 當總體的分布律是 時, 其點估計的樣本似然函數(shù)之形態(tài)也必為其對數(shù)似然函數(shù)的形態(tài)則為ln(l( ), )n1niif xL( ),(; )niinnLP Xx XxXf xx12211( ; )P Xxf x.1. 用極大似然估計法做點估計的基本思路 當總體的概率密度是 時, 其點估計的樣本似然函數(shù)之形態(tài)必為其對數(shù)似然函數(shù)的形態(tài)則為ln(l( ); )nniif xL1(;)niif xL1( ; )f x.第18頁/共34頁第十九頁，共34頁。若似然函數(shù)無駐點(z

16、h din)，則只能直接對其求極、最值 依似然函數(shù)的復雜程度, 決定是否應(yīng)并實際對其取自然對數(shù), 得出對數(shù)似然函數(shù)ln(l( ), )n1niif xL,()1niixLf 根據(jù)總體的分布律或概率密度構(gòu)造似然函數(shù) 2. 用極大似然估計(gj)法進行點估計(gj)的一般步驟 將極大似然估計值計算式 中表示估計值與樣本觀測值的小寫字母分別改寫成大寫字母, 即得未知參數(shù)的極大似然估計量 ),(,nxxgx12),(,nXXgX12退出返回 求似然函數(shù)或?qū)?shù)似然函數(shù)的駐點, 即令導數(shù) 或 . 其解即 的極大似然點或極大似然估計值 .ln( )0dLd( )dLd 0注意：此步驟僅為對大多數(shù)情況適用的一

17、般步驟第19頁/共34頁第二十頁，共34頁。退出(tuch)返回(fnhu)其中, 未知參數(shù). 0設(shè)X1, X2, Xn 是總體 X 的簡單隨機樣本. 試求參數(shù) 的極大似然估計量.例5 隨機變量 X 的概率密度1, 01( )0,xxf x 其它因為似然函數(shù)【解】所以只要令,()1niixLfln( )lnniidnLxd11220對數(shù)似然函數(shù)ln( )ln()lnniinLx112() ()nniix11(ln)niinX 221進而可知極大似然估計量(ln)niinx221即立得極大似然估計值第20頁/共34頁第二十一頁，共34頁。例6 總體 X R ( 0, ), 其中(qzhng),

18、未知參數(shù) 設(shè)X1, X2 ,退出(tuch)返回(fnhu)【解】. 0, X n 是總體的簡單隨機樣本. 求參數(shù)的極大似然估計量.總體X 的概率密度顯然為1, 0( )0 ,xf x其它其最值只能在其定義區(qū)間上取得.,()1niixLf0Mx又因為此函數(shù)為單調(diào)函數(shù), 所以max,Mnx xxx12( )nn11因為似然函數(shù)12( 0, )nx xx則必同時有下二式成立記MX 進而可知極大似然估計量Mx可見, 其極大似然估計值應(yīng)為max,Mnx xxx12max,MnX XXX12120, ,nx xx第21頁/共34頁第二十二頁，共34頁。1,0( ), 00 ,xexf x其它退出(tuc

19、h)返回(fnhu).8118iiXX X 的一階原點矩即數(shù)學期望0.01, 0.06, 0.02 . 試計算 的矩估計值與極大似然估計值.【解】即可得出 的矩估計值()xf xxE XdX1, X2 , X 8 是來自總體 X 的樣本. 試求參數(shù) 的矩估計量與極大似然估計量. 若抽取的樣本值為0.02, 0.05, 0.03, 0.02, 0.03,例7 已知總體 X 的概率密度為從而 的矩估計量即是()8118iiE Xxx.8110 038iixx 0 xxedx()|0 xxe 取樣本一階原點矩 的觀察值 為之近似值, 即令x81118iiAXX第22頁/共34頁第二十三頁，共34頁。

20、1,0( ), 00 ,xexf x其它退出(tuch)返回(fnhu)0.02, 0.06, 0.02 . 試計算 的矩估計值與極大似然估計值.X1, X2 , X 8 是來自總體 X 的樣本. 試求參數(shù) 的矩估計量與極大似然估計量. 若抽取的樣本值為0.01, 0.05, 0.03, 0.02, 0.03,例7 已知總體 X 的概率密度為因為似然函數(shù)【解】所以只要令;()(81iixLfln( )821801iidLxd對數(shù)似然函數(shù)ln( )ln8118iiLx( )81181iixe.8118iiXX 進而可知極大似然估計量.8110 038iixx 即立得極大似然估計值第23頁/共34

21、頁第二十四頁，共34頁。為什么 總是總體均值的無偏(w pin)估計; 問三系數(shù) 分別記三者的樣本均值. 說明(shumng)任意三系數(shù)a, b, c 滿足 時, 例8 從總體 X 中抽得容量(rngling)為n1, n2 , n3 的三樣本. 以而()123 E abcX XX, 退出返回 解始終是總體均值的無偏估計. 1abc()123 E abXXXc()()()()123aEbEcEaXcXXb,1abc 123YabXXXc,123XXXa, b, c 各為多大時, 可使方差 的值最小? ( )D Y(),(),2E X D X 令則()(), ,2111 2 3iiiD XD X

22、 inn123YabXXXc即()(),iE XE X 第24頁/共34頁第二十五頁，共34頁。,2123nbnnn為什么 總是(zn sh)總體均值的無偏估計; 問三系數(shù) 分別記三者的樣本均值. 說明任意(rny)三系數(shù)a, b, c 滿足 時, 例8 從總體(zngt) X 中抽得容量為n1, n2 , n3 的三樣本. 以于是，依Lagrange乘數(shù)法，令退出返回,1123nannn則由 1abc的值最小，只須使三元函數(shù) 取最小值. ( , , )322221nabcf a b cnn120 ,aanF ( , , ; )( , , )() 1F a b cf a b cabc 123Y

23、abXXXc,123XXXa, b, c 各為多大時, 可使方差 的值最小? ( )D Y()( )()().122221233abcD YD abXXXD Xn nnc另外，要( )D Y123nnabnc即可解出 解220 ,bnbF 320cncF 10Fabc 3123ncnnn第25頁/共34頁第二十六頁，共34頁。第26頁/共34頁第二十七頁，共34頁。第27頁/共34頁第二十八頁，共34頁。退出(tuch)返回(fnhu)概率統(tǒng)計練習冊P37, P38 P37: 1. (點估計，點估計量與點估計值的概念) 2. (指出矩估計與極大似然估計的基本步驟) 3. (指出總體均值與總體方差的矩估計量) 4. (指出均勻總體與正態(tài)總體未知參數(shù)的矩估計量) 5. (指出總體方差兩種不同估計的有偏與無偏性) 6. (指出正態(tài)總體均值的無偏估計量)第28頁/共34頁第二十九頁，共34頁。退出(tuch)返回(fnhu)概率統(tǒng)計練習冊 P37: 7. (求統(tǒng)計值-矩估計值與樣本方差的觀測值) P38: 8. (求總體分布參數(shù)的矩估計與極大似然估計) 9. (求泊松總體分布參數(shù)的矩估計與極大似然估計)第29頁/共34頁第三十頁，共34頁。2. 樣本(yngbn), 總體, L () , 點估計值;9.3.4. 矩估計量2 , , 2 ;XXB2 ,