矩法與極大似然法的合理性及比較分析.doc

矩法與極大似然法的合理性及比較分析矩法與極大似然法的合理性及比較分析摘要: 皮爾遜所引入的矩法是較早提出的求參數(shù)點(diǎn)估計(jì)的方法。我們從辛欽大數(shù)定律知道，若總體的數(shù)學(xué)期望E()有限，則樣本的平均值依概率收斂于E（）。這就啟示我們想到，在利用樣本所提供的信息來(lái)對(duì)總體的分布函數(shù)中未知參數(shù)作估計(jì)時(shí)，可以用樣本矩作為總體矩的估計(jì)。費(fèi)希爾引進(jìn)的極大似然法，從理論觀點(diǎn)來(lái)看，至今仍然是參數(shù)點(diǎn)估計(jì)中最重要的方法，以后將會(huì)知道，這種估計(jì)方法，是利用總體的分布函數(shù)F（x；）的表達(dá)式及樣本所提供的信息，建立未知參數(shù)的估計(jì)量（1，2，n）。極大似然法的想法同矩法一樣也是直觀的。今舉一個(gè)通俗的例子：有兩位同學(xué)一起進(jìn)行實(shí)彈射擊，兩人共同射擊一個(gè)目標(biāo)，事先并不知道誰(shuí)的技術(shù)較好，讓每人各打一發(fā)，有一人擊中目標(biāo)，那么認(rèn)為擊中目標(biāo)的同學(xué)的技術(shù)比擊不中的技術(shù)較好，顯然是合理的。又舉一例；有一事件，我們知道它發(fā)生大概率p只可能是0.01或0.09，在一次觀察中這事件發(fā)生了，試問(wèn)這事件發(fā)生的概率是什么？當(dāng)然人們會(huì)認(rèn)為它發(fā)生的概率是0.09而不是0.01。1、 參數(shù)估計(jì)1.1、極大似然法一、基本概念：求未知參數(shù)點(diǎn)估計(jì)的一種重要方法。思路是設(shè)一隨機(jī)試驗(yàn)已知有若干個(gè)結(jié)果，如果在一次試驗(yàn)中發(fā)生了，則可認(rèn)為當(dāng)時(shí)的條件最有利于發(fā)生，故應(yīng)如此選擇分布的參數(shù)，使發(fā)生的概率最大。 對(duì)總體參數(shù)的估計(jì)分兩種點(diǎn)估計(jì)和區(qū)間估計(jì)。在點(diǎn)估計(jì)里，我們介紹兩種求估計(jì)量的方法：矩估計(jì)法和極大似然估計(jì)法。從矩估計(jì)法公式我們得到,對(duì)正態(tài)總體N(, 2)，未知參數(shù)的矩估計(jì),2的矩估計(jì)為sn2； , 2的極大似然估計(jì)也分別為x和sn2.一般地，在相當(dāng)多的情況下，矩估計(jì)與極大X，似然估計(jì)是一致的，但也確有許多情形，矩估計(jì)法和極大似然估計(jì)法給出的估計(jì)是不同的.誰(shuí)優(yōu)誰(shuí)劣?我們可以用估計(jì)量的優(yōu)劣標(biāo)準(zhǔn)進(jìn)行評(píng)價(jià)除此之外，亦可以根據(jù)問(wèn)題的實(shí)際意義進(jìn)行判定.二、極大似然思想 一般地說(shuō)，事件與參數(shù)有關(guān)，取值不同，則也不同若發(fā)生了，則認(rèn)為此時(shí)的值就是的估計(jì)值這就是極大似然思想看一例子：例、設(shè)袋中裝有許多黑、白球，不同顏色球的數(shù)量比為3:1，試設(shè)計(jì)一種方法，估計(jì)任取一球?yàn)楹谇虻母怕史治觯阂字闹禑o(wú)非是1/4或3/4為估計(jì)的值，現(xiàn)從袋中有放回地任取3只球，用表示其中的黑球數(shù)，則按極大似然估計(jì)思想，對(duì)的取值進(jìn)行估計(jì)解：對(duì)的不同取值，取的概率可列表如下: 故根據(jù)極大似然思想即知：在上面的例子中，是分布中的參數(shù)，它只能取兩個(gè)值：1/4或3/4，需要通過(guò)抽樣來(lái)決定分布中參數(shù)究竟是1/4還是3/4在給定了樣本觀測(cè)值后去計(jì)算該樣本出現(xiàn)的概率，這一概率依賴(lài)于的值，為此需要用1/4、3/4分別去計(jì)算此概率，在相對(duì)比較之下，哪個(gè)概率大，則就最象那個(gè)三、似然函數(shù)與極大似然估計(jì)若總體X的密度函數(shù)為p(x;1,2,k)，其中1,2,k是未知參數(shù)，(X1,X2,Xn)是來(lái)自總體X的樣本，稱(chēng)為1,2,k的似然函數(shù)若有使得成立,則稱(chēng)為j極大似然估計(jì)量(j=1,2,k).根據(jù)微積分中函數(shù)極值的原理，要求使得上式成立，只要令其中L()=L(x1,x2,xn;).解之，所得解為極大似然估計(jì)量，上式稱(chēng)為似然方程.又由于與=的極值點(diǎn)相同,所以根據(jù)情況,也可以求出的解作為極大似然估計(jì)量極大似然估計(jì)的不變性求未知參數(shù)的某種函數(shù)的極大似然估計(jì)可用極大似然估計(jì)的不變?cè)瓌t，證明從略定理（不變?cè)瓌t）設(shè)是的極大似然估計(jì)，是的連續(xù)函數(shù)，則的極大似然估計(jì)為四、求極大似然估計(jì)的一般步驟1、由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù)（或聯(lián)合密度）；2、把樣本聯(lián)合概率函數(shù)（或聯(lián)合密度）中自變量看成已知常數(shù)，而把參數(shù)看作自變量，得到似然函數(shù)；3、求似然函數(shù)的最大值點(diǎn)（常轉(zhuǎn)化為求對(duì)數(shù)似然函數(shù)的最大值點(diǎn)）；4、在最大值點(diǎn)的表達(dá)式中，用樣本值代入就得參數(shù)的極大似然估計(jì)值下面通過(guò)例子來(lái)說(shuō)明：例一：設(shè)總體X服從正態(tài)分布N(, 2)，試求及2的極大似然估計(jì).解：,的似然函數(shù)為似然方程組為解之得:,.因此及分別是及2的極大似然估計(jì).例二：設(shè)某元件失效時(shí)間服從參數(shù)為的指數(shù)分布，其密度函數(shù)為，未知現(xiàn)從中抽取了個(gè)元件測(cè)得其失效時(shí)間為，試求及平均壽命的極大似然估計(jì)分析：可先求的極大似然估計(jì)，由于元件的平均壽命即為的期望值，在指數(shù)分布場(chǎng)合，有，它是的函數(shù)，故可用極大似然估計(jì)的不變?cè)瓌t，求其極大似然估計(jì)解：（）寫(xiě)出似然函數(shù)：（）取對(duì)數(shù)得對(duì)數(shù)似然函數(shù)：（）將對(duì)求導(dǎo)得似然方程為：（）解似然方程得：經(jīng)驗(yàn)證，能使達(dá)到最大，由于上述過(guò)程對(duì)一切樣本觀察值成立，故的極大似然估計(jì)為：；根據(jù)極大似然估計(jì)的不變?cè)瓌t，元件的平均壽命的極大似然估計(jì)為：1.2 矩法估計(jì)一、矩法估計(jì)的概念對(duì)于隨機(jī)變量來(lái)說(shuō)，矩是其最廣泛，最常用的數(shù)字特征，母體的各階矩一般與的分布中所含的未知參數(shù)有關(guān)，有的甚至就等于未知參數(shù)。由辛欽大數(shù)定律知，簡(jiǎn)單隨機(jī)子樣的子樣原點(diǎn)矩依概率收斂到相應(yīng)的母體原點(diǎn)矩Er,r= 1,2,。這就啟發(fā)我們想到用子樣矩替換母體矩（今后稱(chēng)之為替換原則），進(jìn)而找出未知參數(shù)的估計(jì)，基于這種思想求估計(jì)量的方法稱(chēng)為矩法。用矩法求得的估計(jì)稱(chēng)為矩法估計(jì)，簡(jiǎn)稱(chēng)矩估計(jì)。它是由英國(guó)統(tǒng)計(jì)學(xué)家皮爾遜Pearson于1894年提出的。二、矩法估計(jì)的理論依據(jù)由辛欽大數(shù)定律知：即對(duì)，有或三、矩法估計(jì)的具體步驟設(shè)母體的概率函數(shù)為f(x,1,k),其中是k個(gè)未知參數(shù)，1,n是取自這一母體的一個(gè)子樣。設(shè)的k階矩vk=Ek存在，則vj,j0,（i=1,2, ,n) 時(shí)，似然函數(shù)為2、取對(duì)數(shù)3、建立似然方程4、求解極大似然估計(jì)值5、的極大似然估計(jì)值帶入具體值得：=二、兩種方法不同的情形例：設(shè)總體概率密度為求參數(shù)的極大似然估計(jì), 并用矩法估計(jì).1) 極大似然估計(jì)法1. 構(gòu)造似然函數(shù)2. 取對(duì)數(shù)：當(dāng) 0xi1, (i=1,2, ,n) 時(shí)3、建立似然方程4、求解極大似然估計(jì)值5、極大似然估計(jì)量為2) 矩估計(jì)法參考文獻(xiàn)：1、蘇均和主編：概率論與數(shù)理統(tǒng)計(jì)，上海財(cái)經(jīng)大學(xué)出版社1999年1版2、茆詩(shī)松等編著：概率論與數(shù)理統(tǒng)計(jì)，中國(guó)統(tǒng)計(jì)出版社1999年1版3、魏振軍編：概率論與數(shù)理統(tǒng)計(jì)三十三講，中國(guó)統(tǒng)計(jì)出版社2000年1版4、唐生強(qiáng)主編：概率論與數(shù)理統(tǒng)計(jì)復(fù)習(xí)指導(dǎo)，科學(xué)出版社1999年1版5、中山大學(xué)，鄧集賢