概率論與數(shù)理統(tǒng)計第18講-9.18

概率論與數(shù)理統(tǒng)計第18講-9.18PAGEPAGE6概率論與數(shù)理統(tǒng)計第18講（夜大）第五章參數(shù)估計第一節(jié)點(diǎn)估計參數(shù)估計問題是利用對總體的抽樣得到的信息來估計總體的某些參數(shù)或者參數(shù)的某個函數(shù)，如師大學(xué)生的身高問題，可以認(rèn)為服從正態(tài)分布，通過參數(shù)估計，可以得到均值和方差。在參數(shù)估計問題中，我們總是假定總體具有已知的分布形式，未知的僅僅是一個或幾個參數(shù)。而總體的真分布完全由這些參數(shù)所決定，因此通過估計參數(shù)就可以估計總體的真分布。點(diǎn)估計問題的一般提法如下：設(shè)總體X的分布函數(shù)的形式為已知，是待估計參數(shù)。是X的一個樣本，是相應(yīng)的一個樣本值。點(diǎn)估計問題就是要構(gòu)造一個適當(dāng)?shù)慕y(tǒng)計量，用它的觀察值作為未知參數(shù)的近似值。我們稱為的估計量，為的估計值。在不致混淆的情況下統(tǒng)稱估計量和估計值為估計。并都簡記為。由于估計量是樣本的函數(shù)，因此對于不同的樣本值，的估計值一般是不相同的。下面介紹兩種常用的構(gòu)造估計量的方法：矩估計法和最大似然估計法。一、矩估計法設(shè)X為連續(xù)型隨機(jī)變量，其概率密度為，或X為離散型隨機(jī)變量，其分布律為，其中為待估參數(shù)，是來自X的樣本。假設(shè)總體X的前階矩；存在。一般來說，它們是的函數(shù)?；跇颖揪匾栏怕适諗坑谙鄳?yīng)的總體矩，樣本矩的連續(xù)函數(shù)依概率收斂于相應(yīng)的總體矩的連續(xù)函數(shù)，我們就可以利用樣本矩作為相應(yīng)的總體矩的估計量，而以樣本矩的連續(xù)函數(shù)作為相應(yīng)的總體矩的連續(xù)函數(shù)的估計量。這種估計方法稱為矩估計法。其做法如下：設(shè)這是一個包含個未知參數(shù)的聯(lián)立方程組。一般來說，可以從中解出，得到以分別代替上式中的，，就以分別作為，的估計量，這種估計量稱為矩估計量。矩估計量的觀察值稱為矩估計值。例1設(shè)總體X的均值，方差都存在且未知，是來自X的一個樣本，試求，的矩估計量。解：解得分別以代替，得到，的矩估計量分別為，結(jié)果表明，總體均值與方差的矩估計量的表達(dá)式不因不同的總體分布而不同。二、最大似然估計法若總體X屬于離散型，其分布律的形式已知，為待估參數(shù)，是可能的取值范圍。設(shè)是來自X的樣本，則的聯(lián)合分布律為：。又設(shè)是相應(yīng)于的一個樣本值。容易知道樣本取到觀察值的概率，即事件發(fā)生的概率為這一概率隨的取值而變化，它是的函數(shù)，稱為樣本的似然函數(shù)（注意這里是已知的樣本值，它們都是常數(shù)）。關(guān)于最大似然估計法，我們有以下想法：現(xiàn)在已經(jīng)取到樣本值了，這表明取到這一樣本值的概率比較大。我們當(dāng)然不會考慮那些不能使樣本出現(xiàn)的作為的估計值，再者，如果已知當(dāng)時使取很大值，而中其它的值使取很小值，我們自然認(rèn)為取作為參數(shù)的估計值，較為合理。由費(fèi)舍引進(jìn)的最大似然估計法，就是固定樣本觀察值，在取值范圍內(nèi)挑選使似然函數(shù)達(dá)到最大的參數(shù)值，作為的估計值，即取使：這樣得到的與樣本值有關(guān)，常記為，稱為參數(shù)的最大似然估計值，而相應(yīng)的統(tǒng)計量稱為參數(shù)的最大似然估計量。若總體X為連續(xù)型，概率密度為的形式已知，為待估參數(shù)，是的取值范圍。設(shè)是來自X的樣本，則的聯(lián)合概率密度為：又設(shè)是相應(yīng)于的一個樣本值。則隨機(jī)點(diǎn)（）落在（）的鄰域（邊長分別為的維立方體）內(nèi)的概率近似為：。其值隨的取值而變化。與離散型情況一樣，我們?nèi)〉墓烙嬛凳垢怕嗜〉阶畲笾?，但考慮到不隨而變，故只需要考慮函數(shù)：，的最大值。這里稱為樣本的似然函數(shù)。若：，則稱為參數(shù)的最大似然估計值，而相應(yīng)的統(tǒng)計量為參數(shù)的最大似然估計量。這樣，確定最大似然估計量的問題就歸結(jié)為求最大值的問題了。在很多情況下，和關(guān)于可微，這時?？蓮姆匠探獾谩Ｓ梢?yàn)榕c在同一處取到極值，因此，的最大似然估計也可以從方程求得，而后一方程求解往往比較方便。這個方程稱為對數(shù)似然方程。最大似然估計法也適用于分布含有多個未知參數(shù)的情況。這時，似然函數(shù)L是這些未知參數(shù)的函數(shù)。分別令，解方程組就可以得到各個未知參數(shù)的最大似然估計值。這樣的方程稱為對數(shù)似然方程組。例3為了估計湖中有多少條魚，特從湖中捕出1000條魚，標(biāo)上記號后又放回湖中，然后在捕150條魚，發(fā)現(xiàn)其中有10條魚帶有記號，在湖中有多少條魚，才能使150條魚中出現(xiàn)10條帶有記號的魚的概率最大？第二節(jié)估計量的評選標(biāo)準(zhǔn)從前面的分析可以看出，對于同一參數(shù)，用不同的估計方法求出的估計量可能不相同，此外，原則上任何統(tǒng)計量都可以作為未知參數(shù)的估計量。這就產(chǎn)生了問題，采用什么標(biāo)準(zhǔn)來評價估計量的問題。（1）無偏性設(shè)是總體X的一個樣本。是包含在總體X的分布中的待估計參數(shù)。定義：無偏性。若估計量的數(shù)學(xué)期望存在，且對于任意，有，則稱是的無偏估計量。在科學(xué)技術(shù)中，稱為以作為的估計的系統(tǒng)誤差。無偏估計的實(shí)際意義就是無系統(tǒng)誤差。如設(shè)總體X的均值為，方差均未知，由前面分析可以知道；也就是說不論總體服從什么分布，樣本均值是總體均值的無偏估計；樣本方差是總體方差的無偏估計。而估計量卻不是的無偏估計，因此我們一般取作為的估計量。（2）有效性現(xiàn)在來比較參數(shù)的兩個無偏估計量，如果在樣本容量相同的情況下，的觀察值較更密集在真值的附近，我們就認(rèn)為較為理想。由于方差是隨機(jī)變量取值與其數(shù)學(xué)期望（這里）的偏離程度的度量，所以無偏估計以方差小者為好。這就引出了估計量有效性這一概念。定義：有效性。設(shè)與都是的無偏估計量，若對于任意，有，且至少對于某一個上式中的不等號成立，則稱較有效。盡可能接近。上面的概率表達(dá)式含義如下：若反復(fù)抽樣多次（各次得到的樣本容量都相等）。每個樣本值確定一個區(qū)間，每個這樣的區(qū)間要么包含的真值，要么不包含的真值，按照貝努力大數(shù)定律，在這樣多的區(qū)間中，包含真值的約占100（）%，不包含真值的約占。例如：若，反復(fù)抽樣1000次，則得到1000個區(qū)間中不包含真值的約僅為10個。入圖所示例1設(shè)總體為未知參數(shù)，為已知，是來自X的樣本，求參數(shù)的置信水平為的置信區(qū)間。解：已知是的無偏估計，且有，可以看出所服從的分布不依賴于任何未知參數(shù)。按標(biāo)準(zhǔn)正態(tài)分布的上分位點(diǎn)的定義，有即這樣我們就得到了的一個置信水平為的置信區(qū)間，這樣的置信區(qū)間常常寫成。例2從正態(tài)總體中抽取容量為的樣本，如果要求其樣本均值位于區(qū)間內(nèi)的概率