參數(shù)估計(jì)標(biāo)準(zhǔn)和區(qū)間估計(jì)

1、參數(shù)估計(jì)標(biāo)準(zhǔn)和區(qū)間估計(jì)二、估計(jì)量的評(píng)選標(biāo)準(zhǔn)一 、點(diǎn)估計(jì) 三、區(qū)間估計(jì) 四、正態(tài)總體均值與方差的 區(qū)間估計(jì) 參數(shù)估計(jì)是統(tǒng)計(jì)推斷的基本問題之一，問題中，并不一定要求密度函數(shù)，而只要知道參數(shù)那么在許多實(shí)際分布就決定了?？疾鞜襞輳S生產(chǎn)的燈泡質(zhì)量，由于種種隨機(jī)易知燈泡使用壽命是隨機(jī)變量，記為且 問題：如何估計(jì) 和？引例1因素的影響，知道了參數(shù)，2的值，那么壽命X的分布就完全確定了.參數(shù)估計(jì)要解決問題:總體分布函數(shù)的形式為已知,需要確定未知參數(shù)。但其中參數(shù)未知時(shí)，這類問題稱為參數(shù)估計(jì)問題。只有當(dāng)參數(shù) 確定后，才能通過概率密度函數(shù)計(jì)算概率。對(duì)于未知參數(shù)，如何應(yīng)用樣本所提供的信息去對(duì)其一個(gè)或多個(gè)未知參數(shù)進(jìn)行估

2、計(jì)。對(duì)未知參數(shù)估計(jì)的兩種方法：1、 點(diǎn)估計(jì)2、區(qū)間估計(jì)點(diǎn)估計(jì)問題：第一節(jié) 點(diǎn)估計(jì)基本原理：總體矩是反映總體分布的最簡(jiǎn)單的數(shù)字特征，當(dāng)總體含有待估計(jì)參數(shù)時(shí)，總體矩是待估計(jì)參數(shù)的函數(shù)。樣本取自總體，即樣本矩在一定程度上可以逼近總體矩，一、矩估計(jì)法故可用樣本矩來估計(jì)總體矩。這個(gè)估計(jì)方法是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出的 其中是待估參數(shù)為來自的樣本,存在,設(shè)總體的k階矩則樣本的k階矩(大數(shù)定律)令k個(gè)方程組設(shè)總體X的分布函數(shù)為矩估計(jì)量的觀察值稱為矩估計(jì)值。從中解得即為矩估計(jì)量。矩估計(jì)的步驟：連續(xù)型離散型例 1 設(shè)某炸藥廠一天中發(fā)生著火現(xiàn)象的次數(shù)X服從 例2設(shè)總體在上服從均勻分布，解：由矩法,解得 是在

3、總體類型已知條件下使用的一種參數(shù)估計(jì)方法 .2. 極大似然法 極大似然法的基本思想 先看一個(gè)簡(jiǎn)單例子：一只野兔從前方竄過 .是誰打中的呢？某位同學(xué)與一位獵人一起外出打獵 .如果要你推測(cè)，你會(huì)如何想呢?只聽一聲槍響，野兔應(yīng)聲倒下 . 你就會(huì)想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率. 看來這一槍是獵人射中的 . 這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想 . 以上這種選擇一個(gè)參數(shù)使得試驗(yàn)結(jié)果具有最大概率的思想就是極大似然法的基本思想 .基本思想:若事件 發(fā)生了,則認(rèn)為事件中出現(xiàn)的概率最大。最大似然估計(jì) 就是在一次抽樣中,若得到觀測(cè)值則選取若一試驗(yàn)有n個(gè)可能結(jié)果現(xiàn)做一試驗(yàn),

4、在這n個(gè)可能結(jié)果作為 的估計(jì)值，使得當(dāng)時(shí),樣本出現(xiàn)的概率最大。最大似然估計(jì)法:是的一個(gè)樣本值(如離散型)(1)設(shè)事件 發(fā)生的概率為 的函數(shù)，形式已知X的分布律為：的聯(lián)合分布律為： 樣本的似然函數(shù)即取使得：與有關(guān), 記為稱為參數(shù)的最大似然估計(jì)值稱為參數(shù)的最大似然估計(jì)量.達(dá)到最大的參數(shù)作為的估計(jì)值，現(xiàn)從中挑選使概率樣本的似然函數(shù)兩點(diǎn)說明2、用上述求導(dǎo)方法求參數(shù)的MLE有時(shí)行不通，這時(shí)要用極大似然原則來求 .使似然函數(shù) 達(dá)到最大的 即 的MLE， (4) 在最大值點(diǎn)的表達(dá)式中, 用樣本值代入 就得參數(shù)的極大似然估計(jì)值 .(1) 由總體分布導(dǎo)出樣本的聯(lián)合分布律 (或聯(lián)合密度);(2) 把樣本聯(lián)合分布律

5、(或聯(lián)合密度)中自變 量看成已知常數(shù),而把參數(shù) 看作自變量, 得到似然函數(shù)L( );(3) 求似然函數(shù)L( ) 的最大值點(diǎn)(常常轉(zhuǎn)化 為求ln L( )的最大值點(diǎn)) ，即 的MLE;求極大似然估計(jì)(MLE)的一般步驟是：L(p)= 設(shè)X1,X2,Xn是取自總體 Xb(1, p) 的一個(gè)樣本，求參數(shù)p的極大似然估計(jì).解：似然函數(shù)為: 例1對(duì)數(shù)似然函數(shù)為：對(duì)p求導(dǎo)并令其為0，=0得即為 p 的MLE .似然函數(shù)為：-它與矩估計(jì)量是相同的。解：似然函數(shù)為 設(shè)X1,X2,Xn是取自總體X的一個(gè)樣本其中 0,求 的極大似然估計(jì).i=1,2,n例3解：i=1,2,n對(duì)數(shù)似然函數(shù)為求導(dǎo)方法無法求參數(shù) 的ML

6、E.是對(duì)故使 達(dá)到最大的 即 的MLE， 取其它值時(shí)，且是 的增函數(shù)由于這時(shí)要用極大似然原則來求 .即 為 的MLE .X的概率密度為：極大似然估計(jì)不變性 由于估計(jì)量作為樣本的函數(shù)是一個(gè)隨機(jī)變量,對(duì)于不同的樣本值, 估計(jì)值也不同, 因此評(píng)價(jià)一個(gè)估計(jì)量的優(yōu)劣就不能僅由一個(gè)觀測(cè)值來確定, 而要根據(jù)估計(jì)量的統(tǒng)計(jì)性質(zhì)來評(píng)價(jià). 通常一個(gè)好的估計(jì)量其觀測(cè)值應(yīng)在待估計(jì)參數(shù)的真值附近波動(dòng), 且波動(dòng)的幅度越小越好, 即要使估計(jì)量與待估計(jì)參數(shù)在某種統(tǒng)計(jì)意義下非?！敖咏? 常用的幾條標(biāo)準(zhǔn)是：1無偏估計(jì)2有效估計(jì)3相合估計(jì)(一致估計(jì)）這里我們重點(diǎn)介紹前面兩個(gè)標(biāo)準(zhǔn) .第二節(jié) 估計(jì)量的評(píng)選標(biāo)準(zhǔn)4. 漸近正態(tài)估計(jì)期望應(yīng)等

7、于未知參數(shù)的真值. 則稱 為 的無偏估計(jì) .設(shè)是未知參數(shù) 的估計(jì)量，若.真值1無偏性估計(jì)量是隨機(jī)變量，樣本值不同估計(jì)值也不同。估計(jì)值應(yīng)在參數(shù)附近，定義無偏性的意義是：用 來估計(jì) 時(shí)無系統(tǒng)偏差。則稱是的漸近無偏估計(jì)量.例 設(shè)總體X的數(shù)學(xué)期望 存在，是X的樣本，求證均為的無偏估計(jì)。為2 的無偏估計(jì)量不是2 的無偏估計(jì)量證： 不是 的無偏估計(jì)量,是漸近無偏估計(jì)量用S2來估計(jì)2有系統(tǒng)偏差。為2 的無偏估計(jì)量也是2 的無偏估計(jì)量均為的無偏估計(jì)一般情況下2. 有效性:都是的無偏估計(jì)量；若則稱較有效.設(shè)若 的所有二階矩存在無偏估計(jì)量中有一個(gè)估計(jì)量,使對(duì)任意無偏估計(jì)量 有 例：由大數(shù)定律知一致性說明：對(duì)于大子

8、樣，由一次抽樣得到的估計(jì)量 的值可作的近似值漸近正態(tài)估計(jì)定理2.3 漸近正態(tài)估計(jì)一定是相合估計(jì)最小方差無偏估計(jì)定理2.7 設(shè) 是 的一個(gè)無偏估計(jì)， 則 是 的最小方差無偏估計(jì)（MVUE）的充要條件是：對(duì)任何滿足條件 的統(tǒng)計(jì)量 ，有。證明：Th2.8 設(shè)總體X的分布函數(shù)為 是未知參數(shù)， 是來自總體X的一個(gè)樣本，如果 是 的充分統(tǒng)計(jì)量， 是 的任一無偏估計(jì)，記 則有設(shè)總體X的分布函數(shù)為 ， 是來自總體X的一個(gè)樣本，如果 是 的充分完備統(tǒng)計(jì)量， 為 的任一無偏估計(jì)， 則有 為 的惟一的最小方差無偏估計(jì)。給出了一個(gè)判別方法,且是充分必要條件。解決了存在性問題，也就是求解的方法，即最小方差無偏估計(jì)在無偏

9、的充分估計(jì)量中。解決了惟一性問題，當(dāng)然指概率意義下的惟一。有效估計(jì)與信息不等式羅克拉美不等式 右端為羅克拉美下界，記為 類似： 注：有時(shí)能找到無偏估計(jì)使它的方差達(dá)到 這個(gè)下界，有時(shí)達(dá)不到信息不等式的證明證明：先證必要性點(diǎn)估計(jì)總結(jié) 在參數(shù)的點(diǎn)估計(jì)中，對(duì)于一個(gè)樣本值只能得到參數(shù)的一個(gè)估計(jì)值。 雖然有一個(gè)明確的量的概念，但只能是一個(gè)近似值， 1）只是樣本的一個(gè)函數(shù)；2）不同的樣本有不同的點(diǎn)估計(jì)； 3）總有偏差；4）沒有精確度；5）不知道偏差范圍。點(diǎn)估計(jì)分類 1、有偏估計(jì)；2 、無偏估計(jì)點(diǎn)估計(jì)的方法 1 、矩估計(jì)； 2 、最大似然估計(jì)點(diǎn)估計(jì)的性質(zhì) 1、無偏性； 2、有效性（優(yōu)效性）； 3、相合性（一致性） 結(jié) 論矩估計(jì)1）無論總體服從什么分布，樣本均值和方差分別是總體均值和方差的矩估計(jì)量；2）矩估計(jì)都是相合估計(jì)；3）