概率7-1-參數(shù)估計(jì)課件

第一節(jié)參數(shù)的點(diǎn)估計(jì)點(diǎn)估計(jì)概念求估計(jì)量的方法課堂練習(xí)小結(jié)布置作業(yè)第一節(jié)參數(shù)的點(diǎn)估計(jì)點(diǎn)估計(jì)概念

引言

上一講，我們介紹了總體、樣本、簡(jiǎn)單隨機(jī)樣本、統(tǒng)計(jì)量和抽樣分布的概念，介紹了統(tǒng)計(jì)中常用的三大分布，給出了幾個(gè)重要的抽樣分布定理.它們是進(jìn)一步學(xué)習(xí)統(tǒng)計(jì)推斷的基礎(chǔ).引言上一講，我們介紹了總體、樣本、簡(jiǎn)單隨機(jī)

總體樣本統(tǒng)計(jì)量描述作出推斷研究統(tǒng)計(jì)量的性質(zhì)和評(píng)價(jià)一個(gè)統(tǒng)計(jì)推斷的優(yōu)良性，完全取決于其抽樣分布的性質(zhì).隨機(jī)抽樣

總體樣本統(tǒng)計(jì)量描述作出推斷研究統(tǒng)計(jì)量的性質(zhì)和評(píng)

現(xiàn)在我們來(lái)介紹一類重要的統(tǒng)計(jì)推斷問(wèn)題

參數(shù)估計(jì)問(wèn)題是利用從總體抽樣得到的信息來(lái)估計(jì)總體的某些參數(shù)或者參數(shù)的某些函數(shù).

參數(shù)估計(jì)估計(jì)廢品率估計(jì)新生兒的體重估計(jì)湖中魚(yú)數(shù)……估計(jì)降雨量在參數(shù)估計(jì)問(wèn)題中，假定總體分布形式已知，未知的僅僅是一個(gè)或幾個(gè)參數(shù).

現(xiàn)在我們來(lái)介紹一類重要的統(tǒng)計(jì)推斷問(wèn)題這類問(wèn)題稱為參數(shù)估計(jì).參數(shù)估計(jì)問(wèn)題的一般提法X1,X2,…,Xn要依據(jù)該樣本對(duì)參數(shù)作出估計(jì),或估計(jì)的某個(gè)已知函數(shù).現(xiàn)從該總體抽樣，得樣本

設(shè)有一個(gè)統(tǒng)計(jì)總體,總體的分布函數(shù)為F(x,)，其中為未知參數(shù)(可以是向量).

這類問(wèn)題稱為參數(shù)估計(jì).參數(shù)估計(jì)問(wèn)題的一般提法X1,X2,…,參數(shù)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)參數(shù)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)（假定身高服從正態(tài)分布）設(shè)這5個(gè)數(shù)是:1.651.671.681.781.69

估計(jì)為1.68，這是點(diǎn)估計(jì).這是區(qū)間估計(jì).估計(jì)在區(qū)間[1.57,1.84]內(nèi)，例如我們要估計(jì)某隊(duì)男生的平均身高.

現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個(gè)數(shù)）求出總體均值的估計(jì).而全部信息就由這5個(gè)數(shù)組成.（假定身高服從正態(tài)分布一、點(diǎn)估計(jì)概念隨機(jī)抽查100個(gè)嬰兒,…得100個(gè)體重?cái)?shù)據(jù)10,7,6,6.5,5,5.2,

…呢?據(jù)此,我們應(yīng)如何估計(jì)和而全部信息就由這100個(gè)數(shù)組成.例1

已知某地區(qū)新生嬰兒的體重,未知一、點(diǎn)估計(jì)概念隨機(jī)抽查100個(gè)嬰兒,…得100個(gè)體重?cái)?shù)據(jù)

為估計(jì):我們需要構(gòu)造出適當(dāng)?shù)臉颖镜暮瘮?shù)---統(tǒng)計(jì)量T(X1,X2,…Xn)

，每當(dāng)有了樣本，就代入該函數(shù)中算出一個(gè)值，用來(lái)作為的估計(jì)值.把樣本值代入T(X1,X2,…Xn)中，估計(jì)值

.T(X1,X2Xn,…)

稱為參數(shù)的點(diǎn)估計(jì)量，得到的一個(gè)點(diǎn)為估計(jì):我們需要構(gòu)造出適當(dāng)?shù)臉颖镜暮瘮?shù)---統(tǒng)計(jì)我們知道,若,由大數(shù)定律,自然想到把樣本的平均值作為總體平均值的一個(gè)估計(jì).樣本的平均值則.用樣本體重的均值估計(jì).類似地，用樣本的方差估計(jì).我們知道,若,由大數(shù)定律,自然想到二、尋求估計(jì)量的方法1.矩估計(jì)法2.極大似然法3.最小二乘法4.貝葉斯方法……這里我們主要介紹前面兩種方法.二、尋求估計(jì)量的方法1.矩估計(jì)法2.極大似然法3.最小1.矩估計(jì)法

矩估計(jì)法是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出來(lái)的.由辛欽定理,若總體的數(shù)學(xué)期望有限,則有其中為連續(xù)函數(shù).1.矩估計(jì)法矩估計(jì)法是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾

這表明

,當(dāng)樣本容量很大時(shí),在統(tǒng)計(jì)上,可以用用樣本矩去估計(jì)總體矩.這一事實(shí)導(dǎo)出矩估計(jì)法.定義用樣本原點(diǎn)矩估計(jì)相應(yīng)的總體原點(diǎn)矩,又用樣本原點(diǎn)矩的連續(xù)函數(shù)估計(jì)相應(yīng)的總體原點(diǎn)矩的連續(xù)函數(shù),這種參數(shù)點(diǎn)估計(jì)法稱為矩估計(jì)法

.

理論依據(jù):大數(shù)定律矩估計(jì)法的具體做法如下

設(shè)總體的分布函數(shù)中含有k個(gè)未知參數(shù),那么它的前k階矩,一般這表明,當(dāng)樣本容量很大時(shí),在統(tǒng)計(jì)上都是這k個(gè)參數(shù)的函數(shù),記為：i=1,2,…,k從這k個(gè)方程中解出j=1,2,…,kj=1,2,…,k那么用諸的估計(jì)量Ai分別代替上式中的諸,即可得諸的矩估計(jì)量：矩估計(jì)量的觀察值稱為矩估計(jì)值

.都是這k個(gè)參數(shù)的函數(shù),記為：i=1,2,…,k從這

例2

設(shè)總體X在[a,b]上服從均勻分布,a,b未知.是來(lái)自總體X

的樣本,試求a,b

的矩估計(jì)量.解例2設(shè)總體X在[a,b]上服從均勻分布即解得于是a,b的矩估計(jì)量為樣本矩總體矩即解得于是a,b的矩估計(jì)量為樣本矩總體矩解

例3

設(shè)總體X的均值和方差都存在,未知.是來(lái)自X

的樣本,試求的矩估計(jì)量.解例3設(shè)總體X的均值解得于是的矩估計(jì)量為樣本矩總體矩解得于是的矩估計(jì)量為樣本矩總體矩

矩法的優(yōu)點(diǎn)是簡(jiǎn)單易行,并不需要事先知道總體是什么分布.

缺點(diǎn)是，當(dāng)總體類型已知時(shí)，沒(méi)有充分利用分布提供的信息.一般場(chǎng)合下,矩估計(jì)量不具有唯一性

其主要原因在于建立矩法方程時(shí)，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性.矩法的優(yōu)點(diǎn)是簡(jiǎn)單易行,并不需要事先知道總體稍事休息稍事休息2.最大似然法

它是在總體類型已知條件下使用的一種參數(shù)估計(jì)方法.

它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的.GaussFisher

然而,這個(gè)方法常歸功于英國(guó)統(tǒng)計(jì)學(xué)家費(fèi)歇.

費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).2.最大似然法它是在總體類型已知條件下最大似然法的基本思想

先看一個(gè)簡(jiǎn)單例子：一只野兔從前方竄過(guò).是誰(shuí)打中的呢？

某位同學(xué)與一位獵人一起外出打獵.如果要你推測(cè)，你會(huì)如何想呢?只聽(tīng)一聲槍響，野兔應(yīng)聲倒下.最大似然法的基本思想先看一個(gè)簡(jiǎn)單例子：一只野兔從前方竄

你就會(huì)想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來(lái)這一槍是獵人射中的.

這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.你就會(huì)想，只發(fā)一槍便打中,獵人命中的概率

最大似然估計(jì)原理：

當(dāng)給定樣本X1,X2,…Xn時(shí)，定義似然函數(shù)為：

設(shè)X1,X2,…Xn是取自總體X的一個(gè)樣本，樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合分布律(離散型)為f(x1,x2,…,xn;).f(x1,x2,…,xn;)這里x1,x2,…,xn

是樣本的觀察值.最大似然估計(jì)原理：當(dāng)給定樣本X1,X2,…Xn時(shí)，

似然函數(shù)：

最大似然估計(jì)法就是用使達(dá)到最大值的去估計(jì).稱為的最大似然估計(jì)值.

看作參數(shù)的函數(shù)，它可作為將以多大可能產(chǎn)生樣本值x1,x2,…,xn的一種度量.f(x1,x2,…,xn;)而相應(yīng)的統(tǒng)計(jì)量稱為的最大似然估計(jì)量.似然函數(shù)：最大似然估計(jì)法就是用使兩點(diǎn)說(shuō)明：1、求似然函數(shù)L()的最大值點(diǎn)，可以應(yīng)用微積分中的技巧。由于ln(x)是

x的增函數(shù),lnL()與L()在的同一值處達(dá)到它的最大值，假定是一實(shí)數(shù)，且lnL()是的一個(gè)可微函數(shù)。通過(guò)求解方程：可以得到的MLE.

若是向量，上述方程必須用方程組代替.2、用上述求導(dǎo)方法求參數(shù)的MLE有時(shí)行不通，這時(shí)要用最大似然原則來(lái)求.兩點(diǎn)說(shuō)明：1、求似然函數(shù)L()的

例4

設(shè)總體X~N(),未知.是來(lái)自X

的樣本值,試求的最大似然估計(jì)量.似然函數(shù)為解X的概率密度為例4設(shè)總體X~N(于是令于是令解得的最大似然估計(jì)量為解得的最大似然估計(jì)量為

下面舉例說(shuō)明如何求最大似然估計(jì)

例5

設(shè)一批產(chǎn)品中含有次品,且從中隨機(jī)抽取85件,發(fā)現(xiàn)次品10件.試估計(jì)這批產(chǎn)品的次品率.下面舉例說(shuō)明如何求最大似然估計(jì)例5設(shè)一批產(chǎn)品中含有概率7-1-參數(shù)估計(jì)ppt課件對(duì)數(shù)似然函數(shù)為：對(duì)數(shù)似然函數(shù)為：對(duì)p求導(dǎo)并令其為0，得即為p

的最大似然估計(jì)值

.對(duì)p求導(dǎo)并令其為0，得即為p的最大似然估計(jì)值.(4)在最大值點(diǎn)的表達(dá)式中,用樣本值代入就得參數(shù)的最大似然估計(jì)值

.求最大似然估計(jì)(MLE)的一般步驟是：(1)由總體分布導(dǎo)出樣本的聯(lián)合分布率(或聯(lián)合密度);(2)把樣本聯(lián)合分布率(或聯(lián)合密度)中自變量看成已知常數(shù),而把參數(shù)看作自變量,得到似然

函數(shù)L();

(3)求似然函數(shù)L()的最大值點(diǎn)(常常轉(zhuǎn)化為求lnL()的最大值點(diǎn))，即

的MLE;(4)在最大值點(diǎn)的表達(dá)式中,用樣本值代入解：似然函數(shù)為例7

設(shè)X1,X2,…Xn是取自總體X的一個(gè)樣本其中>0,求的最大似然估計(jì).i=1,2,…,n解：似然函數(shù)為例7設(shè)X1,X2,…Xn是取自總體X的一個(gè)樣對(duì)數(shù)似然函數(shù)為解：似然函數(shù)為i=1,2,…,n對(duì)數(shù)似然函數(shù)為解：似然函數(shù)為i=1,2,…,n=0(2)由(1)得=0(1)對(duì)分別求偏導(dǎo)并令其為0,對(duì)數(shù)似然函數(shù)為用求導(dǎo)方法無(wú)法最終確定用最大似然原則來(lái)求.=0(2)由(1)得=0對(duì)是故使達(dá)到最大的即的MLE于是

取其它值時(shí)，即為的MLE.且是的增函數(shù)對(duì)是故使達(dá)到最大的

第二次捕出的有記號(hào)的魚(yú)數(shù)X是r.v,X具有超幾何分布：

為了估計(jì)湖中的魚(yú)數(shù)N，第一次捕上r條魚(yú)，做上記號(hào)后放回.隔一段時(shí)間后,再捕出S

條魚(yú)

,結(jié)果發(fā)現(xiàn)這S條魚(yú)中有k條標(biāo)有記號(hào).根據(jù)這個(gè)信息，如何估計(jì)湖中的魚(yú)數(shù)呢？最后，我們用最大似然法估計(jì)湖中的魚(yú)數(shù)第二次捕出的有記號(hào)的魚(yú)數(shù)X是r.v,X具應(yīng)取使L(N;k)達(dá)到最大的N，作為N的極大似然估計(jì).但用對(duì)N求導(dǎo)的方法相當(dāng)困難,我們考慮比值：把上式右端看作N的函數(shù)，記作L(N;k).經(jīng)過(guò)簡(jiǎn)單的計(jì)算知，這個(gè)比值大于或小于1，或而定.由應(yīng)取使L(N;k)達(dá)到最大的N，作為N的極大似然估計(jì).但經(jīng)過(guò)簡(jiǎn)單的計(jì)算知，這個(gè)比值大于或小于1，或而定.由

這就是說(shuō)，當(dāng)N增大時(shí)，序列P(X=k;N)先是上升而后下降;當(dāng)N為小于的最大整數(shù)時(shí),達(dá)到最大值.故N的極大似然估計(jì)為經(jīng)過(guò)簡(jiǎn)單的計(jì)算知，這個(gè)比值大于或小于1，或而定.由這就三、課堂練習(xí)

例1

設(shè)總體X的概率密度為其中是未知參數(shù),X1,X2,…,Xn是取自X的樣本,求參數(shù)的矩估計(jì).三、課堂練習(xí)例1設(shè)總體X的概率密度為其中解樣本矩總體矩解得的矩估計(jì)量為故解樣本矩總體矩解得的