5.2 參數(shù)的最大似然估計(jì)與矩估計(jì)課件

§5

2參數(shù)的最大似然估計(jì)與矩估計(jì)

一、最大似然估計(jì)二、矩估計(jì)5.2參數(shù)的最大似然估計(jì)與矩估計(jì)一、最大似然估計(jì)1

最大似然法的基本思想

在已經(jīng)得到試驗(yàn)結(jié)果的情況下

我們應(yīng)該尋找使這個(gè)結(jié)果出現(xiàn)的可能性最大的那個(gè)

作為真

的估計(jì)

5.2參數(shù)的最大似然估計(jì)與矩估計(jì)一、最大似然估計(jì)1

最大似然法的基本思想

若X為離散型隨機(jī)變量

其概率分布的形式為

P{X

x}

p(x

)

則樣本(X1

Xn)的概率分布稱為似然函數(shù)

設(shè)(X1

Xn)為來(lái)自總體X的樣本

X的分布類型已知

但參數(shù)

未知

Θ

似然函數(shù)L(

)的值表示(X1

Xn)取值(x1

xn)的可能性的大小

5.2參數(shù)的最大似然估計(jì)與矩估計(jì)一、最大似然估計(jì)1

最大似然法的基本思想

設(shè)(X1

Xn)為來(lái)自總體X的樣本

X的分布類型已知

但參數(shù)

未知

Θ

若已經(jīng)得到了樣本值(x1

xn)

那該樣本值出現(xiàn)的可能性應(yīng)該是大的

因而我們選擇使L(

)達(dá)到最大值的那個(gè)

作為真

的估計(jì)

稱為似然函數(shù)

若X為連續(xù)型隨機(jī)變量

其密度函數(shù)為f(x

)

則樣本(X1

Xn)的密度函數(shù)5.2參數(shù)的最大似然估計(jì)與矩估計(jì)定義5

4(最大似然估計(jì))

若對(duì)任意給定的樣本值(x1

xn)

存在

*

*(x1

xn)

使則稱

*(x1

xn)為

的最大似然估計(jì)值

稱相應(yīng)的統(tǒng)計(jì)量

*(X1

Xn)為

的最大似然估計(jì)量

它們統(tǒng)稱為

的最大似然估計(jì)

可簡(jiǎn)記為MLE

maximumlikelihoodestimate5.2參數(shù)的最大似然估計(jì)與矩估計(jì)2

最大似然估計(jì)的一般求法

當(dāng)似然函數(shù)關(guān)于未知參數(shù)可微時(shí)

一般可通過(guò)求導(dǎo)數(shù)得到MLE

其主要步驟是

(1)寫(xiě)出似然函數(shù)(

1

r)

(3)判斷駐點(diǎn)為最大值點(diǎn)

(4)求得各參數(shù)的MLE

說(shuō)明

按照本課程的要求

當(dāng)似然函數(shù)的駐點(diǎn)惟一時(shí)

不必驗(yàn)證該駐點(diǎn)是否為最大值點(diǎn)

可直接把駐點(diǎn)作為所求參數(shù)的最大似然估計(jì)

5.2參數(shù)的最大似然估計(jì)與矩估計(jì)

例5

7

設(shè)總體X~N(

2)

與

2均未知

∞<

<

∞

2

0

(X1

Xn)為來(lái)自X的樣本

(x1

xn)為樣本值

試求

與

2的最大似然估計(jì)

解

X的密度為似然函數(shù)為5.2參數(shù)的最大似然估計(jì)與矩估計(jì)

例5

7

設(shè)總體X~N(

2)

與

2均未知

∞<

<

∞

2

0

(X1

Xn)為來(lái)自X的樣本

(x1

xn)為樣本值

試求

與

2的最大似然估計(jì)

解

似然函數(shù)為似然函數(shù)的駐點(diǎn)為別為

與

2的最大似然估計(jì)值

5.2參數(shù)的最大似然估計(jì)與矩估計(jì)最大似然估計(jì)的不變性

解5.2參數(shù)的最大似然估計(jì)與矩估計(jì)5.2參數(shù)的最大似然估計(jì)與矩估計(jì)

例5

8

設(shè)某種型號(hào)的電子元件的壽命X(以小時(shí)計(jì))的密168

130

169

143

174

198

108

212

252

平均壽命以及概率P{X

180}的最大似然估計(jì)值

先求平均壽命EX即

的最大似然估計(jì)量

解

似然函數(shù)為5.2參數(shù)的最大似然估計(jì)與矩估計(jì)

例5

8

設(shè)某種型號(hào)的電子元件的壽命X(以小時(shí)計(jì))的密168

130

169

143

174

198

108

212

252

平均壽命以及概率P{X

180}的最大似然估計(jì)值

先求平均壽命EX即

的最大似然估計(jì)量

解

似然函數(shù)為5.2參數(shù)的最大似然估計(jì)與矩估計(jì)

解

例5

8

設(shè)某種型號(hào)的電子元件的壽命X(以小時(shí)計(jì))的密168

130

169

143

174

198

108

212

252

平均壽命以及概率P{X

180}的最大似然估計(jì)值

5.2參數(shù)的最大似然估計(jì)與矩估計(jì)解似然函數(shù)對(duì)數(shù)似然函數(shù)5.2參數(shù)的最大似然估計(jì)與矩估計(jì)5.2參數(shù)的最大似然估計(jì)與矩估計(jì)二、矩估計(jì)1

矩法的基本思想

用相應(yīng)的樣本矩去估計(jì)總體矩

用相應(yīng)的樣本矩的函數(shù)去估計(jì)總體矩的函數(shù)

例如5.2參數(shù)的最大似然估計(jì)與矩估計(jì)二、矩估計(jì)1

矩法的基本思想

一般地

若記則總體的k階原點(diǎn)矩用相應(yīng)的樣本k階原點(diǎn)矩來(lái)估計(jì)

而總體的k階中心矩用相應(yīng)的樣本k階中心矩來(lái)估計(jì)

即這種求點(diǎn)估計(jì)的方法叫做矩法

用矩法確定的估計(jì)量稱為矩估計(jì)量

相應(yīng)的估計(jì)值稱為矩估計(jì)值

矩估計(jì)量與矩估計(jì)值統(tǒng)稱為矩估計(jì)

可簡(jiǎn)記為ME

5.2參數(shù)的最大似然估計(jì)與矩估計(jì)2

矩估計(jì)的求法

按照矩法的基本思想求矩估計(jì)的一般步驟為

(1)從總體矩入手將待估參數(shù)

表示為總體矩的函數(shù)

即

g(

1

l

2

s)(2)用Ak

Bk分別替換g中的

k

k

5.2參數(shù)的最大似然估計(jì)與矩估計(jì)

例5

9

設(shè)總體X~N(

2)

(X1

Xn)為取自總體X的樣本

試求

2的矩估計(jì)量

解

EX

2

DX

故分別為

與

2的矩估計(jì)量

由此可見(jiàn)

正態(tài)總體N(

2)中

與

2的最大似然估計(jì)和矩估計(jì)是完全一樣的

5.2參數(shù)的最大似然估計(jì)與矩估計(jì)

例5.10

設(shè)總體X服從參數(shù)為m

p的二項(xiàng)分布

m已知

p未知

(X

Xn)為其樣本

試求

(1)p的矩估計(jì)量

(2)p與q之比的矩估計(jì)量

其中q

1

p

解

矩估計(jì)量

5.2參數(shù)的最大似然估計(jì)與矩估計(jì)

例5

11

設(shè)總體X的密度函數(shù)為其中參數(shù)

均未知

0

(X1

Xn)為取自X的樣本

試求

的矩估計(jì)量

解計(jì)算得到5.2參數(shù)的最大似然估計(jì)與