《統(tǒng)計(jì)計(jì)算及統(tǒng)計(jì)軟件》課件ch3

第三章參數(shù)估計(jì)

3.1點(diǎn)估計(jì)

3.2評(píng)價(jià)標(biāo)準(zhǔn) 3.3區(qū)間估計(jì)概述 3.4正態(tài)總體區(qū)間估計(jì) 3.5非正態(tài)總體區(qū)間估計(jì) 3.6Bootstrap區(qū)間估計(jì)

方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

方法篇：參數(shù)估計(jì)(第三章）在上述背景下，所作的估計(jì)，就是所謂的參數(shù)估計(jì)。第三章參數(shù)估計(jì)

3.1點(diǎn)估計(jì)—矩估計(jì)[K.Pearson,1894]

統(tǒng)計(jì)思想涵蓋以下3點(diǎn)： (1)總體矩通常是未知參數(shù)的函數(shù) (2)大數(shù)定律可知，樣本矩依概率收斂于總體矩 (3)聯(lián)立可構(gòu)造近似方程組，并可求解

例1：

方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.1點(diǎn)估計(jì)—矩估計(jì)

單參數(shù)通用模式：

雙參數(shù)通用模式：

多參數(shù)通用模式：方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.1點(diǎn)估計(jì)—矩估計(jì)

例2:設(shè)總體X~U(0,A),A>0未知，求A的矩估計(jì)量若樣本觀測(cè)值分別為1,2,9,8和1,2,13,8,則A的矩估計(jì)值分別是多少?

思考幾個(gè)問題[1]： (1)矩估計(jì)的邊界矛盾 (2)矩估計(jì)的唯一性 (3)矩估計(jì)的存在性 (4)矩估計(jì)的評(píng)價(jià)

方法篇：參數(shù)估計(jì)(第三章）[1]王宗堯,姜紅燕,朱洪波.矩估計(jì)法的若干問題討論[J],菏澤學(xué)院學(xué)報(bào),2013,35(2):10-12第三章參數(shù)估計(jì)

3.1點(diǎn)估計(jì)—矩估計(jì)

例2的實(shí)驗(yàn)?zāi)M。#關(guān)于矩估計(jì)邊界問題的模擬，A是其上界，但是估計(jì)經(jīng)常超出AA=10;times=100;n=30moments=numeric(times)for(iin1:times){x=runif(n,0,A);moments[i]=2*mean(x)}plot(1:times,moments,type='o',col='red');abline(h=A)方法篇：參數(shù)估計(jì)(第三章）[1]王宗堯,姜紅燕,朱洪波.矩估計(jì)法的若干問題討論[J],菏澤學(xué)院學(xué)報(bào),2013,35(2):10-12第三章參數(shù)估計(jì)

3.1點(diǎn)估計(jì)—極大似然估計(jì)[R.A.Fisher1912]

一種理論性和實(shí)踐性都非常強(qiáng)的估計(jì)方法，歷經(jīng)百年而不衰！

基本思想在于： (1)若事件發(fā)生的概率越大則在現(xiàn)實(shí)中越有可能發(fā)生 (2)不同取值的未知參數(shù)對(duì)應(yīng)事件發(fā)生的概率也不盡相同 (3)通過最優(yōu)化或邊界分析能得到使得事件發(fā)生概率達(dá)到最大的參數(shù)值方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.1點(diǎn)估計(jì)—極大似然估計(jì)[R.A.Fisher1912]

首先有搞清楚研究的事件是什么？

其次這個(gè)事件的概率如何表達(dá)？

方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.1點(diǎn)估計(jì)—極大似然估計(jì)[R.A.Fisher1912]

明確優(yōu)化的由來：樣本值一旦觀測(cè)就固定,且鄰域dx也是固定的,只有未知參數(shù)是可變的，所以有：

最后：如何計(jì)算得到滿足上式的未知參數(shù)值？

對(duì)數(shù)化：變連乘為累加極值偏導(dǎo)方程組聯(lián)立求解

若無解,則到邊界分析取得最優(yōu)值.方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.1點(diǎn)估計(jì)—極大似然估計(jì)[R.A.Fisher1912]

例3:

方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.1點(diǎn)估計(jì)—極大似然估計(jì)[R.A.Fisher1912]

例4(對(duì)例2)設(shè)總體X~U(0,A),A>0未知，求A的極大似然估計(jì)量若樣本觀測(cè)值分別為1,2,9,8和1,2,13,8,則A的估計(jì)值分別是多少?

解：

此時(shí)，需分析邊界：，使L(A)最大，則只有取方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.1點(diǎn)估計(jì)—極大似然估計(jì)[R.A.Fisher1912]

例5:

方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.1點(diǎn)估計(jì)—極大似然估計(jì)[R.A.Fisher1912]R求數(shù)值解：x=rcauchy(200,1)#產(chǎn)生隨機(jī)樣本做測(cè)試，其中參數(shù)為1likely=function(mu,x)sum(log(1+(x-mu)^2))#轉(zhuǎn)化成極小值函數(shù)optimize(likely,c(0,4),x=x) -----------------------------$minimum[1]1.036259#參數(shù)的估計(jì)$objective[1]259.6061#目標(biāo)函數(shù)值方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.1點(diǎn)估計(jì)—小結(jié) (1)方法多樣性:矩估計(jì)，極大似然估計(jì)； (2)各有優(yōu)缺點(diǎn)，

矩：簡(jiǎn)單、不唯一、低階無效則取高階、越界等；

極：需密度函數(shù)，必有唯一解，更符合實(shí)際；

(3)誰更好？？？？方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.2評(píng)價(jià)標(biāo)準(zhǔn)

評(píng)價(jià)一個(gè)估計(jì)量的好壞必須建立在以大量觀測(cè)為基礎(chǔ)的統(tǒng)計(jì)分析上。估計(jì)量是隨機(jī)變量，參數(shù)是未知的常數(shù)。

定義偏差:

顯然偏差也是一個(gè)隨機(jī)變量，從統(tǒng)計(jì)意義上分析，實(shí)際上就是計(jì)算與偏差有關(guān)的數(shù)字特征，從特征角度來評(píng)價(jià)估計(jì)量的優(yōu)劣。

方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.2評(píng)價(jià)標(biāo)準(zhǔn) (1)無偏性 (2)無偏前提下的有效性方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.2評(píng)價(jià)標(biāo)準(zhǔn) (3)均方誤差{無偏有偏均可}

顯然若是無偏，則均方誤差評(píng)價(jià)就退化為有效性評(píng)價(jià)。方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.2評(píng)價(jià)標(biāo)準(zhǔn) (4)一致(相合)性

一致性給出了樣本容量n對(duì)估計(jì)的影響表述，即隨著樣本容量n的增大，估計(jì)量應(yīng)該呈現(xiàn)出穩(wěn)定于待估參數(shù)的趨勢(shì)特性。方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.2評(píng)價(jià)標(biāo)準(zhǔn)

理論/實(shí)驗(yàn)論證：

實(shí)驗(yàn)：以正態(tài)分布N(70,16)為總體，估計(jì)量構(gòu)造如下

設(shè)計(jì)：某個(gè)總體，抽樣作100次，每次容量由100增到10000，上述4個(gè)統(tǒng)計(jì)量各自計(jì)算了100次，繪制成圖作直觀對(duì)比。

方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.2評(píng)價(jià)標(biāo)準(zhǔn)times=100;n=seq(10,2000,length=times)mat=matrix(0,nrow=times,ncol=4)for(iin1:times){x=rnorm(n[i],70,4)mat[i,1]=mean(x);mat[i,2]=(x[1]+x[n[i]])/2;mat[i,3]=(min(x)+max(x))/2;mat[i,4]=median(x)}matplot(mat,type='l',col=1:4)legend(70,66,c("mean","mid","half","median"),lty=1:4,col=1:4)方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.3區(qū)間估計(jì)概述

點(diǎn)估計(jì)給出參數(shù)值的估計(jì),但無法給出取該值的可信度,這在實(shí)際應(yīng)用中是有缺陷的.為此，提出區(qū)間估計(jì)這種方法,它既給出參數(shù)的值的估計(jì)又能給出精度、可信度的表達(dá)。

形式上,對(duì)于給定的可信度(置信度),尋找參數(shù)的一對(duì)估計(jì)區(qū)間，使得該區(qū)間包含的概率為

方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.3區(qū)間估計(jì)概述

這是一個(gè)隨機(jī)區(qū)間，因此需要基于統(tǒng)計(jì)意義對(duì)其加以說明。 (1)希望越短越好，因?yàn)樗硎玖斯烙?jì)的精度； (2)希望越大越好，因?yàn)樗硎玖斯烙?jì)的可信度。

但是，這兩個(gè)需求是矛盾的，可信度越大必然導(dǎo)致區(qū)間長(zhǎng)度變大。因此只能先確定一個(gè)要求，去優(yōu)化另一個(gè)要求。方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.3區(qū)間估計(jì)概述

通常先確定置信度，進(jìn)而尋求最短的區(qū)間長(zhǎng)度。這個(gè)理論和方法最早是由J.Neyman,1934年引入的。

此時(shí)稱為參數(shù)關(guān)于置信度的雙側(cè)置信區(qū)間，稱為置信下限，稱為置信上限。

實(shí)際問題中，有時(shí)候更關(guān)心參數(shù)的上限或下限，若滿足

則稱或

為單側(cè)置信區(qū)間

。方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

3.3區(qū)間估計(jì)概述

通用的求解過程： (1)在參數(shù)的點(diǎn)估計(jì)的基礎(chǔ)上構(gòu)造含參數(shù)但不含其他任何未知信息的樣本函數(shù)T，使其服從完全已知的分布。{最具創(chuàng)意部分} (2)將

正因?yàn)門的分布已知，所以a,b可以確定，通常由雙側(cè)分位點(diǎn)取代。若是單側(cè)區(qū)間估計(jì)則由單側(cè)的分位點(diǎn)取代。{考驗(yàn)推導(dǎo)能力}方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì) 3.4正態(tài)總體區(qū)間估計(jì)

單正態(tài)總體只有兩個(gè)參數(shù)，因此關(guān)于它們的區(qū)間估計(jì)可歸結(jié)為： (1)方差已知,期望的區(qū)間估計(jì)(2)方差未知,期望的區(qū)間估計(jì) (3)期望已知,方差的區(qū)間估計(jì)(4)期望未知,方差的區(qū)間估計(jì)

雙正態(tài)總體有四個(gè)參數(shù)，因此關(guān)于它們的區(qū)間估計(jì)可歸結(jié)為： (5)方差均已知期望差的區(qū)間估計(jì)(6)方差均未知(相等)期望差的區(qū)間估計(jì) (7)方差均未知(不等)期望差的區(qū)間估計(jì) (8)方差均未知(樣本量較大)期望差的區(qū)間估計(jì) (9)均值均已知方差比的區(qū)間估計(jì)(10)均值均未知方差比的區(qū)間估計(jì)方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì) 3.4正態(tài)總體區(qū)間估計(jì) (2)方差未知,期望的區(qū)間估計(jì)方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì) 3.4正態(tài)總體區(qū)間估計(jì) (10)均值均未知方差比的區(qū)間估計(jì)方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì) 3.5非正態(tài)總體區(qū)間估計(jì)

思路是一樣的，關(guān)鍵在于構(gòu)造含參函數(shù)使之服從已知分布！ (1)指數(shù)分布參數(shù)的區(qū)間估計(jì)

方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì) 3.5非正態(tài)總體區(qū)間估計(jì)

有時(shí)候可以利用中心極限定理來近似解決區(qū)間估計(jì)！ (2)0-1分布參數(shù)的區(qū)間估計(jì)

方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

參數(shù)型區(qū)間估計(jì)通常都需要推導(dǎo)一個(gè)“樞軸統(tǒng)計(jì)量”來完成，要么精確要么近似服從某一已知分布。請(qǐng)完成以下問題：

有一樣本觀測(cè)值如下：50.20090,51.21600,51.77013,50.75797,50.96502,49.74111,50.75257,49.30683,49.86755,49.52322.樣本容量=10，

問：均值的置信度為95%的區(qū)間估計(jì)？方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì) 3.6Bootstrap區(qū)間估計(jì)

基本思想：通過重復(fù)的子樣本，計(jì)算待估參數(shù)或特征的值，再對(duì)值進(jìn)行排序，然后根據(jù)區(qū)間估計(jì)的取法，得到分界點(diǎn)作為估計(jì)。假設(shè)估計(jì)參數(shù)或特征的統(tǒng)計(jì)量為 (1)由樣本

生成子樣本 (2)計(jì)算統(tǒng)計(jì)量值 (3)對(duì) (4)依據(jù)方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)

實(shí)驗(yàn)探討： (1)均方誤差的bootstrap方法實(shí)現(xiàn) (2)正態(tài)總體參數(shù)的估計(jì)法與bootstrap法的比較 (3)非正態(tài)總體參數(shù)的估計(jì)法與bootstrap法的比較 (4)未知總體分布的特征的估計(jì)方法比較方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì) 3.6Bootstrap區(qū)間估計(jì) (1)均方誤差的bootstrap方法實(shí)現(xiàn)

均方誤差：需要知道參數(shù)的值才能準(zhǔn)確估計(jì)，但參數(shù)的真值通常是未知的。以什么來代替參數(shù)的值是個(gè)問題，如何計(jì)算出均方誤差的估計(jì)也是個(gè)問題。

通常的做法：假設(shè)參數(shù)的估計(jì)量為，代入樣本觀測(cè)值得到的函數(shù)值作為參數(shù)的真值替代。以眾多自助樣本得到的估計(jì)與的偏差平方的平均來估計(jì)均方誤差。方法篇：參數(shù)估計(jì)(第三章）第三章參數(shù)估計(jì)(1)均方誤差的bootstrap方法實(shí)現(xiàn)

以N(70,16)的期望為參數(shù)，求均方誤差的bootstrap估計(jì),并與真實(shí)結(jié)果比較。getmse=function(n,mu,xigma,times=1000){x=rnorm(n,mu,xigma);mu0=mean(x)mus=numeric(times)for(iin1:times)mus[i]=mean(sample(x,n,replace=TRUE))boot.mse=mean((mus-mu0)^2);real.mse=xigma^2/nc(boot.mse=boot.mse,real.mse=real.mse)}sapply(c(20,50,100),getmse,mu=70,xigma=4)方法篇：參數(shù)估計(jì)(第三章）[,1][,2][,3]boot.mse0.78460680.28766330.1536183real.mse0.80000000.32000000.1600000第三章參數(shù)估計(jì)(2)正態(tài)總體參數(shù)的估計(jì)法與bootstrap法的比較-方差區(qū)間估計(jì)erval=function(x,conf.level=0.95,times=10000){s2=var(x);n=length(x)ch1=qchisq((1-conf.level)/