統(tǒng)計模型檢驗與評價

4.3統(tǒng)計模型檢驗與評價

基于數(shù)據(jù)用統(tǒng)計方法建立經(jīng)驗回歸模型,做了以下工作：一、模型檢驗的必要性

1）借助于數(shù)據(jù)散布圖的直觀形象,

選擇一個函數(shù)來近似變量之間的相關關系；

2）用最小二乘法求經(jīng)驗模型中參數(shù)的最佳估計.

問題：如何評價此建模方法？

分析：若兩個隨機變量X、Y間存在相關關系,設其回歸函數(shù)為

y=μ(x).

客觀存在相當于做假設,令

這種假設主觀性太強,是否合理必須經(jīng)過檢驗.

選擇一個函數(shù)

f(x)

作為y=μ(x)的估計函數(shù).

主觀設定續(xù)例1.7.5

p141非線性交調的頻率設計(1993全國大學生數(shù)學模型聯(lián)賽題).得到系統(tǒng)輸入輸出的兩個經(jīng)驗關系式為

考慮到輸入輸出關系的物理背景（這一點在處理實際問題時尤需重視）可以判斷第二式更為合理.需對兩個不同模型進行評價和合理性檢驗.

一般更需要用一定的方法對模型進行檢驗和評價,選擇更“合理”的模型.

本節(jié)主要介紹多元線性回歸模型的評價和檢驗方法.

選擇下線性回歸模型描述因變量Y與自變量X1，X2，...XP的關系有以下問題值得思考:1)因變量Y與可控變量X1，X2，...XP是否確有線性相關關系?是否顯著?

2)是否所有回歸系數(shù)都不為零?3)回歸方程中,設定的可控變量的個數(shù)及相應變量是否合理?回歸系數(shù)的顯著性檢驗回歸方程的顯著性檢驗“最優(yōu)”回歸方程的選擇

二、

回歸方程的顯著性檢驗根據(jù)數(shù)據(jù)建立線性經(jīng)驗數(shù)學模型

形式地估計回歸系數(shù)并建立經(jīng)驗線性回歸方程無實際意義.問題:

1.變量之間是否存在線性相關關系？

2.上述方程對樣本數(shù)據(jù)的代表程度如何？

身高h和體重m無明顯的線性相關關系.模型對數(shù)據(jù)的代表程度不夠需做兩方面的檢驗工作：

1.評價方程對樣本數(shù)據(jù)的代表程度；

2.檢驗變量之間的線性關系是否顯著.

以分析一元線性回歸模型入手.1.線性關系檢驗1)相關系數(shù)檢驗法2.方差分析法已學一元經(jīng)驗線性回歸模型取定可控變量X的一組值x1，x2，…，xN,對Y做獨立n次觀察(試驗),其觀察值為記作為yi，(i=1，2，…，N)的估計值.

1)自變量X的不同取值致使因變量Y產(chǎn)生的變化;2)其它因素（包括試驗誤差）的影響.關心哪一個方面的影響占主導.描述了觀察值相對數(shù)據(jù)平均值的離散程度.總偏差平方和分解總偏差平方和

回歸平方和

反映在線性回歸方程中由自變量X值的變化致使因變量Y變化的差異程度.殘差平方和

反映試驗誤差和其它因素對試驗結果的影響程度.

對于正態(tài)線性回歸模型若滿足回歸假定.即對X的不同取值,獨立試驗結果的殘量

回歸平方和QR表征了自變量X的重要程度1）

相互獨立；2）具有相同分布：～N(0,σ2).相應統(tǒng)計量并且相互獨立.檢驗假設若H0成立，則由F分布定理知統(tǒng)計量

若X與Y之間存在線性相關關系，回歸方程中應有b≠0.QR的值越大，統(tǒng)計量F的值越大,說明X對Y的影響程度越高

.給定的顯著性水平α，H0：b=0的拒絕域為其中

若拒絕H0，稱線性回歸方程是顯著的，或稱X與Y的線性相關關系顯著.類似地,檢驗多元（經(jīng)驗）線性回歸方程線性關系是否顯著,需檢驗

若H0成立，即有多元線性回歸模型中β的每一分量均為零，則Y與之間無顯著的線性相關關系.仍將總偏差平方和分解為若H0成立，統(tǒng)計量若算得F的統(tǒng)計值f使在顯著性水平下，可認為方程有顯著意義.續(xù)例1.7.5非線性交調的頻率設計(1993年全國大學生數(shù)學模型聯(lián)賽題).進行檢驗有

對經(jīng)驗回歸方程表明所建立的經(jīng)驗輸入輸出關系式是顯著的.

三、

回歸系數(shù)的顯著性檢驗

通過了回歸方程的顯著性檢驗,說明因變量和可控變量之間的回歸關系顯著,并且回歸函數(shù)的形式明顯.思考1)得到回歸系數(shù)不全為零的結論，能否說明所有的回歸系數(shù)都不為零;2）每個可控變量對Y的影響程度是否同等重要.在例1.7.5考慮進非零輸入項的經(jīng)驗回歸模型經(jīng)檢驗也是顯著的.

應建立只包含對因變量影響顯著的自變量的回歸方程.

回歸系數(shù)的大小反映了各個變量因素對Y的影響程度.

若變量Xj對Y的線性影響不顯著,則正態(tài)線性回歸模型中應有βj等于零或很接近于零.有必要對各回歸系數(shù)本身進行檢驗.檢驗Xj對Y有無顯著的線性影響,相當于檢驗假設

正態(tài)多元線性回歸模型的最小二乘估計向量b的每一分量bj都服從正態(tài)分布，且E(bj)=βj,,(j=1,2,…,P),其中cjj是相關矩陣的第j個對角元素，故若成立,則從而又因bj與殘差平方和QE相互獨立，由F定理有

對給定顯著性水平α,由樣本值算得Fj的統(tǒng)計值fj,

檢驗準則為若,則拒絕H0,可以認為Xj對Y的線性影響顯著.四、“最優(yōu)”回歸模型的選擇

應用中總希望用“最優(yōu)”的線性回歸方程來描述變量間的線性相關關系.最優(yōu)思想：1）模型中應包含所有對因變量Y有顯著影響的自變量；2）方程中所包含的自變量個數(shù)盡可能少.

通過回歸系數(shù)顯著性檢驗,已判斷出原回歸方程若中不顯著的自變量問題：能否從方程中將它們其剔除了之?

如檢驗出xi的線性相關性不顯著,去掉xi后的方程是否為“最優(yōu)”回歸方程？答案：否定！

回歸系數(shù)的最小二乘估計b0,b1,…,bP相互之間存在相關性.從原經(jīng)驗方程剔除一個可控變量時，其它自變量的回歸系數(shù)就會發(fā)生改變.

應從余下的P－1個自變量

著手,重新估計出回歸系數(shù),得到新的回歸方程一般引進偏回歸平方和的概念總偏差平方和分解式回歸平方和反映了所有自變量對Y波動的總貢獻.

在模型中去掉某個自變量，回歸平方和值將減小，且減小的數(shù)值越大,說明該自變量在回歸模型中的作用越大.為自變量xi的偏回歸平方和

.反映xi對Y的波動的貢獻其中是由自變量中x1,x2,,…,xP掉xi所得的回歸平方和.可用自變量的偏回歸平方和的大小來衡量在一組自變量中的重要程度.將各自變量的偏回歸平方和作為評價指標，按一定的優(yōu)化原則剔除或引進自變量，

選擇“最優(yōu)”回歸模型.1)淘汰法（向后法、下降法)2)納新法（向前法、上升法）常用方法有:3)逐步回歸法（吐故納新法）以及前兩種方法的綜合與改進五、

數(shù)據(jù)殘差圖分析

是檢驗回歸方程擬合優(yōu)度的一個簡單有效的方法.數(shù)據(jù)殘差圖分析原理一元線性回歸模型獨立試驗結果:滿足回歸假定1）

相互獨立；2）具有相同分布：～N(0,σ2).設Y對應于的N個觀測值為作為yi，(i=1,2,…,n)的估計值,其中分別為a和b的估計.稱為標準化殘差.定義

稱為殘差注1

ei，i=1,2,…,n是

,i=1,2,…,N的樣本值.

注2

可用作為σ的估計,仍記

由于,i=1,2,…,n相互獨立,并且～N(0,σ2)有95.45%的把握e*的值在(一2,2)區(qū)間內(nèi)變動.以e*為縱坐標，xi為橫坐標,將數(shù)據(jù)（xi，e*），i=1,2,…,n繪在平面圖內(nèi)，所得圖形稱為標準化殘差圖.

分析數(shù)據(jù)殘差圖,若數(shù)據(jù)點（xi，e*），i=1,2,…,n在(一2，2)區(qū)間內(nèi)隨機散布,說明回歸方程的擬合是良好的.xiei*例6.5.1生產(chǎn)費用與產(chǎn)量擬合優(yōu)度分析

隨機抽取了某一類企業(yè)中的10個企業(yè),調查了它們的產(chǎn)量和生產(chǎn)費用情況,取得數(shù)據(jù)如下表：

企業(yè)編號12345678910產(chǎn)量(千個)X40424855657988100120140生產(chǎn)費用(千元)Y150140160170150162185165190185建立經(jīng)驗回歸方程為

計算出標準化殘差(見P170表7.9),繪制生產(chǎn)費用的標準化殘差圖(圖7.11).圖中標準化殘差e*在橫軸上下隨機散布,且位于（一2，2）區(qū)間內(nèi),可以認為方程對數(shù)據(jù)的擬合是良好的.

例6.5.2

試分析講義P175圖7.10的四副標準化殘差圖.1.圖（a）全部數(shù)據(jù)都在(－2,2)區(qū)間內(nèi),且隨機散布,說明方程對數(shù)據(jù)的擬合是良好的.2.圖（b）中有較多數(shù)據(jù)落在(－2,2)區(qū)間的外面,這說明方程對數(shù)據(jù)的擬合不充分.可能是由于方程的形式選擇不恰當.

通過分析標準化殘差圖可以得到更多信息，可以分析出回歸方程的回歸假定的滿足情況.

*1圖(c)中殘差出現(xiàn)系統(tǒng)變動的趨勢；

表明關于,i=1,2,…,n

的等方差假定不滿足；

*2圖(d)中殘差值e*,i=1,2,…,n

有相依關系；說明關于,i=1,2,…,n的獨立性假定不滿足.

對殘差圖做進一步分析：是評價回歸方程擬合優(yōu)度的一個指標.

可證明

0≤r2≤1且

r2的值越大說明方程對數(shù)據(jù)的擬合度越高.?2）計算測定系數(shù)(確定系數(shù)、