實用回歸分析課件-(殘差與殘差圖)

5.1殘差與殘差圖一、殘差概念與殘差圖

殘差

誤差項

殘差ei是誤差項ei的估計值。5.1殘差與殘差圖一、殘差概念與殘差圖

****一般認為，如果一個回歸模型滿足所給出的基本假定，所有殘差應(yīng)在e=0附近隨機變化，并在變化幅度不大的一條帶子內(nèi).****如果殘差都落在變化幅度不大一條帶子內(nèi)，也就可以說明回歸模型滿足基本假設(shè).5.1殘差與殘差圖一、殘差概念與殘差圖

****y觀測值的方差并非相同，隨x增加而增加.【消除異方差】5.1殘差與殘差圖一、殘差概念與殘差圖

****y與x之間并非線性關(guān)系.可能y與x是曲線關(guān)系可能y存在自相關(guān)5.1殘差與殘差圖一、殘差概念與殘差圖

****蛛網(wǎng)現(xiàn)象(y具有自相關(guān))5.2殘差的性質(zhì)一、殘差的性質(zhì)

性質(zhì)1E(ei)=0

證明:5.2殘差的性質(zhì)一、殘差的性質(zhì)

性質(zhì)2稱為杠桿值

5.2殘差的性質(zhì)一、殘差的性質(zhì)

性質(zhì)3.

殘差滿足約束條件:5.2殘差的性質(zhì)二、改進的殘差

5.3異常值與強影響值異常值分為兩種情況：一種是關(guān)于因變量y異常；另一種是關(guān)于自變量x異常。5.3異常值與強影響值一、關(guān)于因變量y的異常值標準化殘差學(xué)生化殘差存在y的異常觀測值，普通/標準化/學(xué)生化殘差都不適用5.3異常值與強影響值5.3異常值與強影響值可以證明：5.3異常值與強影響值5.3異常值與強影響值二、關(guān)于自變量x的異常值回歸的杠桿值hii也是表示自變量的第i次觀測值與自變量平均值之間距離的遠近。杠桿值大的樣本點稱為強影響點。5.3異常值與強影響值二、關(guān)于自變量x的異常值強影響點不一定是y的異常值點，不能單純根據(jù)杠桿值hii的大小判斷強影響點是否異常利用Cook距離，來判斷強影響點是否為y的異常值點.5.3異常值與強影響值5.3異常值與強影響值三、異常值實例分析

例5.1做異常值的診斷分析。分別計算普通殘差ei，學(xué)生化殘差SREi，刪除殘差e（i），刪除學(xué)生化殘差SRE（i），杠桿值chii，庫克距離Di5.3異常值與強影響值5.3異常值與強影響值5.3異常值與強影響值RES-殘差eDRE-刪除殘差ZRE-標準化殘差SRE–學(xué)生化殘差SREiSDR–刪除學(xué)生化殘差SRE(i)COO-庫克距離Dii

LEV-中心化杠桿值chii5.3異常值與強影響值5.3異常值與強影響值異常值原因異常值消除方法1.數(shù)據(jù)登記誤差，存在抄寫或錄入的錯誤重新核實數(shù)據(jù)2.數(shù)據(jù)測量誤差重新測量數(shù)據(jù)3.數(shù)據(jù)隨機誤差刪除或重新觀測異常值數(shù)據(jù)4.缺少重要自變量增加必要的自變量5.缺少觀測數(shù)據(jù)增加觀測數(shù)據(jù)，適當擴大自變量取值范圍6.存在異方差采用加權(quán)線性回歸7.模型選用錯誤，線性模型不適用改用非線性回歸模型刪除第19組數(shù)據(jù)5.3異常值與強影響值

學(xué)生化刪除殘差、杠桿值、Cook距離——識別異常值采取的措施：1.不能簡單的剔除，有時異常觀測值是正確的，它說明回歸模型的失敗，失敗的原因可能是遺漏了一個重要變量，或者選擇了不正確的回歸函數(shù)形式.2.如果異常值數(shù)據(jù)時準確的，但是找不到對它合理的解釋，與剔除這個觀測值相比，一個更穩(wěn)健的方法是抑制它的影響.3.最小絕對離差和法是一種穩(wěn)健估計方法，它具有對異常值和不合適模型不敏感性質(zhì).四、異常值問題補充5.3異常值與強影響值

最小絕對離差和法違背基本假設(shè)的情況

第六章關(guān)于異方差性問題第七章關(guān)于自相關(guān)性問題第八章關(guān)于多重共相關(guān)問題第六章關(guān)于異方差性問題

第六章關(guān)于異方差性問題

6.1異方差性產(chǎn)生的背景6.2異方差性的診斷6.3異方差問題的建模處理

Gauss-Markov條件第六章關(guān)于異方差性問題6.1異方差性產(chǎn)生的背景

一、異方差產(chǎn)生的原因

例6.1居民收入與消費水平有著密切的關(guān)系。用xi表示第i戶的收入量,yi表示第i戶的消費額,一個簡單的消費模型為:yi=β0+β1xi+εi，i=1,2,…,n收入不同，消費觀念和習慣差異，導(dǎo)致消費模型的隨機項εi具有不同的方差。低收入的家庭購買差異性比較小,高收入的家庭購買行為差異就很大。6.1異方差性產(chǎn)生的背景

二、異方差性帶來的問題

當存在異方差時，普通最小二乘估計存在以下問題:(1)參數(shù)估計值雖是無偏的,但不是最小方差線性無偏估計;(2)參數(shù)的顯著性檢驗失效;(3)回歸方程的應(yīng)用效果極不理想。6.2異方差性的診斷

一、異方差性的檢驗（一）殘差圖分析法

——直觀、方便的分析法以殘差ei為縱坐標，其他適宜變量為橫坐標畫散點圖，橫坐標有三種選擇：擬合值xi觀測時間或序號6.2異方差性的診斷

一、異方差性的檢驗（一）殘差圖分析法

圖5.1（b)存在異方差一般情況下，當回歸模型滿足所有假定時，殘差圖上的n個點散布應(yīng)是隨機的，無任何規(guī)律；存在異方差時，殘差圖上的點散布呈現(xiàn)相應(yīng)的趨勢.6.2異方差性的診斷

一、異方差性的檢驗（二）等級相關(guān)系數(shù)法

等級相關(guān)系數(shù)檢驗法又稱斯皮爾曼(Spearman)檢驗,是一種應(yīng)用較廣泛的方法。這種檢驗方法既可用于大樣本,也可用于小樣本。進行等級相關(guān)系數(shù)檢驗通常有三個步驟。第一步,作y關(guān)于x的普通最小二乘回歸,求出ei的估計值,即ei的值。6.2異方差性的診斷

（二）等級相關(guān)系數(shù)法

第二步,取ei的絕對值,分別把xi和|ei|按遞增（或遞減）的次序分成等級,按下式計算出等級相關(guān)系數(shù):其中,n為樣本容量,di為對應(yīng)于xi和|ei|的等級的差數(shù)。6.2異方差性的診斷

（二）等級相關(guān)系數(shù)法

第三步,做