穩(wěn)健回歸(M估計)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上穩(wěn)健回歸（M估計）方法簡介浙江大學 唐啟義估計的穩(wěn)健性(Robustness)概念指的是在估計過程中產(chǎn)生的估計量對模型誤差的不敏感性。因此穩(wěn)健估計是在比較寬的資料范圍內(nèi)產(chǎn)生的優(yōu)良估計。如在獨立同分布正態(tài)誤差的線性模型中，最小二乘估計(LSE)是有效無偏估計。然而當誤差是非正態(tài)分布時，LSE不一定是最有效的。但誤差分布事先不一定知道，故有必要考慮穩(wěn)健回歸的問題。穩(wěn)健回歸(Robust Regression)估計，如誤差為正態(tài)時，它比LSE稍差一點，但誤差非正態(tài)時，它比LSE要好得多。這種對誤差項分布的穩(wěn)健特性，常能有效排除異常值干擾。DPS提供了穩(wěn)健回歸中常用的最大似然

2、型的M估計。一般回歸模型:這里1,p為未知回歸系數(shù)，e1,en獨立同分布，均值為0。最小二乘法是找使表達式達到最小作為代價函數(shù)，即。這樣做會往往使得那些遠離數(shù)據(jù)群體的數(shù)據(jù)(很可能是異常值)對殘差平方和影響比其他數(shù)據(jù)大得多。這是因為最小二乘估計為了達到極小化殘差平方和的目的，必須遷就遠端的數(shù)據(jù)，所以異常值對于參數(shù)估計相當敏感(如圖1)。M估計穩(wěn)健回歸的基本思想是采用迭代加權最小二乘估計回歸系數(shù)，根據(jù)回歸殘差的大小確定各點的權wi，以達到穩(wěn)健的目的，其優(yōu)化的目標函數(shù)是：為減少“異常點”作用，我們可以對不同的點施加不同的權重，即對殘差小的點給予較大的權重，而對殘差較大的點給予較小的權重，根據(jù)殘差大小

3、確定權重，并據(jù)此建立加權的最小二乘估計，反復迭代以改進權重系數(shù)，直至權重系數(shù)之改變小于一定的允許誤差(tolerance)。其參數(shù)bj可采用迭代加權最小二乘方法求解。構造權重，許多學者提出了許多方法，因此得到的穩(wěn)健回歸估計大同小異。DPS提供了10種不同的定義權重的公式，供用戶選用。在以下公式中，都用到一個“標準化”的殘差指標ui，med()為中位數(shù)，s為殘差尺度。1. Andrews 法，式中c一般取1.339。2. Biweight法，式中c一般4.685。3. Cauchy法，式中c一般2.385。4. Fair法，式中c一般1.4。5Hampel法這里a,b,c都是參數(shù)，0<a&

4、lt;b<c。一般a=2，b=4，c8.6. Huber法，式中ch一般取1.345。7. Logistic法，式中c一般1.205。8. Median法。9. Talworth法，式中ch一般取2.795。10. Welsch法，式中c一般取2.985。DPS提供了上述介紹的Andrews，Biweight，Cauchy，F(xiàn)air，Hampel，Huber，Logistic，Median，Talworth和Welsch 等10種權重定義方法供用戶選用,并提供了不加權的普通最小二乘(OLS)，以便用戶根據(jù)其擬合圖形進行診斷。DPS分析的數(shù)據(jù)格式和多元線性回歸分析相同，即：自變量在左邊，最右邊一列是因變量(下圖的左邊)。用鼠標選中數(shù)據(jù)后，執(zhí)行菜單下的“多元分析”“回歸分析”“回歸分析”“穩(wěn)健回歸(M估計)”功能，即可出現(xiàn)如下圖所示的工作界面(