嶺回歸理論知識

1、、普通最小二乘估計帶來的問題=J最當(dāng)自變量間存在多重共線性時，回歸系數(shù)估計的方差就很大，估計值就很不 穩(wěn)定。此時模型或數(shù)據(jù)的微小變化有可能造成系數(shù)估計的較大變化，對預(yù)測值產(chǎn) 生較大影響。下面進(jìn)一步用一個模擬的例子來說明這一點。例1假設(shè)已知X1，X2與y的關(guān)系服從線性回歸模型y = 10 + 2x + 3x + 給定，x2的10個值，如下表:表1.123456F-?8910Kz1. 11. 41.71.71.81. 81. 92.02.32.41. 11. 51.81.11.91. 81. 82. 12. 12.50.8-0.50.4-0.50.21. 91. 90.6-1. 5-1. (4)Y

2、i16.316.819.218.019.5201 921. 120.920.322.0現(xiàn)在我們假設(shè)回歸系數(shù)與誤差項是未知的，用普通最小二乘法 求回歸屋數(shù)的估計值得Pc=ll. 292 6 =11. 307pn =6. o91而原模型的會數(shù)Sc=10T B：=3看來相差太大：計算,忍的樣本相關(guān)系數(shù)得工廣0.986,表明迅與險之間高度相關(guān)&、嶺回歸提出的背景嶺回歸是1970年由Hoerl和Kennard提出的，它是一種有偏估計，是對最小 二乘估計的改進(jìn)。設(shè)有多重線性回歸模型y = XP + 8，參數(shù)P的最小二乘估計為。=（xx）-1Xy貝gE(|B - p|)2 = b2tr (XX)-1D(|p

3、 - p|)2 = 2b4tr (XX)-2當(dāng)自變量出現(xiàn)多重共線性時，普通最小二乘估計明顯變壞。當(dāng)|XX| 0時，1廠就會變得很大，這時，盡管P是P的無偏估計，但p很不穩(wěn)定，在具體取值 i上與真值有較大的偏差，甚至?xí)霈F(xiàn)與實際意義不符的正負(fù)號。設(shè)想給XX加上一個正常數(shù)矩陣ki (k 0)，那么XX + kI接近奇異的程 度就會變小。先對數(shù)據(jù)作標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化后的設(shè)計陣仍用X表示。稱p(k)=(XX + kl)-iXy為嶺回歸估計。這里的k成為嶺參數(shù)。當(dāng) k = 0時的嶺回歸估計就是普通的最小二乘估計。因為嶺參數(shù)k不是唯一確定的，所以我們得到的嶺回歸估計p (k)實際是回 歸參數(shù)P的一個估計族，取

4、不同的k值時p (k)的取值不同。以k為橫坐標(biāo)， p (k)為縱坐標(biāo)的直角坐標(biāo)系，可分析P估計族的穩(wěn)定性。優(yōu)點：比最小二乘估計更穩(wěn)定三、嶺跡分析I 當(dāng)嶺參數(shù)k在(0,冷內(nèi)變化時，百母遑k的函數(shù)，在平面坐標(biāo)系 上把函數(shù)&(Q描畫出來,畫出的曲源為嶺跡在實際應(yīng)用中，可以根據(jù) 嶺跡曲線的變化形狀來確定適當(dāng)?shù)膋值和進(jìn)行自變量的辮.在嶺回歸中，嶺跡分析可用來了解各自變量的作用及自變量之間的相互關(guān) 系。下圖所反映的幾種有代表性的情況來說明嶺跡分析的作用。Any圖i.嶺跡圖四、嶺參數(shù)的選擇（一）方法由殘差平方和來確定k值Hoerl-Kennard 公式方差擴大因子法嶺跡法嶺跡法的直觀考慮是，如果最小二乘估計

5、看來有不合理之處，如估計值以及 正負(fù)號不符合經(jīng)濟意義，則希望能通過采用適當(dāng)?shù)模╧）來加以一定程度的改善， k值得選擇就顯得尤為重要。選擇k值得一般原則是：（1）各回歸系數(shù)的嶺估計基本穩(wěn)定；（2）用最小二乘估計時符號不合理的回歸系數(shù)，其嶺估計的符號變得合理；（3）回歸系數(shù)沒有不合乎經(jīng)濟意義的絕對值；（4）殘差平方和增大不太多。圖2如上圖，當(dāng)k取ko時，各回歸系數(shù)的估計值基本上都能達(dá)到相對穩(wěn)定。缺點：用嶺跡法來確定k值缺少嚴(yán)格的令人信服的理論依據(jù)，存在一定的主 觀人為性.優(yōu)點:恰好發(fā)揮定性分析與定量分析有機結(jié)合.（二）嶺回歸選擇變量的原則：（1）在嶺回歸中設(shè)計矩陣X已經(jīng)中心化和標(biāo)準(zhǔn)化了，這樣可以直

6、接比較標(biāo)準(zhǔn)化 嶺回歸系數(shù)的大小?？梢蕴蕹魳?biāo)準(zhǔn)化嶺回歸系數(shù)比較穩(wěn)定且絕對值很小的自變 量。（2）隨著k的增加，回歸系數(shù)不穩(wěn)定，震動趨于零的自變量也可以剔除。（3）如果依照上述去掉變量的原則，有若十個回歸系數(shù)不穩(wěn)定，究竟去掉幾個， 去掉哪幾個，這并無一般原則可循，這需根據(jù)去掉某個變量后重新進(jìn)行嶺回歸分 析的效果來確定。講稿一一嶺跡圖解說U)在圖4.1(a)中， 象0)=府D,且比較大.從古典回歸分析的觀點看，應(yīng) 將看作是對有重要搟響的因素。但的圖形顯示出相當(dāng)?shù)牟环€(wěn)定當(dāng)AW專 升始略增加時.肩巧顯著地下降，礦I.退速趨于吼 因而失去預(yù)投能力.從嶺叫 UI的觀口肴，j；對y不宜重要乍用，掉至可以出掠

7、這個變量。以打圖相反的情況如圖4.(bj, E=0Nu但很小。從古曲分析看, 為對P的作用不大。但隨著#略增加：0.M)驟然變?yōu)樨瑥膸XM舊觀點上 無對 Y有顯著影響【3)如圖4一 1(c),由=&(0)如 說明還比較顯著，但當(dāng)在增加時，迅速下 降，H.姬定為負(fù)伯，, M古血回U1分析看,電是對，仃，半杉響的顯著因素，而從 嶺M歸分析角度看.七要被看作是對丁有 變 博枸的I可素。l4)在圖4一 1心中，和四燈都很不穩(wěn)定，但其和卻大體上擔(dān)定.這種情 況往往筮生在自變量為和拒的相關(guān)性很大的場合，即在為和電之間存在藩重共 性的情形.區(qū)此，從變量選杵的觀點看,而者只要保存一個就夠J、這種情況訶用 來柄粹史些回心系數(shù)估計的符號不合理的情形，從實際觀點看，崗和禺不應(yīng)有相 反符號口嶺回歸分析的結(jié)果對這點提供了 -種解釋沖.I。在圖4.1沌中.而流)和衣都很不萄定，但其利卻大體上崔定。這種情 況往往旋生在自變量跑和為的相關(guān)性很大的場企，即在粗利死之間存在多重共線 性的情形。因此.從變U選擇的觀疚看，的君只要保存一個就夠。這種怙況N用 來解釋某些l|i/:|數(shù)的符號不合理的惜形，從實際觀點看.腐和壓不應(yīng)有相 反符5 嶺回Ml分析的結(jié)果對這點提供了一種解釋倒.從全局看叫 蜂跡分析W用來估祠在某-具體實例中最小二乘估計是否 活用，把所有回歸系數(shù)的嶺逃郡描任張圖上