應(yīng)用回歸分析（R語言版）（第2版） 課件 第6、7章 多重共線性的情形及其處理、嶺回歸

第6章多重共線性的情形及其處理6.1多重共線性產(chǎn)生的背景和原因6.2多重共線性對回歸建模的影響6.3多重共線性的診斷6.4消除多重共線性的方法6.5本章小結(jié)與評注2024/4/2312024/4/232

如果存在不全為0的p+1個數(shù)，使得則稱自變量之間存在著完全多重共線性。在實際經(jīng)濟問題中完全的多重共線性并不多見，常見的是（6.1）式近似成立的情況，即存在不全為0的p+1個數(shù)，使得稱自變量之間存在著多重共線性(Multi-collinearity)，也稱為復(fù)共線性。第6章多重共線性的情形及其處理6.1多重共線性產(chǎn)生的背景和原因

2024/4/233

當我們所研究的經(jīng)濟問題涉及到時間序列資料時,由于經(jīng)濟變量隨時間往往存在共同的變化趨勢,它們之間就容易出現(xiàn)共線性。例如,我們要研究我國居民消費狀況,影響居民消費的因素很多,一般有職工平均工資、農(nóng)民平均收入、銀行利率、全國零售物價指數(shù)、國債利率、貨幣發(fā)行量、儲蓄額、前期消費額等,這些因素顯然既對居民消費產(chǎn)生重要影響,它們之間又有著很強的相關(guān)性。

2024/4/234

許多利用截面數(shù)據(jù)建立回歸方程的問題常常也存在自變量高度相關(guān)的情形。例如，我們以企業(yè)的截面數(shù)據(jù)為樣本估計生產(chǎn)函數(shù)，由于投入要素資本K，勞動力投入L，科技投入S，能源供應(yīng)E等都與企業(yè)的生產(chǎn)規(guī)模有關(guān)，所以它們之間存在較強的相關(guān)性。6.1多重共線性產(chǎn)生的背景和原因

6.2多重共線性對回歸建模的影響

2024/4/235

設(shè)回歸模型存在完全的多重共線性，即對設(shè)計矩陣X的列向量存在不全為零的一組數(shù)，使得

設(shè)計矩陣X的秩此時，正規(guī)方程組的解不唯一，不存在，回歸參數(shù)的最小二乘估計表達式不成立。2024/4/2366.2多重共線性對回歸建模的影響

對非完全共線性，存在不全為零的一組數(shù)，使得此時設(shè)計矩陣X的秩雖然成立，但是

的對角線元素很大，的方差陣

的對角線元素很大，而的對角線元素即

，因而

的估計精度很低。這樣，雖然用普通最小二乘估計能得到的無偏估計，但估計量的方差很大，不能正確判斷解釋變量對被解釋變量的影響程度，甚至導致估計量的經(jīng)濟意義無法解釋。2024/4/2376.2多重共線性對回歸建模的影響

做y對兩個自變量

的線性回歸，假定y與都已經(jīng)中心化，此時回歸常數(shù)項為零，回歸方程為記則之間的相關(guān)系數(shù)為2024/4/2386.2多重共線性對回歸建模的影響

的協(xié)方差陣為2024/4/2396.2多重共線性對回歸建模的影響

由此可得可知，隨著自變量

的相關(guān)性增強，的方差將逐漸增大。當

完全相關(guān)時，r=1，方差將變?yōu)闊o窮大。2024/4/2310

6.2多重共線性對回歸建模的影響

當給不同的r12值時，由表6-1可看出方差增大的速度。為了方便，我們假設(shè)，相關(guān)系數(shù)從0.5變?yōu)?.9時，回歸系數(shù)的方差增加了295%，相關(guān)系數(shù)從0.5變?yōu)?.95時，回歸系數(shù)的方差增加了671%。2024/4/2311

在例3-3中，我們建立的中國民航客運量回歸方程為：

=-8805+0.706x1-1.773x2+0.157x3+0.139x4+25.82x5其中：y—民航客運量(萬人)，

x1—人均GDP(元)，x2—人均居民消費水平(元)，

x3—普通鐵路客運量(萬人)，x4—高速鐵路客運量(萬人)，

x5—民航航線里程(萬公里)。

x2是消費水平，從經(jīng)濟學的定性分析看，消費水平與民航客運量應(yīng)該是正相關(guān)，而回歸方程中x2的回歸系數(shù)的符號與定性分析的結(jié)果明顯不符。問題出在哪里？這正是自變量之間的復(fù)共線性造成的。6.2多重共線性對回歸建模的影響

6.3多重共線性的診斷

2024/4/23126.3.1方差擴大因子法

對自變量做中心標準化，則為自變量的相關(guān)陣。記 (6.5)稱其主對角線元素為自變量的方差擴大因子(VarianceInflationFactor，簡記為VIF)。由（3.31）式可知，其中是的離差平方和，由（6.6）式可知用作為衡量自變量的方差擴大程度的因子是恰如其分的。（6.6）2024/4/23136.3多重共線性的診斷

記為以

作因變量對其余p-1個自變量進行回歸得到的復(fù)決定系數(shù)，可以證明(6.7)式(6.7)也可以作為方差擴大因子

的定義，由此式可知。2024/4/23146.3多重共線性的診斷

經(jīng)驗表明，當時，就說明自變量與其余自變量之間有嚴重的多重共線性，且這種多重共線性可能會過度地影響最小二乘估計值。還可用p個自變量所對應(yīng)的方差擴大因子的平均數(shù)來度量多重共線性。當遠遠大于1時就表示存在嚴重的多重共線性問題。

2024/4/2315

以下用R軟件診斷例3-3中國民航客運量一例中的多重共線性問題。由于計算方差擴大因子VIF的函數(shù)vif()在car包中，而該包不是基本包，所以首先要安裝并加載car包，以下是計算代碼及其運行結(jié)果。6.3多重共線性的診斷

2024/4/23166.3多重共線性的診斷

6.3.2特征根判定法1、特征根分析

根據(jù)矩陣行列式的性質(zhì)，矩陣的行列式等于其特征根的連乘積。因而，當行列式時，矩陣

至少有一個特征根近似為零。反之可以證明，當矩陣至少有一個特征根近似為零時，X的列向量間必存在復(fù)共線性，證明見160頁。證明如下：記，其中為X

的列向量，

是元素全為1的n維列向量。是矩陣

的一個近似為零的特征根，是對應(yīng)于特征根的單位特征向量，則上式兩邊左乘

，得。從而有，即。寫成分量形式即為這正是（6.2）式定義的多重共線性關(guān)系。2024/4/23176.3多重共線性的診斷

如果矩陣

有多個特征根近似為零，在上面的證明中，取每個特征根的特征向量為標準化正交向量，即可證明：有多少個特征根接近于零，設(shè)計矩陣X就有多少個多重共線性關(guān)系，并且這些多重共線性關(guān)系的系數(shù)向量就等于接近于零的那些特征根對應(yīng)的特征向量。2024/4/23186.3多重共線性的診斷

2024/4/23196.3多重共線性的診斷

2、條件數(shù)

特征根分析表明，當矩陣

有一個特征根近似為零時，設(shè)計矩陣X的列向量間必存在復(fù)共線性。那么特征根近似為零的標準如何確定呢？可以用下面介紹的條件數(shù)確定。記的最大和最小特征根分別為，稱為矩陣的條件數(shù)（ConditionIndex）。2024/4/23206.3多重共線性的診斷

k＜100時，設(shè)計矩陣X多重共線性程度較??；100≤k≤

1000時，認為X存在較強的多重共線性；當k>1000時，認為存在嚴重的多重共線性。

用條件數(shù)判斷多重共線性的準則：在R軟件中，通常用kappa()函數(shù)計算矩陣的條件數(shù)，其使用方法為：kappa(z,exact=FALSE,…)，其中，z為矩陣，exact是邏輯變量，當exact=TRUE時，精確計算條件數(shù)，否則近似計算條件數(shù)。2024/4/2321

對例3-3中國民航客運量的例子，用R軟件計算矩陣的條件數(shù)，計算代碼及結(jié)果如下：

6.3多重共線性的診斷

2024/4/23226.3多重共線性的診斷

根據(jù)條件數(shù)k=10119.1>1000，說明自變量之間存在嚴重的多重共線性。進一步，為找出哪些變量是多重共線的，需要計算矩陣的特征值和相應(yīng)的特征向量，在R命令窗口輸入代碼eigen(XX)，得到其最小的特征值和相應(yīng)的特征向量為即由于的系數(shù)近似為0，故

之間存在著多重共線性。2024/4/2323

6.3.3直觀判定法1.當增加或剔除一個自變量，或者改變一個觀測值時，回歸系數(shù)的估計值發(fā)生較大變化。2.從定性分析角度看來，一些重要的自變量在回歸方程中沒有通過顯著性檢驗。3.有些自變量的回歸系數(shù)所帶正負號與定性分析結(jié)果違背。4.自變量的相關(guān)矩陣中，自變量間的相關(guān)系數(shù)較大。5.一些重要的自變量的回歸系數(shù)的標準誤差較大。6.3多重共線性的診斷

6.4消除多重共線性的方法

2024/4/2324

6.4.1剔除不重要的解釋變量

在剔除自變量時，可以將回歸系數(shù)的顯著性檢驗、方差擴大因子VIF以及自變量的經(jīng)濟含義結(jié)合起來考慮，以引進或剔除變量。民航客運量一例中，5個自變量都通過了回歸系數(shù)的顯著性檢驗，但仍存在著嚴重的多重共線性，的方差擴大因子為1458.277最大，因此剔除，建立y對其余四個自變量的回歸方程，相關(guān)計算結(jié)果如下所示：2024/4/2325

6.4消除多重共線性的方法

2024/4/23266.4消除多重共線性的方法

從輸出結(jié)果看到，的方差擴大因子為120.241最大，遠大于10，說明此時回歸模型仍然存在多重共線性，因此剔除，建立y對其余三個自變量的回歸方程，相關(guān)計算結(jié)果如下所示：消除了共線性2024/4/23276.4消除多重共線性的方法

6.4.2增大樣本容量例如，由（6.3）式和（6.4）式

可以看到，在固定不變，當樣本容量n增大時，都會增大，兩個回歸系數(shù)的估計方差均可減小，從而減弱多重共線性對回歸方程的影響。2024/4/2328

6.4.3回歸系數(shù)的有偏估計

消除多重共線性對回歸模型的影響是近40年來統(tǒng)計學家們關(guān)注的熱點課題之一，除以上方法被人們應(yīng)用外，統(tǒng)計學家還致力于改進古典的最小二乘法，提出以采用有偏估計為代價來提高估計量穩(wěn)定性的方法，如：嶺回歸法主成分回歸法偏最小二乘法等6.4消除多重共線性的方法

6.5本章小結(jié)與評注2024/4/2329

當解釋變量之間的簡單相關(guān)系數(shù)很大時，可以斷定自變量間存在著嚴重的多重共線性；但是一個回歸方程存在嚴重的多重共線性時，解釋變量之間的簡單相關(guān)系數(shù)不一定很大。例如假定3個自變量之間有完全確定的關(guān)系

再假定x2與x3的簡單相關(guān)系數(shù)r23=-0.5，x2與x3的離差平方和L22=L33=1，此時

2024/4/2330同理r13=0.5由此看到，當回歸方程中的自變量數(shù)目超過2時，并不能由自變量間的簡單相關(guān)系數(shù)不高，就斷定它們不存在多重共線性。6.5本章小結(jié)與評注第7章嶺回歸

2024/4/2331

7.1嶺回歸估計的定義7.2嶺回歸估計的性質(zhì)7.3嶺跡分析7.4嶺參數(shù)k的選擇7.5用嶺回歸選擇變量7.1嶺回歸估計的定義2024/4/23327.1.1

普通最小二乘估計帶來的問題

當自變量間存在復(fù)共線性時，回歸系數(shù)估計的方差就很大，估計值就很不穩(wěn)定，下面進一步用一個模擬的例子來說明這一點。例7-1假設(shè)已知x1，x2與y的關(guān)系服從線性回歸模型2024/4/2333然后用模擬的方法產(chǎn)生10個正態(tài)隨機數(shù)，作為誤差項，見表7-1的第（3）行。然后再由回歸模型計算出10個值，列在了表7-1的第（4）行。7.1嶺回歸估計的定義給定的10個值，見表7-1的第(1)、(2)兩行。2024/4/2334現(xiàn)在我們假設(shè)回歸系數(shù)與誤差項是未知的，用普通最小二乘法求回歸系數(shù)的估計值得：而原模型的參數(shù)為

看來兩者相差很大。計算的樣本相關(guān)系數(shù)得，表明之間高度相關(guān)。7.1嶺回歸估計的定義2024/4/23357.1嶺回歸估計的定義7.1.2嶺回歸的定義

嶺回歸(RidgeRegression，簡記為RR)提出的想法是很自然的。當自變量間存在復(fù)共線性時，，我們設(shè)想給加上一個正常數(shù)矩陣，那么接近奇異的程度就會比接近奇異的程度小得多?？紤]到變量的量綱問題，我們先對數(shù)據(jù)做標準化，為了計算方便，標準化后的設(shè)計陣仍然用X表示。2024/4/23367.1嶺回歸估計的定義我們稱

為

的嶺回歸估計，其中k稱為嶺參數(shù)。

（7.2）式中因變量觀測向量y可以經(jīng)過標準化也可以未經(jīng)標準化。由于假設(shè)X已經(jīng)標準化，如果y也經(jīng)過標準化，那么（7.2）式計算的實際是標準化嶺回歸估計。顯然，嶺回歸作為的估計應(yīng)比最小二乘估計穩(wěn)定，當k=0時的嶺回歸估計就是普通最小二乘估計。（7.2）2024/4/23377.1嶺回歸估計的定義因為嶺參數(shù)k不是唯一確定的，所以我們得到的嶺回歸估計實際是回歸參數(shù)

的一個估計族。例如對例7-1可以算得不同k值時的，見表7-2。2024/4/23387.1嶺回歸估計的定義圖7-1嶺跡圖7.2嶺回歸估計的性質(zhì)

2024/4/2339

在本節(jié)嶺回歸估計的性質(zhì)的討論中，假定（7.2）式中因變量觀測向量y未經(jīng)標準化。性質(zhì)1

是回歸參數(shù)

的有偏估計。

證明：顯然只有當k=0時，；當k≠0時，是

的有偏估計。要特別強調(diào)的是不再是

的無偏估計了，有偏性是嶺回歸估計的一個重要特性。2024/4/23407.2嶺回歸估計的性質(zhì)

性質(zhì)2

在認為嶺參數(shù)k是與y

無關(guān)的常數(shù)時，是最小二乘估計的一個線性變換，也是y

的線性函數(shù)。因為因此，嶺估計是最小二乘估計的一個線性變換，根據(jù)定義式知也是y

的線性函數(shù)。需要注意的是，在實際應(yīng)用中，由于嶺參數(shù)k總是要通過數(shù)據(jù)來確定，因而k也依賴于y，因此從本質(zhì)上說并非y

的線性函數(shù)。2024/4/23417.2嶺回歸估計的性質(zhì)

性質(zhì)3對任意，總有

這里是向量的模，等于向量各分量的平方和的平方根。這個性質(zhì)表明可看成由進行某種向原點的壓縮，從的表達式可以看到，當時，，即化為零向量。2024/4/23427.2嶺回歸估計的性質(zhì)

性質(zhì)4以MSE表示估計向量的均方誤差，則存在k>0，使得即7.3嶺跡分析

2024/4/2343當嶺參數(shù)k在（0，∞）內(nèi)變化時，的函數(shù)，在平面坐標系上把函數(shù)描畫出來。畫出的曲線稱為嶺跡。在實際應(yīng)用中，可以根據(jù)嶺跡曲線的變化形狀來確定適當?shù)膋值和進行自變量的選擇。在嶺回歸中，嶺跡分析可用來了解各自變量的作用及自變量間的相互關(guān)系。下面由圖7-2所反映的幾種有代表性的情況來說明嶺跡分析的作用。嶺跡分析

2024/4/2344（1）在圖7-2（a）中，，且比較大。從古典回歸分析的觀點看，應(yīng)將看作是對y有重要影響的因素。但的圖形顯示出相當?shù)牟环€(wěn)定，當k從零開始略增加時，顯著地下降，而且迅速趨于零，因而失去預(yù)報能力。從嶺回歸的觀點看，對y不起重要作用，甚至可以去掉這個變量。（2）圖7-2(b)的情況與圖7-2(a)相反，，但很接近0。從古典回歸分析看，對y的作用不大。但隨著k略增加，驟然變?yōu)樨撝?，從嶺回歸觀點看，對y有顯著影響。2024/4/23457.3嶺跡分析

（3）如圖7-2（c），，說明還比較顯著，但當k增加時，迅速下降，且穩(wěn)定為負值，從古典回歸分析看，是對y有“正”影響的顯著因素，而從嶺回歸分析角度看，要被看作是對y有“負”影響的因素。（4）在圖7-2（d）中，和都很不穩(wěn)定，但其和卻大體上穩(wěn)定。這種情況往往發(fā)生在自變量的相關(guān)性很大的場合，即在之間存在多重共線性的情形。因此，從變量選擇的觀點看，兩者只要保存一個就夠了。這種情況可用來解釋某些回歸系數(shù)估計的符號不合理的情形，從實際觀點看，不應(yīng)有相反符號。嶺回歸分析的結(jié)果對這一點提供了一種解釋。2024/4/23467.3嶺跡分析

（5）從全局看，嶺跡分析可用來估計在某一具體實例中最小二乘估計是否適用，把所有回歸系數(shù)的嶺跡都描在一張圖上，如果這些嶺跡線的“不穩(wěn)定度”很大，整個系統(tǒng)呈現(xiàn)比較“亂”的局面，往往就使人懷疑最小二乘估計是否很好地反映了真實情況，圖7-2（e）反映了這種情況。如果情況如圖7-2（f）那樣，則我們對最小二乘估計可以有更大的信心。當情況介于（e）和（f）之間時，我們必須適當?shù)剡x擇k值。2024/4/23477.3嶺跡分析

7.4嶺參數(shù)k的選擇

2024/4/23487.4.1嶺跡法

嶺跡法選擇k值的一般原則是：

（1）各回歸系數(shù)的嶺估計基本穩(wěn)定；（2）用最小二乘估計時符號不合理的回歸系數(shù)，其嶺估計的符號變得合理；（3）回歸系數(shù)沒有不合乎經(jīng)濟意義的絕對值；（4）殘差平方和增大不太多。

2024/4/23497.4嶺參數(shù)k的選擇

2024/4/23507.4嶺參數(shù)k的選擇

嶺跡法確定k值缺少嚴格的令人信服的理論依據(jù)，存在著一定的主觀人為性，這似乎是嶺跡法的一個明顯缺點。從另一方面說，嶺跡法確定k值的這種人為性正好是定性分析與定量分析有機結(jié)合的地方。例如在圖7-3中，當k取時，各回歸系數(shù)的估計值基本上都能達到相對穩(wěn)定。當然，上述種種要求并不總是能達到的。如在例7-1中由圖7-1看到，取k=0.5，嶺跡已算平穩(wěn)。從而已經(jīng)相當接近于真值還相差很大。2024/4/23517.4嶺參數(shù)k的選擇

7.4.2

方差擴大因子法

方差擴大因子可以度量多重共線性的嚴重程度，一般當時，模型就有嚴重的多重共線性。計算嶺估計

的協(xié)方差陣，得7.4嶺參數(shù)k的選擇

的對角元素為嶺估計的方差擴大因子。不難看出，隨著k

的增大而減少。用方差擴大因子選擇k

的經(jīng)驗做法是：選擇k

使所有方差擴因子。當時，所對應(yīng)的k

值的嶺估計就會相對穩(wěn)定。2024/4/23522024/4/23537.4.3由殘差平方和來確定k值

嶺估計在減小均方誤差的同時增大了殘差平方和，我們希望嶺回歸的殘差平方和SSE（k）的增加幅度控制在一定的限度以內(nèi)，可以給定一個大于1的c值，要求：

SSE（k）＜cSSE （7.3）尋找使（7.3）式成立的最大的k值。7.4嶺參數(shù)k的選擇

7.5用嶺回歸選擇變量2024/4/2354嶺回歸選擇變量的原則：（1）在嶺回歸中設(shè)計矩陣X已經(jīng)中心化和標準化了，這樣可以直接比較標準化嶺回歸系數(shù)的大小?？梢蕴蕹魳藴驶瘞X回歸系數(shù)比較穩(wěn)定且絕對值很小的自變量。（2）隨著k的增加，回歸系數(shù)不穩(wěn)定，振動趨于零的自變量也可以剔除。（3）剔除標準化嶺回歸系數(shù)很不穩(wěn)定的自變量。如果依照上述去掉變量的原則，有若干個回歸系數(shù)不穩(wěn)定，究竟去掉幾個，去掉哪幾個，這并無一般原則可循，這需根據(jù)去掉某個變量后重新進行嶺回歸分析的效果來確定。2024/4/2355例7-2空氣污染問題。Mcdonald和Schwing在參考文獻［19］中曾研究死亡率與空氣污染、氣候以及社會經(jīng)濟狀況等因素的關(guān)系?？紤]了15個解釋變量，收集了60組樣本數(shù)據(jù)。x1—Averageannualprecipitationininches平均年降雨量x2—AverageJanuarytemperatureindegreesF1月份平均氣溫x3—AverageJulytemperatureindegreesF

7月份平均氣溫x4—Percentof1960SMSApopulationaged65orolder年齡65歲及以上的人口占總?cè)丝诘陌俜直葂5—Averagehouseholdsize每家人口數(shù)x6—Medianschoolyearscompletedbythoseover22年齡在22歲以上的人受教育年限的中位數(shù)7.5用嶺回歸選擇變量2024/4/2356x7—Percentofhousingunitswhicharesound&withallfacilities

住房符合標準的家庭比例數(shù)x8—Populationpersq.mileinurbanizedareas每平方公里人口數(shù)x9—Percentnon-whitepopulationinurbanizedareas非白種人占總?cè)丝诘谋壤齲10—Percentemployedinwhitecollaroccupations白領(lǐng)階層受雇百分數(shù)x11—Percentoffamilieswithincome<$3000

收入在3000美元以下的家庭比例x12—Relativehydrocarbonpollutionpotential碳氫化合物的相對污染勢7.5用嶺回歸選擇變量2024/4/2357計算

的15個特征根為：4.5272，2.7547，2.0545，1.3487，1.2227，0.9605，0.6124，0.4729，0.3708，0.2163，0.1665，0.1275，0.1142，0.0460，0.0049條件數(shù)

x13—Samefornitricoxides氮氧化合物的相對污染勢x14—Sameforsulphurdioxide二氧化硫的相對污染勢x15—Annualaverage%relativehumidityat1pm年平均相對濕度y—Totalage-adjustedmortalityrateper100,000每十萬人中的死亡人數(shù)7.5用嶺回歸選擇變量2024/4/2358進行嶺跡分析把15個回歸系數(shù)的嶺跡畫到圖7-4中，我們可看到，當k=0.20時嶺跡大體上達到穩(wěn)定。按照嶺跡法，應(yīng)取k=0.2。若用方差擴大因子法，當k在0.02～0.08時，方差擴大因子小于10，故應(yīng)建議在此范圍選取k。由此也看到不同的方法選取的k值是不同的。7.5用嶺回歸選擇變量2024/4/23597.5用嶺回歸選擇變量2024/4/23607.5用嶺回歸選擇變量

在用嶺回歸進行變量選擇時，因為從嶺跡看到自變量有較穩(wěn)定且絕對值比較小的嶺回歸系數(shù)，根據(jù)變量選擇的第一條原則，這些自變量可以去掉。又因為自變量的嶺回歸系數(shù)很不穩(wěn)定，且隨著k的增加很快趨于零，根據(jù)上面的第二條原則這些自變量也應(yīng)該去掉。再根據(jù)第三條原則去掉變量。這個問題最后剩的變量是。2024/4/23617.5用嶺回歸選擇變量例7-3

Gorman-Torman例子(見參考文獻［2］)。本例共有10個自變量，X已經(jīng)中心化和標準化了，的特征根為：

3.692，1.542，1.293，1.046，0.972，

0.659，0.357，0.220，0.152，0.068

最后一個特征根，較接近于零。

2024/4/23627.5用嶺回歸選擇變量

條件數(shù)k=54.294＜100。從條件數(shù)的角度看，似乎設(shè)計矩陣X沒有復(fù)共線性。但下面的研究表明，做嶺回歸還是必要的。關(guān)于條件數(shù)，這里附帶說明它的一個缺陷，就是當所有特征根都比較小時，雖然條件數(shù)不大，但多重共線性卻存在。本例就是一個證明。2024/4/2363

下面做嶺回歸分析。對15個k值算出，畫出嶺跡，如圖7-5(a)所示?？煽吹阶钚《斯烙嫷姆€(wěn)定性很差。這反映在當k與0略有偏離時，就有較大的差距，特別是變化最明顯。當k從0上升到0.1時，的59%，而在正交設(shè)計的情形下只下降17%。這些現(xiàn)象在直觀上就使人懷疑最小二乘估計是否反映了回歸系數(shù)的真實情況。7.5用嶺回歸選擇變量2024/4/23647.5用嶺回歸選擇變量2024/4/23657.5用嶺回歸選擇變量另外，因素的回歸系數(shù)的最小二乘估計為負回歸系數(shù)中絕對值最大的，但當k增加時，迅速上升且變?yōu)檎?。與此相反，對因素，為正的，且絕對值最大，但當k

增加時,迅速下降。再考慮到，的樣本相關(guān)系數(shù)達到0.84，因此這兩個因素可近似地合并為一個因素。2024/4/23667.5用嶺回