加權(quán)OLS權(quán)數(shù)確定

1、淺談加權(quán)最小二乘法及其殘差圖 兼答孫小素副教授何曉群 劉文卿ABSTRACTThe paper introduces some problems in relation to weighted least square regression ,and answers a question about weighted residual plots. 關(guān)鍵詞：異方差；加權(quán)最小二乘法；殘差圖；SPSS一、引言與何曉群教授商榷一文，以下簡稱孫文。認真拜讀后感觸良多。首先衷心感謝孫小素副教授閱讀了我們應(yīng)用回歸分析拙作的部分章節(jié)，同時感謝統(tǒng)計研究給我們提供這樣一個好的機會，使我們能夠借助貴刊對加權(quán)最小二

2、乘法的有關(guān)問題談?wù)劯嗟恼J識。孫文談到應(yīng)用回歸分析教材中有關(guān)加權(quán)最小二乘法殘差圖的問題。擺出了與加權(quán)最小二乘法相關(guān)的三類殘差圖，指出第三類殘差圖的局限性。直接的問題是三類殘差圖的作用，而更深層的原因應(yīng)該是對加權(quán)最小二乘法統(tǒng)計思想的理解和認識上的差異。二、對加權(quán)最小二乘法的認識1. 加權(quán)最小二乘估計方法拙作應(yīng)用回歸分析中對加權(quán)最小二乘法有詳盡的講述，這里僅做簡要介紹。多元線性回歸方程普通最小二乘法的離差平方和為： （1）普通最小二乘估計就是尋找參數(shù)的估計值使式（1）的離差平方和達極小。式（1）中每個平方項的權(quán)數(shù)相同，是普通最小二乘回歸參數(shù)估計方法。在誤差項等方差不相關(guān)的條件下，普通最小二乘估計是

3、回歸參數(shù)的最小方差線性無偏估計。然而在異方差的條件下，平方和中的每一項的地位是不相同的，誤差項的方差大的項，在式（1）平方和中的取值就偏大，在平方和中的作用就大，因而普通最小二乘估計的回歸線就被拉向方差大的項，方差大的項的擬合程度就好，而方差小的項的擬合程度就差。由式（1）求出的仍然是的無偏估計，但不再是最小方差線性無偏估計。加權(quán)最小二乘估計的方法是在平方和中加入一個適當?shù)臋?quán)數(shù) ，以調(diào)整各項在平方和中的作用，加權(quán)最小二乘的離差平方和為： （2）加權(quán)最小二乘估計就是尋找參數(shù)的估計值使式（2）的離差平方和達極小。所得加權(quán)最小二乘經(jīng)驗回歸方程記做 （3） 理論上最優(yōu)的權(quán)數(shù)為誤差項方差的倒數(shù),即 （4

4、）誤差項方差大的項接受小的權(quán)數(shù)，以降低其在式（2）平方和中的作用; 誤差項方差小的項接受大的權(quán)數(shù)，以提高其在平方和中的作用。由（2）式求出的加權(quán)最小二乘估計就是參數(shù)的最小方差線性無偏估計。一個需要解決的問題是誤差項的方差是未知的,因此無法真正按照式（4）選取權(quán)數(shù)。在實際問題中誤差項方差通常與自變量的水平有關(guān),可以利用這種關(guān)系確定權(quán)數(shù)。例如與第j個自變量取值的平方成比例時,即=k時,這時取權(quán)數(shù)為 （5）更一般的情況是誤差項方差與某個自變量取值的冪函數(shù)成比例，即=k,其中m是待定的未知參數(shù)。此時權(quán)數(shù)為 （6）這時確定權(quán)數(shù) 的問題轉(zhuǎn)化為確定冪參數(shù)m的問題，可以借助SPSS軟件解決。應(yīng)用回歸書中和孫文

5、中都講了這個方法，本文不再重述。需要注意的是，在實際問題中比例關(guān)系=k只是近似的，式（6）確定的權(quán)數(shù)只是式（4）最優(yōu)權(quán)數(shù)的近似值，因此所得的參數(shù)最小二乘估計也只是近似的最小方差線性無偏估計。 2. 變量變換的加權(quán)最小二乘法孫文中談到：加權(quán)最小二乘法的實質(zhì)是要對原始數(shù)據(jù)實施變換，獲得新的解釋變量和被解釋變量，變換的方法是： （表示變換后的被解釋變量） （7），h=0,1,2,p （是對應(yīng)于原始變量的新解釋變量） （8）對變換后的變量（）重新進行普通最小二成估計（注意，此處的回歸模型不包含常數(shù)項，增加了數(shù)據(jù)變換后派生出的一個新解釋變量），即可得到加權(quán)最小二乘法的經(jīng)驗回歸方程： （9）以上是孫文中對

6、加權(quán)最小二乘法的解釋，其中公式（7）、（8）、（9）分別對應(yīng)孫文中的公式（3）、（4）、（5）。 3. 兩種方法的異同相同之處。顯然，式（3）與式（9）兩個回歸方程是等價的，把式（3）同時乘以后就轉(zhuǎn)化為式（9）。不同之處。首先，式（3）的回歸方程使用起來比較方便，因為利用該回歸方程進行預(yù)測和控制時，無須按式（8）變換自變量的新值，直接將自變量的新值代入式（3）即可。對這一點孫小素副教授也是認同的。其實，所有方法的優(yōu)劣評價根本就在于他是否方便于建模最終的應(yīng)用。其次，雖然兩種加權(quán)回歸方法所得的回歸方程是等價的，但是對回歸效果的擬合優(yōu)度和檢驗是不同的，式（3）的加權(quán)最小二乘的總離差平方和、回歸離差平

7、方和、殘差平方和的計算公式和關(guān)系為： （10）其中是用加權(quán)的算術(shù)平均數(shù)。由于式（9）的變換加權(quán)最小二乘回歸方程不含常數(shù)項，所以不滿足離差平方和分解式，而是對直接的平方和滿足分解式，總平方和、回歸平方和、殘差平方和的計算公式和關(guān)系為： （11）等價于 （12）對不含常數(shù)項的普通最小二乘回歸，SPSS軟件就是用上述公式計算平方和并進而計算判定系數(shù)和做F檢驗的。然而，這種做法的合理性是有欠缺的，因為總平方和不能如實反映因變量的變差，僅是為了滿足平方和分解式而這樣做，有削足適履的嫌疑。另外一種做法是以作為總離差平方和，把作為回歸離差平方和，而不使用作為回歸離差平方和，Excel軟件不含常數(shù)項（即指定常

8、數(shù)項為零）的普通最小二乘回歸就是采用的這個方法。對孫文所引用的應(yīng)用回歸分析例題，有關(guān)的計算結(jié)果見表1（a）（d）。從表中可以清楚看出用變換加權(quán)最小二乘法計算離差平方和存在明顯的問題，判定系數(shù)和檢驗統(tǒng)計量F嚴重失真。對同樣的數(shù)據(jù)做變換加權(quán)最小二乘估計，市面上流行的不同軟件的擬合優(yōu)度檢驗卻差別很大，SPSS軟件計算出的F=442.2，=0.968；Excel軟件計算出的F=74.26，=0.837。對其他數(shù)值就不逐一對比了。表1（a） 普通最小二乘方差分析表（SPSS）來源平方和自由度均方F顯著性R2回歸18440108118440108300.77.53E-170.912殘差1778202296

9、1317 總計2021831130 表1（b） 加權(quán)最小二乘方差分析表（SPSS）來源平方和自由度均方F顯著性R2回歸6.65516.655423.77.51E-190.936殘差0.455290.0157 總計7.11030 表1（c） 變換加權(quán)最小二乘方差分析表（SPSS）來源平方和自由度均方F顯著性R2回歸13.89126.945442.21.88E-220.968殘差0.455290.0157 總計14.34631 表1（d） 變換加權(quán)最小二乘方差分析表（Excel）來源平方和自由度均方F顯著性R2回歸2.33221.16674.266.39E-120.837殘差0.4554290.0

10、157總計2.78831針對上述問題，變換加權(quán)最小二乘法實際上常用于式（5）成立的情況，即m=2，此時變換后的自變量1，回歸參數(shù)就相當于回歸常數(shù)項了，對變換后的數(shù)據(jù)就可以用含有常數(shù)項的普通最小二乘估計方法，各種統(tǒng)計軟件對變換加權(quán)最小二乘法回歸的擬合優(yōu)度檢驗的輸出結(jié)果就都一致了。遺憾的是，即使是在這種特殊情況下也仍然與直接用加權(quán)最小二乘估計方法不一致，這只需仔細比較兩種情況的總離差平方和公式和的差異即可。這種通過變換變量求解加權(quán)最小二乘估計方法的作用是什么呢？引用文獻1第180頁的一段文字給予解釋：“許多回歸軟件包允許用戶有選擇地使用具體的權(quán)數(shù)進行加權(quán)最小二乘分析。如果不能選擇，通過對觀察值的具

11、體變換，使用不加權(quán)的最小二乘法，仍能得到加權(quán)最小二乘估計量。”可見通過變換變量求解加權(quán)最小二乘估計的方法僅是作為參數(shù)估計的一種計算手段而存在的，如果你使用的軟件僅具有普通最小二乘功能，就只能用變換變量的方法求解加權(quán)最小二乘的參數(shù)估計。應(yīng)用回歸分析教材是結(jié)合SPSS軟件編寫的，而SPSS軟件允許用戶直接使用權(quán)數(shù)進行加權(quán)最小二乘分析，不必通過變換變量的方法求解加權(quán)最小二乘估計，因此我們在教材中沒有給出這種通過變換變量求解加權(quán)最小二乘估計的方法?？v上所述，在擁有像SPSS這種能夠直接計算加權(quán)最小二乘估計的軟件時，就不必使用變換變量求解加權(quán)最小二乘估計的方法了。即使使用的是變換變量求解加權(quán)最小二乘估計

12、的方法，也應(yīng)該把式（9）變換回式（3）的形式，用來直接表示出原始變量之間的關(guān)系。因此孫文把式（9）稱為加權(quán)最小二乘法的經(jīng)驗回歸方程就顯然不合適了。我們也沒有見到其他的文獻用這個稱法。 三、三類殘差圖的作用以殘差為縱坐標軸以自變量（或回歸值）為橫坐標軸畫的散點圖就是殘差圖。孫文中的三類殘差圖如下：1. 普通殘差圖。指用原始數(shù)據(jù)對線性回歸模型做普通最小二乘估計所得的普通殘差所做的殘差圖，也就是孫文中所稱的第一類殘差圖。2. 加權(quán)普通殘差圖。其殘差是用原始數(shù)據(jù)做加權(quán)最小二乘估計所得的普通殘差（在孫文中記做），也就是孫文中所稱的加權(quán)派生殘差圖，或第三類殘差圖。3. 加權(quán)變換殘差圖。其殘差是用變換數(shù)據(jù)做

13、加權(quán)最小二乘估計所得的普通殘差（在孫文中記做），也就是孫文中所稱的加權(quán)殘差圖，或第二類殘差圖。的計算方法有兩種，第一種方法是用式（9）的變換加權(quán)最小二乘法得到，第二種方法是把加權(quán)普通殘差乘以得到，即。 拙作應(yīng)用回歸分析一書中重點講述的是普通殘差圖的作用，可以從直觀上判斷回歸模型是否存在異方差性，還可以進一步用普通殘差的絕對值與自變量計算等級相關(guān)系數(shù)，做相關(guān)性檢驗來判斷是否存在異方差性。在教材正文中對加權(quán)殘差圖只是給出了軟件繪制的方法和圖形，并沒有對圖形結(jié)果做任何文字說明和評價。由于考慮有些初學者可能會產(chǎn)生誤解，我們在教材第121頁“本章小結(jié)與評注”中對加權(quán)殘差圖做了簡要解釋，引述如下：“從殘差

14、圖來看，普通最小二乘估計只能照顧到殘差大的項，而小殘差項往往有整體的正偏或負偏。加權(quán)最小二乘估計的殘差圖，對大殘差和小殘差擬合的都好，大殘差和小殘差都沒有整體的正偏或負偏?！?以上這段文字指出了加權(quán)殘差圖的作用，如果在普通殘差圖中小殘差有整體的正偏或負偏，而在加權(quán)普通殘差圖中得到明顯的改善，這就說明加權(quán)最小二乘估計是顯著有效的。兩種殘差圖在應(yīng)用回歸分析和孫文中都已給出，本文就不重復(fù)繪制圖形了，而是把三種殘差的具體數(shù)值列在表2中，說明加權(quán)普通殘差的作用。表2 三種殘差的數(shù)值序號126487771.2161E-061692110.233 210592101.1314E-06-27140.015 3

15、9099541.0069E-06-105-66-0.066 4131105089.2837E-07-111-74-0.071 5122109798.6927E-07-159-124-0.116 6107119127.6917E-07-253-221-0.194 7406127476.9485E-07-2540.004 8503134996.3760E-078350.028 9431142695.8669E-07-129-105-0.080 10588155225.1710E-07-78-58-0.042 11898167304.6212E-071301460.099 12950176634.2

16、599E-071031160.0769501E-07-146-135-0.0856346E-07-195-188-0.114 151222211633.2481E-0778800.046 161702228802.8895E-074134090.220 171578241272.6684E-071831760.091 181654256042.4408E-071341220.060 191400265002.3181E-07-195-211-0.102 201829276702.1726E-071341150.054 212200283002

17、.1005E-074524310.197 222017274302.2012E-073433240.152 232105295601.9676E-072502250.100 241600281502.1173E-07-135-156-0.072 252250321001.7388E-071801470.061 262420325001.7068E-073172810.116 272570352501.5110E-072341900.074 281720335001.6309E-07-468-507-0.205 291900360001.4640E-07-500-546-0.209 302100

18、362001.4519E-07-317-364-0.139 312300382001.3394E-07-286-340-0.124 這個例子共有31對數(shù)據(jù)，把數(shù)據(jù)分為3組，第110對數(shù)據(jù)為第1組，是小方差組；1121對數(shù)據(jù)為第2組，是中等方差組；2231對數(shù)據(jù)為第3組，是大方差組。從表中看到，第1組10個普通殘差中有8個是負值，說明普通殘差圖中小殘差有整體的負偏。而10個加權(quán)殘差中只有6個是負值，說明加權(quán)殘差對小殘差整體負偏的情況已經(jīng)有了明顯改進。10個普通殘差中絕對值最大的是= -253，加權(quán)回歸后改善為= -221。圖形是對數(shù)值的直觀展示，從兩張殘差圖上也是可以看出相同現(xiàn)象的。第3組10個

19、普通殘差和加權(quán)殘差的正負性相同，正負值各有5個，說明普通最小二乘和加權(quán)最小二乘對大殘差項擬合的都好。仔細觀察這組的兩種殘差還是能發(fā)現(xiàn)區(qū)別的，10個普通殘差中絕對值最大的是= -500，加權(quán)回歸后成為= -546。不是像小殘差組那樣得到改善，而是誤差變得更大。其道理也很簡單，加權(quán)最小二乘估計照顧小殘差項是以犧牲大殘差項為代價的，有得必有失，也是有局限性的。孫文中認為加權(quán)殘差圖存在一定的局限性，具體表現(xiàn)在：“第一，這類殘差圖不能用來檢驗?zāi)Ｐ褪欠翊嬖诋惙讲顔栴}。第二，這類殘差圖也不能用來說明模型中的異方差問題是否得到妥善處理?！标P(guān)于第一點，準確地說是不必用加權(quán)殘差圖檢驗?zāi)Ｐ褪欠翊嬖诋惙讲顔栴}，并非不

20、能用，這是因為檢驗?zāi)Ｐ褪欠翊嬖诋惙讲顔栴}的工作已經(jīng)由普通殘差圖完成。實際上用加權(quán)普通殘差圖檢驗異方差的效果是優(yōu)于普通殘差圖的，這是因為存在異方差時普通殘差對誤差的估計是失真的，而加權(quán)殘差則能夠更真實地反映誤差項的大小。關(guān)于第二點，如果從加權(quán)殘差圖中看到小殘差項已經(jīng)沒有整體的正偏或負偏，則說明加權(quán)最小二乘估計已經(jīng)消除了異方差的影響。孫文中提出的加權(quán)變換殘差圖（第二類殘差圖）是有其長處的，可以比加權(quán)普通殘差圖（第三類殘差圖）更直觀地看出加權(quán)最小二乘估計是否真正解決了異方差問題，這只要看看殘差圖中散點在左右兩端分布得是否平齊即可。還可以由加權(quán)變換殘差用等級相關(guān)系數(shù)法做檢驗，判斷異方差是否真正得以消除

21、，這個作用是加權(quán)普通殘差不具備的。這兩個作用在孫文中已經(jīng)詳細介紹。順便指出孫文以加權(quán)變換殘差為縱軸，分別以兩個變換后的自變量和為橫軸繪制出兩張殘差圖是不必要的，實際上這兩張殘差圖是等價的，從圖形上看只是左右顛倒。加權(quán)變換殘差的數(shù)值是對原始數(shù)據(jù)的殘差做了變換，其數(shù)值大小只具有相對意義。加權(quán)普通殘差是原始數(shù)據(jù)的殘差，其數(shù)值大小具有絕對意義，它綜合了普通殘差和加權(quán)變換殘差的部分功能，當然同時也喪失了部分功能。孫文中講述了用變換加權(quán)最小二乘法計算加權(quán)變換殘差的方法。實際上，在用SPSS軟件計算出權(quán)數(shù)和加權(quán)普通殘差后，只須根據(jù)關(guān)系就可以計算出加權(quán)變換殘差，而不必用變換加權(quán)最小二乘方法。拙作應(yīng)用回歸分析在

22、正文中對加權(quán)變換殘差圖完全沒有提及，不過“本章小結(jié)與評注”中的一句話“如果把誤差項加權(quán)，那么加權(quán)的誤差項是等方差的”，可以看作是對加權(quán)變換殘差的詮釋。拙作應(yīng)用回歸分析關(guān)于加權(quán)普通殘差圖的內(nèi)容是這樣講述的：“為了畫殘差圖，需要計算出加權(quán)最小二乘估計的殘差，這需要重新做回歸。第一步，在Weight Estimation對話框的Options選項中，保存最優(yōu)權(quán)作為新的變量。第二步，進入線性回歸對話框，點選左下角的WLS，線性回歸對話框會增加一行Weight變量框，把在第一步保存的最優(yōu)權(quán)變量選入。第三步，點選線性回歸對話框的Save選項，保存殘差變量，運行。第四步，以自變量x為橫軸，以加權(quán)最小二乘估計

23、的殘差為縱軸畫殘差圖”這段內(nèi)容的直接作用是介紹加權(quán)普通殘差圖的繪制方法，其間接作用是介紹SPSS軟件加權(quán)最小二乘估計功能的使用方法，也就是“第二步”的內(nèi)容。在SPSS軟件中，加權(quán)最小二乘回歸具有普通最小二乘回歸的很多功能，包括共線性診斷、異常值判定、自相關(guān)分析、區(qū)間預(yù)測等等，這些功能都是以“第二步”的內(nèi)容為基礎(chǔ)的，計算殘差只是眾多功能之一而已。用圖形來評價結(jié)果往往只是一種粗糙的輔助手段。正像我們在拙作應(yīng)用回歸分析第121頁“本章小結(jié)與評注”上強調(diào)指出：“關(guān)于異方差性的診斷，方法很多，至于哪種檢驗方法最好，目前還沒有一致的看法。殘差圖方法直觀但較粗糙。等級相關(guān)系數(shù)檢驗要比殘差圖檢驗方法更為可取。

24、”四、對異方差問題的深入思考拙作應(yīng)用回歸分析教材定位于統(tǒng)計學專業(yè)的本科生或非統(tǒng)計學專業(yè)的碩士生，作為3學分54學時的課程教材，限制篇幅和深度，教材中對一些問題不可能全面展開敘述，在此對異方差的一些問題再做進一步探討。當回歸模型存在異方差時，加權(quán)最小二乘估計只是對普通最小二乘估計的改進，這種改進有可能是細微的，不能理解為加權(quán)最小二乘估計會得到與普通最小二乘估計截然不同的回歸方程，或者一定有大幅度的改進。對本例的數(shù)據(jù)，普通最小二乘的經(jīng)驗回歸方程是，加權(quán)最小二乘的經(jīng)驗回歸方程是，兩者相差不大。比較加權(quán)普通殘差圖與普通殘差圖的差異就可以如實反映這種改進幅度。看來需要強調(diào)指出的是這個改進幅度不是指是否變

25、為等方差了，而是指回歸方程也就是回歸系數(shù)估計值的差異幅度，在這一問題上加權(quán)普通殘差圖是優(yōu)于加權(quán)變換殘差圖的。實際上，可以構(gòu)造出這樣的數(shù)據(jù)，回歸模型存在很強的異方差，加權(quán)回歸后變?yōu)榈确讲盍耍瞧胀ㄗ钚《伺c加權(quán)最小二乘所得的回歸方程卻完全一樣。加權(quán)最小二乘以犧牲大方差項的擬合效果為代價改善了小方差項的擬合效果，這也并不總是研究者所需要的。在社會經(jīng)濟現(xiàn)象中，通常變量取值大時方差也大，在以經(jīng)濟總量為研究目標時，更關(guān)心的是變量取值大的項，而普通最小二乘恰好能滿足這個要求。動態(tài)數(shù)據(jù)的指數(shù)平滑法把近期數(shù)據(jù)加上大的權(quán)數(shù)，強調(diào)近期數(shù)據(jù)的貢獻就是這樣的統(tǒng)計思想。加權(quán)最小二乘估計的理論權(quán)數(shù)是式（4），但是實際使

26、用的只能是近似的，通常取為某個自變量平方的倒數(shù)，即。對本例的數(shù)據(jù)，取，加權(quán)最小二乘回歸方程為，判定系數(shù)=0.933。而取最優(yōu)權(quán)數(shù)所得加權(quán)最小二乘回歸方程為，=0.936，兩者非常接近。所以當手頭沒有SPSS軟件時，直接取是一個可行的方法，這時對加權(quán)最小二乘回歸的效果要用殘差圖等方法驗證。如前所述，當用變換變量方法做加權(quán)最小二乘估計時，選取的一個好處是回歸模型中仍然含有常數(shù)項，這時不同軟件對回歸擬合優(yōu)度檢驗的結(jié)果就一致了。異方差問題是社會經(jīng)濟現(xiàn)象建立回歸模型時的普遍問題，加權(quán)最小二乘估計是解決異方差的一個常用方法，另外一個方法是當模型存在異方差性時,人們往往還考慮對因變量作變換,使得對變換過后的數(shù)據(jù)誤差方差能夠近似相等,即方差比較穩(wěn)定,所以通常稱這種變換為方差穩(wěn)定化變換，常見的變量變換有如下幾種。(1)如果與存在一定的比例關(guān)系,使用;(2)如果與存在一定的比例關(guān)系,使用;(3)如果與存在一定的比例關(guān)系,使用方差穩(wěn)定變換在改變誤差項方差的同時，也會改變誤差項的分