加權(quán)OLS權(quán)數(shù)確定

1、淺談加權(quán)最小二乘法及其殘差圖 兼答孫小素副教授何曉群 劉文卿ABSTRACTThe paper introduces some problems in relation to weighted least square regression ,and answers a question about weighted residual plots. 關(guān)鍵詞：異方差；加權(quán)最小二乘法；殘差圖；SPSS一、引言與何曉群教授商榷一文，以下簡(jiǎn)稱孫文。認(rèn)真拜讀后感觸良多。首先衷心感謝孫小素副教授閱讀了我們應(yīng)用回歸分析拙作的部分章節(jié)，同時(shí)感謝統(tǒng)計(jì)研究給我們提供這樣一個(gè)好的機(jī)會(huì)，使我們能夠借助貴刊對(duì)加權(quán)最小二

2、乘法的有關(guān)問題談?wù)劯嗟恼J(rèn)識(shí)。孫文談到應(yīng)用回歸分析教材中有關(guān)加權(quán)最小二乘法殘差圖的問題。擺出了與加權(quán)最小二乘法相關(guān)的三類殘差圖，指出第三類殘差圖的局限性。直接的問題是三類殘差圖的作用，而更深層的原因應(yīng)該是對(duì)加權(quán)最小二乘法統(tǒng)計(jì)思想的理解和認(rèn)識(shí)上的差異。二、對(duì)加權(quán)最小二乘法的認(rèn)識(shí)1. 加權(quán)最小二乘估計(jì)方法拙作應(yīng)用回歸分析中對(duì)加權(quán)最小二乘法有詳盡的講述，這里僅做簡(jiǎn)要介紹。多元線性回歸方程普通最小二乘法的離差平方和為： （1）普通最小二乘估計(jì)就是尋找參數(shù)的估計(jì)值使式（1）的離差平方和達(dá)極小。式（1）中每個(gè)平方項(xiàng)的權(quán)數(shù)相同，是普通最小二乘回歸參數(shù)估計(jì)方法。在誤差項(xiàng)等方差不相關(guān)的條件下，普通最小二乘估計(jì)是

3、回歸參數(shù)的最小方差線性無偏估計(jì)。然而在異方差的條件下，平方和中的每一項(xiàng)的地位是不相同的，誤差項(xiàng)的方差大的項(xiàng)，在式（1）平方和中的取值就偏大，在平方和中的作用就大，因而普通最小二乘估計(jì)的回歸線就被拉向方差大的項(xiàng)，方差大的項(xiàng)的擬合程度就好，而方差小的項(xiàng)的擬合程度就差。由式（1）求出的仍然是的無偏估計(jì)，但不再是最小方差線性無偏估計(jì)。加權(quán)最小二乘估計(jì)的方法是在平方和中加入一個(gè)適當(dāng)?shù)臋?quán)數(shù) ，以調(diào)整各項(xiàng)在平方和中的作用，加權(quán)最小二乘的離差平方和為： （2）加權(quán)最小二乘估計(jì)就是尋找參數(shù)的估計(jì)值使式（2）的離差平方和達(dá)極小。所得加權(quán)最小二乘經(jīng)驗(yàn)回歸方程記做 （3） 理論上最優(yōu)的權(quán)數(shù)為誤差項(xiàng)方差的倒數(shù),即 （4

4、）誤差項(xiàng)方差大的項(xiàng)接受小的權(quán)數(shù)，以降低其在式（2）平方和中的作用; 誤差項(xiàng)方差小的項(xiàng)接受大的權(quán)數(shù)，以提高其在平方和中的作用。由（2）式求出的加權(quán)最小二乘估計(jì)就是參數(shù)的最小方差線性無偏估計(jì)。一個(gè)需要解決的問題是誤差項(xiàng)的方差是未知的,因此無法真正按照式（4）選取權(quán)數(shù)。在實(shí)際問題中誤差項(xiàng)方差通常與自變量的水平有關(guān),可以利用這種關(guān)系確定權(quán)數(shù)。例如與第j個(gè)自變量取值的平方成比例時(shí),即=k時(shí),這時(shí)取權(quán)數(shù)為 （5）更一般的情況是誤差項(xiàng)方差與某個(gè)自變量取值的冪函數(shù)成比例，即=k,其中m是待定的未知參數(shù)。此時(shí)權(quán)數(shù)為 （6）這時(shí)確定權(quán)數(shù) 的問題轉(zhuǎn)化為確定冪參數(shù)m的問題，可以借助SPSS軟件解決。應(yīng)用回歸書中和孫文

5、中都講了這個(gè)方法，本文不再重述。需要注意的是，在實(shí)際問題中比例關(guān)系=k只是近似的，式（6）確定的權(quán)數(shù)只是式（4）最優(yōu)權(quán)數(shù)的近似值，因此所得的參數(shù)最小二乘估計(jì)也只是近似的最小方差線性無偏估計(jì)。 2. 變量變換的加權(quán)最小二乘法孫文中談到：加權(quán)最小二乘法的實(shí)質(zhì)是要對(duì)原始數(shù)據(jù)實(shí)施變換，獲得新的解釋變量和被解釋變量，變換的方法是： （表示變換后的被解釋變量） （7），h=0,1,2,p （是對(duì)應(yīng)于原始變量的新解釋變量） （8）對(duì)變換后的變量（）重新進(jìn)行普通最小二成估計(jì)（注意，此處的回歸模型不包含常數(shù)項(xiàng)，增加了數(shù)據(jù)變換后派生出的一個(gè)新解釋變量），即可得到加權(quán)最小二乘法的經(jīng)驗(yàn)回歸方程： （9）以上是孫文中對(duì)

6、加權(quán)最小二乘法的解釋，其中公式（7）、（8）、（9）分別對(duì)應(yīng)孫文中的公式（3）、（4）、（5）。 3. 兩種方法的異同相同之處。顯然，式（3）與式（9）兩個(gè)回歸方程是等價(jià)的，把式（3）同時(shí)乘以后就轉(zhuǎn)化為式（9）。不同之處。首先，式（3）的回歸方程使用起來比較方便，因?yàn)槔迷摶貧w方程進(jìn)行預(yù)測(cè)和控制時(shí)，無須按式（8）變換自變量的新值，直接將自變量的新值代入式（3）即可。對(duì)這一點(diǎn)孫小素副教授也是認(rèn)同的。其實(shí)，所有方法的優(yōu)劣評(píng)價(jià)根本就在于他是否方便于建模最終的應(yīng)用。其次，雖然兩種加權(quán)回歸方法所得的回歸方程是等價(jià)的，但是對(duì)回歸效果的擬合優(yōu)度和檢驗(yàn)是不同的，式（3）的加權(quán)最小二乘的總離差平方和、回歸離差平

7、方和、殘差平方和的計(jì)算公式和關(guān)系為： （10）其中是用加權(quán)的算術(shù)平均數(shù)。由于式（9）的變換加權(quán)最小二乘回歸方程不含常數(shù)項(xiàng)，所以不滿足離差平方和分解式，而是對(duì)直接的平方和滿足分解式，總平方和、回歸平方和、殘差平方和的計(jì)算公式和關(guān)系為： （11）等價(jià)于 （12）對(duì)不含常數(shù)項(xiàng)的普通最小二乘回歸，SPSS軟件就是用上述公式計(jì)算平方和并進(jìn)而計(jì)算判定系數(shù)和做F檢驗(yàn)的。然而，這種做法的合理性是有欠缺的，因?yàn)榭偲椒胶筒荒苋鐚?shí)反映因變量的變差，僅是為了滿足平方和分解式而這樣做，有削足適履的嫌疑。另外一種做法是以作為總離差平方和，把作為回歸離差平方和，而不使用作為回歸離差平方和，Excel軟件不含常數(shù)項(xiàng)（即指定常

8、數(shù)項(xiàng)為零）的普通最小二乘回歸就是采用的這個(gè)方法。對(duì)孫文所引用的應(yīng)用回歸分析例題，有關(guān)的計(jì)算結(jié)果見表1（a）（d）。從表中可以清楚看出用變換加權(quán)最小二乘法計(jì)算離差平方和存在明顯的問題，判定系數(shù)和檢驗(yàn)統(tǒng)計(jì)量F嚴(yán)重失真。對(duì)同樣的數(shù)據(jù)做變換加權(quán)最小二乘估計(jì)，市面上流行的不同軟件的擬合優(yōu)度檢驗(yàn)卻差別很大，SPSS軟件計(jì)算出的F=442.2，=0.968；Excel軟件計(jì)算出的F=74.26，=0.837。對(duì)其他數(shù)值就不逐一對(duì)比了。表1（a） 普通最小二乘方差分析表（SPSS）來源平方和自由度均方F顯著性R2回歸18440108118440108300.77.53E-170.912殘差1778202296

9、1317 總計(jì)2021831130 表1（b） 加權(quán)最小二乘方差分析表（SPSS）來源平方和自由度均方F顯著性R2回歸6.65516.655423.77.51E-190.936殘差0.455290.0157 總計(jì)7.11030 表1（c） 變換加權(quán)最小二乘方差分析表（SPSS）來源平方和自由度均方F顯著性R2回歸13.89126.945442.21.88E-220.968殘差0.455290.0157 總計(jì)14.34631 表1（d） 變換加權(quán)最小二乘方差分析表（Excel）來源平方和自由度均方F顯著性R2回歸2.33221.16674.266.39E-120.837殘差0.4554290.0

10、157總計(jì)2.78831針對(duì)上述問題，變換加權(quán)最小二乘法實(shí)際上常用于式（5）成立的情況，即m=2，此時(shí)變換后的自變量1，回歸參數(shù)就相當(dāng)于回歸常數(shù)項(xiàng)了，對(duì)變換后的數(shù)據(jù)就可以用含有常數(shù)項(xiàng)的普通最小二乘估計(jì)方法，各種統(tǒng)計(jì)軟件對(duì)變換加權(quán)最小二乘法回歸的擬合優(yōu)度檢驗(yàn)的輸出結(jié)果就都一致了。遺憾的是，即使是在這種特殊情況下也仍然與直接用加權(quán)最小二乘估計(jì)方法不一致，這只需仔細(xì)比較兩種情況的總離差平方和公式和的差異即可。這種通過變換變量求解加權(quán)最小二乘估計(jì)方法的作用是什么呢？引用文獻(xiàn)1第180頁的一段文字給予解釋：“許多回歸軟件包允許用戶有選擇地使用具體的權(quán)數(shù)進(jìn)行加權(quán)最小二乘分析。如果不能選擇，通過對(duì)觀察值的具

11、體變換，使用不加權(quán)的最小二乘法，仍能得到加權(quán)最小二乘估計(jì)量?！笨梢娡ㄟ^變換變量求解加權(quán)最小二乘估計(jì)的方法僅是作為參數(shù)估計(jì)的一種計(jì)算手段而存在的，如果你使用的軟件僅具有普通最小二乘功能，就只能用變換變量的方法求解加權(quán)最小二乘的參數(shù)估計(jì)。應(yīng)用回歸分析教材是結(jié)合SPSS軟件編寫的，而SPSS軟件允許用戶直接使用權(quán)數(shù)進(jìn)行加權(quán)最小二乘分析，不必通過變換變量的方法求解加權(quán)最小二乘估計(jì)，因此我們?cè)诮滩闹袥]有給出這種通過變換變量求解加權(quán)最小二乘估計(jì)的方法?？v上所述，在擁有像SPSS這種能夠直接計(jì)算加權(quán)最小二乘估計(jì)的軟件時(shí)，就不必使用變換變量求解加權(quán)最小二乘估計(jì)的方法了。即使使用的是變換變量求解加權(quán)最小二乘估計(jì)

12、的方法，也應(yīng)該把式（9）變換回式（3）的形式，用來直接表示出原始變量之間的關(guān)系。因此孫文把式（9）稱為加權(quán)最小二乘法的經(jīng)驗(yàn)回歸方程就顯然不合適了。我們也沒有見到其他的文獻(xiàn)用這個(gè)稱法。 三、三類殘差圖的作用以殘差為縱坐標(biāo)軸以自變量（或回歸值）為橫坐標(biāo)軸畫的散點(diǎn)圖就是殘差圖。孫文中的三類殘差圖如下：1. 普通殘差圖。指用原始數(shù)據(jù)對(duì)線性回歸模型做普通最小二乘估計(jì)所得的普通殘差所做的殘差圖，也就是孫文中所稱的第一類殘差圖。2. 加權(quán)普通殘差圖。其殘差是用原始數(shù)據(jù)做加權(quán)最小二乘估計(jì)所得的普通殘差（在孫文中記做），也就是孫文中所稱的加權(quán)派生殘差圖，或第三類殘差圖。3. 加權(quán)變換殘差圖。其殘差是用變換數(shù)據(jù)做

13、加權(quán)最小二乘估計(jì)所得的普通殘差（在孫文中記做），也就是孫文中所稱的加權(quán)殘差圖，或第二類殘差圖。的計(jì)算方法有兩種，第一種方法是用式（9）的變換加權(quán)最小二乘法得到，第二種方法是把加權(quán)普通殘差乘以得到，即。 拙作應(yīng)用回歸分析一書中重點(diǎn)講述的是普通殘差圖的作用，可以從直觀上判斷回歸模型是否存在異方差性，還可以進(jìn)一步用普通殘差的絕對(duì)值與自變量計(jì)算等級(jí)相關(guān)系數(shù)，做相關(guān)性檢驗(yàn)來判斷是否存在異方差性。在教材正文中對(duì)加權(quán)殘差圖只是給出了軟件繪制的方法和圖形，并沒有對(duì)圖形結(jié)果做任何文字說明和評(píng)價(jià)。由于考慮有些初學(xué)者可能會(huì)產(chǎn)生誤解，我們?cè)诮滩牡?21頁“本章小結(jié)與評(píng)注”中對(duì)加權(quán)殘差圖做了簡(jiǎn)要解釋，引述如下：“從殘差

14、圖來看，普通最小二乘估計(jì)只能照顧到殘差大的項(xiàng)，而小殘差項(xiàng)往往有整體的正偏或負(fù)偏。加權(quán)最小二乘估計(jì)的殘差圖，對(duì)大殘差和小殘差擬合的都好，大殘差和小殘差都沒有整體的正偏或負(fù)偏?！?以上這段文字指出了加權(quán)殘差圖的作用，如果在普通殘差圖中小殘差有整體的正偏或負(fù)偏，而在加權(quán)普通殘差圖中得到明顯的改善，這就說明加權(quán)最小二乘估計(jì)是顯著有效的。兩種殘差圖在應(yīng)用回歸分析和孫文中都已給出，本文就不重復(fù)繪制圖形了，而是把三種殘差的具體數(shù)值列在表2中，說明加權(quán)普通殘差的作用。表2 三種殘差的數(shù)值序號(hào)126487771.2161E-061692110.233 210592101.1314E-06-27140.015 3

15、9099541.0069E-06-105-66-0.066 4131105089.2837E-07-111-74-0.071 5122109798.6927E-07-159-124-0.116 6107119127.6917E-07-253-221-0.194 7406127476.9485E-07-2540.004 8503134996.3760E-078350.028 9431142695.8669E-07-129-105-0.080 10588155225.1710E-07-78-58-0.042 11898167304.6212E-071301460.099 12950176634.2

16、599E-071031160.0769501E-07-146-135-0.0856346E-07-195-188-0.114 151222211633.2481E-0778800.046 161702228802.8895E-074134090.220 171578241272.6684E-071831760.091 181654256042.4408E-071341220.060 191400265002.3181E-07-195-211-0.102 201829276702.1726E-071341150.054 212200283002

17、.1005E-074524310.197 222017274302.2012E-073433240.152 232105295601.9676E-072502250.100 241600281502.1173E-07-135-156-0.072 252250321001.7388E-071801470.061 262420325001.7068E-073172810.116 272570352501.5110E-072341900.074 281720335001.6309E-07-468-507-0.205 291900360001.4640E-07-500-546-0.209 302100

18、362001.4519E-07-317-364-0.139 312300382001.3394E-07-286-340-0.124 這個(gè)例子共有31對(duì)數(shù)據(jù)，把數(shù)據(jù)分為3組，第110對(duì)數(shù)據(jù)為第1組，是小方差組；1121對(duì)數(shù)據(jù)為第2組，是中等方差組；2231對(duì)數(shù)據(jù)為第3組，是大方差組。從表中看到，第1組10個(gè)普通殘差中有8個(gè)是負(fù)值，說明普通殘差圖中小殘差有整體的負(fù)偏。而10個(gè)加權(quán)殘差中只有6個(gè)是負(fù)值，說明加權(quán)殘差對(duì)小殘差整體負(fù)偏的情況已經(jīng)有了明顯改進(jìn)。10個(gè)普通殘差中絕對(duì)值最大的是= -253，加權(quán)回歸后改善為= -221。圖形是對(duì)數(shù)值的直觀展示，從兩張殘差圖上也是可以看出相同現(xiàn)象的。第3組10個(gè)

19、普通殘差和加權(quán)殘差的正負(fù)性相同，正負(fù)值各有5個(gè)，說明普通最小二乘和加權(quán)最小二乘對(duì)大殘差項(xiàng)擬合的都好。仔細(xì)觀察這組的兩種殘差還是能發(fā)現(xiàn)區(qū)別的，10個(gè)普通殘差中絕對(duì)值最大的是= -500，加權(quán)回歸后成為= -546。不是像小殘差組那樣得到改善，而是誤差變得更大。其道理也很簡(jiǎn)單，加權(quán)最小二乘估計(jì)照顧小殘差項(xiàng)是以犧牲大殘差項(xiàng)為代價(jià)的，有得必有失，也是有局限性的。孫文中認(rèn)為加權(quán)殘差圖存在一定的局限性，具體表現(xiàn)在：“第一，這類殘差圖不能用來檢驗(yàn)?zāi)Ｐ褪欠翊嬖诋惙讲顔栴}。第二，這類殘差圖也不能用來說明模型中的異方差問題是否得到妥善處理?！标P(guān)于第一點(diǎn)，準(zhǔn)確地說是不必用加權(quán)殘差圖檢驗(yàn)?zāi)Ｐ褪欠翊嬖诋惙讲顔栴}，并非不

20、能用，這是因?yàn)闄z驗(yàn)?zāi)Ｐ褪欠翊嬖诋惙讲顔栴}的工作已經(jīng)由普通殘差圖完成。實(shí)際上用加權(quán)普通殘差圖檢驗(yàn)異方差的效果是優(yōu)于普通殘差圖的，這是因?yàn)榇嬖诋惙讲顣r(shí)普通殘差對(duì)誤差的估計(jì)是失真的，而加權(quán)殘差則能夠更真實(shí)地反映誤差項(xiàng)的大小。關(guān)于第二點(diǎn)，如果從加權(quán)殘差圖中看到小殘差項(xiàng)已經(jīng)沒有整體的正偏或負(fù)偏，則說明加權(quán)最小二乘估計(jì)已經(jīng)消除了異方差的影響。孫文中提出的加權(quán)變換殘差圖（第二類殘差圖）是有其長(zhǎng)處的，可以比加權(quán)普通殘差圖（第三類殘差圖）更直觀地看出加權(quán)最小二乘估計(jì)是否真正解決了異方差問題，這只要看看殘差圖中散點(diǎn)在左右兩端分布得是否平齊即可。還可以由加權(quán)變換殘差用等級(jí)相關(guān)系數(shù)法做檢驗(yàn)，判斷異方差是否真正得以消除

21、，這個(gè)作用是加權(quán)普通殘差不具備的。這兩個(gè)作用在孫文中已經(jīng)詳細(xì)介紹。順便指出孫文以加權(quán)變換殘差為縱軸，分別以兩個(gè)變換后的自變量和為橫軸繪制出兩張殘差圖是不必要的，實(shí)際上這兩張殘差圖是等價(jià)的，從圖形上看只是左右顛倒。加權(quán)變換殘差的數(shù)值是對(duì)原始數(shù)據(jù)的殘差做了變換，其數(shù)值大小只具有相對(duì)意義。加權(quán)普通殘差是原始數(shù)據(jù)的殘差，其數(shù)值大小具有絕對(duì)意義，它綜合了普通殘差和加權(quán)變換殘差的部分功能，當(dāng)然同時(shí)也喪失了部分功能。孫文中講述了用變換加權(quán)最小二乘法計(jì)算加權(quán)變換殘差的方法。實(shí)際上，在用SPSS軟件計(jì)算出權(quán)數(shù)和加權(quán)普通殘差后，只須根據(jù)關(guān)系就可以計(jì)算出加權(quán)變換殘差，而不必用變換加權(quán)最小二乘方法。拙作應(yīng)用回歸分析在

22、正文中對(duì)加權(quán)變換殘差圖完全沒有提及，不過“本章小結(jié)與評(píng)注”中的一句話“如果把誤差項(xiàng)加權(quán)，那么加權(quán)的誤差項(xiàng)是等方差的”，可以看作是對(duì)加權(quán)變換殘差的詮釋。拙作應(yīng)用回歸分析關(guān)于加權(quán)普通殘差圖的內(nèi)容是這樣講述的：“為了畫殘差圖，需要計(jì)算出加權(quán)最小二乘估計(jì)的殘差，這需要重新做回歸。第一步，在Weight Estimation對(duì)話框的Options選項(xiàng)中，保存最優(yōu)權(quán)作為新的變量。第二步，進(jìn)入線性回歸對(duì)話框，點(diǎn)選左下角的WLS，線性回歸對(duì)話框會(huì)增加一行Weight變量框，把在第一步保存的最優(yōu)權(quán)變量選入。第三步，點(diǎn)選線性回歸對(duì)話框的Save選項(xiàng)，保存殘差變量，運(yùn)行。第四步，以自變量x為橫軸，以加權(quán)最小二乘估計(jì)

23、的殘差為縱軸畫殘差圖”這段內(nèi)容的直接作用是介紹加權(quán)普通殘差圖的繪制方法，其間接作用是介紹SPSS軟件加權(quán)最小二乘估計(jì)功能的使用方法，也就是“第二步”的內(nèi)容。在SPSS軟件中，加權(quán)最小二乘回歸具有普通最小二乘回歸的很多功能，包括共線性診斷、異常值判定、自相關(guān)分析、區(qū)間預(yù)測(cè)等等，這些功能都是以“第二步”的內(nèi)容為基礎(chǔ)的，計(jì)算殘差只是眾多功能之一而已。用圖形來評(píng)價(jià)結(jié)果往往只是一種粗糙的輔助手段。正像我們?cè)谧咀鲬?yīng)用回歸分析第121頁“本章小結(jié)與評(píng)注”上強(qiáng)調(diào)指出：“關(guān)于異方差性的診斷，方法很多，至于哪種檢驗(yàn)方法最好，目前還沒有一致的看法。殘差圖方法直觀但較粗糙。等級(jí)相關(guān)系數(shù)檢驗(yàn)要比殘差圖檢驗(yàn)方法更為可取。

24、”四、對(duì)異方差問題的深入思考拙作應(yīng)用回歸分析教材定位于統(tǒng)計(jì)學(xué)專業(yè)的本科生或非統(tǒng)計(jì)學(xué)專業(yè)的碩士生，作為3學(xué)分54學(xué)時(shí)的課程教材，限制篇幅和深度，教材中對(duì)一些問題不可能全面展開敘述，在此對(duì)異方差的一些問題再做進(jìn)一步探討。當(dāng)回歸模型存在異方差時(shí)，加權(quán)最小二乘估計(jì)只是對(duì)普通最小二乘估計(jì)的改進(jìn)，這種改進(jìn)有可能是細(xì)微的，不能理解為加權(quán)最小二乘估計(jì)會(huì)得到與普通最小二乘估計(jì)截然不同的回歸方程，或者一定有大幅度的改進(jìn)。對(duì)本例的數(shù)據(jù)，普通最小二乘的經(jīng)驗(yàn)回歸方程是，加權(quán)最小二乘的經(jīng)驗(yàn)回歸方程是，兩者相差不大。比較加權(quán)普通殘差圖與普通殘差圖的差異就可以如實(shí)反映這種改進(jìn)幅度。看來需要強(qiáng)調(diào)指出的是這個(gè)改進(jìn)幅度不是指是否變

25、為等方差了，而是指回歸方程也就是回歸系數(shù)估計(jì)值的差異幅度，在這一問題上加權(quán)普通殘差圖是優(yōu)于加權(quán)變換殘差圖的。實(shí)際上，可以構(gòu)造出這樣的數(shù)據(jù)，回歸模型存在很強(qiáng)的異方差，加權(quán)回歸后變?yōu)榈确讲盍?，但是普通最小二乘與加權(quán)最小二乘所得的回歸方程卻完全一樣。加權(quán)最小二乘以犧牲大方差項(xiàng)的擬合效果為代價(jià)改善了小方差項(xiàng)的擬合效果，這也并不總是研究者所需要的。在社會(huì)經(jīng)濟(jì)現(xiàn)象中，通常變量取值大時(shí)方差也大，在以經(jīng)濟(jì)總量為研究目標(biāo)時(shí)，更關(guān)心的是變量取值大的項(xiàng)，而普通最小二乘恰好能滿足這個(gè)要求。動(dòng)態(tài)數(shù)據(jù)的指數(shù)平滑法把近期數(shù)據(jù)加上大的權(quán)數(shù)，強(qiáng)調(diào)近期數(shù)據(jù)的貢獻(xiàn)就是這樣的統(tǒng)計(jì)思想。加權(quán)最小二乘估計(jì)的理論權(quán)數(shù)是式（4），但是實(shí)際使

26、用的只能是近似的，通常取為某個(gè)自變量平方的倒數(shù)，即。對(duì)本例的數(shù)據(jù)，取，加權(quán)最小二乘回歸方程為，判定系數(shù)=0.933。而取最優(yōu)權(quán)數(shù)所得加權(quán)最小二乘回歸方程為，=0.936，兩者非常接近。所以當(dāng)手頭沒有SPSS軟件時(shí)，直接取是一個(gè)可行的方法，這時(shí)對(duì)加權(quán)最小二乘回歸的效果要用殘差圖等方法驗(yàn)證。如前所述，當(dāng)用變換變量方法做加權(quán)最小二乘估計(jì)時(shí)，選取的一個(gè)好處是回歸模型中仍然含有常數(shù)項(xiàng)，這時(shí)不同軟件對(duì)回歸擬合優(yōu)度檢驗(yàn)的結(jié)果就一致了。異方差問題是社會(huì)經(jīng)濟(jì)現(xiàn)象建立回歸模型時(shí)的普遍問題，加權(quán)最小二乘估計(jì)是解決異方差的一個(gè)常用方法，另外一個(gè)方法是當(dāng)模型存在異方差性時(shí),人們往往還考慮對(duì)因變量作變換,使得對(duì)變換過后的數(shù)據(jù)誤差方差能夠近似相等,即方差比較穩(wěn)定,所以通常稱這種變換為方差穩(wěn)定化變換，常見的變量變換有如下幾種。(1)如果與存在一定的比例關(guān)系,使用;(2)如果與存在一定的比例關(guān)系,使用;(3)如果與存在一定的比例關(guān)系,使用方差穩(wěn)定變換在改變誤差項(xiàng)方差的同時(shí)，也會(huì)改變誤差項(xiàng)的分