放寬條件的回歸模型異方差性

放寬條件的回歸模型異方差性第1頁，共25頁，2023年，2月20日，星期五在前面的學(xué)習(xí)中，我們詳盡的考察了經(jīng)典正態(tài)線性回歸模型，我們用它來進(jìn)行估計和假設(shè)檢驗和預(yù)測問題。但是，這個模型是建立在一些簡化了的假定基礎(chǔ)之上的。這些假定包括：1.回歸模型對于參數(shù)而言是線性的。2.各回歸元X的值在重復(fù)抽樣中是固定的。3.給定的X，干擾ui的均值為零。4.對于給定的X，ui的方差不變或稱之為同方差性。5.對于給定的X，干擾無自相關(guān)。6.如果X是隨機的，則干擾項與各個X是獨立的至少是不相關(guān)的。7.觀測的次數(shù)大于回歸元的個數(shù)。8.回歸元的取值必須有足夠的變異性。9.回歸模型被正確的設(shè)定。10.回歸元之間無多重共線性。11.隨機干擾項ui是正態(tài)分布的。第2頁，共25頁，2023年，2月20日，星期五遺憾的是，我們尚無法對所有的問題都給出令人滿意的答案。接下來的工作中，我們對某些假定給予更多的注意，當(dāng)然有些假定我們并不過分的深究，特別是假定1、2、3、6和11中的問題。威瑟里爾（Wetherill）指出，實際上在應(yīng)用經(jīng)典線性回歸模型時，有兩類問題需要注意：（1）關(guān)于模型設(shè)定及對干擾項ui的假定問題，諸如假定1、2、3、4、5、9和11；（2）關(guān)于對數(shù)據(jù)的假定問題，諸如6、7、8和10。關(guān)于對來自干擾和模型設(shè)定的假定問題主要有三：1.要偏離一個具體的假定多遠(yuǎn)才會產(chǎn)生不可忽視的差別？如ui不是正態(tài)分布，那么我們能夠容忍多大程度上的正態(tài)性偏離？2.在一個具體問題中，我們怎樣發(fā)現(xiàn)某一個假定被破壞？比方說我們介紹過利用雅克-貝拉檢驗來檢驗ui的正態(tài)性。3.如果一個或者多個假定被破壞，我們能夠采用什么樣的補救措施？第3頁，共25頁，2023年，2月20日，星期五在剩下的問題中，假定7、8和10是緊密相關(guān)的，我們在多重共線性問題中探討；假定4在異方差問題中探討；假定5在自相關(guān)問題中探討。我們在探討這些問題的時候，遵循下列范式：1.明確問題的性質(zhì)；2.分析它的影響；3.提出偵測它的方法；4.考慮補救的措施。第4頁，共25頁，2023年，2月20日，星期五2異方差性經(jīng)典線性回歸模型假定：假定4：對于給定的X，ui的方差不變或稱之為同方差性。1.異方差的性質(zhì)以解釋變量的給定值為條件的每一個干擾ui的方差是一個等于的常數(shù)，即同方差性。同方差性意味等同的分散程度。用符號來表示：從圖形上來看，以給定Xi為條件的Yi的條件方差（等于ui的條件方差），不管變量X取什么值，都保持不變。第5頁，共25頁，2023年，2月20日，星期五如果隨著Xi的取值的變化，方差不再是一個常數(shù)，則稱存在異方差性。用符號來表示：下圖表明，Yi的條件方差隨著X增加而增加：第6頁，共25頁，2023年，2月20日，星期五ui方差變化的理由（1）邊錯邊改學(xué)習(xí)模型。人們在學(xué)習(xí)的過程中，其行為誤差隨時間而減少。這時，預(yù)測會減小。例如，在給定的時間里，隨著打字練習(xí)時間的增加，不僅打字出錯的個數(shù)而且打錯個數(shù)的方差都有所下降。很多人類的行為，包括經(jīng)濟行為也遵循著學(xué)習(xí)模型。例如生產(chǎn)。第7頁，共25頁，2023年，2月20日，星期五（2）隨著收入的增長，人們有更多的備用收入，從而如何支配它們的收入有了更大的選擇范圍。例如，做儲蓄對收入的回歸時，很可能發(fā)現(xiàn)與收入具增。同理利潤豐厚的公司比利潤微薄的公司在紅利分配政策上，可以預(yù)料有更大的變化。（3）隨著數(shù)據(jù)采集技術(shù)的改進(jìn)，可能減小。（4）異常值出現(xiàn)，往往產(chǎn)生異方差。例如，下圖描繪了二次世界大戰(zhàn)之后到1969年20個國家的股票價格波動于消費價格波動的關(guān)系。圖中，智利的觀測值遠(yuǎn)大于其他國家，可看做一個異常值。類似這種情況，同方差性就無法保證了。剔除異常值是通常維持同方差性的方法之一。第8頁，共25頁，2023年，2月20日，星期五（5）回歸模型設(shè)定是不正確的。例如在一個對商品的需求函數(shù)中，忽略了互補或替代商品的價格，則回歸殘差可能會給人以異方差的表象；而將所忽略的變量包含在內(nèi)時，這種印象也許就消失了。注意，異方差問題在橫截面數(shù)據(jù)中比時間序列數(shù)據(jù)中更常見?？紤]下面一個例子。第9頁，共25頁，2023年，2月20日，星期五平均地來看，大的廠商比小的廠商平均支付更多的工資。但是在不同的行業(yè)工資有較大的變異性。這一點還可以從職工人數(shù)組組內(nèi)的工資極差（最高與最低值的差）看出來。從一組到另一組，極差說明了各職工人數(shù)組的工資收入的異方差性。第10頁，共25頁，2023年，2月20日，星期五2.出現(xiàn)異方差時的OLS估計現(xiàn)在引入異方差性，保留經(jīng)典模型的其他所有假定，雙變量模型的OLS估計是：第11頁，共25頁，2023年，2月20日，星期五此時，方差的表達(dá)式不同于同方差假定下的方差公式：當(dāng)然如果對于每一個i都有，這兩個公式是相同的。第12頁，共25頁，2023年，2月20日，星期五如果經(jīng)典模型的所有假定，包括同方差性在內(nèi)，全部成立，則是最優(yōu)線性無偏估計量（BLUE）?，F(xiàn)在我們?nèi)∠讲钚缘募僭O(shè)，容易證明仍然是線性的和無偏的。但是它不是最優(yōu)的。為什么雖然是無偏的但不是最優(yōu)的？直觀的理由是：好比在一個袋子中隨機摸兩種顏色的彩球，如果紅球的數(shù)量是黑球的兩倍，那么隨機摸出紅球的數(shù)量也是黑球的兩倍，公平起見，我們規(guī)定摸一次黑球等于兩個紅球，這樣摸出紅球和黑球的幾率才會相等。那么我們?nèi)绾卧诨貧w中利用這種組間的變異呢？如圖所示，個就業(yè)組之間的工薪收入有相當(dāng)大的變異。如果我們做工薪收入對就業(yè)人數(shù)回歸，不同就業(yè)人數(shù)的工薪收入變化是不同的，雇傭人數(shù)少的和雇傭人數(shù)多的企業(yè)的工薪收入差別大，而雇傭人數(shù)居中的企業(yè)的工薪收入差別小。第13頁，共25頁，2023年，2月20日，星期五3.廣義最小二乘法（GLS）剛才說了，我們需要對這種組間變異知識加以利用。最理性的是，設(shè)計這樣一種估計方案：對來自變異較大的總體的觀測值賦予較小的權(quán)重，而對來自變異較小的總體的觀測值賦予較大的權(quán)重。從而我們能夠更準(zhǔn)確的估計樣本回歸函數(shù)（SRF）。我們把上述思路下的最小二乘法稱為廣義最小二乘法（GLS），這種估計方法能夠?qū)γ恳粋€觀測值不同的重視或賦予不同的權(quán)重，因而其估計量是BLUE。利用我們熟悉的雙變量模型：第14頁，共25頁，2023年，2月20日，星期五上述變換的意義何在？注意變換后的誤差項的方差是一個常數(shù)，就是說，我們的模型現(xiàn)在有了同方差性。我們把OLS應(yīng)用到變換了后的模型：這是估計出來的是BLUE，而OLS估計量則不是。先將原始變量轉(zhuǎn)換成滿足經(jīng)典模型假設(shè)的轉(zhuǎn)換變量，然后對它們使用OLS程序，叫做廣義最小二乘（GLS）法。如此得到的估計量被稱為GLS估計量。這些估計量是BLUE。第15頁，共25頁，2023年，2月20日，星期五估計的步驟：第16頁，共25頁，2023年，2月20日，星期五OLS和GLS的差別在GLS和OLS中，我們殘差平方和的表達(dá)式分別是：很容易看出來，在GLS中我們最小化以為權(quán)重的一個加權(quán)殘差平方和，而OLS中我們最小化了一個無權(quán)或等權(quán)的殘差平方和。為了更清楚的說明OLS和GLS，考慮下圖：在OLS中，點A、B、C的誤差，在RSS最小化的過程中都得到了相等的加權(quán)。顯然C點的誤差對RSS起到的主導(dǎo)的作用。而在GLS中，C點觀測值和另外兩個觀測值相比，將獲得較小的權(quán)重，這樣我們更可靠的估計了PRF。我們把這種回歸稱為加權(quán)最小二乘（WLS）。WLS是更為一般的估計方法的GLS的一種特殊形式。第17頁，共25頁，2023年，2月20日，星期五4.出現(xiàn)異方差時使用OLS的后果（1）考慮異方差性的OLS估計如果我們考慮了異方差性，且我們利用公式：給出方差，可以證明。就是說，根據(jù)做出的置信區(qū)間將會無謂的過大。結(jié)果t和F檢驗很可能給我們提供了不準(zhǔn)確的結(jié)果。（2）忽視異方差的OLS估計如果我們在懷疑存在異方差的情況下，仍然使用OLS，這樣情況就變得嚴(yán)重了。是有偏估計。就是說，它有可能高估也有可能低估了真實的方差。這樣就不會是的無偏估計量。因此，我們不能再依賴通常計算的置信區(qū)間和通常使用的t檢驗和F檢驗?？傊绻覀兒鲆暜惙讲疃褂脩T常的檢驗程序，則無論我們得到什么結(jié)論或做出什么推斷，都可能產(chǎn)生嚴(yán)重的誤導(dǎo)。第18頁，共25頁，2023年，2月20日，星期五5.異方差的偵測（1）問題的性質(zhì)：根據(jù)我們研究的問題的性質(zhì)，可以判斷是否會遇到異方差。例如消費對收入的回歸，殘差的方差往往隨收入的增加而增加。一般的，在涉及不均勻單元的橫截面數(shù)據(jù)，往往存在異方差。如投資于銷售量、利率的關(guān)系中，如果樣本中同時包含大、中、小企業(yè)，一般存在異方差。（2）圖示法：先在普通OLS法下做回歸分析，然后對RSS做檢查。圖中，縱軸是而橫軸是，我們的用意是找出Y的估計均值是否與平方殘差有任何系統(tǒng)的聯(lián)系。（a）中沒有任何系統(tǒng)聯(lián)系，不存在異方差。（b）到（e）則呈現(xiàn)一定的樣式，其中（d）和（e）表示存在二次關(guān)系?？赡艽嬖诋惙讲睢５?9頁，共25頁，2023年，2月20日，星期五帕克（Park）檢驗帕克提出是解釋變量Xi的某種函數(shù)，由于通常是未知的。帕克建議用來替代，并做如下回歸。如果參數(shù)β表現(xiàn)為統(tǒng)計上顯著的，就表明數(shù)據(jù)中存在異方差性。如果它不顯著，則可以接受同方差性的假設(shè)。帕克檢驗的程序：步驟1：做OLS回歸，不考慮異方差性。步驟2：利用回歸中得到的對解釋變量Xi做回歸。步驟3：根據(jù)第二次回歸的參數(shù)估計，判斷是否存在異方差性。第20頁，共25頁，2023年，2月20日，星期五格萊澤（Glejser）檢驗格萊澤檢驗的思想與帕克檢驗基本相當(dāng)。格萊澤檢驗，在從OLS回歸中取得殘差后，用的絕對值對被認(rèn)為與密切相關(guān)的X變量做回歸。在他的實驗中，使用以下多種函數(shù)形式。格萊澤發(fā)現(xiàn)，對于大樣本來說，前四個模型在異方差的偵測中都能夠給出較滿意的結(jié)果。第21頁，共25頁，2023年，2月20日，星期五斯皮爾曼（Spearman）等級相關(guān)檢驗定義斯皮爾曼等級相關(guān)系數(shù)：其中，di是第i個單元或現(xiàn)象的不同性質(zhì)所處的等級之差，n的樣本大小。斯皮爾曼（Spearman）等級相關(guān)檢驗程序：步驟1：對Y和X做回歸分析，求出殘差。步驟2：忽視的符號，同時將||和Xi（或Yi）按照遞升或遞減的次序劃分等級，計算斯皮爾曼等級相關(guān)系數(shù)。步驟3：假定總體等級相關(guān)系數(shù)為零，且n>8，樣本rs的顯著性可通過自由度為（n-2）的t檢驗，如果計算的t值超過臨界t值可以接受異方差性假設(shè)，否則拒絕。如果回歸模型涉及多元解釋變量，則可在||與每個X之間分別計算rs，再做t做統(tǒng)計顯著性檢驗。第22頁，共25頁，2023年，2月20日，星期五斯皮爾曼等級相關(guān)檢驗的例子應(yīng)用公式：rs=0.3333；t=0.9998,對于8個自由度，在10%的顯著水平上，這個t值不顯著（p=0.17）。因此認(rèn)為沒有異方差性。第23頁，共25頁，2023年，2月20日，星期五懷特（White）的一般異方差性檢驗考慮一個三變量回歸模型：懷特檢驗的程序如下：步驟1：對給定的數(shù)據(jù)，估計上述方程并得到殘差。步驟2：再做如下回歸：就是，回歸的殘差平方對解釋變量X、它們的平方和交叉乘積做回歸。從這個回歸中求R2。