5--第三章多重回歸.doc

第三部 線性分析第三章 多重回歸第三章 多重回歸 1 多重回歸模型和主要結(jié)果2 多重共線性 multicolllinearity3. 要因分解4. 虛擬變量 (dummy variable) 5. 回歸與相關(guān)，相關(guān)與因果6. 因果檢驗(yàn)7練習(xí)題1多重回歸模型和主要結(jié)果1-1 多重回歸模型 說(shuō)明變量?jī)蓚€(gè)或兩個(gè)以上的回歸模型叫多重回歸模型。 可表示為： 被說(shuō)明變量的變動(dòng)想用k個(gè)說(shuō)明變量來(lái)解釋，所以我們有時(shí)也把上面的模型叫做向說(shuō)明變量所作的線性回歸。 為簡(jiǎn)單起見(jiàn)，本章我們所研究的多重回歸指的是 ，很容易把兩個(gè)結(jié)論拓展到其他三個(gè)說(shuō)明變量或三個(gè)以上說(shuō)明變量的情況。計(jì)量經(jīng)濟(jì)學(xué)的三項(xiàng)主要工作：（1） 求出參數(shù)的無(wú)偏估計(jì)；（2） 對(duì)估計(jì)量進(jìn)行統(tǒng)計(jì)檢驗(yàn)；（3） 進(jìn)行預(yù)測(cè)注意事項(xiàng)：中的稱為偏相關(guān)系數(shù)。意義是，度量了在不變的情況下，每變化一個(gè)單位，被說(shuō)明變量Y的期望值E(Y)的變化量。同理，度量了在不變的情況下，每變化一個(gè)單位，被說(shuō)明變量Y的期望值E(Y)的變化量。這是多元回歸特殊的地方。在多元回歸里，我們想知道Y的期望值的變化有多少是直接受的影響，有多少是直接受的影響。偏相關(guān)系數(shù)反映的是當(dāng)模型中的一個(gè)在固定說(shuō)明變量的情況下，另一個(gè)說(shuō)明變量對(duì)被說(shuō)明變量期望值的影響。多元回歸這種獨(dú)特的性質(zhì)，不僅可以使我們引入多個(gè)說(shuō)明變量，而且也可以使我們能夠分離每一個(gè)變量對(duì)被說(shuō)明變量的影響。偏相關(guān)和偏相關(guān)系數(shù) 檢驗(yàn)兩個(gè)變量之間是否存在相關(guān)，或者存在偽相關(guān)需要專業(yè)知識(shí)。簡(jiǎn)單的，我們可以使用偏相關(guān)系數(shù)來(lái)判斷。對(duì)于變量，我們假設(shè) 固定的情況下，和之間的相關(guān)關(guān)系； 固定的情況下，和之間的相關(guān)關(guān)系；在固定的情況下，和之間的相關(guān)關(guān)系。與不同，考慮了變量對(duì)變量Y和的影響。雖然，對(duì)Y都有影響，但是我們想知道的是在固定的情況下，對(duì)Y的影響?？梢酝ㄟ^(guò)以下的方法得到。1） 求出說(shuō)明變量對(duì)被說(shuō)明變量Y的變化解釋不了的那個(gè)部分，；2） 求出說(shuō)明變量對(duì)被說(shuō)明變量 的變化解釋不了的那個(gè)部分，；3） 計(jì)算偏相關(guān)系數(shù)，就是中的相關(guān)系數(shù)， 用行列表示多重回歸 其中， ， ， 。 預(yù)測(cè)方程為 ： 模型的假設(shè)（1） ； - ； ；（4） ；（5） 之間無(wú)明確的線性關(guān)系； - ；（6） - 。假設(shè)（5）的說(shuō)明： 情況1 if ，then would be equal to , ； 情況2 如果，那么和對(duì)被說(shuō)明變量Y的說(shuō)明能力完全一樣（注意：它們都是矢量），因此可以簡(jiǎn)化為 ； 情況3 如果與之間的夾角介于和之間的時(shí)候，回歸模型實(shí)際上是盡可能地用說(shuō)明變量去解釋,用不能解釋的部分再嘗試用去解釋。參數(shù)的最小二乘估計(jì) 其中， 。簡(jiǎn)化為， = 回歸平面：Y 1-2 主要結(jié)果(1) 的最小二乘估計(jì)量和方差 其中，； 其中，代表說(shuō)明變量的相關(guān)系數(shù)。 上一章單變量回歸中，參數(shù)估計(jì)的方差是。 為了使的估計(jì)精度更高，我們一般盡可能地讓說(shuō)明變量在較大范圍內(nèi)變動(dòng)，達(dá)到使增大，進(jìn)而達(dá)到使減少的目的。對(duì)于有兩個(gè)說(shuō)明變量的多重回歸模型來(lái)說(shuō)，同樣可以達(dá)到目的。減小（說(shuō)明變量的相關(guān)系數(shù)），我們就可以增大，從而達(dá)到減小和的目的。當(dāng)，說(shuō)明變量線性無(wú)關(guān)的情況，多重回歸所得到的參數(shù)估計(jì)以及其方差與單變量回歸所得到的參數(shù)的估計(jì)值以及方差是完全一致的。盡可能地減少兩個(gè)說(shuō)明變量的相關(guān)，就能達(dá)到提高參數(shù)估計(jì)的精度。（2）隨機(jī)誤差項(xiàng)方差的估計(jì)量 這里 假設(shè) ，于是，。 于是，。其中， 的不偏估計(jì) 誤差項(xiàng)的方差是個(gè)未知的參數(shù)，它是由殘差來(lái)推定的。殘差有三個(gè)制約條件：， ， 。所以n個(gè)殘差要損失3個(gè)自由空間，即自由度為3。因此的不偏估計(jì)為 。參數(shù)估計(jì)量的性質(zhì)：無(wú)偏性；最小方差 (3) 參數(shù)估計(jì)值的方差的不偏推定 (4) 多重決定系數(shù) （Multiple Coefficient of Determination） 在一元回歸模型中，用決定系數(shù)來(lái)判斷樣本回歸直線的擬合程度，也就是說(shuō)，決定系數(shù)給出了說(shuō)明變量X對(duì)被說(shuō)明變量的說(shuō)明程度或解釋程度。在多元回歸中，決定系數(shù)反映的是說(shuō)明變量一起對(duì)被說(shuō)明變量的解釋程度。 在雙變量多重回歸的情況下， 所以這時(shí)的決定系數(shù)為 叫多重相關(guān)系數(shù) (multiple correlation coefficient) 。用自由度修正過(guò)的決定系數(shù)（coefficient of determination adjusted for the degree of freedom）在計(jì)量分析中，我們總希望決定系數(shù)越大越好。但是決定系數(shù)的大小與說(shuō)明變量的個(gè)數(shù)有關(guān)，說(shuō)明變量的個(gè)數(shù)越多，決定系數(shù)也就越大，即決定系數(shù)是說(shuō)明變量個(gè)數(shù)的遞增函數(shù)。 為了達(dá)到可比的目的，我們根據(jù)模型中說(shuō)明變量的個(gè)數(shù)對(duì)決定系數(shù)進(jìn)行修正，得到修整的決定系數(shù)（adjusted ）, ； 其中，k為說(shuō)明變量的個(gè)數(shù)， 隨機(jī)變量的樣本方差的無(wú)偏估計(jì)； 被說(shuō)明變量的樣本方差。修正的決定系數(shù)的性質(zhì)：1） 時(shí)，有。隨著模型中的說(shuō)明變量的增加，會(huì)越來(lái)越小于；2） 我們總有， 而卻不一定能夠保證， 。一般，統(tǒng)計(jì)軟件中都會(huì)給出。可以使我們對(duì)被說(shuō)明變量相同，說(shuō)明變量個(gè)數(shù)不同的回歸模型的擬合程度進(jìn)行比較。 =， 如果，那么，說(shuō)明是一個(gè)比較小的數(shù)。=與比較 意味著 如果 - 說(shuō)明即使，也是按的大小判斷模型擬合的好壞。(5) 的特性和樣本分布 多重回歸所得到的 與單回歸得到的 具有同樣的性質(zhì)。樣本分布：（6） 顯著性檢驗(yàn)與置信區(qū)間顯著性檢驗(yàn)： 在一定的顯著性水平下，從總體上對(duì)模型中被解釋變量與解釋變量之間的關(guān)系是否顯著成立而進(jìn)行的一種統(tǒng)計(jì)檢驗(yàn)。檢驗(yàn)方法 ：F 檢驗(yàn)法總體上把握顯著性的有無(wú)步驟1 建立原假設(shè)和備擇假設(shè) 步驟2 計(jì)算檢驗(yàn)統(tǒng)計(jì)量 步驟3 查F分布表， 得到 ；步驟4 比較與的大小， 如果， 拒絕原假設(shè)，也就是意味著說(shuō)明變量與被說(shuō)明變量之間存在顯著的線性關(guān)系。單個(gè)參數(shù)顯著性檢驗(yàn)：t檢驗(yàn)。步驟1 建立原假設(shè)和備擇假設(shè) 步驟2 計(jì)算檢驗(yàn)統(tǒng)計(jì)量 步驟3 查t分布表， 得到 ；步驟4 比較與的大小， 如果，或者 拒絕原假設(shè)，也就是這個(gè)說(shuō)明變量與被說(shuō)明變量之間存在顯著的線性關(guān)系。參數(shù)的置信區(qū)間由 ， 得到 。（7）預(yù)測(cè)點(diǎn)預(yù)測(cè) 區(qū)間預(yù)測(cè)：因?yàn)槿藗兏Ｍ玫揭粋€(gè)以相當(dāng)大的可能性包含被說(shuō)明變量的真實(shí)值的區(qū)間。這個(gè)區(qū)間就是數(shù)理統(tǒng)計(jì)學(xué)的置信區(qū)間，我們稱之為預(yù)測(cè)區(qū)間。置信度為的預(yù)測(cè)區(qū)間： ；其中， ， - 歷史數(shù)據(jù)1-3 用Excel 進(jìn)行多元回歸分析步驟1 計(jì)算偏差。具體，；步驟2 計(jì)算二次項(xiàng)。 具體， 。步驟3 計(jì)算D , , .步驟4 計(jì)算。 具體， ， 。例題： 2 多重共線性 multicolllinearity2-1 多重共線現(xiàn)象現(xiàn)象1 決定系數(shù)很高，t值卻很低；現(xiàn)象2 參數(shù)估計(jì)的符號(hào)與理論上的符號(hào)不一致 ;現(xiàn)象3 參數(shù)估計(jì)對(duì)樣本的依賴性太大。樣本的數(shù)量稍有所變化，會(huì)導(dǎo)致參數(shù)估計(jì)發(fā)生很大的變化。 在多重回歸，當(dāng)說(shuō)明變量之間的相關(guān)程度比較高的時(shí)候，參數(shù)估計(jì)的精度將大大降低。舉個(gè)例子來(lái)說(shuō)明一下多重共線的現(xiàn)象：對(duì)模型 來(lái)說(shuō)，如果說(shuō)明變量完全相關(guān)的話，它們可用下面方程式來(lái)表示，。如果完全相關(guān)，即，我們知道 =0， 所以 這三個(gè)參數(shù)都將無(wú)法估計(jì)。進(jìn)一步，我們把代入到雙變量多重回歸模型中，得到，雙變量的多重回歸實(shí)際上就變成了單變量的回歸。在新的單變量回歸模型中，我們只能估計(jì)和這兩個(gè)參數(shù)。雖然我們可以通過(guò)將第二個(gè)說(shuō)明變量消去得到一個(gè)新的單變量的回歸模型，但是我們卻無(wú)法估計(jì)原來(lái)多重回歸模型中的參數(shù)。還有一種情況是完全不相關(guān)，即，這時(shí)，只要被說(shuō)明變量分別對(duì)說(shuō)明變量作回歸，然后分別估計(jì)相應(yīng)的參數(shù)即可。其結(jié)果與單變量的回歸一樣。 更多的情況是說(shuō)明變量之間具有相關(guān)性，但不是完全相關(guān)，即。 實(shí)際上，時(shí)間系列數(shù)據(jù)中經(jīng)常發(fā)生說(shuō)明變量之間具有高度的相關(guān)性。2-2 后果 在多重回歸，當(dāng)說(shuō)明變量之間的相關(guān)程度比較高的時(shí)候，參數(shù)估計(jì)的精度將大大降低。2-3 多重共線的檢驗(yàn) 方差擴(kuò)大要因的VIF （Variance Inflation Factor） VIF的定義： 為什么VIF可以測(cè)量方差擴(kuò)大的程度？ 前面提到的參數(shù)估計(jì) 當(dāng)說(shuō)明變量之間的相關(guān)性越強(qiáng)，VIF越大，參數(shù)估計(jì)的方差就越大。當(dāng)VIF=1的時(shí)候，；當(dāng)VIF=10的時(shí)候，；當(dāng)VIF=20的時(shí)候，。大體上，我們認(rèn)為的時(shí)候，就有多重共線的擔(dān)心。 因?yàn)榇嬖诙嘀毓簿€，參數(shù)估計(jì)的精度變壞這一點(diǎn)，我們可以通過(guò)確認(rèn)參數(shù)的信賴區(qū)間隨著VIF而變大得到證實(shí)。 的信賴區(qū)間是，信賴區(qū)間的大小是當(dāng)說(shuō)明變量之間無(wú)關(guān)時(shí)，VIF=1；當(dāng)說(shuō)明變量之間存在線性相關(guān)時(shí)，參數(shù)估計(jì)的信賴區(qū)間將擴(kuò)大倍。2-4 解決辦法方法1. 什么也不做。 因?yàn)槎嘀毓簿€問(wèn)題既不是理論模型建得不對(duì)，也不是誤差項(xiàng)的假設(shè)有誤，而是現(xiàn)實(shí)中的問(wèn)題，所以如果我們估計(jì)的參數(shù)的大小，符號(hào)與經(jīng)濟(jì)理論不發(fā)生矛盾的話，如果相應(yīng)的t統(tǒng)計(jì)量也時(shí)有意義的話，決定系數(shù)也時(shí)有意義的話，即使方差擴(kuò)大要因VIF較大，也可以。這就是我們所謂的什么也不做。舉個(gè)例子說(shuō)明一下如何看待這種方法。例如,方法2. 有沒(méi)有可以追加的情報(bào)。 例如，增加數(shù)據(jù)的數(shù)量，（延長(zhǎng)數(shù)據(jù)采集的時(shí)期，把年次數(shù)據(jù)變?yōu)榘肽昶跀?shù)據(jù)，季度數(shù)據(jù)，月度數(shù)據(jù)，或每周的數(shù)據(jù)，或者每日的數(shù)據(jù)等等） 有時(shí)候隨著情報(bào)的豐富，多重共線現(xiàn)象可以得到回避。有時(shí)候用年報(bào)數(shù)據(jù)來(lái)估計(jì)理論模型時(shí)，各種估計(jì)可能不是很理想，這時(shí)我們?nèi)绻麚Q成季報(bào)數(shù)據(jù)或月報(bào)數(shù)據(jù)的話，隨著數(shù)據(jù)的增加，情報(bào)的豐富，有可能回避多重共線現(xiàn)象。 例如，方法3. 嘗試改變函數(shù)的形式。 例如，先做階差，或者比率后再進(jìn)行多重回歸分析。方法4. 把VIF較大的說(shuō)明變量從系統(tǒng)因素中去掉。方法5. 用Ridge進(jìn)行估計(jì)。 出現(xiàn)多重共線現(xiàn)象時(shí)，最小二乘估計(jì)（OLS）已經(jīng)不再是最好的不偏線性估計(jì)量。這時(shí)，我們可以改用其它的估計(jì)方法進(jìn)行推定估計(jì)。比如，Ridge Estimation(RE) 。有關(guān)RE的具體方法請(qǐng)參考 Draper,N. and Smith, Applied Regression Analysis (2nd ed. John Wiley & Sons,1981)2-5 案例3 要因分解4 虛擬變量 (dummy variable)4-1 需要對(duì)像性別，人種，戰(zhàn)爭(zhēng)的前后，地震，以及制度的變化等等不能量化的質(zhì)的屬性進(jìn)行回歸的時(shí)候，有必要使用代理變量。一般，在（1）數(shù)據(jù)中出現(xiàn)異常值；（2）觀察到的經(jīng)濟(jì)發(fā)生結(jié)構(gòu)性變化；（3）需要對(duì)不能量化的質(zhì)的變量進(jìn)行回歸分析；的時(shí)候，我們用虛擬變量來(lái)處理。4-2 種類情況1. 一次性的虛擬變量 如想把因地震，臺(tái)風(fēng)，洪水，干旱等自然災(zāi)害，張戰(zhàn)爭(zhēng)，內(nèi)亂，罷工等突發(fā)事件而帶來(lái)的異常值(outlier)也考慮到模型中，這時(shí)我們一般采用一次性代理變量的方法處理。具體，對(duì)模型 其中，代表一次性的虛擬變量。當(dāng)有可能出現(xiàn)兩個(gè)異常值的時(shí)候，我們可以其中，注意：在使用虛擬變量是，一定要有理由根據(jù)，單純的為了可以更好地描述數(shù)據(jù)的目的是絕對(duì)禁止使用虛擬變量的。案例：情況2. 季節(jié)虛擬變量如 其中，代表第一季度的虛擬變量，即如果是第一季度的數(shù)據(jù)的話，否則；代表第一季度的虛擬變量，即如果是第二季度的數(shù)據(jù)的話，否則；代表第一季度的虛擬變量，即如果是第三季度的數(shù)據(jù)的話，否則。第四季度是用來(lái)表示，所以四個(gè)季度的定數(shù)項(xiàng)分別為：第一季度： ； 第二季度： ；第三季度： ； 第四季度： 。用同樣的方法，我們也可以改變各個(gè)不同季度的斜率。注意：季度的時(shí)候，我們只需要使用三個(gè)虛擬變量即可；月報(bào)數(shù)據(jù)的時(shí)候，我們需要使用11個(gè)虛擬變量就可以。案例分析 ： 用于吃方面的消費(fèi)（食品，飲料，香煙等）與國(guó)內(nèi)家庭消費(fèi)支出總額之間關(guān)系的回歸分析。具體數(shù)據(jù)可以參考數(shù)據(jù)dummy-season-1.xls“dummy-season-1.xls”用于吃方面的消費(fèi)與國(guó)內(nèi)家庭消費(fèi)支出單位： 兆元編號(hào)年季度吃方面的消費(fèi)國(guó)內(nèi)家庭消費(fèi)支出11990110.153.5221154.43312.256.44413.360.651991110.254.7621155.47312.357.68413.262.491992110.556.510211.156.411312.358.312413.462.6131993110.456.714211.256.815312.258.916413.463.7171994110.458.2 作散點(diǎn)圖，看線性關(guān)系。方法1 用最小二乘法進(jìn)行回歸分析Coefficients標(biāo)準(zhǔn)誤差t StatIntercept-8.342063.087959-2.70148國(guó)內(nèi)家庭消費(fèi)支出0.345860.0533316.485126R Square0.737104Adjusted R Square0.719578 方法2 用虛擬變量最小二乘法進(jìn)行回歸分析季度吃的消費(fèi)國(guó)內(nèi)家庭消費(fèi)支出110.153.510021154.4010312.256.4001413.360.6000110.254.710021155.4010312.357.6001413.262.4000110.556.5100211.156.4010312.358.3001413.462.6000110.456.7100211.256.8010312.258.9001413.463.7000110.458.2100結(jié)果Coefficientst StatIntercept9.6627269.247487國(guó)內(nèi)家庭消費(fèi)支出0.0587613.507754D（1）-2.62864-21.6694D（2）-1.86365-14.8781D（3）-0.80911-8.38783 R Square0.996286Adjusted R Square0.995049 具體模型第一季度 ： ，第二季度 ： ，第三季度 ： ， 第四季度 ： 。預(yù)測(cè)情況 情況3. 質(zhì)的虛擬變量的處理案例分析 ：月工資與性別，年代，學(xué)歷和企業(yè)規(guī)模大小的關(guān)系。 數(shù)據(jù)請(qǐng)參考數(shù)據(jù)dummy-2.xls“dummy-2.xls”工資水平與性別，年代，學(xué)歷和企業(yè)規(guī)模的關(guān)系編號(hào)工資額性別年代學(xué)歷企業(yè)規(guī)模125女40中學(xué)小226男30中學(xué)小328女40高中小430女40高中小531男30中學(xué)中632男30高中小734女30大學(xué)中836男30高中中939女30大學(xué)大1040男30高中中1143男30大學(xué)小1246男30大學(xué)中1352男40中學(xué)大1454女40大學(xué)大1555男40高中大性別年代學(xué)歷企業(yè)規(guī)模編號(hào)工資額D1D2D3D4D5D6125011010226101010328010110430010110531101001632100110734000001836100101939000000104010010111431000101246100001135211100014540100001555110100結(jié)果R Square0.983316Adjusted R Square0.970802Coefficients標(biāo)準(zhǔn)誤差t StatIntercept39.991531.52781726.1756D114.384761.23876111.61222D212.642521.5196078.319597D3-15.8731.466859-10.8211D4-10.79021.369502-7.87894D5-12.15241.326189-9.1634D6-6.608651.560523-4.2349 其中， ； ； ； ； ； 。情況4. 分析對(duì)象發(fā)生了結(jié)構(gòu)性變化的時(shí)候 其中，案例分析 1973年石油危機(jī)以前和之后，能源需要量與實(shí)質(zhì)GDP的關(guān)系。 數(shù)據(jù)參考數(shù)據(jù)dummy-3.xls“dummy-3.xls”能源需要量與實(shí)質(zhì)GDP的關(guān)系編號(hào)年代能源需求量實(shí)質(zhì)GDP119651001002196610610831967115117419681221235196912913261970136141719711411458197214315491973114150101974117156111975121161121976123169131977129174141978130177151979134183結(jié)果1）R Square0.98566Adjusted R Square0.98175 Coefficients標(biāo)準(zhǔn)誤差t StatIntercept15.949154.3023683.7