第九章回歸分析

2023/1/161第9章回歸分析（Regression）2023/1/1629.1回歸分析的理論與方法9.1.1回歸分析的基本思想回歸分析是研究?jī)蓚€(gè)或多個(gè)變量之間因果關(guān)系的統(tǒng)計(jì)分析方法?；貧w分析的基本思想：在相關(guān)分析的基礎(chǔ)上，對(duì)具有相關(guān)關(guān)系的兩個(gè)或多個(gè)變量之間數(shù)量變化的一般關(guān)系進(jìn)行測(cè)定，確立一個(gè)適當(dāng)?shù)臄?shù)學(xué)模型，以便從一個(gè)已知變量來預(yù)測(cè)或推斷另一個(gè)未知變量。2023/1/1639.1回歸分析的理論與方法9.1.2回歸分析與相關(guān)分析的區(qū)別相關(guān)分析研究的變量之間是對(duì)等關(guān)系，不區(qū)分自變量和因變量；而回歸分析的變量有被解釋變量（因變量、內(nèi)生變量）和解釋變量（自變量、外生變量）之分。相關(guān)分析研究的變量都是隨機(jī)變量，而回歸分析中被解釋變量是隨機(jī)變量，解釋變量是一個(gè)非隨機(jī)的確定變量。相關(guān)分析主要是為刻畫兩類變量間線性相關(guān)的密切程度，不能指出變量間相互關(guān)系的具體形式；而回歸分析可以通過一個(gè)數(shù)學(xué)模型來確定變量之間相關(guān)的具體形式，揭示自變量對(duì)因變量的影響大小，還可以由回歸方程進(jìn)行預(yù)測(cè)和控制。9.1回歸分析的理論與方法9.1.3建立實(shí)際問題

回歸模型的過程根據(jù)研究目的，設(shè)置指標(biāo)變量收集、整理統(tǒng)計(jì)數(shù)據(jù)確定理論回歸模型的數(shù)學(xué)形式模型參數(shù)的估計(jì)模型的檢驗(yàn)與修改回歸模型的運(yùn)用2023/1/1642023/1/1659.2線性回歸9.2.1線性回歸模型線性回歸是最簡(jiǎn)單和最基礎(chǔ)的回歸方法，其數(shù)學(xué)模型的一般形式為：使用最小二乘法對(duì)回歸系數(shù)進(jìn)行估計(jì)，得樣本回歸函數(shù)：2023/1/1669.2線性回歸古典線性回歸模型的基本假定：（2）不同的隨機(jī)擾動(dòng)項(xiàng)之間不存在序列相關(guān)，即（3）隨機(jī)擾動(dòng)項(xiàng)相互獨(dú)立（不相關(guān)）。（4）k個(gè)解釋變量不存在共線性。（1）解釋變量是確定性變量，且樣本容量大于解釋變量的個(gè)數(shù)，即n>k。2023/1/1679.2線性回歸9.2.2線性回歸模型的評(píng)價(jià)和檢驗(yàn)回歸模型的檢驗(yàn)包括一級(jí)檢驗(yàn)（統(tǒng)計(jì)學(xué)檢驗(yàn)）和二級(jí)檢驗(yàn)（經(jīng)濟(jì)計(jì)量學(xué)檢驗(yàn)）。統(tǒng)計(jì)學(xué)檢驗(yàn)：是利用統(tǒng)計(jì)學(xué)的抽樣理論來檢驗(yàn)回歸方程的可靠性，分為擬合優(yōu)度檢驗(yàn)和顯著性檢驗(yàn)。經(jīng)濟(jì)計(jì)量學(xué)檢驗(yàn)：是對(duì)線性回歸模型的假定條件能否得到滿足進(jìn)行檢驗(yàn)，具體包括序列相關(guān)檢驗(yàn)、異方差檢驗(yàn)等。2023/1/1689.2線性回歸1．?dāng)M合優(yōu)度檢驗(yàn)擬合優(yōu)度檢驗(yàn)是檢驗(yàn)回歸方程對(duì)樣本觀測(cè)值的擬合程度。所謂擬合優(yōu)度，是指樣本觀測(cè)值聚集在樣本回歸線周圍的緊密程度，反映了回歸方程對(duì)被解釋變量的解釋程度。判斷回歸模型擬合優(yōu)度的常用指標(biāo)是可決系數(shù)(R2)，它建立在對(duì)被解釋變量總離差平方和進(jìn)行分解的基礎(chǔ)之上。可以證明，被解釋變量總離差平方和可進(jìn)行如下分解：SST=SSR+SSE2023/1/169其中：可決系數(shù)：調(diào)整后的可決系數(shù)：2023/1/16109.2線性回歸回歸模型的顯著性檢驗(yàn)包括兩個(gè)方面的內(nèi)容：即回歸方程整體顯著性檢驗(yàn)（F檢驗(yàn)）和回歸系數(shù)的顯著性檢驗(yàn)。2．回歸方程整體顯著性檢驗(yàn)（F檢驗(yàn)）回歸方程整體顯著性檢驗(yàn)用于檢驗(yàn)被解釋變量與所有解釋變量之間的線性關(guān)系是否顯著。由于SST=SSR+SSE，故回歸模型總體函數(shù)的線性關(guān)系是否顯著，其實(shí)質(zhì)就是判斷回歸平方和（SSR）與殘差平方和（SSE）之比值的大小問題。我們可以通過方差分析的思想，構(gòu)造F統(tǒng)計(jì)量來進(jìn)行檢驗(yàn)。2023/1/16119.2線性回歸3．回歸系數(shù)顯著性檢驗(yàn)多元線性回歸中，回歸方程整體顯著并不意味著每一個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的，因此應(yīng)該從回歸方程中剔除那些次要的、可有可無的變量，重新建立更為簡(jiǎn)單的回歸方程，所以有必要對(duì)每個(gè)回歸系數(shù)的顯著性進(jìn)行檢驗(yàn)。回歸系數(shù)的顯著性檢驗(yàn)通過構(gòu)造

t

統(tǒng)計(jì)量來進(jìn)行。2023/1/16129.2線性回歸4．殘差正態(tài)性檢驗(yàn)殘差

e

是隨機(jī)擾動(dòng)項(xiàng)

ε

的體現(xiàn)。對(duì)殘差進(jìn)行分析的目的是檢驗(yàn)隨機(jī)擾動(dòng)項(xiàng)是否服從經(jīng)典假設(shè)。其內(nèi)容包括殘差正態(tài)性檢驗(yàn)、異方差檢驗(yàn)、序列相關(guān)檢驗(yàn)等。殘差的正態(tài)性檢驗(yàn)可以利用前面介紹的Q-Q圖法和K-S檢驗(yàn)法來完成。2023/1/16139.2線性回歸5．異方差檢驗(yàn)當(dāng)隨機(jī)擾動(dòng)項(xiàng)的方差隨觀測(cè)值的不同而有所差異，我們就說產(chǎn)生了異方差性。異方差問題主要出現(xiàn)在橫截面數(shù)據(jù)。異方差會(huì)導(dǎo)致最小二乘法失去最佳性（最小方差性），也會(huì)使得t檢驗(yàn)、F檢驗(yàn)及置信區(qū)間等不可靠。在有異方差時(shí)仍直接使用普通最小二乘回歸分析法，很可能得出錯(cuò)誤結(jié)論。異方差的診斷常使用殘差圖分析法、等級(jí)相關(guān)系數(shù)法、格萊斯?fàn)枺℅lejser）法等。而消除異方差的方法通常有加權(quán)最小二乘法（WLS）、Box-Cox變換法、方差穩(wěn)定性變化法等。2023/1/16149.2線性回歸6．序列相關(guān)（自相關(guān)）檢驗(yàn)當(dāng)隨機(jī)擾動(dòng)項(xiàng)存在序列相關(guān)（變量前后期數(shù)值之間相關(guān)）時(shí)，可能導(dǎo)致最小二乘估計(jì)方差增大，回歸系數(shù)

t檢驗(yàn)失效等問題。SPSS給出專門用于檢驗(yàn)序列相關(guān)的Durbin-Watson檢驗(yàn)統(tǒng)計(jì)量。2023/1/16159.2線性回歸0<DW<dL：隨機(jī)擾動(dòng)項(xiàng)存在一階正序列相關(guān)；4-dL<DW<4：隨機(jī)擾動(dòng)項(xiàng)存在一階負(fù)序列相關(guān)；dU<DW<4-dU：隨機(jī)擾動(dòng)項(xiàng)不存在序列相關(guān)；dL<DW<dU

或4-dU<DW<4-dL：不能確定是否存在序列相關(guān)。2023/1/16169.2線性回歸7．多重共線性檢驗(yàn)多重共線性是指各個(gè)解釋變量之間存在線性相關(guān)關(guān)系。多重共線性常常會(huì)導(dǎo)致回歸系數(shù)方差增大，從而使得t檢驗(yàn)難以通過。多重共線性還會(huì)使參數(shù)的普通最小平方法估計(jì)及其方差對(duì)樣本十分敏感，因而不可靠。SPSS提供了幾種檢驗(yàn)多重共線性的方法：容