第四講簡(jiǎn)單線性相關(guān)與回歸

第四講簡(jiǎn)單線性回歸本講主題簡(jiǎn)單線性回歸模型TheSimpleLinearRegressionModel最小二乘法TheLeastSquaresMethod確定性系數(shù)TheCoefficientofDetermination模型假設(shè)及顯著性檢驗(yàn)ModelAssumptionsandTestingforSignificance用于估計(jì)和預(yù)測(cè)UsingforestimationandPrediction殘差分析ResidualAnalysis現(xiàn)象之間的關(guān)系變量之間的關(guān)系函數(shù)關(guān)系：變量之間存在著確定的相互依存關(guān)系。當(dāng)自變量取定一個(gè)值，因變量就有一個(gè)完全確定的量與之相對(duì)應(yīng)。相關(guān)關(guān)系：變量之間存在著的數(shù)量上的不確定的依存關(guān)系。相關(guān)關(guān)系包括因果關(guān)系例：居民收入提高與銀行存款上升；工資增長(zhǎng)與價(jià)格增長(zhǎng)；父母身高與子女身高；哥哥身高與弟弟身高；電話設(shè)備投資額與新建筑數(shù)量；產(chǎn)量與單位成本；受教育年限與工資；某種商品的價(jià)格與銷(xiāo)售量。家庭收入與食物支出額相關(guān)關(guān)系的種類(lèi)

簡(jiǎn)單相關(guān)與復(fù)相關(guān)正相關(guān)與負(fù)相關(guān)線性相關(guān)與非線性相關(guān)完全相關(guān)，不完全相關(guān)，不相關(guān)相關(guān)關(guān)系的表示法散點(diǎn)圖相關(guān)分析表相關(guān)變量的二元分布相關(guān)系數(shù)相關(guān)分析表

工齡與工資的聯(lián)合概率分布相關(guān)系數(shù)相關(guān)系數(shù)：是衡量變量之間線性相關(guān)密切程度的一個(gè)系數(shù)。式中：XY：X與Y的協(xié)方差；

X-----變量X的標(biāo)準(zhǔn)差；Y-----變量Y的標(biāo)準(zhǔn)差。相關(guān)系數(shù)是將協(xié)方差進(jìn)行標(biāo)準(zhǔn)化處理的結(jié)果。相關(guān)系數(shù)的意義-1r1它是一個(gè)系數(shù)，不受變量值水平和計(jì)量單位的影響。r>0，正相關(guān)。散點(diǎn)較為密集地分布在第I和第III象限。r<0,負(fù)相關(guān)。散點(diǎn)較為密集地分布在第II和第IV象限。相關(guān)系數(shù)的值r的值越接近1，表示線性相關(guān)程度越高。0|r|0.3弱相關(guān)0.3|r|0.5低度相關(guān)0.5|r|0.8顯著相關(guān)0.8|r|1高度相關(guān)相關(guān)系數(shù)也與樣本容量有關(guān)相關(guān)系數(shù)的顯著性檢驗(yàn)若從一個(gè)二元正態(tài)總體中隨機(jī)抽取一個(gè)樣本，由樣本數(shù)據(jù)算出的相關(guān)系數(shù)帶有隨機(jī)性。且樣本容量越小其隨機(jī)性越大。相關(guān)系數(shù)的顯著性檢驗(yàn)就是通過(guò)樣本相關(guān)系數(shù)r對(duì)總體相關(guān)系數(shù)作出推斷。相關(guān)系數(shù)的檢驗(yàn)H0：=0（總體相關(guān)系數(shù)為0）檢驗(yàn)統(tǒng)計(jì)量服從t(n-2)分布，在顯著性水平和自由度n-2下，查表得t/2，若|t|t/2,表明r在統(tǒng)計(jì)上是顯著的，兩變量線性相關(guān)?；貧w分析回歸的概念：回歸(Regression)一詞源于19世紀(jì)英國(guó)生物學(xué)家葛爾登對(duì)人體遺傳特征的實(shí)驗(yàn)研究。他把人的身高趨向于平均高度的現(xiàn)象稱(chēng)為“回歸”。相關(guān)系數(shù)測(cè)量變量之間關(guān)系的密切程度，如果已知兩變量顯著相關(guān)，我們就希望能從一個(gè)變量的取值來(lái)推算出另一個(gè)變量的取值范圍。這就是回歸分析。回歸的種類(lèi)一元回歸與多元回歸線性回歸與非線性回歸回歸分析涉及的內(nèi)容1）從一組數(shù)據(jù)出發(fā)，分析變量間存在什么樣的關(guān)系，建立這些變量的關(guān)系式（回歸方程），并對(duì)關(guān)系式的可信程度進(jìn)行統(tǒng)計(jì)檢驗(yàn)；2）利用回歸方程式，根據(jù)一個(gè)或幾個(gè)變量的值，預(yù)測(cè)或控制另一個(gè)變量的取值；回歸分析的內(nèi)容（2）3）從影響某一個(gè)變量的許多變量中，判斷哪些變量的影響是顯著的，哪些是不顯著的，從而可建立更實(shí)用的回歸方程；4）根據(jù)預(yù)測(cè)和控制所提出的要求，選擇試驗(yàn)點(diǎn)，對(duì)試驗(yàn)進(jìn)行設(shè)計(jì)。

一元線性回歸

一元線性回歸的數(shù)學(xué)模型為y=+x+ey是隨機(jī)變量，x是一般的自變量；和是兩個(gè)參數(shù)，其數(shù)值可根據(jù)樣本值來(lái)估計(jì)，e是隨機(jī)變量，一般假定e~N(0,2)基本假設(shè)：變量X與Y之間存在著真實(shí)的線性關(guān)系；變量X為非隨機(jī)變量，Y為隨機(jī)變量；隨機(jī)項(xiàng)ei

相互獨(dú)立。最小二乘法確定一條直線，令估計(jì)值與實(shí)際值的離差平方和為最小。即對(duì)上式的a和b求一階偏導(dǎo)并令其為0，就可解出最小值點(diǎn)a和b。

最小平方法配合得到的直線，是一條最適線，滿足

a和b的含義a為截距，當(dāng)數(shù)據(jù)包括了X=0的范圍時(shí)，表示X=0時(shí)Y的估計(jì)值；當(dāng)數(shù)據(jù)并不包含X=0時(shí)，沒(méi)有什么實(shí)際意義。b，斜率，回歸系數(shù)X每增加一個(gè)單位時(shí)Y的估計(jì)值增加b個(gè)單位。b>0,正相關(guān)b<0,負(fù)相關(guān)b=0,X與Y線性不相關(guān)一元線性回歸模型的檢驗(yàn)1、擬合程度的測(cè)定總變差的分解總變差=回歸變差+剩余變差

SST=SSR+SSE

測(cè)定系數(shù)回歸變差占總變差的比例，表示因變量的總變動(dòng)中，能用自變量的變動(dòng)解釋的百分比。（相關(guān)系數(shù)的平方）

估計(jì)標(biāo)準(zhǔn)誤差變量Y的各實(shí)際觀測(cè)值Yi與回歸直線的估計(jì)值的絕對(duì)離差可用估計(jì)標(biāo)準(zhǔn)誤表示?；貧w系數(shù)的顯著性檢驗(yàn)由于回歸系數(shù)b是總體回歸系數(shù)的估計(jì)值，如果回歸系數(shù)b很小，與0沒(méi)有顯著性的差異，則意味著回歸模型中無(wú)X項(xiàng)，即Y并不隨X變化?，F(xiàn)通過(guò)回歸系數(shù)b的t值檢驗(yàn)，驗(yàn)證Y與X之間有無(wú)“真實(shí)的”線性關(guān)系。檢驗(yàn)b的步驟建立原假設(shè)H0：

=0計(jì)算b的t檢驗(yàn)值

根據(jù)給定的顯著性水平和自由度（n-2)，查t分布表，得臨界值t/2

，若|tb|>t/2，拒絕H0

，回歸系數(shù)等于0的概率小于，可得出回歸系數(shù)不等于0的結(jié)論。

4、回歸方程的顯著性檢驗(yàn)由方差分析的原理我們知道，如果回歸變差顯著地大于剩余變差，則回歸方程的回歸效果是顯著的?？梢杂肍檢驗(yàn)，根據(jù)給定的顯著性水平，和兩個(gè)自由度，查F分布表，得到臨界值F，，若F>F，拒絕H0，回歸方程是顯著的。

5、Durbin-Watson檢驗(yàn)檢驗(yàn)殘差項(xiàng)是否相互獨(dú)立。若不獨(dú)立，則不滿足回歸模型的假設(shè)條件。橫截面的資料通常能滿足殘差獨(dú)立的條件，但經(jīng)濟(jì)資料往往是周期性的，觀測(cè)值有成串或成批出現(xiàn)的趨勢(shì)，這種殘差之間具有相關(guān)的趨勢(shì)稱(chēng)為自相關(guān)。D-W檢驗(yàn)量：檢驗(yàn)有無(wú)正自相關(guān)出現(xiàn)。

D-W檢驗(yàn)規(guī)則查D-W表得到下限值dL

和上限值du，1）d<dL,拒絕無(wú)正自相關(guān)的零假設(shè)，斷定具有正的自相關(guān)。2）d>dU,接受無(wú)正自相關(guān)的零假設(shè)，斷定無(wú)正的自相關(guān)。3）dLddu,，檢驗(yàn)不能作出結(jié)論。殘差不獨(dú)立的處理辦法采用應(yīng)變量和自變量的變化額而不采用原來(lái)的數(shù)據(jù)，可能是一種使用最廣的方法。還可以將變量加以變換（例如，采用對(duì)數(shù)形式）；加進(jìn)另一個(gè)變量等。這些內(nèi)容在計(jì)量經(jīng)濟(jì)學(xué)書(shū)中有論述。

例：d的取值高低與正自相關(guān)的關(guān)系

例A：d取得低值

例B：d取得高值

時(shí)間序列ei

ei-ei-1(ei-ei-1)2ei2ei

ei-ei-1(ei-ei-1)2ei2

1111122114541625331193-24944111641116

5511252-2444552555

例A：d=4/55例B：d=25/55利用回歸方程進(jìn)行預(yù)測(cè)所謂預(yù)測(cè)問(wèn)題，就是在確定自變量的某一個(gè)X0值時(shí)求相應(yīng)的因變量Y的估計(jì)值，其中又分為點(diǎn)預(yù)測(cè)和區(qū)間預(yù)測(cè)。點(diǎn)預(yù)測(cè)：區(qū)間預(yù)測(cè)：當(dāng)X=X0時(shí)，推算Y的個(gè)別值的置信度為1-的預(yù)測(cè)區(qū)間為：回歸分析應(yīng)注意的問(wèn)題因果關(guān)系r2=0.8,并不能說(shuō)明Y