一元線性回歸原理

（一）問(wèn)題的提出例1

假定需要研究化肥施用量與糧食產(chǎn)量的關(guān)系，以便準(zhǔn)確地定出化肥施用量的單位變化如何影響糧食產(chǎn)量的平均單位變化，進(jìn)而確定合理的化肥施用量。表1化肥施用量與糧食產(chǎn)量化肥施用量x(萬(wàn)噸)4541.053637.872287.493056.894883.73779.34021.09糧食產(chǎn)量y(萬(wàn)噸)48526.6945110.8740753.7943824.5850890.1146370.8846577.91化肥施用量x(萬(wàn)噸)2989.063021.93953.973212.133804.761598.281998.56糧食產(chǎn)量y(萬(wàn)噸)42947.4441673.2147244.3443061.5347336.7837127.8939515.07化肥施用量x(萬(wàn)噸)3710.563269.031017.121864.232797.241034.09

糧食產(chǎn)量y(萬(wàn)噸)46598.0444020.9234866.9137184.1441864.7733717.78

第1頁(yè)/共22頁(yè)第一頁(yè)，共23頁(yè)。圖1化肥施用量與糧食產(chǎn)量的散點(diǎn)圖第2頁(yè)/共22頁(yè)第二頁(yè)，共23頁(yè)。上述變量間關(guān)系的特點(diǎn)：變量間關(guān)系不能用函數(shù)關(guān)系精確表達(dá)一個(gè)變量的取值不能由另一個(gè)變量唯一確定當(dāng)變量x取某個(gè)值時(shí)，變量y的取值可能有幾個(gè)各觀測(cè)點(diǎn)分布在直線周?chē)鷛y第3頁(yè)/共22頁(yè)第三頁(yè)，共23頁(yè)。問(wèn)題兩個(gè)變量之間有著密切的關(guān)系，但它們之間密切的程度并不能由一個(gè)變量唯一確定另一個(gè)變量，即它們間的關(guān)系是一種非確定性的關(guān)系。它們之間到底有什么樣的關(guān)系呢?例1中由20組數(shù)據(jù)，糧食產(chǎn)量與化肥施用量的關(guān)系式

是如何得到的？第4頁(yè)/共22頁(yè)第四頁(yè)，共23頁(yè)。解決方案運(yùn)用模型來(lái)擬合這些數(shù)據(jù)點(diǎn)。觀測(cè)值分解成兩部分：y

=b0+b1x

+e一元線性回歸模型xy觀測(cè)項(xiàng)=+結(jié)構(gòu)項(xiàng)隨機(jī)項(xiàng)

=+第5頁(yè)/共22頁(yè)第五頁(yè)，共23頁(yè)。（二）一元線性回歸模型描述因變量y如何依賴(lài)于自變量x和誤差項(xiàng)

的方程稱(chēng)為回歸模型一元線性回歸模型可表示為

y

=b0+b1x

+ey是x的線性函數(shù)(部分)加上誤差項(xiàng)線性部分反映了由于x的變化而引起的y的變化誤差項(xiàng)

是隨機(jī)變量反映了除x和y之間的線性關(guān)系之外的隨機(jī)因素對(duì)y的影響是不能由x和y之間的線性關(guān)系所解釋的變異性0和1稱(chēng)為模型的參數(shù)xy第6頁(yè)/共22頁(yè)第六頁(yè)，共23頁(yè)。一元線性回歸模型(基本假定)因變量x與自變量y之間具有線性關(guān)系在重復(fù)抽樣中，自變量x的取值是固定的，即假定x是非隨機(jī)的誤差項(xiàng)ε是一個(gè)期望值為0的隨機(jī)變量，即E(ε)=0。對(duì)于一個(gè)給定的x值，y的期望值為E(y)=0+

1x對(duì)于所有的x值，ε的方差σ2都相同誤差項(xiàng)ε是一個(gè)服從正態(tài)分布的隨機(jī)變量，且相互獨(dú)立。即ε~N(0,σ2)獨(dú)立性意味著對(duì)于一個(gè)特定的x值，它所對(duì)應(yīng)的ε與其他x值所對(duì)應(yīng)的ε不相關(guān)對(duì)于一個(gè)特定的x值，它所對(duì)應(yīng)的y值與其他x所對(duì)應(yīng)的y值也不相關(guān)第7頁(yè)/共22頁(yè)第七頁(yè)，共23頁(yè)?；貧w方程(regressionequation)描述y的平均值或期望值如何依賴(lài)于x的方程稱(chēng)為回歸方程一元線性回歸方程的形式如下

E(y)=0+1x方程的圖示是一條直線，也稱(chēng)為直線回歸方程0是回歸直線在y軸上的截距，是當(dāng)x=0時(shí)y的期望值1是直線的斜率，稱(chēng)為回歸系數(shù)，表示當(dāng)x每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值xy第8頁(yè)/共22頁(yè)第八頁(yè)，共23頁(yè)。xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)問(wèn)題：回歸直線如何確定？第9頁(yè)/共22頁(yè)第九頁(yè)，共23頁(yè)。KarlGauss的最小化圖xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)ei=yi-yi＾目標(biāo)：找一條直線盡可能的擬合這n個(gè)樣本點(diǎn)。第10頁(yè)/共22頁(yè)第十頁(yè)，共23頁(yè)。（三）最小二乘估計(jì)

(least-squaresestimation)德國(guó)科學(xué)家KarlGauss(1777—1855)提出用最小化圖中垂直方向的誤差平方和來(lái)估計(jì)參數(shù)使因變量的觀察值與估計(jì)值之間的誤差平方和達(dá)到最小來(lái)求得和的方法。即用最小二乘法擬合的直線來(lái)代表x與y之間的關(guān)系與實(shí)際數(shù)據(jù)的誤差比其他任何直線都小第11頁(yè)/共22頁(yè)第十一頁(yè)，共23頁(yè)。問(wèn)題如何估計(jì)使得最小第12頁(yè)/共22頁(yè)第十二頁(yè)，共23頁(yè)。解決方法根據(jù)微積分法求極值的原理，通過(guò)求偏導(dǎo)數(shù)并命其為0而得到：

這組方程稱(chēng)為正規(guī)方程組經(jīng)過(guò)整理，可得？第13頁(yè)/共22頁(yè)第十三頁(yè)，共23頁(yè)。其中，記可以簡(jiǎn)寫(xiě)為經(jīng)過(guò)整理，可得第14頁(yè)/共22頁(yè)第十四頁(yè)，共23頁(yè)。例1

假定需要研究化肥施用量與糧食產(chǎn)量的關(guān)系，以便準(zhǔn)確地定出化肥施用量的單位變化如何影響糧食產(chǎn)量的平均單位變化，進(jìn)而確定合理的化肥施用量。表1糧食產(chǎn)量與化肥施用量化肥施用量x(萬(wàn)噸)4541.053637.872287.493056.894883.73779.34021.09糧食產(chǎn)量y(萬(wàn)噸)48526.6945110.8740753.7943824.5850890.1146370.8846577.91化肥施用量x(萬(wàn)噸)2989.063021.93953.973212.133804.761598.281998.56糧食產(chǎn)量y(萬(wàn)噸)42947.4441673.2147244.3443061.5347336.7837127.8939515.07化肥施用量x(萬(wàn)噸)3710.563269.031017.121864.232797.241034.09

糧食產(chǎn)量y(萬(wàn)噸)46598.0444020.9234866.9137184.1441864.7733717.78

最小二乘法求解回歸方程實(shí)例第15頁(yè)/共22頁(yè)第十五頁(yè)，共23頁(yè)。解：

第16頁(yè)/共22頁(yè)第十六頁(yè)，共23頁(yè)?；貧w方程為：第17頁(yè)/共22頁(yè)第十七頁(yè)，共23頁(yè)。直觀來(lái)看，回歸直線與20個(gè)樣本數(shù)據(jù)點(diǎn)都很接近，說(shuō)明回歸直線對(duì)數(shù)據(jù)的擬合效果是好的。

圖1化肥施用量與糧食產(chǎn)量的散點(diǎn)圖第18頁(yè)/共22頁(yè)第十八頁(yè)，共23頁(yè)。最小二乘估計(jì)的軟件實(shí)現(xiàn)、輸出結(jié)果回歸方程為：第19頁(yè)/共22頁(yè)第十九頁(yè)，共23頁(yè)。小結(jié)：估計(jì)的回歸方程一元線性回歸中估計(jì)的回歸方程為用樣本統(tǒng)計(jì)量和代替回歸方程中的未知參數(shù)和，就得到了估計(jì)的回歸方程總體回歸參數(shù)和

是未知的，必須利用樣本數(shù)據(jù)去估計(jì)其中：是估計(jì)的回歸直線在y

軸上的截距，是直線的斜率，它表示對(duì)于一個(gè)給定的x

的值，是y

的估計(jì)值，也表示x

每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值

.第20頁(yè)/共22頁(yè)第二十頁(yè)，共23頁(yè)?！盎貧w”名稱(chēng)的由來(lái)十九世紀(jì)，英國(guó)生物學(xué)家兼統(tǒng)計(jì)學(xué)家高爾頓研究父母身高與其子女身高的遺傳問(wèn)題時(shí)，觀察了1078對(duì)夫婦，以每對(duì)夫婦的平均身高作為x（單位：英寸，1英寸=2.54厘米），取他們的一個(gè)成年兒子的身高作為y，繪制散點(diǎn)圖發(fā)現(xiàn)趨勢(shì)近乎一條直線，計(jì)算出的直線方程為：

這種趨勢(shì)表明子代的身高向中心回歸，才使得人類(lèi)的身高在一定時(shí)間內(nèi)相對(duì)穩(wěn)定，沒(méi)有出現(xiàn)兩極分化現(xiàn)象。其后研究變量x和變量y的統(tǒng)計(jì)關(guān)系時(shí)借用這個(gè)名詞。第21頁(yè)/共22頁(yè)第二十一頁(yè)，共23頁(yè)。謝謝您的觀看！第22頁(yè)/共22頁(yè)第二十二頁(yè)，共23頁(yè)。內(nèi)容總結(jié)（一）問(wèn)題的提出