一元線性回歸

1、第六章 回歸分析引言：回歸分析是數(shù)理統(tǒng)計(jì)學(xué)的一個(gè)重要組成部分。它的任務(wù)是研究變量之間的相互關(guān)系，建立變量之間的經(jīng)驗(yàn)公式，以便達(dá)到預(yù)測(cè)和控制*的目的。函數(shù)關(guān)系：例如：正方形的邊長(zhǎng)x，面積值 ；球的半徑x，球的體積相關(guān)關(guān)系：例如：一個(gè)人的身高x與體重y的關(guān)系模型：（*）其中x是普通變量（非隨機(jī)），y是隨機(jī)變量，。x是一維變量時(shí)，（*）稱為一元回歸模型；x是多維變量時(shí)，（*）稱為多元回歸模型。f(x)稱為y對(duì)x的回歸函數(shù)，y=f(x) 稱為y對(duì)x的回歸方程。y稱為因變量，而x稱為自變量。也將x稱為解釋變量、將y稱為被解釋變量或響應(yīng)變量。f (x)為線性函數(shù)的情形，稱為線性回歸。一元線性回歸模型是其中

2、、是未知參數(shù)，是隨機(jī)誤差，假設(shè)。§6.1 一元線性回歸本節(jié)的學(xué)習(xí)分四個(gè)部分：1建立一元線性回歸模型：，；2估計(jì)未知參數(shù)、和，得到經(jīng)驗(yàn)回歸方程；3檢驗(yàn)： ，：4若，將經(jīng)驗(yàn)回歸方程用于預(yù)測(cè)。一 模型例：從某年齡男孩中任意挑選10名，測(cè)量他們的身高和體重得數(shù)據(jù)：身高x(cm)157167165158155156164160158163體重y(kg)46555246424549474449體重隨身高的增長(zhǎng)而直線增長(zhǎng)的趨勢(shì)可描述為：.其中，、為常數(shù)，為隨機(jī)變量，且。記身高為的學(xué)生體重為 ，（是隨機(jī)變量），則，（）其中，獨(dú)立，假定，（），未知。問(wèn)題的一般提法： ， （1）假定。對(duì)應(yīng)于的個(gè)不全相同

3、的值，有個(gè)隨機(jī)變量，有，（）（2）其中，獨(dú)立，（），、是未知參數(shù)。通常稱（2）為一元線性回歸模型，而（1）稱為理論模型。二 參數(shù)、的估計(jì)1、的最小二乘估計(jì)記， ，則 其中，.所以，當(dāng) （*）時(shí)，達(dá)到極小。使達(dá)到極小的稱為、的最小二乘估計(jì)量。即，這時(shí)，稱為關(guān)于的經(jīng)驗(yàn)回歸方程，其圖形稱為回歸直線。由 得 ，有回歸直線必通過(guò)。記，稱為在處的預(yù)測(cè)值（擬合值或回歸值）。2殘差平方和所達(dá)到的極小值記做，稱為殘差平方和（或剩余平方和）。則 。這里的由（*）確定。殘差平方和的計(jì)算：.（注意：上式中的 ，不是樣本方差）3、的計(jì)算：的分子：，的分母：，所以，例：男生身高和體重的例中，求回歸模型中、的最小二乘估計(jì)。

4、解：，=， ，=0.8808，。由此， 為男生體重關(guān)于身高的回歸方程。4、是、的無(wú)偏估計(jì)：/* ，*/5的估計(jì)可以證明：，所以 ，有無(wú)偏估計(jì)：（教材P169記做）身高體重關(guān)系的例中：， ，. . 三回歸方程的顯著性檢驗(yàn)： ，：（一）檢驗(yàn)真時(shí)，其中，/*利用了與獨(dú)立，所以，于是，真時(shí)，有*/給定顯著水平，若，則拒絕。例如：男生身高、體重關(guān)系的例中，判斷體重對(duì)身高的線性回歸關(guān)系是否顯著（）。解：檢驗(yàn) ： ，：，。， ，拒絕，認(rèn)為對(duì)的線性回歸關(guān)系顯著。（二）樣本相關(guān)系數(shù)1.平方和分解將的離差平方和分解：+其中，（）+.其中 .注意到，=2.樣本相關(guān)系數(shù)的定義記稱為對(duì)的樣本相關(guān)系數(shù)。因?yàn)?，所以，且與同

5、號(hào)。由 ，有 .越接近于1，說(shuō)明對(duì)的相關(guān)關(guān)系越緊密。3.利用檢驗(yàn) ： ，：真時(shí)，給定顯著水平，時(shí)，拒絕。因?yàn)椋裕?解得：可查表（附表17，P273）得到。當(dāng)時(shí)，拒絕，認(rèn)為.例如：男生身高、體重關(guān)系的例中，.檢驗(yàn) ：（對(duì)的線性回歸關(guān)系不顯著）。取， 因?yàn)?，所以拒絕，認(rèn)為對(duì)的線性回歸關(guān)系顯著。進(jìn)一步，因，所以，關(guān)于是正相關(guān)的。（三）-檢驗(yàn)拒絕域： 檢驗(yàn)、檢驗(yàn)、-檢驗(yàn)三者等價(jià)。四預(yù)測(cè)對(duì)任一給定的，由經(jīng)驗(yàn)回歸方程得回歸值：，其中和是和的最小二乘估計(jì)。用作為的估計(jì)。預(yù)測(cè)區(qū)間：對(duì)給定的可靠性，找，使，或 可以證明：于是，另外可以證明：，及與獨(dú)立。由此，=（教材P177（6.40）對(duì)給定的可靠性，由

6、，得作為的估計(jì)，其絕對(duì)誤差限為（教材P178（6.42）的可靠性為置信區(qū)間為 .注：當(dāng)時(shí)，。隨著遠(yuǎn)離，逐漸增大。置信區(qū)間控制線形成以為中心的喇叭口形（P178圖6.6）：身高體重的例：求身高在時(shí)，對(duì)應(yīng)的體重的估計(jì)值、可靠性為95%的絕對(duì)誤差限和置信區(qū)間。解：經(jīng)驗(yàn)回歸方程為： ，時(shí)，=156.1所以， 的可靠性為95%置信區(qū)間為：。一元線性回歸小結(jié)：1. 模型，2. 數(shù)據(jù)，（）（1），；（2），；（3）.3. 、最小二乘估計(jì)， 經(jīng)驗(yàn)回歸方程：.4. 殘差平方和：5. 的估計(jì)：回歸剩余標(biāo)準(zhǔn)差：6. 樣本相關(guān)系數(shù)： 7. 檢驗(yàn)：，：（1）檢驗(yàn)：，拒絕域：（2）檢驗(yàn)：拒絕域：/*（3）-檢驗(yàn)： 拒絕域

7、： */其中 。三種檢驗(yàn)等價(jià)。8. 預(yù)測(cè)， ，可靠性為置信區(qū)間：.§6.2可以化為一元線性回歸的非線性回歸問(wèn)題例：?jiǎn)挝唬禾旆N別開(kāi)始走動(dòng)的時(shí)間開(kāi)始玩耍的時(shí)間（1）人36090（2）大猩猩165105（3）貓2121（4）家犬2326（5）挪威鼠1114（6）烏鶇1828（7）混血彌猴1821（8）黑猩猩150105（9）松鼠猴4568（10）花鼠4575（11）白臉猴1846取回歸函數(shù)（*）測(cè)數(shù)據(jù)為，（*）式兩邊取對(duì)數(shù)得，記 ，得。令，得到用于回歸的新數(shù)據(jù)5.8864.55.1064.6543.0453.0453.1353.2582.3982.6392.893.3322.893.0455.0114.6543.8074.223.8074.3172.893.829由一元線性回歸方法得，。得與的估計(jì)為：， 從而得經(jīng)驗(yàn)回歸方程為：./*曲線回歸方程的比較（1）