第六章回歸分析

1、第六章回歸分析引言一、變量間的關(guān)系1.確定關(guān)系(函數(shù)關(guān)系)如正方形的面積與邊長的關(guān)系、做勻速直線運(yùn)動(dòng)的質(zhì)點(diǎn)的位移與時(shí)間的關(guān)系等等。2.非確定關(guān)系(相關(guān)關(guān)系)例1作物的單位面積產(chǎn)量與施肥量的關(guān)系。例2人的體重與身高的關(guān)系。例3人的血壓與年齡的關(guān)系。例4某種商品(如糖果)的消費(fèi)量與居民(按人口計(jì)算)的平均收入的關(guān)系。共同點(diǎn)變量間雖然存在著密切的關(guān)系，但從一個(gè)變量的每一確定值，不能求出另一變量的確定的值。可是在大量的試驗(yàn)中，這種不確定的聯(lián)系，具有統(tǒng)計(jì)規(guī)律性，表現(xiàn)為的一個(gè)確定的概率分布定義. 設(shè)有兩個(gè)隨機(jī)變量，對其中某一個(gè)變量的每一個(gè)可能的值，另一個(gè)變量有一個(gè)確定的概率分布與之對應(yīng)。則稱這兩個(gè)隨機(jī)變量

2、間存在著相關(guān)關(guān)系。二、回歸分析1.回歸關(guān)系設(shè)與之間存在著某種相關(guān)關(guān)系。其中是可以控制或可以精確觀察的變量(如年齡、試驗(yàn)的溫度等等)，即，可以隨意指定的個(gè)值。因此視為普通變量。此時(shí)稱變量對具有回歸關(guān)系。問題如何表達(dá)變量對的回歸關(guān)系?回歸分析是研究相關(guān)(回歸)關(guān)系的一種數(shù)學(xué)工具,它能幫助我們從一個(gè)變量的取值去估計(jì)另外一個(gè)變量所取得的值.在各個(gè)學(xué)科領(lǐng)域得到廣泛應(yīng)用。2.回歸分析要解決的一些問題設(shè)通過試驗(yàn)或抽樣調(diào)查得到了和的一組觀察值利用這些數(shù)據(jù)研究與之間的關(guān)系，需解決如下幾個(gè)問題(1)如何判斷與間是否存在相關(guān)關(guān)系(或者回歸關(guān)系)?利用樣本數(shù)據(jù)做與的散點(diǎn)圖，由散點(diǎn)圖的趨勢初步判斷兩者是否有線性關(guān)系(2

3、)如何確定與之間的定量關(guān)系式(即回歸函數(shù))? 用最小二乘法(3)如何對所確定的關(guān)系(回歸模型)的可信程度作統(tǒng)計(jì)檢驗(yàn)?t分布檢驗(yàn)法、相關(guān)系數(shù)r檢驗(yàn)法(4)如何利用所得到與的定量關(guān)系式(回歸模型)來解決實(shí)際問題？對變量進(jìn)行預(yù)測和控制。下面，將圍繞這四個(gè)問題展開討論§6.1 一元線性回歸設(shè)通過試驗(yàn)或抽樣調(diào)查得到了和的一組觀察值利用這些數(shù)據(jù)研究與之間的關(guān)系。一、 散點(diǎn)圖利用和的一組觀察值在直角坐標(biāo)系上描點(diǎn)，得到散點(diǎn)圖，根據(jù)散點(diǎn)圖的趨勢，來觀察和是否想直線關(guān)系。如果是，可以考慮建立線性回歸模型。例如，下列散點(diǎn)圖中，上面兩個(gè)象直線關(guān)系，可考慮對變量和建立線性回歸模型。例1為研究全國人均國民收入x

4、(元)與人均消費(fèi)金額y(元)之間的關(guān)系，收集到19811990年10年的樣本數(shù)據(jù)如下表年份19811982198319841985人均國民收入393419461544668人均消費(fèi)金額249267289329406年份19861987198819891990人均國民收入738860106911691251人均消費(fèi)金額451513643699713回歸分析解法后面將介紹：(10, 757.2, 909739.6, 455.9,4559, 288428.9, 3963622,經(jīng)驗(yàn)線性回歸方程為 )二、模型(1)其中，、為常數(shù)，為普通變量，、為隨機(jī)變量，滿足，即。自變量，因變量，隨機(jī)波動(dòng)項(xiàng)(誤差)于

5、是樣本滿足，()(2)假設(shè)相互獨(dú)立，從而滿足獨(dú)立、正態(tài)、等方差的前提條件。“確定與之間的定量關(guān)系式(即回歸函數(shù))”的問題歸結(jié)為“如何在上述假定下確定、和”的問題。注1當(dāng)、和已知時(shí)，由可得對可靠性，于是，的點(diǎn)估計(jì)為，誤差限為，的置信區(qū)間為虛線為的95%的置信區(qū)間控制線注2兩類誤差實(shí)際問題中、和未知的，要通過觀測數(shù)據(jù)進(jìn)行估計(jì)。這樣用來預(yù)測時(shí)，就面臨兩類誤差(i)所代表的誤差隨機(jī)誤差，由與的關(guān)系的緊密程度決定，與數(shù)據(jù)()無關(guān)。(ii)利用樣本()對、和的估計(jì)所產(chǎn)生的誤差，與數(shù)據(jù)及數(shù)據(jù)量的大小有關(guān)。三、最小二乘估計(jì)線性回歸模型:設(shè)，則的估計(jì)值為，殘差，殘差平方和它描述了用線性函數(shù)來近似表示產(chǎn)生的誤差程

6、度。最小二乘原則選取和使達(dá)到最小。按照這種方法確定的和叫做和的最小二乘估計(jì)，這種方法也叫做最小二乘法。l 和的最小二乘估計(jì)確定關(guān)于和二元函數(shù)的極值在二階偏導(dǎo)書為0的點(diǎn)取得： 正規(guī)方程方程兩邊同除以得其解為和的最小二乘估計(jì)稱：為對經(jīng)驗(yàn)線性回歸方程。四、的無偏估計(jì)(1)(2) （重要?。┯?，-對的回歸剩余方差 ,顯然，即為的無偏估計(jì)。-對的回歸剩余標(biāo)準(zhǔn)差注:簡化最小二乘估計(jì)的計(jì)算步驟記，注意：，表示樣本二階中心矩。不是樣本方差，要注意區(qū)分。則，a.將輸入計(jì)算器，求出和b.將輸入計(jì)算器，求出、和c.將輸入計(jì)算器，求出d.計(jì)算e.寫出經(jīng)驗(yàn)線性回歸方程f.計(jì)算，注:實(shí)際上，利用具有回歸功能的計(jì)算器，輸入

7、相關(guān)數(shù)據(jù)后,就可以直接把回歸系數(shù)求出來,非常方便.要掌握計(jì)算器的這個(gè)功能。例2某林場內(nèi)隨機(jī)抽取6塊0.08ha大小的樣地，測定樣地的平均樹高與每公頃平均斷面積為樣地號(hào)123456平均樹高()202224262830斷面積()24.326.528.730.531.732.9求:對的一元線性回歸方程及回歸剩余標(biāo)準(zhǔn)差。解6, 25, 70, 29.1,174.6, 53.12, 4425.4,經(jīng)驗(yàn)線性回歸方程為五、和的最小二乘估計(jì)的性質(zhì)1. 和的期望：可知：和分別為和的無偏估計(jì)2. 和的方差六.回歸方程的顯著性檢驗(yàn)問題：對的線性回歸關(guān)系是否顯著，即回歸關(guān)系是否成立。假設(shè)檢驗(yàn)類型為:對的線性回歸關(guān)系不

8、顯著(與無關(guān)) :對的線性回歸關(guān)系顯著(與有關(guān))其等價(jià)的假設(shè)為:（一）檢驗(yàn)法：可證明：。其中為真時(shí)，對于給定的顯著水平，有估計(jì)式:所以，的拒絕域?yàn)槔?以顯著水平=0.05,判斷例2中對的線性回歸關(guān)系是否顯著。解6, 25, 70, 29.1,174.6, 53.12, 4425.4,，假設(shè) :對的線性回歸關(guān)系不顯著=0.05, ,檢驗(yàn)統(tǒng)計(jì)量為 :所以拒絕，即認(rèn)為對的線性回歸關(guān)系顯著。（二）樣本相關(guān)系數(shù)檢驗(yàn)法（常用的方法）設(shè)有樣本由最小二乘法得經(jīng)驗(yàn)回歸方程：其中 ，以下用討論用相關(guān)系數(shù)法對與的相關(guān)性進(jìn)行檢驗(yàn)。殘差平方和 ：它描述了用經(jīng)驗(yàn)線性回歸方程來近似表示所產(chǎn)生的誤差程度。1.平方和分解將的離

9、差平方和分解其中 剩余平方和，回歸平方和。當(dāng)在中占主要部分時(shí)，剩余平方和在中占次要地位，這時(shí)候，說明數(shù)據(jù)都圍繞在回歸直線附近。即與的相關(guān)程度是很高的。為此，很自然的想到用在所占的比例來刻畫與的相關(guān)程度。2.樣本相關(guān)系數(shù)的定義定義 記稱為對的樣本(或經(jīng)驗(yàn))相關(guān)系數(shù)。因所以 ，時(shí),所有點(diǎn)均在回歸直線上.越接近于1，說明對的相關(guān)關(guān)系越緊密。3.樣本相關(guān)系數(shù)的計(jì)算公式4.和的關(guān)系(1) (2) 與符號(hào)相同，則，回歸直線斜率為正，稱對是正相關(guān)的。，則，回歸直線斜率為負(fù)，稱對是負(fù)相關(guān)的(3) 與均表示對的線性關(guān)系的強(qiáng)弱，但與和所取的單位有關(guān)，而與和的單位無關(guān)。5. 利用樣本相關(guān)系數(shù)作回歸方程的顯著性檢驗(yàn)統(tǒng)

10、計(jì)假設(shè)為:檢驗(yàn)用統(tǒng)計(jì)量:，其中對于給定的顯著水平，有估計(jì)式：的拒絕域?yàn)?（前面面已討論）與的關(guān)系:。,所以T是的單調(diào)增加函數(shù)。如果滿足 ，記此為，為相關(guān)系數(shù)的臨界值。 對于給定顯著水平，估計(jì)式等價(jià)形式為：所以若用相關(guān)系數(shù)來檢驗(yàn)，那么的拒絕域?yàn)?其中，為相關(guān)系數(shù)臨界值（查表（附表17，P273）。例4求例2中對的樣本相關(guān)系數(shù)，并以顯著水平=0.05判斷對的線性回歸關(guān)系是否顯著。解6, 25, 70, 29.1,174.6, 53.12, 4425.4,， 檢驗(yàn)假設(shè) :對的線性回歸關(guān)系不顯著。=0.05, 查表，因?yàn)?所以拒絕，認(rèn)為對的線性回歸關(guān)系顯著。進(jìn)一步，因，所以，關(guān)于是正相關(guān)的。 例5為檢

11、驗(yàn)一次數(shù)學(xué)考試中，學(xué)生在某小題上的得分與學(xué)生的總分之間是否存在線性相關(guān)關(guān)系，隨機(jī)抽取10名同學(xué)，將他們的得分情況記錄如下表小題8.008.0013.007.0013.00總分33.0029.0089.0052.0086.00小題9.0010.0013.0013.008.00總分60.0078.0086.0078.0060.00試以顯著水平=0.05判斷學(xué)生在該小題上的得分與學(xué)生的總分之間是否存在線性相關(guān)關(guān)系?解設(shè)、之間總體相關(guān)系數(shù)為，則檢驗(yàn)的原假設(shè)為 :。，=0.05，由原始數(shù)據(jù)計(jì)算得10.2, 57.6, 65.1,651, 4334.9, 7067,因 所以，拒絕，學(xué)生在該小題上的得分與學(xué)

12、生的總分之間存在線性相關(guān)關(guān)系。注：（1）檢驗(yàn)、檢驗(yàn)兩種方法者等價(jià)。（2）檢驗(yàn)的優(yōu)勢：用經(jīng)驗(yàn)回歸系數(shù)來檢驗(yàn)的、相關(guān)程度的話，因?yàn)槭怯辛縿偟?，所以僅僅在、的量剛不變的情況下，的大小能說明對相關(guān)的程度。而用相關(guān)系數(shù)來檢驗(yàn)的相關(guān)程度的好處在于：沒有量剛，它的值不受、的量剛改變的影響，它的大小說明了對相關(guān)的程度。練習(xí)隨機(jī)調(diào)查10名同學(xué)的身高和體重，依此判斷人的身高和體重之間是否存在線性相關(guān)關(guān)系。七、預(yù)測對任一給定的，由回歸方程得回歸值：，其中和是和的最小二乘估計(jì)。用作為的估計(jì)。預(yù)測：對給定的可靠性，找，使，或可以證明：于是，另外可以證明：，及與獨(dú)立。由此，=（教材P177（6.40）對給定的可靠性，由

13、，得作為的估計(jì)，其絕對誤差限為（教材P178（6.42）：的可靠性為置信區(qū)間為：.其中注：當(dāng)時(shí)，。隨著遠(yuǎn)離，逐漸增大。置信區(qū)間控制線形成以為中心的喇叭口形（P178圖6.6）。當(dāng)時(shí)，。隨著遠(yuǎn)離，逐漸增大。置信區(qū)間控制線形成以為中心的喇叭口形。例6根據(jù)例2中的數(shù)據(jù)，求時(shí)對應(yīng)的的估計(jì)值、可靠性為95%的絕對誤差限和置信區(qū)間。解6, 25, 70, 29.1, 174.6, 53.12, 4425.4, ,，, ，經(jīng)驗(yàn)回歸方程為: 。時(shí)，=0.95, 0.05, 2.776的置信區(qū)間為27.1802, 30.1592，可靠性為95%。例7一保險(xiǎn)公司希望確定居民住宅區(qū)火災(zāi)造成的損失數(shù)量與該住戶到最近的消防站的距離之間的相關(guān)關(guān)系，以便準(zhǔn)確地定出保險(xiǎn)金額。調(diào)查數(shù)據(jù)如下:距消防站距離(km)3.41.84.62.33.15.5火災(zāi)損失(千元)26.217.831.323.127.536.00.73.02.64.32.11.16.14.83.814.122.319.631.324.017.343.236.426.1(1) 計(jì)算相關(guān)系數(shù)，并進(jìn)行線性回歸的顯著性檢驗(yàn)(0.05)。(2) 若線性回歸關(guān)系顯著，求經(jīng)驗(yàn)線性回歸方程及剩余標(biāo)準(zhǔn)差。(3) 求距消防站距