第九章回歸分析課件

1第九章回歸分析

一元線性回歸分析

多元線性回歸分析簡介

2

在現(xiàn)實(shí)問題中處于同一個(gè)過程中的一些變量往往是相互依賴和相互制約的，它們之間的相互關(guān)系大致可分為兩類.一類是確定性關(guān)系，即數(shù)學(xué)上的函數(shù)關(guān)系.引言例如:在勻速直線運(yùn)動(dòng)中，當(dāng)速度給定時(shí)，路程與運(yùn)動(dòng)時(shí)間

的關(guān)系.圓的面積與半徑之間的關(guān)系.3另一類是非確定性關(guān)系，又叫相關(guān)關(guān)系.例如:小麥畝產(chǎn)量與施肥量，小麥品種，澆水量之間的關(guān)系.變量之間的關(guān)系確定性關(guān)系相關(guān)關(guān)系確定性關(guān)系身高和體重相關(guān)關(guān)系相關(guān)關(guān)系的特征是:變量之間的關(guān)系很難用一種精確的方法表示出來.確定性關(guān)系和相關(guān)關(guān)系的聯(lián)系

由于存在測量誤差等原因,確定性關(guān)系在實(shí)際問題中往往通過相關(guān)關(guān)系表示出來;另一方面,當(dāng)對(duì)事物內(nèi)部規(guī)律了解得更加深刻時(shí),相關(guān)關(guān)系也有可能轉(zhuǎn)化為確定性關(guān)系.

回歸分析——處理變量之間的相關(guān)關(guān)系的一種數(shù)學(xué)方法,它是最常用的數(shù)理統(tǒng)計(jì)方法.線性回歸分析非線性回歸分析回歸分析一元線性回歸分析多元線性回歸分析6研究一個(gè)隨機(jī)變量與一個(gè)（或幾個(gè)）可控變量之間的相關(guān)關(guān)系的統(tǒng)計(jì)方法稱為回歸分析.只有一個(gè)自變量的回歸分析叫做一元回歸分析多于一個(gè)自變量的回歸分析叫做多元回歸分析自變量與因變量呈直線相關(guān)的回歸稱為線性回歸自變量與因量不呈直線相關(guān)的回歸稱為非線性回歸7利用回歸分析這種統(tǒng)計(jì)方法，可以從一個(gè)（或幾個(gè)）可控變量的取值去估計(jì)作為因變量的隨機(jī)變量的取值.具體地說，回歸分析主要包括三個(gè)方面的內(nèi)容：提供建立有相關(guān)關(guān)系的變量之間的數(shù)學(xué)關(guān)系式（通常稱之為經(jīng)驗(yàn)公式）的一般方法；判別所建立的經(jīng)驗(yàn)公式是否有效，并從影響隨機(jī)變量的諸變量中判別哪些變量的影響是顯著的，哪些是不顯著的；利用所得的經(jīng)驗(yàn)公式進(jìn)行預(yù)測和控制

.81散點(diǎn)圖與經(jīng)驗(yàn)公式在一元回歸分析里，我們要考慮的是，隨機(jī)變量與一普通變量之間的關(guān)系.對(duì)有一定聯(lián)系的兩個(gè)變量：與，在觀測中得到若干對(duì)數(shù)據(jù)的基礎(chǔ)上，用什么方法來獲得這兩個(gè)變量之間（對(duì)）的經(jīng)驗(yàn)公式呢？為說明問題，先看一個(gè)例子.§1一元線性回歸分析一一元線性回歸模型例1在某種產(chǎn)品表面進(jìn)行腐蝕刻線試驗(yàn)，得腐蝕時(shí)間與腐蝕深度相對(duì)應(yīng)的一組數(shù)據(jù)如下表：

時(shí)間5101520304050607090120深度610101316171923252946我們希望由此找出兩個(gè)變量之間的關(guān)系式.分別對(duì)應(yīng)到平面上的11個(gè)點(diǎn)（如圖9-1），并稱這張圖為散點(diǎn)圖.

散點(diǎn)圖給了我們很多啟示.首先，這些點(diǎn)雖然是雜亂的，但大體上分布在某條直線的周圍.也就是說，腐蝕時(shí)間與腐蝕深度大致成線性關(guān)系：

(1.1)

這里,在上加“?”是為了區(qū)別于的實(shí)際值.

至此,在散點(diǎn)圖的啟示下,經(jīng)驗(yàn)公式的形式已完全確定,即是線性的.因此,只需要確定.通常稱為回歸系數(shù),關(guān)系式稱為回歸直線.一元線性回歸問題建立回歸模型一元線性回歸模型2一元線性回歸系數(shù)a,b的最小二乘估計(jì)

要求出回歸直線,只需求出.從散點(diǎn)圖來看,要求出

是不困難的，在散點(diǎn)圖上畫一條直線,使得直線總的來看最“接近”全部點(diǎn)，問題是如何將這種思想精確化和數(shù)量化.設(shè)給定個(gè)不全相同的點(diǎn),對(duì)平面上任一條直線

我們用數(shù)量

(1.3)

來刻畫點(diǎn)到直線的遠(yuǎn)近程度.于是

(1.4)

便定量地描述了直線距離這個(gè)點(diǎn)的總的遠(yuǎn)近程度.

這個(gè)量是隨著不同的直線而變化的,也就是說,是隨不同而變化的,它是的二元函數(shù),記為

(1.5)于是,要找一直線,使得該直線總的來看最“接近”這個(gè)點(diǎn)的問題,就轉(zhuǎn)化為求二元函數(shù)的最小值問題，由于是個(gè)平之和,所以求最小值點(diǎn)的方法習(xí)慣上稱為最小二乘法.回歸系數(shù)的最小二乘估計(jì)與最大似然估計(jì)有什么不同?它們的結(jié)果是否相同?的最小值點(diǎn),通常利用微積分中的極值原理,即解方程組整理得

正規(guī)方程組故正規(guī)方程組有唯一的一組解.解得的最小二乘估計(jì)值為回歸方程

回歸直線例2(續(xù)例1)設(shè)在例1中的隨機(jī)變量符合一元線性回歸模型的條件,求關(guān)于的經(jīng)驗(yàn)回歸方程.解

:于是,可得的估計(jì)值為從而回歸方程為

:3參數(shù)的估計(jì)定理一在一元線性回歸模型中,,所以,.

其中,表示觀測數(shù)據(jù)與回歸直線上對(duì)應(yīng)點(diǎn)的縱坐標(biāo)之差的平方和.稱為剩余平方和.稱為處的殘差，所以又稱為殘差平方和.說明,由定理一可知,的無偏估計(jì)為.4的分布定理二

在一元線性回歸模型中,(1)(2)(3)(4)相互獨(dú)立.

三線性回歸效果的顯著性檢驗(yàn)下面介紹三種常用的檢驗(yàn)方法,它們本質(zhì)上是相同的.1檢驗(yàn)法給定顯著性水平,檢驗(yàn)法則為若,則拒絕,認(rèn)為回歸效果顯著;若,則拒絕,認(rèn)為回歸效果不顯著;2檢驗(yàn)法可以證明當(dāng)為真時(shí),若,則拒絕,認(rèn)為回歸效果顯著;若,則拒絕,認(rèn)為回歸效果不顯著;給定顯著性水平,檢驗(yàn)法則為:3相關(guān)系數(shù)檢驗(yàn)法若,則拒絕,認(rèn)為回歸效果顯著;若,則拒絕,認(rèn)為回歸效果不顯著;給定顯著性水平,檢驗(yàn)法則為:例3用檢驗(yàn)法及相關(guān)系數(shù)檢驗(yàn)法檢驗(yàn)例1中的線性回歸效果是否顯著.(取)解(1)用檢驗(yàn)法檢驗(yàn).由例1可知,

所以拒絕,認(rèn)為回歸效果顯著.

(2)相關(guān)系數(shù)檢驗(yàn)法

所以拒絕,認(rèn)為回歸效果顯著.同理可用

檢驗(yàn)法四利用一元線性回歸方程進(jìn)行預(yù)測和控制所謂預(yù)測，就是對(duì)固定的的情況下預(yù)測的觀測值.所謂控制，就是通過控制的值,以便把的取值控制在指定的范圍內(nèi).預(yù)測（預(yù)報(bào)）與控制實(shí)際上是一個(gè)問題的兩個(gè)方面，問題的一方面解決之后，另一方面也就隨之解決了.1預(yù)測點(diǎn)預(yù)測

區(qū)間預(yù)測作為的預(yù)測值,即

（2）區(qū)間預(yù)測所謂區(qū)間預(yù)測就是求的區(qū)間估計(jì).因?yàn)榭梢宰C明（1）點(diǎn)預(yù)測所以,對(duì)于給定的及置信度,

的預(yù)測區(qū)間即置信區(qū)間為:

在線性回歸確定后,影響預(yù)測精度的主要因素有哪些?

例4(例1續(xù))討論腐蝕深度的預(yù)測問題.現(xiàn)測得腐蝕時(shí)間為

75秒,試求腐蝕深度的預(yù)測區(qū)間.()解根據(jù)例2知回歸方程為，

把代入回歸直線方程,得

2控制控制是預(yù)測的反問題,即要求以概率落于某區(qū)間時(shí),應(yīng)控制在什么范圍.這相當(dāng)于求出相應(yīng)的,使得當(dāng)或時(shí),以概率落于某區(qū)間.這里,我們只討論很大的情形.令解出,得當(dāng)時(shí),控制區(qū)間為當(dāng)時(shí),控制區(qū)間為

例5(例1續(xù))討論腐蝕時(shí)間的控制問題.若要求腐蝕深度在之

間,問腐蝕時(shí)間應(yīng)如何控制?解要求腐蝕深度在之間,近似地有即腐蝕時(shí)間應(yīng)控制在五可線性化的非線性回歸問題在許多實(shí)際問題中，變量之間的關(guān)系可以不是線性相關(guān)關(guān)系，而是某種非線性相關(guān)關(guān)系.但在某些情況下,我們可以通過一些適當(dāng)?shù)淖兞孔儞Q,將變量間的關(guān)系化為線性的形式.下面通過例子來說明解決的方法.首先,介紹幾種常見的可轉(zhuǎn)化為一元線性回歸的模型.情形1.

情形2.

身高143145146147149150153154腿長8885889192939395身高155156157158159160162164腿長969897969899100102練習(xí)1

測得16名女子的身高和腿長如下(單位:cm):試研究這些數(shù)據(jù)之間的關(guān)系.練習(xí)2

某工廠在分析產(chǎn)量與成本關(guān)系時(shí),選取十個(gè)生產(chǎn)小組作樣本,收集到如下數(shù)據(jù):產(chǎn)量x(千件)4042485565成本y(千元)150140152160150產(chǎn)量x(千件)7988100120140成本y(千元)162175165190185(1)求y對(duì)x的線性回歸方程ax+b;(2)檢驗(yàn)回歸方程的顯著性(檢驗(yàn)水平為0.05);(3)求回歸系數(shù)的95%置信區(qū)間;(4)取x0=90,求y0的預(yù)測值及95%的預(yù)測區(qū)間.§2多元線性回歸分析簡介

多元線性回歸模型多元線性回歸模型回歸系數(shù)的估計(jì)

一多元線性回歸模型多元線性回歸模型用最小估二乘法估計(jì)參數(shù).達(dá)到最小.二多元線性回歸模型回歸系數(shù)的