第九章回歸分析課件

1第九章回歸分析

一元線性回歸分析

多元線性回歸分析簡介

2

在現(xiàn)實問題中處于同一個過程中的一些變量往往是相互依賴和相互制約的，它們之間的相互關(guān)系大致可分為兩類.一類是確定性關(guān)系，即數(shù)學(xué)上的函數(shù)關(guān)系.引言例如:在勻速直線運動中，當速度給定時，路程與運動時間

的關(guān)系.圓的面積與半徑之間的關(guān)系.3另一類是非確定性關(guān)系，又叫相關(guān)關(guān)系.例如:小麥畝產(chǎn)量與施肥量，小麥品種，澆水量之間的關(guān)系.變量之間的關(guān)系確定性關(guān)系相關(guān)關(guān)系確定性關(guān)系身高和體重相關(guān)關(guān)系相關(guān)關(guān)系的特征是:變量之間的關(guān)系很難用一種精確的方法表示出來.確定性關(guān)系和相關(guān)關(guān)系的聯(lián)系

由于存在測量誤差等原因,確定性關(guān)系在實際問題中往往通過相關(guān)關(guān)系表示出來;另一方面,當對事物內(nèi)部規(guī)律了解得更加深刻時,相關(guān)關(guān)系也有可能轉(zhuǎn)化為確定性關(guān)系.

回歸分析——處理變量之間的相關(guān)關(guān)系的一種數(shù)學(xué)方法,它是最常用的數(shù)理統(tǒng)計方法.線性回歸分析非線性回歸分析回歸分析一元線性回歸分析多元線性回歸分析6研究一個隨機變量與一個（或幾個）可控變量之間的相關(guān)關(guān)系的統(tǒng)計方法稱為回歸分析.只有一個自變量的回歸分析叫做一元回歸分析多于一個自變量的回歸分析叫做多元回歸分析自變量與因變量呈直線相關(guān)的回歸稱為線性回歸自變量與因量不呈直線相關(guān)的回歸稱為非線性回歸7利用回歸分析這種統(tǒng)計方法，可以從一個（或幾個）可控變量的取值去估計作為因變量的隨機變量的取值.具體地說，回歸分析主要包括三個方面的內(nèi)容：提供建立有相關(guān)關(guān)系的變量之間的數(shù)學(xué)關(guān)系式（通常稱之為經(jīng)驗公式）的一般方法；判別所建立的經(jīng)驗公式是否有效，并從影響隨機變量的諸變量中判別哪些變量的影響是顯著的，哪些是不顯著的；利用所得的經(jīng)驗公式進行預(yù)測和控制

.81散點圖與經(jīng)驗公式在一元回歸分析里，我們要考慮的是，隨機變量與一普通變量之間的關(guān)系.對有一定聯(lián)系的兩個變量：與，在觀測中得到若干對數(shù)據(jù)的基礎(chǔ)上，用什么方法來獲得這兩個變量之間（對）的經(jīng)驗公式呢？為說明問題，先看一個例子.§1一元線性回歸分析一一元線性回歸模型例1在某種產(chǎn)品表面進行腐蝕刻線試驗，得腐蝕時間與腐蝕深度相對應(yīng)的一組數(shù)據(jù)如下表：

時間5101520304050607090120深度610101316171923252946我們希望由此找出兩個變量之間的關(guān)系式.分別對應(yīng)到平面上的11個點（如圖9-1），并稱這張圖為散點圖.

散點圖給了我們很多啟示.首先，這些點雖然是雜亂的，但大體上分布在某條直線的周圍.也就是說，腐蝕時間與腐蝕深度大致成線性關(guān)系：

(1.1)

這里,在上加“?”是為了區(qū)別于的實際值.

至此,在散點圖的啟示下,經(jīng)驗公式的形式已完全確定,即是線性的.因此,只需要確定.通常稱為回歸系數(shù),關(guān)系式稱為回歸直線.一元線性回歸問題建立回歸模型一元線性回歸模型2一元線性回歸系數(shù)a,b的最小二乘估計

要求出回歸直線,只需求出.從散點圖來看,要求出

是不困難的，在散點圖上畫一條直線,使得直線總的來看最“接近”全部點，問題是如何將這種思想精確化和數(shù)量化.設(shè)給定個不全相同的點,對平面上任一條直線

我們用數(shù)量

(1.3)

來刻畫點到直線的遠近程度.于是

(1.4)

便定量地描述了直線距離這個點的總的遠近程度.

這個量是隨著不同的直線而變化的,也就是說,是隨不同而變化的,它是的二元函數(shù),記為

(1.5)于是,要找一直線,使得該直線總的來看最“接近”這個點的問題,就轉(zhuǎn)化為求二元函數(shù)的最小值問題，由于是個平之和,所以求最小值點的方法習(xí)慣上稱為最小二乘法.回歸系數(shù)的最小二乘估計與最大似然估計有什么不同?它們的結(jié)果是否相同?的最小值點,通常利用微積分中的極值原理,即解方程組整理得

正規(guī)方程組故正規(guī)方程組有唯一的一組解.解得的最小二乘估計值為回歸方程

回歸直線例2(續(xù)例1)設(shè)在例1中的隨機變量符合一元線性回歸模型的條件,求關(guān)于的經(jīng)驗回歸方程.解

:于是,可得的估計值為從而回歸方程為

:3參數(shù)的估計定理一在一元線性回歸模型中,,所以,.

其中,表示觀測數(shù)據(jù)與回歸直線上對應(yīng)點的縱坐標之差的平方和.稱為剩余平方和.稱為處的殘差，所以又稱為殘差平方和.說明,由定理一可知,的無偏估計為.4的分布定理二

在一元線性回歸模型中,(1)(2)(3)(4)相互獨立.

三線性回歸效果的顯著性檢驗下面介紹三種常用的檢驗方法,它們本質(zhì)上是相同的.1檢驗法給定顯著性水平,檢驗法則為若,則拒絕,認為回歸效果顯著;若,則拒絕,認為回歸效果不顯著;2檢驗法可以證明當為真時,若,則拒絕,認為回歸效果顯著;若,則拒絕,認為回歸效果不顯著;給定顯著性水平,檢驗法則為:3相關(guān)系數(shù)檢驗法若,則拒絕,認為回歸效果顯著;若,則拒絕,認為回歸效果不顯著;給定顯著性水平,檢驗法則為:例3用檢驗法及相關(guān)系數(shù)檢驗法檢驗例1中的線性回歸效果是否顯著.(取)解(1)用檢驗法檢驗.由例1可知,

所以拒絕,認為回歸效果顯著.

(2)相關(guān)系數(shù)檢驗法

所以拒絕,認為回歸效果顯著.同理可用

檢驗法四利用一元線性回歸方程進行預(yù)測和控制所謂預(yù)測，就是對固定的的情況下預(yù)測的觀測值.所謂控制，就是通過控制的值,以便把的取值控制在指定的范圍內(nèi).預(yù)測（預(yù)報）與控制實際上是一個問題的兩個方面，問題的一方面解決之后，另一方面也就隨之解決了.1預(yù)測點預(yù)測

區(qū)間預(yù)測作為的預(yù)測值,即

（2）區(qū)間預(yù)測所謂區(qū)間預(yù)測就是求的區(qū)間估計.因為可以證明（1）點預(yù)測所以,對于給定的及置信度,

的預(yù)測區(qū)間即置信區(qū)間為:

在線性回歸確定后,影響預(yù)測精度的主要因素有哪些?

例4(例1續(xù))討論腐蝕深度的預(yù)測問題.現(xiàn)測得腐蝕時間為

75秒,試求腐蝕深度的預(yù)測區(qū)間.()解根據(jù)例2知回歸方程為，

把代入回歸直線方程,得

2控制控制是預(yù)測的反問題,即要求以概率落于某區(qū)間時,應(yīng)控制在什么范圍.這相當于求出相應(yīng)的,使得當或時,以概率落于某區(qū)間.這里,我們只討論很大的情形.令解出,得當時,控制區(qū)間為當時,控制區(qū)間為

例5(例1續(xù))討論腐蝕時間的控制問題.若要求腐蝕深度在之

間,問腐蝕時間應(yīng)如何控制?解要求腐蝕深度在之間,近似地有即腐蝕時間應(yīng)控制在五可線性化的非線性回歸問題在許多實際問題中，變量之間的關(guān)系可以不是線性相關(guān)關(guān)系，而是某種非線性相關(guān)關(guān)系.但在某些情況下,我們可以通過一些適當?shù)淖兞孔儞Q,將變量間的關(guān)系化為線性的形式.下面通過例子來說明解決的方法.首先,介紹幾種常見的可轉(zhuǎn)化為一元線性回歸的模型.情形1.

情形2.

身高143145146147149150153154腿長8885889192939395身高155156157158159160162164腿長969897969899100102練習(xí)1

測得16名女子的身高和腿長如下(單位:cm):試研究這些數(shù)據(jù)之間的關(guān)系.練習(xí)2

某工廠在分析產(chǎn)量與成本關(guān)系時,選取十個生產(chǎn)小組作樣本,收集到如下數(shù)據(jù):產(chǎn)量x(千件)4042485565成本y(千元)150140152160150產(chǎn)量x(千件)7988100120140成本y(千元)162175165190185(1)求y對x的線性回歸方程ax+b;(2)檢驗回歸方程的顯著性(檢驗水平為0.05);(3)求回歸系數(shù)的95%置信區(qū)間;(4)取x0=90,求y0的預(yù)測值及95%的預(yù)測區(qū)間.§2多元線性回歸分析簡介

多元線性回歸模型多元線性回歸模型回歸系數(shù)的估計

一多元線性回歸模型多元線性回歸模型用最小估二乘法估計參數(shù).達到最小.二多元線性回歸模型回歸系數(shù)的