第11章一元線性回歸

1、1第第1111章章 一元線性回歸一元線性回歸2第11章 一元線性回歸11.1 變量間關系的度量變量間關系的度量 11.2 一元線性回歸一元線性回歸11.3 利用回歸方程進行估計和預測利用回歸方程進行估計和預測11.4 殘差分析殘差分析3學習目標1.相關關系的分析方法相關關系的分析方法一元線性回歸的基本原理和參數(shù)的最一元線性回歸的基本原理和參數(shù)的最小二乘估計小二乘估計回歸直線的擬合優(yōu)度回歸直線的擬合優(yōu)度回歸方程的顯著性檢驗回歸方程的顯著性檢驗利用回歸方程進行估計和預測利用回歸方程進行估計和預測2.用用 Excel 進行回歸進行回歸411.1 變量間關系的度量n11.1.1 變量間的關系變量間的關

2、系n11.1.2 相關關系的描述與測度相關關系的描述與測度n11.1.3 相關系數(shù)的顯著性檢驗相關系數(shù)的顯著性檢驗5變量間的關系6函數(shù)關系是一一對應的確定關系設有兩個變量 x 和 y ，變量 y 隨變量 x 一起變化，并完全依賴于 x ，當變量 x 取某個數(shù)值時， y 依確定的關系取相應的值，則稱 y 是 x 的函數(shù)，記為 y = f (x)，其中 x 稱為自變量，y 稱為因變量各觀測點落在一條線上 7函數(shù)關系(幾個例子)8相關關系(correlation)變量間關系不能用函數(shù)關系精確表達一個變量的取值不能由另一個變量唯一確定當變量 x 取某個值時，變量 y 的取值可能有幾個各觀測點分布在直線

3、周圍 9相關關系(幾個例子)10相關關系的種類相關關系的種類n1按相關方向的不同，可以分為正相關和負按相關方向的不同，可以分為正相關和負相關。相關。n正相關：當一個變量（x）的數(shù)值增加，另一個變量（ y ）的數(shù)值也相應地增加；自變量（ x ）的數(shù)值減少，因變量（ y ）的數(shù)值也隨之減少，即兩個變量變化方向一致，這樣的相關關系就是正相關。n例如，身高與體重之間關系。 11n負相關：當自變量（ x ）的數(shù)值增加，因變量（ y ）的數(shù)值也相應地減少；自變量（ x ）的數(shù)值減少，因變量（ y ）的數(shù)值也隨之增加，即兩個變量變化方向相反，這樣的相關關系就是負相關。n例如，單位產(chǎn)品成本與產(chǎn)品產(chǎn)量之間關系。

4、 122按變量之間的相關形式，可分為線性相關和按變量之間的相關形式，可分為線性相關和非線性相關。非線性相關。n若一個變量與另一個或一組變量之間的相關關系表現(xiàn)為線性組合時，則稱它們之間的相關關系為線性相關。n若一個變量與另一個或一組變量之間的相關關系不能表現(xiàn)為線性組合，而只能表現(xiàn)為非線性組合時，則稱它們之間的相關關系為非線性相關。133按變量的多少不同，可以分為單相關和復相按變量的多少不同，可以分為單相關和復相關關n單相關是指兩個變量之間的相關關系。n復相關是指多個變量之間的相關關系。n例如，只研究利潤總額與產(chǎn)品銷售額的關系，是單相關；若研究利潤總額同時與成本水平、產(chǎn)品銷售額的關系，就是復相關。

5、 144按變量之間的相關程度不同，可分為完全相按變量之間的相關程度不同，可分為完全相關、不完全相關和完全不相關。關、不完全相關和完全不相關。n若一個變量的值完全由另一個或一組變量的值所決定，則稱變量之間的這種相關關系為完全相關，即函數(shù)關系。n若一個變量的值與另一個或一組變量的值有關，但其中要受到隨機因素的影響，則稱變量之間的這種相關關系為不完全相關。n若一個變量的值完全不受另一個或一組變量值的影響，則稱變量之間不相關。n大量社會經(jīng)濟現(xiàn)象之間的相關關系都屬于不完全相關，不完全相關是相關分析的基本內(nèi)容。完全相關和完全不相關可視為相關關系中的特例。 155.按相關的性質不同，可分為真實相關和虛假相關

6、16相關關系的描述與測度(散點圖)17相關分析及其假定相關分析要解決的問題n變量之間是否存在關系？n如果存在關系，它們之間是什么樣的關系？n變量之間的關系強度如何？n樣本所反映的變量之間的關系能否代表總體變量之間的關系？為解決這些問題，在進行相關分析時，對總體有以下兩個主要假定n兩個變量之間是線性關系n兩個變量都是隨機變量18散點圖(scatter diagram)19散點圖(例題分析)n【例】【例】一家大型商業(yè)銀行在多個地區(qū)設有分行，其業(yè)務主要是進行基礎設施建設、國家重點項目建設、固定資產(chǎn)投資等項目的貸款。近年來，該銀行的貸款額平穩(wěn)增長，但不良貸款額也有較大比例增加，這給銀行業(yè)務的發(fā)展帶來較

7、大壓力。為弄清楚不良貸款形成的原因，管理者希望利用銀行業(yè)務的有關數(shù)據(jù)做些定量分析，以便找出控制不良貸款的辦法。下面是該銀行所屬的25家分行的有關業(yè)務數(shù)據(jù) 20散點圖(例題分析)21散點圖(不良貸款對其他變量的散點圖)22相關關系的描述與測度(相關系數(shù))23相關系數(shù)(correlation coefficient)度量變量之間關系強度的一個統(tǒng)計量對兩個變量之間線性相關強度的度量稱為簡單相關系數(shù)若相關系數(shù)是根據(jù)總體全部數(shù)據(jù)計算的，稱為總體相關系數(shù)，記為 若是根據(jù)樣本數(shù)據(jù)計算的，則稱為樣本相關系數(shù)，簡稱為相關系數(shù)，記為r n也稱為線性相關系數(shù)(linear correlation coefficie

8、nt) n或稱為Pearson相關系數(shù) (Pearsons correlation coefficient) 24相關系數(shù) (計算公式)n 樣本相關系數(shù)的計算公式22)()()(yyxxyyxxr2222yynxxnyxxynr25相關系數(shù)的性質n性質性質1：r 的取值范圍是 -1,1n |r|=1，為完全相關nr =1，為完全正相關nr =-1，為完全負 相關n r = 0，不存在線性線性相關關系n -1r0，為負相關n0r1，為正相關n|r|越趨于1表示關系越強；|r|越趨于0表示關系越弱26相關系數(shù)的性質n性質性質2：r具有對稱性。即x與y之間的相關系數(shù)和y與x之間的相關系數(shù)相等，即rx

9、y= ryx；n性質性質3：r數(shù)值大小與x和y原點及尺度無關，即改變x和y的數(shù)據(jù)原點及計量尺度，并不改變r數(shù)值大?。籲性質性質4：僅僅是x與y之間線性關系的一個度量，它不能用于描述非線性關系。這意為著， r=0只表示兩個變量之間不存在線性相關關系，并不說明變量之間沒 有任何關系；n性質性質5：r雖然是兩個變量之間線性關系的一個度量，卻不一定意味著x與y一定有因果關系。27相關系數(shù)的經(jīng)驗解釋 |r|0.8時，可視為兩個變量之間高度相關0.5|r|0.8時，可視為中度相關0.3|r|0.5時，視為低度相關|r|t，拒絕H0 若tt(25-2)=2.069，拒絕H0，不良貸款與貸款余額之間存在著顯著

10、的正線性相關關系33相關系數(shù)的顯著性檢驗(例題分析)n各相關系數(shù)檢驗的統(tǒng)計量各相關系數(shù)檢驗的統(tǒng)計量3411.2 一元線性回歸n11.2.1 一元線性回歸模型一元線性回歸模型n11.2.2 參數(shù)的最小二乘估計參數(shù)的最小二乘估計n11.2.3 回歸直線的擬合優(yōu)度回歸直線的擬合優(yōu)度n11.2.4 顯著性檢驗顯著性檢驗35什么是回歸分析？(Regression)從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學關系式對這些關系式的可信程度進行各種統(tǒng)計檢驗，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著利用所求的關系式，根據(jù)一個或幾個變量的取值來預測或控制另一個特定變量的取值，并給出這種預測或控

11、制的精確程度36回歸模型的類型線線 性性 回回 歸歸非非 線線 性性 回回 歸歸一一 元元 回回 歸歸線線 性性 回回 歸歸非非 線線 性性 回回 歸歸多多 元元 回回 歸歸回回 歸歸 模模 型型37一元線性回歸模型38n “回歸”一詞的歷史淵源n英國統(tǒng)計學家F.高爾頓和他的學生K.皮爾遜(K.Pearson:18561936)在研究父母身高與其子女身高的遺傳問題時，觀察了1078對夫婦，以每對夫婦的平均身高作為x，而取他們的一個成年兒子的身高作為y，將結果在平面直角坐標系上繪成散點圖，發(fā)現(xiàn)趨勢近乎一條直線。計算出的回歸直線方程為33.730.516yx39通俗地說:n一群特高個子父輩的兒子們

12、在同齡人中平均僅為高個子n一群高個子父輩的兒子們在同齡人中平均僅為略高個子n一群特矮個子父輩的兒子們在同齡人中平均僅為矮個子n一群矮個子父輩的兒子們在同齡人中平均僅為略矮個子n即子代的平均高度向中心回歸了n正是因為子代的身高有回到同齡人平均身高的這種趨勢，才使人類的身高在一定時間相對穩(wěn)定，沒有出現(xiàn)父輩個子高其子女更高，父輩個子矮其子女更矮的兩極分化現(xiàn)象。n正是為了描述這種有趣的現(xiàn)象，高爾頓引進了“回歸”這個名詞來描述父輩身高x與子代身高y的關系 404142一元線性回歸涉及一個自變量的回歸因變量y與自變量x之間為線性關系n被預測或被解釋的變量稱為因變量(dependent variable)，

13、用y表示n用來預測或用來解釋因變量的一個或多個變量稱為自變量(independent variable)，用x表示 因變量與自變量之間的關系用一個線性方程來表示43回歸模型(regression model)回答“變量之間是什么樣的關系？”方程中運用n1 個數(shù)值型因變量(響應變量)n被預測的變量n1 個（或多個）數(shù)值型自變量 (解釋變量)n用于預測的變量3. 主要用于預測和估計44一元線性回歸模型描述因變量 y 如何依賴于自變量 x 和誤差項 的方程稱為回歸模型回歸模型一元線性回歸模型可表示為 y = b b b b1 1 x ny 是 x 的線性函數(shù)(部分)加上誤差項n線性部分反映了由于 x

14、 的變化而引起的 y 的變化n誤差項 是隨機變量n反映了除 x 和 y 之間的線性關系之外的隨機因素對 y 的影響。是不能由 x 和 y 之間的線性關系所解釋的變異性nb0 和 b1 稱為模型的參數(shù)45一元線性回歸模型(基本假定) 自變量x與因變量y之間具有線性關系在重復抽樣中，自變量x的取值是固定的，即假定x是非隨機的誤差項是一個期望值為0的隨機變量，即E()=0。對于一個給定的 x 值，y 的期望值為E ( y ) =b b 0+ b b 1 x對于所有的 x 值，的方差2 都相同誤差項是一個服從正態(tài)分布的隨機變量，且相互獨立。即N(0 ,2 )n獨立性意味著對于一個特定的 x 值，它所對

15、應的與其他 x 值所對應的不相關n對于一個特定的 x 值，它所對應的 y 值與其他 x 所對應的 y 值也不相關46一元線性回歸模型(基本假定) y47回歸方程 (regression equation)描述 y 的平均值或期望值如何依賴于 x 的方程稱為回歸方程回歸方程一元線性回歸方程的形式如下 E( y ) = b b0+ b b1 x48估計的回歸方程(estimated regression equation)0b1b0b1b0b1bxy10bb0b1by 49參數(shù)的最小二乘估計50最小二乘估計(method of least squares )最小niiiniixyyy121012)

16、() (bb德國科學家Karl Gauss(17771855)提出用最小化圖中垂直方向的誤差平方和來估計參數(shù) 使因變量的觀察值與估計值之間的誤差平方和達到最小來求得 和 的方法。即0b1b51Karl Gauss的最小化圖的最小化圖xy10bb52最小二乘法xyxxnyxyxnniniiiniiniiniii1012121111bbb0b1b0)(20)(2110111001100niiiiniiixyxQxyQbbbbbbbbbb53估計方程的求法(例題分析)【例】【例】求不良貸款對貸款余額的回歸方程8295. 0268.120037895. 0728. 3037895. 07 .30063

17、7.516543252 .937 .300614.1708025021bb1b54估計方程的求法(例題分析)n不良貸款對貸款余額回歸方程的圖示55用Excel進行回歸分析n第第1步：步：選擇【工具工具】下拉菜單n第第2步：步：選擇【數(shù)據(jù)分析數(shù)據(jù)分析】選項n第第3步：步：在分析工具中選擇【回歸回歸】 ，選擇【確定確定】n第第4步：步：當對話框出現(xiàn)時 n 在【Y值輸入?yún)^(qū)域值輸入?yún)^(qū)域】設置框內(nèi)鍵入Y的數(shù)據(jù)區(qū)域n 在【X值輸入?yún)^(qū)域值輸入?yún)^(qū)域】設置框內(nèi)鍵入X的數(shù)據(jù)區(qū)域n 在【置信度置信度】選項中給出所需的數(shù)值n 在【輸出選項輸出選項】中選擇輸出區(qū)域n 在【殘差殘差】分析選項中選擇所需的選項56回歸直線的

18、擬合優(yōu)度57變 差因變量 y 的取值是不同的，y 取值的這種波動稱為變差。變差來源于兩個方面n由于自變量 x 的取值不同造成的n除 x 以外的其他因素(如x對y的非線性影響、測量誤差等)的影響對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差 來表示yy58誤差的分解(圖示) yxy10bbyyyyyy),(iiyx59誤差平方和的分解 (三個平方和的關系) niiniiniiyyyyyy12121260誤差平方和的分解 (三個平方和的意義)總平方和總平方和(SST)n反映因變量的 n 個觀察值與其均值的總誤差回歸平方和回歸平方和(SSR)n反映自變量 x 的變化對因變量 y

19、取值變化的影響，或者說，是由于 x 與 y 之間的線性關系引起的 y 的取值變化，也稱為可解釋的平方和殘差平方和殘差平方和(SSE)n反映除 x 以外的其他因素對 y 取值的影響，也稱為不可解釋的平方和或剩余平方和61判定系數(shù)R2 (coefficient of determination)回歸平方和占總誤差平方和的比例niiniiniiniiyyyyyyyySSTSSRR121212122162判定系數(shù) (例題分析)n【例】【例】計算不良貸款對貸款余額回歸的判定系數(shù)，并解釋其意義 n 判定系數(shù)的實際意義是：判定系數(shù)的實際意義是：在不良貸款取值的變差中，有71.16%可以由不良貸款與貸款余額之

20、間的線性關系來解釋，或者說，在不良貸款取值的變動中，有71.16%是由貸款余額所決定的。也就是說，不良貸款取值的差異有2/3以上是由貸款余額決定的?？梢姴涣假J款與貸款余額之間有較強的線性關系 %16.717116. 06504.3124860.2222SSTSSRR63估計標準誤差(standard error of estimate)實際觀察值與回歸估計值誤差平方和的均方根反映實際觀察值在回歸直線周圍的分散狀況對誤差項的標準差的估計，是在排除了x對y的線性影響后，y隨機波動大小的一個估計量反映用估計的回歸方程預測y時預測誤差的大小 計算公式為MSEnSSEnyysniiie221264顯著性

21、檢驗65線性關系的檢驗檢驗自變量與因變量之間的線性關系是否顯著將回歸均方(MSR)同殘差均方(MSE)加以比較，應用F檢驗來分析二者之間的差別是否顯著回歸均方：回歸平方和SSR除以相應的自由度(自變量的個數(shù)k) 殘差均方：殘差平方和SSE除以相應的自由度(n-k-1)66線性關系的檢驗 (檢驗的步驟) 提出假設nH0：b1=0 線性關系不顯著)2,1 ()2(1nFMSEMSRnSSESSRF67線性關系的檢驗 (例題分析) 提出假設nH0：b1=0 不良貸款與貸款余額之間的線性關系不顯著計算檢驗統(tǒng)計量F753844.56)225(164421.90148598.222)2(1nSSESSRF

22、68線性關系的檢驗 (方差分析表) 69回歸系數(shù)的檢驗1b70回歸系數(shù)的檢驗 (檢驗步驟) 提出假設nH0: b1 = 0 (沒有線性關系) nH1: b1 0 (有線性關系) 計算檢驗的統(tǒng)計量3. 確定顯著性水平，并進行決策 tt，拒絕H0； tt，不拒絕H0) 2(11ntstbb71回歸系數(shù)的檢驗 (例題分析)n對例題的回歸系數(shù)進行顯著性檢驗(0.05)提出假設nH0：b1 = 0 nH1：b1 0 1.計算檢驗的統(tǒng)計量533515. 7005030. 0037895. 0t72回歸系數(shù)的檢驗 (例題分析)nP 值的應用值的應用73回歸分析結果的評價l建立的模型是否合適？或者說，這個擬合

23、的模型有多“好”？要回答這些問題，可以從以下幾個方面入手所估計的回歸系數(shù) 的符號是否與理論或事先預期相一致n在不良貸款與貸款余額的回歸中，可以預期貸款余額越多，不良貸款也可能會越多，也就是說，回歸系數(shù)的值應該是正的，在上面建立的回歸方程中，我們得到的回歸系數(shù) 為正值，如果理論上認為x與y之間的關系不僅是正的，而且是統(tǒng)計上顯著的，那么所建立的回歸方程也應該如此n在不良貸款與貸款余額的回歸中，二者之間為正的線性關系，而且，對回歸系數(shù)的t檢驗結果表明而這之間的線性關系是統(tǒng)計上顯著的1b037895. 01b74回歸模型在多大程度上解釋了因變量y取值的差異？可以用判定系數(shù)R2來回答這一問題n在不良貸款

24、與貸款余額的回歸中，得到的R2=71.16%，解釋了不良貸款變差的2/3以上，說明擬合的效果還算不錯考察關于誤差項的正態(tài)性假定是否成立。因為我們在對線性關系進行F檢驗和回歸系數(shù)進行t檢驗時，都要求誤差項服從正態(tài)分布，否則，我們所用的檢驗程序將是無效的。正態(tài)性的簡單方法是畫出殘差的直方圖或正態(tài)概率圖回歸分析結果的評價75Excel輸出的部分回歸結果名稱名稱計算公式計算公式Adjusted R SquareIntercept的抽樣標準誤差Intercept95%的置信區(qū)間斜率95%的置信區(qū)間11)1 (122knnRRaniiexxxnss12)()(10bniiexxxnsnt1220)()(1

25、)2(bniiexxsnt1221)()2(b7611.3 利用回歸方程進行估計和預測n11.3.1 點估計點估計n11.3.2 區(qū)間估計區(qū)間估計77利用回歸方程進行估計和預測根據(jù)自變量 x 的取值估計或預測因變量 y的取值估計或預測的類型n點估計ny 的平均值的點估計ny 的個別值的點估計n區(qū)間估計ny 的平均值的置信區(qū)間置信區(qū)間估計ny 的個別值的預測區(qū)間預測區(qū)間估計78點估計79點估計對于自變量 x 的一個給定值x0 ，根據(jù)回歸方程得到因變量 y 的一個估計值0 y80 y 的平均值的點估計n利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的平均值的一個估計值E

26、(y0) ，就是平均值的點估計n在前面的例子中，假如我們要估計貸款余額為100億元時，所有分行不良貸款的平均值，就是平均值的點估計 。根據(jù)估計的回歸方程得)(96. 2100037895. 08295. 0)(0億元yE81y 的個別值的點估計0 yn利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的一個個別值的估計值 ，就是個別值的點估計n例如，如果我們只是想知道貸款余額為72.8億元的那個分行(這里是編號為10的那個分行)的不良貸款是多少，則屬于個別值的點估計 。根據(jù)估計的回歸方程得)(93. 18 .72037895. 08295. 00億元y82區(qū)間估計83區(qū)

27、間估計點估計不能給出估計的可信度，點估計值與實際值之間是有誤差的，因此需要進行區(qū)間估計對于自變量 x 的一個給定值 x0，根據(jù)回歸方程得到因變量 y 的一個估計區(qū)間區(qū)間估計有兩種類型n置信區(qū)間估計(confidence interval estimate)n預測區(qū)間估計(prediction interval estimate)84置信區(qū)間估計n利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的平均值的估計區(qū)間 ，這一估計區(qū)間稱為置信區(qū)間置信區(qū)間(confidence interval)n E(y0) 在1-置信水平下的置信區(qū)間為niiexxxxnsnty122020

28、1)2(式中：se為估計標準誤差85置信區(qū)間估計(例題分析)n 【例】【例】求出貸款余額為100億元時，不良貸款95%置信水平下的置信區(qū)間n 解：根據(jù)前面的計算結果，已知n=25， n se=1.9799，t(25-2)=2.069n 置信區(qū)間為96. 20y5744.154933)268.120100(2519799. 1069. 296. 228059. 3)(1141. 20yE86預測區(qū)間估計n利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的一個個別值的估計區(qū)間，這一區(qū)間稱為預測區(qū)間預測區(qū)間(prediction interval) n y0在1-置信水平下

29、的預測區(qū)間為niiexxxxnSnty12202011)2(87預測區(qū)間估計(例題分析)n【例】【例】求出貸款余額為72.8億元的那個分行，不良貸款95%的預測區(qū)間n 解：根據(jù)前面的計算結果，已知n=25， n se=1.9799，t(25-2)=2.069n 預測區(qū)間為93. 10y5744.154933)268.1208 .72(25119799. 10687. 296. 221366. 62766. 20y88置信區(qū)間和預測區(qū)間(例題分析)89置信區(qū)間、預測區(qū)間、回歸方程xy10bb9011.4 殘差分析n11.4.1 用殘差證實模型的假定用殘差證實模型的假定n11.4.2 用殘差檢測異常值和有影響的觀用殘差檢測異常值和有影響的觀測值測值91殘差(residual)因變量的觀測值與根據(jù)估計的回歸方程求出的預測值之差，用e表示反映了用估計的回歸方程去預測而引起的誤差 可用于確定有關誤差項的假定是否成立 用于檢測有影響的觀測值iiiyye92用殘差證實模型的假定93殘差圖(residual plot)表示殘差的圖形n關于x的殘差圖n關于y的殘差圖n標準化殘差圖用于判斷誤差的假定是否成立 檢測有影響的觀測值94殘差與標準化殘差圖(例題分析)95