應(yīng)用統(tǒng)計(jì)第五章

應(yīng)用統(tǒng)計(jì)第五章第一頁，共六十八頁，2022年，8月28日主要內(nèi)容1一元線性回歸的基本思路和步驟2多元線性回歸3SPSS的線性回歸操作第二頁，共六十八頁，2022年，8月28日第一節(jié)一元線性回歸背景介紹自然界各種關(guān)系的分類：一類是確定性關(guān)系，也稱函數(shù)關(guān)系；另一類是相關(guān)關(guān)系，也稱統(tǒng)計(jì)關(guān)系?；貧w分析:通過試驗(yàn)或觀測(cè)得到的對(duì)應(yīng)數(shù)據(jù),尋找隱藏在變量間相關(guān)關(guān)系的一種統(tǒng)計(jì)學(xué)方法.

相關(guān)關(guān)系更具有普遍性,

工程中確定性關(guān)系往往通過相關(guān)關(guān)系表現(xiàn)出來.第三頁，共六十八頁，2022年，8月28日從樣本數(shù)據(jù)出發(fā)，確定變量的數(shù)學(xué)關(guān)系式；對(duì)關(guān)系式的可信程度進(jìn)行統(tǒng)計(jì)檢驗(yàn)，找到影響某一特定變量顯著因素；根據(jù)變量的取值來預(yù)測(cè)或控制另一個(gè)特定變量的取值，并給出這種預(yù)測(cè)或控制的精確程度；回歸分析定義(Regression)第四頁，共六十八頁，2022年，8月28日回歸分析的一般步驟重點(diǎn)內(nèi)容第五頁，共六十八頁，2022年，8月28日第六頁，共六十八頁，2022年，8月28日一元線性回歸涉及一個(gè)自變量的回歸；因變量y與自變量x之間為線性關(guān)系；因變量(dependentvariable)：被預(yù)測(cè)或被解釋的變量，用y表示。自變量(independentvariable)：預(yù)測(cè)或解釋因變量的一個(gè)或多個(gè)變量，用x表示。因變量與自變量之間的關(guān)系用一條線性方程來表示；第七頁，共六十八頁，2022年，8月28日一元回歸的例子人均收入是否會(huì)顯著影響人均食品消費(fèi)支出；貸款余額是否會(huì)影響到不良貸款；航班正點(diǎn)率是否對(duì)顧客投訴次數(shù)有顯著影響；廣告費(fèi)用支出是否對(duì)銷售額有顯著影響；第八頁，共六十八頁，2022年，8月28日第九頁，共六十八頁，2022年，8月28日一元線性回歸模型描述因變量y如何依賴于自變量x和誤差項(xiàng)

的方程稱為回歸模型一元線性回歸模型：

y=b0+b1x+ey是x的線性函數(shù)(部分)加上誤差項(xiàng)線性部分反映了由于x的變化引起的y的變化誤差項(xiàng)

是隨機(jī)變量反映了除x和y之間線性關(guān)系之外的隨機(jī)因素對(duì)y的影響是不能由x和y之間的線性關(guān)系所解釋的變異性0和1稱為模型的參數(shù)第十頁，共六十八頁，2022年，8月28日一元線性回歸模型

(基本假定)

誤差項(xiàng)ε是期望值為0的隨機(jī)變量，即E(ε)=0。對(duì)于一個(gè)給定的x值，y的期望值為

E(y)=0+

1x對(duì)于所有的x值，ε的方差σ2都相同誤差項(xiàng)協(xié)方差等于零，即εi和εj相互獨(dú)立（i≠j）；誤差項(xiàng)ε是服從正態(tài)分布的隨機(jī)變量，且相互獨(dú)立。即ε~N(0,σ2)第十一頁，共六十八頁，2022年，8月28日回歸方程(regressionequation)描述y的平均值或期望值如何依賴于x的方程稱為回歸方程；一元線性回歸方程的形式如下：

E(y)=0+1x方程表示一條直線，也稱為直線回歸方程；0是回歸直線在y軸上的截距，是當(dāng)x=0時(shí)y的期望值；1是直線的斜率，稱為回歸系數(shù)，表示當(dāng)x每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值；第十二頁，共六十八頁，2022年，8月28日估計(jì)的回歸方程

(estimatedregressionequation)一元線性回歸中估計(jì)的回歸方程為：用樣本統(tǒng)計(jì)量和代替回歸方程中的未知參數(shù)和，就得到了估計(jì)的回歸方程；總體回歸參數(shù)和

是未知的，必須利用樣本數(shù)據(jù)去估計(jì)；其中：是估計(jì)的回歸直線在y

軸上的截距，是直線的斜率，它表示對(duì)于一個(gè)給定的x

的值，是y

的估計(jì)值，也表示x

每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值。第十三頁，共六十八頁，2022年，8月28日普通最小二乘法估計(jì)

（OLS：OrdinaryLeastSquare)使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實(shí)際數(shù)據(jù)的誤差比其他任何直線都小第十四頁，共六十八頁，2022年，8月28日最小二乘估計(jì)

(圖示)

xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾第十五頁，共六十八頁，2022年，8月28日最小二乘法

(

和的計(jì)算公式)

根據(jù)最小二乘法的要求，可得求解和的公式如下第十六頁，共六十八頁，2022年，8月28日第十七頁，共六十八頁，2022年，8月28日統(tǒng)計(jì)檢驗(yàn)的主要內(nèi)容第十八頁，共六十八頁，2022年，8月28日第十九頁，共六十八頁，2022年，8月28日變差因變量

y取值的波動(dòng)稱為變差變差來源于兩個(gè)方面：由于自變量x的取值不同造成；除x以外的其他因素(如測(cè)量誤差等)的影響；對(duì)一個(gè)具體的觀測(cè)值來說，變差的大小可以通過該實(shí)際觀測(cè)值與其均值之差來表示。第二十頁，共六十八頁，2022年，8月28日變差的分解

(圖示)

xyy{}}第二十一頁，共六十八頁，2022年，8月28日離差平方和的分解

(三個(gè)平方和的意義)總平方和(SST)反映因變量的n個(gè)觀察值與其均值的總離差；回歸平方和(SSR)反映自變量x的變化對(duì)因變量y取值變化的影響，是由于x與y之間的線性關(guān)系引起的y的取值變化，也稱為可解釋的平方和；殘差平方和(SSE)反映除x以外的其他因素對(duì)y取值的影響，也稱為不可解釋的平方和或剩余平方和；第二十二頁，共六十八頁，2022年，8月28日離差平方和的分解

(三個(gè)平方和的關(guān)系)

SST=SSR+SSE總平方和(SST){回歸平方和(SSR)殘差平方和(SSE){{第二十三頁，共六十八頁，2022年，8月28日判定系數(shù)R2

(coefficientofdetermination)回歸平方和占總離差平方和的比例反映回歸方程的擬合程度；取值范圍在[0,1]之間；

R21，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差；一元線性回歸中，判定系數(shù)等于y和x相關(guān)系數(shù)的平方，即R2＝(r)2；第二十四頁，共六十八頁，2022年，8月28日第二十五頁，共六十八頁，2022年，8月28日線性關(guān)系的檢驗(yàn)檢驗(yàn)所有自變量與因變量之間的線性關(guān)系是否顯著；將均方回歸(MSR)同均方殘差(MSE)加以比較，應(yīng)用F檢驗(yàn)來分析二者之間的差別是否顯著；均方回歸：回歸平方和SSR除以相應(yīng)的自由度(自變量的個(gè)數(shù)K)；均方殘差：殘差平方和SSE除以相應(yīng)的自由度(n-k-1)。第二十六頁，共六十八頁，2022年，8月28日線性關(guān)系的檢驗(yàn)提出假設(shè)H0：1=0所有回歸系數(shù)與零無顯著差異，y與全體x的線性關(guān)系不顯著計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F作出決策：若F>F,拒絕H0；若F<F,不能拒絕H0第二十七頁，共六十八頁，2022年，8月28日線性關(guān)系的檢驗(yàn)(sig值檢驗(yàn))Sig值小于顯著性水平a，拒絕零假設(shè)認(rèn)為所有回歸系數(shù)與零存在顯著差異，被解釋變量y與解釋變量x的線性關(guān)系顯著，可以用線性模型描述它們之間的關(guān)系；Sig值大于顯著性水平a，不應(yīng)拒絕零假設(shè)說明用線性模型描述x和y之間的關(guān)系是不恰當(dāng)?shù)摹５诙隧?，共六十八頁?022年，8月28日第二十九頁，共六十八頁，2022年，8月28日檢驗(yàn)回歸方程中的每個(gè)解釋變量x與被解釋變量y之間是否存在顯著的線性關(guān)系；確定解釋變量能否保留在線性回歸方程中?；貧w系數(shù)的顯著性檢驗(yàn)第三十頁，共六十八頁，2022年，8月28日回歸系數(shù)的檢驗(yàn)

(樣本統(tǒng)計(jì)量的分布)

是根據(jù)最小二乘法求出的樣本統(tǒng)計(jì)量，服從正態(tài)分布；的分布具有如下性質(zhì)數(shù)學(xué)期望：標(biāo)準(zhǔn)差：由于未知，需用其估計(jì)量se來代替得到的估計(jì)標(biāo)準(zhǔn)差第三十一頁，共六十八頁，2022年，8月28日回歸系數(shù)的檢驗(yàn)

(檢驗(yàn)步驟)

提出假設(shè)H0:b1=0(沒有線性關(guān)系)H1:b1

0(有線性關(guān)系)計(jì)算檢驗(yàn)的統(tǒng)計(jì)量

確定顯著性水平，并進(jìn)行決策t>t，拒絕H0；t<t，不能拒絕H0Sig值小于a，拒絕H0第三十二頁，共六十八頁，2022年，8月28日第三十三頁，共六十八頁，2022年，8月28日利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)根據(jù)自變量x

的取值估計(jì)或預(yù)測(cè)因變量y的取值估計(jì)或預(yù)測(cè)的類型點(diǎn)估計(jì)y的平均值的點(diǎn)估計(jì)y的個(gè)別值的點(diǎn)估計(jì)區(qū)間估計(jì)y的平均值的置信區(qū)間估計(jì)y的個(gè)別值的預(yù)測(cè)區(qū)間估計(jì)第三十四頁，共六十八頁，2022年，8月28日第二節(jié)多元線性回歸一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量的回歸；描述因變量y如何依賴于自變量x1

，x2

，…，

xk

和誤差項(xiàng)

的方程，稱為多元回歸模型；涉及p個(gè)自變量的多元回歸模型可表示為

b0

，b1，b2

，，bk是參數(shù)

是被稱為誤差項(xiàng)的隨機(jī)變量

y是x1,，x2

，，xk

的線性函數(shù)加上誤差項(xiàng)

是y不能被k個(gè)自變量的線性關(guān)系所解釋的變異性第三十五頁，共六十八頁，2022年，8月28日多元回歸模型

(基本假定)

誤差項(xiàng)ε是一個(gè)期望值為0的隨機(jī)變量，即E()=0；對(duì)于自變量x1，x2，…，xk的所有值，的方差2都相同；誤差項(xiàng)ε是一個(gè)服從正態(tài)分布的隨機(jī)變量，即ε~N(0,2)，且相互獨(dú)立；第三十六頁，共六十八頁，2022年，8月28日多元回歸方程

(multipleregressionequation)描述因變量y的平均值或期望值如何依賴于自變量x1，x2

，…，xk的方程多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

kxkb1，b2，，bk稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當(dāng)xi

每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值第三十七頁，共六十八頁，2022年，8月28日第三十八頁，共六十八頁，2022年，8月28日調(diào)整的多重判定系數(shù)

(adjustedmultiplecoefficientofdetermination)

用樣本容量n和自變量的個(gè)數(shù)k去修正R2得到計(jì)算公式為避免增加自變量而高估R2意義與R2類似數(shù)值小于R2第三十九頁，共六十八頁，2022年，8月28日第四十頁，共六十八頁，2022年，8月28日線性關(guān)系檢驗(yàn)提出假設(shè)H0：12k=0線性關(guān)系不顯著H1：1，2，，k至少有一個(gè)不等于0計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平和分子自由度k、分母自由度n-k-1找出臨界值F作出決策：若F>F，拒絕H0第四十一頁，共六十八頁，2022年，8月28日第四十二頁，共六十八頁，2022年，8月28日回歸系數(shù)的檢驗(yàn)

(步驟)提出假設(shè)H0：bi=0(自變量xi與

因變量y沒有線性關(guān)系)H1：bi

0(自變量xi與

因變量y有線性關(guān)系)計(jì)算檢驗(yàn)的統(tǒng)計(jì)量t

確定顯著性水平，并進(jìn)行決策t>t，拒絕H0；t<t，不能拒絕H0第四十三頁，共六十八頁，2022年，8月28日多元回歸分析中的其他問題第四十四頁，共六十八頁，2022年，8月28日多重共線性(multicollinearity)回歸模型中兩個(gè)或兩個(gè)以上的自變量彼此相關(guān)的現(xiàn)象。多重共線性帶來的問題有回歸系數(shù)估計(jì)值的不穩(wěn)定性增強(qiáng)；回歸系數(shù)假設(shè)檢驗(yàn)的結(jié)果不顯著等。多重共線性檢驗(yàn)的主要方法容忍度方差膨脹因子（VIF）第四十五頁，共六十八頁，2022年，8月28日容忍度容忍度Ri是解釋變量Xi與方程中其他解釋變量間的復(fù)相關(guān)系數(shù)；容忍度在0~1之間，越接近于0，表示多重共線性越強(qiáng)，越接近于1，表示多重共線性越弱。第四十六頁，共六十八頁，2022年，8月28日方差膨脹因子方差膨脹因子是容忍度的倒數(shù)VIFi越大，特別是大于等于10，說明解釋變量xi與方程中其他解釋變量之間有嚴(yán)重的多重共線性；VIFi越接近1，表明解釋變量Xi和其他解釋變量之間的多重共線性越弱。第四十七頁，共六十八頁，2022年，8月28日變量的篩選問題回歸方程中到底引入多少解釋變量x變量的篩選策略向前篩選策略（Forward）；向后篩選策略（Backward）；逐步篩選策略（Stepwise）。第四十八頁，共六十八頁，2022年，8月28日向前篩選策略（Forward）解釋變量x不斷進(jìn)入回歸方程的過程；首先，選擇與y具有最高線性相關(guān)系數(shù)的變量進(jìn)入方程，進(jìn)行回歸方程的各種檢驗(yàn)；然后，在剩余變量中尋找與當(dāng)前解釋變量偏相關(guān)系數(shù)最高且通過檢驗(yàn)的變量進(jìn)入方程；該過程一直重復(fù)，直到用盡所有的自變量。第四十九頁，共六十八頁，2022年，8月28日向后篩選策略（Backward）變量不斷剔除出回歸方程的過程；首先，所有自變量全部引入回歸方程，對(duì)回歸方程進(jìn)行檢驗(yàn)；然后，在回歸系數(shù)顯著性不高的變量中，剔除t檢驗(yàn)值最小的自變量，重新檢驗(yàn)新的回歸方程；如果新建回歸方程中所有變量的回歸系數(shù)檢驗(yàn)都顯著，則回歸方程建立結(jié)束。否則重復(fù)第二步，直到再?zèng)]有可剔除的變量。第五十頁，共六十八頁，2022年，8月28日逐步篩選策略（Stepwise）也叫逐步回歸在向前篩選策略的基礎(chǔ)上，結(jié)合向后篩選策略，在每個(gè)變量進(jìn)入方程后再次判斷是否存在應(yīng)該剔除出方程的變量。第五十一頁，共六十八頁，2022年，8月28日第三節(jié)SPSS的線性回歸操作第五十二頁，共六十八頁，2022年，8月28日一元回歸：自變量強(qiáng)行

進(jìn)入的回歸使用SPSS的“Analyze→Regression→linear”模塊分析數(shù)據(jù)文件：例第五十三頁，共六十八頁，2022年，8月28日研究假設(shè)：各項(xiàng)貸款余額x是影響不良貸款y的關(guān)鍵因素

因變量被解釋變量Y自變量解釋變量X解釋變量的篩選策略Enter所選變量強(qiáng)行進(jìn)入回歸方程；Stepwise逐步回歸策略；Remove從回歸方程中剔除所選變量；Backward向后篩選策略；Forward向前篩選策略；輸出回歸系數(shù)、回歸系數(shù)標(biāo)準(zhǔn)誤差、標(biāo)準(zhǔn)化回歸系數(shù)、回歸系數(shù)顯著性檢驗(yàn)一元回歸的擬合優(yōu)度R2第五十四頁，共六十八頁，2022年，8月28日一元回歸只需要看此項(xiàng)即可擬合優(yōu)度為0.712，模型的總體擬合情況較好第五十五頁，共六十八頁，2022年，8月28日SSTSSESSRSig值小于顯著性水平，拒絕回歸方程顯著性檢驗(yàn)的零假設(shè)，認(rèn)為各回歸系數(shù)不同時(shí)為零。第五十六頁，共六十八頁，2022年，8月28日非標(biāo)準(zhǔn)化的回歸系數(shù)回歸系數(shù)的標(biāo)準(zhǔn)誤差第五十七頁，共六十八頁，2022年，8月28日標(biāo)準(zhǔn)化回歸系數(shù)第五十八頁，共六十八頁，2022年，8月28日解釋變量“各項(xiàng)貸款余額”的sig值小于顯著性水平a，表明該解釋變量的回歸系數(shù)與零有顯著差異；非標(biāo)準(zhǔn)化回歸方程：標(biāo)準(zhǔn)化回歸方程：第五十九頁，共六