線性回歸計(jì)算PPT課件

1、9.1 回歸分析的基本概念 9.1.1 因變量(Y)與自變量(X)之間的關(guān)系根據(jù)因變量與自變量之間的關(guān)系不同，可以分為兩種類型：函數(shù)關(guān)系 統(tǒng)計(jì)關(guān)系 第1頁/共56頁9.1.1 因變量(Y)與自變量(X)之間的關(guān)系1.函數(shù)關(guān)系 即對兩個(gè)變量X，Y來說，當(dāng)X值確定后，Y值按照一定的規(guī)律唯一確定，即形成一種精確的關(guān)系。 例如:微積分學(xué)中所研究的一般變量之間的函數(shù)關(guān)系就屬于此種類型。 第2頁/共56頁9.1.1 因變量(Y)與自變量(X)之間的關(guān)系2.統(tǒng)計(jì)關(guān)系 即當(dāng)X值確定后，Y值不是唯一確定的，但大量統(tǒng)計(jì)資料表明，這些變量之間還是存在著某種客觀的聯(lián)系。 例如：圖9.1在直角坐標(biāo)平面上，標(biāo)出了10個(gè)觀

2、測點(diǎn)的坐標(biāo)位置，他們表示以家庭為單位，某種商品年需求量與該商品價(jià)格之間的10對調(diào)查數(shù)據(jù)。 第3頁/共56頁9.1.2 回歸分析圖圖9-19-1第4頁/共56頁9.1.2 回歸分析回歸分析(Regression Analysis) 就是應(yīng)用統(tǒng)計(jì)方法，對大量的觀測數(shù)據(jù)進(jìn)行整理、分析和研究，從而得出反映事物內(nèi)部規(guī)律性的一些結(jié)論(數(shù)學(xué)模型)。 第5頁/共56頁9.2 一元線性回歸模型 9.2.1 統(tǒng)計(jì)關(guān)系的特征統(tǒng)計(jì)關(guān)系特征 觀測點(diǎn)散布在統(tǒng)計(jì)關(guān)系直線的周圍，此種情況說明Y的變化除了受自變量X影響以外，還受其他因素的影響。因此試圖建立這樣一個(gè)回歸模型，通過對此模型所作的一些假設(shè)，可以體現(xiàn)出上述統(tǒng)計(jì)關(guān)系所刻

3、劃的特征。因變量Y隨自變量X有規(guī)律的變化，而統(tǒng)計(jì)關(guān)系直線描述了這一變化的趨勢。第6頁/共56頁9.2.2 一元線性回歸模型假設(shè)u根據(jù)統(tǒng)計(jì)關(guān)系特征，可以進(jìn)行下述假設(shè)：假設(shè)假設(shè)(2)這些Y的概率分布的均值，有規(guī)律的隨X變化而變化(1)對于自變量的每一水平X，存在著Y的一個(gè)概率分布；第7頁/共56頁9.2.3 一元線性回歸模型Y與X具有統(tǒng)計(jì)關(guān)系而且是線性 建立建立回歸模型回歸模型Yi=0+1Xi+i (i=1,2,n) 其中其中，(X (X i,i,Y Yi i) )表示表示(X,Y)(X,Y)的第的第i i個(gè)觀測值，個(gè)觀測值，0 0 , , 1 1為參數(shù)，為參數(shù)，0 0+1 1X Xi i為反映統(tǒng)

4、計(jì)關(guān)系直線的分量，為反映統(tǒng)計(jì)關(guān)系直線的分量， i i為反映在統(tǒng)計(jì)關(guān)系直線周圍散布的隨機(jī)分量為反映在統(tǒng)計(jì)關(guān)系直線周圍散布的隨機(jī)分量 i iN (0,N (0,2 2) )。第8頁/共56頁9.2.3 一元線性回歸模型u對于任意Xi值有： Yi服從正態(tài)分布E(Yi)=0+1Xi； 各Yi間相互獨(dú)立 YiN(0+1Xi,2) 。22)(iY第9頁/共56頁9.2.3 一元線性回歸模型圖9-2第10頁/共56頁9.2.4 一元線性回歸方程最小二乘法 Y與X之間為線性關(guān)系 選出一條最能反映Y與X之間關(guān)系規(guī)律的直線 第11頁/共56頁9.2.4 一元線性回歸方程Yi=0+1Xi+i 0和1均未知 根據(jù)樣本

5、數(shù)據(jù)對0和1進(jìn)行估計(jì) 0和1的估計(jì)值為b0和b1 建立一元線性回歸方程 XbbY10第12頁/共56頁9.2.4 一元線性回歸方程一般而言，所求的b0和b1應(yīng)能使每個(gè)樣本觀測點(diǎn)(X i,Y i)與回歸直線之間的偏差盡可能小，即使觀察值與擬合值的誤差平方和Q達(dá)到最小。 圖9-4 回歸方程原理圖第13頁/共56頁9.2.4 一元線性回歸方程令 2110)(niiiXbbYQQ達(dá)到最小值b0和b1稱為最小二乘估計(jì)量 微積分中極值的必要條件 niiiXbbYbQ1100)(2niiiiXXbbYbQ1101)(2 令偏導(dǎo)數(shù)為0niiniiYXbnb1110iniiniiniiYXXbXb112110解

6、方程第14頁/共56頁9.2.4 一元線性回歸方程nXXnYXYXXXYYXXbiniiniiiiiniiniii21211211)()()()(XbYb10(9-5)(9-5)(9-6)(9-6)第15頁/共56頁9.2.5 最小二乘估計(jì)量b0,b1的特性b0,b1的特性線性性無偏性第16頁/共56頁9.2.5 最小二乘估計(jì)量b0,b1的特性(1) 線性特性 由（9-5）得niiniiiniiniiiXXYXXXXYYXXb1211211)()()()(niiiiXXXXC12)(令令niiiYCb11則則 表明b1是Yi的線性組合 第17頁/共56頁9.2.5 最小二乘估計(jì)量b0,b1的特

7、性同理，可得 niiiYkb10XCnkii1b0是Yi線性組合第18頁/共56頁9.2.5 最小二乘估計(jì)量b0,b1的特性(2) 無偏性可以證明b0和b1分別是0和1的無偏估計(jì)（過程比較繁瑣，參照第五章內(nèi)容有興趣大家自己證明。） 第19頁/共56頁9.3 總平方和分解9.3.1 總平方和分解YYYYYYiiiiniininiiiiYYYYYY121122)()()(niiiiYYYY10)(第20頁/共56頁9.3.1 總平方和分解圖9-5 總平方和分解圖 第21頁/共56頁9.3.1 總平方和分解總離差平方和 niiYYSSTO12)(它表示沒有X的影響，單純考察數(shù)據(jù)中Y的變動情況。第22

8、頁/共56頁9.3.1 總平方和分解回歸平方和niiYYSSR12)(表示各 的變動程度，該變動是由于回歸直線中各Xi 的變動所引起的，并且通過X對Y的線性影響表現(xiàn)出來。 iY第23頁/共56頁9.3.1 總平方和分解誤差平方和niiiYYSSE12)(表示各Yi圍繞所擬合的回歸直線的變動程度 SSTO=SSR+SSE第24頁/共56頁9.3.1 總平方和分解SSE=SSTO-SSRSSE=SSTO-SSRniniiinYYSSTO1212)()(121221niniiinXXbSSR第25頁/共56頁9.3.2 自由度的分解SSTOniiYY10)(自由度 T為n-1 SSE0和1用了兩個(gè)正

9、規(guī)方程 自由度 E為n-2 SSRniiYY10)(自由度 R為1 第26頁/共56頁9.3.2 自由度的分解自由度的分解可以表示為n-1=1+（n-2）T=R+E第27頁/共56頁9.3.3 回歸均方與誤差均方1SSRMSR 2nSSEMSE(9-10) (9-11)回歸均方誤差均方第28頁/共56頁9.4 樣本確定系數(shù)與樣本相關(guān)系數(shù)9.4.1 樣本確定系數(shù)SSTOSSESSTOSSESSTOSSTOSSRr12(9-12) 注:Y的總變差中能被X解釋的那部分所占的比率第29頁/共56頁9.4.1 樣本確定系數(shù)r2的取值范圍102 r樣本的全部觀察值都落在所擬和的回歸直線上 SSE=0， r

10、2=1 當(dāng)X與Y無關(guān)，Y的變差完全由于隨機(jī)因素引起，此時(shí)，SSR=0 r2=0 第30頁/共56頁9.4.2 樣本相關(guān)系數(shù)樣本相關(guān)系數(shù)2rrniiniiniiiYYXXYYXXr12121)()()(注:r與b1的分母均為正，分子相同,故r與b1有相同的符號。 第31頁/共56頁9.4.2 樣本相關(guān)系數(shù) 不同r值所表示的相關(guān)程度相關(guān)相關(guān)程度程度完全線完全線性相關(guān)性相關(guān)高度相關(guān)高度相關(guān)顯著相關(guān)顯著相關(guān)低度相關(guān)低度相關(guān)微相關(guān)微相關(guān)無線性無線性關(guān)系關(guān)系r r1 10.80.81 10.50.50.80.80.30.30.50.50 00.30.30 0第32頁/共56頁9.4.2 樣本相關(guān)系數(shù)r的取

11、值情況 情況一圖9-6第33頁/共56頁9.4.2 樣本相關(guān)系數(shù)情況二圖9-7第34頁/共56頁9.4.2 樣本相關(guān)系數(shù)情況三圖9-8第35頁/共56頁9.4.2 樣本相關(guān)系數(shù)情況四圖9-9第36頁/共56頁9.5 一元線性回歸顯著性檢驗(yàn)在回歸函數(shù)E(Y)=0+1X中，如果1=0，則對于X的一切水平E(Y)=0，說明Y的變化與X的變化無關(guān)，因而，我們不能通過X去預(yù)測Y。所以，對模型Yi=0+1Xi+i 檢驗(yàn)1=0是否成立，等價(jià)于檢驗(yàn)Y與X之間是否存在線性關(guān)系。 第37頁/共56頁9.5.1 b1的抽樣分布為了檢驗(yàn)1=0是否成立，需要構(gòu)造一個(gè)合適的統(tǒng)計(jì)量，因此，首先討論b1的抽樣分布。第38頁/

12、共56頁9.5.1 b1的抽樣分布b1是觀測值Yi的線性組合 Yi服從正態(tài)分布且相互獨(dú)立 b1也服從正態(tài)分布 第39頁/共56頁9.5.1 b1的抽樣分布以下可以證明niiXXb12212)()(b1的方差第40頁/共56頁9.5.1 b1的抽樣分布證明：證明：因?yàn)?niiiYCb11且Yi相互獨(dú)立，其中 niiiiXXXXC12)(niiniiiniiiXXYCYCb1221221212)()()()(所以，b1服從 )(,(1221niiXXN第41頁/共56頁9.5.2 F 檢驗(yàn)在一元線性回歸中，為了檢驗(yàn)Y對于X線性關(guān)系的統(tǒng)計(jì)顯著性，對1進(jìn)行F檢驗(yàn)1）提出假設(shè)：H0：1=0，H1：10。

13、 2） 構(gòu)造并計(jì)算統(tǒng)計(jì)量：ERfSSEfSSRF 3）查F分布臨界值表，得臨界值)2, 1 (nF4）比較： 接受H0，認(rèn)為Y與X不存在一元線性關(guān)系。) 2, 1 (nFF第42頁/共56頁9.5.2 F 檢驗(yàn)若F )2, 1(nF拒絕H0，認(rèn)為Y與X存在一元線性關(guān)系。 表9-1 方差分析表第43頁/共56頁9.5.3 t 檢驗(yàn) 1）提出假設(shè) H0: H1: 01012）構(gòu)造并計(jì)算統(tǒng)計(jì)量 步 驟：)(11bsbt 21)()(XXMSEbsi3）查t分布臨界值表 得臨界值 )2(2/nt第44頁/共56頁9.5.3 t 檢驗(yàn)4）比較若 ，接受H0 t)2(2/nt若 ，拒絕H0 t)2(2/n

14、t第45頁/共56頁9.5.4 利用樣本相關(guān)系數(shù)進(jìn)行統(tǒng)計(jì)檢驗(yàn) 步 驟：1）提出假設(shè) H0: =0H1: 02）計(jì)算簡單相關(guān)系數(shù)r 3）查相關(guān)系數(shù)臨界值表 得臨界值 )2( nr是總體Y與X的線性相關(guān)系數(shù)第46頁/共56頁9.5.4 利用樣本相關(guān)系數(shù)進(jìn)行統(tǒng)計(jì)檢驗(yàn)4）比較若 ，接受H0 rr若 ，拒絕H0 rr第47頁/共56頁例題 某市欲對貨運(yùn)總量與工業(yè)總產(chǎn)值的數(shù)量關(guān)系進(jìn)行研究，以便通過工業(yè)總產(chǎn)值預(yù)測貨運(yùn)總量。現(xiàn)將2001-2010年的數(shù)據(jù)，列入下表： 畫出相應(yīng)的統(tǒng)計(jì)圖，根據(jù)這些數(shù)據(jù)建立相應(yīng)回歸方程。 計(jì)算說明工業(yè)總產(chǎn)值與貨運(yùn)總量之間是否線性相關(guān)及相關(guān)程度。 對所求得的回歸方程進(jìn)行線性顯著性檢驗(yàn)

15、。=0.05 對計(jì)算得出的回歸系數(shù)進(jìn)行檢驗(yàn)。 當(dāng)工業(yè)總產(chǎn)值為500億元，置信度為1-=0.95時(shí)，預(yù)測貨運(yùn)總量Y0的雙側(cè)置信區(qū)間。貨運(yùn)總量（億噸）貨運(yùn)總量（億噸）2.82.8 2.92.9 3.23.2 3.23.2 3.43.4 3.23.2 3.33.3 3.73.7 3.93.9 4.24.2工業(yè)總產(chǎn)值（工業(yè)總產(chǎn)值（1010億元）億元）2525272729293232343436363535393942424545第48頁/共56頁課堂練習(xí) 某廠要建立產(chǎn)量與單位成本數(shù)量關(guān)系模型，現(xiàn)收集了2000-2011年產(chǎn)量與單位成本的資料，如下表： 根據(jù)這些資料說明產(chǎn)量與單位成本的數(shù)量關(guān)系。 對所求

16、得的回歸方程進(jìn)行線性顯著性檢驗(yàn)。=0.05 對計(jì)算得出的回歸系數(shù)進(jìn)行檢驗(yàn)。 假設(shè)2012年的計(jì)劃產(chǎn)量為2800件，預(yù)測單位成本的95%的置信區(qū)間。年年 份份200020002001200120022002200320032004200420052005200620062007200720082008200920092010201020112011產(chǎn)量產(chǎn)量（百件）（百件）2.62.65.65.68 816.616.613.313.316.316.319.319.32222262626.526.529.829.827.127.1單位成本單位成本( (元元/ /件件) )15.815.816.616

17、.613.913.914.114.18 8131312.512.512.512.55 511.811.811.511.5121210.510.51010第49頁/共56頁9.6 模型適合性分析 在對一元線性回歸模型的適合性進(jìn)行分析時(shí),由于誤差項(xiàng)是不可觀測或測量的, 需借助殘差的圖像,來考察模型是否存在以下情況：異方差性和自相關(guān)性。第50頁/共56頁9.6.1 誤差項(xiàng)的異方差性檢驗(yàn)若 不具有常數(shù)方差,稱模型存在異方差性。此時(shí),殘差如下圖所示，數(shù)據(jù)點(diǎn)呈現(xiàn)發(fā)散或收斂趨勢。 在此種情況下,最小二乘法失效,因此需按照一定方法對數(shù)據(jù)進(jìn)行變換,在計(jì)量經(jīng)濟(jì)學(xué)課程中,對此有詳細(xì)講述。 i第51頁/共56頁9.6.1 誤差項(xiàng)的異方差性檢驗(yàn)誤差項(xiàng)具有異方差性的殘