第二章標(biāo)準(zhǔn)線性回歸模型1ppt課件

1、第二章 標(biāo)準(zhǔn)線性回歸模型n回歸regression的含義n 英國統(tǒng)計學(xué)家Galton和其學(xué)生Pearson研究父母身高與其子女身高的遺傳問題，觀察了1078對父母，以每對父母身高為x，取他們一個成年兒子的身高為y，將結(jié)果繪成散點圖，發(fā)現(xiàn)趨勢近乎一條直線父母平均身高68吋，成年兒子平均身高69吋）：n y=33.73+0.516xn 可以發(fā)現(xiàn)：n x=72吋，y=70.89吋；n x=64吋，y=66.75吋；一、回歸模型的思想n經(jīng)濟變量之間的關(guān)系有兩類：n 確定性關(guān)系和非確定性關(guān)系，所謂確定性關(guān)系是指一個變量的變化能完全決定另一個變量的變化：n 價格一定時，銷量與銷售額n 利息率一定，存入本金

2、與到期本息n 一、回歸模型的思想 一、回歸模型的思想n更多出現(xiàn)的情況是：存在密切聯(lián)系但并非完全決定n 居民收入與消費密切相關(guān)，但不能完全決定消費n 廣告費支出與銷售額密切相關(guān)，但不能完全決定銷售額一、回歸模型的思想n不完全決定的原因在于：n還有其他影響因素n 一、回歸模型的思想n將數(shù)據(jù)點的分布理解為如下機制所產(chǎn)生的結(jié)果：為隨機干擾項為自變量或解釋變量為因變量或被解釋變量iiiiiiuXYuXY10一、回歸模型的思想n隨機干擾項的意義n n 將各種次要變量作了綜合處理，保證了分析的可操作性一、回歸模型的思想n假定隨機干擾項的均值為0，則有：n回歸模型的目標(biāo)就是用樣本數(shù)據(jù)估計出參數(shù)的值，據(jù)此就可以

3、根據(jù)X的變化估計Y的平均變化 iiiiiXXYEXYE1010|一、回歸模型的思想二、參數(shù)估計方法二、參數(shù)估計方法二、參數(shù)估計方法n通常采用最小二乘法Least Square Estimation來得到參數(shù)的估計量n其目標(biāo)函數(shù)是：iiiiiXYXYEY10min|min niiniiieXY02,0210,1010minmin二、參數(shù)估計方法 ( (X Xn n , , Y Yn n) ) ( (X X1 1 , , Y Y1 1) ) ( (X X2 2 , , Y Y2 2) ) ( (X Xi i , , Y Yi i) ) iiiYYeXY10Y X 二、參數(shù)估計方法n滿足目標(biāo)函數(shù)的參

4、數(shù)值記為 ：10，niiiXYniiXXXXXYYYXXlXXlllXY112110,二、參數(shù)估計方法n多元回歸模型nnknnnniikniiiknknuXXXYuXXXYuXXXYuXXXY 221102211022222211021112211101二、參數(shù)估計方法n模型的矩陣表示11112122122212011211 1 kknnnnkknYXuYXXXYXXXYXYXXXuuuu二、參數(shù)估計方法YXXX1回歸模型iiiiiiiiXYXXYEuXY101010uXYYXXXXYXXYE1三、不確定性的測度n不確定性知識n +n 所含不確定性量度的知識n =n 可用的知識n C.R. R

5、ao三、不確定性的測度三、不確定性的測度三、不確定性的測度1無偏性 假設(shè)：X是非隨機的設(shè)計矩陣無偏性意味著估計量沒有高估或低估的系統(tǒng)傾向 E三、不確定性的測度2方差含義：估計量方差與隨機項方差、自變量取值范圍、樣本量等有關(guān) 2122012211varvarniiniiXXXnXX三、不確定性的測度 12covXX 121111111111covXXXXXuuEXXXXXXuuXXXEuXXXuXXXEuXXXXuXXXXEYXXXYXXXEE三、不確定性的測度 假設(shè)：Gauss-Markov條件 222000000covu 0uE三、不確定性的測度2102200211cov1,XXXXXXlX

6、lXnNlN三、不確定性的測度對回歸系數(shù)進行檢驗檢驗?zāi)繕?biāo)：檢驗統(tǒng)計量為：0010iiHH：XXlN211,2/1ntlstXX三、不確定性的測度 F檢驗總平方和SST）=殘差平方和SSR） +回歸平方和SSE）00, 0, 01210：不全為：HHkSSESSRYYYYYYYYYYYYYYYYYYSSTiiiiiiiiiiiii2222222三、不確定性的測度n如果隨機項滿足Gauss-Markov條件，則原假設(shè)成立時有：11knkFknSSRkSSEF，三、不確定性的測度 1112covcove eu P PuPe eu PuE e eE uIX X XXuxnE XXAn nE x Axt

7、r AAE e etrIX X XXutr IX X XX 是投影陣根據(jù)如下定理：設(shè) 為 維隨機向量，期望和協(xié)方差存在，記，若 為常數(shù)陣，則三、不確定性的測度11122212kneekneeEknXXXtrXtrIeeE四、假設(shè)下估計量的最優(yōu)性質(zhì) 最小二乘估計量是所有對總體參數(shù)的線性無偏估計量中方差最小的 但并不意味著就是方差最小的估計量BLUE是（Best Linear Unbiased Estimator）四、假設(shè)下估計量的最優(yōu)性質(zhì)n證明 的最小二乘估計是維向量，是任一，其中無偏估計為的最小方差的任一線性函數(shù)時，假定12kcccIYDXYE bXXXXbcXXccbbbYDbYbcXbcX

8、bYbEcYb12122varvar又因為：則有有：則對一切的任一線性無偏估計，是設(shè)四、假設(shè)下估計量的最優(yōu)性質(zhì) 0varvar,varvarvarvar211212122cYbPPPPXXXXIbXXXXIbcYbbXXXXbcXXccbbbYDbYbcXbcXbYbEcYb投影矩陣為非負(fù)定陣）為投影矩陣（又因為：則有有：則對一切的任一線性無偏估計，是設(shè)模型的基本假定1如果樣本量為n，解釋變量數(shù)量為k，那么2自變量之間不存在密切的線性關(guān)系 存在完全線性關(guān)系 1 kn0ijXX模型的基本假定n要獲得估計，必須能夠求逆，要求：YXXX1 111,min10knkXrkkXXrkBrkArkABrkkXXXX由階滿秩矩陣為模型的基本假定3Gauss-Mar