多元線性回歸模型

1、第一節(jié) 多元線性回歸模型的建立及其參數(shù)估計一、模型的引入二、關(guān)于模型的假定三、二元線性回歸模型的最小二乘估計四、多元線性回歸模型的最小二乘估計五、多元線性模型正規(guī)方程的距陣表示六、一個示例第二節(jié) 最小二乘參數(shù)估計量的統(tǒng)計性質(zhì)第三節(jié) 多元線性模型的統(tǒng)計檢驗 第一節(jié) 多元線性回歸模型簡介一、模型的引入1、模型產(chǎn)生的背景：經(jīng)濟系統(tǒng)中，因素A、因素B、因素C、因素D、。2、模型的形式：ikikiiixbxbxbby22110yi為被解釋變量xji為解釋變量i隨機誤差項 bi為待估參數(shù)UXBYuuubbbbXXXXXXXXXYYYnkknkknnn:.1.11:2121021222211122111n為

2、樣本觀測值數(shù)目3、模型特征：* 1）、線性* 2）、單方向的因果關(guān)系* 3）、多元（現(xiàn)實經(jīng)濟活動中引起被解釋變量變化的因素可能有很多個。例如，產(chǎn)品的產(chǎn)出往往受各種投入要素如資本、勞動、技術(shù)和管理水平等的影響；又如，某種商品需求量往往受該種商品的價格、大眾的可支配收入以及替代品、互補品價格等因素的影響） ikikiiixbxbxbby22110 4、隨機誤差項的含義：1）、除解釋變量之外的其它各種因素對被解釋變量的影響。如Di=b+b1Pt+b2It+ut2）、數(shù)據(jù)搜集過程中產(chǎn)生的誤差。3）、模型設(shè)定誤差。5、模型的作用：經(jīng)濟預(yù)測、結(jié)構(gòu)分析、政策評價等。6、模型的估計方法：普通最小二乘法（ord

3、inary least square）kikiiixbxbxbby22110kikiiixbxbxbby221107、參數(shù)估計量的經(jīng)濟意義：邊際如需求方程：Di=32-1.67Pi+3.24Ii8、參數(shù)估計量優(yōu)劣準則：無偏、有效、一致性二、 關(guān)于模型的一些假定 有關(guān)假定1）E（ui）=0 i=1，2，n 2）Var（ ui ）=23）cov（ ui uj ）=0（ij）4）k個解釋變量相互之間無多重共線性（一元無）5） uiN（0， 2 ）6）E(xji ui )=0 假定的意義：保證參數(shù)的無偏性、有效性和一致性。 違背假定的可能性： 違背假定的后果：不能保證參數(shù)估計量的無偏性、有 效性，從而

4、模型不能用。ikikiiixbxbxbby22110三、二元線性模型的普通最小二乘估計三、二元線性模型的普通最小二乘估計（OLS）普通最小二乘法是一種參數(shù)估計方法，確定估計參數(shù)的準則是使全部觀察值的殘差平方和最小，即 ei2 min, 由此得出選擇回歸參數(shù) b0 , b1 的最小二乘估計式。YXX1X2X3X4X5X6e1e2e3e4e5e6殘差平方和2112112)()(niioiniiniiXbbYYYe使偏導(dǎo)數(shù)為零0)(2)(12ioioiXbbYbe0)(2)(112iioiiXXbbYbe得正規(guī)方程 Yi = nbo + b1 Xi XiYi = bo Xi + b1 Xi2 解得2

5、2XXYXYXbnniii1XbYob1記 X，Y的平均數(shù)iYnYiXnX11YiYiyXiXix則得2iii1xyxbXbYob1四、多元線性模型的最小二乘估計四、多元線性模型的最小二乘估計2210222211022110)()(kikiiiiiikikiiiikikiiiXbXbXbbYYYeQXbXbXbbYuXbXbXbbYikikikkiikiikikiikiikiiiiiikiikiiiiikikiiYXXbXXbXXbXbbQYXXXbXbXXbXbbQYXXXbXXbXbXbbQYXbXbXbbnbQ22200002110222221120211212211101221100Y

6、XBXX.11022122221212121121YXYXYXXXXXXXXXXXXXXXXXXXXXniikkkkkkkkkiiiiiiiiiiiiiiiiiiiiiiiibbb五、多元線性模型正規(guī)方程的距陣表示五、多元線性模型正規(guī)方程的距陣表示BXYUXBY五、多元線性模型最小二乘法的距陣表示五、多元線性模型最小二乘法的距陣表示YX-X)(XBBX)XY)(X1(對上述方程兩邊同乘觀察值距陣 X 的轉(zhuǎn)置距陣X六、一個示例 某地區(qū)火柴銷售量、煤氣液化氣使用戶數(shù)、卷煙銷售量、打火石銷售量 某地區(qū)火柴銷售量= b0+b1煤氣液化氣使用戶數(shù)+b2卷煙銷售量+ b3打火石銷售量+ut 某地區(qū)火柴銷售

7、量=17.383+0.04262煤氣液化氣使用戶數(shù)+0.263卷煙銷售量- 0.242b3打火石銷售量第二節(jié) 最小二乘估計量的統(tǒng)計性質(zhì)一、線性性 線性特性是指估計式 bi 是Yi 的線性函數(shù)。 二、無偏性 無偏性指估計量 bi 的均值等于總體回歸參數(shù)bi E(bi ) = bi YX-X)(XB1三、最小方差性 最小方差性是指估計量 bi 具有最小方差的性質(zhì)，又叫有效性。 一個估計量如果它是線性的，同時又是有效的（即無偏的，又具有最小方差）那它就是最佳線性無偏估計量第三節(jié) 多元線性模型的統(tǒng)計檢驗 一、擬合優(yōu)度檢驗 TSS = (Yi - Y)2 = (Yi2 - 2 Y Yi + Y 2 )

8、= Yi2 - nY 2 = YY - nY 2 ESS = (Yi - Y)2 - e2 = (YY - nY 2 ) - (YY - BXY) = BXY - n Y 2222)(1TSSESSYYYYYXBnnYiYeeR2校正樣本決定系數(shù)：R2 = 1 - ( 1 - R2 ) （n - 1)(n - k -1) 二、相關(guān)系數(shù)檢驗 樣本決定系數(shù)與樣本相關(guān)系數(shù)是兩個不同的概念。樣本決定系數(shù)是對變量 Y 與 X 作回歸分析得出的，它是判定回歸方程與樣本觀察值擬合優(yōu)度的一個數(shù)量指標(biāo)。 樣本相關(guān)系數(shù)是對變量 Y 與 X 作相關(guān)分析得出的，它是判定 Y 與 X 線性相關(guān)密切程度的一個數(shù)量指標(biāo)。 樣本決定系數(shù)與樣本相關(guān)系數(shù)在計算上是一致的。2Rr-1 r +1 三、總體回歸方程的顯著性檢驗（F檢驗）H0：b0= b1 = = bk= 0；H1: bi 不全為 0；) 1,) 1,() 1/(/2knkFFknkFknkRSSESSFn（分布表，得臨界值，查給定顯著性水平Y(jié)XBYYYYXB離差名稱平方和自由度回歸平方和剩余平方和總體平方和2YYXBnYXBYY2YYYnkn - k -1n -1k - 自變量的個數(shù)n - 樣本個數(shù) 四、估計參