第三章多元線性回歸模型一.ppt

1、第三章，經(jīng)典單方程多元線性回歸模型，多元線性回歸的一些問(wèn)題多元線性回歸模型的殘奧元估計(jì)多元線性回歸模型的統(tǒng)一檢驗(yàn)多元線性回歸模型的其他函數(shù)形式，一、多元線性回歸模型的一些問(wèn)題，在實(shí)際經(jīng)濟(jì)問(wèn)題中，一個(gè)變量受很多因素變量的影響，線性回歸模型的解釋這種模型稱為多元線性回歸模型。 多元線性回歸模型的殘奧元估計(jì)原理與線性回歸模型相同，但是校正運(yùn)算更復(fù)雜。 1、多元線性回歸模型、多元線性回歸模型：表現(xiàn)線性回歸模型中的解釋變量有多個(gè)。 一般的表現(xiàn)形式：I=1，2，n，這里：k稱為解釋變量的數(shù)，j稱為回歸變量(regression coefficient )。習(xí)慣性：將常數(shù)項(xiàng)視為虛變量的系數(shù)，該虛變量的樣本觀

2、測(cè)值總是取1。 這樣的模型中的解釋變量的數(shù)量是(k 1)，被稱為整體回歸函數(shù)的隨機(jī)表現(xiàn)。 該非隨機(jī)方程是：其表示當(dāng)每個(gè)變量的x值固定時(shí)y的平均響應(yīng)。 j也被稱為偏振回歸系數(shù)，其表示在不改變其它解釋變量的情況下，每當(dāng)Xj改變1個(gè)單位時(shí)y的平均值E(Y )發(fā)生變化。 或者，j是Xj的單位變化對(duì)y平均的“直接”或“網(wǎng)”(不包含其他變量)產(chǎn)生了影響。總體回歸模型的n個(gè)隨機(jī)方程的行列式用于估計(jì)：樣本回歸函數(shù)：總體回歸函數(shù)，其隨機(jī)方程：ei被稱為殘差或剩馀偽項(xiàng)，并且可以認(rèn)為是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng)I的近似替換采樣回歸函數(shù)的矩陣表示為：其中，2、多維線性回歸模型的基本假設(shè)，假設(shè)1 :解釋變量是非隨機(jī)或固定

3、的，并且每個(gè)解釋變量(x )之間不相關(guān)(沒(méi)有多重共線性)?；炯傺裕汗诺涠嘣貧w模型的殘奧元估計(jì)通過(guò)一系列假言前提來(lái)獲得，其中，解釋變量矩陣Xn(k 1 )是非隨機(jī)的并且x的秩r=k 1，即x滿秩。 假設(shè)2 :隨機(jī)誤差項(xiàng)存在零平均值、同方差和無(wú)序列相關(guān)性；假設(shè)3 :解釋變量與隨機(jī)誤差項(xiàng)不相關(guān)；假設(shè)4 :隨機(jī)誤差項(xiàng)遵循正態(tài)分布，即，在進(jìn)行模型回歸時(shí)存在兩個(gè)隱式假設(shè)：隨著采樣容量的無(wú)限增加() 這種數(shù)據(jù)不僅禁用大樣本集成校正估計(jì)，而且通常出現(xiàn)所謂的偽回歸問(wèn)題。 可替換地，該回歸模型可包括未設(shè)置偏向該模型的二元回歸的一般最小二乘估計(jì)、如果對(duì)于隨機(jī)提取的n組樣本觀測(cè)已經(jīng)獲得了樣本函數(shù)的殘奧參數(shù)估計(jì)、-

4、 1、殘奧儀表的最小二乘估計(jì)得到與要估計(jì)的殘奧參數(shù)估計(jì)值有關(guān)的正規(guī)方程式：求解由該k 1方程式構(gòu)成的線性代數(shù)方程式，可以求出k 1的要估計(jì)的殘奧參數(shù)的估計(jì)值，所以正規(guī)方程式組的另一個(gè)寫(xiě)法對(duì)于正規(guī)方程式組如下。(* )或(* )是多元線性回歸模型的正規(guī)方程組的另一種寫(xiě)法，因?yàn)榫€性是記錄矩陣的矩陣，假設(shè)第j行第I列的元素是aji，則矩陣，第j 1行和列矩陣y的乘積，即，都可以表示為的線性組合。 滿足線性。、3、OLS估計(jì)的統(tǒng)一性質(zhì)被解釋為變量、無(wú)偏差，因此、有效性、的方差協(xié)方差矩陣是、矩陣、的主對(duì)角線上的第I個(gè)最小二乘(OLS )估計(jì)是具有最小方差的最佳線性無(wú)偏差估計(jì)(blue:bestlinea

5、runbiasedness ) 證明：和的無(wú)偏差估計(jì)，的協(xié)方差矩陣，4，殘奧儀表估計(jì)量的方差協(xié)方差矩陣和隨機(jī)誤差項(xiàng)2的方差估計(jì)，疑問(wèn)：在無(wú)偏差證明中，把殘奧儀表估計(jì)量看作隨機(jī)量，在正規(guī)方程式的導(dǎo)出中，把它看作確定值。 怎么說(shuō)明？ 解釋：將一組具體的樣本資料代入殘奧儀表估計(jì)量的表現(xiàn)式，得到的殘奧儀表估計(jì)結(jié)果為“估計(jì)值”或“點(diǎn)估計(jì)”，是殘奧儀表估計(jì)量的具體數(shù)值，是確定的，然而從另一角度考慮，簡(jiǎn)單地認(rèn)為是殘奧儀表估計(jì)量的一個(gè)式，則是被解釋變量的觀測(cè)值的函數(shù)將問(wèn)題和回答、殘奧儀表估計(jì)量的方差-協(xié)方差、殘奧儀表估計(jì)量視為隨機(jī)量，具有數(shù)字特征。 在模型理論中，殘奧儀表估計(jì)量的方差和不同殘奧儀表估計(jì)量間的協(xié)

6、方差很重要。 具體地說(shuō)，通過(guò)對(duì)殘奧儀表的方差-協(xié)方差矩陣的矩陣編碼方法：隨機(jī)誤差項(xiàng)方差2的估計(jì)，第I個(gè)殘奧儀表估計(jì)的方差、標(biāo)準(zhǔn)偏差、協(xié)方差可以分別是其采樣方差、標(biāo)準(zhǔn)偏差、協(xié)方差作為估計(jì)量，5，采樣容量問(wèn)題，即所謂的“最小采樣容量” 對(duì)于z檢驗(yàn)所應(yīng)用的n-k8而言，n k 1滿足基本要求的樣本容量相對(duì)穩(wěn)定，其中，n k 1是無(wú)復(fù)共線性要求的：秩(X)=k 1 模型的良好性質(zhì)只能在大樣本下得到理論證明，有三、多元線性回歸模型的統(tǒng)一檢驗(yàn)、一、擬合度檢驗(yàn)(1)總方差平方和的分解、(2)總方差平方和與回歸平方和的行列式，2，這會(huì)引起錯(cuò)覺(jué)。 要使模型更好地?cái)M合，只需增加解釋變量。 對(duì)于具有k個(gè)解釋變量的多

7、元回歸方程，可確定系數(shù)的另一校正方程式如下：在方程中，TSS與模型中的x變量的數(shù)量無(wú)關(guān)。 然而，RSS與出現(xiàn)在模型中的解釋變量的數(shù)目相關(guān)。 由于x變量的個(gè)數(shù)隨著增加而減少，至少不會(huì)增大，因此判定系數(shù)r2會(huì)變大。 因此，不適合于使用r2來(lái)確定具有相同解釋變量y和不同數(shù)量的解釋變量x的回歸模型的優(yōu)劣。 此外，由于r2 (通常由于解釋變量的數(shù)目的增加而導(dǎo)致)的增加與擬合的好壞無(wú)關(guān)，因此當(dāng)在包括解釋變量的數(shù)目k的不同模型之間比較擬合的好壞時(shí)，r2不是適當(dāng)?shù)闹甘径莾蓚€(gè)回歸方程式的擬合由于在樣本容量恒定的情況下，解釋變量的增加必定減少自由度，因此，調(diào)整思路是將：殘差平方和與總方差平方和除以各自的自由度，

8、以去除變量的數(shù)量對(duì)擬合似然性的影響： 在此，n-k-1是殘差平方和的自由度，n-1是整體平方和的自由度。3、方程顯性檢驗(yàn)(f檢驗(yàn))、(1)方程顯性的f檢驗(yàn)、f檢驗(yàn)的思想來(lái)源于總方差平方和的分解式： TSS=ESS RSS，該比越大，x的情結(jié)對(duì)y的解釋度越高，認(rèn)為整體有線性關(guān)系，反之(2)根據(jù)對(duì)適應(yīng)度和方程式的顯著性f檢查關(guān)系的討論，可知與r2(或者r2)向同一方向變化：在r2的情況下，r2(或者r2)越大，值也越大。 r2(或R2=1)表示無(wú)窮大。適應(yīng)度、調(diào)整后及f檢定統(tǒng)一量三者之間的關(guān)系：有多個(gè)萩名模型，R2小于0.5，支持了重要結(jié)論，如收入差距的倒u型規(guī)律。 不能單方面追求適合度。 R2多

9、久通過(guò)適應(yīng)度檢查？ 關(guān)于變量的顯性檢驗(yàn)(t檢驗(yàn))多次線性回歸模型，方程式的整體線性關(guān)系顯著，不能說(shuō)明各解釋變量對(duì)被解釋變量的影響顯著。 因此，為了決定是否作為解釋變量留在模型中，需要對(duì)每個(gè)解釋變量進(jìn)行顯式檢查。 與一元回歸分析一樣，該檢驗(yàn)通過(guò)對(duì)變量的t檢驗(yàn)來(lái)進(jìn)行。 提出原假說(shuō)和選擇假說(shuō)： H0:i=0，H1: i0，在中國(guó)消費(fèi)模式中，t(0)=6.412，t(1)=22.00，t(2)=4.188，注意：在一元線性回歸(k=1)中，t檢驗(yàn)和f檢驗(yàn)是一致的。 5 .關(guān)于檢驗(yàn)標(biāo)準(zhǔn)的判斷，科學(xué)靈活性的關(guān)鍵是發(fā)現(xiàn)在什么樣的信賴水平上顯著地直觀地判斷。 四、多元線性回歸模型的置信區(qū)間、多元線性回歸模型的

10、置信區(qū)間問(wèn)題還包括變量預(yù)測(cè)值的置信區(qū)間，其被解釋為殘奧儀表估計(jì)量的置信區(qū)間。 1、殘奧儀表估計(jì)量的置信區(qū)間、2、預(yù)測(cè)值的置信區(qū)間，嚴(yán)格來(lái)說(shuō)，這是要解釋的變量的預(yù)測(cè)值的估計(jì)值，而不是預(yù)測(cè)值。 這是因?yàn)殡S機(jī)因素的影響使模型中的殘奧儀表估計(jì)量變得不確定。 因此，能夠得到我們的預(yù)測(cè)值中只有一個(gè)估計(jì)值，預(yù)測(cè)值中只有某個(gè)置信水平處于以該估計(jì)值為中心的一個(gè)區(qū)間中。 因此，是另一個(gè)區(qū)間估計(jì)問(wèn)題。 下一個(gè)導(dǎo)出置信區(qū)間：也就是說(shuō)，當(dāng)：給出解釋變量值X0時(shí)，得出被解釋變量Y0處于置信水平(1- )處于置信水平的結(jié)論。 3、如何縮小置信區(qū)間，增大采樣容量n。 為了提高模型的適合度，在相同采樣容量下，n越大，則t分布表中的閾值越小，并且通過(guò)增加樣本容量，可以降低采樣殘奧儀表估計(jì)的標(biāo)準(zhǔn)偏差，這是因?yàn)椋瑯颖練垔W儀表估計(jì)的標(biāo)準(zhǔn)偏差與殘差平方和成比例，因此當(dāng)樣本觀測(cè)值的分散度增加時(shí)，通常，隨著樣本觀測(cè)值的分散，(XX)-1的分母的|XX|的值增加，并且片段縮小。 4、啟發(fā)一點(diǎn)，將修訂量經(jīng)濟(jì)學(xué)模型用于預(yù)測(cè)時(shí)，應(yīng)嚴(yán)格科學(xué)地描述預(yù)測(cè)結(jié)果。 如果必須指定“精確”預(yù)測(cè)值，則真值將以與預(yù)測(cè)值相同的概率為0。