應(yīng)用回歸分析--第三章課后習(xí)題整理

3 13 1 即即y xy x yn y y 2 1 1 1 1 1 21 11 xn x x 2 22 12 xn x x xnp px px 2 1 p 1 0 n 2 1 基本假定基本假定 1 1 解釋變量 解釋變量x1 x2 xpx1 x2 xp是確定性變量 不是隨機(jī)變量 且要求是確定性變量 不是隨機(jī)變量 且要求 rank X p 1 n rank X p 1 n 表明設(shè)計(jì)矩陣表明設(shè)計(jì)矩陣X X中自變量列之間不相關(guān) 樣本量的個(gè)中自變量列之間不相關(guān) 樣本量的個(gè) 數(shù)應(yīng)大于解釋變量的個(gè)數(shù)數(shù)應(yīng)大于解釋變量的個(gè)數(shù) 2 2 隨機(jī)誤差項(xiàng)具有零均值和等方差 即高斯馬爾柯夫條件隨機(jī)誤差項(xiàng)具有零均值和等方差 即高斯馬爾柯夫條件 nE 2 1 0 0 cov 2 n 2 1 3 3 對于多元線性回歸的正態(tài)分布假定條件的矩陣模型為對于多元線性回歸的正態(tài)分布假定條件的矩陣模型為 N N 0 0 隨即向量隨即向量y N Xy N X nI 2 nI 2 3 23 2 當(dāng)當(dāng)存在時(shí) 回歸參數(shù)的最小二乘估計(jì)為存在時(shí) 回歸參數(shù)的最小二乘估計(jì)為 1 XX T YXXX TT1 要求出回歸參數(shù)要求出回歸參數(shù) 即要求 即要求是一個(gè)非奇異矩陣 是一個(gè)非奇異矩陣 所以 所以 XX T 0 XX T 可逆矩陣可逆矩陣為為p 1p 1階的滿秩矩陣 又根據(jù)兩個(gè)矩陣乘積的秩不大于階的滿秩矩陣 又根據(jù)兩個(gè)矩陣乘積的秩不大于XX T 每一因子的秩每一因子的秩rank X rank X p 1 p 1 而而X X為為n n p 1 p 1 階矩陣 于是應(yīng)有階矩陣 于是應(yīng)有n n p 1p 1 結(jié)論說明 要想用最小二乘法估計(jì)多元線性回歸模型的未知參數(shù) 結(jié)論說明 要想用最小二乘法估計(jì)多元線性回歸模型的未知參數(shù) 樣本量樣本量n n必須大于模型自變量必須大于模型自變量p p的個(gè)數(shù) 的個(gè)數(shù) 3 33 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 21 1 222 11 1 2 11 2 11 2 1 2222 22 phHtr pn pn h pn h pn eD pn eEeD pn eE pn eE pn SSE pn EE eneeyySSE n nn nnn nn n 注 3 43 4不不能斷定這個(gè)方程一定很理想 因?yàn)闃颖緵Q定系數(shù)與回歸方程中能斷定這個(gè)方程一定很理想 因?yàn)闃颖緵Q定系數(shù)與回歸方程中 自變量的數(shù)目以及樣本量自變量的數(shù)目以及樣本量n n有關(guān) 當(dāng)樣本量個(gè)數(shù)有關(guān) 當(dāng)樣本量個(gè)數(shù)n n太小 而自變量又太小 而自變量又 較多 使樣本量與自變量的個(gè)數(shù)接近時(shí) 較多 使樣本量與自變量的個(gè)數(shù)接近時(shí) 易接近易接近1 1 其中隱藏一些 其中隱藏一些 2 R 虛假成分 虛假成分 3 53 5當(dāng)接受當(dāng)接受H H 時(shí) 認(rèn)定在給定的顯著性水平時(shí) 認(rèn)定在給定的顯著性水平下 自變量下 自變量x1 x2 x1 x2 xpxp 0 對因變量對因變量y y無顯著影響 于是通過無顯著影響 于是通過x1 x2 x1 x2 xpxp去推斷去推斷y y也就無多大意也就無多大意 義 在這種情況下 一方面可能這個(gè)問題本來應(yīng)該用非線性模型去義 在這種情況下 一方面可能這個(gè)問題本來應(yīng)該用非線性模型去 描述 而誤用了線性模型 使得自變量對因變量無顯著影響 另一描述 而誤用了線性模型 使得自變量對因變量無顯著影響 另一 方面可能是在考慮自變量時(shí) 把影響因變量方面可能是在考慮自變量時(shí) 把影響因變量y y的自變量漏掉了 可以的自變量漏掉了 可以 重新考慮建模問題 重新考慮建模問題 當(dāng)拒絕當(dāng)拒絕H H 時(shí) 我們也不能過于相信這個(gè)檢驗(yàn) 認(rèn)為這個(gè)回歸模型時(shí) 我們也不能過于相信這個(gè)檢驗(yàn) 認(rèn)為這個(gè)回歸模型 0 已經(jīng)完美了 當(dāng)拒絕已經(jīng)完美了 當(dāng)拒絕H H 時(shí) 我們只能認(rèn)為這個(gè)模型在一定程度上說時(shí) 我們只能認(rèn)為這個(gè)模型在一定程度上說 0 明了自變量明了自變量x1 x2 x1 x2 xpxp與自變量與自變量y y的線性關(guān)系 這時(shí)仍不能排除排除的線性關(guān)系 這時(shí)仍不能排除排除 我們漏掉了一些重要的自變量 我們漏掉了一些重要的自變量 3 63 6中心化經(jīng)驗(yàn)回歸方程的常數(shù)項(xiàng)為中心化經(jīng)驗(yàn)回歸方程的常數(shù)項(xiàng)為0 0 回歸方程只包含 回歸方程只包含p p個(gè)參數(shù)估計(jì)個(gè)參數(shù)估計(jì) 值值比一般的經(jīng)驗(yàn)回歸方程減少了一個(gè)未知參數(shù) 在變量較比一般的經(jīng)驗(yàn)回歸方程減少了一個(gè)未知參數(shù) 在變量較p 21 多時(shí) 減少一個(gè)未知參數(shù) 計(jì)算的工作量會(huì)減少許多 對手工計(jì)算多時(shí) 減少一個(gè)未知參數(shù) 計(jì)算的工作量會(huì)減少許多 對手工計(jì)算 尤為重要 尤為重要 在用多元線性回歸方程描述某種經(jīng)濟(jì)現(xiàn)象時(shí) 由于自變量所用的在用多元線性回歸方程描述某種經(jīng)濟(jì)現(xiàn)象時(shí) 由于自變量所用的 單位大都不同 數(shù)據(jù)的大小差異也往往很大 這就不利于在同一標(biāo)單位大都不同 數(shù)據(jù)的大小差異也往往很大 這就不利于在同一標(biāo) 準(zhǔn)上進(jìn)行比較 為了消除量綱不同和數(shù)量級(jí)的差異帶來的影響 就準(zhǔn)上進(jìn)行比較 為了消除量綱不同和數(shù)量級(jí)的差異帶來的影響 就 需要將樣本數(shù)據(jù)標(biāo)準(zhǔn)化處理 然后用最小二乘法估計(jì)未知參數(shù) 求需要將樣本數(shù)據(jù)標(biāo)準(zhǔn)化處理 然后用最小二乘法估計(jì)未知參數(shù) 求 得標(biāo)準(zhǔn)化回歸系數(shù) 得標(biāo)準(zhǔn)化回歸系數(shù) 3 73 7 對對進(jìn)行中心化處理得進(jìn)行中心化處理得ppxxxy 22110 再將等式除以因變量的樣再將等式除以因變量的樣 222111pppxxxxxxyy 本標(biāo)準(zhǔn)差本標(biāo)準(zhǔn)差則有則有 yyL y 22 2 11 1 pp yy p yyyyyy xx L xx L xx LL yy pp pp yy ppp yyyyL xx L L L xx L L L xx L L 22 22222 11 11111 2211ppxxx 所以所以 j pj L L yy jjj 2 1 3 83 8 為為相關(guān)陣 相關(guān)陣 第第i i行 第行 第j j列的代數(shù)余子式 列的代數(shù)余子式 ij ij r pp 2211 12 3 12 r 1 1 1 1 1 1 1 1 13 31 22 23 32 11 23 31 21 21 r r r r r r r 1 1 22 1323 312321 rr rrr 3 93 9 F F j 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 yj yj yj yj j j j j j j j jjj j r r pn r rpn SSESSE SSE SSE SSE pn SSE SSE SSE SSE pn SSE SSE pn SSE SSR pn pn SSE SSR 小于小于1 1 F F 與與一一對應(yīng) 所以一一對應(yīng) 所以F F 與與等價(jià)等價(jià) 2 yj rj 2 yj rj 2 yj r 3 103 10 p pn SSE pn p SSR SSE pn p SSR ppnF F 11 1 1 2 1 1 1 R SST SSR SST SSE SSE SSR SSE SSESSR SSE SSR SSE SSR p pn SSE SSR p pn 證得證得 ppnF F R 1 2 3 113 11 1 1 相關(guān)性相關(guān)性 yx1x2x3 Pearson 相關(guān)性 1 556 731 724 顯著性 雙側(cè) 095 016 018 y N10101010 Pearson 相關(guān)性 5561 113 398 顯著性 雙側(cè) 095 756 254 x1 N10101010 Pearson 相關(guān)性 731 1131 547 顯著性 雙側(cè) 016 756 101 x2 N10101010 Pearson 相關(guān)性 724 398 5471 顯著性 雙側(cè) 018 254 101 x3 N10101010 在 0 05 水平 雙側(cè) 上顯著相關(guān) 2 2 3 3 4 4 5 5 6 6 模型匯總模型匯總 模型 R R 方調(diào)整 R 方 標(biāo)準(zhǔn) 估計(jì)的誤 差 1 898a 806 70823 44188 a 預(yù)測變量 常量 x3 x1 x2 AnovaAnovab b 模型平方和 df 均方 FSig 回歸 13655 37034551 7908 283 015a 殘差 3297 1306549 522 1 總計(jì) 16952 5009 a 預(yù)測變量 常量 x3 x1 x2 b 因變量 y 系數(shù)系數(shù)a a 非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù) 模型 B 標(biāo)準(zhǔn) 誤差試用版 tSig 常量 348 280176 459 1 974 096 x13 7541 933 3851 942 100 x27 1012 880 5352 465 049 1 x312 44710 569 2771 178 284 a 因變量 y 1回歸方程為回歸方程為 y 348 280 3 754x1 7 101x2 12 447x3 2復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)R 0 898 決定系數(shù)為 決定系數(shù)為0 806 擬合度較高 擬合度較高 3方差分析表 方差分析表 F 8 283 P值值 0 015 0 05 表明回歸方程高度顯著 說明 表明回歸方程高度顯著 說明x1 x2 x3 整體上對整體上對 y有高度顯著的線性影響有高度顯著的線性影響 4回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn)x1工業(yè)總產(chǎn)值的工業(yè)總產(chǎn)值的P值值 0 100 X2農(nóng)業(yè)總產(chǎn)值的農(nóng)業(yè)總產(chǎn)值的P值值 0 049 X3居民非產(chǎn)品支出的居民非產(chǎn)品支出的P值值 0 284 在在0 1的顯著性水平上 的顯著性水平上 x3未通過檢驗(yàn) 應(yīng)將其剔除掉未通過檢驗(yàn) 應(yīng)將其剔除掉 輸入 移去的變量輸入 移去的變量b b 模型輸入的變量移去的變量方法 1x2 x1a 輸入 a 已輸入所有請求的變量 b 因變量 y 模型匯總模型匯總 模型 R R 方調(diào)整 R 方 標(biāo)準(zhǔn) 估計(jì)的誤 差 1 872a 761 69224 08112 a 預(yù)測變量 常量 x2 x1 AnovaAnovab b 模型平方和 df 均方 FSig 回歸 12893 19926446 60011 117 007a 殘差 4059 3017579 900 1 總計(jì) 16952 5009 a 預(yù)測變量 常量 x2 x1 b 因變量 y 系數(shù)系數(shù)a a 非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù) 模型 B 標(biāo)準(zhǔn) 誤差試用版 tSig 常量 459 624153 058 3 003 020 x14 6761 816 4792 575 037 1 x28 9712 468 6763 634 008 系數(shù)系數(shù)a a 模型 非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù) tSig B 標(biāo)準(zhǔn) 誤差試用版 1 常量 459 624153 058 3 003 020 x14 6761 816 4792 575 037 x28 9712 468 6763 634 008 a 因變量 y 1回歸方程為回歸方程為 y 459 624 4 676x1 8 971x2 2復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)R 0 872 決定系數(shù)為 決定系數(shù)為0 761 由決定系數(shù)看回歸方程接近高度相關(guān) 由決定系數(shù)看回歸方程接近高度相關(guān) 3方差分析表 方差分析表 F 11 117 P值值 0 007 表明回歸方程高度顯著說明 表明回歸方程高度顯著說明x1 x2 整體上對整體上對y有高度有高度 顯著的線性影響顯著的線性影響 4回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn)x1工業(yè)總產(chǎn)值的工業(yè)總產(chǎn)值的P值值 0 037 X2農(nóng)業(yè)總產(chǎn)值的農(nóng)業(yè)總產(chǎn)值的P值值 0 008 在在0 05的顯著性水平上的顯著性水平上 自變量自變量x1 x2對對y均有顯著影響均有顯著影響 7 系數(shù)系數(shù)a a 非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)B 的 95 0 置信區(qū)間 模型 B 標(biāo)準(zhǔn) 誤差試用版 tSig 下限上限 常量 459 624153 058 3 003 020 821 547 97 700 x14 6761 816 4792 575 037 3818 970 1 x28 9712 468 6763 634 0083 13414 808 a 因變量 y 8 標(biāo)準(zhǔn)化回歸方程標(biāo)準(zhǔn)化回歸方程y 0 479x1 0 676x2 9 把把x01 75 x02 42帶入帶入y 459 624 4 676x1 8 971x2得得 y 267 86 y置信水平置信水平95 的區(qū)間估計(jì)為 的區(qū)間估計(jì)為 211 09492 324 57506 y置信水平置信水平95 的近似區(qū)間估計(jì)為 的近似區(qū)間估計(jì)為 219 6978 316 0222 E y 置信水平置信水平95 的區(qū)間估計(jì)為的區(qū)間估計(jì)為 245 00541 290 66457 10 由于由于X3的回歸系數(shù)顯著性檢驗(yàn)未通過 所以居民非商品支出的回歸系數(shù)顯著性檢驗(yàn)未通過 所以居民非商品支出 對貨運(yùn)總量影響不大 但是回歸方程整體對數(shù)據(jù)擬合較好 對貨運(yùn)總量影響不大 但是回歸方程整體對數(shù)據(jù)擬合較好 3 123 12 輸入 移去的變量輸入 移去的變量b b 模型輸入的變量移去的變量方法 1x2 x1a 輸入 a 已輸入所有請求的變量 b 因變量 y 模型匯總模型匯總 模型 R R 方調(diào)整 R 方 標(biāo)準(zhǔn) 估計(jì)的誤 差 11 000a 999 9991189 51547 a 預(yù)測變量 常量 x2 x1 AnovaAnovab b 模型平方和 df 均方 FSig 回歸 1 809E1029 046E96393 516 000a 殘差 16979364 566121414947 047 1 總計(jì) 1 811E1014 a 預(yù)測變量 常量 x2 x1 b 因變量 y 系數(shù)系數(shù)a a 非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)共線性統(tǒng)計(jì)量 模型 B 標(biāo)準(zhǔn) 誤差試用版 tSig 容差 VIF 常量 2914 6461337 4662 179 050 x1 607 299 0812 034 065 05020 196 1 x21 709 074 921