統(tǒng)計學(xué)課件相關(guān)與回歸分析PPT學(xué)習(xí)教案

1、會計學(xué)1 統(tǒng)計學(xué)課件相關(guān)與回歸分析統(tǒng)計學(xué)課件相關(guān)與回歸分析 2021-8-122 第八章 相關(guān)與回歸分析 第一節(jié) 相關(guān)與回歸分析的基本概念 第三節(jié) 一元線性回歸分析 第四節(jié) 多元線性回歸分析 【學(xué)習(xí)目標(biāo)】通過對本章的學(xué)習(xí)，重點掌握回歸分析的估 計和檢驗方法；掌握相關(guān)分析的種類及三種相關(guān)系數(shù)的計算方 法；在此基礎(chǔ)上能夠運用相關(guān)分析和回歸分析的基本方法解釋 實際社會經(jīng)濟(jì)問題。重點與難點：相關(guān)系數(shù)的計算及其檢驗； 多元線性回歸分析。 第五節(jié) 非線性回歸分析 第二節(jié) 相關(guān)分析 第1頁/共92頁 2021-8-123 第一節(jié) 相關(guān)與回歸分析的基本概念 （一）函數(shù)關(guān)系 一、相關(guān)關(guān)系與函數(shù)關(guān)系 第八章 相關(guān)

2、與回歸分析 函數(shù)關(guān)系是指現(xiàn)象之間存在著嚴(yán)格的依存關(guān)系 ，亦即當(dāng)其它條件不變時，對于某一自變量或幾個 自變量的每一數(shù)值，都有因變量的一個的確定值與 之相對應(yīng)，并且這種關(guān)系可以用一個確定的數(shù)學(xué)表 達(dá)式反映出來。 第2頁/共92頁 2021-8-124 第一節(jié) 相關(guān)與回歸分析的基本概念 （二）統(tǒng)計關(guān)系 一、相關(guān)關(guān)系與函數(shù)關(guān)系 第八章 相關(guān)與回歸分析 統(tǒng)計關(guān)系不同于函數(shù)關(guān)系，當(dāng)重復(fù)觀測時，觀測點 不是完全落在統(tǒng)計關(guān)系曲線上，而是圍繞統(tǒng)計關(guān)系 曲線散布。統(tǒng)計關(guān)系可以表示為確定部分和隨機性 部分二者之和，這是回歸分析的基礎(chǔ)。 相關(guān)關(guān)系 因果關(guān)系 第3頁/共92頁 2021-8-125 案例分析 相關(guān)關(guān)系與

3、因果關(guān)系 一家研究機構(gòu)有一項驚 人的發(fā)現(xiàn)：統(tǒng)計數(shù)據(jù)顯 示，腳長的兒童拼寫能 力比腳短的兒童強。 原來他們調(diào)查的是 一群年齡不同的兒 童，腳長的兒童比 腳短的兒童年齡大 ！ 趕快回去量一下兒子的腳長 我要把腳拉長一點！ 第4頁/共92頁 2021-8-126 按涉及變量的多少分為 按照表現(xiàn)形式不同分為 按照變化方向不同分為 直線相關(guān) 曲線相關(guān) 負(fù)相關(guān) 正相關(guān) 復(fù)相關(guān) 單相關(guān) 偏相關(guān) 第八章 相關(guān)與回歸分析 第5頁/共92頁 2021-8-127 4. 按相關(guān)的程度分為 5.按變量之間因果 關(guān)系的方向分為 完全相關(guān) 不完全相關(guān) 不相關(guān) 雙向因果相關(guān) 單向因果相關(guān) 虛假相關(guān) 第八章 相關(guān)與回歸分析

4、第6頁/共92頁 2021-8-128 第一節(jié) 相關(guān)與回歸分析的基本概念 第八章 相關(guān)與回歸分析 三、相關(guān)分析與回歸分析 回歸分析是關(guān)于研究一個叫做因變量的變量對另一個或多個叫做解釋變量的依賴關(guān)系。 相關(guān)分析是測度兩個變量之間的線性關(guān)聯(lián)度的，并用一些指數(shù)(相關(guān)系數(shù))表示相關(guān)程度。 第7頁/共92頁 2021-8-129 第一節(jié) 相關(guān)與回歸分析的基本概念 第八章 相關(guān)與回歸分析 三、相關(guān)分析與回歸分析 q相關(guān)分析中x與y對等，回歸分析中x與y要 確定自變量和因變量； q相關(guān)分析中x、y均為隨機變量，回歸分析 中只有y為隨機變量； q相關(guān)分析測定相關(guān)程度和方向，回歸分析 用回歸模型進(jìn)行預(yù)測和控制。

5、 區(qū)別： 第8頁/共92頁 2021-8-1210 第一節(jié) 相關(guān)與回歸分析的基本概念 第八章 相關(guān)與回歸分析 三、相關(guān)分析與回歸分析 聯(lián)系： q 相關(guān)分析是回歸分析的基礎(chǔ)和前提。 q 回歸分析是相關(guān)分析的深入和繼續(xù)。 第9頁/共92頁 2021-8-1211 第一節(jié) 相關(guān)與回歸分析的基本概念 第八章 相關(guān)與回歸分析 四、相關(guān)表與相關(guān)圖 (一) 簡單相關(guān)表 將某一變量按其取值的大小排列，然后再將與其相關(guān)的另一變量的對應(yīng)值平行排列，便得到簡單的相關(guān)表。 第10頁/共92頁 2021-8-1212 第一節(jié) 相關(guān)與回歸分析的基本概念 第八章 相關(guān)與回歸分析 企業(yè)編號企業(yè)編號月產(chǎn)量（千噸）月產(chǎn)量（千噸）

6、X生產(chǎn)費用生產(chǎn)費用(萬元萬元)Y 1 2 3 4 5 6 7 8 1.2 2.0 3.1 3.8 5.0 6.1 7.2 8.0 62 86 80 110 115 132 135 160 八個同類工業(yè)企業(yè)的月產(chǎn)量與生產(chǎn)費用 第11頁/共92頁 2021-8-1213 第一節(jié) 相關(guān)與回歸分析的基本概念 第八章 相關(guān)與回歸分析 四、相關(guān)表與相關(guān)圖 (二) 分組相關(guān)表 單變量分組表 雙變量分組表 三變量分組表。 第12頁/共92頁 2021-8-1214 第一節(jié) 相關(guān)與回歸分析的基本概念 第八章 相關(guān)與回歸分析 1. 單變量分組表 表 某紡織廠工人看管織機臺數(shù)和時勞動生產(chǎn)率相關(guān)表 第13頁/共92頁

7、 2021-8-1215 第一節(jié) 相關(guān)與回歸分析的基本概念 第八章 相關(guān)與回歸分析 2. 雙變量分組表 表居住時間與對百貨商場的熟悉程度的雙變量分組表 第14頁/共92頁 2021-8-1216 第一節(jié) 相關(guān)與回歸分析的基本概念 第八章 相關(guān)與回歸分析 3. 三變量分組表 假定對于某項私家車購買意向的調(diào)查，最初以教育水平和私家車擁有情況進(jìn)行分析，對1000人調(diào)查的結(jié)果用二維列聯(lián)表表示如： 第15頁/共92頁 2021-8-1217 第一節(jié) 相關(guān)與回歸分析的基本概念 第八章 相關(guān)與回歸分析 3. 三變量分組表 表教育程度和私家車擁有狀況的雙變量分析 第16頁/共92頁 2021-8-1218 第

8、八章 相關(guān)與回歸分析 從上表中可以看出，文化程度越高的人擁有私家車的比例越 高，這和實際情況不太相符，于是我們引入收入變量，作三變 量的交叉列表分析： 教育程度、收入與私家車擁有狀況的三變量分析 私家車擁有狀私家車擁有狀 況況 收入水平收入水平 低收入低收入高收入高收入 教育程度教育程度教育程度教育程度 本科及以上本科及以上本科以下本科以下本科及以上本科及以上本科以下本科以下 有有 沒有沒有 20% （20） 80% （80） 20% （140） 80% （560） 40% （60） 60% （90） 40% （20） 60% （30） 列合計列合計100%100%100%100% 被調(diào)查者人

9、數(shù)被調(diào)查者人數(shù)10070015050 第17頁/共92頁 2021-8-1219 正 相 關(guān) 負(fù) 相 關(guān) 曲線相關(guān) 不 相 關(guān) x y x y x y x y 第八章 相關(guān)與回歸分析 （三）相關(guān)圖 第18頁/共92頁 2021-8-1220 第八章 相關(guān)與回歸分析 第二節(jié) 相關(guān)分析 一、簡單相關(guān)系數(shù)及其檢驗 (一) 簡單相關(guān)系數(shù)的定義 簡單相關(guān)系數(shù)簡稱相關(guān)系數(shù)，是測量兩個變量之間線性 相關(guān)的方向和程度的指標(biāo)。 總體相關(guān)系數(shù)的表達(dá)式為： YDXD YXCov, 式中： YXCov, 為變量X與變量Y的協(xié)方差 XD YD 為變量Y的方差 為變量X的方差 第19頁/共92頁 2021-8-1221

10、第八章 相關(guān)與回歸分析 第五節(jié) 相關(guān)分析 一、簡單相關(guān)系數(shù)及其檢驗 (一) 簡單相關(guān)系數(shù)的定義 r 樣本相關(guān)系數(shù) 是總體相關(guān)系數(shù)的估計值。 2 2 yyxx yyxx r 簡單相關(guān)系數(shù)通常采用下面的計算公式： 22 2 2 )()(yynxxn yxxyn r 第20頁/共92頁 2021-8-1222 相關(guān)系數(shù)r的取值范圍： r0 為正相關(guān)，r 0 為負(fù)相關(guān)； |r|=0 表示不存在關(guān)系； |r|1 表示完全相關(guān)； |r| 0.4 為低度線性相關(guān)； 0.4 |r| 0.7為顯著性線性相關(guān)； 0.7|r| 1.0為高度顯著性線性相關(guān)。 第八章 相關(guān)與回歸分析 第21頁/共92頁 2021-8-

11、1223 第八章 相關(guān)與回歸分析 第五節(jié) 相關(guān)分析 一、簡單相關(guān)系數(shù)及其檢驗 (二)簡單相關(guān)系數(shù)的檢驗 樣本相關(guān)系數(shù)的檢驗有兩種方法： 直接檢驗法， 檢驗法。 t 第22頁/共92頁 2021-8-1224 提出假設(shè)：0:0: 10 HH 目的檢驗兩變量間線性相關(guān)性是否顯著 步 驟 構(gòu)造檢驗統(tǒng)計量： )2(12 2 ntrnrt 第八章 相關(guān)與回歸分析 第23頁/共92頁 2021-8-1225 根據(jù)給定的顯著性水平，確定臨界值 ；2 t 計算檢驗統(tǒng)計量并做出決策。 2 2 ntt 確定原假設(shè)的拒絕規(guī)則: 2 2 ntt 步 驟 第八章 相關(guān)與回歸分析 第24頁/共92頁 2021-8-122

12、6 第八章 相關(guān)與回歸分析 2 0.025 2 0 0.97 8210.9710.29 10.29262.447 t ttnt H 有： 拒絕，表示總體的兩變量間線性相關(guān)性顯著。 0 0 ：H 0:0: ,05.0,97.0, 8 10 HH rn 提出假設(shè)： 則解：已知 當(dāng) 成立時，則統(tǒng)計量 )2(12 2 ntrnrt 第25頁/共92頁 2021-8-1227 第八章 相關(guān)與回歸分析 第五節(jié) 相關(guān)分析 二、復(fù)相關(guān)系數(shù) 復(fù)相關(guān)系數(shù)是測量一個變量與其它多個變量之間線性相關(guān) 程度的指標(biāo)。 為了測定一個變量y與其它多個變量 之 間的相關(guān)系數(shù)，可以考慮構(gòu)造一個關(guān)于的線性組合，通過計 算該線性組合與

13、之間的簡單相關(guān)系數(shù)作為變量與之間的復(fù)相 關(guān)系數(shù)。具體計算過程如下： k xxx, 21 k xxx, 21 第一步，用 y 對作回歸，得 kk xxy 110 第26頁/共92頁 2021-8-1228 第八章 相關(guān)與回歸分析 第五節(jié) 相關(guān)分析 ； y 第二步，計算 y 和 的簡單相關(guān)系數(shù)，此簡單相關(guān)系數(shù)即為y與 之間的復(fù)相關(guān)系數(shù)。 k xxx, 21 22 yyyy yyyy R 2 2 2 yy yy R 復(fù)相關(guān)系數(shù)的計算公式為： 第27頁/共92頁 2021-8-1229 第八章 相關(guān)與回歸分析 第五節(jié) 相關(guān)分析 二、復(fù)相關(guān)系數(shù) ； 復(fù)相關(guān)系數(shù)與簡單相關(guān)系數(shù)的區(qū)別是簡單相關(guān)系數(shù)的 取值范

14、圍是-1,1，而復(fù)相關(guān)系數(shù)的取值范圍是0,1。這 是因為，在兩個變量的情況下，回歸系數(shù)有正負(fù)之分， 所以在研究相關(guān)時，也有正相關(guān)和負(fù)相關(guān)之分；但在多 個變量時，偏回歸系數(shù)有兩個或兩個以上，其符號有正 有負(fù)，不能按正負(fù)來區(qū)別，所以復(fù)相關(guān)系數(shù)也就只取正 值。 第28頁/共92頁 2021-8-1230 第八章 相關(guān)與回歸分析 當(dāng)兩個變量同時受其它變量影響時，有必要研究當(dāng)控 制其它變量不變時，該兩個變量之間的相關(guān)關(guān)系。這種相 關(guān)關(guān)系被稱為偏相關(guān)關(guān)系。 第五節(jié) 相關(guān)分析 三、偏相關(guān)系數(shù) ； 計算偏相關(guān)系數(shù)的原因在于任何兩個變量這間的相關(guān) 關(guān)系都可能受其余變量的影響。要考察兩個變量之間的純 相關(guān)關(guān)系，必

15、須排除其余變量的影響，或者說必須使其余 變量保持不變。 第29頁/共92頁 2021-8-1231 第八章 相關(guān)與回歸分析 第五節(jié) 相關(guān)分析 三、偏相關(guān)系數(shù) 偏相關(guān)系數(shù)的計算是以回歸分析為基礎(chǔ)的。以三個變量的 情形為例，此種情況下，的偏相關(guān)系數(shù)有三個，分別記作 3 .12 r 2 .13 r 1 .23 r 1 x 3 .12 r 3 x 2 x為與之間的相關(guān)系數(shù)； 保持不變時， 、 和 之間的相關(guān)系數(shù)； 1 x 2 .13 r 2 x與為保持不變時，之間的相關(guān)系數(shù)； 3 x 為 1 .23 r 2 x 3 x 1 x與 保持不變時，之間的相關(guān)系數(shù)； 第30頁/共92頁 2021-8-1232

16、 第八章 相關(guān)與回歸分析 第五節(jié) 相關(guān)分析 uxx 3101 計算殘差 3101 xxu u 3 x 1 x此時中不再含有對的影響。 2 x 3 x 第二步，求對的回歸估計式 vxx 3102 計算殘差 3102 xxv v 3 x 2 x 此時中不再含有 對的影響。 第一步，求對的回歸估計式 1 x 3 x 第31頁/共92頁 2021-8-1233 第八章 相關(guān)與回歸分析 第五節(jié) 相關(guān)分析 u v 第三步，計算和 的簡單相關(guān)系數(shù) u 3 x u v 3 x 1 x 2 x 由于 和中都不再包含的影響，因此和 的簡單相關(guān)系數(shù)就是保持不變時，與之間的相關(guān)系數(shù)。 v 22 3 .12 vu vu

17、 r 所以偏相關(guān)系數(shù) 第32頁/共92頁 2021-8-1234 第八章 相關(guān)與回歸分析 第五節(jié) 相關(guān)分析 三、偏相關(guān)系數(shù) 可以證明， 231312 2 22 2 11 rrrxxxxvu 2 13 2 11 2 1rxxu 2 23 2 22 2 1rxxv 2 23 2 13 231312 3 .12 11rr rrr r 第33頁/共92頁 2021-8-1235 第八章 相關(guān)與回歸分析 第五節(jié) 相關(guān)分析 三、偏相關(guān)系數(shù) 類似的 2 23 2 12 231213 2 .13 11rr rrr r 2 21 2 13 211323 1 .23 11rr rrr r 當(dāng)變量個數(shù)多于3個時，求

18、偏相關(guān)系數(shù)的原則不變，即 應(yīng)先排除其余變量對所考察兩個變量的影響，然后求這兩 個變量之間的簡單相關(guān)系數(shù)。只是變量越多，數(shù)學(xué)處理以 及偏相關(guān)系數(shù)的表達(dá)式就越復(fù)雜。 第34頁/共92頁 2021-8-1236 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 一、一元線性回歸分析隨機誤差項的基本假定 在回歸分析中，最簡單最基本的單方程模型為一元線性 回歸模型。 一元線性回歸分析的總體回歸模型為： iii uxy 10 為常數(shù)項或截距項， 為斜率系數(shù) , 是隨機誤差 項,又稱隨機干擾項 。 第35頁/共92頁 2021-8-1237 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 一、一元線性回歸

19、分析隨機誤差項的基本假定 第二，模型的設(shè)定誤差。 在線性回歸模型中加入隨機誤差項是基于以下原因： 第一，模型不可能包含所有的解釋變量。 第三，測量誤差的影響。 第四，其他隨機因素的影響。 第36頁/共92頁 2021-8-1238 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 一、一元線性回歸分析隨機誤差項的基本假定 線性回歸模型由兩部分構(gòu)成，確定性部分和隨機性部 分， 為確定性部分，稱為對于給定值的期望值 ，可以寫為： 上式被稱為總體線性回歸方程。 第37頁/共92頁 2021-8-1239 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 一、一元線性回歸分析隨機誤差項的基本假定 滿足

20、以下假定的線性回歸模型稱為古典（或經(jīng)典）線性回歸模型 假定1：回歸模型是正確設(shè)定的 假定2：解釋變量是非隨機的 假定3：隨機誤差項的均值為零 假定4：隨機誤差項的方差為一個不變的常數(shù)（等方差假定） 假定5：隨機誤差項的觀測值互不相關(guān)（非序列相關(guān)假定） 假定6：解釋變量與隨機誤差項不相關(guān) 假定7：隨機誤差項服從正態(tài)分布 假定8：沒有一個解釋變量是其他任何解釋變量的完全線性組合 （無多重共線性假定，只適用于多元線性回歸模型） 第38頁/共92頁 2021-8-1240 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 二、一元線性回歸模型的估計 最小二乘法的意義在于使 為了得到這些估計值而最為廣泛

21、使用的方法就是普通最小二乘法 xy 10 為樣本回歸方程。 2 10 2 iiii xyyyQ 達(dá)到最小來確定 0 1 、 一般用 0 1 、 分別表 分別表示參數(shù)的估計 iii yye 稱為回歸殘差 第39頁/共92頁 2021-8-1241 bxay bxay 殘差(Residual): eyy 第40頁/共92頁 2021-8-1242 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 二、一元線性回歸模型的估計 0) (2 10 0 ii xy Q 0) (2 10 1 iii xxy Q 根據(jù)微積分的極值定理，對 求相應(yīng)于 、 的偏 導(dǎo)數(shù)，并令其等于0，即可求得 ： Q 0 1 xy

22、 n x n y xxn yxxyn 110 22 1 )( 第41頁/共92頁 2021-8-1243 r0 r0 r=0 b0 b0 b=0 x y y x S S rb S S br; 第八章 相關(guān)與回歸分析 第42頁/共92頁 2021-8-1244 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 二、一元線性回歸模型的估計 樣本回歸直線具有下述性質(zhì)： 第一、它通過 y 和 x 的樣本平均數(shù) 和 確定的那一點； 第二、 的平均值和 的平均值相等； 第三、殘差的平均值是零； 第四、殘差和 不相關(guān)； 第五、殘差與x不相關(guān)。 y x i y i y i y 第43頁/共92頁 2021-8

23、-1245 9520. 0,9757. 0 2 rr ,55086,37887 ,625,916,16 2 xxy yxn由計算表知 xy 10 第八章 相關(guān)與回歸分析 第44頁/共92頁 2021-8-1246 序號序號 能源消耗量能源消耗量 （十萬噸）（十萬噸）x 工業(yè)總產(chǎn)值工業(yè)總產(chǎn)值 （億元）（億元）y x2y2xy 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 35 38 40 42 49 52 54 59 62 64 65 68 69 71 72 76 24 25 24 28 32 31 37 40 41 40 47 50 49 51 48 58 12

24、25 1444 1600 1764 2401 2704 2916 3481 3844 4096 4225 4624 4761 5041 5184 5776 576 625 576 784 1024 961 1369 1600 1681 1600 2209 2500 2401 2601 2304 3364 840 950 960 1176 1568 1612 1998 2360 2542 2560 3055 3400 3381 3621 3456 4408 合計合計91662555086 26175 3788 7 第45頁/共92頁 2021-8-1247 第八章 相關(guān)與回歸分析 5142. 6

25、 16 916 7961. 0 16 625 7961. 0 9165508616 6259163788716 10 22 2 1 xy xxn yxxyn xy7961.05142.6 第46頁/共92頁 2021-8-1248 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 二、一元線性回歸模型的估計 在回歸分析中，不要試著對常數(shù)項進(jìn)行解釋，原因有兩點： 首先，隨機誤差項部分地是由于忽略了許多邊緣自 變量而生成的，這些變量的平均效應(yīng)被置于常數(shù)項中。 其次，常數(shù)項是當(dāng)所有自變量與誤差項為0時，因變 量的值，但是自變量與隨機誤差項的值幾乎從不等于 0，因為用作經(jīng)濟(jì)分析的變量通常是正的。 第4

26、7頁/共92頁 2021-8-1249 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 二、一元線性回歸模型的估計 2. 大樣本性質(zhì) 無偏性 (二)一元線性回歸模型最小二乘估計量的性質(zhì) 1. 小樣本性質(zhì) 線性 有效性 漸近無偏性 一致性 第48頁/共92頁 2021-8-1250 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 三、一元線性回歸模型的擬合程度分析 (一)一元線性回歸模型的判定系數(shù) iiii yyyyyy 第49頁/共92頁 2021-8-1251 第八章 相關(guān)與回歸分析 y y yy yy yy 2 )(TyySS 2 ) (RyySS 2 ) ( EyySS 剩余離差平方

27、和 回歸離差 平方和 總離差平方和 第50頁/共92頁 2021-8-1252 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 三、一元線性回歸模型的擬合程度分析 可以證明，對上式兩邊分別平方加總后等式仍然成立，即： (一)一元線性回歸模型的判定系數(shù) 222 )()()( iii yyyyyy 可簡寫為： TSSESSRSS 第51頁/共92頁 2021-8-1253 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 三、一元線性回歸模型的擬合程度分析 判定系數(shù)測度了回歸直線對觀測數(shù)據(jù)的擬合程度,記為 (一)一元線性回歸模型的判定系數(shù) 2 R 2 2 2 2 2 )( ) ( 1 )( )(

28、 yy yy yy yy R 第52頁/共92頁 2021-8-1254 2222 )()( yynxxn yxxyn r 判定系數(shù)與相關(guān)系數(shù)的關(guān)系 2 )(rbr的符號 )()( )( 2222 2 2 yynxxn yxxyn r 第八章 相關(guān)與回歸分析 第53頁/共92頁 2021-8-1255 q判定系數(shù)無方向性，相關(guān)系數(shù)則有方 向，其方向與樣本回歸系數(shù) b 相同； q判定系數(shù)說明變量值的總離差平方和 中可以用回歸線來解釋的比例，相關(guān)系 數(shù)只說明兩變量間關(guān)聯(lián)程度及方向； 第八章 相關(guān)與回歸分析 第54頁/共92頁 2021-8-1256 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析

29、 三、一元線性回歸模型的擬合程度分析 估計標(biāo)準(zhǔn)誤差是指實際值與估計值的平均離差。 其定義公式如下： (二)一元線性回歸模型的估計標(biāo)準(zhǔn)誤 22 ) ( 22 n xybyay n yy Se 第55頁/共92頁 2021-8-1257 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 四、一元線性回歸模型的顯著性檢驗 根據(jù)正態(tài)分布下最小二乘估計量的性質(zhì)，可求出的抽樣分布為： (一)回歸系數(shù)的顯著性檢驗 2 2 2 00 , xxn x N i i 2 2 11 , xx N i 回歸系數(shù)的顯著性檢驗就是要檢驗自變量對因變量的影響 程度是否顯著的問題。若總體回歸系數(shù) ，則總體 回歸線就是一條水平線

30、，說明兩個變量之間 沒有線性關(guān)系，即自變量的變化對因變量沒 有影響。 0 1 第56頁/共92頁 2021-8-1258 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 四、一元線性回歸模型的顯著性檢驗 （1）建立原假設(shè) 假設(shè)樣本從一個沒有線性關(guān)系的總體中選出，即 (一)回歸系數(shù)的顯著性檢驗 0: 10 H0: 11 H （2）計算檢驗統(tǒng)計量t值 1 1 s t 其中 ， 2 i 2 )(/xxs 2nt 2-n e 2 i 第57頁/共92頁 2021-8-1259 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 四、一元線性回歸模型的顯著性檢驗 （4）得出檢驗結(jié)果 (一)回歸系數(shù)的顯著

31、性檢驗 （3）確定顯著性水平(一般取0.05)，并根據(jù)自 由度 查 分布表，找出相應(yīng)的臨界值2nt 2/ a t ,表明自變量x對因變量y的影響是顯著的。 ，拒 絕 若 2 tt 0 H ,表明自變量x對因變量y的影響是顯著的。 ,拒絕若 2 tt 0 H 第58頁/共92頁 2021-8-1260 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 四、一元線性回歸模型的顯著性檢驗 (二)回歸方程總體顯著性的F檢驗 F檢驗的基本步驟為： （1）建立原假設(shè)備擇假設(shè) 0: 210 k H 由于備擇假設(shè)和原假設(shè)是對立的，所以備擇假設(shè)為： 至少有一個 i 不為0。 （2）計算F 統(tǒng)計量 ) 1/( )

32、 ( /)( ) 1/(R /E 2 2 knyy kyy knSS kSS F 第59頁/共92頁 2021-8-1261 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 四、一元線性回歸模型的顯著性檢驗 在原假設(shè)成立的條件下，F(xiàn) 統(tǒng)計量服從第一個自由度為 ，第二個自由度為 的 F 分布。 k1kn 在一元回歸下，F(xiàn) 統(tǒng)計量簡化為： )2/( ) ( 1/)( )2/(R 1/E 2 2 nyy yy nSS SS F 第60頁/共92頁 2021-8-1262 第二節(jié) 一元線性回歸分析 第八章 相關(guān)與回歸分析 四、一元線性回歸模型的顯著性檢驗 （3）確定顯著性水平a (一般取a=0.05

33、 )，并根據(jù)兩個自由 度查F 分布表，得到相應(yīng)的臨界值 。 ，則接受原假設(shè)，說明回歸方程在整體上不顯著 。 F （4）得出檢驗結(jié)果 若 FF, 則拒絕 0 H，說明回歸方程在整體上是顯著的； 若 FF 第61頁/共92頁 2021-8-1263 第八章 相關(guān)與回歸分析 多元線性回歸模型的一般表示式為： 與多元線性回歸模型相對應(yīng)的總體回歸方程為： 樣本回歸模型為： 第三節(jié) 多元線性回歸分析 一、多元線性回歸模型 (一)多元線性回歸模型的矩陣表示 ikikiii uXXXY 22110 kikiii XXXYE 22110 ikikiii eXXXY 22110 樣本回歸方程為： kikiii X

34、XXY 22110 第62頁/共92頁 2021-8-1264 第八章 相關(guān)與回歸分析 第三節(jié) 多元線性回歸分析 假設(shè)為了得到未知參數(shù)的估計值，我們對被解釋變量和解釋變 量進(jìn)行了n次觀測，代入多元線性回歸模型，可得n個隨機模型 ： nknknnN kk kk uXXXY uXXXY uXXXY 22110 2222212102 1121211101 一、多元線性回歸模型 (一)多元線性回歸模型的矩陣表示 第63頁/共92頁 2021-8-1265 第八章 相關(guān)與回歸分析 為了使多元線性回歸分析和計算更方便、更簡潔，可以用矩 陣形式表示： 第三節(jié) 多元線性回歸分析 nkknnn k k n u

35、u u XXX XXX XXX Y Y Y 2 1 1 0 21 22212 12111 2 1 1 1 1 一、多元線性回歸模型 (一)多元線性回歸模型的矩陣表示 第64頁/共92頁 2021-8-1266 第八章 相關(guān)與回歸分析 第三節(jié) 多元線性回歸分析 定義 n Y Y Y 2 1 Y knnn k k XXX XXX XXX 21 22212 12111 1 1 1 X k 1 0 n u u u 2 1 u 依照矩陣運算法則，上式可表示為： uXY 類似的，定義 eXY XY 第65頁/共92頁 2021-8-1267 第八章 相關(guān)與回歸分析 我們把基本假定用矩陣的形式表示出來： 第

36、三節(jié) 多元線性回歸分析 一、多元線性回歸模型 (二)多元線性回歸模型的基本假定 1.零均值假定可以表示為 ： 0uE n uE uE uE 2 1 第66頁/共92頁 2021-8-1268 第八章 相關(guān)與回歸分析 第三節(jié) 多元線性回歸分析 2. 同方差和無序列相關(guān)可以表示為： nnn n n uuuuu uuuuu uuuuu var,cov,cov ,covvar,cov ,cov,covvar cov 21 2212 1211 u 2 21 2 2 212 121 2 1 , , , cov nnn n n uEuuEuuE uuEuEuuE uuEuuEuE u 2 2 2 00 00

37、 00 第67頁/共92頁 2021-8-1269 第八章 相關(guān)與回歸分析 4.解釋變量與隨機誤差項不相關(guān)假定可表示為： 或 第三節(jié) 多元線性回歸分析 3. 隨機誤差項服從正態(tài)分布可以表示為： I0u 2 ,N 0uXE 0 11 iki ii i iki i i EuX EuX Eu uX uX u E 解釋變量之間不存在多重共線性可表示為： 1 krank X X 1krankXX 0 X X 如果上成立， 至少有k+1階子式不為零，表明解釋變量之間 也就是要求系數(shù)行列式 1 krank X不存在線性相關(guān)關(guān)系。 等價于 第68頁/共92頁 2021-8-1270 第八章 相關(guān)與回歸分析 由

38、樣本回歸模型 和樣本回歸方程 ，可 得殘差向量為： 第三節(jié) 多元線性回歸分析 二、多元線性回歸模型的估計 (一)參數(shù)的普通最小二乘估計 eXY XY YYe XYXYee 2 i e XXXYYXYY XXYX2YY 對上式兩邊分別對 求一階導(dǎo)數(shù)，并令一階偏導(dǎo)數(shù)為零，得 0XX2YX2 ee 由假定 0 X X，可以得到參數(shù)估計量為： YXXX 1 第69頁/共92頁 2021-8-1271 第八章 相關(guān)與回歸分析 第三節(jié) 多元線性回歸分析 二、多元線性回歸模型的估計 (一)參數(shù)的普通最小二乘估計 對上式兩邊分別對 求一階導(dǎo)數(shù)，并令一階偏導(dǎo)數(shù)為零，得 0XX2YX2 ee 由假定0 X X，可

39、以得到參數(shù)估計量為： YXXX 1 第70頁/共92頁 2021-8-1272 第八章 相關(guān)與回歸分析 第三節(jié) 多元線性回歸分析 二、多元線性回歸模型的估計 (二)參數(shù)普通最小二乘估計量的性質(zhì)和分布 在多元線性回歸條件下，參數(shù)的最小二乘估計仍然具有線性 、 無偏性和最小方差性。 由于 YXXX 1 ,可以看出 具有線性特性， 稍加變換，它還是u的線性組合。 uXXX 1 EE uEXXX 1 由此可見是無偏的。 第71頁/共92頁 2021-8-1273 第八章 相關(guān)與回歸分析 在無偏性的基礎(chǔ)上，我們可以得到 的方差-協(xié)方差矩陣 ： 第三節(jié) 多元線性回歸分析 二、多元線性回歸模型的估計 (二)

40、參數(shù)普通最小二乘估計量的性質(zhì)和分布 var E 11 XXXuuXXXE 11 XXXuuEXXX 1 2 1 XXXIXXX 1 2 XX 第72頁/共92頁 2021-8-1274 第八章 相關(guān)與回歸分析 第三節(jié) 多元線性回歸分析 二、多元線性回歸模型的估計 (二)參數(shù)普通最小二乘估計量的性質(zhì)和分布 uu 由于的線性組合，而假定是服從正態(tài)分布的，所以 也是服從正態(tài)分布的，即 1 2 , X XN u 2 由于是不可觀測的，所以其方差沒有辦法計算出來， 1 2 kn ee 因此 的方差-協(xié)方差矩陣的估計值為： 1 2 XXrva 是 只能進(jìn)行估計。可以證明： 第73頁/共92頁 2021-8

41、-1275 第八章 相關(guān)與回歸分析 在多元線性回歸模型中，總平方和仍可分解為回歸平方和 和殘差平方和 . 第三節(jié) 多元線性回歸分析 三、多元線性回歸模型的檢驗 (一)擬合優(yōu)度檢驗 三個平方和的矩陣表示分別為： 2 1 2 YnYYTSS n i i YY 2 1 2 YnYYESS n i i YY n i i eRSS 1 2 YXYYee 第74頁/共92頁 2021-8-1276 第八章 相關(guān)與回歸分析 多元線性回歸判定系數(shù)仍表示為回歸平方和與總平方和之比， 即 第三節(jié) 多元線性回歸分析 三、多元線性回歸模型的檢驗 (一)擬合優(yōu)度檢驗 TSS RSS TSS ESS R1 2 調(diào)整的判定

42、系數(shù) 定義為： 2 R 1/ 1/ 1 2 nTSS knRSS R 第75頁/共92頁 2021-8-1277 第八章 相關(guān)與回歸分析 在一元線性回歸中，總體回歸方程的顯著性 檢驗和斜率參數(shù)的顯著性檢驗是等價的，這可以 從兩類檢驗的原假設(shè)上得到說明。但在多元線性 回歸中，由于存在多個解釋變量，參數(shù)的顯著性 檢驗不再等價于總體回歸方程的顯著性檢驗。 第三節(jié) 多元線性回歸分析 三、多元線性回歸模型的檢驗 (二)總體回歸方程的顯著性檢驗 第76頁/共92頁 2021-8-1278 第八章 相關(guān)與回歸分析 第一步，計算檢驗統(tǒng)計量 第三節(jié) 多元線性回歸分析 三、多元線性回歸模型的檢驗 (三)參數(shù)的顯著

43、性檢驗 0 : 0 i H0 : 1 i H 具體作法是： iiii cN 2 , 將 i 進(jìn)行標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化后的變量服從標(biāo)準(zhǔn)正態(tài)分布： 1 , 0 N c z ii ii i 第77頁/共92頁 2021-8-1279 第八章 相關(guān)與回歸分析 ，則拒絕原假設(shè)，認(rèn)為解釋變量 若 第三節(jié) 多元線性回歸分析 三、多元線性回歸模型的檢驗 (三)參數(shù)的顯著性檢驗 第二步，確定顯著性水平，查表確定臨界值 1 2 knt 1 2 kntti 對應(yīng)變量的影響是顯著的。 在原假設(shè)成立的情況下，該統(tǒng)計量服從個自由度的分布。1kn 2 由 于 未知，可用其估計 量 代替，由此可得到統(tǒng)計量： ii ii i c t

44、 2 第78頁/共92頁 2021-8-1280 第八章 相關(guān)與回歸分析 第四節(jié) 非線性回歸分析 一、非線性回歸模型的定義 非線性回歸分析模型的本質(zhì)，取決于可否通過某種數(shù)量變換或數(shù)學(xué)變換化成線性回歸模型，并從而可進(jìn)行OLS估計。 非線性回歸模型可以表示為： ttt ufY,X f t X其中是期望函數(shù)，是第t個自變量向量 第79頁/共92頁 2021-8-1281 第八章 相關(guān)與回歸分析 4. S型曲線模型 第四節(jié) 非線性回歸分析 二、可線性化的非線性回歸模型的估計 1. 雙曲線模型i i u xy 1 0 1 2. 二次多項式模型 iiii uxxy 2 210 3. 半對數(shù)和雙對數(shù)模型 i

45、ii uxyln 10 iii uxylnln 10 i x i u e y i 10 1 5.其它非線性模型 ii ux i exey 10 第80頁/共92頁 2021-8-1282 第八章 相關(guān)與回歸分析 對于不可線性化的非線性回歸模型，可采用非線性最小 二乘法或非線性極大似然法進(jìn)行估計。 第四節(jié) 非線性回歸分析 三、不可線性化的非線性回歸模型的估計 i ux i eey 10 如果只包含一個未知參數(shù)，則可寫成下面的形式 對于 ufy ii ,X 相對應(yīng)的殘差平方和為 n i it XfyS 1 2 , 使上式達(dá)到最小的即為非線性最小二乘估計量， 第81頁/共92頁 2021-8-128

46、3 第八章 相關(guān)與回歸分析 第四節(jié) 非線性回歸分析 三、不可線性化的非線性回歸模型的估計 應(yīng)該滿足以下條件： 0 , ,2 1 d Xdf Xfy d dS i n i ii 0 , , 1 d Xdf Xfy i n i ii 即 根據(jù)極值理論， 第82頁/共92頁 2021-8-1284 第八章 相關(guān)與回歸分析 高斯-牛頓法的計算步驟如下： 第四節(jié) 非線性回歸分析 取一階近似值 , i Xf 0 第一步：將 在某個初值 處進(jìn)行泰勒級數(shù)展開， 00 , , , 0 d Xdf XfXf i ii 第二步：令 , d Xdf z i i 0 , 0 d Xdf z i i 將第二步代入第一步得 000 , , iii zXfXf 2 1 000 , n i iii zXfyS 2 1 00 n i ii zy 第83頁/共92頁 2021-8-1285 第八章 相關(guān)與回歸分析 第四節(jié) 非線性回歸分析 三、不可線性化的非線性回歸模型的估計 000 , iiii zXfyy iii uzy 00 1 第三步：對上面模型進(jìn)行最小二乘估計，得到 的第一步估計值(第一次迭代值) 1 0 第四步：用 代替第一步中的 直到收收斂為止。 ，重復(fù)一至四步， 第84頁/