回歸分析與經(jīng)驗公式擬合解析PPT學習教案

1、會計學1 回歸分析與經(jīng)驗公式擬合解析回歸分析與經(jīng)驗公式擬合解析 9-2 回歸分析是處理變量之間相關關系的一種 數(shù)理統(tǒng)計方法,也是廣泛用于獲得數(shù)學表達式 的較好方法。本章介紹測量中常用的一元與 多元線性回歸以及一元非線性回歸的基本方 法。 主菜單結束 第1頁/共64頁 9-3 主菜單結束 第2頁/共64頁 9-4 變量間的關系可分為函數(shù)關系和相關 關系。本節(jié)介紹這兩種關系，并對回 歸分析的一些基本概念作一個簡要的 介紹。 主菜單結束 第3頁/共64頁 9-5 1、是一一對應的確定關系 2、設有兩個變量和，變量隨變量一起變化，并完全依賴于，當變量某個數(shù)值時，依確定的關系取相應的值，則稱是的函數(shù)，記

2、為，其中稱為自變量，稱為因變量 xyyx xx x y yy = f(x) xy v如以速度作勻速運動的物體，走過的距離與 時間之間，有如下的函數(shù)關系 vs t svt 主菜單結束 第4頁/共64頁 9-6 1、變量間關系不能用函數(shù)關系精確表達 3、當變量取某個數(shù)值時，變量的值可能有幾個 xy 2、一個變量的取值不能由另一個變量惟一確定 v如人的身高( )與體重( )之間的關系 y x 主菜單結束 第5頁/共64頁 9-7 v3、利用所求的關系式，根據(jù)一個或幾個變量的 值，預測或控制另一個變量的值，并要知道這種預 測或控制可達到的精密度。 一種處理變量間相關關系的數(shù)理統(tǒng)計方法。 他主要解決以下

3、幾個問題 v1、從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學 關系式 v2、對這些關系式的可信程度進行各種統(tǒng)計檢驗 ，并從影響某一特定變量的諸多變量中找出哪些變 量的影響顯著，哪些不顯著 主菜單結束 第6頁/共64頁 9-8 回歸模型的類型 回歸模型回歸模型 一元回歸一元回歸 線性線性 回歸回歸 非線性非線性 回歸回歸 線性線性 回歸回歸 非線性非線性 回歸回歸 多元回歸多元回歸 一個自變量 兩個及兩個以上自變量 主菜單結束 第7頁/共64頁 9-9 1、回答“變量之間是什么樣的關系？ ” 2、方程中運用 q1個數(shù)字的因變量 q1個或多個數(shù)字的或分類的因變量 3、主要用于預測或估計 主菜單結束 第8

4、頁/共64頁 9-10 主菜單結束 第9頁/共64頁 9-11 主菜單結束 第10頁/共64頁 9-12 1、當只涉及一個自變量時稱為一元回歸， 若因變量與自變量之間為線性關系時 稱為一元線性回歸 3、描述因變量如何依賴于自變量和誤 差項的方程稱為回歸模型。 y x 2、對于具有線性關系的兩個變量，可以 用一個線性方程來表示它們之間的關系 y x 主菜單結束 第11頁/共64頁 9-13 由實驗獲得兩個變量和的一組樣本數(shù)據(jù)，構造如下一元線性回歸模型 xy 11 ( ,)x y 22 (,)xy(,) nn xy iii yabx 一元線性回歸模型概念一元線性回歸模型概念 v模型中，是的線性函數(shù)

5、部分加上誤差項 yx xy v線性部分反映了由于的變化而引起的變化 v誤差項是隨機變量 反映了除和之間的線性關系之外的隨機因素對 的影響 是不能由和之間的線性關系所解釋的變異性 v和稱為模型的參數(shù) xy y xy ab 主菜單結束 第12頁/共64頁 9-14 1、誤差項是一個期望值為的隨機變量，即。對于一個給定的值，的期望值為 ( )0E i x i y () ii E yabx 2、對所有的值，的方差都相同 i x i 2 3、誤差項是一個服從正態(tài)分布的隨機變量，且相互獨立。即 i 2 (0,) i N 獨立性意味著對于一個特定的值，它所對應的 與其它值所對應的不相關 i x i j x

6、j 對于一個特定的值，它所對應的值與其它 值所對應的不相關 i x i y j x j y 一元線性回歸模型基本假定一元線性回歸模型基本假定 主菜單結束 第13頁/共64頁 9-15 1、描述的平均值或期望值如何依賴于的方程稱為回歸方程 y x 2、簡單線性回歸方程的形式如下 ( )E yabx 方程的圖示是一條直線，因此也稱為直線回歸方 程 是回歸直線在軸上的截距，是當時的期 望值 是直線的斜率，表示當每變動一個單位時， 的平均變動值 ay0 x b x y 回歸方程概念要點 主菜單結束 第14頁/共64頁 9-16 1、總體回歸參數(shù)和是未知的，必須利用樣本數(shù)據(jù)去估計他們 ab 2、用樣本統(tǒng)

7、計量和代替回歸方程中的未知參數(shù)和，這時就得到了經(jīng)驗的回歸方程 a b 3、一元線性回歸的經(jīng)驗的回歸方程 yabx 是回歸直線在軸上的截距 是直線的斜率，它表示對于給定的的值， 是的估計值，也表示當每變動一個單位時， 的平均變動值 a y b x y x y y ab 經(jīng)驗的回歸方程 主菜單結束 第15頁/共64頁 9-17 2 () () xy xx l n xyx y b l n xx x aybx 22 1111 222222 11 1 1111 , ()() ()() nnnn iiiii iiii nn xxiyyi ii n xyii i xx yy xxxyx y nnnn lxx

8、n xn xlyynyny lxxyynxynx y 式中 根據(jù)最小二乘法的要求，可得 和的計算公式和的計算公式 a b 主菜單結束 第16頁/共64頁 9-18 主菜單結束 第17頁/共64頁 9-19 偏差平方和的分解偏差平方和的分解 測量值之間的差異來源于兩 個方面 12 , n y yy 由于自變量取值的不同造成的 x 除以外的其它因素(如對的非線性影響、測量誤差等)的影響 i yy x y 對一個具體的觀測值來說，變異的大 小可以通過該實際觀測值與其均值之 差來表示 x 主菜單結束 第18頁/共64頁 9-20 0 y x yy = yab x = + y _ y y _ yy _

9、y 主菜單結束 第19頁/共64頁 9-21 ()() iiii yyyyyy 兩端平方后求和得到 222 111 nnn iiii iii yyyyyy 總偏差平方和 回歸平方和 殘余平方和 總回殘 總殘回 三個平方和的關系三個平方和的關系 主菜單結束 第20頁/共64頁 9-22 自由 度 1n 總 計算 公式y(tǒng)y l 總 在總的偏離中除 了對線性影 響之外的其它因 素而引起變化 的大小 xy y 1 回 2 xy xy xx l bl l 回 在總的偏差中因和的線性關系而引起變化的大小 xy y 2n 總回殘 總回殘 總偏差平方和 回歸平方和 殘余平方和 意義 反映因變量的n個觀測值與其

10、均值的總偏差 三個平方和的意義三個平方和的意義 主菜單結束 第21頁/共64頁 9-23 1、檢驗自變量和因變量之間的線性關系是否 顯著 2、具體方法是將回歸平方和和殘余平方和加 以比較，應用F檢驗來分析二者之間的差別是 否顯著 如果是顯著的，兩個變量之間存在線性關系 如果不顯著，兩個變量之間不存在線性關系 主菜單結束 第22頁/共64頁 9-24 2、計算檢驗統(tǒng)計量 F 回回 剩剩 1 2 F n 回 剩 3、在給定顯著性水平 下，由分布表查得臨界值 。 1,2Fn 4、作出決策。若，拒絕，則認為該回歸效果顯著。反之，則不顯著。 1,2FFn 即 檢驗步驟 1、提出假設 線性關系不顯著 0

11、:H 0 H 主菜單結束 第23頁/共64頁 9-25 4、殘余標準差的計算公式 2 s n 殘 x yy 1、表征除了與線性關系之外其它因素影響值偏離的大小 2、反映實際觀測值在回歸直線周圍的分散狀況 3、從另一個角度說明了回歸直線的擬合程度 主菜單結束 第24頁/共64頁 9-26 偏離 回歸 殘余 總和 平方 和 xy bl 回 yy l 總 總回殘 自由 度 1n 2n 標準 差 2 s n 殘 統(tǒng)計 量 2 F s 回 置信 限 1,2Fn 0.10.0 5 0.0 1 顯著 否 顯著 否 顯著 否 方差分析表 主菜單結束 第25頁/共64頁 9-27 主菜單結束 第26頁/共64頁

12、 9-28 回歸系數(shù)的不確定度回歸系數(shù)的不確定度 1、回歸系數(shù)的不確定度是描述回歸系數(shù)的分散性 2 1 ( ) xx x U as nl 1 ( ) xx U bs l 2 ab xx x ss l 2、回歸系數(shù)和的標準不確定度的計算公式 a b 3、回歸系數(shù)和的協(xié)方差的計算公式 a b 式中，是殘余標準差 s 主菜單結束 第27頁/共64頁 9-29 回歸方程的穩(wěn)定性回歸方程的穩(wěn)定性 1、回歸值的波動大小，波動愈小，回歸方程的穩(wěn)定性愈好。 y 2、回歸值的波動大小的計算公式 y 標準不確定度來表示。 y ( )U y 2 1 ( ) xx xx U ys nl 回歸值的波動大 小不僅與剩余標

13、 準差s有關，而 且還取決于試驗 次數(shù)n及自變量 取值范圍。 第28頁/共64頁 9-30 提高回歸方程中各估計量穩(wěn)定性的方法提高回歸方程中各估計量穩(wěn)定性的方法 (1) 提高觀察數(shù)據(jù)本身的準確度 (2) 盡可能增大觀測數(shù)據(jù)中自變量的取 值范圍 (3) 增加觀測次數(shù) (4) 減小殘余誤差，即擬定合適回歸方程 使其盡可能合乎實際數(shù)據(jù)的變化規(guī)律 主菜單結束 第29頁/共64頁 9-31 主菜單結束 第30頁/共64頁 9-32 回歸預測值回歸預測值及其不確定度及其不確定度 x y 、利用估計的回歸方程，對于自變量的一個給定值，求出因變量的一個估計值，就是回歸的預測值 0 x 0 y 的標準不確定度來

14、表述 y yabx 2 1 ( ) xx xx u ys nl 2n 的擴展不確定度來表述 y p yabxU 1,2pn 2、預測值與實際值之間存在偏差，因此給出預測值時，還必須給出其不確定度。有以下兩種表示方式 0 y y 主菜單結束 第31頁/共64頁 9-33 【例【例9-19-1 】試對下表所列實驗數(shù)據(jù)做直線擬合，并作方差分析和預測。 i x i y i x i y i x i y i x i y 180200145165123110191205 104100141135151180190220 134135144160110130153145 1411251901901081101

15、55160 204235190210158130177185 150170161145107115177205 121125165195180240143160 151135154150127135 147155116100115120 主菜單結束 第32頁/共64頁 9-34 【解】 直線擬合計算 11 150.09,158.28 3434 ii xxyy 2 25453 xxi lxx 32325 xyii lxxyy 32.3aybx 2 50094,1.27 yyixyxx lyybll 32.3 1.270yx 故有 直線擬合 主菜單結束 第33頁/共64頁 9-35 方差分析 50

16、094 yy l 總 2 41037 xyxx ll 回 9057 總回殘 282.516.8s 偏離 回歸 殘余 總和 平方 和 自由 度 標準 差 統(tǒng)計 量 2 145.0F s 回 置信 限 1,32F 0.0 1 高度顯著 41037 9057 50094 32 33 16.8145.0 7.50 主菜單結束 第34頁/共64頁 9-36 預測 對于，查分布表得 232n 0.01(32) 2.74t 0.05(32) 2.04t 0.10(32) 1.69t 2 1 ( )2.88 xx xxs u ys nln ( ) ( ) p Utu y 故有 32.301.2707.89(0

17、.99,32)yxp 32.301.2705.88(0.95,32)yxp 32.301.2704.87(0.90,32)yxp 主菜單結束 第35頁/共64頁 9-37 100120 y 240 220 180 140 100 140160180200 x yx = 32.30 + 1.27 主菜單結束 第36頁/共64頁 9-38 主菜單結束 第37頁/共64頁 9-39 主菜單結束 第38頁/共64頁 9-40 0111222iiimmimi ybb xxbxxbxx 1 1 n jji i xx n 1、一個因變量與兩個及兩個以上自變量之間的回歸 2、描述因變量如何依賴于自變量和誤差項

18、的方程稱為多元線性回歸模型 12 , m x xx y 3、涉及個自變量的多元線性回歸模型可表示為 m 是參數(shù)01 , m b bb 是被稱為誤差項的隨機變量 是的線性函數(shù)加上誤差項 說明了包含在里面但并不能被個自變量的 線性關系所解釋的變異性 y 12 , m x xx y 主菜單結束 第39頁/共64頁 9-41 對于組實際觀測數(shù)據(jù)，多元線性回歸模型可表示為 12 (,) iimii xxxy n yXB 1 2 n y y y y 1112121 1212222 1122 1 1 1 mm mm nnmnm xxxxxx xxxxxx xxxxxx X 0 1 2 m b b b b B

19、 1 2 n 式中 主菜單結束 第40頁/共64頁 9-42 1、自變量是確定性變量，不是隨機變量 2、隨機誤差項的期望值為，且方差都相同 3、誤差項是一個服從正態(tài)分布的隨機變量，即，且相互獨立 12 , m x xx 2 2 (0,)N 主菜單結束 第41頁/共64頁 9-43 1、描述的平均值或期望值如何依賴于的方程稱為多元線性回歸方程 12 , m x xx y 2、多元線性回歸方程的形式為 0111222 mmm ybb xxbxxbxx 稱為偏回歸系數(shù) 表示假定其他變量不變，當每變動一個單 位時，的平均變動值 12 , m b bb i b i x y 主菜單結束 第42頁/共64頁

20、 9-44 1、總體回歸參數(shù)是未知的，利用樣本數(shù)據(jù)去估計 2、用樣本統(tǒng)計量代替回歸方程的未知數(shù)，即得到估計的回歸方程 012 , m b b bb 012 , m b b bb 012 , m b b bb 0111222 mmm ybb xxbxxbxx 是的估計值 是的估計值 012 , m b b bb 012 , m b b bb y y 主菜單結束 第43頁/共64頁 9-45 0 1 1 n i i by n 1 1 21 2 o o mo m b l l b l b L 1 11212 1 12 m mmmm lll lll L 1111 1 nnnn jkjijkikjikij

21、iki iiii lxxxxx xxx n 1111 1 nnnn jojijijiijii iiii lxxyx yxy n ,1,2,j kn 參數(shù)的最小二乘估計 主菜單結束 第44頁/共64頁 9-46 計算過程計算過程 1 n i i y 1 ,1,2, n ji i xjm 1 , ,1,2, n jiki i x xjk j km 1 ,1,2, n jii i x yjm jk l jo l 1 L ,0,1,2, j bjm 主菜單結束 第45頁/共64頁 9-47 主菜單結束 第46頁/共64頁 9-48 1、檢驗因變量和所有的自變量之間的是否存在一個顯著的線性關系，也被稱為

22、總體的顯著性檢驗 2、具體方法是將回歸平方和和殘余平方和加以比較，應用F檢驗來分析二者之間的差別是否顯著 如果是顯著的，因變量與自變量之間存在線性關系 如果不顯著，因變量與自變量之間不存在線性關系 主菜單結束 第47頁/共64頁 9-49 檢驗的檢驗的步驟步驟 2、計算檢驗統(tǒng)計量 m (1) F nm 回 殘 ( ,1)F m nm 1、提出假設 線性關系不顯著 至少有一個不等于 012 :0 m Hbbb 112 :, m Hb bb 3、在給定顯著性水平 下，由分布表查得臨界值 4、作出決策。若，拒絕，則認為該回歸效果顯著。反之，則不顯著。 ,1FFm nm 0 H 主菜單結束 第48頁/

23、共64頁 9-50 偏離 回歸 殘余 總和 平方 和 jo bl 回 yy l 總 總回殘 自由 度 1n 1nm 標準 差 1 s n m 殘 統(tǒng)計 量 置信 限 ,1Fm nm 顯著 否 m m (1) F nm 回 殘 方差分析表方差分析表 2 ii yy 總回殘 2 iyy yyl 總 2 i j jo yyb l 回 主菜單結束 第49頁/共64頁 9-51 主菜單結束 第50頁/共64頁 9-52 1、一個多元線性回歸方程是顯著的，并不意味著每個自變量 對因變量的影響都是重要的,可能其中有某些變量的作用很小。 12 , m x xx 2、用偏回歸平方和來考察每個特定因素在總回歸中所

24、起的作用 偏回歸平方和偏回歸平方和 i V 回回 回歸平方和，反映了所有 個回歸自變量對因變 量 的總影響 m y 回 舍棄某，其余個回歸自變量可擬合出 元線性回歸方程，其相應的回歸平方和，它反 映了其余個回歸自變量所起的總作用。 回 表示出單獨對回歸因變量的影響 y i x 1m 1m 1m i x 主菜單結束 第51頁/共64頁 9-53 偏回歸平方和的實用計算公式偏回歸平方和的實用計算公式 2 i i ii b V c 原元回歸的正規(guī)方程系數(shù)矩陣L的逆矩陣 中的第列元素 m 1 Li 回歸方程的回歸系數(shù) 1、直接利用定義式計算偏回歸平方和非常繁雜 2、可利用實用公式計算 主菜單結束 第5

25、2頁/共64頁 9-54 分析步驟分析步驟 (1) 計算每個自變量的偏回歸平方和 (2) 凡是偏回歸平方和大的變量，一定是對有重要影響 的因素?？捎脷堄嗥椒胶蛯λM行檢驗。 y 殘 F 計算統(tǒng)計量 1 (1) i i V F nm 殘 當時，則認為變量對的影響在水平上顯著 (1,1) i FFnm i xy (3) 偏回歸平方和小的變量，不一定不顯著。但偏回歸平方 和最小的那個變量，肯定是所有變量中對作用最小的一個， 假如此時變量檢驗結果又不顯著，那可以將該變量剔除。剔 除一個變量后，得重新建立元新回歸方程，計算回歸系 數(shù)和偏回歸平方和。 1m 主菜單結束 第53頁/共64頁 9-55 在對的多元回歸中，當取消一個變量后， 個變量新的回歸系數(shù)（），與原來的回歸系數(shù)之間 有如下關系 12 , m x xxy i x 1m j b ji j b 0 , ij jji ii c bbbij c by 新老回歸系數(shù)間的關系 ，原元回歸的正規(guī)方程系數(shù)矩 陣L的逆