誤差理論和數(shù)據(jù)處理 第9章回歸分析ppt課件

1、4- 1教學目的和要求：教學目的和要求： 通過本章內(nèi)容的教學，使學生掌握一元線性回歸通過本章內(nèi)容的教學，使學生掌握一元線性回歸方程的求法、回歸方程的方差分析與顯著性檢驗方程的求法、回歸方程的方差分析與顯著性檢驗方法；了解一元非線性回歸方程的求解思路及回方法；了解一元非線性回歸方程的求解思路及回歸曲線效果和不確定度評定；了解多元線性回歸歸曲線效果和不確定度評定；了解多元線性回歸方程的求法和顯著性檢驗與不確定度評定方法。方程的求法和顯著性檢驗與不確定度評定方法。 主要內(nèi)容： 1 1 回歸分析的基本概念：概念、回歸分析的主要內(nèi)容。回歸分析的基本概念：概念、回歸分析的主要內(nèi)容。2 2 一元線性回歸：一

2、元線性回歸方程的求法、回歸方程的方一元線性回歸：一元線性回歸方程的求法、回歸方程的方差分析與顯著性檢驗、重復(fù)實驗判斷回歸方程擬合性、回歸差分析與顯著性檢驗、重復(fù)實驗判斷回歸方程擬合性、回歸直線的簡便求法。直線的簡便求法。3 3 一元非線性回歸：回歸曲線類型的選取和檢驗、化非線性一元非線性回歸：回歸曲線類型的選取和檢驗、化非線性回歸為線性回歸、回歸曲線效果與不確定度評定?；貧w為線性回歸、回歸曲線效果與不確定度評定。4 4 多元線性回歸：二元線性回歸方程的求法、多元線性回歸多元線性回歸：二元線性回歸方程的求法、多元線性回歸、多元線性回歸的顯著性檢驗與不確定度評定。、多元線性回歸的顯著性檢驗與不確定

3、度評定。5. 5. 線性遞推回歸：回歸系數(shù)的遞推計算公式、計算步驟。線性遞推回歸：回歸系數(shù)的遞推計算公式、計算步驟。 第一節(jié)基本概念第一節(jié)基本概念 變量間的關(guān)系可分為函數(shù)關(guān)系和相關(guān)關(guān)系。本節(jié)介紹這兩種關(guān)系，并對回歸分析的一些基本概念作一個簡要的介紹。變量間的函數(shù)關(guān)系變量間的函數(shù)關(guān)系 1、是一一對應(yīng)的確定關(guān)系2、設(shè)有兩個變量x 和y，變量x 隨變量y 一起變化，并完全依賴于x ，當變量x 取某個數(shù)值時, y 依確定的關(guān)系取相應(yīng)的值，則稱y 是x 的函數(shù)，記為y =f(x)，其中x 稱為自變量，稱y 為因變量v如以速度v作勻速運動的物體，走過的距離s與時間t之間，有如下的函數(shù)關(guān)系 s=vt 變量間

4、的相關(guān)關(guān)系 1 1、變量間關(guān)系不能用函數(shù)關(guān)系精確表達、變量間關(guān)系不能用函數(shù)關(guān)系精確表達3 3、當變量、當變量x x取某個數(shù)值時，變量取某個數(shù)值時，變量y y的值可能有幾個的值可能有幾個2 2、一個變量的取值不能由另一個變量惟一確定、一個變量的取值不能由另一個變量惟一確定v如人的身高如人的身高(y)(y)與體重與體重(x )(x )之間的關(guān)系之間的關(guān)系 什么是回歸分析？v3 3、利用所求的關(guān)系式，根據(jù)一個或幾個變量的、利用所求的關(guān)系式，根據(jù)一個或幾個變量的值，預(yù)測或控制另一個變量的值，并要知道這種預(yù)值，預(yù)測或控制另一個變量的值，并要知道這種預(yù)測或控制可達到的精密度。測或控制可達到的精密度。 一種

5、處理變量間相關(guān)關(guān)系的數(shù)理統(tǒng)計方法。一種處理變量間相關(guān)關(guān)系的數(shù)理統(tǒng)計方法。他主要解決以下幾個問題他主要解決以下幾個問題v1 1、從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學、從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學關(guān)系式關(guān)系式v2 2、對這些關(guān)系式的可信程度進行各種統(tǒng)計檢驗，、對這些關(guān)系式的可信程度進行各種統(tǒng)計檢驗，并從影響某一特定變量的諸多變量中找出哪些變量并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著的影響顯著，哪些不顯著回歸模型的類型回歸模型回歸模型一元回歸一元回歸線性線性回歸回歸非線性非線性回歸回歸線性線性回歸回歸非線性非線性回歸回歸多元回歸多元回歸一個自一個自變量變量兩個及

6、兩個兩個及兩個以上自變量以上自變量回歸模型回歸模型1、回答“變量之間是什么樣的關(guān)系？”2、方程中運用q1個數(shù)字的因變量q1個或多個數(shù)字的或分類的因變量3、主要用于預(yù)測或估計第二節(jié)一元線性回歸一元線性回歸模型概念1、當只涉及一個自變量時稱為一元回歸，若因變量與自變量之間為線性關(guān)系時稱為一元線性回歸3、描述因變量如何依賴于自變量和誤差項的方程稱為回歸模型。yx2、對于具有線性關(guān)系的兩個變量，可以用一個線性方程來表示它們之間的關(guān)系yx由實驗獲得兩個變量和的一組樣本數(shù)據(jù)，構(gòu)造如下一元線性回歸模型 xy11( ,)x y22(,)xy(,)nnxyiiiyabx一元線性回歸模型概念一元線性回歸模型概念

7、v模型中，是的線性函數(shù)部分加上誤差項yxxyv線性部分反映了由于的變化而引起的變化v誤差項是隨機變量反映了除和之間的線性關(guān)系之外的隨機因素對的影響是不能由和之間的線性關(guān)系所解釋的變異性v和稱為模型的參數(shù)xyyxyab1、誤差項是一個期望值為的隨機變量，即。對于一個給定的值，的期望值為( )0Eixiy()iiE yabx2、對所有的值，的方差都相同ixi23、誤差項是一個服從正態(tài)分布的隨機變量，且相互獨立。即i2(0,)iN獨立性意味著對于一個特定的值，它所對應(yīng)的與其它值所對應(yīng)的不相關(guān)ixijxj對于一個特定的值，它所對應(yīng)的值與其它值所對應(yīng)的不相關(guān)ixiyjxjy一元線性回歸模型基本假定一元線

8、性回歸模型基本假定 1、描畫的平均值或期望值如何依賴于的方程稱為回歸方程yx2、簡單線性回歸方程的形式如下( )E yabx方程的圖示是一條直線，因此也稱為直線回歸方程是回歸直線在軸上的截距，是當時的期望值是直線的斜率，表示當每變動一個單位時，的平均變動值ay0 x bxy回歸方程概念要點1、總體回歸參數(shù)和是未知的，必須利用樣本數(shù)據(jù)去估計他們ab2、用樣本統(tǒng)計量和代替回歸方程中的未知參數(shù)和，這時就得到了經(jīng)驗的回歸方程 ab3、一元線性回歸的經(jīng)驗的回歸方程 yabx是回歸直線在軸上的截距是直線的斜率，它表示對于給定的的值，是的估計值，也表示當每變動一個單位時，的平均變動值 aybxyx yyab

9、經(jīng)驗的回歸方程2()()xyxxln xyx ybln xx xaybx 2211112222221111111,()()()()nnnniiiiiiiiinnxxiyyiiinxyiiixx yy xxxyx ynnnnlxxn xn xlyynynylxxyynxynx y 式中根據(jù)最小二乘法的要求，可得和的計算公式和的計算公式 ab二、回歸效果F檢驗偏差平方和的分解偏差平方和的分解 測量值之間的差異來源于兩個方面12,ny yy由于自變量取值的不同造成的x除以外的其它因素(如對的非線性影響、測量誤差等)的影響 iyyxy對一個具體的觀測值來說，變異的大小可以通過該實際觀測值與其均值之差來

10、表示x偏差平方和的分解圖示0yxyy = yab x = + y _ yy _ yy _ y()()iiiiyyyyyy兩端平方后求和得到222111nnniiiiiiiyyyyyy總偏差平方和 回歸平方和 殘余平方和 總回殘總殘回三個平方和的關(guān)系三個平方和的關(guān)系自由度1n總計算公式y(tǒng)yl總在總的偏離中除了對線性影響之外的其它因素而引起變化的大小 xyy1回2xyxyxxlbll回在總的偏差中因和的線性關(guān)系而引起變化的大小 xyy2n總回殘 總回殘總偏差平方和 回歸平方和 殘余平方和 意義反映因變量的n個觀測值與其均值的總偏差三個平方和的意義三個平方和的意義回歸方程的顯著性檢驗回歸方程的顯著性

11、檢驗1、檢驗自變量和因變量之間的線性關(guān)系是否顯著2、具體方法是將回歸平方和和殘余平方和加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著如果是顯著的，兩個變量之間存在線性關(guān)系如果不顯著，兩個變量之間不存在線性關(guān)系2、計算檢驗統(tǒng)計量 F回回剩剩12Fn回剩 3、在給定顯著性水平 下，由分布表查得臨界值 。1,2Fn4、作出決策。假設(shè)，回絕，則認為該回歸效果顯著。反之，則不顯著。1,2FFn即檢驗步驟1、提出假設(shè)線性關(guān)系不顯著0:H0H估計殘余標準誤差估計殘余標準誤差4、殘余標準差的計算公式 2sn殘xyy1、表征除了與線性關(guān)系之外其它因素影響值偏離的大小 2、反映實際觀測值在回歸直線周圍的分散狀況

12、3、從另一個角度說明了回歸直線的擬合程度偏離回歸剩余總和平方和xybl 回yyl 總 總回殘自由度1n2n標準差2sn殘統(tǒng)計量2Fs回置信限 1,2Fn0.10.05 0.01顯著否顯著否 顯著否方差分析表三、回歸系數(shù)的不確定度與回歸方程的穩(wěn)定性回歸系數(shù)的不確定度回歸系數(shù)的不確定度1、回歸系數(shù)的不確定度是描述回歸系數(shù)的分散性 21( )xxxU asnl1( )xxU bsl2 abxxxssl 2、回歸系數(shù)和的標準不確定度的計算公式 ab3、回歸系數(shù)和的協(xié)方差的計算公式 ab式中，是殘余標準差s回歸方程的穩(wěn)定性回歸方程的穩(wěn)定性 1、回歸值的波動大小，波動愈小，回歸方程的穩(wěn)定性愈好。 y2、回

13、歸值的波動大小的計算公式 y標準不確定度來表示。 y( )U y21( )xxxxU ysnl回歸值的波動大回歸值的波動大小不僅與剩余標小不僅與剩余標準差準差s s有關(guān)，而且有關(guān)，而且還取決于試驗次還取決于試驗次數(shù)數(shù)n n及自變量取值及自變量取值范圍。范圍。 提高回歸方程中各估計量穩(wěn)定性的方法提高回歸方程中各估計量穩(wěn)定性的方法(1) 提高觀察數(shù)據(jù)本身的準確度(2) 盡可能增大觀測數(shù)據(jù)中自變量的取值范圍 (3) 增加觀測次數(shù) (4) 減小殘余誤差，即擬定合適回歸方程使其盡可能合乎實際數(shù)據(jù)的變化規(guī)律 四、回歸預(yù)測值及其不確定度回歸預(yù)測值及其不確定度回歸預(yù)測值及其不確定度xy、利用估計的回歸方程，對

14、于自變量的一個給定值，求出因變量的一個估計值，就是回歸的預(yù)測值0 x0 y的標準不確定度來表述 yyabx21( )xxxxu ysnl2n的擴展不確定度來表述 ypyabxU1,2pn 2、預(yù)測值與實際值之間存在偏差，因此給出預(yù)測值時，還必須給出其不確定度。有以下兩種表示方式0 yy例題例題試對下表所列實驗數(shù)據(jù)做直線擬合，并作方差分析和預(yù)測。 ixiyixiyixiyixiy18020014516512311019120510410014115118019022013414416011013015314514112519019010811015516020423519021015813017

15、7185150170161145107115177205121125165195180240143160151154150127147155116100115120【解】直線擬合計算 11150.09,158.283434iixxyy225453xxilxx32325xyiilxxyy32.3aybx 250094,1.27yyixyxxlyybll32.3 1.270yx 故有直線擬合方差分析 50094yyl總241037xyxxll回9057 總回殘282.516.8s 偏離回歸剩余總和平方和自由度標準差 統(tǒng)計量2145.0Fs回置信限 1,32F0.01高度顯著410379057500

16、94323316.8145.07.50預(yù)測 對于，查分布表得 232n0.01(32)2.74t0.05(32)2.04t0.10(32)1.69t21( )2.88xxxxsu ysnln( ) ( )pUtu y故有32.30 1.2707.89(0.99,32)yxp 32.30 1.2705.88(0.95,32)yxp 32.301.2704.87(0.90,32)yxp 回歸直線及預(yù)測區(qū)間100120y240220180140100140160180200 xyx = 32.30 + 1.27第三節(jié) 一元非線性回歸非線性回歸分析非線性回歸分析 5、 比較不同模型擬合所得的原剩余平方

17、和，選最小者即為所求。 2、選擇回歸模型。根據(jù)實驗數(shù)據(jù)散點圖分布的特點以及所掌握的物理規(guī)律，選擇可線化函數(shù)的模型。3、作線性化變量變換后，按一元線性回歸問題計算待定的系數(shù)、原的剩余平方和。、如果對擬合結(jié)果不滿意，再選擇其它模型，重復(fù)以上步驟 。1、因變量與自變量之間不是線性關(guān)系yx幾種常見的非線性模型指數(shù)函數(shù)指數(shù)函數(shù)1、基本形式：bxyae2、線性化方法兩端取對數(shù)得lnlnyabx令lnyabx lnyy 、圖像b 0b 0幾種常見的非線性模型指數(shù)函數(shù)指數(shù)函數(shù)1、基本形式：2、線性化方法兩端取對數(shù)得令lnyabx1lnyyxx、圖像b xyaelnlnyab xb 0b 0幾種常見的非線性模型

18、冪函數(shù)冪函數(shù)1、基本形式：byax2、線性化方法兩端取對數(shù)得logloglogyabx令logyabxlog ,logyy xx、圖像1b 0b 10b b _1=_11b 0幾種常見的非線性模型雙曲線函數(shù)雙曲線函數(shù)1、基本形式：1bayx2、線性化方法令yabx11,yxyx、圖像a1b 0b 0a 0幾種常見的非線性模型S型曲線型曲線1、基本形式：1xyabe2、線性化方法令yabx1,xyxey、圖像_ 1 a幾種常見的非線性模型對數(shù)函數(shù)對數(shù)函數(shù)1、基本形式：lgyabx2、線性化方法令yabxlgxx 、圖像b 0b 0第四節(jié)多元線性回歸一、多元線性回歸方程多元線性回歸模型概念要點多元

19、線性回歸模型概念要點 0111222iiimmimiybb xxbxxbxx11njjiixxn1、一個因變量與兩個及兩個以上自變量之間的回歸2、描述因變量如何依賴于自變量和誤差項的方程稱為多元線性回歸模型12,mx xxy3、涉及個自變量的多元線性回歸模型可表示為m是參數(shù)01,mb bb是被稱為誤差項的隨機變量是的線性函數(shù)加上誤差項說明了包含在里面但并不能被個自變量的線性關(guān)系所解釋的變異性y12,mx xxy多元線性回歸模型概念要點多元線性回歸模型概念要點 對于組實際觀測數(shù)據(jù)，多元線性回歸模型可表示為12(,)iimiixxxynyXB 12nyyyy11121211212222112211

20、1mmmmnnmnmxxxxxxxxxxxxxxxxxxX012mbbbbB12n 式中多元線性回歸模型基本假定1、自變量是確定性變量，不是隨機變量2、隨機誤差項的期望值為，且方差都相同3、誤差項是一個服從正態(tài)分布的隨機變量，即，且相互獨立12,mx xx22(0,)N多元線性回歸方程概念要點1、描畫的平均值或期望值如何依賴于的方程稱為多元線性回歸方程12,mx xxy2、多元線性回歸方程的形式為0111222mmmybbxxbxxbxx稱為偏回歸系數(shù)表示假定其他變量不變，當每變動一個單位時，的平均變動值12,mb bbibixy多元線性回歸的估計(閱歷)方程1、總體回歸參數(shù)是未知的，利用樣本

21、數(shù)據(jù)去估計2、用樣本統(tǒng)計量代替回歸方程的未知數(shù)，即得到估計的回歸方程012,mb b bb012 ,mb b bb012,mb b bb0111222mmmybbxxbxxbxx是的估計值是的估計值012 ,mb b bb012,mb b bb yy011niibyn11212oomombllblbL111212112mmmmmllllllL11111nnnnjkjijkikjikijikiiiiilxxxxx xxxn11111nnnnjojijijiijiiiiiilxxyx yxyn,1,2,j kn參數(shù)的最小二乘估計計算過程計算過程 1niiy1,1,2,njiixjm1, ,1,2,

22、njikiix xjk j km1,1,2,njiiix yjmjkljol1L,0,1,2,jbjm二、線性回歸效果檢驗回歸方程的顯著性檢驗1、檢驗因變量和所有的自變量之間的是否存在一個顯著的線性關(guān)系，也被稱為總體的顯著性檢驗2、具體方法是將回歸平方和和殘余平方和加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系檢驗的步驟檢驗的步驟2、計算檢驗統(tǒng)計量 m(1)Fnm回殘( ,1)F m nm1、提出假設(shè)線性關(guān)系不顯著至少有一個不等于012:0mHbbb112:,mHb bb 3、在給定顯著性水平 下，由分布

23、表查得臨界值 4、作出決策。假設(shè)，回絕，則認為該回歸效果顯著。反之，則不顯著。,1FFm nm0H偏離回歸剩余總和平方和jobl回yyl總 總回殘自由度1n1nm標準差1sn m殘統(tǒng)計量置信限 ,1Fm nm顯著否mm(1)Fnm回殘方差分析表方差分析表 2iiyy 總回殘2iyyyyl總2ij joyyb l回三、每個自變量在多元回歸中所起的作用 1、一個多元線性回歸方程是顯著的，并不意味著每個自變量 對因變量的影響都是重要的,可能其中有某些變量的作用很小。 12,mx xx2、用偏回歸平方和來考察每個特定因素在總回歸中所起的作用偏回歸平方和偏回歸平方和 iV 回回回歸平方和，反映了所有 個

24、回歸自變量對因變量 的總影響 my回舍棄某，其他個回歸自變量可擬合出元線性回歸方程，其相應(yīng)的回歸平方和，它反映了其余個回歸自變量所起的總作用。 回表示出單獨對回歸因變量的影響 yix1m1m1mix偏回歸平方和的實用計算公式偏回歸平方和的實用計算公式 2iiiibVc原元回歸的正規(guī)方程系數(shù)矩陣L的逆矩陣 中的第列元素 m1Li回歸方程的回歸系數(shù) 1、直接利用定義式計算偏回歸平方和非常繁雜2、可利用實用公式計算分析步驟分析步驟(1) 計算每個自變量的偏回歸平方和(2) 凡是偏回歸平方和大的變量，一定是對有重要影響的因素?？捎脷堄嗥椒胶蛯λM行檢驗。y殘F計算統(tǒng)計量1(1)iiVFnm殘當時，則認

25、為變量對的影響在水平上顯著 (1,1)iFFnmixy(3) 偏回歸平方和小的變量，不一定不顯著。但偏回歸平方和最小的那個變量，肯定是所有變量中對作用最小的一個，假如此時變量檢驗結(jié)果又不顯著，那可以將該變量剔除。剔除一個變量后，得重新建立元新回歸方程，計算回歸系數(shù)和偏回歸平方和。 1m在對的多元回歸中，當取消一個變量后，個變量新的回歸系數(shù)（），與原來的回歸系數(shù)之間有如下關(guān)系 12,mx xxyix1mjbjijb0,ijjjiiicbbbijcby 新老回歸系數(shù)間的關(guān)系，原元回歸的正規(guī)方程系數(shù)矩陣L的逆矩陣 中的元素 m1L,ijiic c第五節(jié) 線性遞推回歸一、回歸系數(shù)的遞推計算公式 設(shè)回歸

26、模型為yb0b1x1bMxM系數(shù)矩陣TNMNNNMNMMZXxxxxxxxx11112211111N1111X引理：設(shè)A、C和A+BCD為非奇異方陣，則下列等式成立（A+BCD）-1A-1A-1BC-1DA-1B）-1DA-1 將XN+1的展開式代人CN+1 111NCTNTNTNTTNZZXXZXZXBN+1 = N+1將將CN+1、BN+1的展開式代入的展開式代入bN+1bN+1CN+1BN+1=CNBNCNZ(1ZTCNZ)-1ZTCNBNCNZyN+1CNZ(1ZTCNZ)-1ZTCNZyN+1將上式后兩項歸并整理將上式后兩項歸并整理CNZ1+ZTCNZ）-1（1+ZTCNZ）ZTCNZyN+1CNZ1+ZTCNZ）-1yN+1YXTN 1將上式代人bN+1bN+1CNBNCNZ1ZTCNZ）-1yN+1ZTCNBN) bNCNZ1+ZTCNZ）-1yN+1ZTbN）令 kN+1（1ZTCNZ）-1 CNZ 那么 bN+1bNkN+1 （yN+1ZTbN） 將kN+1代入CN+1 CN+1CNkN+1ZTCN此即回歸系數(shù)遞推解的計算公式 二、計算步驟 1、計算b和C 的初始值bN、CN 2、計算kN+1 3、計算回歸系數(shù)矩陣bN+1 4、重復(fù)2至3步