第五章回歸分析方法ppt課件

1、1第五章第五章 回歸分析方法回歸分析方法 251 一元線性回歸 一、什么叫回歸分析一、什么叫回歸分析 一兩種不同類型的變量關(guān)系、函數(shù)與相一兩種不同類型的變量關(guān)系、函數(shù)與相關(guān)關(guān)簡(jiǎn)單的說，回歸分析就是一種處置變量與簡(jiǎn)單的說，回歸分析就是一種處置變量與變量之間關(guān)系的數(shù)學(xué)方法。變量之間關(guān)系的數(shù)學(xué)方法。 例：自在落體運(yùn)動(dòng)中，物體下落的舉例例：自在落體運(yùn)動(dòng)中，物體下落的舉例S與與所需時(shí)間所需時(shí)間t之間，有如下關(guān)系之間，有如下關(guān)系 21(0)2SgttT 3變量S的值隨t而定，這就是說，假設(shè)t去了固定值，那么S的值就完全確定了這種關(guān)系就是所謂的函數(shù)關(guān)系或確定性關(guān)系回歸分析方法是處置變量之間相關(guān)關(guān)系的有力工具

2、，它不僅提供建立變量間關(guān)系的數(shù)學(xué)表達(dá)式閱歷公式，而且利用概率統(tǒng)計(jì)知識(shí)進(jìn)展了分析討論，從而判別閱歷公式的正確性4 二、回歸分析所能處理的問題二、回歸分析所能處理的問題 回歸分析主要處理以下幾方面的問題：回歸分析主要處理以下幾方面的問題： 1確定幾個(gè)特定變量之間能否存在相關(guān)關(guān)確定幾個(gè)特定變量之間能否存在相關(guān)關(guān)系，假設(shè)存在的話，找出她們之間適宜的數(shù)學(xué)系，假設(shè)存在的話，找出她們之間適宜的數(shù)學(xué)表達(dá)式表達(dá)式 2根據(jù)一個(gè)或幾個(gè)變量的值，預(yù)告或控制根據(jù)一個(gè)或幾個(gè)變量的值，預(yù)告或控制另一個(gè)變量的取值，并且要知道這種預(yù)告或控另一個(gè)變量的取值，并且要知道這種預(yù)告或控制的準(zhǔn)確度制的準(zhǔn)確度 3進(jìn)展要素分析，確定要素的主

3、次以及要進(jìn)展要素分析，確定要素的主次以及要素之間的相互關(guān)系等等素之間的相互關(guān)系等等5 一元線性回歸分析，只需處理：一元線性回歸分析，只需處理： 1求變量求變量x與與y之間的回歸直線方程之間的回歸直線方程 2判別變量判別變量x和和y之間能否確為線性關(guān)系之間能否確為線性關(guān)系 3根據(jù)一個(gè)變量的值，預(yù)測(cè)或控制另一變量的根據(jù)一個(gè)變量的值，預(yù)測(cè)或控制另一變量的取值取值6 二、一元線性回歸方程確實(shí)定二、一元線性回歸方程確實(shí)定iy (1,2,.,)xyxyiN數(shù)學(xué)上判定直線合理的原則：如果直線與全部觀測(cè)數(shù)據(jù)的離差平方和，比任何其它直線與全部觀測(cè)數(shù)據(jù)的離差平方和更小，該直線就是代表 與 之間關(guān)系較為合理的一條直

4、線，這條直線就是 和 之間的回歸直線。7*, )(1,2,., )xy()iiiiiiiiiiiiya bxx y iNxya bxya bxyxyyyya bxy 設(shè)是平面上的一條任意直線，(是變量 ， 的一組觀測(cè)數(shù)據(jù)。那么，對(duì)于每一個(gè) ，在直線上確可以確定一個(gè)的值， 與 處實(shí)際觀測(cè)值 的差：就刻畫了 與直線偏離度8xy1x( ,)iix y( ,)iix yyabx9*2211(1,2,.,)(1,2,.,)()()(1,2,.,),abQiiNNiiiiiiiy iNy iNQyyya bxQy iNQx y 全部觀測(cè)值與直線上對(duì)于的的離差平方和則為：反映了全部觀測(cè)值對(duì)直線的偏離程度，顯

5、然，離差平方和 越小，愈能較好地表示之間的關(guān)系。用最小二乘法原理，通過選擇合適的系數(shù) ， ，使 最小1011_1111_22211_2()0(61)2()0(62)1()()(63)1()()(64)NiiiNiiiiNNNNiiiiiiiiiiNNiiiiiQyabxaQyabx xbxxyyx yxyNxxxxNay bx Ni=1聯(lián)合求解得：b=11_1111,(65)ab(66)bNNiiiixx yyNNyabx此處求得 ， 后，回歸方程為：便可以確定， 稱為回歸系數(shù)12 三、回歸方程檢驗(yàn)方法三、回歸方程檢驗(yàn)方法 一方差分析法一方差分析法回想方差分析的根本特點(diǎn)：回想方差分析的根本特點(diǎn)

6、：把所給數(shù)據(jù)的總動(dòng)搖分解為兩部分，一把所給數(shù)據(jù)的總動(dòng)搖分解為兩部分，一部分反映程度變化引起的動(dòng)搖，另一部分反部分反映程度變化引起的動(dòng)搖，另一部分反映由于存在實(shí)驗(yàn)誤差而引起的動(dòng)搖。然后把映由于存在實(shí)驗(yàn)誤差而引起的動(dòng)搖。然后把各要素程度變化引起的動(dòng)搖與實(shí)驗(yàn)誤差引起各要素程度變化引起的動(dòng)搖與實(shí)驗(yàn)誤差引起的動(dòng)搖大小進(jìn)展比較，而到達(dá)檢驗(yàn)要素顯著的動(dòng)搖大小進(jìn)展比較，而到達(dá)檢驗(yàn)要素顯著性的目的性的目的.13_22_22( ,)(1,2,.,)xyxy()()()()()iiiiiiyyiiiiiiix yiNxyxyabxyLyyyyyyyyyy_NNi=1i=1Ni=1i=1設(shè)為變量 ， 間的一組觀測(cè)數(shù)據(jù)

7、，為觀測(cè)點(diǎn)， 為 處的觀測(cè)之，為這組觀測(cè)數(shù)據(jù)求得的變量 ， 間的回歸方程，在回歸問題中，觀測(cè)數(shù)據(jù)總的波動(dòng)情況，用各觀測(cè)值 與總平均y之間的平方和即總變動(dòng)平方和表示_2()()iiiyyyyNNi=1142_2()()(68)xyy(69)iiiQyyQUyyUQUNi=1Ni=1yy第一項(xiàng)是觀測(cè)值與回歸直線的離差平方和，反映了誤差的大小第二項(xiàng)反映了總變動(dòng)中，由于 與 的線性關(guān)系而引起 變化的一部分，稱為回歸平方和第三項(xiàng)為零L15UQUQNN2UQfffffffyyyy總總總每一個(gè)變動(dòng)平方和（即L 、 、 ）都有一個(gè)“自由度”和它們對(duì)應(yīng)，L 自由度稱為總自由度，記做 。觀測(cè)值個(gè)數(shù)1 11 三者之

8、間仍然有：16aaF(2)2a0.050.01F(1,2)FFF FUNQNuQa可用 檢驗(yàn)考察回歸直線的顯著性：U/f（1）計(jì)算F=Q/f（ ）對(duì)于選定的顯著性水平 （或），從 分布上找出臨界值F（3）比較 與 的大小。若 ，則回歸方程有意義，反之則說明方程意義不大17 二相關(guān)系數(shù)檢驗(yàn)法二相關(guān)系數(shù)檢驗(yàn)法_22_22_2_222_22()()()()()()()()1(611)()()iiiyyiiiiiiiiUyyUabxabxbxxLyyyyyyxxbyyyy NNi=1i=1Ni=1Ni=1NNi=1i=1NNi=1i=1由代入整理后可得18_2222_22_2_2()()1(612)(

9、)()()()iiiiiiixxyyrbyyyyxxrbyy NNi=1i=1NNi=1i=1Ni=1Ni=1令19_2_21 yx(),1,()iiiiyyyy rbxxNi=1Ni=1下面存在三種情形：（） 與 有嚴(yán)格函數(shù)關(guān)系時(shí)xy1r xy1r 20_2yx,0,0yy rb（ ） 與 無任何依賴關(guān)系時(shí)xy0r xy0r 213yxr（ ） 與 存在相關(guān)關(guān)系時(shí)0| |1xy10r xy01r22_21_22211yxr()()()()()()NiiiiNNiiiiixyxx yyxxyyxxrbyyxxyyll lNi=1Ni=1檢驗(yàn) 與 是否相關(guān)的步驟：（1）按下式計(jì)算 ：23,2fn

10、23| | |xy| |xya fa fa fa frrrrrrr（ ）給定顯著行水平 ，按自由度 ，由相關(guān)系數(shù)臨界表中查處臨界值。（ ）比較與的大小。若，認(rèn)為 與 之間存在線性相關(guān)關(guān)系；若，認(rèn)為 與 之間不存在線性相關(guān)關(guān)系。24n-2123456789100.05 0.010.9970.9500.8780.8110.7540.7070.6660.6320.6020.5761.0000.9900.9590.9170.8740.8340.7980.7650.7350.708n-2111213141516171819200.05 0.010.5530.5320.5140.4790.4820.468

11、0.4560.4440.4330.4130.6840.6610.6410.6230.6060.5900.5750.5610.5490.537n-2212223242526272829300.05 0.010.4130.4040.3960.3880.3810.3740.3670.3640.3550.3490.5260.5150.5050.4960.4870.4780.4700.4630.4560.449相關(guān)系數(shù)臨界值表25 四、預(yù)告與控制四、預(yù)告與控制當(dāng)我們求得變量當(dāng)我們求得變量x、y之間的回歸直線方之間的回歸直線方程后，往往經(jīng)過回歸方程回答這樣兩方面的程后，往往經(jīng)過回歸方程回答這樣兩方面的問題

12、：?jiǎn)栴}： 1對(duì)任何一個(gè)給定的觀測(cè)點(diǎn)對(duì)任何一個(gè)給定的觀測(cè)點(diǎn)x0，推斷，推斷y0大致落的范圍大致落的范圍 2假設(shè)要求觀測(cè)值假設(shè)要求觀測(cè)值y在一定的范圍在一定的范圍y1yy2內(nèi)取值，應(yīng)將變量控制在什么地方內(nèi)取值，應(yīng)將變量控制在什么地方前者就是所謂的預(yù)告問題，后者稱為控前者就是所謂的預(yù)告問題，后者稱為控制問題。制問題。260000002yxyyyyyQSN（一）預(yù)報(bào)問題一般來說，對(duì)于固定 處的觀測(cè)值 ，其取值是以為中心而對(duì)稱分布的。愈靠近的地方，出現(xiàn)的機(jī)會(huì)愈大，離愈元的地方，出現(xiàn)的機(jī)會(huì)少，而且 的取值范圍與量有下述關(guān)系：2700000000000000322222yyyyyyyyyyySyySyySx

13、xxyySySySyySSS落在范圍內(nèi)的可能性為99.7落在范圍內(nèi)的可能性為95落在范圍內(nèi)的可能性為68利用此關(guān)系，對(duì)于指定的 ，我們有95的把握說，在處的實(shí)際觀測(cè)值 介于與之間即：這樣，預(yù)報(bào)問題就得到了解決量稱為剩余標(biāo)準(zhǔn)差。用來衡量預(yù)報(bào)的精確度28010211112222212120122323yyyyyyyaSbxyaSbxyaSbxyaSbxyxxxxxyyy（二）控制問題控制問題只不過是預(yù)報(bào)的反問題。若要求觀測(cè)值在范圍內(nèi)取值，則可從（或）及（或）中分別解出 、 ，只要將 的取值控制在 與 之間，我們就能以95（或99.7）的把握保證， 在 與范圍內(nèi)取值。29122(617)2(618)

14、yyyabxSyabxS進(jìn)行預(yù)報(bào)和控制，通常也采用圖解法。其作法是：在散點(diǎn)圖上作兩條平行與回歸直線的直線xy2yyabxSyabx1x2x1y2y2yyabxS0b xy2yyabxS2yyabxSyabx1x2x1y2y0b 301295xyyxx可以預(yù)測(cè)在 附近的一系列觀測(cè)值中，將落在這兩條直線所夾成的帶行趨于中，若要求在 與 范圍內(nèi)取值，則只需要圖中虛線所示的對(duì)于關(guān)系，可在 軸上找到值的控制范圍。31 五、運(yùn)用舉例五、運(yùn)用舉例例例61 在某產(chǎn)品闡明腐蝕刻線，下表是在某產(chǎn)品闡明腐蝕刻線，下表是實(shí)驗(yàn)活得的腐蝕時(shí)間實(shí)驗(yàn)活得的腐蝕時(shí)間x與腐蝕深度與腐蝕深度y間的一組數(shù)據(jù)。試研討兩變量間的一組數(shù)據(jù)

15、。試研討兩變量x，y之之間的關(guān)系。間的關(guān)系。腐蝕時(shí)間腐蝕時(shí)間x秒秒腐蝕深度腐蝕深度y5 5 10 20 30 40 50 60 65 90 1204 6 8 13 16 17 19 25 25 29 4632ii作散點(diǎn)圖，即（x ,y）圖40302010yx10 20 30 40 50 60 70 80 90 100 110 120 xy可見 與 之間無確定的函數(shù)關(guān)系，而表現(xiàn)為相關(guān)關(guān)系33_222111_222111_1111_211()()1()()1()()()()(619)(620)(621)NNNxxiiiiiiNNNyyiiiiiiNNNNxyiiiiiiiiiixyxxxyxyxx

16、xx yyLxxxxNLyyyyNLxxyyx yxyNLay bxbLlLrULl l（）求回歸直線記34序號(hào)1234567891011xy2x2yxy551020304050606590120495468131617192525294620825251004009001600250036004225810014400358751636641692562893616256258412116539820308026048068095015001625261055205535222211111_249520811111483451375549520811111149600358754951111

17、NNNNNiiiiiiiiiiiiiiixyxxxyx yxyxyx yxyLL 具體計(jì)算格式如下：列表計(jì)算、以及，36_,0.05,9,483450.3281496002084950.3234.3711114.37.32320.521|xyxxxyxxyyffLbLayb xyxlrl lrrrr回歸方程為：（ ）顯著性檢驗(yàn)相關(guān)系數(shù)0.98回歸方程有意義37000032452.2490.754.37.3234.370.32.7528.6()228.622.2424.12()228.622.2433.08()yyysNQxyxysys（ ）預(yù)報(bào)與控制首先計(jì)算現(xiàn)在可以來回答兩個(gè)問題1）預(yù)測(cè)當(dāng)腐蝕

18、時(shí)間秒時(shí)的腐蝕深度由回歸方程3801212950.7524.1233.082)102021022031.334.5yyxyxsxsxx故有的把握回答：秒的腐蝕深度范圍為：若要求克現(xiàn)深度在之間，應(yīng)將腐蝕時(shí)間控制在什么范圍：解方程4.37+0.3234.37+0.323得秒秒故知應(yīng)將腐蝕時(shí)間控制在3234秒內(nèi)3952 多元回歸分析方法多元回歸分析方法一、多元回歸分析概述一、多元回歸分析概述 上節(jié)討論的只是兩個(gè)變量的回歸問題，上節(jié)討論的只是兩個(gè)變量的回歸問題，其中因變量只與一個(gè)自變量相關(guān)。但這只是最其中因變量只與一個(gè)自變量相關(guān)。但這只是最簡(jiǎn)單的情況，在大多數(shù)的實(shí)踐問題中，影響因簡(jiǎn)單的情況，在大多數(shù)的

19、實(shí)踐問題中，影響因變量的要素不是一個(gè)而是多個(gè)，我們稱這類回變量的要素不是一個(gè)而是多個(gè)，我們稱這類回問題為多元回歸分析。問題為多元回歸分析。 我們這里著重討論簡(jiǎn)單而又最普通的線我們這里著重討論簡(jiǎn)單而又最普通的線性回歸問題，這是由于許多非線性的情形可以性回歸問題，這是由于許多非線性的情形可以化為線性回歸來做。多元線性回歸分析的原理化為線性回歸來做。多元線性回歸分析的原理與一元線性回歸分析完全一樣，但在計(jì)算上卻與一元線性回歸分析完全一樣，但在計(jì)算上卻要復(fù)雜得多。不過，運(yùn)用計(jì)算機(jī)多元回歸的計(jì)要復(fù)雜得多。不過，運(yùn)用計(jì)算機(jī)多元回歸的計(jì)算量是很小的，普通的計(jì)算機(jī)都有多元回歸算量是很小的，普通的計(jì)算機(jī)都有多元

20、回歸以及逐漸回歸方法的專門程序以及逐漸回歸方法的專門程序。40121121121222212ijij01 112211101 12221.x ,xY(;,)(;,)(;,)xxjyYjkknnnknkky xxxy xxxyxxxbb xb xb xbb xb xk01 1kk112模型設(shè)因變量, ,x ,有關(guān)系；b +b x +b x + (7-24)其中 是隨機(jī)項(xiàng)，現(xiàn)有幾組數(shù)據(jù)：（其中是自變量 的第 個(gè)值； 是 的第 個(gè)觀察值）假設(shè)： y y22201 1220112n, ,N01kknnkknnkb xbb xb xb xb bbn y其中是待估參數(shù)；而 ，相互獨(dú)立且服從相同的標(biāo)準(zhǔn)正態(tài)分

21、布 （ ， ），（ 未知）4112k12ktk22.Ykxxx,;),1,2 726yxxy727Q()ttttxxxytNyy101122kk01k01k最小二乘法與正規(guī)方程設(shè)影響因變量 的自變量共有 個(gè)， ，通過實(shí)驗(yàn)得到以下幾組觀測(cè)數(shù)據(jù)（ ）根據(jù)這些數(shù)據(jù)，在 與之間欲配線性回歸方程b +b x +b x +b x （ ）用最小二乘法，選擇參數(shù)b ,bb ,使離差平方和達(dá)最小，即使b ,bb )=2t011tkkt1yb +b x +b x 728NtNt=1（ ）最小 4201kQ0bQ0b 729Q0b729 1111221kk1y2112222kk2y由 數(shù) 學(xué) 分 析 中 求 極 小

22、 值 原 理 得（ ）化 簡(jiǎn) 并 整 理 （ ） 可 得 下 列 方 程 組lb +lb +lb =llb +lb +lb =l11121k11y21222k22yk1k2kkky011 730730l 1 lll l ll (730 l l llkbbbbyb x k11k22kkkky（ ）lb +lb +lb =l將 （ ） 寫 成 矩 陣 形 勢(shì) 為） 731kkb x（ ）43 11Nijjiitijtjt=1Nitjtt=11111 y=,n i=1,2,k l =l =xx xx i,j=1,2k1 =x x 730a NNiiitttNNitjttty xxnxxn其中-（ ）

23、Niytt=1Nittt=111k l =,1,21 =x y 730bn730QbbbitiNNittttxxyyikxy01n01n01（ ）方程組（ ）稱為正規(guī)方程解正規(guī)方程，可得使b ,bb 達(dá)最小參數(shù)b ,bb ，其中為常數(shù)項(xiàng)，為回歸系數(shù)44yy222113.lQ U (7-32)1NNttttyynNyytt=1多元線性回歸方差分析與一元線性回歸情形類似，對(duì)多元線性回歸我們有平方和分解公式： 其中 l =y-y452121122UQUE Q/ (7-33)Q/rNttNNti iytiQyyUyybl i01it22tkkt11y22ykky而 y =b +b x +b x +b

24、x t=1,2n還稱 為回歸平方和， 為剩余平方和。跟一元線性回歸類似，我們有 b l +b l +b l具體計(jì)算時(shí)，用這個(gè)公式比較方便的。我們有 n-k-1實(shí)際上，可以證明服從自由2222221 Q/ SS (7-34)Snk度為的分布記n-k-1式（733）表明是的無扁估計(jì)，實(shí)際中常用來表示。 Q/(n-k-1)又叫剩余標(biāo)準(zhǔn)差。4620.10.050.01FYkFF (7-35)F (k,n-k-1),F(k,n-k-1),F(k,n-k-1)735UkS12k可以利用 檢驗(yàn)對(duì)整個(gè)回歸進(jìn)行顯著性檢驗(yàn)，即 與所考慮的 個(gè)自變量x ,xx 之間的線性關(guān)系究竟是否顯著，檢驗(yàn)方法與一元線性回歸的檢

25、驗(yàn)相同。只是這里僅能對(duì)總回歸作出檢驗(yàn)U/k=Q/(n-k-1)檢驗(yàn)的時(shí)候，分別查出臨界值，并與（ 0.010.050.010.10.050.1FFF(k,n-k-1),0.01F(k,n-k-1)FF(k,n-k-1)0.05F (k,n-k-1)FF(k,n-k-1)FF (k,n-k-1)Yk）計(jì)算的 值比較。若認(rèn)為回歸高度顯著或稱在水平上顯著。認(rèn)為回歸在水平上顯著則稱回歸在0.01水平上顯著。若，則回歸不顯著，此時(shí) 與這 個(gè)自變量的線性關(guān)系就不確切。47多元線性回歸方差分析表變差來源自由度FitU/k均方總和kn-k-1n-1平方和回歸剩余211NNti iytiUyybl21Ntyyt

26、QyylU2Nyytt=1l =y -y2/U kS21QSnk484偏回歸平方和與要素主次的差別偏回歸平方和與要素主次的差別 前面講的有關(guān)多元線性回歸的內(nèi)容，純屬一元情前面講的有關(guān)多元線性回歸的內(nèi)容，純屬一元情形的推行，只是方式上復(fù)雜一些而已，而偏回歸平方形的推行，只是方式上復(fù)雜一些而已，而偏回歸平方和與要素主次的差別那么是多元回歸問題所特有的。和與要素主次的差別那么是多元回歸問題所特有的。 先從判別要素的主次說起。在實(shí)踐任務(wù)中先從判別要素的主次說起。在實(shí)踐任務(wù)中,我們還我們還關(guān)懷關(guān)懷Y對(duì)對(duì)x1,x2,xk的線性回歸中的線性回歸中,哪些要素哪些要素(即自變量即自變量)更重要些更重要些,哪些不

27、重要哪些不重要,怎欄來衡量某個(gè)特定要素怎欄來衡量某個(gè)特定要素，的影響呢的影響呢?我們知道我們知道,回歸平方和回歸平方和U這個(gè)這個(gè)量量,刻劃了全體自變量刻劃了全體自變量x1,x2,xk對(duì)于對(duì)于Y總的線性影響總的線性影響,為了研討為了研討xk的作用的作用,可以這樣來思索可以這樣來思索:從原來的個(gè)自變從原來的個(gè)自變量中扣除量中扣除xk ,我們知道這個(gè)自變量我們知道這個(gè)自變量x1,x2,xk-1對(duì)于對(duì)于Y的總的線性影響也是一個(gè)回歸平方和的總的線性影響也是一個(gè)回歸平方和,記作記作U(k)；我們稱；我們稱 Pk=U-U(k) 49 為為x1,x2,xk中中xk的偏回歸平方和。這個(gè)偏回歸平方和也可看作的偏回歸平方和。這個(gè)偏回歸平方和也可看作xk產(chǎn)生的作用產(chǎn)生的作用,類似地類似地,可定義為可定義為U(i). 普通地普通地,稱稱 Pi=U-U(i) 為為x1,x2,xk 中中i的偏回歸平方和。用它來衡量的偏回歸平方和。用它來衡量i在在Y對(duì)對(duì)x1,x2,xk的