回歸分析法概念及原理

1、回歸分析法概念及原理作者:日期：Y 回歸分析法概念及原理回歸分析定義：利用數(shù)據(jù)統(tǒng)計(jì)原理，對大量統(tǒng)計(jì)數(shù)據(jù)進(jìn)行數(shù)學(xué)處理，并確定因變 量與某些自變量的相關(guān)關(guān)系，建立一個(gè)相關(guān)性較好的回歸方程（函數(shù)表達(dá)式），并 加以外推，用于預(yù)測今后的因變量的變化的分析方法。分類：1 .根據(jù)因變量和自變量的個(gè)數(shù)來分類：一元回歸分析;多元回歸分析；2 . 根據(jù)因變量和自變量的函數(shù)表達(dá)式來分類：線性回歸分析;非線性回歸分析；幾點(diǎn)說明：1 .通常情況下，線性回歸分析是回歸分析法中最基本的方法，當(dāng)遇到非線性回 歸分析時(shí)，可以借助數(shù)學(xué)手段將其化為線性回歸；因此，主要研究線性回歸問 題，一點(diǎn)線性回歸問題得到解決,非線性回歸也就迎刃

2、而解了，例如，取對數(shù) 使得乘法變成加法等;當(dāng)然，有些非線性回歸也可以直接進(jìn)行，如多項(xiàng)式回歸 等；2 .在社會(huì)經(jīng)濟(jì)現(xiàn)象中，很難確定因變量和自變量之間的關(guān)系，它們大多是隨機(jī)性 的，只有通過大量統(tǒng)計(jì)觀察才能找出其中的規(guī)律。隨機(jī)分析是利用統(tǒng)計(jì)學(xué)原 理來描述隨機(jī)變量相關(guān)關(guān)系的一種方法；3 .由回歸分析法的定義知道，回歸分析可以簡單的理解為信息分析與預(yù)測。信 息即統(tǒng)計(jì)數(shù)據(jù)，分析即對信息進(jìn)行數(shù)學(xué)處理，預(yù)測就是加以外推，也就是適當(dāng)擴(kuò) 大已有自變量取值范圍，并承認(rèn)該回歸方程在該擴(kuò)大的定義域內(nèi)成立，然后就 可以在該定義域上取值進(jìn)行“未來預(yù)測”。當(dāng)然,還可以對回歸方程進(jìn)行有效 控制；4 .相關(guān)關(guān)系可以分為確定關(guān)系和

3、不確定關(guān)系。但是不論是確定關(guān)系或者不確定 關(guān)系，只要有相關(guān)關(guān)系，都可以選擇一適當(dāng)?shù)臄?shù)學(xué)關(guān)系式，用以說明一個(gè)或幾 個(gè)變量變動(dòng)時(shí)，另一變量或幾個(gè)變量平均變動(dòng)的情況。相關(guān)關(guān)系線性相關(guān) |非線性相關(guān) 完全相關(guān)不相關(guān)正相關(guān)|負(fù)相關(guān)|正相關(guān)|負(fù)相關(guān)回歸分析主要解決的問題：回歸分析主要解決方面的問題；1 .確定變量之間是否存在相關(guān)關(guān)系，若存在，則找出數(shù)學(xué)表達(dá)式；2 .根據(jù)一個(gè)或幾個(gè)變量的值，預(yù)測或控制另一個(gè)或幾個(gè)變量的值，且要估計(jì)這種 控制或預(yù)測可以達(dá)到何種精確度?；貧w模型：回歸模型一元回歸多元回歸線性回歸| |非線性回歸| |線性回歸| |非線性回歸回歸分析步驟：1. 根據(jù)自變量與因變量的現(xiàn)有數(shù)據(jù)以及關(guān)系

4、，初步設(shè)定回歸方程；2. 求出合理的回歸系數(shù)；3. 進(jìn)行相關(guān)性檢驗(yàn)，確定相關(guān)系數(shù)；4. 在符合相關(guān)性要求后，即可根據(jù)已得的回歸方程與具體條件相結(jié)合,來確定事物的未來狀況,并計(jì)算預(yù)測值的置信區(qū)間；回歸分析的有效性和注意事項(xiàng)：有效性:用回歸分析法進(jìn)行預(yù)測首先要對各個(gè)自變量做出預(yù)測。若各個(gè)自變量可 以由人工控制或易于預(yù)測，而且回歸方程也較為符合實(shí)際，則應(yīng)用回歸預(yù)測是有 效的，否則就很難應(yīng)用；注意事項(xiàng):為使回歸方程較能符合實(shí)際，首先應(yīng)盡可能定性判斷自變量的可能種類 和個(gè)數(shù)，并在觀察事物發(fā)展規(guī)律的基礎(chǔ)上定性判斷回歸方程的可能類型；其次， 力求掌握較充分的高質(zhì)量統(tǒng)計(jì)數(shù)據(jù)，再運(yùn)用統(tǒng)計(jì)方法，利用數(shù)學(xué)工具和相關(guān)

5、軟件 從定量方面計(jì)算或改進(jìn)定性判斷?；貧w分析中的幾個(gè)常用概念：實(shí)際值：實(shí)際觀測到的研究對象特征數(shù)據(jù)值；理論值:根據(jù)實(shí)際值我們可以得到一條傾向線，用數(shù)學(xué)方法擬合這條曲線，可以 得到數(shù)學(xué)模型，根據(jù)這個(gè)數(shù)學(xué)模型計(jì)算出來的、與實(shí)際值相對應(yīng)的值,稱為理論值; 預(yù)測值:實(shí)際上也是根據(jù)數(shù)學(xué)模型計(jì)算出來的理論值，但它是與未來對應(yīng)的理論 值。表示符號(hào):實(shí)際值用y表示;理論值，用y表示;預(yù)測值，用y表示。 ii0+ + + + + + + + + + + + + + + + + + + + + + + + + +U n ar y L 加 ea r Reg r e ss ion + + + + +元線性回歸，就是只

6、 涉及一個(gè)自變量的回歸；自變量和因變量之間的關(guān)系是線性關(guān)系的回歸；因變量 與自變量之間的關(guān)系用一條線性方程來表示的回歸。方法步驟：1.確定回歸模型：由于我們研究的是一元線性回歸,因此其回歸模型可表示為：y = 0° + 0J + £ ； 其中,y是因變量；x是自變量；£是誤差項(xiàng)；0°和P 1稱為模型參數(shù)(回歸系數(shù))。 2.求出回歸系數(shù)：這里的回歸系數(shù)的求解，就要用一定的方法，使得該系數(shù)應(yīng)用于該方程是“合理 的”。最常用的一種方法就是最小二乘估計(jì)法。最小二乘法是測量工作和科學(xué)實(shí) 驗(yàn)中最常用的一種數(shù)據(jù)處理方法，其基本原理是，根據(jù)實(shí)驗(yàn)觀測得到的自變量x 和因變

7、量y之間的一組對應(yīng)關(guān)系，找出一個(gè)給定類型的函數(shù)y = f (x)，使得它所取 的值 f (x1), f (x2), j,f( x)與觀測值y1, y 2,，y 在某種尺度下最接近，即在各點(diǎn)處的偏差的平方和達(dá)到最小，即(y - y)2=Z (y-0 -0 x )2 =最小。這種方法求的的0和0將使得擬合直線 i ii 01 i01i=1i =1八八、一一y = 0 +|3 x中的y和x之間的關(guān)系與實(shí)際數(shù)據(jù)的誤差比其他任何直線都小。 01根據(jù)最小二乘法的要求，可以推導(dǎo)得到最小二乘法的計(jì)算公式：n xy -i=1i=1P =y-P%n22 -i=i=1(XI i=1、i=1、2Xi )其中,無二1巳

8、,y二1Xn ii=1ni=1相關(guān)性檢驗(yàn):對于若干組具體數(shù)據(jù)(%,y)都可算出回歸系數(shù)B , f5，從而得到回歸方程。至于y i i01與X之間是否真有如回歸模型所描述的關(guān)系，或者說用所得的回歸模型去擬合實(shí) 際數(shù)據(jù)是否有足夠好的近似，并沒有得到判明。因此，必須對回歸模型描述實(shí)際 數(shù)據(jù)的近似程度，也即對所得的回歸模型的可信程度進(jìn)行檢驗(yàn)，稱為相關(guān)性檢驗(yàn)。n X xy-X xX yx 2-Xx 2 n Xy 2-Xy 2i=1i=1i=1相關(guān)系數(shù)是衡量一組測量數(shù)據(jù)%, yi線性相關(guān)程度的參量，其定義為:r = _ J - ? _ ，或者 r = V(x2 -x2)(y2 - y2)r值在0 <

9、 | r |W1中。I r |越接近于1, x, y 之間線性好；r為正，直線斜率 為正，稱為正相關(guān)；r為負(fù),直線斜率為負(fù)，稱為負(fù)相關(guān)。| r |接近于0,則測量數(shù)一八八據(jù)點(diǎn)分散或x , y之間為非線性。不論測量數(shù)據(jù)好壞都能求出P和0，所以我們 必須有一種判斷測量數(shù)據(jù)好壞的方法，用來判斷什么樣的測量數(shù)據(jù)不宜擬合，判 斷的方法是| r | < r0時(shí)，測量數(shù)據(jù)是非線性的.r稱為相關(guān)系數(shù)的起碼值,與測量 次數(shù)n有關(guān)，如下表:0相關(guān)系數(shù)起碼值r0nr0nr0nr031.00090.7981 50.64140.990100. 7651 60.62350.9 59110 .735170.60660

10、. 917120.70 8180 .59070.8 7 4130.6841 90.5 7580.834140.66 1200.561在進(jìn)行一元線性回歸之前應(yīng)先求出r值，再與r0比較，若| r |> r0，則x和y具置信區(qū)間的確定：口當(dāng)確定相關(guān)性后,就可以對置信區(qū)間進(jìn)行確定，就可以結(jié)合實(shí)際情況,確定事物未來的狀況了。回歸分析的最主要的應(yīng)用就在于“預(yù)測”，而預(yù)測是不是準(zhǔn)確的， 就得有一個(gè)衡量的工具。它就是置信區(qū)間?；蛘邚牧硗庖环矫鎭碚f，回歸方程是 由數(shù)理統(tǒng)計(jì)得出的，它反映的是實(shí)際數(shù)據(jù)的統(tǒng)計(jì)規(guī)律，所以，根據(jù)回歸方程所得 的預(yù)測值y只是對應(yīng)于x的單點(diǎn)預(yù)測估計(jì)值，預(yù)測值應(yīng)該有一個(gè)置信區(qū)間。這 樣來

11、看,計(jì)算置信區(qū)間就是很有必要的。置信區(qū)間：才(y - y )2S 2=，其中S 2是。2的無偏估計(jì)量，S 2稱為剩余方差，S稱為剩余標(biāo) n 2準(zhǔn)差。注：該表達(dá)式的自由度為n-2是因?yàn)橛?個(gè)限制變量x和yj故對于給定 的x0, y值的概率為0.95的置信區(qū)間是：(y 0 -1.96 S, y。+1.96 S)。點(diǎn)擊參看置 信區(qū)間的確定內(nèi)容。+ + + + + + + + + + + + + + + + + + + + + + + + +Example+ + + + + + + + + + + + + + + + + + + + + + + + + + + +實(shí)驗(yàn)數(shù)據(jù)如下表:城鎮(zhèn)居民家庭人 均可支

12、配收入城市人均住宅面 積城鎮(zhèn)居民家庭人 均可支配收入城市人均住宅面 積343.46.74838. 917.047 7.67. 25 1 6 0 .31 7.87 39.11 0. 05425.118. 71 3 73. 913.55854. 01 9 .415 10 .213.7628 0. 020.31700.614.26859.62 0.82 026. 614.8770 2.822.82 5 77. 415. 2847 2 .223.734 9 6. 215.7942 1. 625. 04 283.016.310493.026.1步驟一：先畫出散點(diǎn)圖，進(jìn)行觀察：程序如下：>>

13、c 1 f>> x= 3 43.447 7.673 9.1 13 7 3.9 1510.2 1700.62026. 6 25 77.4 3 496. 2 42 8 3.0 4838.9 5 16 0 .3 542 5 .15854.0 628 0.0 6859.6 7702.8 8472.2 94 2 1. 6 04 9 3.0;y=6.7 7. 2 10.01 3.513.7 14. 2 14. 8 15.2 15 .7 1 6.317 .0 17.818. 71 9.4 20.3 2 0.82 2.823.7 25. 0 26.1;p 1 o t （ x ,y,'x，）

14、>> x1abel（'城鎮(zhèn)居民家庭人均可支配收入）ylab el（城市人均住宅面積）在MATALB中的運(yùn)行結(jié)果：1000 2000 3000 4000 5000 6000 7000 8000 9000 WOOD 城鎮(zhèn)居民家庭人均可支配收入250 5 0 2 11 忠膽W儂較Y欄翼可以看到，除了個(gè)別點(diǎn)除外,基本上所有的點(diǎn)都分布在一條直線的附近。而且自變 量只有一個(gè)，因此可以假設(shè)其回歸模型為：y = P +0J + £ ;步驟二:求出回歸系數(shù)，過程根據(jù)最小而乘法的公式計(jì)算;計(jì)算公式為：n xy -= i=1nZx2-(Zx2其中，x 二：。i I i Ji=1i=1&

15、#39; i=1 /=y-P x1i=1y.i Jy=1 Zy n i i=1編程:>> n1,n2=si z e( x );lxx = 0;lxy=0f or k =1:n 2lx x = 1 xx+(x(k)-mean( x )A2lx y=lxy+(x(k)-mean(x)*(y(k)-mean (y) end b=lxy/lxxa=mea n ( y )- b* me a n( x ) 在MATLAB中的運(yùn)行結(jié)果：求得 3=0.0 017p =9.48 66,故:y =9.48 6 6+ 0.00 1 7 x 為所求。1 0整個(gè)數(shù)據(jù)擬合如下：>> c 1 f&g

16、t;>x= 3 4 3.4 47 7. 6 7 39.1 1 3 73.9 1 51 0.2 1 700. 6 2 0 2 6.6 25 7 7.4 3496.2 4283.0 4838.9 5160.3 5 425.1 5 8 54.0 6280. 0 6 8 5 9. 6 7702.8 8472.2 9421. 6 04 9 3.0;y=6.7 7. 2 10.0 13.5 13.7 14 .2 14.8 15.2 1 5 .7 16.3 17. 0 17.8 1 8 .7 19.4 20. 3 20.8 22. 8 23. 7 2 5. 0 2 6.1;plot （x,y,'

17、;x'）>> xlabe1（城鎮(zhèn)居民家庭人均可支配收入'）ylabe1（'城市人均住宅面積'）>> n1, n2 =s i ze (x);Ixx二 0 ;1 x y=0for k = l：n 21 xx=1x x+(x(k)-me an(x)A 2lxy=lxy+ (x( k) -mean(x)* (y(k) me a n(y)en db= 1 x y /lxxa=mean( y )b*me a n(x)n1,n2= s iz e (x);lx x = 0 ;l x y=0for k= 1 ： n 2l x x=lxx+(x(k)-mea

18、n (x)人2l xy =lxy+(x( k )-mean (x)* (y (k) -mean(y) endb=lxy / lxxa=mea n (y)-b*me a n( x )xx= 1 i n s p ace ( 0 ,1 2 00 0, 50 0 )yy=a+b* x x；h o1 d o nplo t (xx,y y ,'b-')tex t (60 0 0, 15,'Fit Fu nct i on: y=a+b *x ')在MATLAB中運(yùn)行得到擬合圖:3020004000600080001000012000城鎮(zhèn)居民家庭人均可支配收入25201510 需恒出啰較Y舊曩步驟三：相關(guān)性檢驗(yàn)；r =， ? - ? 一，同理編程計(jì)算出相關(guān)系數(shù)為：'(X2 - x2)(y2 - y2)r =0. 9 647 4 01 9