數(shù)學(xué)建模-回歸分析

回歸分析

數(shù)理部一、變量間的關(guān)系第一節(jié)回歸分析預(yù)測(cè)法概述各經(jīng)濟(jì)變量之間的關(guān)系一般分為兩類：1.確定性關(guān)系2.相關(guān)關(guān)系變量與變量之間的函數(shù)關(guān)系反映客觀事物之間存在著嚴(yán)格的依存關(guān)系。在這種關(guān)系中，當(dāng)一個(gè)或幾個(gè)變量取值一定時(shí)，另一個(gè)變量有確定的值與之相對(duì)應(yīng)，并且這種關(guān)系可以用一個(gè)確定的數(shù)學(xué)表達(dá)式反映出來(lái)。在三個(gè)變量中，任意兩個(gè)都可以確定第三個(gè)。 一般把作為影響因素的變量稱為自變量，把發(fā)生對(duì)應(yīng)變化的變量稱為因變量。1.確定性關(guān)系2.相關(guān)關(guān)系

相關(guān)關(guān)系反映的是客觀事物之間的非嚴(yán)格、不確定的線性依存關(guān)系。這種線性依存關(guān)系有兩個(gè)顯著的特點(diǎn)：①客觀事物之間在數(shù)量上確實(shí)存在一定的內(nèi)在聯(lián)系。表現(xiàn)在一個(gè)變量發(fā)生數(shù)量上的變化，要影響另一個(gè)變量也相應(yīng)地發(fā)生數(shù)量上的變化。②客觀事物之間的數(shù)量依存關(guān)系不是確定的，具有一定的隨機(jī)性。表現(xiàn)在當(dāng)一個(gè)或幾個(gè)相互聯(lián)系的變量取一定數(shù)值時(shí)，與之對(duì)應(yīng)的另一個(gè)變量可以取若干個(gè)不同的數(shù)值。這種關(guān)系雖然不確定，但因變量總是遵循一定規(guī)律圍繞這些數(shù)值的平均數(shù)上下波動(dòng)（一）回歸分析的提出

回歸分析起源于生物學(xué)研究，是由英國(guó)生物學(xué)家兼統(tǒng)計(jì)學(xué)家高爾登（FrancisGalton1822-1911）在19世紀(jì)末葉研究遺傳學(xué)特性時(shí)首先提出來(lái)的。高爾登在1889年發(fā)表的著作《自然的遺傳》中，提出了回歸分析方法以后，很快就應(yīng)用到經(jīng)濟(jì)領(lǐng)域中來(lái)，而且這一名詞也一直為生物學(xué)和統(tǒng)計(jì)學(xué)所沿用?；貧w的現(xiàn)代涵義與過去大不相同。一般說(shuō)來(lái)，回歸是研究因變量隨自變量變化的關(guān)系形式的分析方法。其目的在于根據(jù)已知自變量來(lái)估計(jì)和預(yù)測(cè)因變量的總平均值。

1、定義理解：

相關(guān)分析是以相關(guān)關(guān)系為對(duì)象，研究?jī)蓚€(gè)或兩個(gè)以上隨機(jī)變量之間線性依存關(guān)系的緊密程度。通常用相關(guān)系數(shù)表示，多元相關(guān)時(shí)用復(fù)相關(guān)系數(shù)表示。

回歸分析是對(duì)具有相關(guān)關(guān)系的變量之間的數(shù)量變化規(guī)律進(jìn)行測(cè)定，研究某一隨機(jī)變量（因變量）與其他一個(gè)或幾個(gè)普通變量（自變量）之間的數(shù)量變動(dòng)關(guān)系，并據(jù)此對(duì)因變量進(jìn)行估計(jì)和預(yù)測(cè)的分析方法。（三）回歸分析與相關(guān)分析它們是研究客觀事物之間相互依存關(guān)系的兩個(gè)不可分割的方面。在實(shí)際工作中，一般先進(jìn)行相關(guān)分析，由相關(guān)系數(shù)的大小決定是否需要進(jìn)行回歸分析。在相關(guān)分析的基礎(chǔ)上建立回歸模型，以便進(jìn)行推算、預(yù)測(cè)，同時(shí)相關(guān)系數(shù)還是檢驗(yàn)回歸分析效果的標(biāo)準(zhǔn)。相關(guān)分析需要回歸分析來(lái)表明客觀事物數(shù)量關(guān)系的具體形式，而回歸分析則應(yīng)建立在相關(guān)分析的基礎(chǔ)上。2、回歸分析與相關(guān)分析的關(guān)系（四）在回歸分析中應(yīng)當(dāng)注意的問題1．重視數(shù)據(jù)的收集和甄別在收集數(shù)據(jù)的過程中可能會(huì)遇到以下困難：（1）一些變量無(wú)法直接觀測(cè)。（2）數(shù)據(jù)缺失或出現(xiàn)異常數(shù)據(jù)。（3）數(shù)據(jù)量不夠。（4）數(shù)據(jù)不準(zhǔn)確、不一致、有矛盾。2.合理確定數(shù)據(jù)的單位在建立回歸方程時(shí)，如果不同變量的單位選取不適當(dāng)，導(dǎo)致模型中各變量的數(shù)量級(jí)差異懸殊，往往會(huì)給建模和模型解釋帶來(lái)諸多不便。比如模型中有的變量用小數(shù)位表示，有的變量用百位或千位數(shù)表示，可能會(huì)因舍入誤差使模型計(jì)算的準(zhǔn)確性受到影響。因此，適當(dāng)選取變量的單位，使模型中各變量的數(shù)量級(jí)大體一致是一種明智的做法。從各種經(jīng)濟(jì)現(xiàn)象之間的相關(guān)關(guān)系出發(fā)，通過對(duì)與預(yù)測(cè)對(duì)象有聯(lián)系的現(xiàn)象變動(dòng)趨勢(shì)的分析，推算預(yù)測(cè)對(duì)象未來(lái)狀態(tài)數(shù)量表現(xiàn)的一種預(yù)測(cè)法?；貧w分析預(yù)測(cè)法（一）根據(jù)預(yù)測(cè)的目的，選擇確定自變量和因變量(二)收集歷史統(tǒng)計(jì)資料,分析.計(jì)算并建立回歸預(yù)測(cè)模型（三）進(jìn)行相關(guān)分析（四）檢驗(yàn)回歸預(yù)測(cè)模型,計(jì)算預(yù)測(cè)誤差（五）計(jì)算并確定預(yù)測(cè)值回歸分析預(yù)測(cè)法的基本步驟回歸模型定義：回歸分析是對(duì)具有相關(guān)關(guān)系的變量之間的數(shù)量變化規(guī)律進(jìn)行測(cè)定，研究某一隨機(jī)變量（因變量）與其他一個(gè)或幾個(gè)普通變量（自變量）之間的數(shù)量變動(dòng)關(guān)系，并據(jù)此對(duì)因變量進(jìn)行估計(jì)和預(yù)測(cè)的分析方法。由回歸分析求出的關(guān)系式，稱為回歸模型

一元線性回歸回歸函數(shù)若Y的數(shù)學(xué)期望E(Y)存在,則其取值隨x的取值而定，它是x的函數(shù)，記為u(x),稱其為Y關(guān)于x的回歸函數(shù)。利用樣本來(lái)估計(jì)u(x)的問題稱為求Y關(guān)于x的回歸問題，若u(x)為線性函數(shù)，此時(shí)稱為一元線性回歸問題(Ⅰ)一元線性回歸(Ⅱ)多元線性回歸回歸分析數(shù)學(xué)模型及定義模型參數(shù)估計(jì)檢驗(yàn)、預(yù)測(cè)與控制可線性化的一元非線性回歸（曲線回歸）數(shù)學(xué)模型及定義模型參數(shù)估計(jì)多元線性回歸中的檢驗(yàn)與預(yù)測(cè)逐步回歸分析（i）建立因變量y與自變量x1,x2,…,xm

之間的回歸模型（經(jīng)驗(yàn)公式）；（ii）對(duì)回歸模型的可信度進(jìn)行檢驗(yàn)；（iii）判斷每個(gè)自變量xi(i=1,2,…,m)對(duì)y的影響是否顯著；（iv）利用回歸模型對(duì)y進(jìn)行預(yù)報(bào)或控制。線性回歸分析的主要任務(wù)是：(Ⅰ)一、數(shù)學(xué)模型例1

測(cè)16名成年女子的身高與腿長(zhǎng)所得數(shù)據(jù)如下：以身高x為橫坐標(biāo)，以腿長(zhǎng)y為縱坐標(biāo)將這些數(shù)據(jù)點(diǎn)（xI，yi）在平面直角坐標(biāo)系上標(biāo)出.散點(diǎn)圖解答返回二、模型參數(shù)估計(jì)1、回歸系數(shù)的最小二乘估計(jì)

其中??====niiniiynyxnx111,1，??====niiiniiyxnxyxnx11221,1.

返回對(duì)一元線性回歸模型的檢驗(yàn)擬合優(yōu)度檢驗(yàn)顯著性檢驗(yàn)回歸方程線性關(guān)系的顯著性檢驗(yàn)（F檢驗(yàn)）

回歸系數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）三、檢驗(yàn)、預(yù)測(cè)與控制1、擬合優(yōu)度檢驗(yàn)擬合優(yōu)度也叫判定系數(shù)。用R2表示。（1）0≤R2≤1；（2）當(dāng)R2=1時(shí)，此時(shí)原數(shù)據(jù)的總變異完全可以由擬合值的變異來(lái)解釋，并且殘差為零，即擬合點(diǎn)與原數(shù)據(jù)完全吻合；（3）當(dāng)R2=0時(shí)，回歸方程完全不能解釋原數(shù)據(jù)的總變異，y的變異完全由與x無(wú)關(guān)的因素引起。2、回歸方程的顯著性檢驗(yàn)（Ⅰ）F檢驗(yàn)法—回歸模型的線性關(guān)系檢驗(yàn)

（Ⅱ）t檢驗(yàn)法—回歸系數(shù)的顯著性檢驗(yàn)2、回歸系數(shù)的置信區(qū)間3、預(yù)測(cè)與控制（1）預(yù)測(cè)（2）控制返回四、可線性化的一元非線性回歸（曲線回歸）例2出鋼時(shí)所用的盛鋼水的鋼包，由于鋼水對(duì)耐火材料的侵蝕，容積不斷增大.我們希望知道使用次數(shù)與增大的容積之間的關(guān)系.對(duì)一鋼包作試驗(yàn)，測(cè)得的數(shù)據(jù)列于下表：解答散點(diǎn)圖此即非線性回歸或曲線回歸

問題（需要配曲線）配曲線的一般方法是：通常選擇的六類曲線如下：返回(Ⅱ)一、多元回歸分析模型及定義返回二、模型參數(shù)估計(jì)返回

1.與一元線性回歸模型的檢驗(yàn)一樣，多元線性回歸模型的檢驗(yàn)也主要分為：對(duì)多元線性回歸模型的檢驗(yàn)擬合優(yōu)度檢驗(yàn)顯著性檢驗(yàn)回歸方程線性關(guān)系的顯著性檢驗(yàn)（F檢驗(yàn)）

回歸系數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）三、多元線性回歸中的檢驗(yàn)與預(yù)測(cè)2、預(yù)測(cè)（1）點(diǎn)預(yù)測(cè)（2）區(qū)間預(yù)測(cè)返回四、逐步回歸分析（4）“有進(jìn)有出”的逐步回歸分析。（1）從所有可能的因子（變量）組合的回歸方程中選擇最優(yōu)者；（2）從包含全部變量的回歸方程中逐次剔除不顯著因子；（3）從一個(gè)變量開始，把變量逐個(gè)引入方程；選擇“最優(yōu)”的回歸方程有以下幾種方法：

“最優(yōu)”的回歸方程就是包含所有對(duì)Y有影響的變量,而不包含對(duì)Y影響不顯著的變量回歸方程。

以第四種方法，即逐步回歸分析法在篩選變量方面較為理想.

這個(gè)過程反復(fù)進(jìn)行，直至既無(wú)不顯著的變量從回歸方程中剔除，又無(wú)顯著變量可引入回歸方程時(shí)為止。逐步回歸分析法的思想：

從一個(gè)自變量開始，視自變量Y作用的顯著程度，從大到地依次逐個(gè)引入回歸方程。

當(dāng)引入的自變量由于后面變量的引入而變得不顯著時(shí)，要將其剔除掉。

引入一個(gè)自變量或從回歸方程中剔除一個(gè)自變量，為逐步回歸的一步。

對(duì)于每一步都要進(jìn)行Y值檢驗(yàn)，以確保每次引入新的顯著性變量前回歸方程中只包含對(duì)Y作用顯著的變量。返回統(tǒng)計(jì)工具箱中的回歸分析命令1、多元線性回歸2、多項(xiàng)式回歸3、非線性回歸4、逐步回歸返回多元線性回歸

b=regress(Y,X)1、確定回歸系數(shù)的點(diǎn)估計(jì)值：3、畫出殘差及其置信區(qū)間：

rcoplot（r，rint）2、求回歸系數(shù)的點(diǎn)估計(jì)和區(qū)間估計(jì)、并檢驗(yàn)回歸模型：

[b,bint,r,rint,stats]=regress(Y,X,alpha)回歸系數(shù)的區(qū)間估計(jì)殘差用于檢驗(yàn)回歸模型的統(tǒng)計(jì)量，有三個(gè)數(shù)值：相關(guān)系數(shù)r2、F值、與F對(duì)應(yīng)的概率p置信區(qū)間

顯著性水平（缺省時(shí)為0.05）例1解：1、輸入數(shù)據(jù)：

x=[143145146147149150153154155156157158159160162164]';X=[ones(16,1)x];Y=[8885889192939395969897969899100102]';2、回歸分析及檢驗(yàn)：

[b,bint,r,rint,stats]=regress(Y,X)b,bint,stats題目3、殘差分析，作殘差圖：

rcoplot(r,rint)

從殘差圖可以看出，除第二個(gè)數(shù)據(jù)外，其余數(shù)據(jù)的殘差離零點(diǎn)均較近，且殘差的置信區(qū)間均包含零點(diǎn)，這說(shuō)明回歸模型y=-16.073+0.7194x能較好的符合原始數(shù)據(jù)，而第二個(gè)數(shù)據(jù)可視為異常點(diǎn).4、預(yù)測(cè)及作圖：z=b(1)+b(2)*xplot(x,Y,'k+',x,z,'r')返回多項(xiàng)式回歸（一）一元多項(xiàng)式回歸

（1）確定多項(xiàng)式系數(shù)的命令：[p，S]=polyfit（x，y，m）（2）一元多項(xiàng)式回歸命令：polytool（x，y，m）1、回歸：y=a1xm+a2xm-1+…+amx+am+12、預(yù)測(cè)和預(yù)測(cè)誤差估計(jì)：（1）Y=polyval（p，x）求polyfit所得的回歸多項(xiàng)式在x處的預(yù)測(cè)值Y；（2）[Y，DELTA]=polyconf（p，x，S，alpha）求polyfit所得的回歸多項(xiàng)式在x處的預(yù)測(cè)值Y及預(yù)測(cè)值的顯著性為1-alpha的置信區(qū)間YDELTA；alpha缺省時(shí)為0.5.法一

直接作二次多項(xiàng)式回歸：

t=1/30:1/30:14/30;s=[11.8615.6720.6026.6933.7141.9351.1361.4972.9085.4499.08113.77129.54146.48];

[p,S]=polyfit(t,s,2)得回歸模型為：法二化為多元線性回歸：t=1/30:1/30:14/30;s=[11.8615.6720.6026.6933.7141.9351.1361.4972.9085.4499.08113.77129.54146.48];T=[ones(14,1)t'(t.^2)'];[b,bint,r,rint,stats]=regress(s',T);b,stats得回歸模型為：Y=polyconf(p,t,S)plot(t,s,'k+',t,Y,'r')預(yù)測(cè)及作圖（二）多元二項(xiàng)式回歸命令：rstool（x，y，’model’,alpha）nm矩陣顯著性水平（缺省時(shí)為0.05）n維列向量

例3

設(shè)某商品的需求量與消費(fèi)者的平均收入、商品價(jià)格的統(tǒng)計(jì)數(shù)據(jù)如下，建立回歸模型，預(yù)測(cè)平均收入為1000、價(jià)格為6時(shí)的商品需求量.法一

直接用多元二項(xiàng)式回歸：x1=[10006001200500300400130011001300300];x2=[5766875439];y=[10075807050659010011060]';x=[x1'x2'];rstool(x,y,'purequadratic')

在畫面左下方的下拉式菜單中選”all”,則beta、rmse和residuals都傳送到Matlab工作區(qū)中.在左邊圖形下方的方框中輸入1000，右邊圖形下方的方框中輸入6。

則畫面左邊的“PredictedY”下方的數(shù)據(jù)變?yōu)?8.47981，即預(yù)測(cè)出平均收入為1000、價(jià)格為6時(shí)的商品需求量為88.4