數(shù)學(xué)建?；貧w分析

回歸分析數(shù)學(xué)建?；貧w分析引言

回歸分析是處理很難用一種精確方法表示出來(lái)的變量之間關(guān)系的一種數(shù)學(xué)方法，它是最常用的數(shù)理統(tǒng)計(jì)方法，能解決預(yù)測(cè)、控制、生產(chǎn)工藝優(yōu)化等問題。它在工農(nóng)業(yè)生產(chǎn)和科學(xué)研究各個(gè)領(lǐng)域中均有廣泛的應(yīng)用。回歸分析一般分為線性回歸分析和非線性回歸分析。本節(jié)著重介紹線性回歸分析的基本結(jié)論及其在Matlab中的相應(yīng)命令。線性回歸分析是兩類回歸分析中較簡(jiǎn)單的一類，也是應(yīng)用較多的一類。數(shù)學(xué)建?；貧w分析一一元線性回歸分析

針對(duì)一組（二維）數(shù)據(jù)（其中互不相同），其最簡(jiǎn)單的數(shù)據(jù)擬合形式為尋求直線，使在最小二乘準(zhǔn)則下與所有數(shù)據(jù)點(diǎn)最為接近。但由于隨機(jī)觀測(cè)誤差的存在，滿足上述數(shù)據(jù)點(diǎn)的直線應(yīng)該是

(1.1)

其中x,y是準(zhǔn)確的,是兩個(gè)未知參數(shù)，是均值為零的隨機(jī)觀測(cè)誤差，具有不可觀測(cè)性，可以合理地假設(shè)這種觀測(cè)誤差服從正態(tài)分布。數(shù)學(xué)建模回歸分析

于是我們得到一元線性回歸模型為

(1.2)

其中未知，固定的未知參數(shù)稱為回歸系數(shù)，自變量x稱為回歸變量。

(1.1)式兩邊同時(shí)取期望得：稱為y對(duì)x的回歸直線方程。在該模型下，第i個(gè)觀測(cè)值可以看作樣本（這些樣本相互獨(dú)立但不同分布,i=1,2,…,n）的實(shí)際抽樣值，即樣本值。數(shù)學(xué)建?；貧w分析

一元線性回歸分析的主要任務(wù)是：a.用實(shí)驗(yàn)值（樣本值）對(duì)作點(diǎn)估計(jì)；b.對(duì)回歸系數(shù)作假設(shè)檢驗(yàn)；c.在處對(duì)y作預(yù)測(cè)，并對(duì)y作區(qū)間估計(jì)。1、回歸參數(shù)估計(jì)假設(shè)有n組獨(dú)立觀測(cè)值：則由(1.2)有（1.3）數(shù)學(xué)建?；貧w分析其中相互獨(dú)立。記稱為偏離真實(shí)直線的偏差平方和。由最小二乘法得到的估計(jì)稱為的最小二乘估計(jì)，其中（經(jīng)驗(yàn)）回歸方程為（1.4）數(shù)學(xué)建?；貧w分析這樣我們得到的無(wú)偏估計(jì)，其中服從正態(tài)分布數(shù)學(xué)建模回歸分析2模型的假設(shè)、預(yù)測(cè)、控制1、回歸方程的顯著性檢驗(yàn)在實(shí)際問題中，因變量y與自變量x之間是否有線性關(guān)系(1.1)只是一種假設(shè)，在求出回歸方程之后，還必須對(duì)這種回歸方程同實(shí)際觀測(cè)數(shù)據(jù)擬合的效果進(jìn)行檢驗(yàn)。由(1.1)可知，越大，y隨x變化的趨勢(shì)就越明顯；反之，越小，y隨x變化的趨勢(shì)就越不明顯。特別當(dāng)=0時(shí)，則認(rèn)為y與x之間不存在線性關(guān)系，當(dāng)時(shí)，則認(rèn)為y與x之間有線性關(guān)系。因此，問題歸結(jié)為對(duì)假設(shè)進(jìn)行檢驗(yàn)。數(shù)學(xué)建?；貧w分析

假設(shè):被拒絕，則回歸顯著，認(rèn)為y與x之間存在線性關(guān)系，所求的線性回歸方程有意義；否則回歸不顯著，y與x的關(guān)系不能用一元線性回歸模型來(lái)描述，所得的回歸方程也無(wú)意義。此時(shí)，可能有如下幾種情況：（1）x對(duì)y沒有顯著影響，此時(shí)應(yīng)丟掉變量x；（2）x對(duì)y有顯著影響，但這種影響不能用線性關(guān)系來(lái)表示，應(yīng)該用非線性回歸；（3）除x之外，還有其他不可忽略的變量對(duì)y有顯著影響，從而削弱了x對(duì)y的影響。此時(shí)應(yīng)用

多元線性回歸模型。因此，在接受H0的同時(shí)，需要進(jìn)一步查明原因以便分別處理。數(shù)學(xué)建?；貧w分析檢驗(yàn)方法：（a）F檢驗(yàn)法對(duì)樣本方差進(jìn)行分解，有上式中的是由實(shí)際觀測(cè)值沒有落在回歸直線上引起的（否則為零），U是由回歸直線引起的。因此，U越大，就越小，表示y與x的線性關(guān)系就越顯著；否則，U越小，就越大，表示y與x的線性關(guān)系就越不顯著。這樣我們就找到了一種判別回歸直線擬合程度好壞的方法：如果U/s接近于1，即U/

較大時(shí)，則對(duì)擬合效果感到滿意。數(shù)學(xué)建?；貧w分析由F分布有其中r稱為相關(guān)系數(shù)。對(duì)給定的顯著水平a，有置信水平為1-a的臨界值，從而F檢驗(yàn)法的檢驗(yàn)準(zhǔn)則為：當(dāng)時(shí)，拒絕；否則就接受數(shù)學(xué)建?；貧w分析（b）t檢驗(yàn)法當(dāng)成立時(shí)，由T分布的定義有因此，對(duì)于給定的顯著水平a，用T統(tǒng)計(jì)量檢驗(yàn)，有置信水平為1-a的臨界值,從而t檢驗(yàn)法的檢驗(yàn)準(zhǔn)則為：當(dāng)時(shí)，拒絕；否則就接受數(shù)學(xué)建?；貧w分析2、預(yù)測(cè)與控制當(dāng)檢驗(yàn)結(jié)果拒絕了:，接下來(lái)的問題是如何利用回歸方程

進(jìn)行預(yù)測(cè)和控制。預(yù)測(cè)就是對(duì)固定的x值預(yù)測(cè)相應(yīng)的y值，控制就是通過控制x的值，以便把y的值控制在制定的范圍內(nèi)。(a)預(yù)測(cè)設(shè)y與x滿足模型(1.2)。令

表示x的某個(gè)固定值，且假設(shè)相互獨(dú)立，則的預(yù)測(cè)值和預(yù)測(cè)區(qū)間如下。數(shù)學(xué)建模回歸分析y的預(yù)測(cè)值為的回歸值。它是

的無(wú)偏估計(jì)，即給定顯著水平，的置信水平為1-的預(yù)測(cè)區(qū)間為，其中由上式可知，剩余標(biāo)準(zhǔn)差越小，預(yù)測(cè)區(qū)間越小，預(yù)測(cè)值越精確；對(duì)于給定的樣本觀測(cè)值和置信水平而言，越靠近時(shí)，預(yù)測(cè)精度就越高。數(shù)學(xué)建?；貧w分析(b)控制若要的值以1-的概率落在指定區(qū)間(c,d)之內(nèi)，變量x應(yīng)控制在什么范圍內(nèi)的問題就是所謂的控制問題。它是預(yù)測(cè)問題的反問題。只要控制x滿足以下兩不等式這要求若方程分別有解a,b，則(a,b)就是所求的x的控制區(qū)間。數(shù)學(xué)建?；貧w分析二可線性化的一元非線性回歸（曲線回歸）

在工程技術(shù)中，自變量x與因變量y之間有時(shí)呈現(xiàn)出非線性（或曲線）關(guān)系，這是通常出現(xiàn)兩種情況：一種是呈現(xiàn)多項(xiàng)式的關(guān)系，這種情況通過變量替換可化為多元線性回歸問題給予解決；另一種是呈現(xiàn)出其它非線性關(guān)系，通過變量替換可化為一元線性回歸問題給予解決。若匹配曲線（經(jīng)驗(yàn)公式）為含參量a,b的非線性曲線，采用的辦法是通過變量替換把非線性回歸化為線性回歸。通常匹配的含參量a,b的非線性曲線有以下六類，具體的替換方法如下：數(shù)學(xué)建?；貧w分析1雙曲線作變量替換

得

2冪函數(shù)曲線兩邊取常用對(duì)數(shù)：，再作代換則冪函數(shù)曲線方程就變成直線方程注：對(duì)于非線性回歸問題的Matlab實(shí)現(xiàn)問題，一種方法是化為相應(yīng)的線性模型實(shí)現(xiàn)，另種方法是直接應(yīng)用Matlab中相應(yīng)的命令，其結(jié)果是一致的。數(shù)學(xué)建?；貧w分析三多元線性回歸分析一般地，在實(shí)際問題中影響應(yīng)變量y的自變量往往不止一個(gè)，不妨設(shè)有k個(gè)為。通過觀測(cè)得到一組（k+1維）相互獨(dú)立的試驗(yàn)觀測(cè)數(shù)據(jù)，其中n>k+1。假設(shè)變量y與變量之間有線性關(guān)系：

(1.5)

其中是隨機(jī)變量，一般假設(shè)則觀測(cè)數(shù)據(jù)滿足

(1.6)數(shù)學(xué)建?；貧w分析其中互不相關(guān)且均是與同分布的隨機(jī)變量。令則(1.6)可簡(jiǎn)寫為其中X為已知的n*(k+1)矩陣，稱為回歸設(shè)計(jì)矩陣或資料矩陣，Y是n維觀察值列向量，為k+1維未知的列向量，是滿足的n維隨機(jī)列向量.數(shù)學(xué)建?；貧w分析一般稱

(1.7)

為k線性回歸模型（高斯—馬爾科夫線性模型）對(duì)(1.7)取數(shù)學(xué)期望得到稱為線性回歸方程。數(shù)學(xué)建?；貧w分析

對(duì)線性模型所要考慮的主要問題是：（i）用實(shí)驗(yàn)觀測(cè)數(shù)據(jù)對(duì)未知參數(shù)做點(diǎn)估計(jì)和假設(shè)檢驗(yàn)，從而建立因變量y和自變量之間的線性關(guān)系；（ii）在處對(duì)y的值作預(yù)測(cè)和控制，并對(duì)y作區(qū)間估計(jì)。本部分總是假設(shè)

n>k+1。

（具體方法略）數(shù)學(xué)建?；貧w分析四、逐步線性回歸分析

逐步線性回歸分析方法就是一種自動(dòng)從大量可供選擇的變量中選擇那些對(duì)建立回歸方程比較重要的變量的方法，它是在多元線性回歸基礎(chǔ)上派生的一種算法技巧，詳可參閱相應(yīng)的文獻(xiàn)。其基本思路為：從一個(gè)自變量開始，視自變量對(duì)y作用的顯著程度，從大到小依次逐個(gè)引入回歸方程。當(dāng)引入的自變量由于后面自變量的引入而變得不顯著時(shí)，要將其剔除掉。引入一個(gè)自變量或從回歸方程中剔除一個(gè)自變量，為逐步回歸的一步。對(duì)于每一步，都要進(jìn)行y值檢驗(yàn)，以確保每次引入新的顯著性變量前回歸方程中只包含對(duì)y作用顯著的變量。這個(gè)過程反復(fù)進(jìn)行，直至即無(wú)不顯著的變量從回歸方程中剔除，又無(wú)顯著變量可引入回歸方程止。數(shù)學(xué)建?；貧w分析五回歸分析的Matlab實(shí)現(xiàn)Matlab統(tǒng)計(jì)工具箱中提供了一些回歸分析的命令，現(xiàn)介紹如下。1、多元線性回歸多元線性回歸的命令是regress，此命令也可用于一元線性回歸。其格式為：（1）確定回歸系數(shù)的點(diǎn)估計(jì)，用命令：

b=regress(Y，X)。（2）求回歸系數(shù)的點(diǎn)估計(jì)和區(qū)間估計(jì)，并檢驗(yàn)回歸模型，用命令：[b，bint，r，rint，stats]=regress(Y，X，alpha)。（3）畫出殘差及其置信區(qū)間，用命令：

rcoplot（r，rint）。數(shù)學(xué)建?；貧w分析在上述命令中，各符號(hào)的含義為：（i），Y，X的定義同本部分前面所述。對(duì)一元線性回歸，在，Y，X中取k=1即可；（ii）alpha為顯著性水平（缺省時(shí)為0.05）；（iii）bint為回歸系數(shù)的區(qū)間估計(jì)；（iv）r與rint分別為殘差及其置信區(qū)間；（v）stats是用于檢驗(yàn)回歸模型的統(tǒng)計(jì)量，有三個(gè)數(shù)值，第一個(gè)是，第二個(gè)是F值，第三個(gè)是與F對(duì)應(yīng)的概率P。其中與F定義同前，值越大，說明回歸方程越顯著，P<a(0.01或0.05)

時(shí)拒絕，回歸模型成立。數(shù)學(xué)建?；貧w分析例1合金的強(qiáng)度y與其中的碳含量x有比較密切的關(guān)系，今從生產(chǎn)中收集了一批數(shù)據(jù)如下表。試先擬合一個(gè)函數(shù)y(x)，再用回歸分析對(duì)它進(jìn)行檢驗(yàn)。x0.100.110.120.130.140.150.160.170.18y42.041.545.045.545.047.549.055.050.0解先畫出散點(diǎn)圖：x=0.10:0.01:0.18;y=[42.0,41.5,45.0,45.5,45.0,47.5,49.0,55.0,50.0];plot(x,y,'+')可知y與x大致為線性關(guān)系。設(shè)回歸模型為，用regress和rcoplot編程如下：clc,clearx1=[0.10:0.01:0.18];y=[42.0,41.5,45.0,45.5,45.0,47.5,49.0,55.0,50.0];x=[ones(9,1),x1’];[b,bint,r,rint,stats]=regress(y’,x);b,bint,stats,rcoplot(r,rint)數(shù)學(xué)建?；貧w分析數(shù)學(xué)建模回歸分析得到b=27.4722137.5000bint=18.685136.259475.7755199.2245stats=0.798527.74690.0012即=27.4722，=137.5000，的置信區(qū)[18.6851，36.2594]，的置信區(qū)間是[75.7755，199.2245]；R2=0.7985，F(xiàn)=27.7469，p=0.0012?？芍O(shè)回歸模型成立。觀察命令rcoplot(r,rint)所畫的殘差分布，除第8個(gè)數(shù)據(jù)外其余殘差的置信區(qū)間均包含零點(diǎn)，第8個(gè)點(diǎn)應(yīng)視為異常點(diǎn)，將其剔除后重新計(jì)算，可得b=30.7280109.3985bint=26.280535.283476.9014141.8955stats=0.918867.85340.0002應(yīng)該用修改后的這個(gè)結(jié)果。數(shù)學(xué)建?；貧w分析數(shù)學(xué)建?；貧w分析2、多元二項(xiàng)式回歸多元二項(xiàng)式回歸可用命令：rstool(x,y,model,alpha)。其中，輸入數(shù)據(jù)x、y分別為n×m矩陣和n維列向量；alpha為顯著性水平（缺省時(shí)為0.05）；model由下列4個(gè)模型中選擇1個(gè)（用字符串輸入，缺省時(shí)為線性模型）：linear（線性）：purequadratic（純二次）：interaction（交叉）：quadratic（完全二次）：數(shù)學(xué)建?；貧w分析3、非線性回歸非線性回歸可用命令nlinfit,nlintool,nlparci,nlpredci來(lái)實(shí)現(xiàn)。命令格式如下：回歸：回歸可用命令

[beta,r,J]=nlinfit(x,y,model,beta0)或者nlintool(x,y,model,beta0,alpha)來(lái)實(shí)現(xiàn)。其中命令[beta,r,J]=nlinfit(x,y,model,beta0)的作用為確定回歸系數(shù)；而命令nlintool(x,y,model,beta0,alpha)產(chǎn)生一個(gè)交互式的畫面，畫面中有擬合曲線和y的置信區(qū)間。通過左下方的Export下拉式菜單，可以輸出回歸系數(shù)等。數(shù)學(xué)建?；貧w分析

這里的輸入數(shù)據(jù)x、y分別為n×m矩陣和n維列向量，對(duì)一元非線性回歸，x為n維列向量；

mo