最小二乘法在線性和非線性回歸中的應(yīng)用PPT課件

1、1什么是最小二乘法？什么是最小二乘法？最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。利用最小二乘法可以簡(jiǎn)便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和為最小.第1頁/共38頁2線性回歸線性回歸在統(tǒng)計(jì)學(xué)中，線性回歸在統(tǒng)計(jì)學(xué)中，線性回歸(Linear Regression)是利用稱為線是利用稱為線性回歸方程的最小平方函數(shù)對(duì)一個(gè)或多個(gè)自變量和因變量性回歸方程的最小平方函數(shù)對(duì)一個(gè)或多個(gè)自變量和因變量之間關(guān)系進(jìn)行建模的一種回歸分析。這種函數(shù)是一個(gè)或多之間關(guān)系進(jìn)行建模的一種回歸分析。這種函數(shù)是一個(gè)或多個(gè)稱為回歸系數(shù)的模型參數(shù)的線性組合。只有一個(gè)自變量個(gè)稱

2、為回歸系數(shù)的模型參數(shù)的線性組合。只有一個(gè)自變量的情況稱為簡(jiǎn)單回歸的情況稱為簡(jiǎn)單回歸,大于一個(gè)自變量情況的叫做多元回歸。大于一個(gè)自變量情況的叫做多元回歸。 回歸分析中，只包括一個(gè)自變量和一個(gè)因變量，且二者的回歸分析中，只包括一個(gè)自變量和一個(gè)因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個(gè)或兩個(gè)以上的自變量，回歸分析。如果回歸分析中包括兩個(gè)或兩個(gè)以上的自變量，且因變量和自變量之間是線性關(guān)系，則稱為多元線性回歸且因變量和自變量之間是線性關(guān)系，則稱為多元線性回歸分析。分析。第2頁/共38頁3非線性回歸非

3、線性回歸有一類模型，其回歸參數(shù)不是線性的，也不能通過轉(zhuǎn)換的方法將其變?yōu)榫€性的參數(shù)。這類模型稱為非線性回歸模型。在許多實(shí)際問題中，回歸函數(shù)往往是較復(fù)雜的非線性函數(shù)。非線性函數(shù)的求解一般可分為將非線性變換成線性和不能變換成線性兩大類。這里主要討論可以變換為線性方程的非線性問題。 第3頁/共38頁4第4頁/共38頁5兩變量間的關(guān)系兩變量間的關(guān)系確定性關(guān)系：兩變量間的函數(shù)關(guān)系確定性關(guān)系：兩變量間的函數(shù)關(guān)系圓的周長(zhǎng)與半徑的關(guān)系：C=2R速度時(shí)間與路程的關(guān)系：L=ST非確定性關(guān)系：兩變量在宏觀上存在關(guān)系，非確定性關(guān)系：兩變量在宏觀上存在關(guān)系，但并未精確到可以用函數(shù)關(guān)系式來表達(dá)。但并未精確到可以用函數(shù)關(guān)系式

4、來表達(dá)。青少年的升高與年齡關(guān)系升高與體重的關(guān)系藥物濃度與反應(yīng)率的關(guān)系第5頁/共38頁6第6頁/共38頁7第7頁/共38頁8多元線性回歸多元線性回歸第一步: :先選定一組函數(shù)先選定一組函數(shù) r1(x), r2(x), rm(x), mn, 令令 f(x)=a1r1(x)+a2r2(x)+ +amrm(x) （1）其中其中 a1,a2, am 為待定系數(shù)。為待定系數(shù)。 第二步: 確定確定a1,a2, am 的準(zhǔn)則（最小二乘準(zhǔn)則）：的準(zhǔn)則（最小二乘準(zhǔn)則）：使使n個(gè)點(diǎn)個(gè)點(diǎn)（xi,yi) 與與曲線曲線 y=f(x) 的距離的距離 i 的平方和最小的平方和最小 。記記 )2()()(),(21121122

5、1iiknimkkininiiimyxrayxfaaaJ 問題歸結(jié)為，求問題歸結(jié)為，求 a1,a2, am 使使 J(a1,a2, am) 最小。最小。第8頁/共38頁9線性最小二乘法的求解：預(yù)備知識(shí)線性最小二乘法的求解：預(yù)備知識(shí)超定方程組超定方程組：方程個(gè)數(shù)大于未知量個(gè)數(shù)的方程組：方程個(gè)數(shù)大于未知量個(gè)數(shù)的方程組)( 221111212111mnyarararyarararnmnmnnmm即即 Ra=ynmnmnnmyyyaaarrrrrrR112111211,其中其中超定方程一般是不存在解的矛盾方程組。超定方程一般是不存在解的矛盾方程組。 如果有向量如果有向量a使得使得 達(dá)到最小，達(dá)到最小，

6、則稱則稱a為上述為上述超定方程的最小二乘解超定方程的最小二乘解。 212211)(imniimiiyararar第9頁/共38頁10線性最小二乘法的求解線性最小二乘法的求解 定理：定理：當(dāng)當(dāng)R RT TR R可逆時(shí)，超定方程組（可逆時(shí)，超定方程組（3 3）存在最小二乘解，）存在最小二乘解，且即為方程組且即為方程組 R RT TRa=RRa=RT Ty y的解：的解：a=(Ra=(RT TR)R)-1-1R RT Ty y 所以，曲線擬合的最小二乘法要解決的問題，實(shí)際上就是所以，曲線擬合的最小二乘法要解決的問題，實(shí)際上就是求以下超定方程組的最小二乘解的問題。求以下超定方程組的最小二乘解的問題。n

7、mnmnmyyyaaaxrxrxrxrR111111,)()()()(其中其中Ra=y （3）第10頁/共38頁最小二乘法原理是用來求解線性方程組的，非最小二乘法原理是用來求解線性方程組的，非線性方程經(jīng)線性化后方可應(yīng)用該原理。通常在線性方程經(jīng)線性化后方可應(yīng)用該原理。通常在測(cè)量中遇到的問題不一定都是線性問題，必須測(cè)量中遇到的問題不一定都是線性問題，必須先把非線性問題線性化，然后求解。先把非線性問題線性化，然后求解。11非線性回歸非線性回歸第11頁/共38頁12一、有時(shí)，我們希望用如下類型的函數(shù)：一、有時(shí)，我們希望用如下類型的函數(shù)： 去近似一個(gè)由一組觀測(cè)數(shù)據(jù)（列表）所描繪的函數(shù)，其去近似一個(gè)由一組

8、觀測(cè)數(shù)據(jù)（列表）所描繪的函數(shù)，其中中p 和和q 是待定的兩個(gè)參數(shù)是待定的兩個(gè)參數(shù).顯然顯然s已非已非p和和q的線性函數(shù)的線性函數(shù).怎怎樣線性化呢？為此，我們?cè)诘仁絻啥巳?duì)數(shù)，得到樣線性化呢？為此，我們?cè)诘仁絻啥巳?duì)數(shù)，得到 qspt InsInpqInt記記 則等式變成則等式變成01,Insy Inpa aq xInt01yaa x這是一個(gè)一次多項(xiàng)式，它的系數(shù)和可以用最小二乘法求得這是一個(gè)一次多項(xiàng)式，它的系數(shù)和可以用最小二乘法求得. 第12頁/共38頁13二、我們經(jīng)常希望用函數(shù)二、我們經(jīng)常希望用函數(shù)CtSAe去近似一個(gè)以給定的列表函數(shù)，其中去近似一個(gè)以給定的列表函數(shù)，其中A,C是待定的參數(shù)，這

9、時(shí)，我們可以對(duì)是待定的參數(shù)，這時(shí)，我們可以對(duì)等式的兩端取對(duì)數(shù)等式的兩端取對(duì)數(shù)InSInACt記記011,InSy InAa Ca xt則等式變成則等式變成01yaa x這樣仍可用最小二乘法定出（從而也就定這樣仍可用最小二乘法定出（從而也就定出了出了A,C ），得到近似函數(shù)），得到近似函數(shù)CtSAe第13頁/共38頁14下面列出幾種常用的線性處理方法，利用最小下面列出幾種常用的線性處理方法，利用最小二乘法的原理對(duì)直線型、拋物線型和指數(shù)曲線二乘法的原理對(duì)直線型、拋物線型和指數(shù)曲線型的方程的參數(shù)估計(jì)方法型的方程的參數(shù)估計(jì)方法 。第14頁/共38頁15YabX直線型直線型直線方程的一般形式為：直線方程

10、的一般形式為：令令 為最小值，分別為為最小值，分別為a和和b求偏導(dǎo)數(shù)，并令導(dǎo)數(shù)等于求偏導(dǎo)數(shù)，并令導(dǎo)數(shù)等于0，得到聯(lián)立方程組。解，得到聯(lián)立方程組。解方程組，即可得到參數(shù)的計(jì)算公式方程組，即可得到參數(shù)的計(jì)算公式 。 22()()YCabXC22()aYbXnX YXYbnXX第15頁/共38頁16拋物線型拋物線型拋物線方程的一般形式為拋物線方程的一般形式為 2YabXcX令令 為最小值，分別為為最小值，分別為 a、b、c求求偏導(dǎo)數(shù)偏導(dǎo)數(shù),并令導(dǎo)數(shù)等于并令導(dǎo)數(shù)等于0,得到聯(lián)立方程組解方程組得到聯(lián)立方程組解方程組,即即可得到參數(shù)的計(jì)算公式?？傻玫絽?shù)的計(jì)算公式。 22()()YCabXC2223223

11、4000YnabXcXY XaXbXcXYXaXbXcX第16頁/共38頁17指數(shù)曲線型指數(shù)曲線型指數(shù)曲線的一般形式為指數(shù)曲線的一般形式為 XYab取對(duì)數(shù)，將指數(shù)曲線轉(zhuǎn)化成對(duì)數(shù)直線形式取對(duì)數(shù)，將指數(shù)曲線轉(zhuǎn)化成對(duì)數(shù)直線形式 lglglgYaXb用最小二乘法估計(jì)參數(shù)用最小二乘法估計(jì)參數(shù)a,b,可有如下方程組可有如下方程組 2lglglg(lg )lglgYnabXXYaXbX解此方程組，可得參數(shù)的對(duì)數(shù)值，查其反對(duì)數(shù)，即解此方程組，可得參數(shù)的對(duì)數(shù)值，查其反對(duì)數(shù)，即可得參數(shù)值?？傻脜?shù)值。第17頁/共38頁18用用MATLAB解回歸問題解回歸問題1 1、線性最小二乘擬合、線性最小二乘擬合2 2、非線性

12、最小二乘擬合、非線性最小二乘擬合第18頁/共38頁19用用MATLAB作線性最小二乘擬合作線性最小二乘擬合1. 1. 作多項(xiàng)式作多項(xiàng)式f(x)=a1xm+ +amx+am+1擬合擬合, ,可利用已有程序可利用已有程序:a=polyfit(x,y,m)2. 2. 對(duì)超定方程組對(duì)超定方程組)(11nmyaRnmmn可得最小二乘意義下的解?？傻米钚《艘饬x下的解。，用，用yRa3.3.多項(xiàng)式在多項(xiàng)式在x x處的值處的值y y可用以下命令計(jì)算：可用以下命令計(jì)算： y=polyvaly=polyval（a a，x x）輸入同長(zhǎng)度輸入同長(zhǎng)度的數(shù)組的數(shù)組X，Y擬合多項(xiàng)擬合多項(xiàng)式次數(shù)式次數(shù)左除第19頁/共38

13、頁20首先求二次多項(xiàng)式擬合首先求二次多項(xiàng)式擬合:3221)(axaxaxf中中 的的),(321aaaA 使得使得:最小 )(1012iiiyxf例例 對(duì)湖南省近對(duì)湖南省近10年來（年來（2006-2015）的生產(chǎn)總值（）的生產(chǎn)總值（GDP）作作m次多項(xiàng)式擬合次多項(xiàng)式擬合第20頁/共38頁21利用利用MATLABMATLAB編程并仿真（二次擬合）編程并仿真（二次擬合）clear all;close all;x=2006:1:2015;y=7689,9440,11555,13060,16038,19670,22154,24622,27037,29047.2;%plot,x,y,o);hold o

14、np=polyfit(x,y,2);Y=polyval(p,x)；plot(x,Y,r-,x,y,o);xlabel(x-年份);ylabel(y-億元);title(湖南省GDP);r=y-Y;e=r*r;程序法一（利用現(xiàn)成的函數(shù)）：第21頁/共38頁22p=33.0311,-1.3032e+05,1.2852e+08殘差平方和：殘差平方和：e=2.8924e+06程序一仿真結(jié)果：第22頁/共38頁23clear all;close all;n=input(n=？); %多項(xiàng)式次數(shù)即擬合曲線次數(shù)%x=1,2,3,4,5,6,7,8,9,10;b=2006:1:2015;x=b;y=7689,

15、9440,11555,13060,16038,19670,22154,24622,27037,29047.2;%plot(x,y,ro);%X=x.*x,x,ones(size(x);%p=polyfit(x,y,m)X(:,n+1) = ones(length(x),1,class(x);for j = n:-1:1 X(:,j) = x.*X(:,j+1);%提取第j列元素從j=n最后一列開始endp=Xy;%多項(xiàng)式系數(shù)%Y=polyval(p,x);Y=X*p;r=y-Y;e=r*r;plot(x,Y,-,x,y,ro);xlabel(x)ylabel(y)title(曲線擬合)程序法二

16、（未借用函數(shù)）：第23頁/共38頁2424p=33.0311,-1.3032e+05,1.2852e+08殘差平方和：殘差平方和：e=2.8924e+06程序二仿真結(jié)果：（n=2）兩個(gè)程序得出的結(jié)論是一致的！第24頁/共38頁25五次多項(xiàng)式擬合五次多項(xiàng)式擬合p=polyfit(x,y,5);p=polyfit(x,y,m)m=5仿真結(jié)果仿真結(jié)果殘差平方和：e=4.149e+05p=2.1092,-2.1203e+04,8.5263e+07,-1.7143e+11,1.7234e+14,-6.9300e+16殘差平方和：殘差平方和：e=4.149e+05第25頁/共38頁261. lsqcurv

17、efit1. lsqcurvefit已知數(shù)據(jù)點(diǎn)數(shù)據(jù)點(diǎn)： xdata=xdata=（xdata1，xdata2，xdataxdatan n），）， ydata=ydata=（ydataydata1 1，ydataydata2 2，ydataydatan n） 用用MATLAB作非線性最小二乘擬合作非線性最小二乘擬合 Matlab Matlab的提供了兩個(gè)求非線性最小二乘擬合的函數(shù)：的提供了兩個(gè)求非線性最小二乘擬合的函數(shù)：lsqcurvefitlsqcurvefit和lsqnonlinlsqnonlin。兩個(gè)命令都要先建立。兩個(gè)命令都要先建立M-M-文件文件fun.mfun.m，在其中定義函數(shù)在其

18、中定義函數(shù)f(x)f(x)，但兩者定義，但兩者定義f(x)f(x)的方式是不同的的方式是不同的, ,可參可參考例題考例題.最小 ),(21niiiydataxdataxF lsqcurvefitlsqcurvefit用以求含參量用以求含參量x x（向量）的向量值函數(shù)（向量）的向量值函數(shù)F(x,xdata)=F(x,xdata)=（F F（x x，xdataxdata1 1），），F(xiàn) F（x x，xdataxdatan n）T T中的參變量中的參變量x(x(向量向量),),使得使得 第26頁/共38頁27 輸入格式為輸入格式為: : (1) x = lsqcurvefit (fun,x0,xda

19、ta,ydata); (2) x =lsqcurvefit (fun,x0,xdata,ydata,options); (3) x = lsqcurvefit (fun,x0,xdata,ydata,options,grad); (4) x, options = lsqcurvefit (fun,x0,xdata,ydata,); (5) x, options,funval = lsqcurvefit (fun,x0,xdata,ydata,); (6) x, options,funval, Jacob = lsqcurvefit (fun,x0,xdata,ydata,);fun是一個(gè)事先建

20、立的是一個(gè)事先建立的定義函數(shù)定義函數(shù)F(x,xdata) 的的M-文件文件, 自變量為自變量為x和和xdata說明：x = lsqcurvefit (fun,x0,xdata,ydata,options);迭代初值迭代初值已知數(shù)據(jù)點(diǎn)已知數(shù)據(jù)點(diǎn)選項(xiàng)見無選項(xiàng)見無約束優(yōu)化約束優(yōu)化第27頁/共38頁28 lsqnonlin用以求含參量用以求含參量x x（向量）的向量值函數(shù)（向量）的向量值函數(shù) f(x)f(x)=(f=(f1 1(x),f(x),f2 2(x),(x),f,fn n(x)(x)T T 中的參量中的參量x x，使得，使得 最小。最小。 其中其中 fi（x）=f（x，xdatai，ydata

21、i） =F(x,xdatai)-ydatai 22221)()()()()(xfxfxfxfxfnT2. lsqnonlin已知數(shù)據(jù)點(diǎn)：已知數(shù)據(jù)點(diǎn)： xdata=xdata=（xdata1，xdata2，xdataxdatan n） ydata=ydata=（ydataydata1 1，ydataydata2 2，ydataydatan n）第28頁/共38頁2929輸入格式為：輸入格式為： 1） x= lsqnonlin（fun，x0）； 2） x= lsqnonlin （fun，x0，options）； 3） x= lsqnonlin （fun，x0，options，grad）； 4） x

22、，options= lsqnonlin （fun，x0，）； 5） x，options，funval= lsqnonlin （fun,x0,）；說明：x= lsqnonlinlsqnonlin （fun，x0，options）；）；fun是一個(gè)事先建立的是一個(gè)事先建立的定義函數(shù)定義函數(shù)f(x)的的M-文件，文件，自變量為自變量為x迭代初值迭代初值選項(xiàng)見無選項(xiàng)見無約束優(yōu)化約束優(yōu)化第29頁/共38頁30非線性最小二乘法曲線擬合的非線性最小二乘法曲線擬合的MATLABMATLAB實(shí)現(xiàn)實(shí)現(xiàn)例例 已知一組數(shù)據(jù)如下表所示已知一組數(shù)據(jù)如下表所示x0.10.40.50.70.80.9y0.610.920.99

23、1.521.472.03用用lsqcurvefitlsqcurvefit函數(shù)實(shí)現(xiàn)曲線擬合函數(shù)實(shí)現(xiàn)曲線擬合MatlabMatlab為用戶提供了為用戶提供了lsqcurvefitlsqcurvefit函數(shù)實(shí)現(xiàn)非線性最小二函數(shù)實(shí)現(xiàn)非線性最小二乘擬合，調(diào)用格式如下：乘擬合，調(diào)用格式如下：x=lsqcurvefit(fun,x0,xdata,ydata)x=lsqcurvefit(fun,x0,xdata,ydata)；funfun為擬合函數(shù)，為擬合函數(shù)，(xdata,ydata)(xdata,ydata)為一組實(shí)驗(yàn)觀測(cè)數(shù)據(jù)，滿足為一組實(shí)驗(yàn)觀測(cè)數(shù)據(jù)，滿足ydata=fun(xdata,x),ydata=

24、fun(xdata,x),以以x0 x0為初始點(diǎn)求解改數(shù)據(jù)擬合問題。為初始點(diǎn)求解改數(shù)據(jù)擬合問題。第30頁/共38頁31新建新建m m文件，將待擬合函數(shù)寫入，保存為文件，將待擬合函數(shù)寫入，保存為cf.mcf.m：functionfunctionf=cf(x,xdate);f=cf(x,xdate);n=length(xdate);n=length(xdate);forfori=1:ni=1:nf(i)=x(1)+x(2)f(i)=x(1)+x(2)* *xdate(i)+x(3)xdate(i)+x(3)* *sin(xdate(i)+x(4)sin(xdate(i)+x(4)* *expexp(xdate(i);(xdate(i);endend第31頁/共38頁32運(yùn)行以下程序: clear all; close all;xdata=0.1,0.4,0.5,0.7,0.8,0.9