最小二乘法在線性和非線性回歸中的應(yīng)用學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1最小二乘法在線性和非線性回歸最小二乘法在線性和非線性回歸(hugu)中中的應(yīng)用的應(yīng)用第一頁，共38頁。2什么什么(shn me)是最小二乘法？是最小二乘法？最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過最小化誤差(wch)的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。利用最小二乘法可以簡便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差(wch)的平方和為最小.第1頁/共38頁第二頁，共38頁。3線性回歸線性回歸(hugu)在統(tǒng)計(jì)學(xué)中，線性回歸在統(tǒng)計(jì)學(xué)中，線性回歸(Linear Regression)是利用稱為線性回歸方程是利用稱為線性回歸方程的最小平方函數(shù)對(duì)一個(gè)或多個(gè)自變量和因變量之間關(guān)系進(jìn)行建模的

2、的最小平方函數(shù)對(duì)一個(gè)或多個(gè)自變量和因變量之間關(guān)系進(jìn)行建模的一種回歸分析。這種函數(shù)是一個(gè)或多個(gè)稱為回歸系數(shù)的模型參數(shù)的一種回歸分析。這種函數(shù)是一個(gè)或多個(gè)稱為回歸系數(shù)的模型參數(shù)的線性組合。只有一個(gè)自變量的情況稱為簡單回歸線性組合。只有一個(gè)自變量的情況稱為簡單回歸,大于一個(gè)自變量情大于一個(gè)自變量情況的叫做多元回歸。況的叫做多元回歸。 回歸分析中，只包括一個(gè)自變量和一個(gè)因變量，且二者的關(guān)系可用回歸分析中，只包括一個(gè)自變量和一個(gè)因變量，且二者的關(guān)系可用一條直線近似表示一條直線近似表示(biosh)，這種回歸分析稱為一元線性回歸分析。，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個(gè)或兩個(gè)以上的自

3、變量，且因變量和自變量如果回歸分析中包括兩個(gè)或兩個(gè)以上的自變量，且因變量和自變量之間是線性關(guān)系，則稱為多元線性回歸分析。之間是線性關(guān)系，則稱為多元線性回歸分析。第2頁/共38頁第三頁，共38頁。4非線性回歸非線性回歸(hugu)有一類模型，其回歸參數(shù)不是線性的，也不能通過轉(zhuǎn)換(zhunhun)的方法將其變?yōu)榫€性的參數(shù)。這類模型稱為非線性回歸模型。在許多實(shí)際問題中，回歸函數(shù)往往是較復(fù)雜的非線性函數(shù)。非線性函數(shù)的求解一般可分為將非線性變換成線性和不能變換成線性兩大類。這里主要討論可以變換為線性方程的非線性問題。 第3頁/共38頁第四頁，共38頁。5第4頁/共38頁第五頁，共38頁。6兩變量兩變量(

4、binling)間間的關(guān)系的關(guān)系確定性關(guān)系：兩變量間的函數(shù)關(guān)系確定性關(guān)系：兩變量間的函數(shù)關(guān)系圓的周長與半徑的關(guān)系：圓的周長與半徑的關(guān)系：C=2R速度速度(sd)時(shí)間與路程的關(guān)系：時(shí)間與路程的關(guān)系：L=ST非確定性關(guān)系：兩變量在宏觀上存在關(guān)系，非確定性關(guān)系：兩變量在宏觀上存在關(guān)系，但并未精確到可以用函數(shù)關(guān)系式來表達(dá)。但并未精確到可以用函數(shù)關(guān)系式來表達(dá)。青少年的升高青少年的升高(shn o)與年齡關(guān)系與年齡關(guān)系升高升高(shn o)與體重的關(guān)系與體重的關(guān)系藥物濃度與反應(yīng)率的關(guān)系藥物濃度與反應(yīng)率的關(guān)系第5頁/共38頁第六頁，共38頁。7第6頁/共38頁第七頁，共38頁。8第7頁/共38頁第八頁，共3

5、8頁。9多元多元(du yun)線性回歸線性回歸第一步:先選定一組函數(shù) r1(x), r2(x), rm(x), mn, 令 f(x)=a1r1(x)+a2r2(x)+ +amrm(x) （1）其中(qzhng) a1,a2, am 為待定系數(shù)。 第二步第二步: 確定確定a1,a2, am 的準(zhǔn)則（最小二乘準(zhǔn)則）：的準(zhǔn)則（最小二乘準(zhǔn)則）：使使n個(gè)點(diǎn)（個(gè)點(diǎn)（xi,yi) 與曲線與曲線(qxin) y=f(x) 的距離的距離i 的平方和最的平方和最小小 。記記 )2()()(),(211211221iiknimkkininiiimyxrayxfaaaJ 問題歸結(jié)為，求問題歸結(jié)為，求 a1,a2,

6、am 使使 J(a1,a2, am) 最小。最小。第8頁/共38頁第九頁，共38頁。10線性最小二乘法的求解線性最小二乘法的求解(qi ji)：預(yù)：預(yù)備知識(shí)備知識(shí)超定方程超定方程(fngchng)組：方程組：方程(fngchng)個(gè)數(shù)大于未知量個(gè)數(shù)的方程個(gè)數(shù)大于未知量個(gè)數(shù)的方程(fngchng)組組)( 221111212111mnyarararyarararnmnmnnmm即即 Ra=ynmnmnnmyyyaaarrrrrrR112111211,其中其中超定方程一般超定方程一般(ybn)是不存在解的矛盾方程組。是不存在解的矛盾方程組。 如果有向量如果有向量a使得使得 達(dá)到最小，達(dá)到最小，則稱

7、則稱a為上述為上述超定方程的最小二乘解超定方程的最小二乘解。 212211)(imniimiiyararar第9頁/共38頁第十頁，共38頁。11線性最小二乘法線性最小二乘法(chngf)的求解的求解 定理定理(dngl)(dngl)：當(dāng)：當(dāng)RTRRTR可逆時(shí)，超定方程組（可逆時(shí)，超定方程組（3 3）存在最小二乘）存在最小二乘解，且即為方程組解，且即為方程組 RTRa=RTy RTRa=RTy的解：的解：a=(RTR)-1RTya=(RTR)-1RTy 所以，曲線擬合的最小二乘法所以，曲線擬合的最小二乘法(chngf)要解決的問題，實(shí)際要解決的問題，實(shí)際上就是求以下超定方程組的最小二乘解的問題

8、。上就是求以下超定方程組的最小二乘解的問題。nmnmnmyyyaaaxrxrxrxrR111111,)()()()(其中其中Ra=y （3）第10頁/共38頁第十一頁，共38頁。12非線性回歸非線性回歸(hugu)第11頁/共38頁第十二頁，共38頁。13一、有時(shí)，我們希望用如下類型的函數(shù)：一、有時(shí)，我們希望用如下類型的函數(shù)： 去近似一個(gè)由一組觀測數(shù)據(jù)（列表）所描繪的函數(shù)，其中去近似一個(gè)由一組觀測數(shù)據(jù)（列表）所描繪的函數(shù)，其中p 和和q 是是待定的兩個(gè)參數(shù)待定的兩個(gè)參數(shù).顯然顯然(xinrn)s已非已非p和和q的線性函數(shù)的線性函數(shù).怎樣線性化呢？怎樣線性化呢？為此，我們?cè)诘仁絻啥巳?duì)數(shù)，得到為

9、此，我們?cè)诘仁絻啥巳?duì)數(shù)，得到 qspt InsInpqInt記記 則等式則等式(dngsh)變變成成01,Insy Inpa aq xInt01yaa x這是一個(gè)一次多項(xiàng)式，它的系數(shù)這是一個(gè)一次多項(xiàng)式，它的系數(shù)(xsh)和可以用最小二乘法求得和可以用最小二乘法求得. 第12頁/共38頁第十三頁，共38頁。14二、我們經(jīng)常二、我們經(jīng)常(jngchng)希望用函數(shù)希望用函數(shù)CtSAe去近似一個(gè)以給定的列表函數(shù)去近似一個(gè)以給定的列表函數(shù)(hnsh)，其，其中中A,C是待定的參數(shù)，這時(shí)，我們可以對(duì)等是待定的參數(shù)，這時(shí)，我們可以對(duì)等式的兩端取對(duì)數(shù)式的兩端取對(duì)數(shù)InSInACt記記011,InSy In

10、Aa Ca xt則等式則等式(dngsh)變變成成01yaa x這樣仍可用最小二乘法定出（從而也就定這樣仍可用最小二乘法定出（從而也就定出了出了A,C ），得到近似函數(shù)），得到近似函數(shù)CtSAe第13頁/共38頁第十四頁，共38頁。15下面列出幾種常用的線性處理方法下面列出幾種常用的線性處理方法(fngf)，利用最，利用最小二乘法的原理對(duì)直線型、拋物線型和指數(shù)曲線型小二乘法的原理對(duì)直線型、拋物線型和指數(shù)曲線型的方程的參數(shù)估計(jì)方法的方程的參數(shù)估計(jì)方法(fngf) 。第14頁/共38頁第十五頁，共38頁。16YabX直線型直線型直線方程直線方程(fngchng)的一般形式為：的一般形式為：令令 為

11、最小值，分別為為最小值，分別為a和和b求偏導(dǎo)數(shù)，求偏導(dǎo)數(shù)，并令導(dǎo)數(shù)等于并令導(dǎo)數(shù)等于0，得到，得到(d do)聯(lián)立方程組。解方程組，即聯(lián)立方程組。解方程組，即可得到可得到(d do)參數(shù)的計(jì)算公式參數(shù)的計(jì)算公式 。 22()()YCabXC22()aYbXnX YXYbnXX第15頁/共38頁第十六頁，共38頁。17拋物線型拋物線型拋物線方程拋物線方程(fngchng)的一般形式為的一般形式為 2YabXcX令令 為最小值，分別為為最小值，分別為 a、b、c求偏求偏導(dǎo)數(shù)導(dǎo)數(shù)(do sh),并令導(dǎo)數(shù)并令導(dǎo)數(shù)(do sh)等于等于0,得到聯(lián)立方程組得到聯(lián)立方程組解方程組解方程組,即可得到參數(shù)的計(jì)算公

12、式。即可得到參數(shù)的計(jì)算公式。 22()()YCabXC22232234000YnabXcXY XaXbXcXYXaXbXcX第16頁/共38頁第十七頁，共38頁。18指數(shù)指數(shù)(zhsh)曲線型曲線型指數(shù)曲線指數(shù)曲線(qxin)的一般形式為的一般形式為 XYab取對(duì)數(shù)取對(duì)數(shù)(du sh)，將指數(shù)曲線轉(zhuǎn)化成對(duì)數(shù)，將指數(shù)曲線轉(zhuǎn)化成對(duì)數(shù)(du sh)直線形式直線形式 lglglgYaXb用最小二乘法估計(jì)參數(shù)用最小二乘法估計(jì)參數(shù)a,b,可有如下方程組可有如下方程組 2lglglg(lg )lglgYnabXXYaXbX解此方程組，可得參數(shù)的對(duì)數(shù)值，查其反對(duì)數(shù)，即可得解此方程組，可得參數(shù)的對(duì)數(shù)值，查其反對(duì)

13、數(shù)，即可得參數(shù)值。參數(shù)值。第17頁/共38頁第十八頁，共38頁。19用用MATLAB解回歸解回歸(hugu)問題問題1 1、線性最小二乘擬合、線性最小二乘擬合(n h)(n h)2 2、非線性最小二乘擬合、非線性最小二乘擬合(n h)(n h)第18頁/共38頁第十九頁，共38頁。20用用MATLABMATLAB作線性最小二乘擬合作線性最小二乘擬合(n (n h)h)1. 1. 作多項(xiàng)式作多項(xiàng)式f(x)=a1xm+ +amx+am+1f(x)=a1xm+ +amx+am+1擬合擬合(n h),(n h),可利可利用已有程序用已有程序: :a=polyfit(x,y,m)2. 2. 對(duì)超定方程組

14、對(duì)超定方程組)(11nmyaRnmmn可得最小二乘意義下的解?？傻米钚《艘饬x下的解。，用用yRa3.3.多項(xiàng)式在多項(xiàng)式在x x處的值處的值y y可用以下可用以下(yxi)(yxi)命令計(jì)算：命令計(jì)算： y=polyval y=polyval（a a，x x）輸入同長度輸入同長度的數(shù)組的數(shù)組X，Y擬合多項(xiàng)擬合多項(xiàng)式次數(shù)式次數(shù)左除第19頁/共38頁第二十頁，共38頁。21首先求二次多項(xiàng)式擬合首先求二次多項(xiàng)式擬合:3221)(axaxaxf中中 的的),(321aaaA 使得使得:最小 )(1012iiiyxf例例 對(duì)湖南省近對(duì)湖南省近10年來（年來（2006-2015）的生產(chǎn)總值（）的生產(chǎn)總值（

15、GDP）作作m次多項(xiàng)式擬合次多項(xiàng)式擬合第20頁/共38頁第二十一頁，共38頁。22利用利用MATLABMATLAB編程并仿真編程并仿真(fn zhn)(fn zhn)（二次擬合）（二次擬合）clear all;close all;x=2006:1:2015;y=7689,9440,11555,13060,16038,19670,22154,24622,27037,29047.2;%plot,x,y,o);hold onp=polyfit(x,y,2);Y=polyval(p,x)；plot(x,Y,r-,x,y,o);xlabel(x-年份(ninfn);ylabel(y-億元);title(

16、湖南省GDP);r=y-Y;e=r*r;程序法一（利用現(xiàn)成(xinchng)的函數(shù)）：第21頁/共38頁第二十二頁，共38頁。23p=33.0311,-1.3032e+05,1.2852e+08殘差平方和：殘差平方和：e=2.8924e+06程序一仿真(fn zhn)結(jié)果：第22頁/共38頁第二十三頁，共38頁。24clear all;close all;n=input(n=？); %多項(xiàng)式次數(shù)即擬合曲線次數(shù)%x=1,2,3,4,5,6,7,8,9,10;b=2006:1:2015;x=b;y=7689,9440,11555,13060,16038,19670,22154,24622,2703

17、7,29047.2;%plot(x,y,ro);%X=x.*x,x,ones(size(x);%p=polyfit(x,y,m)X(:,n+1) = ones(length(x),1,class(x);for j = n:-1:1 X(:,j) = x.*X(:,j+1);%提取(tq)第j列元素從j=n最后一列開始endp=Xy;%多項(xiàng)式系數(shù)%Y=polyval(p,x);Y=X*p;r=y-Y;e=r*r;plot(x,Y,-,x,y,ro);xlabel(x)ylabel(y)title(曲線擬合)程序法二（未借用(jiyng)函數(shù)）：第23頁/共38頁第二十四頁，共38頁。2525p=

18、33.0311,-1.3032e+05,1.2852e+08殘差平方和：殘差平方和：e=2.8924e+06程序二仿真(fn zhn)結(jié)果：（n=2）兩個(gè)(lin )程序得出的結(jié)論是一致的！第24頁/共38頁第二十五頁，共38頁。26五次多項(xiàng)式擬合五次多項(xiàng)式擬合(n h)(n h)p=polyfit(x,y,5);p=polyfit(x,y,m)m=5仿真仿真(fn (fn zhn)zhn)結(jié)果結(jié)果殘差平方和：e=4.149e+05p=2.1092,-2.1203e+04,8.5263e+07,-1.7143e+11,1.7234e+14,-6.9300e+16殘差平方和：殘差平方和：e=4.

19、149e+05第25頁/共38頁第二十六頁，共38頁。271. lsqcurvefit1. lsqcurvefit已知數(shù)據(jù)已知數(shù)據(jù)(shj)(shj)點(diǎn)：點(diǎn)： xdata= xdata=（xdata1xdata1，xdata2xdata2，xdatanxdatan），）， ydata= ydata=（ydata1ydata1，ydata2ydata2，ydatanydatan） 用用MATLABMATLAB作非線性最小二乘擬合作非線性最小二乘擬合(n h)(n h) Matlab Matlab的提供了兩個(gè)求非線性最小二乘擬合的提供了兩個(gè)求非線性最小二乘擬合(n h)(n h)的函數(shù)：的函數(shù)：l

20、sqcurvefitlsqcurvefit和和lsqnonlinlsqnonlin。兩個(gè)命令都要先建立。兩個(gè)命令都要先建立M-M-文件文件fun.mfun.m，在其，在其中定義函數(shù)中定義函數(shù)f(x)f(x)，但兩者定義，但兩者定義f(x)f(x)的方式是不同的的方式是不同的, ,可參考例題可參考例題. .最小 ),(21niiiydataxdataxF lsqcurvefitlsqcurvefit用以求含參量用以求含參量x x（向量）的向量值函數(shù)（向量）的向量值函數(shù)F(x,xdata)=F(x,xdata)=（F F（x x，xdataxdata1 1），），F(xiàn) F（x x，xdataxdat

21、an n）T T中的參變量中的參變量x(x(向量向量),),使得使得 第26頁/共38頁第二十七頁，共38頁。28 輸入(shr)格式為: (1) x = lsqcurvefit (fun,x0,xdata,ydata); (2) x =lsqcurvefit (fun,x0,xdata,ydata,options); (3) x = lsqcurvefit (fun,x0,xdata,ydata,options,grad); (4) x, options = lsqcurvefit (fun,x0,xdata,ydata,); (5) x, options,funval = lsqcurve

22、fit (fun,x0,xdata,ydata,); (6) x, options,funval, Jacob = lsqcurvefit (fun,x0,xdata,ydata,);fun是一個(gè)事先建立的是一個(gè)事先建立的定義函數(shù)定義函數(shù)F(x,xdata) 的的M-文件文件, 自變量為自變量為x和和xdata說明(shumng)：x = lsqcurvefit (fun,x0,xdata,ydata,options);迭代初值迭代初值已知數(shù)據(jù)點(diǎn)已知數(shù)據(jù)點(diǎn)選項(xiàng)見無選項(xiàng)見無約束優(yōu)化約束優(yōu)化第27頁/共38頁第二十八頁，共38頁。29 lsqnonlin用以求含參量用以求含參量x x（向量）的向量

23、值函數(shù)（向量）的向量值函數(shù) f(x)f(x)=(f=(f1 1(x),f(x),f2 2(x),(x),f,fn n(x)(x)T T 中的參量中的參量x x，使得，使得 最小。最小。 其中其中 fi（x）=f（x，xdatai，ydatai） =F(x,xdatai)-ydatai 22221)()()()()(xfxfxfxfxfnT2. lsqnonlin已知數(shù)據(jù)已知數(shù)據(jù)(shj)(shj)點(diǎn)：點(diǎn)： xdata= xdata=（xdata1xdata1，xdata2xdata2，xdatanxdatan） ydata= ydata=（ydata1ydata1，ydata2ydata2，y

24、datanydatan）第28頁/共38頁第二十九頁，共38頁。3030輸入輸入(shr)格式為：格式為： 1） x= lsqnonlin（fun，x0）；）； 2） x= lsqnonlin （fun，x0，options）；）； 3） x= lsqnonlin （fun，x0，options，grad）；）； 4） x，options= lsqnonlin （fun，x0，）；）； 5） x，options，funval= lsqnonlin （fun,x0,）；）；說明(shumng)：x= lsqnonlin （fun，x0，options）；fun是一個(gè)事先建立的是一個(gè)事先建立的定義

25、函數(shù)定義函數(shù)f(x)的的M-文件，文件，自變量為自變量為x迭代初值迭代初值選項(xiàng)見無選項(xiàng)見無約束優(yōu)化約束優(yōu)化第29頁/共38頁第三十頁，共38頁。31非線性最小二乘法非線性最小二乘法(chngf)(chngf)曲線擬合的曲線擬合的MATLABMATLAB實(shí)現(xiàn)實(shí)現(xiàn)例例 已知一組數(shù)據(jù)已知一組數(shù)據(jù)(shj)(shj)如下表所示如下表所示x0.10.40.50.70.80.9y0.610.920.991.521.472.03用用lsqcurvefitlsqcurvefit函數(shù)實(shí)現(xiàn)曲線擬合函數(shù)實(shí)現(xiàn)曲線擬合 MatlabMatlab為用戶提供了為用戶提供了lsqcurvefitlsqcurvefit函數(shù)實(shí)現(xiàn)

26、非線性最小函數(shù)實(shí)現(xiàn)非線性最小二乘擬合，調(diào)用格式二乘擬合，調(diào)用格式(g shi)(g shi)如下：如下：x=lsqcurvefit(fun,x0,xdata,ydata)x=lsqcurvefit(fun,x0,xdata,ydata)；funfun為擬合函數(shù)，為擬合函數(shù)，(xdata,ydata)(xdata,ydata)為一組實(shí)驗(yàn)觀測數(shù)據(jù)，滿足為一組實(shí)驗(yàn)觀測數(shù)據(jù)，滿足ydata=fun(xdata,x),ydata=fun(xdata,x),以以x0 x0為初始點(diǎn)求解改數(shù)據(jù)擬合問題。為初始點(diǎn)求解改數(shù)據(jù)擬合問題。第30頁/共38頁第三十一頁，共38頁。32新建新建m m文件文件(wnjin)

27、(wnjin)，將待擬合函數(shù)寫入，保存為，將待擬合函數(shù)寫入，保存為cf.mcf.m：functionfunction f=cf(x,xdate);f=cf(x,xdate);n=length(xdate);n=length(xdate);forfor i=1:ni=1:nf(i)=x(1)+x(2)f(i)=x(1)+x(2)* *xdate(i)+x(3)xdate(i)+x(3)* *sin(xdate(i)+x(4)sin(xdate(i)+x(4)* *exp(xdateexp(xdate(i);(i);endend第31頁/共38頁第三十二頁，共38頁。33運(yùn)行以下程序: clear all; close all;xdata=0.1,0.4,0.5,0.7,0.8,0.9; ydata=0.61,0.92,0.99,1.52,1.47,2.03; x0=1,1