opt-steepest梯度下降法的matlab程序

1、理論考慮到函數(shù)f(x)在點(diǎn)xA(k)處沿著方向d的方向?qū)?shù)f_d(x%k)=Vf(xA(k)ATd,其意義為：f(x)在點(diǎn)xA(k)處沿著方向d的變化率。當(dāng)f連續(xù)可微時(shí)，方向?qū)?shù)為負(fù)，說(shuō)明函數(shù)值沿著該方向下降；方向?qū)?shù)越小，表明下降越快。因此確定搜索方向dA(k)的一個(gè)想法，就是以f(x)在點(diǎn)xA(k)點(diǎn)方向?qū)?shù)最小的方向作為搜索方向，即令dA(k)=-Vf(xA(k)因此，把這方法定名為最速下降法。求解問(wèn)題mint(xuRa門(mén)膽對(duì)(刈，丘心人1。最速下降法的具體步驟為選定初始點(diǎn)xA(1)，和給定精度要求0,令k=1;若可用)，則停，xA*=xA(k)，否則令dA(k)=-Vf(xA(k)；在

2、xA(k)處沿方向dA(k)作線性搜索得xA(k+1)=xA(k)+a_kdA(k)，k=k+1，回2。若在第三步中，不用近似方法做線搜索，而是用精確線搜索，即a_k=argminf(xA(k)+adA(k)argminf(x)”，表示f(x)的極小點(diǎn)。最速下降法，就是求梯度。例如：求f=(x-y)/(xA2+yA2+2)在(-3,-2)處的梯度。clc;clearx=-3;y=-2f=(x-y)/(xA2+yA2+2)fx=diff(f,x)%對(duì)x求偏導(dǎo)數(shù)fy=diff(f,y)%對(duì)y求偏導(dǎo)數(shù)g=fxfy%梯度g=subs(g)%把符號(hào)變量轉(zhuǎn)為數(shù)值functionxo,fo=Opt_Stee

3、pest(f,grad,x0,TolX,TolFun,dist0,MaxIter)%用最速下降法求最優(yōu)化解%輸入：f為函數(shù)名grad為梯度函數(shù)%x0為解的初值TolX,TolFun分別為變量和函數(shù)的誤差閾值%dist0為初始步長(zhǎng)MaxIter為最大迭代次數(shù)%輸出:xo為取最小值的點(diǎn)fo為最小的函數(shù)值%f0=f(x(0)%判斷輸入的變量數(shù)，設(shè)定一些變量為默認(rèn)值ifnargin7MaxIter=100;%最大迭代次數(shù)默認(rèn)為100endifnargin6dist0=10;%初始步長(zhǎng)默認(rèn)為10endifnargin5TolFun=1e-8;%函數(shù)值誤差為1e-8endifnarginfx1+TolFu

4、n&fx1fx1=kmax1warning=warning+1;%無(wú)法確定最優(yōu)步長(zhǎng)elsewarning=0;endifwarning=2|(norm(x-x0)TolX&abs(fx-fx0)TolFun)break;endx0=x;fx0=fx;endxo=x;fo=fx;ifk=MaxIterfprintf(Justbestin%diterations,MaxIter);end%xiajiangfa.m用最速下降法求解最優(yōu)化問(wèn)題f1=inline(x(1)A2+4*x(2)A2,x);%目標(biāo)函數(shù)grad=inline(2*x(1),8*x(2),x);%目標(biāo)函數(shù)的梯度函數(shù)x0=11;%x0為搜索初始值TolX=1e-4;%TolX為最優(yōu)值點(diǎn)間的誤差閥值TolFun=1e-9;%TolFun為函數(shù)的誤差閥值MaxIter=2;%MaxIter為最大迭代次數(shù)xo,fo=Opt_Steepest(f1,grad,xO,To