最新最速下降法

1、最速下降法1.算法原理最速下降法的搜索法向是目標函數(shù)的負梯度方向，最速下降法從目標函數(shù)的負梯度方向 一直前進，直到到達目標函數(shù)的最低點。已知目標函數(shù)在X點的梯度為：當求目標函數(shù)的最小點時，由于函數(shù)沿負梯度方向下降最快，故在X"）點的探索方向應(yīng)取該點的負梯度方向，即嚴巧理）冋（xq顯然，S"）為單位向量。這樣第 + 1次迭代汁算所得的新點為負梯度僅給出了最優(yōu)化方向，而沒有給岀步長的大小，所以可能有各種各樣的最速下降的過程，它們依賴于的大小。步長Q有兩種取法：一種方法是任意給左一個初始步長，使?jié)M足條件：/（X+aS）v/（X"）另外一種方法是沿負梯度方向做一維探索，以

2、求解一維最優(yōu)化問題的最優(yōu)步長a,即 對目標函數(shù)極小，以得到最優(yōu)步長：minf（X +aS ）=/（Xa）+0W）以此最優(yōu)步長作為由X點出發(fā)沿該點的負梯度方向探索的步長這種方法的迭代訃算的收斂性，可用以下三式中的任一式或二式作為準則來進行判斷:2.算法步用最速下降法求無約束多維極值問題min f（xxeRn的算法步驟如下：（1）取初始點精度*>°,令（2）計算搜索方向嚴=可（屮），貝中W（x）表示函數(shù)/（x）在點x處的梯 度；（3）若|門|",則停止計算;否則，從少 出發(fā)，沿嚴進行一維搜索，即求人，使得幾嚴+入嚴廠咽“/匕+加）。此處的一維搜索可以用黃金分割 >1

3、0法等算法，當然也可以用MATLAB的f minbnd函數(shù)：（4）令 +如）=+° + 人）,£ = £ + 1,轉(zhuǎn)步驟（2）。3.算法的MATLAB實現(xiàn)在MATLAB中編程實現(xiàn)的最速下降法函數(shù)為：minFD 功能：用最速下降法求解多維函數(shù)的極值。調(diào)用格式：x. niin/ = min FD（JxO. var, eps）其中，/:為目標函數(shù)：xO：初始點：var :自變量向量：eps :精度：A：目標函數(shù)取最小值時的自變量值；min/：目標函數(shù)的最小值。最速下降法的MATLAB程序代碼如下：function x/minf=minFD（f,xO/var;eps）%為

4、目標函數(shù):f;%初始點：x0;%自變量向雖:var;%精度:eps;%目標函數(shù)取最小值時的自變量值:X；%目標函數(shù)的最小值:minf;format long;if nargin=3eps=1.0e-6;endsyms I;tol=l;while tol>epsgrad 仁-jacobianftvar);% 負梯度方向v=Fun val(gradf,var;xO);tol=norm(v);y=xO+l*v;yf=F un val(£var;y);a/b=minJT(yf,0/0.1);xm=minHJ(yf,a,b); %用黃金分割法進行一維搜索 xl=xO+xm*v;xO=xl

5、;endx=xl;minf=Fu nval(tvar;x);format short;例：用最速下降法求函數(shù)y(f,s) = (r_4)2+($ + 2)2+1極小值，取初始點取*> = (1,-3)解：在MATLAB命令窗口中輸入：syms t s;f=(t-4)A2+(s+2)A2+l;x/mf=minFD(f/l -3,t s)所得結(jié)果為：X =4.0000-2.0000 mf =1例:試用最速下降法求目標函數(shù)n+4瑋的極小值，設(shè)初始點X,0)=2 2f :收解:原函數(shù)的梯度vy(x) =茅(X)8x27 ,在X點的梯度為Vf(X(0) = 4 16f.梯度的模為河= J &quo

6、t;(X)+ 型也=2 =742+162 =16.492梯度的負方向曲而訝4 16f =-0.243 0.970fXn)= X(0, + aS<0) ='20.2431"2-0.243a"-a=_2_0.970J_2 一 0.970af (X ® + aS® ) = (2-0.243a)2 +4(2 - 0.970c?)2妙(汕+於®)=2(2 一 0243a)(0243) + 8(2 一 0.970)(-0.970) da= 7.645(7-16.492=0,求出a =2.157,算得人妙(X(°'+aS)/d

7、aX =1.476 -009237，V/(XW) = 2952 -0.7387梯度的模為 |v/' (X)| = J(2.952+(-0.738)，= 3.043根據(jù)收斂準則，何(x)| = 3043可=10一2,故未達到要求，應(yīng)繼續(xù)探索。下一步探索放向為2.952 一0738 = T0.970 0.2433.043= X(" + aS 1.476-0.09230.970 1T1.476-0.97067-0.243J = -0.0923 +0.243a/(X +aS ) = (l476-0970a)2+4(-00923 + 0243Q)2妙(X+aS)da=2.354a _3

8、.043 = 0,得到 a* = 1.293“二0.222 0222f號(X) = 0444 1.776f忖（X）| = 1.831 >=10"2未達到收斂要求，所以還應(yīng)繼續(xù)探索，下一步探索方向為S（2>=-0.444 1.7767 =40.242 O.97O71.831= x<2>"0.222 0.242a'屮_0222 + 0970冬乂 1+ aS(2 =f ( X + aS-2) = (0.222 - 0.242a)2 + 4(0.222+0.970a)2= 7.644a 1.830 = 0得到：a* = 0.239X3=064 -O.

9、OO987,Vf (X<3>) = 0.328 -O.O7847 |V/-(X,3)| = O.337> =10'2繼續(xù)探索，當探索到點X<7) =0.0016 0.000096F時,村（X）卜OOO32y =10巳 達到預(yù)定的收斂要求，因而可認為X“ =X為最優(yōu)點,而/（xj = （0.0016）2+4（-0.000096）2 =2.596x10" 20為極小值。20092010 學年度九年級（下）第二次質(zhì)量測試數(shù)學試卷考試時間：120分鐘 試卷滿分：150分題號一二三四五七八總 分得分一.選擇題（下列各題的備選答案中，只有一個是正確的，請將正確答案的選項填在下表中 相應(yīng)題號下的空格內(nèi)，每小題3分，共24分）題號12345678答案/1、-丄的值是4A 一B> C、4D> 一 4442、數(shù)據(jù)3800000用科學記數(shù)法表示為38X10w,則n的值是A、5B. 6C. 7D、83、如果兩個相似三角形的相似比是1： 2,那么它們的而積之比是A、1： 2B. 2： 1C. 1： >/2D、1： 44、衡量樣本和總體的波動大小的特