最速下降法和共軛梯度法

1、:速下降法和共軌梯度法設(shè)A是一個對稱正定矩陣，本節(jié)討論求解線性方程組Ar=b的最速下降法和共覘梯度法。引理1若A對稱正定，則求解線性方程組Ax=b的問題等價于極小化二次型問題q(x)=-2且函數(shù)q(x)的梯度方向滿足：grad=2(Ar-b)=-2(/?-Ax)證明設(shè)卩為一非零的向量，t為標(biāo)量，q(x+tv)=-2=+t+t+t2-2-2/=q(x)+t+t+t2-2t=q(x)+2/+t2-2/=q(x)+2t+t2注意到二次項(xiàng)的系數(shù)人于0,所以當(dāng)t=時q(x+tv)達(dá)到最小值:Jilinq(x+tv)=q(x)+2t+t2=q(x)+2vv,Ax-b+=q(x)+2vv,Ax-b+由于V的

2、任意性，可以看出當(dāng)且僅當(dāng)b-Ax=0,即X是線性方程組的解時，g(x)達(dá)到最小。另外，在x處，q(x)沿v的方向?qū)?shù)為=2=于是,grad(q)=2(At-b)=-2(b_Ax)。K數(shù)學(xué)基礎(chǔ)梯度方向：g“d學(xué)，警,，竽4I心dx2dxn丿方向?qū)?shù)：設(shè)u=(uu19.,uH)r為一方向向量，在X處，二次函數(shù)g(x)沿的的方向?qū)?shù)為fg(x+tu)=fqCq+tul9x,+tu,9.,xn+tun)atat=根據(jù)Cauchv-Schxxarz不等式，可知J-|gmdILIIM10知(x+他)Wlgmd111IIM111當(dāng)u為單位向量時即-IIgmd2-q(x+tu)JgmdL等式當(dāng)且僅當(dāng)弘與梯度方

3、向gmd(q)線性相關(guān)時成立。即沿梯度的方向?qū)?shù)最大，而當(dāng)與梯度方向gmd(q)相反時，方向?qū)?shù)達(dá)到最小。2、最速下降法在引理的證明中，同時可以看到當(dāng)v=b-Ax,且t=，I=4時,q(x+tv)達(dá)到最小。這啟發(fā)我們求解方程組的如下最速下降法。inputX(Q),A,b,Moutput0,Xforl=0toM-ldo嚴(yán)切bArv(k),AvXX(k)+tkVk)output1+1,enddo為了節(jié)省空間，實(shí)際的算法為inputX,A,b,Moutput0,Xforl=0toM-ldov/?-Ax.t=xx+Zvoutputk+1,xenddo算法中也可以用殘差作為循環(huán)控制，我們可以利用以下的爭

4、后誤差估計(jì)式mi1111(A)mi1111(A)MlAll證明按照殘差的定義，并且由于假設(shè)X是方程組的準(zhǔn)確解，我們有r=b-Ax0=b-Ax于是r=A(x-x)所以另外丄Miiiriiii于是得到事后誤差估計(jì)ILl二二1A-1|.|A|JLd=cond(A)ILpIIIIllllA|3、共純方向設(shè)A對稱正定，定義內(nèi)積4=范數(shù)xA=yA定理1(A標(biāo)準(zhǔn)正交系定理)設(shè)A對稱正定，小町是一組關(guān)于內(nèi)積A的標(biāo)準(zhǔn)正交系。定義x0)=dT其中是川中的任意點(diǎn)，則Axn)=b0證明：只要證對于任意21,2,./,=0,即Axn)-b與A標(biāo)準(zhǔn)正交系中的各個基直交，則自然AB-b=O。定義ti=b-A-lu,則根據(jù)遞

5、歸公式，可知嚴(yán)=嚴(yán)+艸于是Ax(n)=Ax(,-l)+tnAun)A?i=A嚴(yán))+嚴(yán))40丿=A嚴(yán)+Axn)=Ax0)+.+f”_iA5T)+tnAun)Ax-b,u(i)=Ax(Q)-b,u+=+r.下面再來計(jì)算ti=+v心宀-Ax(k),ui)*=1=+k=L=-rA.AuJt=l=所以=+.=0定理2(A正交系定理)設(shè)A對稱正定，V，y,，是一組關(guān)于內(nèi)積vx,yA的正交系。定義(,)0_1)X=%+7說其中x是中的任意點(diǎn)，則AZ，0=bo于是V=|MVU巴如于是V=|MVU巴如=|嚴(yán)|2IIl|vt0|LMi：=嚴(yán)一vb_A0T)oM(o根據(jù)A標(biāo)準(zhǔn)止交系定理定理,3.共軌梯度法首先我們來

6、看Gmni-Schemidt正交化過程。設(shè)X，X，是/T的一組線性無關(guān)的向量，人是向量空間的內(nèi)積，定義則滬人v(2.,vvo是一組A正交系。Z值得強(qiáng)調(diào)的是，工(/中V是X到*心川巴,0T丿)的直交投影，它結(jié)4具有唯一性。使用A正交系定理來求解方程組則還有一個待解的問題：如何選擇線性無關(guān)的向量X，/2),.,x(,繼而通過GrarvSchemidt正交化得到一組A正交系“，v(2),vuo?以下是一種選擇正交系的算法，它利用向量的殘差作為正交化的基礎(chǔ):wr(k)vk)、川+U_.1J丿、，人人7iLy嚴(yán)+u=b_k/wv(o、v#+u=-V_l_v(0/=o一厶川人/=o任意選初值x,且令vl0

7、=rw=b-A?）:卅）沿著”方向修正X，使二次型q極小化卅+1丿計(jì)算殘差嚴(yán)+uGram-Scheinidt止交化v（a-h）,己知嚴(yán)”可以看出直交化的過程需要人量的計(jì)算。針對我們當(dāng)前特定的問題：A范數(shù)以及待直交化的嚴(yán)創(chuàng)，共軌梯度法提出了如下的方法：曲+0=+曲+0=+并且v(kAvk)即V嚴(yán),嚴(yán)=嚴(yán)川且如此構(gòu)造的*切與滬人戶，W直交。根據(jù)直交化的唯一性，它就是Gram-Schemidt直交化！也就是說，共轆梯度法本質(zhì)上就是利用A正交系定理，并且反復(fù)對殘差嚴(yán)切實(shí)施Gram-Schenndt的過程：/丿zI”)/”幺+0r+l)、v(+u=|廠，廠定理3在共軌梯度算法中,對任意的整數(shù)men,若嚴(yán)

8、,，,#）全部是非零向量，則=0(0im)=(0/m)=0(0fm)=0(0im)ru)H0(0zm)證明我們首先列出算法中相關(guān)量之間的關(guān)系*嚴(yán),4宀廠M+O=b_r(k),r=/M+U+$評(燈于是得到如下遞推公式:嚴(yán)）嚴(yán)嚴(yán)）嚴(yán)1)當(dāng)/n=0時，定理顯然成立。以下假設(shè)定理對m時成立，然后證明定理對于m+1時成立，于是根據(jù)歸納法，定理得證。首先證明結(jié)論1。當(dāng)i=m時，=bm屏e嚴(yán)=V宀4財(cái)=rV宀4財(cái)=r(m)#5)_=0當(dāng)i時,由歸納法假設(shè)，于是“”y=八叭一(van町nt7=o接著來證明結(jié)論2。顯然只要證明=tn=-sm根據(jù)結(jié)論1,后面一項(xiàng)等于o,于是結(jié)論2得證。關(guān)于結(jié)論3,只要證明當(dāng)0i

9、m+1時=0根據(jù)算法中相關(guān)量之間的關(guān)系，可知=嚴(yán)出丿+幾0”朋代=+5/n/ON+0=+幾vrMv(0嚴(yán)巴円-嚴(yán)巴円-嚴(yán)冋+幾V嚴(yán))，加(嚴(yán)巴戶-嚴(yán)巴嚴(yán)U一別+幾N鐵加嚴(yán)巴戶-嚴(yán)切”T)-V嚴(yán)切少“+S,V嚴(yán)巴代+幾2%當(dāng)i當(dāng)j=加時，由于嚴(yán)切腫I=嚴(yán)巴嚴(yán))=0,所以:-+5W1m，V嚴(yán)巴嚴(yán)也廠V嚴(yán)嚴(yán)v嚴(yán)=0對于結(jié)論4,即要證明rn,+i),r(i)=0(0z/w+l)事實(shí)上,令匚=0和v(_1)=0,則嚴(yán)+1)r(i)=嚴(yán)顯_%嚴(yán)Y(f)-仏嚴(yán)嚴(yán)=0最后來看結(jié)論5。由于A對稱正定，按照歸納法假設(shè)丿非零，所以又因?yàn)?+5m=因此嚴(yán))工0。4、共轆梯度法的計(jì)算穩(wěn)定性為了分析共覘梯度法的計(jì)算穩(wěn)定性

10、，我們首先必須認(rèn)清每一次迭代涉及哪些運(yùn)算。實(shí)際上，第k次迭代除了四則運(yùn)算外，注意的運(yùn)算就是為和vx,Ar,而前面的運(yùn)算也可以看著是后面運(yùn)算的一個特殊情況，因此我們僅需要來分析y=的誤差傳播。假設(shè)x有一擾動誤差e(x),對應(yīng)地y也有一擾動誤差e(y),以下建立幺(x)和訊刃之間的關(guān)系。首先，根據(jù)假設(shè)y=y+e(y)=即e(y)=+由于A是一個對稱矩陣，所以e(y)=2+我們以2范數(shù)來作為衡量誤差的基礎(chǔ)，根據(jù)Cauchy-Schwarz不等式，|k(v)|2|+|2|e(x)|-|Ax|+|e(x)|-|Ae(x)|4|咖|.|州卜|+|吶|.|州|咖|2H+|eW|).|A|.|eW|另外，假設(shè)A經(jīng)過酉變換U變成對角陣D,則y=|y|=2込(A)|to|=猛(A)|x|=由J|x|于是k(k(y)Q(2卜|+k(x)|).|州十=(2卜|+|啊|)伸|們|)警Ikr(y)|,占叫和并不是對Ax=b采用共軌梯度法而得到的序列。記3=SF)忙)=SW嚴(yán))=b-Ax(k)=STb-(STAS)(S-lk)=ST(b-Ax(k)=STr(k)另外定義一個中間