共軛梯度法和基本性質(zhì)

共軛梯度法及其基本性質(zhì)預(yù)備知識(shí)定義1設(shè)心初是對(duì)稱(chēng)正定矩陣。稱(chēng)匹些是A-共軛的，是指是彼此共軛的芝向量，即［證明］若有一組數(shù)性*滿(mǎn)足則對(duì)一切一定有注意到就虹2是線性無(wú)關(guān)的.，由此得出:%=0.即所有的國(guó)=0.因此，座主性質(zhì)2設(shè)向是彼此共軛的芝向量，即［證明］若有一組數(shù)性*滿(mǎn)足則對(duì)一切一定有注意到就虹2是線性無(wú)關(guān)的.，由此得出:%=0.即所有的國(guó)=0.因此，座主性質(zhì)2設(shè)向量既「即…冶視是線性無(wú)關(guān)的向量組，則可通過(guò)它們的線性組合得出一組向量處次1廣"％是兩兩共軛的.性質(zhì)1設(shè)有所如…八（幽E定是線性無(wú)關(guān)的。［證明］我們用構(gòu)造法來(lái)證實(shí)上面的結(jié)論.Sm：令取容易驗(yàn)證：&，蘆1廣"』符合性質(zhì)2的要求.性質(zhì)3設(shè)|為，兒…，殘|是兩兩A—共軛的，也氣是任意指定的向量，那么姻出發(fā):逐次沿方向砧，…還搜索求麗=2g的極小值，所得［證明］由下山算法可知，從園出發(fā)，沿國(guó)方向搜索，獲得從而

出發(fā)，依次性質(zhì)4設(shè)出發(fā)，依次性質(zhì)4設(shè)”挪/,"I|是兩兩A共軛的，則從任意指定的左芝沿的土"、外T搜索，所得序列阡”心滿(mǎn)足:其中曰是方程組(5.1.1)其中曰是方程組(5.1.1)的解.(2)［證明］(1)是性質(zhì)3的直接推論，顯然成立.(2)由于|乩，西-1是兩兩A共軛的，故|知F/-%-】是線性無(wú)關(guān)的.所以對(duì)于向量|&一列可用|乩書(shū)/線性表出，即存在一組數(shù)

對(duì)比田和園的表達(dá)式可知，對(duì)比田和園的表達(dá)式可知，證明完畢性質(zhì)4是性質(zhì)3的直接推論.但它給出了一種求（5.1.1）的算法，這種算法稱(chēng)之為共軛方向法.結(jié)合性質(zhì)2,我們可以得到如下的性質(zhì)5.如此進(jìn)行下去，直到第n步:根據(jù)性質(zhì)4可知，不論采用什么方法，只要能夠構(gòu)造囹個(gè)兩兩A共軛的向量作為搜索方向，從任一初始向量出發(fā)，依次沿兩兩A共軛的方向進(jìn)行搜索，經(jīng)回步迭代后，便可得到正定方程組匹邑的解.

共軛梯度法算法步驟如下:［預(yù)置步］任意叫*舟I,計(jì)算脩7-生I,并令?。篒處/|指定算法終止常數(shù)撲，置虹=聽(tīng)進(jìn)入主步:［主步］(1)如果歐"I,終止算法，輸出|戰(zhàn)5，|：否則下行:(2)計(jì)算:(2)計(jì)算:(4)置"=把十1|，轉(zhuǎn)入(1).通常稱(chēng)之為Krylov子空間.［證明］用歸納法.當(dāng)時(shí)，因?yàn)镻LF曰4二尸D-口□他口，凡二門(mén)+編如,Pori=rori=4（肖口一處）二尸口『口一Qoro^Pa=°因此定理的結(jié)論成立.現(xiàn)在假設(shè)定理的結(jié)論對(duì)舊成立，我們來(lái)證明其對(duì)頁(yè)也成立.利用等式脆1二/一 及歸納假設(shè)，有pXw=p"-勤氣=S0<:<k-l又由于故定理的結(jié)論（1）對(duì)由成立.利用歸納假定有疑血，…用二span{pOr--,pk}T而由（1）所證知，應(yīng)與上述子空間正交，從而有定理的結(jié)論（2）對(duì)三!也成立.利用等式并利用歸納法假定和（2）所證之結(jié)論，就有

IP：如山二上EiS-切）十成藥為h,i二1處成立；而由網(wǎng)的定義得歹3也^=(0+S**Aa&=底1曲\-忒也^=。這樣，定理的結(jié)論（3）對(duì)電也成立.由歸納法假定知S*E就其6正+1）二乎做!虹&"??工與』進(jìn)而于是g=傘R彌（工土,上+2）二中帛PW=膈+扁■#RE +2）=疑血）再注意到（2）再注意到（2）和（3）所證的結(jié)論表明，向量組廣"1,…刀+1都是線性無(wú)關(guān)的，因此定理的結(jié)論（4）對(duì)5同樣成立.定理證畢定理5.2.1表明，向量"辦…心!和樹(shù)0廣"」分別是Krylov子空間盛正司的正交基和共軛正交基.由此可見(jiàn)，共軛梯度法最多回步便可得到方程組的解園.因此，理論上來(lái)講，共軛梯度法是直接法.定理5.2.2用共軛梯度法計(jì)算得到的近似解園滿(mǎn)足

例X）例X）二血伽N）：x5 同(5.2.2)(5.2.3)其中|l■疽I,兄!是方程組由=M的解.k叫占相I是由（5.2.1）所定義的Krylov子空間.證明注意到：冼兀=”—iQ’&x一孔）|,貝^（5.2.2）和（5.2.3）是等價(jià)的，因此我們下面只證明（5.2.3）成立.假定共軛梯度法計(jì)算到回步出現(xiàn)那么有假定共軛梯度法計(jì)算到回步出現(xiàn)那么有=冊(cè)+沖"5+.T%iPt此外，對(duì)計(jì)算過(guò)程中的任一步E如二而+%處+…+淳3聲1卜1E財(cái)+尤（&岳先）.設(shè)圖是屬于|曲&（&%先）|的任一向量，則由定理5.2.1的（4）知，園可以表示為應(yīng)二工口+知?dú)?ViPi+.??+Yjc-iPk-ik.-二二(％-丫口)胃口+怎］-片)召1+…+0*1-斥?)夕ai+〃曷+，,■+L戰(zhàn)二%興+…+知1久-1再利用定理5.2.1的（3）就可以推出I"-圳;=兇氣—外）？D+???+ 一/jt-i"）P卜i匕+||%A_+???+%/」￡

乏底孔十???+%*ilE=h-^X-于是定理得證.定理證畢由定理5.2.1,我們?nèi)菀椎贸鲇纱丝傻?5.2.4)另外，從理論上講，該迭代法經(jīng)囹次迭代，便能得到精確解.但考慮到計(jì)算誤差，可以作為無(wú)限迭代算法進(jìn)行計(jì)算，直到應(yīng)可為止.從而，我們得到如下實(shí)用的共軛梯度算法：［預(yù)置步］任意網(wǎng)聶1計(jì)算脩7一玉，并令取：棚，?指定算法終止常數(shù)|倍利，置|4=。|，進(jìn)入主步;:z j~~［主步］（1）計(jì)算：：孔出」 L|上1一氣-%刃乩（2）如果|岳】‘q,轉(zhuǎn)入（3）.否則，終止算法，輸出計(jì)算結(jié)果冬"萱（3）計(jì)算： 輕 （4）置|化：=把十1|，轉(zhuǎn)入（1）注：在算法［主步］中，引入變量S&4何及何=《】知|,可以簡(jiǎn)化計(jì)算。結(jié)合程序設(shè)計(jì)的特點(diǎn)，共軛梯度法可改為如下實(shí)用形式：算法5-3-1（解對(duì)稱(chēng)正定方程組：實(shí)用共軛梯度法）A二初■值^7=0,r=b-Ax,p=rwhilewhilewhilewhileifelseendend共軛梯度法作為一種實(shí)用的迭代法，它主要有下面的優(yōu)點(diǎn):算法中，系數(shù)矩陣A的作用僅僅是用來(lái)由已知向量網(wǎng)產(chǎn)生向量MS,這不僅可充分利用A的稀疏性，而且對(duì)某些提供矩陣A較為困難而由已知向量網(wǎng)產(chǎn)生向量仁迫又十分方便的應(yīng)用問(wèn)題是很有益的；不需要預(yù)先估計(jì)任何參數(shù)就可以計(jì)算，這一點(diǎn)不像SOR等；每次迭代所需的計(jì)算，主要是向量之間的運(yùn)算，便于并行化。5.2.3收斂性分析將共軛梯度法作為一種迭代法，它的收斂性怎樣呢？這是本節(jié)下面主要討論的問(wèn)題:定理5.2.3如果月而且忡點(diǎn)㈤二"則共軛梯度法至多迭代匚同步即可得到方程組的精確解。證明注意到忡球咨=叫蘊(yùn)含著子空間3皿虹應(yīng)"??，甘昂二砂砌""5,???按昂的維數(shù)不會(huì)超過(guò)反EH,由定理5.2.1即知定理的結(jié)論成立。定理證畢定理5-2-3表明，若線性方程組（5?1?1）的系數(shù)矩陣與單位相關(guān)一個(gè)秩四的矩陣，而且四很小時(shí)，則共軛梯度法將會(huì)收斂得很快。定理5-2-4用共軛梯度法求得的區(qū)有如下的誤差估計(jì)其中忡=以為=|觀||爐||,證明由定理5-2-1可知，對(duì)任意的|券氣&（&岳瀏，有忘一匯二X.一扃十知％十巧盤(pán)』司十???十口*4口4=A1（月一Axq+亦們工丘|+e即元'廠］H 口）=H】（*）+ +口妣招'廣］蒞威R"o）=冼一1（項(xiàng)+巧11/4+占磚占' 就耽』*）光A&W=1十￡皿息父3 —77—1 I—I一I記 I,則獸々是常數(shù)項(xiàng)為1的四次實(shí)系數(shù)多項(xiàng)式。令也為所有常數(shù)項(xiàng)為1的次數(shù)不超過(guò)囹的實(shí)系數(shù)多項(xiàng)式的全體，則由定理5?2?2和引理5-1-1得g—“JLi二皿I"—"IL冒丘知十行化）J二尹梟件穌冊(cè)卜L牌小皿疽認(rèn)JCJt rCJt—器陪IL占贈(zèng)燃Jw*?-知其中』s不三…M 」是叵］的特征值。由Chebyshev多項(xiàng)式逼近定理及Chebyshev多項(xiàng)式的性質(zhì)，定義在［-1,1］區(qū)間上的回次Chebyshev多項(xiàng)式：吐③二s’E呵是所有常數(shù)項(xiàng)為1的次數(shù)不超過(guò)網(wǎng)的實(shí)系數(shù)多項(xiàng)式中，在［-1,1］上與“0”的偏差值最小的多項(xiàng)式。且偏差值為1,對(duì)應(yīng)的交錯(cuò)點(diǎn)組為：［xi—cos—,i—0」，???，立 — 。因此，多項(xiàng)式

中在叵列上與“0”的偏差