共軛梯度法和基本性質

共軛梯度法及其基本性質預備知識定義1設心初是對稱正定矩陣。稱匹些是A-共軛的，是指是彼此共軛的芝向量，即［證明］若有一組數性*滿足則對一切一定有注意到就虹2是線性無關的.，由此得出:%=0.即所有的國=0.因此，座主性質2設向是彼此共軛的芝向量，即［證明］若有一組數性*滿足則對一切一定有注意到就虹2是線性無關的.，由此得出:%=0.即所有的國=0.因此，座主性質2設向量既「即…冶視是線性無關的向量組，則可通過它們的線性組合得出一組向量處次1廣"％是兩兩共軛的.性質1設有所如…八（幽E定是線性無關的。［證明］我們用構造法來證實上面的結論.Sm：令取容易驗證：&，蘆1廣"』符合性質2的要求.性質3設|為，兒…，殘|是兩兩A—共軛的，也氣是任意指定的向量，那么姻出發(fā):逐次沿方向砧，…還搜索求麗=2g的極小值，所得［證明］由下山算法可知，從園出發(fā)，沿國方向搜索，獲得從而

出發(fā)，依次性質4設出發(fā)，依次性質4設”挪/,"I|是兩兩A共軛的，則從任意指定的左芝沿的土"、外T搜索，所得序列阡”心滿足:其中曰是方程組(5.1.1)其中曰是方程組(5.1.1)的解.(2)［證明］(1)是性質3的直接推論，顯然成立.(2)由于|乩，西-1是兩兩A共軛的，故|知F/-%-】是線性無關的.所以對于向量|&一列可用|乩書/線性表出，即存在一組數

對比田和園的表達式可知，對比田和園的表達式可知，證明完畢性質4是性質3的直接推論.但它給出了一種求（5.1.1）的算法，這種算法稱之為共軛方向法.結合性質2,我們可以得到如下的性質5.如此進行下去，直到第n步:根據性質4可知，不論采用什么方法，只要能夠構造囹個兩兩A共軛的向量作為搜索方向，從任一初始向量出發(fā)，依次沿兩兩A共軛的方向進行搜索，經回步迭代后，便可得到正定方程組匹邑的解.

共軛梯度法算法步驟如下:［預置步］任意叫*舟I,計算脩7-生I,并令?。篒處/|指定算法終止常數撲，置虹=聽進入主步:［主步］(1)如果歐"I,終止算法，輸出|戰(zhàn)5，|：否則下行:(2)計算:(2)計算:(4)置"=把十1|，轉入(1).通常稱之為Krylov子空間.［證明］用歸納法.當時，因為PLF曰4二尸D-口□他口，凡二門+編如,Pori=rori=4（肖口一處）二尸口『口一Qoro^Pa=°因此定理的結論成立.現在假設定理的結論對舊成立，我們來證明其對頁也成立.利用等式脆1二/一 及歸納假設，有pXw=p"-勤氣=S0<:<k-l又由于故定理的結論（1）對由成立.利用歸納假定有疑血，…用二span{pOr--,pk}T而由（1）所證知，應與上述子空間正交，從而有定理的結論（2）對三!也成立.利用等式并利用歸納法假定和（2）所證之結論，就有

IP：如山二上EiS-切）十成藥為h,i二1處成立；而由網的定義得歹3也^=(0+S**Aa&=底1曲\-忒也^=。這樣，定理的結論（3）對電也成立.由歸納法假定知S*E就其6正+1）二乎做!虹&"??工與』進而于是g=傘R彌（工土,上+2）二中帛PW=膈+扁■#RE +2）=疑血）再注意到（2）再注意到（2）和（3）所證的結論表明，向量組廣"1,…刀+1都是線性無關的，因此定理的結論（4）對5同樣成立.定理證畢定理5.2.1表明，向量"辦…心!和樹0廣"」分別是Krylov子空間盛正司的正交基和共軛正交基.由此可見，共軛梯度法最多回步便可得到方程組的解園.因此，理論上來講，共軛梯度法是直接法.定理5.2.2用共軛梯度法計算得到的近似解園滿足

例X）例X）二血伽N）：x5 同(5.2.2)(5.2.3)其中|l■疽I,兄!是方程組由=M的解.k叫占相I是由（5.2.1）所定義的Krylov子空間.證明注意到：冼兀=”—iQ’&x一孔）|,貝^（5.2.2）和（5.2.3）是等價的，因此我們下面只證明（5.2.3）成立.假定共軛梯度法計算到回步出現那么有假定共軛梯度法計算到回步出現那么有=冊+沖"5+.T%iPt此外，對計算過程中的任一步E如二而+%處+…+淳3聲1卜1E財+尤（&岳先）.設圖是屬于|曲&（&%先）|的任一向量，則由定理5.2.1的（4）知，園可以表示為應二工口+知氣+ViPi+.??+Yjc-iPk-ik.-二二(％-丫口)胃口+怎］-片)召1+…+0*1-斥?)夕ai+〃曷+，,■+L戰(zhàn)二%興+…+知1久-1再利用定理5.2.1的（3）就可以推出I"-圳;=兇氣—外）？D+???+ 一/jt-i"）P卜i匕+||%A_+???+%/」￡

乏底孔十???+%*ilE=h-^X-于是定理得證.定理證畢由定理5.2.1,我們容易得出由此可得(5.2.4)另外，從理論上講，該迭代法經囹次迭代，便能得到精確解.但考慮到計算誤差，可以作為無限迭代算法進行計算，直到應可為止.從而，我們得到如下實用的共軛梯度算法：［預置步］任意網聶1計算脩7一玉，并令取：棚，?指定算法終止常數|倍利，置|4=。|，進入主步;:z j~~［主步］（1）計算：：孔出」 L|上1一氣-%刃乩（2）如果|岳】‘q,轉入（3）.否則，終止算法，輸出計算結果冬"萱（3）計算： 輕 （4）置|化：=把十1|，轉入（1）注：在算法［主步］中，引入變量S&4何及何=《】知|,可以簡化計算。結合程序設計的特點，共軛梯度法可改為如下實用形式：算法5-3-1（解對稱正定方程組：實用共軛梯度法）A二初■值^7=0,r=b-Ax,p=rwhilewhilewhilewhileifelseendend共軛梯度法作為一種實用的迭代法，它主要有下面的優(yōu)點:算法中，系數矩陣A的作用僅僅是用來由已知向量網產生向量MS,這不僅可充分利用A的稀疏性，而且對某些提供矩陣A較為困難而由已知向量網產生向量仁迫又十分方便的應用問題是很有益的；不需要預先估計任何參數就可以計算，這一點不像SOR等；每次迭代所需的計算，主要是向量之間的運算，便于并行化。5.2.3收斂性分析將共軛梯度法作為一種迭代法，它的收斂性怎樣呢？這是本節(jié)下面主要討論的問題:定理5.2.3如果月而且忡點㈤二"則共軛梯度法至多迭代匚同步即可得到方程組的精確解。證明注意到忡球咨=叫蘊含著子空間3皿虹應"??，甘昂二砂砌""5,???按昂的維數不會超過反EH,由定理5.2.1即知定理的結論成立。定理證畢定理5-2-3表明，若線性方程組（5?1?1）的系數矩陣與單位相關一個秩四的矩陣，而且四很小時，則共軛梯度法將會收斂得很快。定理5-2-4用共軛梯度法求得的區(qū)有如下的誤差估計其中忡=以為=|觀||爐||,證明由定理5-2-1可知，對任意的|券氣&（&岳瀏，有忘一匯二X.一扃十知％十巧盤』司十???十口*4口4=A1（月一Axq+亦們工丘|+e即元'廠］H 口）=H】（*）+ +口妣招'廣］蒞威R"o）=冼一1（項+巧11/4+占磚占' 就耽』*）光A&W=1十￡皿息父3 —77—1 I—I一I記 I,則獸々是常數項為1的四次實系數多項式。令也為所有常數項為1的次數不超過囹的實系數多項式的全體，則由定理5?2?2和引理5-1-1得g—“JLi二皿I"—"IL冒丘知十行化）J二尹梟件穌冊卜L牌小皿疽認JCJt rCJt—器陪IL占贈燃Jw*?-知其中』s不三…M 」是叵］的特征值。由Chebyshev多項式逼近定理及Chebyshev多項式的性質，定義在［-1,1］區(qū)間上的回次Chebyshev多項式：吐③二s’E呵是所有常數項為1的次數不超過網的實系數多項式中，在［-1,1］上與“0”的偏差值最小的多項式。且偏差值為1,對應的交錯點組為：［xi—cos—,i—0」，???，立 — 。因此，多項式

中在叵列上與“0”的偏差