向量與矩陣的范數(shù)PPT課件

1、1/353.5 向量與矩陣的范數(shù)向量與矩陣的范數(shù)一、. 向量范數(shù)向量范數(shù)： 對(duì)對(duì)n維實(shí)空間維實(shí)空間Rn中中任一向量任一向量X ，按一定規(guī)則有一按一定規(guī)則有一確定的實(shí)數(shù)與其相對(duì)應(yīng)，該實(shí)數(shù)記為確定的實(shí)數(shù)與其相對(duì)應(yīng)，該實(shí)數(shù)記為|X|，若若|X|滿足滿足下面三個(gè)性質(zhì)：下面三個(gè)性質(zhì)：(1)(非負(fù)性非負(fù)性)|X| 0，|X|=0當(dāng)且僅當(dāng)當(dāng)且僅當(dāng)X=0。(2)(齊次性齊次性)對(duì)任意實(shí)數(shù)對(duì)任意實(shí)數(shù) ，| X|=| | |X|。(3)(三角不等式三角不等式)對(duì)任意向量對(duì)任意向量Y Rn，|X+Y| |X|+|Y| 則稱該實(shí)數(shù)則稱該實(shí)數(shù)|X|為向量為向量X的范數(shù)的范數(shù)2/35幾種常用的向量范數(shù)幾種常用的向量范數(shù)：

2、設(shè)：設(shè)X=(x1,x2,.,xn)T（1）向量的）向量的1范數(shù)：范數(shù)：|.|2111nniixxxxX（2）向量的）向量的2范數(shù)：范數(shù)：22221122.|nniixxxxX（3）向量的）向量的范數(shù)：范數(shù)：|max|1inixX（4）向量的）向量的p范數(shù)：范數(shù)：pnipipxX1|(1p)3/35例例 ：設(shè)：設(shè) x=(1 , -4, 0, 2)T 求它的向量范數(shù)求它的向量范數(shù)nkkxX11niixX122|max|1inixXpnipipxX1|=721=4ppp241注：前三種范數(shù)都是注：前三種范數(shù)都是p范數(shù)的特殊情況。其中范數(shù)的特殊情況。其中ppXX|lim|4/35向量范數(shù)的連續(xù)性向量范

3、數(shù)的連續(xù)性:定理定理3.3 設(shè)設(shè)f(X)=|X|為為Rn上的任一向量范數(shù)上的任一向量范數(shù),則則f(X)為為X的分量的分量x1,x2,xn的連續(xù)函數(shù)的連續(xù)函數(shù).定理定理3.4 若若|X|p與與|X|q為為Rn上上任意兩種范數(shù)任意兩種范數(shù)，則，則存在存在C1，C20，使得對(duì)任意，使得對(duì)任意XRn，都有：，都有： C1 |X|p |X|q C2 |X|p（證明略）（證明略）注：同樣有下列結(jié)論：存在注：同樣有下列結(jié)論：存在C3,C40 使得：使得： C3 |X|q |X|p C4 |X|q向量范數(shù)的等價(jià)性向量范數(shù)的等價(jià)性注：上述性質(zhì)，稱為向量范數(shù)的注：上述性質(zhì)，稱為向量范數(shù)的等價(jià)性等價(jià)性。也就是說，。

4、也就是說， Rn上任意上任意兩種范數(shù)都是等價(jià)的。兩種范數(shù)都是等價(jià)的。在討論向量序列的收斂性時(shí)要用到向量在討論向量序列的收斂性時(shí)要用到向量范數(shù)的等價(jià)性。范數(shù)的等價(jià)性。5/35向量序列的收斂問題向量序列的收斂問題定義定義：假定給定了：假定給定了Rn空間中的向量序列空間中的向量序列X(1),X(2),.,X(k),.，簡(jiǎn)記為，簡(jiǎn)記為X(k)，其中，其中X(k)=(x1(k),x2(k),.,xn(k)T，若，若X(k)的每一個(gè)分的每一個(gè)分量量xi(k)都存在極限都存在極限xi，即，即則稱向量則稱向量X= (x1，x2，.，xn)T為向量序列為向量序列X(k)的極限，或者說向量序列的極限，或者說向量序

5、列X(k)收斂收斂于向量于向量X，記為，記為)(lim)()(kXXXXkkk或),.,2 , 1(lim)(nixxikik6/35 knkkkxxxX21x1x2xn XxxxxxxXnknkkk2121(k)(k)7/35例例：設(shè)：設(shè))(2)(1)(11kkkxxkkkX解解: 顯然，當(dāng)顯然，當(dāng)k時(shí)，時(shí)，01)(1kxk11)(2kkxk10lim)(kkX8/35注：顯然有：注：顯然有：0limlim)()(XXXXkkkk0|limlim)()(XXXXkkkk由無窮范數(shù)的定義知：|max|1inixX定理定理3.5 在空間在空間Rn中，向量序列中，向量序列X(k)收斂于向量收斂于向

6、量X的充要條件是對(duì)的充要條件是對(duì)X的任意范數(shù)的任意范數(shù)|，有：，有：0|lim)(XXkk9/35定理定理3.5 在空間在空間Rn中，向量序列中，向量序列X(k)收斂于向收斂于向量量X的充要條件是對(duì)的充要條件是對(duì)X的任意范數(shù)的任意范數(shù)|，有：，有：0|lim)(XXkk二、二、矩陣范數(shù)矩陣范數(shù)：設(shè)：設(shè)A是是n n 階矩陣，階矩陣，ARnnXRn， |X|為為Rn中的某范數(shù)，稱中的某范數(shù)，稱|AX|X|AX|nnRX,|X|X|RX10maxmax為矩陣為矩陣A的的從屬于從屬于該該向量范數(shù)向量范數(shù)的的范數(shù)范數(shù)，或稱，或稱為矩陣為矩陣A的的算子算子，記為，記為|A|。|A|=10/35幾種常用的矩

7、陣范數(shù)幾種常用的矩陣范數(shù)常用的矩陣范數(shù)有常用的矩陣范數(shù)有A的的1范數(shù)、范數(shù)、 A的的2范數(shù)、范數(shù)、 A的的范數(shù)，可以證明下列定理范數(shù)，可以證明下列定理:定理定理3.6 設(shè)設(shè)ARnn，XRn，則，則|max|max|) 1 (11110|1niijnjXRXaXAXAn(又稱為又稱為A的的列范數(shù)列范數(shù));(|max|)2(max220|2）AAXAXATXRXn(為為ATA的特的特征值中絕對(duì)征值中絕對(duì)值最大者值最大者)|max|max|) 3(110|njijniXRXaXAXAn(又稱為又稱為A的的行范數(shù)行范數(shù))列元素絕對(duì)值之列元素絕對(duì)值之和的最大值和的最大值行元素絕行元素絕對(duì)值之和對(duì)值之和的

8、最大值的最大值11/35例：設(shè)例：設(shè)A=4321求求A的各種范數(shù)的各種范數(shù)解：解：|A|1=6，|A|=746. 522115|2A20141410AA|E-AA|=02-30+4=0niijnjFaA121弗羅貝尼烏斯弗羅貝尼烏斯 (Frobenius)范數(shù)范數(shù) 簡(jiǎn)稱簡(jiǎn)稱F范數(shù)范數(shù)477. 530|FA注：注：12/35 n n1 1i i2 2i ij jn n1 1j jF FT Tm ma ax x2 2n ni i1 1n n1 1i ii ij jn nj j1 11 1) )( (行行范范數(shù)數(shù)列列范范數(shù)數(shù)aAAAAaAaAaaaaaaaaaAn1jijnnn2n12n22211n

9、1211maxmax設(shè)弗羅貝尼烏斯弗羅貝尼烏斯 (Frobenius)范數(shù)簡(jiǎn)稱范數(shù)簡(jiǎn)稱F范數(shù)范數(shù)幾種常用的矩陣范數(shù)：幾種常用的矩陣范數(shù)：13/35Matlab中計(jì)算矩陣的范數(shù)的命令中計(jì)算矩陣的范數(shù)的命令(函數(shù)函數(shù))：(1) n = norm(A) 矩陣矩陣A的譜范數(shù)的譜范數(shù)(2范數(shù)范數(shù)), = AA的最大特征值的算術(shù)根的最大特征值的算術(shù)根 . (2) n = norm(A,1) 矩陣矩陣A的列范數(shù)（的列范數(shù)（1-范數(shù)）范數(shù)） 等等 于于A的最大列之和的最大列之和. (3)n = norm(A,inf) 矩陣矩陣A的行范數(shù)的行范數(shù)(無窮范數(shù)無窮范數(shù)) 等于等于A的最大行之和的最大行之和. (4)

10、n = norm(A, fro ) 矩陣矩陣A的的Frobenius范數(shù)范數(shù). 087654321A14/35例例6. 計(jì)算矩陣計(jì)算矩陣A的各種范數(shù)的各種范數(shù)12342341A=34124129n1=norm(A,1), n2=norm(A),n3=norm(A,inf)，n4=norm(A, fro)解：解：A=1,2,3,4;2,3,4,1;3,4,1,2;4,1,2,9;n1=16，n2=12.4884，n3=16，n4=13.856415/35矩陣范數(shù)的性質(zhì)矩陣范數(shù)的性質(zhì)：（1）對(duì)任意）對(duì)任意ARnn,有有|A|0，當(dāng)且僅當(dāng)，當(dāng)且僅當(dāng)A=0時(shí)，時(shí)，|A|=0.（2）|A|=|A|（為任

11、意實(shí)數(shù)）為任意實(shí)數(shù)）（3）對(duì)于任意）對(duì)于任意A、B Rnn ，恒有，恒有 |A+B| |A|+|B|.（4）對(duì)于矩陣對(duì)于矩陣A Rnn，X Rn ，恒有：恒有： |AX| |A| |X|.（5）對(duì)于任意對(duì)于任意A、B Rnn 恒有恒有 |AB| |A| |B| 16/35譜半徑：譜半徑： 設(shè)設(shè) n n 階矩陣階矩陣A的特征值為的特征值為 i(i=1,2,3n),則則稱稱 (A)=MAX | i| 為矩陣為矩陣A的譜半徑的譜半徑. 1 i n 163053064A例例5.求矩陣求矩陣 的譜半徑的譜半徑 2)A(mmAA)()(譜半徑譜半徑=A的特征值中絕對(duì)值的最大者的特征值中絕對(duì)值的最大者)2(

12、) 1(2AE解解:17/35定理定理3.7設(shè)設(shè)A為任意為任意n階方陣，則對(duì)任意矩陣范階方陣，則對(duì)任意矩陣范數(shù)數(shù)|A|，有：，有： (A)|A|矩陣范數(shù)與譜半徑之間的關(guān)系為矩陣范數(shù)與譜半徑之間的關(guān)系為: (A) |A|證證:設(shè)設(shè)為為A的任意一個(gè)特征值的任意一個(gè)特征值, X為對(duì)應(yīng)的特征向量為對(duì)應(yīng)的特征向量A X = X兩邊取范數(shù)兩邊取范數(shù),得得:| A X | = | X | =| | | X | | | X |= | X |= | A X | | A | | X |由由X 0 ,所以所以 | X | 0 ,故有故有: | | | A | 所以特征值的最大值所以特征值的最大值|A|，即，即(A)

13、|A|18/35定理定理3.7 設(shè)設(shè)A為任意為任意n階方陣，則對(duì)任意階方陣，則對(duì)任意矩陣范數(shù)矩陣范數(shù)|A|，有：，有： (A)|A|定理定理3.8 設(shè)設(shè)A為為n階階對(duì)稱方陣對(duì)稱方陣，則，則有有: |A|2= (A)()()()(|222AAAAAATATA=A219/35矩陣序列的收斂性矩陣序列的收斂性定義定義 設(shè)設(shè)Rnn中有矩陣序列中有矩陣序列A(k)|A(k)=(aij(k)，若若,.,2 , 1;,.,2 , 1lim)(njniaaijkijk則稱矩陣序列則稱矩陣序列A(k)收斂于矩陣收斂于矩陣A=(aij)，記為，記為AAkk)(lim kkkkkaaaaA22211211a11a2

14、1a12a22如如20/35 kkkkkaaaaA22211211a11a21a12a22 2221121122211211aaaaaaaaAkkkkk則有則有0limlim)()(AAAAkkkk21/35關(guān)于矩陣序列收斂的性質(zhì)：關(guān)于矩陣序列收斂的性質(zhì)：定義定義 設(shè)設(shè)ARnn中，稱中，稱|A-B|為為A與與B之間的之間的距離距離,其中其中|A|為為Rnn上的某種范數(shù)。上的某種范數(shù)。定理定理3.10 設(shè)設(shè)A(0) ，A(1) ，.，A(k)，.為為Rnn上上的一個(gè)的一個(gè)矩陣序列，矩陣序列矩陣序列，矩陣序列A(k)收斂于矩陣收斂于矩陣A的充要條件是存在的充要條件是存在A的某種范數(shù)的某種范數(shù)|A|

15、，使得：，使得：0|lim)(AAkk即即0|limlim)()(AAAAkkkk定理定理3.11 任意任意ARnn，有，有1)(0limAAmm(證明略證明略)22/35三、方程組的性態(tài)和條件數(shù)三、方程組的性態(tài)和條件數(shù)線性方程組解對(duì)系數(shù)的敏感性線性方程組解對(duì)系數(shù)的敏感性（誤差分析）（誤差分析）這種解依賴于方程組系數(shù)的誤差這種解依賴于方程組系數(shù)的誤差 A及及 b的問的問題，稱為題，稱為線性方程組解對(duì)系數(shù)的敏感性。線性方程組解對(duì)系數(shù)的敏感性。對(duì)于線性方程組對(duì)于線性方程組A X = b來說，由于觀測(cè)或計(jì)算等原來說，由于觀測(cè)或計(jì)算等原因，線性方程組兩端的系數(shù)因，線性方程組兩端的系數(shù)A和和b都帶有誤差

16、都帶有誤差 A和和 b，這樣實(shí)際建立的方程組是近似方程組這樣實(shí)際建立的方程組是近似方程組(A+ A)(X+ X)=b+ b。對(duì)近似方程組求出的解是原。對(duì)近似方程組求出的解是原問題的真解問題的真解X加上誤差加上誤差 X,即即X+ X。而。而 X是由是由 A及及 b引起的，它的大小將直接影響所求解的可靠性。引起的，它的大小將直接影響所求解的可靠性。23/35121001. 22121xxxx120002. 1001. 22121xxxx00002. 0b絕對(duì)誤差絕對(duì)誤差例：方程組例：方程組此方程組的準(zhǔn)確解為此方程組的準(zhǔn)確解為x1=0, x2=-1?，F(xiàn)將其右。現(xiàn)將其右端加以微小的擾動(dòng)使之變?yōu)椋憾思右?/p>

17、微小的擾動(dòng)使之變?yōu)椋航?jīng)計(jì)算可得它的解為經(jīng)計(jì)算可得它的解為x1=2, x2=-3.這兩個(gè)方程組的解相差很大，說明方程組的這兩個(gè)方程組的解相差很大，說明方程組的解對(duì)常數(shù)項(xiàng)解對(duì)常數(shù)項(xiàng)b的擾動(dòng)的擾動(dòng)很敏感。很敏感。24/35相對(duì)誤差關(guān)系式：設(shè)有方程組相對(duì)誤差關(guān)系式：設(shè)有方程組 AX=b (A是可是可逆矩陣逆矩陣,b0)1）僅常數(shù)項(xiàng)有誤差的情形）僅常數(shù)項(xiàng)有誤差的情形:設(shè)常數(shù)項(xiàng)設(shè)常數(shù)項(xiàng)b有擾動(dòng)有擾動(dòng)b,則相應(yīng)的解為則相應(yīng)的解為X+X，即，即 A（X+X）=b+bbbAA 1則有則有這說明常數(shù)項(xiàng)的相對(duì)誤差這說明常數(shù)項(xiàng)的相對(duì)誤差 在解中放大了在解中放大了|A-1| |A|倍。倍。bb解的相解的相對(duì)誤差對(duì)誤差常

18、數(shù)項(xiàng)的相常數(shù)項(xiàng)的相對(duì)誤差對(duì)誤差25/35AAAAAAAA11111|1|2）僅系數(shù)矩陣有誤差的情形）僅系數(shù)矩陣有誤差的情形:設(shè)方程組的系數(shù)設(shè)方程組的系數(shù)A有擾動(dòng)有擾動(dòng)A，則相應(yīng)的解為，則相應(yīng)的解為X+X，即，即 ( A+A) (X+X) =bAAAA11|X這說明系數(shù)的相對(duì)誤差這說明系數(shù)的相對(duì)誤差 在解中也放大了在解中也放大了|A-1| |A|倍。倍。AA26/35bbAAAA111一般情形一般情形3)常數(shù)項(xiàng)和系數(shù)矩陣都有誤差的情形常數(shù)項(xiàng)和系數(shù)矩陣都有誤差的情形: 設(shè)方程組設(shè)方程組的系數(shù)的系數(shù)A有擾動(dòng)有擾動(dòng)A，常數(shù)項(xiàng)，常數(shù)項(xiàng)b有擾動(dòng)有擾動(dòng)b，則相應(yīng)，則相應(yīng)的解為的解為X+X，即，即 可推得：可

19、推得：與與|A-1|A|有關(guān)有關(guān)( A+A) (X+X) =b+ b27/35由上面關(guān)系式可看到，帶有擾動(dòng)的近似方程組中由上面關(guān)系式可看到，帶有擾動(dòng)的近似方程組中,擾動(dòng)的大小直接影響著所求解的相對(duì)誤差，而擾動(dòng)的大小直接影響著所求解的相對(duì)誤差，而解的相對(duì)誤差都與解的相對(duì)誤差都與|A-1|A|有關(guān)有關(guān),故可作如下定義故可作如下定義：定義定義：設(shè)：設(shè)A非奇異，稱非奇異，稱|A-1| |A| 為矩陣為矩陣A的條件數(shù)的條件數(shù),記為記為Cond (A)，即，即Cond (A)= |A-1|A|.當(dāng)當(dāng)cond(A)1，則方程組稱為，則方程組稱為“病態(tài)病態(tài)”的；的；當(dāng)當(dāng)cond(A)較小時(shí)，則方程組稱為較小時(shí)

20、，則方程組稱為“良態(tài)良態(tài)”的的。 方程組的系數(shù)矩陣發(fā)生微小擾動(dòng)，引起方程方程組的系數(shù)矩陣發(fā)生微小擾動(dòng)，引起方程組性質(zhì)上的變化，這是方程組本身的組性質(zhì)上的變化，這是方程組本身的“條件問題條件問題”。28/35通常使用的條件數(shù)有：通常使用的條件數(shù)有：（1）cond(A)=|A-1| |A|，（2）cond(A)2=|A-1| 2 |A|2 當(dāng)當(dāng)A為對(duì)稱矩陣時(shí)，為對(duì)稱矩陣時(shí)，.)()(minmaxAAAATTcond(A)2,|minmax（這里（這里max與與min分別是分別是A的絕對(duì)值最大和絕的絕對(duì)值最大和絕對(duì)值最小的特征值）對(duì)值最小的特征值）cond(A)2.minmax當(dāng)當(dāng)A為正定矩陣時(shí)，為

21、正定矩陣時(shí)，cond(a,p)p=1,2,inf,frocond(a,1)cond(a,2)cond(a,inf)cond(a,fro)29/35121001. 22121xxxx120002. 1001. 22121xxxx00002. 0bCond (A)可反映出方程組解對(duì)系數(shù)的敏感性。可反映出方程組解對(duì)系數(shù)的敏感性。我們通過下面的例子加以理解。我們通過下面的例子加以理解。絕對(duì)誤差絕對(duì)誤差這兩個(gè)方程組的解相差很大，說明方程組的解對(duì)常數(shù)這兩個(gè)方程組的解相差很大，說明方程組的解對(duì)常數(shù)項(xiàng)項(xiàng)b的擾動(dòng)很敏感。同時(shí)注意到的擾動(dòng)很敏感。同時(shí)注意到Cond (A)1.2 104 ,可可見見條件數(shù)很大條件數(shù)

22、很大,因而是病態(tài)方程組因而是病態(tài)方程組.例例:方程組方程組現(xiàn)將其右端加以微小的擾動(dòng)使之變?yōu)椋含F(xiàn)將其右端加以微小的擾動(dòng)使之變?yōu)椋?經(jīng)計(jì)算可得它的準(zhǔn)確解為經(jīng)計(jì)算可得它的準(zhǔn)確解為x1=2, x2=-3.準(zhǔn)確解為準(zhǔn)確解為x1=0, x2=-130/35一般來說，方程組的條件數(shù)越小，求得的解一般來說，方程組的條件數(shù)越小，求得的解就越可靠；反之，解的可靠性就越差。就越可靠；反之，解的可靠性就越差。 病態(tài)方程組的求解問題：病態(tài)方程組的求解問題：首先考慮怎樣判斷方程組是否屬于病態(tài)方程組。首先考慮怎樣判斷方程組是否屬于病態(tài)方程組。設(shè)方程組設(shè)方程組Ax=b的系數(shù)矩陣的系數(shù)矩陣A非奇異，計(jì)算非奇異，計(jì)算A的條的條件

23、數(shù)，是判斷病態(tài)方程組的可靠方法。但在實(shí)際件數(shù)，是判斷病態(tài)方程組的可靠方法。但在實(shí)際問題中，當(dāng)方程組的規(guī)模較大時(shí)，計(jì)算條件數(shù)的問題中，當(dāng)方程組的規(guī)模較大時(shí)，計(jì)算條件數(shù)的工作量很大，甚至超過了求解方程組的計(jì)算量。工作量很大，甚至超過了求解方程組的計(jì)算量。一般采用下列方式，初步進(jìn)行直觀的判斷。一般采用下列方式，初步進(jìn)行直觀的判斷。31/351）當(dāng)當(dāng)det(A)相對(duì)來說很小相對(duì)來說很小,或者或者A的某些行的某些行（或列）近似線性相關(guān)，（或列）近似線性相關(guān)，Ax=b可能病態(tài)可能病態(tài); 如果確定待解的方程組如果確定待解的方程組Ax=b是一個(gè)病態(tài)方程是一個(gè)病態(tài)方程組組,則數(shù)值求解必須小心，選擇合適的方法，否

24、則則數(shù)值求解必須小心，選擇合適的方法，否則難以達(dá)到要求的精確度。難以達(dá)到要求的精確度。一般方法有：一般方法有：2）當(dāng)系數(shù)矩陣當(dāng)系數(shù)矩陣A中元素的絕對(duì)值相差很大中元素的絕對(duì)值相差很大且無規(guī)則，且無規(guī)則， Ax=b可能病態(tài)；可能病態(tài)；3）如果采用如果采用Gauss選主元消去法求解，在選主元消去法求解，在消元過程中出現(xiàn)小主元，消元過程中出現(xiàn)小主元， Ax=b可能病態(tài)；可能病態(tài)；4）求解方程組時(shí)，出現(xiàn)一個(gè)很大的解，求解方程組時(shí)，出現(xiàn)一個(gè)很大的解， Ax=b可能病態(tài)?？赡懿B(tài)。32/35方法方法1 采用盡可能高精度的運(yùn)算，例如雙精度或多精采用盡可能高精度的運(yùn)算，例如雙精度或多精度，以改善和減輕矩陣病態(tài)的

25、影響，但此時(shí)的計(jì)算量度，以改善和減輕矩陣病態(tài)的影響，但此時(shí)的計(jì)算量將大大增大。將大大增大。例例 方程組方程組 1 1/2 1/3 1/41/2 1/3 1/4 1/51/3 1/4 1/5 1/61/4 1/5 1/6 1/7x1x2x3x425/1277/6057/60319/420=它的精解為它的精解為 x=1111分別用分別用3位和位和5位有效數(shù)字舍入運(yùn)算的位有效數(shù)字舍入運(yùn)算的消去法求解，得到的解分別為消去法求解，得到的解分別為x=(0.988，1.42，-0.428, 2.10)T 和和x=(1.0000，0.99950，1.0017, 0.99900)T顯然后者的精度大大提高了顯然后者的精度大大提高了33/35方法方法2 采用豫處理，采用豫處理，降低降低矩陣矩陣A的的條件數(shù)條件數(shù)，以改善方程組的病態(tài)程度。以改善方程組的病態(tài)程度。例如當(dāng)系數(shù)矩陣?yán)绠?dāng)系數(shù)矩陣A元素的數(shù)量級(jí)差別很大時(shí)，可