第五章 向量范數(shù)和矩陣范數(shù)

第五章向量范數(shù)和矩陣范數(shù)

對于實數(shù)和復(fù)數(shù)，由于定義了它們的絕對值或模，這樣我們就可以用這個度量來表示它們的大?。◣缀紊暇褪情L度），進而可以考察兩個實數(shù)或復(fù)數(shù)的距離。

對于維線性空間，定義了內(nèi)積以后，向量就有了長度（大?。?、角度、距離等度量概念，這顯然是3維現(xiàn)實空間中相應(yīng)概念的推廣。利用公理化的方法，可以進一步把向量長度的概念推廣到范數(shù)?！?、向量范數(shù)一、從向量的長度或模談起

，當(dāng)且僅當(dāng)時，等號成立。例1

復(fù)數(shù)

的長度或模指的是量顯然復(fù)向量的模具有下列三條性質(zhì)：

，當(dāng)且僅當(dāng)時，等號成立。顯然向量的模也具有下列三條性質(zhì)：例2

維歐氏空間中向量的長度或模定義為二、向量范數(shù)的概念定義3如果是數(shù)域上的線性空間，對中的任意向量，都有一個非負(fù)實數(shù)與之對應(yīng)，并且具有下列三個條件（正定性、正齊性和三角不等式）：則稱是向量的向量范數(shù)，稱定義了范數(shù)的線性空間為賦范線性空間。拓?fù)淇臻g線性空間Hausdorff空間賦范空間

距離空間(度量空間)拓?fù)渚€性空間完備距離線性空間距離線性空間內(nèi)積空間Hilbert空間Banach空間歐氏空間和各類空間的層次關(guān)系例4

設(shè)是內(nèi)積空間，則由定義的是上的向量范數(shù)，稱為由內(nèi)積導(dǎo)出的范數(shù)。這說明范數(shù)未必都可由內(nèi)積導(dǎo)出。例如后面介紹的和。

例5

在賦范線性空間中，定義任意兩向量之間的距離為則稱此距離為由范數(shù)導(dǎo)出的距離。此時按此式定義了距離的滿足度量空間的距離三公理（對稱性、三角不等式和非負(fù)性），所以賦范線性空間按由范數(shù)導(dǎo)出的距離構(gòu)成一個特殊的度量空間。三、常用的向量范數(shù)例6

對任意，由定義的是上的向量范數(shù)，稱為2-范數(shù)或范數(shù)，也稱為Euclid范數(shù)。例7

對任意，由定義的是上的向量范數(shù)，稱為p-范數(shù)或范數(shù)。例8

對任意，由定義的是上的向量范數(shù)，稱為1-范數(shù)或范數(shù)或和范數(shù)，也被風(fēng)趣地稱為Manhattan范數(shù)。特別地，p=1時，有遺憾的是，當(dāng)時，由定義的不是上的向量范數(shù)。因為時，取，則例9

對任意，由定義的是上的向量范數(shù)，稱為

-范數(shù)或范數(shù)或極大范數(shù)。在廣義實數(shù)范圍內(nèi)，P能否取到正無窮大呢？具體而言，如何計算這種范數(shù)呢？也就是證明：驗證是向量范數(shù)顯然很容易。下證。令，則有由極限的兩邊夾法則，并注意到，即得欲證結(jié)論。例10

計算向量的p范數(shù)，這里解：%ex501.mi=sqrt(-1);a=[3*i,0,-4*i,-12]';norm(a),norm(a,1),norm(a,'inf')ans=13ans=19ans=12這些范數(shù)在幾何上如何理解呢？例11

對任意，對應(yīng)于四種范數(shù)的閉單位圓的圖形分別為例12

對任意，由定義的是上的向量范數(shù)，稱為范數(shù)。特別地，范數(shù)、范數(shù)和范數(shù)分別為定義的是上的向量范數(shù)，稱為加權(quán)范數(shù)或橢圓范數(shù)。例13

若矩陣為Hermite正定矩陣，則由對于任意，有當(dāng)時，；當(dāng)時由對稱正定知，即。由于為Hermite正定矩陣，故存在酉矩陣，使得從而有這里的特征值都為正數(shù)。此時因此對任意，這從幾何上可以理解成求可逆變換的像的“長度”。這說明只要運算成立即可，因此對矩陣的要求可放寬為列滿秩矩陣。如果，此時，這就是加權(quán)范數(shù)或橢圓范數(shù)名稱的由來。一般地，由于是Hermite正定矩陣，從而存在Cholesky分解，即存在可逆矩陣（未必是酉矩陣），使得，因此為李雅普諾夫（Lyapunov）函數(shù)，這里是正定對稱矩陣。大家已經(jīng)知道，此函數(shù)是討論線性和非線性系統(tǒng)穩(wěn)定性的重要工具。在現(xiàn)代控制理論中，稱二次型函數(shù)例14（模式識別中的模式分類問題）模式分類的問題指的是根據(jù)已知類型屬性的觀測樣本的模式向量，判斷未知類型屬性的模式向量歸屬于哪一類模式。其基本思想是根據(jù)與模式樣本向量的相似度大小作出判斷。最簡單的方法是用兩向量之間的距離來表示相似度，距離越小，相似度越大。最典型的是Euclidean距離其他距離測度還包括以及與橢圓范數(shù)類似的Mahalanobis距離：這里是從正態(tài)母體中抽取的兩個樣本。四、向量范數(shù)的性質(zhì)定理15

Euclid范數(shù)是酉不變的，即對任意酉矩陣以及任意，均有這個定理的結(jié)論是顯然的，因為酉變換保持向量的內(nèi)積不變，自然也保持了Euclid意義下的幾何結(jié)構(gòu)（長度、角度或范數(shù)等）不變。注意這個結(jié)論對無限維未必成立。另外，根據(jù)等價性，處理向量問題（例如向量序列的斂散性）時，我們可以基于一種范數(shù)來建立理論，而使用另一種范數(shù)來進行計算。定理16有限維線性空間上的不同范數(shù)是等價的，即對上定義的任意兩種范數(shù)，必存在兩個任意正常數(shù)，使得§2、矩陣范數(shù)

向量是特殊的矩陣，矩陣可以看成一個維向量，因此自然想到將向量范數(shù)推廣到矩陣范數(shù)。一、矩陣范數(shù)的概念定義1

對中的任意矩陣，都有一個非負(fù)實數(shù)與之對應(yīng)，并且具有下列三個條件（正定性、正齊性和三角不等式,矩陣乘法相容性）：則稱是矩陣的矩陣范數(shù)。(4)(矩陣乘法相容性)例2

對任意，由定義的是上的矩陣范數(shù)，稱為范數(shù)。例3

對任意，由定義的是上的（廣義）矩陣范數(shù)，稱為范數(shù)。例4

對任意，由定義的是上的矩陣范數(shù)，稱為范數(shù)，Euclid范數(shù)或Frobenius范數(shù)(F—范數(shù))。二、算子范數(shù)和范數(shù)的相容性矩陣不僅僅是向量，它還可以看成變換或算子。實際中，從算子或變換的角度來定義范數(shù)更加有用。定義5

對中的任意矩陣，用一個非負(fù)實數(shù)表示對于任意向量，可以“拉伸”向量的最大倍數(shù)，即使得不等式成立的最小的數(shù)。稱為范數(shù)和誘導(dǎo)出的矩陣范數(shù)或算子范數(shù)。

由矩陣范數(shù)的正齊性可知的作用是由它對單位向量的作用所決定，因此可以等價地用單位向量在下的像來定義矩陣范數(shù)，即從幾何上看，矩陣范數(shù)反映了線性映射把一個向量映射為另一個向量，向量的“長度”縮放的比例

的上界。

而且考慮到矩陣乘法的重要地位，因此討論矩陣范數(shù)時一般附加“范數(shù)相容性”條件（這里的范數(shù)一般要求是同類的）：

注意到即可以證明，前面給出的矩陣范數(shù)都滿足“相容性條件”，即成立但是矩陣范數(shù)不滿足“相容性條件”。例如對于矩陣就有要使矩陣范數(shù)滿足“相容性條件”，則可以修正其定義為：

在“相容性條件”中，如果而且范數(shù)與范數(shù)相同時，即如果有則稱矩陣范數(shù)與向量范數(shù)是相容的。證明：定理6上的矩陣F-范數(shù)與上的向量2-范數(shù)相容。

根據(jù)算子范數(shù)的定義，當(dāng)向量范數(shù)分別為時，我們可誘導(dǎo)出相應(yīng)的相容矩陣范數(shù)。設(shè)任意矩陣，則1-范數(shù)單位球

在下的像中的任意向量滿足從而如果，則選取，此時由，得因此類似地可得，

實際上，這些誘導(dǎo)矩陣范數(shù)具有如下的表示定理。定理7

對中的任意矩陣，有

最大列和

最大行和

最大譜證明：

所以是半正定Hermite矩陣,因此特征值全部為非負(fù)實數(shù)。設(shè)為

并設(shè)對應(yīng)的兩兩互相正交且2-范數(shù)都為1的特征向量為，那么，對于任意的單位2-范數(shù)向量，必成立

由于因此有

所以因此成立

另外，由于，而且同樣給出這些范數(shù)在幾何上的理解。例8

求矩陣的范數(shù)（），并考察對應(yīng)于的三種向量范數(shù)的閉單位球在矩陣作用下的效果。%ex502.mA=[12;02];

norm(A),norm(A,1),norm(A,'inf')ans=2.9208ans=4ans=3定理9上的譜范數(shù)具有下列性質(zhì)：三、矩陣范數(shù)的一些性質(zhì)(1)設(shè)有使，令，則有證明：(2)(3)設(shè)有使，則定理10

上的矩陣F--范數(shù)和譜范數(shù)都是酉不變的，即對任意酉矩陣，恒有令則即對于譜范數(shù)的情形，利用定義即可。對于譜范數(shù)，這個定理的結(jié)論可以推廣到列正交酉矩陣，即的情形，此時仍然成立利用定理9可以證明這個推廣結(jié)論?！?、范數(shù)的應(yīng)用

長度和距離在實分析和復(fù)分析中的應(yīng)用，我們已經(jīng)有充分認(rèn)識，而范數(shù)是長度和距離的推廣，因此范數(shù)作為一種推廣的度量，由于其抽象性和概括性，其應(yīng)用范圍自然也隨之?dāng)U展。至少在矩陣分析和數(shù)值線性代數(shù)領(lǐng)域，范數(shù)有著深刻的應(yīng)用。一、譜半徑與矩陣范數(shù)根據(jù)矩陣的誘導(dǎo)范數(shù)的含義，結(jié)合特征值，設(shè)為的任意特征對，則從而這說明矩陣特征值的模都不超過它的范數(shù)。定義1

設(shè)的特征值為，稱為矩陣的譜半徑。定理2

對