第六章范數(shù)與極限

第6章范數(shù)與極限（normandlimit）理解向量范數(shù)、矩陣范數(shù)的概念;掌握幾種常用的范數(shù)；理解范數(shù)等價(jià)的定義，了解矩陣的譜半徑及其性質(zhì)。了解矩陣序列與極限的概念。了解矩陣的冪級(jí)數(shù)并掌握斂散性的基本判別方法。

對(duì)于n維線性空間，定義了內(nèi)積以后，向量就有了長(zhǎng)度（大小）、角度、距離等度量概念，這顯然是3維現(xiàn)實(shí)空間中相應(yīng)概念的推廣。利用公理化的方法，可以進(jìn)一步把向量長(zhǎng)度的概念推廣到范數(shù)?！?向量范數(shù)

定義1：設(shè)V是數(shù)域P上的線性空間，

V，

表示以

為自變量的的非負(fù)實(shí)值函數(shù)，如果它具有下列性質(zhì)：（3）三角不等式：即對(duì)任意兩個(gè)向量

，

V，恒有

(1)

非負(fù)性：當(dāng)

0,

>0，當(dāng)

=0時(shí)，

=0(2)

齊次性：即對(duì)任何實(shí)數(shù)k

P，

V，則稱

為向量

的范數(shù)，并稱定義了范數(shù)的空間為賦范線性空間Cn中幾個(gè)常用范數(shù)：（1）1-范數(shù)（2）2-范數(shù)（3）

-范數(shù)

設(shè)x=(x1,x2,…,xn)T

Cn,則在Cn上定義范數(shù)

關(guān)于p-范數(shù)定理1

Holder不等式定理3對(duì)任意向量x，由（*）式定義的||x||p是向量范數(shù)，且有1-范數(shù),2-范數(shù),

-范數(shù)都是p-范數(shù)的特殊情形；定理2Minkowski不等式（*）幾何意義:對(duì)任意,對(duì)應(yīng)于四種范數(shù)1,2,,p的閉單位圓

||x||=1的圖形分別為注：內(nèi)積空間定義的向量長(zhǎng)度等于這里的2-范數(shù)，稱為由內(nèi)積導(dǎo)出的范數(shù)，但范數(shù)不一定都是由內(nèi)積導(dǎo)出的。由已知的范數(shù)構(gòu)造新范數(shù)：定理4

設(shè)||·||

是Cm上的向量范數(shù)，A

Cm

n且rank(A)=n,則由

||x||

=||Ax||，x

Cn所定義的非負(fù)函數(shù)||·||

是Cn上的向量范數(shù)。構(gòu)造新范數(shù)定理5：有限維線性空間V上的任意兩個(gè)向量范數(shù)等價(jià)。稱范數(shù)||x||

，||x||

等價(jià)。定義2：在n維線性空間V上定義兩個(gè)向量范數(shù)||x||

，||x||

，若存在兩個(gè)正常數(shù)M

與m(M>m)使得對(duì)一切x

V，注

這個(gè)結(jié)論對(duì)無(wú)限維未必成立。另外，根據(jù)等價(jià)性，處理向量問(wèn)題（例如向量序列的斂散性）時(shí)，我們可以基于一種范數(shù)來(lái)建立理論，而使用另一種范數(shù)來(lái)進(jìn)行計(jì)算。等價(jià)范數(shù)對(duì)常用范數(shù)，容易驗(yàn)證下列不等式：

例1

計(jì)算C4的向量x=(3i,0,-4i,-12)T的1,2,

范數(shù)。解：||x||1=|3i|+|-4i|+|-12|=19||x||2=(xHx)1/2=[(3i)(-3i)+(-4i)(4i)+(-12)2]1/2=13||x||

=max(|3i|,|0|,|-4i|,|-12|)=12注：在同一線性空間中,不同定義的范數(shù)大小可能不同對(duì)任意

，

V，定義

與

之間的距離為

d(

，

)=||-

||稱為由范數(shù)||·||決定的距離。常用距離測(cè)度包括:歐氏距離Manhattan(曼哈頓)距離

Chebyshev(切比雪夫)距離距離例（模式識(shí)別中的模式分類問(wèn)題）

模式分類問(wèn)題指的是根據(jù)已知類型屬性的觀測(cè)樣本的模式向量s1,…sm，判斷未知類型屬性的模式向量x歸屬于哪一類模式。其基本思想是根據(jù)x與模式樣本向量si的相似度大小作出判斷。最簡(jiǎn)單的方法是用兩向量之間的距離來(lái)表示相似度，距離越小，相似度越大。最典型的是Euclidean距離:定義4

設(shè){x(k)}是Cn中的向量序列，其中

x(k)=(x1(k)，x2(k)，…,xn(k))T,如果當(dāng)k

時(shí)，x(k)的每一個(gè)分量xi(k)都有極限xi(i=1,2,…,n),則稱向量序列{x(k)}是收斂的，并且向量x=(x1，x2，…,xn)T稱為{x(k)}的極限，記為注

不同的向量范數(shù)可能具有不同的大小，但在各種范數(shù)下，向量序列的收斂問(wèn)題卻表現(xiàn)出簡(jiǎn)潔性和一致性。向量序列的極限定理3：向量序列{xk}依坐標(biāo)收斂于x*的充要條件是向量序列依范數(shù)收斂與依坐標(biāo)收斂是等價(jià)的。注：若賦范線性空間中任一收斂的向量序列的極限仍屬于此賦范線性空間，稱此空間為完備的賦范線性空間或Banach空間。我們常根據(jù)不同的要求選擇一種方便的范數(shù)來(lái)研究向量序列的收斂性問(wèn)題。1.（廣義）矩陣范數(shù)定義1（廣義）矩陣范數(shù)設(shè)A∈Cm×n，定義一個(gè)實(shí)值函數(shù)||A||，若滿足：

(1)非負(fù)性：||A||≥0，且||A||=0當(dāng)且僅當(dāng)A=0；(2)齊次性：||aA||=|a|||A||，a∈C；(3)三角不等式：||A+B||≤||A||+||B||，A,B∈Cm×n;則稱||A||為A的廣義矩陣范數(shù)?！?矩陣范數(shù)

例1

對(duì)于A=(aij)

Cm

n,都是廣義矩陣范數(shù)，稱為Frobenius范數(shù)，簡(jiǎn)稱為F-范數(shù)。定理1（等價(jià)性定理）：||·||

與||·||

是Cm

n,上的矩陣范數(shù)，則存在僅與||·||

，||·||

有關(guān)的正數(shù)d1

，d2

，使得

A

Cm

n

，即||·||

與||·||

等價(jià)。

2.相容矩陣范數(shù)考慮到矩陣乘法運(yùn)算的重要性，加入相容性條件。定義2

對(duì)任意兩個(gè)n階矩陣A、B，有則稱矩陣范數(shù)||·||是相容范數(shù)。定義2包含了矩陣范數(shù)與向量范數(shù)的相容性定義：例如矩陣的F-范數(shù)與向量的Euclid范數(shù)相容：即||Ax||2

||A||F

||x||2例1中的m1-范數(shù)，F(xiàn)-范數(shù)都是相容范數(shù)；注意，m

不具備相容條件；定理4：設(shè)||·||

是Cm

n上的相容矩陣范數(shù)，則在Cn存在與之相容的向量范數(shù)。矩陣不僅僅是向量，它還可以看成變換或算子。實(shí)際中，從算子或變換的角度來(lái)定義范數(shù)更加有用。下面對(duì)給定的向量范數(shù)，定義與之相容的矩陣范數(shù)3.算子范數(shù)定義3：設(shè)||·||

與||·||

分別是Cm與Cn上的兩個(gè)向量范數(shù)，對(duì)A

Cm

n

，令則||·||

,是Cm

n上的矩陣范數(shù)，且和||·||

與||·||

相容，即||AX||

||A||

,

||x||

稱該矩陣范數(shù)為Cm

n上的算子范數(shù)或由向量范數(shù)||·||

與||·||

誘導(dǎo)出的矩陣范數(shù)。定理5

Cn

n的算子范數(shù)是相容矩陣范數(shù)；定理6：設(shè)n階方陣A=(aij)n

n，則（Ⅰ）與相容的矩陣范數(shù)列和-范數(shù)（Ⅱ）與相容的矩陣范數(shù)譜范數(shù)（Ⅲ）與相容的矩陣范數(shù)行和范數(shù)即矩陣的1-范數(shù)，譜范數(shù)，

-范數(shù)都是由相應(yīng)的向量范數(shù)導(dǎo)出的矩陣范數(shù)。注：矩陣的m1-范數(shù)，m

-范數(shù)，F(xiàn)-范數(shù)不是算子范數(shù)(可由單位矩陣驗(yàn)證),但F-范數(shù)的優(yōu)點(diǎn)是當(dāng)A左乘或右乘酉矩陣后F-范數(shù)的值不變（酉不變性），所以F-范數(shù)也是常用的范數(shù)之一.注2：譜范數(shù)雖然不便于計(jì)算，但它有很多好性質(zhì)：對(duì)于m階酉矩陣U和n階酉矩陣V，有

||UAV||2=||A||2

（5）例

S={x

P2|||x||p=1}在矩陣作用下的效果分別為注：矩陣范數(shù)和特征值有個(gè)很重要的關(guān)系定理7

對(duì)任意的矩陣A

Cn

n，總有

(A)||A||其中，

(A)是A的譜半徑。即A的譜半徑不會(huì)超過(guò)A的任何一種范數(shù)。計(jì)算，，和。解

例1因?yàn)樗匝a(bǔ)充：Hilbert空間定義

完備的內(nèi)積空間V稱為Hilbert空間，記作H即內(nèi)積空間V按距離是完備的，亦是Banach空間。完備空間：一個(gè)度量空間中的任何Cauchy列都收斂在該空間內(nèi)，稱該空間是完備的；直觀上講，一個(gè)空間完備就是指“沒(méi)有孔”且“不缺皮”，兩者都是某種“不缺點(diǎn)”。沒(méi)有孔是指內(nèi)部不缺點(diǎn)，不缺皮是指邊界上不缺點(diǎn)。

設(shè){xn}是度量空間中的向量序列，如果對(duì)于任意的ε>0，存在自然數(shù)N，當(dāng)m,n>N時(shí)，d(xm,xn)<ε，稱{xn}是一個(gè)Cauchy列。補(bǔ)充：Hilbert空間Hilbert空間是有限維歐幾里得空間向無(wú)窮維的推廣；完備性使得微積分中的大部分概念都可以無(wú)障礙地推廣到希爾伯特空間中。希爾伯特空間為基于任意正交系上的多項(xiàng)式表示的傅立葉級(jí)數(shù)和傅立葉變換提供了一種有效的表述方式。舉例例1

在n維（實(shí)或復(fù)數(shù)）向量空間Rn中，

范數(shù)

按范數(shù)是完備的內(nèi)積空間，即Hilbert空間。定義內(nèi)積在中，定義內(nèi)積

（滿足三條公理），則按范數(shù)是完備的內(nèi)積空間——Hilbert空間例2范數(shù)L2[a,b]指的是平方可積函數(shù)的集合，按照函數(shù)的加法和數(shù)乘構(gòu)成線性空間：其一組基最常用的是三角函數(shù)系例3在定義內(nèi)積

（滿足三條公理）l2是Hilbert空間。稱為平方可和空間范數(shù)

是內(nèi)積空間U中的標(biāo)準(zhǔn)正交基

則對(duì)于

x

U，x在M上的投影并且

標(biāo)準(zhǔn)正交基的性質(zhì)1.設(shè)通常稱

x0的長(zhǎng)度為Bessel不等式。即x在M上的投影2.推廣到無(wú)窮維：是U中的標(biāo)準(zhǔn)正交基，則對(duì)

x

U有設(shè)3.最佳逼近定理設(shè)是U中的標(biāo)準(zhǔn)正交基，x

U，則對(duì)于任意一組數(shù)，恒有

（***）該定理說(shuō)明：U中