第二章內(nèi)積空間

1、第二章第二章 內(nèi)積空間內(nèi)積空間 當向量元素在復數(shù)域內(nèi)取值時，歐氏空間當向量元素在復數(shù)域內(nèi)取值時，歐氏空間就被推廣到了就被推廣到了。許多歐氏空間中的定義。許多歐氏空間中的定義和性質(zhì)幾乎可以和性質(zhì)幾乎可以“平滑地平滑地”推廣到酉空間。歐推廣到酉空間。歐氏空間和酉空間統(tǒng)稱為氏空間和酉空間統(tǒng)稱為。 線性空間中向量的運算僅是線性空間中向量的運算僅是線性運算線性運算。一。一般而言，我們知道，現(xiàn)實世界是般而言，我們知道，現(xiàn)實世界是3維歐氏空間。維歐氏空間。對于對于 維線性空間，定義了維線性空間，定義了以后，向量不以后，向量不僅有了僅有了長度長度（模），還有了兩向量之間的（模），還有了兩向量之間的夾角夾角等等

2、。特別是有了。特別是有了概念后，我們可概念后，我們可以得到以得到標準正交基標準正交基、勾股定理勾股定理、正交投影正交投影等許等許多優(yōu)美的結(jié)果。多優(yōu)美的結(jié)果。n1、歐氏空間的基本概念、歐氏空間的基本概念向量空間中向量的長度與夾角是用內(nèi)積向量空間中向量的長度與夾角是用內(nèi)積定義的，因此要在線性空間中引入相關(guān)定義的，因此要在線性空間中引入相關(guān)概念，自然要概念，自然要對內(nèi)積的概念進行推廣對內(nèi)積的概念進行推廣。由于向量的內(nèi)積與向量的線性運算無關(guān)，由于向量的內(nèi)積與向量的線性運算無關(guān)，所以歐氏空間實際上是所以歐氏空間實際上是特殊的線性空間特殊的線性空間，即定義了內(nèi)積的線性空間。即定義了內(nèi)積的線性空間。一、內(nèi)積

3、空間一、內(nèi)積空間(Inner Product Space)在在線性代數(shù)線性代數(shù)中，我們將中，我們將 中的內(nèi)積推廣到中的內(nèi)積推廣到 ：nRnR11( , ),TTnnnx yx yx yx yy xx yR3R并在此基礎上定義了并在此基礎上定義了 中的向量長度、夾角等概念。中的向量長度、夾角等概念。當然可以將這種定義推廣到任意線性空間，但由于這當然可以將這種定義推廣到任意線性空間，但由于這種定義與向量空間的基有關(guān)，我們目前不打算這樣做。種定義與向量空間的基有關(guān)，我們目前不打算這樣做。取而代之的是，注意到取而代之的是，注意到內(nèi)積是從兩個向量得到的一個內(nèi)積是從兩個向量得到的一個數(shù)數(shù)，我們自然希望確定

4、這種運算的性質(zhì)，進而給出線，我們自然希望確定這種運算的性質(zhì)，進而給出線性空間中內(nèi)積的性空間中內(nèi)積的公理化定義公理化定義。(1)( , )( , );x yy x 對對稱稱性性：(2)(, )( , )( , );(+ )( , )( , );xy zx zy zxy zx yx z性性性性：，雙雙線線(, )( , ) ,;( ,)( , ) ,;kx yk x ykRx kyk x ykR(3)( , )0;x x 正正性性：(4)( , )=0.x xx 定定性性：注意到注意到 中的內(nèi)積顯然具有如下性質(zhì)：中的內(nèi)積顯然具有如下性質(zhì)：nR(2)(, )( , )( , );(+ )( , )(

5、 , );xy zx zy zxy zx yx z性性性性：，雙雙線線(, )( , ) ,;( ,)( , ) ,;kx yk x ykRx kyk x ykR(1) ( ,)( ,); (2) (,)( ,);()R (3)(, )( , )( , ); (4) ，當且僅當，當且僅當 時，等號成立。時，等號成立。 ( ,)0 V、 、 是實數(shù)域是實數(shù)域 上的線性空間。如果對上的線性空間。如果對 中任意中任意兩個向量兩個向量 都存在所謂都存在所謂 與與 的的 ，滿足下面，滿足下面四個條件四個條件。稱定義了內(nèi)積的線。稱定義了內(nèi)積的線性空間性空間 為為，簡稱，簡稱。VVRVV 、 ()R , ,

6、據(jù)此，我們可以給出線性空間中內(nèi)積的據(jù)此，我們可以給出線性空間中內(nèi)積的公理化定義公理化定義。( ,)TT 例例2 2 定義了定義了的的 是歐氏空間。這里，是歐氏空間。這里，對任意兩個向量對任意兩個向量 及及 ， 標準內(nèi)積為標準內(nèi)積為nR12(,)Tnna aaR 12(,)Tnnb bbR 1 122.nna ba ba b( ,)TT 2121|(,) ,TniiHa aaa 1 122nna ba ba b例例3 3 定義了定義了的集合的集合 稱為稱為，這里，這里 是所有是所有平方和收斂平方和收斂的的實數(shù)列實數(shù)列的集合，即的集合，即HH將向量推廣到無限維，可得到：將向量推廣到無限維，可得到：

7、 , (, ),Tn nx yAx yy AxAR 例例 4 4 在向量空間在向量空間 中，對任意中，對任意 和和實對稱矩陣實對稱矩陣 ，定義，定義nRAnxyR 、則則 是是 的一個內(nèi)積。的一個內(nèi)積。 , x ynR特別地，特別地， 時時 就是二就是二次型次型 ；當；當 時就是前面的標準內(nèi)積。時就是前面的標準內(nèi)積。 , Tx xx Ax xy AI 注意到標準內(nèi)積是特殊的二次型注意到標準內(nèi)積是特殊的二次型 ，因此有如下推廣：，因此有如下推廣：由于由于函數(shù)也可以看成向量函數(shù)也可以看成向量，所以內(nèi)積也可以推廣到函，所以內(nèi)積也可以推廣到函數(shù)。先考慮折線函數(shù)：數(shù)。先考慮折線函數(shù)：12|(,) TnF

8、fffff顯然其內(nèi)積可定義為顯然其內(nèi)積可定義為1122(, )nniif gf gf gf gf g 如果將一般函數(shù)看成具有無窮段折線段的向量如果將一般函數(shù)看成具有無窮段折線段的向量，此時，此時上面的內(nèi)積定義又會變成什么形式呢？上面的內(nèi)積定義又會變成什么形式呢？無限求和即積分！無限求和即積分！, , ( , )( ) ( )baf gf x g x dxfgC a b、 證明：證明：例例 5 5 線性空間線性空間 按下列內(nèi)積構(gòu)成歐氏空間：按下列內(nèi)積構(gòu)成歐氏空間： , C a b則由函數(shù)的連續(xù)性，存在鄰域則由函數(shù)的連續(xù)性，存在鄰域( )0,( , ).f cca b當當 時，若有時，若有 2(

9、,)( )0baf ffx dx ，使其內(nèi)任意點的函數(shù)值滿足，使其內(nèi)任意點的函數(shù)值滿足 ， 從而從而2( )0fx ( , )N c 22( ,)( )( )0bcacf ffx dxfx dx 矛盾。其他性質(zhì)顯然可證。矛盾。其他性質(zhì)顯然可證。11( ,)mni ji jija bA B 則則 是定義了內(nèi)積是定義了內(nèi)積 的內(nèi)積空間。的內(nèi)積空間。( ,)A BmnR 例例6 6 在矩陣空間在矩陣空間 中，對任意中，對任意定義定義mnR m nABR 、類似地，類似地，將矩陣看成由行向量依次連接而成將矩陣看成由行向量依次連接而成的一個超級向量的一個超級向量，即可得如下，即可得如下內(nèi)積定義內(nèi)積定義：

10、()()TTtr B Atr A B (7) ( , )( ,). 根據(jù)前面的分析，歐氏空間中內(nèi)積還具有下列性質(zhì)。根據(jù)前面的分析，歐氏空間中內(nèi)積還具有下列性質(zhì)。(5) (+ )( , )( , );xy zx yx z，(6) ( ,)( , ) ,;x kyk x ykR222123123( , ),(,)Txxxxx xxxxx注意到注意到3維空間中，維空間中， 歐氏空間歐氏空間 中的向量中的向量 的的為為V ,.() 特別地，稱特別地，稱 的向量的向量 稱為稱為。 1 任意非零向量任意非零向量 ，經(jīng)過，經(jīng)過或或后可得到單位后可得到單位向量向量. 二、歐氏空間的度量二、歐氏空間的度量我們知

11、道，平面幾何中成立余弦定理，那么我們知道，平面幾何中成立余弦定理，那么n維空維空間中余弦定理是否仍然成立呢？間中余弦定理是否仍然成立呢？注意到注意到 (,)( ,)( ,) (,)( , )( , ) 2 ( , )( , ) ( , )( , )( , ) 2( ,)( ,) ( ,). 證明證明：對任意對任意 ，顯然，顯然R 0(,) 2( ,)2( ,)( ,) 當當 時，取時，取 即即兩向量線性相關(guān)兩向量線性相關(guān)時等式時等式 成立。成立。0 （柯西柯西-施瓦茨不等式施瓦茨不等式）如果如果 是是數(shù)域數(shù)域 上上的的，則對，則對 中的任意向量中的任意向量 ，有，有VRV 、V24 ( ,)4

12、( ,) ()0, 這個一元二次不等式對任意這個一元二次不等式對任意 恒成立，因此恒成立，因此 類似于高等數(shù)學，根據(jù)柯西類似于高等數(shù)學，根據(jù)柯西-施瓦茨不等式，我們稱施瓦茨不等式，我們稱( ,0, )acos0c,r 、為歐氏空間為歐氏空間 中向量中向量 與與 的的。 V特別地，當特別地，當 時，稱時，稱 與與 或或垂垂直直，記為，記為 。( ,)0 因此因此2(,) ( , )( ,)2( ,) 222cos( ,) 余弦定理成立！余弦定理成立！如果如果 是是數(shù)域數(shù)域 上的上的，則對，則對 中中的任意向量的任意向量 ，具有下列三條性質(zhì)（，具有下列三條性質(zhì)（非負性、非負性、正齊性和三角不等式正

13、齊性和三角不等式）：）：VRV 、V另外，歐氏空間中的另外，歐氏空間中的范數(shù)顯然具有下列性質(zhì)范數(shù)顯然具有下列性質(zhì)。|(2) |;()R 3| | |（ ）。(1) ，當且僅當，當且僅當 時，等號成立。時，等號成立。 |0 如果如果 是是數(shù)域數(shù)域 上的上的，則對，則對 中中的任意向量的任意向量 ，有：，有：VRV 、V范數(shù)還具有下列范數(shù)還具有下列平行四邊形法則平行四邊形法則、極化恒等式極化恒等式和和勾股勾股定理定理。| | | | | | | | | | | | | | | | | | | | | | | | | | |2222(1)2() ;+ + +- -= =+ +221(2)( ,)(

14、| );4 | | | | | | | | | | | | | | | | |222.+=+=+（3）特別地，當）特別地，當 與與 正交時，有正交時，有最后我們給出歐氏空間最后我們給出歐氏空間 的內(nèi)積的坐標表示形式。的內(nèi)積的坐標表示形式。V1212(,) ,(,) .TTnnxxxxyyyy設設 為為 的任意一組基，向量的任意一組基，向量 在在此基下的坐標分別為此基下的坐標分別為則內(nèi)積則內(nèi)積12,n , 11(,)nnijiijjx y 由由內(nèi)內(nèi)積積的的雙雙線線性性性性V最后我們給出歐氏空間最后我們給出歐氏空間 的的內(nèi)積的坐標表示形式內(nèi)積的坐標表示形式。VTyxG 11( ,)(,)nniij

15、jijxy 歐氏空間歐氏空間 的一個向量組的一個向量組 的的或或指的是矩陣指的是矩陣12,s V11121212221212(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)sssssssG 可以證明可以證明Gram矩陣矩陣 是對稱正定矩陣。是對稱正定矩陣。G113(, )( ),(f gf t g t dtfgP t 、例例 12 12 歐氏空間歐氏空間 的內(nèi)積為：的內(nèi)積為：3 P t（2）用矩陣方法計算用矩陣方法計算下列函數(shù)的內(nèi)積：下列函數(shù)的內(nèi)積：22( )1,( )145 .f tttg ttt 21, , t t（1）求）求自然基自然基 的度量矩陣的度量矩陣 。G111111

16、(1)(,)(11 1,1)2,gdt 解解：112121(,)(1, )0,1gtdtt 1213131223(,)(1,)1,tgtdt 12222123(,)( , ),gt tdtt t 12232321(,)( ,)0,gt tdt tt 122333312225(,)(,).gttdttt 232322532000.0G 度量矩陣度量矩陣 是對稱矩陣，所以所求為是對稱矩陣，所以所求為G(1, 1,1) ,(1, 4, 5) .TTxy（2） 和和 在自然基下的坐標分別是在自然基下的坐標分別是( )f t( )g t( , )0.Tf gx Gy所以所求內(nèi)積為所以所求內(nèi)積為U U拓撲

17、空間拓撲空間線性空間線性空間U UHausdorff空間空間U U賦范空間賦范空間 距離空間距離空間(度量空間度量空間)U U拓撲線性空間拓撲線性空間U U完備距離完備距離線性空間線性空間距離線性空間距離線性空間 內(nèi)積空間內(nèi)積空間U UHilbert空間空間 Banach空間空間 U UU U歐氏空間歐氏空間 和和nRnCU U2、標準正交基、標準正交基正交性的重要性無論怎么強調(diào)都不過分正交性的重要性無論怎么強調(diào)都不過分，尤其在尤其在數(shù)值線性代數(shù)數(shù)值線性代數(shù)和和微分方程數(shù)值解微分方程數(shù)值解中，許多重要的算法都與正交性有密切中，許多重要的算法都與正交性有密切聯(lián)系。而這兩門學科是在工程科學中有聯(lián)系

18、。而這兩門學科是在工程科學中有著最廣泛應用的數(shù)學分支之一。著最廣泛應用的數(shù)學分支之一。在歐氏空間內(nèi)引入標準正交基后，在歐氏空間內(nèi)引入標準正交基后，歐氏歐氏空間空間內(nèi)向量的內(nèi)積運算就內(nèi)向量的內(nèi)積運算就轉(zhuǎn)化轉(zhuǎn)化成了我們成了我們熟悉的熟悉的向量空間向量空間內(nèi)向量的內(nèi)積運算。內(nèi)向量的內(nèi)積運算。( , )( , )( , )1 0 0( , ) ( , ) ( , )0 1 0( , ) ( , ) ( , )0 0 1i ii ji kGj ij jj kIk ik jk k輊輊輊輊犏犏犏犏=犏犏犏犏犏犏犏犏臌臌臌臌說明此時內(nèi)積是標準內(nèi)積，因此用坐標計算內(nèi)積的公說明此時內(nèi)積是標準內(nèi)積，因此用坐標計算內(nèi)

19、積的公式有最簡單的形式。式有最簡單的形式。我們當然希望在歐氏空間中通過適當選取基，使得我們當然希望在歐氏空間中通過適當選取基，使得歐氏空間的度量矩陣也是單位矩陣（或者盡可能簡歐氏空間的度量矩陣也是單位矩陣（或者盡可能簡單些）。單些）。一、標準正交基一、標準正交基(Orthonormal Basis)在在 中，選取自然基中，選取自然基 ，則度量矩陣，則度量矩陣3R, ,i j k 歐氏空間歐氏空間 的一組基稱為的一組基稱為 的一個的一個，如果它們兩兩正交。如果此正交基的每個基向量又都如果它們兩兩正交。如果此正交基的每個基向量又都是單位向量，則稱此基為是單位向量，則稱此基為 的一個的一個VVV11

20、111,cos ,sin ,cos,sin ,2xxnxx 例例 2 2 歐氏空間歐氏空間 的一個標準正交基是的一個標準正交基是0,2 C 從規(guī)范正交基的定義看，有三個要件從規(guī)范正交基的定義看，有三個要件：（1）是向量個數(shù)與維數(shù)相等的線性無關(guān)的向量組；）是向量個數(shù)與維數(shù)相等的線性無關(guān)的向量組；（2）是兩兩正交的向量組，即）是兩兩正交的向量組，即；（3）是每個向量都是單位向量的）是每個向量都是單位向量的單位向量組單位向量組。如何求歐氏空間的標準正交基呢？如何求歐氏空間的標準正交基呢？ 歐氏空間歐氏空間 的向量組的向量組 線性無線性無關(guān)的關(guān)的充要條件充要條件是矩陣是矩陣 非奇異非奇異(可逆可逆)V

21、12(,)sG 12,s 證明證明：1111( ,)(,)(,)ssssiiiiijijiiijxxx x 1122,ssxxx。如果。如果 線性無關(guān)，則它線性無關(guān)，則它們也是們也是 的一組基。的一組基。12,s 12(,)sWspan 假設假設 奇異，則奇異，則 有非零解有非零解 ，則，則GGx sxR 故故( ,)0. 但是但是0.HHx G xx 出現(xiàn)矛盾。出現(xiàn)矛盾。首先，如何確定向量組是否線性無關(guān)性呢？首先，如何確定向量組是否線性無關(guān)性呢？證明證明：。如果。如果 線性相關(guān)，線性相關(guān)，不妨不妨 ，則，則12,s 112211sssttt111112121121111111(,)(,)(,

22、)(,)(,)(,)|(,)(,)(,)siiisiissssrsisiiitttG 111111111121212111(,)(,)(,)(,)(,)(,)(,)(,)(,)siiissssiiisrisiisttt ()由由內(nèi)內(nèi)積積的的雙雙線線性性性性這與這與 非奇異矛盾，所以非奇異矛盾，所以 線性無關(guān)。線性無關(guān)。G12,s 11111212121111(,)(,)(,)(,)(,)(,)0,(,)(,)(,)isiiiisssssst 那么，向量組的正交性與線性無關(guān)性有什么聯(lián)系呢？那么，向量組的正交性與線性無關(guān)性有什么聯(lián)系呢？ 向量組向量組 是歐氏空間是歐氏空間 的非零的非零的正交向量組

23、，則的正交向量組，則 必線性無關(guān)。必線性無關(guān)。V12,s 12,s 證明證明：設有設有11220ss 等式兩邊與等式兩邊與 作內(nèi)積，作內(nèi)積，(1,2, )jjs= =L L11221(,)(,)0sssjiiji 注意到注意到 以及以及(,)0 ()ij ij=(,)0jj 從而從而 ，得證。，得證。0 (1,2, )jjs=L L根據(jù)定理根據(jù)定理4，規(guī)范正交基剩下，規(guī)范正交基剩下兩個要件兩個要件：（1）是向量個數(shù)與維數(shù)相等的）是向量個數(shù)與維數(shù)相等的；（2）是每個向量都是單位向量的單位向量組。）是每個向量都是單位向量的單位向量組。注意到注意到定理定理4的逆命題不成立的逆命題不成立，所以我們自然

24、會問：，所以我們自然會問：一個線性無關(guān)組，在一個線性無關(guān)組，在“跋涉千山萬水跋涉千山萬水”，成為基之，成為基之后，如何后，如何“更上一層樓更上一層樓”，成為規(guī)范正交基？，成為規(guī)范正交基？在規(guī)范正交基的兩個要件中，正交性顯然很不容易在規(guī)范正交基的兩個要件中，正交性顯然很不容易達到。下面我們把注意力集中在達到。下面我們把注意力集中在如何首先從已知基如何首先從已知基獲得正交基？獲得正交基？設設 是定義了內(nèi)積的線性空間（即歐氏是定義了內(nèi)積的線性空間（即歐氏空間）空間） 的一個基，的一個基， 是我們希望得到是我們希望得到的的 的一個正交基？的一個正交基？12,n 12,n VV顯然，我們可令顯然，我們可

25、令11. 如何得到如何得到 呢？呢？2 11() 2 2 1r2111(,)(,)k 聯(lián)想到聯(lián)想到正交分解正交分解，我們想，我們想到到 在在 即即 上作投上作投影后的影后的，設成，設成立立 ，則，則利用利用正交性正交性 ，可得，可得2 1 1 1r121k11r 經(jīng)驗算，它滿足經(jīng)驗算，它滿足21(,)0. 令令 。注意到正交性，即要求。注意到正交性，即要求31321122(,)(,),.(,)(,)pq 2122( ,)( ,)0rr211211111222111(,(,)(,).(),)rk 故故2122111(,).(,) 這說明，可取這說明，可取2312rpq繼續(xù)考察繼續(xù)考察 在在 上作

26、投影后的上作投影后的12, 3 2r解得解得故可令故可令32r 12123112323.(,)(,)(,)(,) 至此，我們就得到了矩陣計算中具有基礎性作用的至此，我們就得到了矩陣計算中具有基礎性作用的Gram-Schmidt。一般地令一般地令(2,3, )jn 11(,(,)jkjjjkkjk 11, ()I經(jīng)驗算，它滿足經(jīng)驗算，它滿足3132(,)0,(,)0. 是定義了內(nèi)積的線性空間是定義了內(nèi)積的線性空間（即歐氏空間）（即歐氏空間） 的一個基，則按式的一個基，則按式 構(gòu)造出的構(gòu)造出的就是就是 的正交基。的正交基。12,n 12,n VV( )I顯然，將正交化后得到的正交基再顯然，將正交化

27、后得到的正交基再單位化單位化，就得到，就得到的了的了121212,.nnn 對于對于向量空間向量空間，使用矩陣語言，上述，使用矩陣語言，上述就是就是1212,nnBAUU 這里這里 是單位上三角陣。是單位上三角陣。U1AUD 11112| ,| ,| nUAdiag 12,nQ 單位化單位化后后1111212,| ,| ,| nndiag 1.QQDUAR 因此因此其中其中 是上三角陣。是上三角陣。1RDU .AQR （QR分解分解） 設矩陣設矩陣 列滿秩列滿秩，則存在單位正交列矩陣，則存在單位正交列矩陣 （各列都是單位列向量，且兩兩正交各列都是單位列向量，且兩兩正交）和上和上三角可逆矩陣三角

28、可逆矩陣 ，使，使m nAC m nQC n nRC 12,n, , 線性無關(guān)。因此按施密特正交化過程，存在單位正線性無關(guān)。因此按施密特正交化過程，存在單位正交列向量組交列向量組 ，使得，使得12,nu uu1111,ub 因為矩陣因為矩陣 列滿秩，所以列滿秩，所以 的列的列AA2121222,ubb1122,nnnnnnubbb用矩陣表示，即為用矩陣表示，即為12(,)nQu uu 1112122212(,)nnnnnbbbbbb 1.AR .AQR 二、標準正交基的幾個性質(zhì)二、標準正交基的幾個性質(zhì)為什么總是取標準正交基呢？原因很簡單！為什么總是取標準正交基呢？原因很簡單！ 是定義了內(nèi)積的線

29、性空間是定義了內(nèi)積的線性空間（即歐氏空間）（即歐氏空間） 的一組標準正交基，則對任意向的一組標準正交基，則對任意向量量 ，有，有(,),1, 2,iixin 12,n V1122nnxxxV向量的坐標分量是該向量與相應基向量的內(nèi)積！V 是定義了內(nèi)積的線性空間是定義了內(nèi)積的線性空間（即歐氏空間）（即歐氏空間） 的一組標準正交基，則對任意兩的一組標準正交基，則對任意兩個向量個向量 仍然有仍然有1122(,)nna ba ba b 12,n 11221122,nnnnaaaVbbbV向量的內(nèi)積就是（標準正交基下）坐標的內(nèi)積nR我們知道，我們知道，在在向量空間向量空間中，以標準正交基為列向量的中，以標

30、準正交基為列向量的矩陣是正交矩陣。在矩陣是正交矩陣。在線性空間線性空間中，雖然基不一定能構(gòu)中，雖然基不一定能構(gòu)成矩陣，但是兩組基間的過渡矩陣是可逆矩陣。對于成矩陣，但是兩組基間的過渡矩陣是可逆矩陣。對于歐氏空間歐氏空間，雖然標準正交基同樣不一定能構(gòu)成矩陣，雖然標準正交基同樣不一定能構(gòu)成矩陣，但標準正交基間的過渡矩陣肯定比可逆矩陣特殊。但標準正交基間的過渡矩陣肯定比可逆矩陣特殊。 和和 是歐氏空是歐氏空間間 的兩組標準正交基，則兩組基間的過渡矩陣是的兩組標準正交基，則兩組基間的過渡矩陣是正交矩陣正交矩陣。V12,n 12,n 1121112222121212(,)(,)mmnnnnmnppppp

31、pppp 顯然矩陣顯然矩陣 的各列就是的各列就是 在標準正交基在標準正交基 下的坐標，所以下的坐標，所以12,n 設兩組標準正交基間的過渡矩陣為設兩組標準正交基間的過渡矩陣為 ，即，即P12,n P定理定理9 9的證明。的證明。 顯然矩陣顯然矩陣 的各列就是的各列就是 在標準正交基在標準正交基 下的坐標，所以由定理下的坐標，所以由定理7，可知，可知12,n 12,n P11(,)ijijnin jp pp p 1,(,)0,iji jijij 因此因此11ijnin ji jp pp p 由于由于 也是標準正交基，所以也是標準正交基，所以12,n 這說明矩陣這說明矩陣 是正交矩陣。是正交矩陣。

32、P因此因此由于由于 也是標準正交基，所以也是標準正交基，所以12,n 由定理由定理9可以想到，標準正交基可以想到，標準正交基 通過正交通過正交矩陣矩陣 過渡而來的向量組過渡而來的向量組 一定也是標一定也是標準正交基。因為準正交基。因為12,n 12,n P1 12 21 12 2( ,) (,)ijiiin njjjn npppppp 1( ,)nikjkkkkp p 11,.0,nkTikjkijijp pP Pij 正交矩陣正交矩陣 是歐氏空間是歐氏空間 的標準正交基的標準正交基 到向量組到向量組 的過渡矩陣，則向的過渡矩陣，則向量組量組 也是也是 的標準正交基。的標準正交基。VP12,

33、,n 12,n 12,n V12 2221,( ,)().i j i jiji jjiAaBbAa bRB 、例例 11 11 歐氏空間歐氏空間 的內(nèi)積為：的內(nèi)積為：2 2R 2122(),0 i jVXxxxV的一組標準正交基，使得的一組標準正交基，使得 中的線性變換中的線性變換12(),21T XX 求求 的子空間的子空間2 2R 在該基下的矩陣表示為對角矩陣。在該基下的矩陣表示為對角矩陣。解解：111221100100,000011Xxxx首先注意到自然基首先注意到自然基 不符號要不符號要求求（理由？（理由？），其次），其次11122122,EEEE所以要求的正交基應該是所以要求的正交基

34、應該是123100100,.000011XXX再標準化為再標準化為11110101,0000(,)YXX333000011.1111(,)2YXX遺憾地是，遺憾地是， 不是所求的標準正交基，因為它不是所求的標準正交基，因為它在線性變換在線性變換 的作用下的矩陣表示不是對角陣！的作用下的矩陣表示不是對角陣！123,Y Y YT22201011,0000(,)YXX1121012122,002100TYYY33001200113.11213322TYY不過，我們可以從不過，我們可以從 出發(fā)，通過正交矩陣，出發(fā)，通過正交矩陣，過渡到欲求的標準正交基。線性代數(shù)知識告訴我們，過渡到欲求的標準正交基。線性

35、代數(shù)知識告訴我們，實對稱矩陣可實對稱矩陣可正交對角化正交對角化，所以我們要結(jié)合線性變，所以我們要結(jié)合線性變換，尋找相應的實對稱矩陣。換，尋找相應的實對稱矩陣。123,Y Y Y1120112212,002100TYYY所以所以123123123120( ,)( ,) 210( ,) ,003T Y Y YY Y YY Y Y A 將實對稱矩陣正交對角化，可得正交矩陣將實對稱矩陣正交對角化，可得正交矩陣 1(3,3, 1).Q AQdiag A這里這里 是實對稱矩陣！是實對稱矩陣！它使得它使得 2222222200,100Q 這樣按照定理這樣按照定理10，令，令123123(,)( ,) ,Z

36、Z ZY Y Y Q 即得欲求的標準正交基為即得欲求的標準正交基為 1123112330001( ,)( ,) 0,1121ZY Y Y qY Y YY 22212321222111( ,),002ZY Y Y qYY 223123312221 11( ,).002ZY Y Y qYY 12141(, )( ) ( )1, f gf t g tfgPdttt 、求求 的一組正交基。的一組正交基。4 P t例例 12 12 歐氏空間歐氏空間 的的帶權(quán)帶權(quán) 內(nèi)積內(nèi)積為：為：4 P t211t 顯然應該從顯然應該從自然基自然基 出發(fā)，應用正交化出發(fā)，應用正交化過程得到正交基。過程得到正交基。231,

37、 ,t tt解解：2312341111212211112121,1,(,)111111(,1,)1tttdtttdtttt 313233121122111222221212111211111111(,)(,)(,)(,)111121tttdtdtttdtdtttt t ttt 434142441231122331111311111121332222222332211111111111()21111()11 1(,()221)(,)(,)(,)(,)(,)134dtdtttdtdtdttdtttttttttttt tttttt 將所有多項式的系數(shù)整數(shù)化，即得將所有多項式的系數(shù)整數(shù)化，即得切比雪夫

38、多項式切比雪夫多項式：012233( )1,( ),( )21,( )43 .T tT ttT ttT ttt 3、正交投影及其應用、正交投影及其應用正交性的應用主要是通過正交投影來實正交性的應用主要是通過正交投影來實現(xiàn)的?，F(xiàn)的。無論是無論是微分方程數(shù)值解微分方程數(shù)值解中的有限中的有限元方法等譜方法及其大量應用，還是元方法等譜方法及其大量應用，還是最最優(yōu)化理論（主要是極值問題）優(yōu)化理論（主要是極值問題）及其在控及其在控制、通信、雷達、時間序列分析、信號制、通信、雷達、時間序列分析、信號處理等諸多學科中的應用，都與正交投處理等諸多學科中的應用，都與正交投影有密切聯(lián)系。橫看成嶺側(cè)成峰，一言影有密切

39、聯(lián)系。橫看成嶺側(cè)成峰，一言以蔽之，這是以蔽之，這是認識現(xiàn)實世界的一種思維認識現(xiàn)實世界的一種思維方式方式。一、正交補一、正交補(Orthogonal complement)與投影定理與投影定理11|VVV 設設 是數(shù)域是數(shù)域 上歐氏空間上歐氏空間 的兩個的兩個子空間。向量子空間。向量 。如果對任意。如果對任意 ，都，都有有 ，則稱，則稱 ，記，記為為 。如果對任意。如果對任意 ，都有，都有 ，則稱則稱，記為，記為 。 中中所有與子空間所有與子空間 正交的向量的集合也構(gòu)成正交的向量的集合也構(gòu)成 的的子空間，稱為子空間，稱為 的的，記為，記為 ，即，即V12,V VR2V 1V ( ,)0 1V V

40、 1V 1V2V1V12VV VV1V1V1V 歐氏空間的正交補是否存在呢？歐氏空間的正交補是否存在呢？11.VVV 設設 是數(shù)域是數(shù)域 上歐氏空間上歐氏空間 的子空間，的子空間，則則存在存在 的的唯一唯一正交補正交補 ，使得，使得 可以可以為為V1VR1V 1VV：正交分解是特殊的直和分解。正交分解是特殊的直和分解。證明證明：。設。設 是是 的一組標的一組標準正交基，對任意準正交基，對任意 ，令，令12,m 1VV 1112221( ,)( ,)( ,),mm 則則 ，且，且11V 211(,)( ,)(,)( ,)( ,) ,)miiiijjij ( ,)( ,)( ,)0,1,2,iii

41、iim 故故 與與 中的每個向量都正交，所以中的每個向量都正交，所以 。2 1V21V 因為因為 ，故，故 。又。又 因此因此 ，從而，從而1211VVV 11VV 11VV 11.VVV 證明證明：11122( ,)( ,)( ,)mm 。設。設 都是都是 的正交補，則的正交補，則對任意對任意 ，有，有23,V V1V22V 211131110(,)(,)(,)(,) 2131133,VV因為因為 ，所以，所以2131, 從而從而 ，故故 。同理。同理 。 因此因此23VV 23.VV 12333,V 32VV 設設 是數(shù)域是數(shù)域 上歐氏空間上歐氏空間 的子空間。的子空間。向量向量 。如果有

42、。如果有 使得使得則稱則稱 V1VR121 V 1V1121,VV 設設 是數(shù)域是數(shù)域 上歐氏空間上歐氏空間 的的子空間，則對任意子空間，則對任意 ， 在在 上上存在唯一存在唯一的正交投影。的正交投影。V1VR1VV 二、正交投影的應用二、正交投影的應用1|,V 設設 是數(shù)域是數(shù)域 上歐氏空間上歐氏空間 的子空間。的子空間。對給定的向量對給定的向量 在子空間上在子空間上 的的指指的是滿足下列條件的的是滿足下列條件的 ：RV1V1V V 1V設設 是數(shù)域是數(shù)域 上歐氏空上歐氏空間間 的子空間，則對給定的的子空間，則對給定的 ， 是是 在在 上的最佳逼近的上的最佳逼近的充要條件充要條件是是 ，即即

43、 是是 在在 上的正交投影。上的正交投影。V1VR1VV 11V 211V 1V 1 證明證明： 至少有一個向量至少有一個向量 ，使得，使得1,| 1V2(, )0t 222222|(,)| |ttt 。設。設 是是 在在 上的最佳逼上的最佳逼近，但近，但 不正交于不正交于 ，則，則11V 1V1V 21 令令 ，則，則 ，并且，并且1t 1V 因為因為 ，所以，所以 。因。因此此 不是不是 在在 上的最佳逼近。出現(xiàn)矛盾。上的最佳逼近。出現(xiàn)矛盾。 1| 2| |0t 1 1V證明證明：2211|()()| 。設。設 且且 ， 則對任意的則對任意的 ，根據(jù)勾股定理，有，根據(jù)勾股定理，有11V 1

44、V 211V 因此因此 是是 在在 上的最佳逼近。上的最佳逼近。 1 1V222111| 例例 7 7 （不相容線性方程組的最小二乘解）（不相容線性方程組的最小二乘解）對于對于不相容不相容的線性方程組的線性方程組 ，由于該方程，由于該方程組無精確解，因此我們只好設法找出方程組在組無精確解，因此我們只好設法找出方程組在某種某種意義下意義下的的最優(yōu)近似解最優(yōu)近似解。Axb 如果存在近似解如果存在近似解 ，使得，使得就稱就稱 為方程組的為方程組的，這種方法就稱為，這種方法就稱為。12(,)Tnxxxx 22|AxbAxb 211221()miiinniia xa xa xb x 令令 ，顯然，顯然

45、，因此求不相容方，因此求不相容方程組的最小二乘解的問題即為在程組的最小二乘解的問題即為在 中找出向中找出向量量 ，使得向量，使得向量 到到 的距離比到子空間的距離比到子空間 中其它向量的中其它向量的距離距離都短，即都短，即 是向量是向量 在在 上的上的最佳逼近最佳逼近。Ax ()yR A yAx ()R Ab()R AAx Ax b()R A根據(jù)最佳逼近定理根據(jù)最佳逼近定理 ，這樣的最小二乘解滿足，這樣的最小二乘解滿足TTA AxA b ().AxbR A 令令 ，則，則1(,)nA (1, )jjn 即即 ，因此得，因此得0 (1, )Tjjn 從從高等數(shù)學高等數(shù)學的分析學眼光看，的分析學眼

46、光看，多元函數(shù)多元函數(shù)122(,)|,|nfxxAxxb 的最小值滿足條件的最小值滿足條件211221()miiinniia xa xa xb 0(1,2, )kfknx 即即1122102()mikiiinniiaa xa xa xb 寫成矩陣形式，則為寫成矩陣形式，則為()TAAxb 也就是也就是11 112 211112111222221 122 222121 12 2000n nmmn nnnmnmmmn nma xa xa xbaaaaaaa xa xa xbaaaa xa xa xb 試用試用代數(shù)多項式代數(shù)多項式下列數(shù)據(jù)：下列數(shù)據(jù)：13 4 5 6 7 8 9 1010 5 4 2

47、 1 1 2 34iixy繪圖發(fā)現(xiàn)這組數(shù)據(jù)的變化趨勢接近于拋物線，故設繪圖發(fā)現(xiàn)這組數(shù)據(jù)的變化趨勢接近于拋物線，故設所求所求代數(shù)多項式代數(shù)多項式為為2012( )y xcc xc x 將這組數(shù)據(jù)代入線性方程組將這組數(shù)據(jù)代入線性方程組Acb 10 3(),1,10;0,1,2jiAxij 012( ,)Tcc c c (10,5,4,2,1,1,2,3,4)Tb 2( )13.45973.60530.2676y xxx 法方程組為法方程組為TTA AcA b 95338132533813017 ,143381 3017 253171025TTA AA b (13.4597, 3.6053,0.26

48、76)Tc 解得解得%ex201.m x=1 3 4 5 6 7 8 9 10; y=10 5 4 2 1 1 2 3 4; p=polyfit(x,y,2); % polyfit計算與x，y擬合的多項式，并按次數(shù)從高到低將多項式的系數(shù)保存在向量p中，參數(shù)值2表示多項式的次數(shù) plot(x,y,+b,x,polyval(p,x),-r )% polyal根據(jù)x值返回擬合多項式p的y值例例 8 8 （泰勒逼近不敵正交多項式逼近）（泰勒逼近不敵正交多項式逼近）對歐氏空間對歐氏空間 中的函數(shù)中的函數(shù) ，在，在子空間子空間 找一個多項式找一個多項式 ，使得，使得 盡可能小盡可能小 ？( )sinf x

49、x 255525| ( )( )|( ( )( ), ( )( )| ( )( )|f xu xf xu x f xu xf xu xdx , C 5( )u x6 UP x 首先想到的是首先想到的是泰勒展開式泰勒展開式5353!5!( ),xxu xx 取取 ，時，絕對誤差為，時，絕對誤差為3x 0.3839. 另一種思路是從自然基另一種思路是從自然基 出發(fā)，應出發(fā)，應用正交化過程得到標準正交基用正交化過程得到標準正交基 ，然后可得到然后可得到正交多項式逼近正交多項式逼近23451, ,x xxxx123456, 350.9878620.1552710.00564312,xxx 取取 ，時，

50、絕對誤差為，時，絕對誤差為3x 0.0014. 51166 ( )( ,)( ,)u xff 例例 9 9（傅立葉級數(shù)的應用（傅立葉級數(shù)的應用非線性信號的線性逼近）非線性信號的線性逼近）( )npxW 22|( )( )|( )( )|nnf xP xf xP x 220 ( )( )nf xP xdx 對歐氏空間對歐氏空間 ，子空間，子空間對對 中的非線性函數(shù)中的非線性函數(shù) 的的指的指的是求某個代數(shù)多項式是求某個代數(shù)多項式 ，使得，使得0,2 C 0,2 C ( )npxW 1,cos ,sin ,cos,sinWspanxxnxnx ( )f x對歐氏空間對歐氏空間 ，子空間，子空間對對

51、中的非線性函數(shù)中的非線性函數(shù) 的的指的指的是求某個代數(shù)多項式是求某個代數(shù)多項式 ，使得，使得截斷誤差截斷誤差例例 10 10 （矩陣的值域與零空間之間的關(guān)系）（矩陣的值域與零空間之間的關(guān)系）12(, )0,(, )0,(, )0.mxxx齊次線性方程組齊次線性方程組 顯然等價于顯然等價于Ax 這里這里12(,).TmA 因此求方程組因此求方程組 的解向量，就是求所有與向的解向量，就是求所有與向量組量組 正交的向量。換言之，求齊次正交的向量。換言之，求齊次方程組方程組 的解空間的解空間 就是求就是求 的的正交補空間正交補空間。12,m ()N AAx Ax 12(,()mTR Aspan ()(

52、),()()TTmR AN AR AN AR 對任意對任意 ，有，有12(,)mnnAR 一般地，對于矩陣的值域與零空間，存在下列一般地，對于矩陣的值域與零空間，存在下列關(guān)系：關(guān)系：()(),()()TTnR AN AR AN AR 證明證明：所以所以( )( )( )().mTRR AR AR AN A排排 1122|(),()nnjkkkkRR A |,1,2,jjn |0 ,1,2,Tjjn |,1,2,(,)TTN AAjn同理可證同理可證()().nTRR AN A 4、正交變換、正交變換鑒于正交的重要性，所以相應的鑒于正交的重要性，所以相應的顯得尤為重要。顯得尤為重要。Househ

53、older變換變換（即（即反反射變換射變換）和）和Givens變換變換（即（即旋轉(zhuǎn)變換旋轉(zhuǎn)變換）是）是兩種最重要的正交變換，它們的作用主要兩種最重要的正交變換，它們的作用主要是是在數(shù)值算法中構(gòu)造正交基在數(shù)值算法中構(gòu)造正交基。 在第一章指出，二維平面中的圖形經(jīng)過在第一章指出，二維平面中的圖形經(jīng)過旋轉(zhuǎn)變換旋轉(zhuǎn)變換或或反射變換反射變換后只是位置改變了，形狀和大小都沒有改變，后只是位置改變了，形狀和大小都沒有改變，所有的長度、角度都保持不變。前面又指出，向量的長所有的長度、角度都保持不變。前面又指出，向量的長度和角度都可以由內(nèi)積來計算。因此，變換前后的內(nèi)積度和角度都可以由內(nèi)積來計算。因此，變換前后的內(nèi)

54、積保持不變，即保持不變，即兩向量的像的內(nèi)積與原像的內(nèi)積相等兩向量的像的內(nèi)積與原像的內(nèi)積相等。 由于二維平面是特殊的歐氏空間，因此這個想法自由于二維平面是特殊的歐氏空間，因此這個想法自然也可以推廣到一般的歐氏空間。然也可以推廣到一般的歐氏空間。()() .TT ,歐氏空間歐氏空間 上的線性變換上的線性變換 稱為稱為 上的上的一個一個，如果，如果 保持保持 中的內(nèi)積不變中的內(nèi)積不變，即，即對任意的對任意的 ，都有，都有VV 、VVTT根據(jù)定義，顯然正交變換也保持歐氏空間中向根據(jù)定義，顯然正交變換也保持歐氏空間中向量的量的長度長度、距離距離及向量間的及向量間的夾角夾角等幾何屬性不等幾何屬性不變。變。

55、xy2e21e 如圖，顯然有正交分解如圖，顯然有正交分解 1122( ,)( ,)xx e ex e e,222222( ,)2( ,)yxxx e exex e 例例 2 2 再探再探HouseHolder變換變換2222(2)2TTIxxexeee因此向量因此向量 關(guān)于關(guān)于“與與 軸正交的直線軸正交的直線”（這里就（這里就是是 軸）軸）對稱對稱的鏡像向量的表達式為的鏡像向量的表達式為2ex1e類似地，可定義將向量類似地，可定義將向量 變換為關(guān)于變換為關(guān)于“與單位與單位向量向量 正交的正交的 維子空間維子空間”對稱的向量對稱的向量 的鏡像變換。的鏡像變換。nuR nxR nyR 1n 設設

56、為單位向量，稱矩陣為單位向量，稱矩陣為為（初等反射矩陣初等反射矩陣），），對應的變換對應的變換 稱為稱為（初等反射變換初等反射變換）nR 2HHI :(2)HHHI 對任意對任意 ，存在，存在Householder 矩矩陣陣 ，使得，使得 其中其中 為標準單位向量。即為標準單位向量。即可以通過可以通過HouseholderHouseholder變換將向量反射到某個坐標軸上變換將向量反射到某個坐標軸上。1neR 21|He nRHHouseholder變換在矩陣計算中占有重要地位，這是變換在矩陣計算中占有重要地位，這是因為存在因為存在Householder變換能變換能將非零向量的后將非零向量的后

57、 個分量變?yōu)榱銈€分量變?yōu)榱恪?n 212( ,)|He 若若 ，則取與，則取與 正交的單位正交的單位列向量列向量 ，從而，從而 21| e1e21212122|2(,)|eeHe 若若 ，令，令21| e2121|ee 注意到注意到222121|2(|,)|ee 從而從而21|()e 21| e 設設 是歐氏空間是歐氏空間 上的一個線性變換，則上的一個線性變換，則下列命題是等價的：下列命題是等價的：（1 1） 是正交變換；是正交變換；（2 2） 保持向量的范數(shù)不變保持向量的范數(shù)不變，即，即 ； （3 3） 若若 是是 的一組標準正交基，則的一組標準正交基，則 也是也是 的標準正交基；的標準正交

58、基；（4 4） 在在 的任意一組標準正交基下的矩陣表示的任意一組標準正交基下的矩陣表示 為為正交矩陣正交矩陣。TVTV12,n, ,|( )|T= =T12(, (nTTT),),)TVV證明：證明：22|( )|( ( ), ( )|( ,)TTT 若線性變換保持長度不變，即若線性變換保持長度不變，即(2)(1).展開上式并化簡，即得展開上式并化簡，即得同樣有同樣有22|( )|( ( ), ( )|( ,)TTT ( (), ()(,)TT (,)( ,)TT 根據(jù)正交變換的定義顯然成立。根據(jù)正交變換的定義顯然成立。(1).(2)證明：證明：因此因此則則1111,nnnnxxyy11(,)

59、( ,)nnTTx yx y 1111( )()(),( )()(),nnnnTx Tx TTyTy T 對任意對任意 ，令，令(3)(1).,V 顯然成立。顯然成立。(1).(3)證明：證明：11( (), ()(,) ,nnTTA 設設 在在 下的矩陣為下的矩陣為 ，即，即A(3)(4).T1,n由于由于 也是標準正交基，所以也是標準正交基，所以 是兩組標準正交基間的過渡矩陣，因此是兩組標準正交基間的過渡矩陣，因此 是正交是正交矩陣。矩陣。1(), ()nTTAA證明：證明：1111( ( ), ()(,)ijininjn jnTTaaaa 設設 是正交矩陣，則是正交矩陣，則(4)(3).

60、A11ijnin ja aa a 1,0,ijij 所以所以 也是標準正交基。也是標準正交基。1(), ()nTT例例 6 6 （Givens 變換變換)將線性空間將線性空間 中的所有向量中的所有向量均繞原點均繞原點順時針順時針旋轉(zhuǎn)角旋轉(zhuǎn)角 的的就是一個正交變換。因為此變換的矩陣表示就是一個正交變換。因為此變換的矩陣表示 是正是正交矩陣。交矩陣。2R G11112222cossin:sincosGG 2122221212sin, cos.取取2211220 2122221212sin, cos.20 則則 （幾何上表示什么意思？幾何上表示什么意思？），并且），并且11111cossin0sin