矩陣分析幾何意義的整理

1、矩陣分析幾何意義和透徹理解 PCA勺一些整理這是幾篇很不錯的文章集合在一起的一篇文章，有些內容來自blog，有些來自文獻和教程，解決了我遇到很多疑問，感謝把它推薦給我的人。前四部分來自早期幾篇blog，把空間描述的形象且易懂，適合我們這些非數(shù)學專業(yè)的人搞明白一些抽象的問題。一、矩陣的特征值概述：矩陣特征值要講清楚需要從線性變換入手，把一個矩陣當做一個線性變換在某一組基下的矩陣，最簡單的是數(shù)乘變換， 求特征值的目的就是看看一個線性變換對一些非零向量的作用是否能夠相當于一個數(shù)乘變換，特征值就是這個數(shù)乘變換的變換比。這樣的一些向量就是特征向量，其實我們更關心的是特征向量，希望把原先的線性空間分解成一

2、些向量相關的子空間的直和，這樣我們的研究就可以分別限定在這些子空間上來進行，這和物理中研究運動的時候將運動分解成水平方向和垂直方向的做法是一個道理。自相關矩陣最大特征值和特征向量并沒有和原來的哪個信號一一對應，而且特征分解本身的含義相當于對原來的信號做了這樣的正交分解。使得各個分量之間相互不相關，也就是KL展開，每一個特征值相當于原來各個信號導向矢量的線性組合，因此不能僅僅從某個特征 矢量中直接對應原來某個信號的特征。二、線性空間和矩陣的幾個核心概念：空間（space）：空間的數(shù)學定義是一個集合，在這個集合上定義某某概念，然后滿足某些性 質，就可以被稱為空間。我們所生活的空間是一個三維歐幾里德

3、空間，我們所生活空間的特點：（1）有很多（實際上是無窮多個）位置點組成（2 ）這些點之間存在著相對關系。（3 ）可以咋空間中定義長度、角度。（4 ）這個空間可以容納運動（從一個點到一個點的移動，而不是微積分意義上的“連續(xù)” 性運動）第（4）點是空間的本質特征，（1）、（ 2）兩點是空間的基礎而非性質，第（3）點在其他空間也行并不具備，自然更不是關鍵的性質。只有第（4）點是空間的本質。把三維空間的認識拓展到其他空間。事實上，不管是什么空間，都必須容納和支持在其中發(fā)生的符合規(guī)律的運動（變換）。我們會發(fā)現(xiàn)，在某種空間中往往會存在一種相對應的變換，比如：拓撲空間中有拓撲變換，線性空間中有線性變換，仿射

4、空間中有仿射變換，其實 這些變換都只不過是對應空間允許的運動形式而已。例1.最高次項不大于n次的多項式的全體構成一個線性空間，也就是說，這個線性空間中每一個對象是一個多項式。如果我們以X0,X1,X2,.,Xn為基，那么任何一個這樣的多項式都可以表達為一組 n+1維向量，其中的每一個分離ai其實就是多項式Xi-1項系數(shù)。 值得說明的是，基的選取有多種方法，只要所選取的那一組基線性無關就可以。例2 閉區(qū)間a, b上的n階連續(xù)可微函數(shù)全體，構成一個線性空間。也就是說，這個線性空間的每一個對象是一個連續(xù)函數(shù)。 對于其中任何一個連續(xù)函數(shù)， 根據(jù)魏爾斯拉斯定律， 一定可以找到最高次不大于 n的多項式函數(shù)

5、，使之與該函數(shù)的差為 0，也就是說完全相等。 這樣就把問題歸結為 L1 了。三、線性代數(shù)的一個最根本問題 一一線性空間中的運動， 被稱為線性變換。也就是說，你從線性空間中的一點運動到任意的另外一點，都可以通過一個線性變換來完成。在線性空間中，當你選定一組基之后， 不僅可以用某個向量來描述空間中的任何一個對象，而且可以用矩陣來描述該空間的任何一個運動（變換）。而使某個對象發(fā)生相對運動的方法，就是用代表那個運動的矩陣，乘以代表那個對象的向量，簡而言之，在線性空間中選定基之后，向量刻畫對象，矩陣刻畫對象的運動，用矩陣與向量的乘法施加運動。甚至可以說：“矩陣的本質是運動的描述”。在此不作詳細說明，有興

6、趣的讀者可以看看齊民友教授寫的重溫微 積分，讀了這部書的開頭部分，就可以搞明白“高等數(shù)學是研究運動的數(shù)學”這句話的道理。四、 理解矩陣：在理解矩陣的文章里，“運動”的概念不是微積分中連續(xù)性的運動， 而是瞬間發(fā)生的變換。比如物理學中量子的躍遷，物理上矩陣是線性空間里的躍遷的描述。1用數(shù)學用語描述變換，其實就是空間里從一個點（元素/對象）到另一個點（元素/對象）的躍遷。趣味逸事：描述一個三維對象只需要三維向量，但是所有的計算機圖形學變換都是4*4的，這是因為在計算機圖形學里的應用的圖形變換，實際上是在仿射空間而非向量空間中進行。想想看，在向量空間里相應一個向量平行移動后仍是相同的那個向量（向量空間

7、只是一個線性空間，沒有定義內積，即長度），而現(xiàn)實世界等長的兩個平行線段當然不能被認為是同 一個東西，所以計算機圖形學的生存空間實際上是仿射空間。而仿射空間的矩陣表示根本是4*4 的。2線性變換：線性變換究竟是一種什么樣的變換？答：線性變換就是從一個線性空間 V的某一點躍遷到另一個線性空間W的另一個點的運動。也就是說一個點不僅可以變換到同一個線性空間中的另一個點，而且可以變換到另一個線性空間中的另一個點。不管怎樣變換，只要變換前后都是線性空間中的對象，這個變換就一定是線性變換，也就是一定可以用非奇異矩陣來描述（用非奇異矩陣去描述的一個變換一定是線性變換。）3什么是基：淺顯的理解是只要把基看成是線

8、性空間里的坐標系就可以了，雖然淺顯，但目前對于我們基本夠用，注意是“坐標系”不是“坐標值”。這樣一來，選定一組基就是說在線性空間里選定一個坐標系。4. 矩陣的完善：講了前面那么多內容，現(xiàn)在可以把矩陣定義完善了?！熬仃囀蔷€性空間中的線性變換的一個描述。在一個線性空間中， 只要我們選定一組基， 那么對于任何一個線性變換，都能用一個確定的矩陣來加以描述理解“矩陣是線性空間中的線性變換的一個描述。在一個線性空間中， 只要我們選定一組基，那么對于任何一個線性變換，都能用一個確定的矩陣來加以描述?！边@句話的關鍵在于把“線性變換”和“線性變換的描述”區(qū)別開。一個是那個對象，一個是對那個對象的表 述。就好像我

9、們熟悉的面向對象編程中，一個對象可以有多個引用， 每個引用可以叫不同的名字，但都是指同一個對象。同樣的，對于一個線性變換，只要你選定一組基，那么就可以 找到一個矩陣來描述這個線性變換，換一組基就可以得到另一個不同的矩陣，所以這些矩陣都是這同一個線性變換的描述，但又都不是線性變換本身。這樣一來，矩陣作為線性變換描述的一面，基本就說清楚了。但是在線性代數(shù)中， 矩陣不僅可以作為線性變換的描述， 而且可以作為一組基的描述。而作為變換矩陣，不但可以把 線性空間中一個點給變換到另一個點去， 而且也能夠吧線性空間中的一個坐標系 （基）變換 到另一個坐標系（基）去。而且變換點與變換坐標系具有異曲同工的效果。（

10、插曲）總結一下之前的主要內容：（1）首先有空間，空間可以容納對象的運動。一種空間對于一類對象。（2）有一種空間叫線性空間，線性空間是容納向量運動對象運動的。（3） 運動是瞬時的，因此也被稱為“變換”。（3）矩陣是線性空間中的運動（變換）的描述。（4） 矩陣與向量相乘，就是實施運動（變換）的過程。（5）同一個變換，在不同坐標系下表現(xiàn)為不同矩陣，但是它們的本質是一樣的，所以值征值相同。在數(shù)學分析中，最要緊的概念是一個對象可以表達為無窮多個合理選擇的對象的線和，這個概念是貫穿始終的，也是數(shù)學分析的精華。5. 如果一組向量是彼此線性無關的話，那么它們就可以成為度量這個線性空間的一組基，從而事實上成為一

11、個坐標系體系，其中每一個向量都躺在一根坐標軸上，并且成為那根坐標軸上的基本度量單位（長度是1）。“對象的變換等于坐標系的變換”或者“固定坐標系下一個對象的變換等于固定對象所處的坐標變換。”例把（1，1）點變換到（2, 3）點有兩種方法，第一種是當坐標系不變， 點動，把（1,1） 點挪到（2,3）點；第二種是點不動，坐標系動，把x軸的度量單位（單位向量）變換為原來的1/2，把y軸的度量單位（單位向量）變換為原來的1/3，方式不同，但是結果一樣。6. “對坐標系施加變換的方法，就是讓表示那個坐標系的矩陣與表示那個變換的矩陣 相乘。”如果搞明白了上述結論，則矩陣M*N，方面表明坐標系 N在運動M下的

12、變換結果，另一方面，把M當成N的前綴，當成N的環(huán)境描述，那就是說，在 M坐標系度量下，有另 一個坐標系N。這個坐標系N如果放在I坐標系度量，其結果為坐標系 M*N。在此，我們實 際上已經回答了一般人在學習線性代數(shù)時最困惑的一個問題，那就是為什么矩陣的乘法要規(guī)定成這樣。原因如下：（1）從變換的觀點看，對坐標系 N施加M變換，就是把組成坐標系 N的每一個 向量施加M變換。（2）從坐標系的觀點看，在 M坐標系中表現(xiàn)為 N的另一個坐標系，這也歸結為，對N坐標系（基）的每一個向量，把它在I坐標系中找出來，然后匯成一股新矩陣。（3）至于矩陣乘以向量為什么要那樣規(guī)定，那是因為在一個M中度量為a的向量,如果想

13、要恢復在I中的真像，就必須分別于 M中的每一個向量進行內積運算。7矩陣運算的物理意義：如果把矩陣看成是一個2維坐標系離散值的幾何，那么（1 ）矩陣加法A+B就是A的各個點作平移，平移的度量是 B當中的點。（2 ）矩陣乘法A*B就是一種現(xiàn)象映射：如果 A是x/y坐標系，B是y/z坐標系，那 么結果就是x z的映射舉個例子，A國家有三個城市，B國家有三個城市，C國家有兩個城市，他們之間的道理狀況用矩陣表示。B1,B2,B3A1110A2101WA3110C1,C2B110B211QB301那么是從A國的每個城市出發(fā)經過 B到C的每個城市，各自有多少條路線？答案：W*Q=（2,1）,（1,1）,（2

14、,1）8.關于映射：萊布尼茨說映射是一種 2元關系，在1維的時候表現(xiàn)為函數(shù)的形式f（z）=z,在多維的時候可以寫成矩陣乘法。當然限制條件是，矩陣能表示的是一個離散值的集合，當然方陣才有逆，方陣維數(shù)不變的NN的一一映射，所以可能有且只有一個反映射，或者嗎，沒有反映射。N M的不同維數(shù)映射無法得到反映射。到此，對矩陣已經有了較深入的理解，接下來內容就該討論經常用到的特征值和特征向量了。五、特征值和特征向量的幾何意義：一個變換的特征向量是這樣一種向量，它經過這種特定變換后保持方向不變，只是長度伸縮而已（再想想特征向量的原始定義Ax=cx,就恍然大悟了，cx是方陣A對向量x進行變換后的結果，但顯然cx

15、和x方向相同），而且x是特征向量的話，ax也是特征向量（a是標量且不為零），所謂的特征向量不是一個向量，而是 一個向量簇，另外，特征值只不過反映了特征向量在變換過程中伸縮倍數(shù)而已，對一個變換而言，特征向量指明的方向才是很重要，特征值不是那么重要，雖然我們求這兩個量時，先求出特征值，但是特征向量才是更本質的東西。spectral theorem 的核心內容如下：一個線性變換（用矩陣乘法表示）可表示為它的所寫成公式就是:而每一個向量對有特征向量的一個線性組合，其中的線性系數(shù)就是每一個向量對應的特征值,Tv = Xl（vl - v iVj. 4-v v2 4- 從這里可以看出，一個變換（矩陣）可由它

16、的所有特征向量完全表示,應的特征值，就代表了矩陣在這一向量上的貢獻率一一說的通俗點就是能量（power），至此特征值翻身做了主人，徹底掌握了對特征向量的主動，你所能夠代表這個矩陣的能量高低 掌握在了特征值手中。我們知道一個變換可以由一個矩陣乘法表示，那么一個空間坐標系也可視作一個矩陣，而這個坐標系就可由這個矩陣的所有特征向量表示， 用圖來表示的話， 可以想象就是一個空 間張開的各個坐標角度，這一組向量可以完全表示一個矩陣表示的空間“特征” ，而他們的特 征值就表示了各個角度上的能量 （可以想象成從各個角度伸出的長短， 越長的軸就越可以代 表這個空間，它的“特征”就越強，或者說顯性，而短軸自然就

17、成立隱性特征。 ），因此，通過 特征向量或特征值在幾何（特別是空間幾何）及其應用中得以發(fā)揮。關于特征向量（特別是特征值）的應用實在是太多太多，比如PCA方法，選特征值最高的 k 歌特征向量來表示一個矩陣， 從而達到降維分析 +特征顯示的方法； 還比如 Google 公式 的PageRank也是通過計算一個用矩陣表示的圖（這個圖代表了整個 Web各個網(wǎng)頁“節(jié)點”之間的關聯(lián)）的特征向量來對每一個節(jié)點打“特征值”分；再比如很多人臉識別，數(shù)據(jù)挖掘 分析等方面都有應用。六、特征向量的物理意義：1 求特征向量的關系，就是把矩陣A所代表的空間進行正交分解，使得A的集合可以表示為每個a在各個特征向量上面的投影

18、長度。例如： A是n*m矩陣，nm那么特征向量 就是m個（因為秩最大是 m）, n個行向量在每個特征向量 E上面有投影，其特征值V就是權 重。那么每個行向量現(xiàn)在就可以寫成Vn=（E1*V1n， E2*V2n, ,Em*Vmn） , 矩陣變成了方陣。如果矩陣的秩更小， 矩陣的存儲還可以壓縮。再：由于這些投影的大小代表了A在特征空間各個分量的投影， 那么我們可以使用最小二乘法， 求出投影能力最大的那些向量， 而把剩下 的那些分量去掉， 這樣就最大限度地保持了矩陣代表的信息， 同時可以大大降低矩陣需要存 儲的維度，簡稱 PCA。2. 特征向量的物理含義：舉個例子，對于 x,y 平面上的一個點（ x,

19、y ），我對它作線性 變換， （x,y ） *1,0 ；0， -1 ，分號代表矩陣的換行，那么得到的結果就是（ x,-y ），這個線 性變換相當于橫軸 x 做鏡像。我們可以求出矩陣 1,0 ；0， -1 的特征向量有兩個 1,0 和0,1 ， 也就是 x 軸和 y 軸。什么意思呢？在 x 軸上的投影，經過這個線性變換，沒有改變。在 Y 軸上的投影，乘以了幅度系數(shù) -1 ，并沒有發(fā)生旋轉。兩個向量說明了這個線性變換矩陣對 x 軸和 y 軸這兩個正交基是線性不變的，對于其他的線性變換矩陣，我們也可以找到類似的，N個對稱軸，變換后結果，關于這N個對稱軸線性不變。這 N個對稱軸就是線性變換 A的N個特

20、征向量。這個是特征向量的物理含義所在。所以矩陣等價于線性變換A。對于實際應用的矩陣算法， 經常需要求矩陣的逆： 當矩陣不是方陣時候無解， 這是需要 用到奇異值分解的辦法，也就是 A=PSQ P和Q是互逆的矩陣，而 S是一個方陣，然后求出 偽逆值。同時A=PSC可以用來降低 A的存儲維數(shù)，只要 P是一個瘦長方形矩陣，Q是寬扁型矩陣。對于A非常大的情況可以降低存儲量好幾個數(shù)量級。3. 特征值有什么特性？說明可以分解成N維特征向量的投影上面，這N個特征值就是各個投影方向上的長度，由于n*n矩陣A可以投影在一個正交向量空間里面，那么任何N維特征向量組成的矩陣都可以是線性投影變換矩陣，那么I 就是一個同

21、用的線性變換矩陣。所以對于特征值m 一定有是構成了一個沒有線性無關向量的矩陣Aa=ma兩邊同乘以I得到Aa=mal,所以（A-ml） a=0有非0解，那么|A-ml|=O（用反證法，如果這個行列式不是0,那么N個向量線性無關，在 N維空間中只能相交于原點，不可能有非0解。）所以可以推出一些有用的性質：（1）只要滿足|A-mI|=0的值就是特征值。（2） 個n*n的矩陣A,秩=1,那么最大無關組=1組，特征向量=1個，任意n維非零 向量都是A的特征向量。特征向量本身不是定死的， 這就好比坐標系可以旋轉一樣。 一旦特 征向量的各個方向確定了,那么特征向量也就確定了,求特征值的過程就是用特征方程|A

22、-mi|=0 ，P（1/A）=1/P（A）。一個N維線性無關的向量，去掉其中的一維，那么就有至少兩 個向量是線性相關的了,所以行列式 =0。4. 特征矩陣有什么作用？把矩陣化為正定矩陣，也就是A=PA-IBP，這樣的變換，A是對角陣。八、淺談線性變換在圖像處理方面的一些缺點：1. 線性變換PCA可以用來處理圖像，女口 2維人臉識別，具體做法步驟如下：（1）我們把圖像A看成是矩陣，進一步看成是線性變換矩陣，把這個訓練圖像的特征矩陣求出來（假設取了 n 個能量最大的特征向量） 。用 A 乘以這個 n+1 特征向量，得到一個 n維矢量a，也就是A在特征空間的投影。（ 2）今后在識別的時候，同一類圖形（例如，來自同一個人面部照片），認為是 A的線性相關圖像，它乘以這個特征向量，得到n個數(shù)字組成的一個 b，也就是B在特征空間的投影。那么 a和b之間的距離就是我們判斷 B是不是A 的準則。2. 但是PCA有天生的缺點，就宿舍線性矢量相關性考察有“平移無關性”優(yōu)點的同時，也完全忽略了 2 維圖形中， 矢量分量之間的順序是有意義的， 順序不同， 可以代表完全不同 的信息。就是圖像 B必須是A的某種伸縮（有特征向量空間決定），才能被很好的投影到 A 的特征向量空間里