特征值和特征向量的物理意義

word可編輯..特征向量表達樣本之間的相關(guān)程度，特征值那么反映了散射強度。特征向量的幾何意義.矩陣(既然討論特征向量的問題.當然是方陣.這里不討論廣義特征向量的概念)乘以一個向量的結(jié)果仍是同維數(shù)的一個向量.因此.矩陣乘法對應(yīng)了一個變換.把一個向量變成同維數(shù)的另一個向量.那么變換的效果是什么呢這當然與方陣的構(gòu)造有密切關(guān)系.比方可以取適當?shù)亩S方陣.使得這個變換的效果就是將平面上的二維向量逆時針旋轉(zhuǎn)30度.這時我們可以問一個問題.有沒有向量在這個變換下不改變方向呢可以想一下.除了零向量.沒有其他向量可以在平面上旋轉(zhuǎn)30度而不改變方向的.所以這個變換對應(yīng)的矩陣(或者說這個變換自身)沒有特征向量(注意:特征向量不能是零向量).所以一個變換的特征向量是這樣一種向量.它經(jīng)過這種特定的變換后保持方向不變.只是進行長度上的伸縮而已(再想想特征向量的原始定義Ax=cx.你就恍然大悟了.看到了嗎cx是方陣A對向量x進行變換后的結(jié)果.但顯然cx和x的方向相同).而且x是特征向量的話.ax也是特征向量(a是標量且不為零).所以所謂的特征向量不是一個向量而是一個向量族.另外.特征值只不過反映了特征向量在變換時的伸縮倍數(shù)而已.對一個變換而言.特征向量指明的方向才是很重要的.特征值不是那么重要.雖然我們求這兩個量時先求出特征值.但特征向量才是更本質(zhì)的東西!

比方平面上的一個變換.把一個向量關(guān)于橫軸做鏡像對稱變換.即保持一個向量的橫坐標不變.但縱坐標取相反數(shù).把這個變換表示為矩陣就是［10,0-1］.其中分號表示換行.顯然［10,0-1］＊［ab］＇=［a-b］＇.其中上標＇表示取轉(zhuǎn)置.這正是我們想要的效果.那么現(xiàn)在可以猜一下了.這個矩陣的特征向量是什么想想什么向量在這個變換下保持方向不變.顯然.橫軸上的向量在這個變換下保持方向不變(記住這個變換是鏡像對稱變換.那鏡子外表上(橫軸上)的向量當然不會變化).所以可以直接猜想其特征向量是［a0］＇(a不為0).還有其他的嗎有.那就是縱軸上的向量.這時經(jīng)過變換后.其方向反向.但仍在同一條軸上.所以也被認為是方向沒有變化。綜上，特征值只不過反映了特征向量在變換時的伸縮倍數(shù)而已，對一個變換而言，特征向量指明的方向才是很重要的，特征值似乎不是那么重要；但是，當我們引用了Spectraltheorem〔譜定律〕的時候，情況就不一樣了。

Spectraltheorem的核心容如下：一個線性變換〔用矩陣乘法表示〕可表示為它的所有的特征向量的一個線性組合，其中的線性系數(shù)就是每一個向量對應(yīng)的特征值，寫成公式就是：T(V)=λ1(V1.V)V1+λ2(V2.V)V2+λ3(V3.V)V3+...

從這里我們可以看出，一個變換〔矩陣〕可由它的所有特征向量完全表示，而每一個向量所對應(yīng)的特征值，就代表了矩陣在這一向量上的奉獻率——說的通俗一點就是能量〔power〕，至此，特征值翻身做主人，徹底掌握了對特征向量的主動：你所能夠代表這個矩陣的能量上下掌握在我手中，你還吊什么吊？

我們知道，一個變換可由一個矩陣乘法表示，那么一個空間坐標系也可視作一個矩陣，而這個坐標系就可由這個矩陣的所有特征向量表示，用圖來表示的話，可以想象就是一個空間開的各個坐標角度，這一組向量可以完全表示一個矩陣表示的空間的“特征〞，而他們的特征值就表示了各個角度上的能量〔可以想象成從各個角度上伸出的長短，越長的軸就越可以代表這個空間，它的“特征〞就越強，或者說顯性，而短軸自然就成了隱性特征〕，因此，通過特征向量/值可以完全描述某一幾何空間這一特點，使得特征向量與特征值在幾何〔特別是空間幾何〕及其應(yīng)用中得以發(fā)揮。

關(guān)于特征向量〔特別是特征值〕的應(yīng)用實在是太多太多，近的比方俺曾經(jīng)提到過的PCA方法，選取特征值最高的k個特征向量來表示一個矩陣，從而到達降維分析+特征顯示的方法；近的比方Google公司的成名作PageRank，也是通過計算一個用矩陣表示的圖〔這個圖代表了整個Web各個網(wǎng)頁“節(jié)點〞之間的關(guān)聯(lián)〕的特征向量來對每一個節(jié)點打“特征值〞分；再比方很多人臉識別，數(shù)據(jù)流模式挖掘分析等方面，都有應(yīng)用，有興趣的兄弟可以參考IBM的Spiros在VLDB‘05，SIGMOD’06上的幾篇文章。

特征向量不僅在數(shù)學上，在物理，材料，力學等方面〔應(yīng)力、應(yīng)變量〕都能一展拳腳，有老美曾在一本線代書里這樣說過“有振動的地方就有特征值和特征向量〞，確實令人肅然起敬+毛骨悚然特征值就是那個矩陣所對應(yīng)的一元屢次方程組的根特征值表示一個矩陣的向量被拉伸或壓縮的程度,例如特征值為1111111111,那么表示經(jīng)過變換以后,向量沒有被拉伸,在物理上表示做剛體運動,相當與整體框架做了變動,但部結(jié)構(gòu)沒有變化.量子力學中,矩陣代表力學量,矩陣的特征向量代表定態(tài)波函數(shù),矩陣的特征植代表力學量的某個可能的觀測值。一個向量〔或函數(shù)〕被矩陣相乘，表示對這個向量做了一個線性變換。如果變換后還是這個向量本身乘以一個常數(shù)，這個常數(shù)就叫特征值。這是特征值的數(shù)學涵義；至于特征值的物理涵義，根據(jù)具體情況有不同的解釋。比方動力學中的頻率，穩(wěn)定分析中的極限荷載，甚至應(yīng)力分析中的主應(yīng)力矩陣的特征值要想說清楚還要從線性變換入手，把一個矩陣當作一個線性變換在某一組基下的矩陣，最簡單的線性變換就是數(shù)乘變換，求特征值的目的就是看看一個線性變換對一些非零向量的作用是否能夠相當于一個數(shù)乘變換，特征值就是這個數(shù)乘變換的變換比，這樣的一些非零向量就是特征向量，其實我們更關(guān)心的是特征向量，希望能把原先的線性空間分解成一些和特征向量相關(guān)的子空間的直和，這樣我們的研究就可以分別限定在這些子空間上來進行，這和物理中在研究運動的時候?qū)⑦\動分解成水平方向和垂直方向的做法是一個道理！用matlab求矩陣最大特征值的特征向量用函數(shù)[V,D]=eig(A)矩陣D的對角元存儲的是A的所有特征值，

而且是從小到大排列的

矩陣V的每一列存儲的是相應(yīng)的特征向量

所以應(yīng)該是V的最后一個列就是最大特征值的特征向量

特征向量-定義

數(shù)學上，線性變換的特征向量〔本征向量〕是一個非退化的向量，其方向在該變換下不變。該向量在此變換下縮放的比例稱為其特征值〔本征值〕。圖1給出了一幅圖像的例子。一個變換通?？梢杂善涮卣髦岛吞卣飨蛄客耆枋?。特征空間是相同特征值的特征向量的集合。這些概念在純數(shù)學和應(yīng)用數(shù)學的很多領(lǐng)域發(fā)揮著巨大的作用—在線性代數(shù)，泛函分析，甚至在一些非線性的情況中也有著顯著的重要性?！疤卣鳕曇辉~來自德語的eigen。1904年希爾伯特首先在這個意義下使用了這個詞，更早亥爾姆霍爾茲也在相關(guān)意義下使用過該詞。eigen一詞可翻譯為“自身的〞，“特定于...的〞，“有特征的〞或者“個體的〞—這強調(diào)了特征值對于定義特定的變換有多重要。空間上的變換—如平移(移動原點)，旋轉(zhuǎn)，反射，拉伸，壓縮，或者這些變換的組合；以及其它變換—可以通過它們在向量上的作用來顯示。向量可以用從一點指向另一點的箭頭來表示。矩陣特征向量-性質(zhì)〔1〕

變換的特征向量是指在變換下不變或者簡單地乘以一個縮放因子的非零向量。特征向量的特征值是它所乘的那個縮放因子。特征空間就是由所有有著相同特征值的特征向量組成的空間，還包括零向量，但要注意零向量本身不是特征向量。變換的主特征向量是對應(yīng)特征值最大的特征向量。特征值的幾何重次是相應(yīng)特征空間的維數(shù)。有限維向量空間上一個變換的譜是其所有特征值的集合。例如，三維空間旋轉(zhuǎn)的特征向量是沿著旋轉(zhuǎn)軸的一個向量，相應(yīng)的特征值是1，相應(yīng)的特征空間包含所有和該軸平行的向量。該特征空間是一個一維空間，因而特征值1的幾何重次是1。特征值1是旋轉(zhuǎn)的譜當中唯一的實特征值。特征向量-參看：特征平面

例子隨著地球的自轉(zhuǎn)，每個從地心往外指的箭頭都在旋轉(zhuǎn)，除了在轉(zhuǎn)軸上的那些箭頭?？紤]地球在一小時自轉(zhuǎn)后的變換：地心指向地理南極的箭頭是這個變換的一個特征向量，但是從地心指向赤道任何一處的箭頭不會是一個特征向量。因為指向極點的箭頭沒有被地球的自轉(zhuǎn)拉伸，它的特征值是1。另一個例子是，薄金屬板關(guān)于一個固定點均勻伸展，使得板上每一個點到該固定點的距離翻倍。這個伸展是一個有特征值2的變換。從該固定點到板上任何一點的向量是一個特征向量，而相應(yīng)的特征空間是所有這些向量的集合。但是，三維幾何空間不是唯一的向量空間。例如，考慮兩端固定的拉緊的繩子，就像弦樂器的振動弦那樣〔圖2.〕。振動弦的原子到它們在弦靜止時的位置之間的帶符號那些距離視為一個空間中的一個向量的分量，那個空間的維數(shù)就是弦上原子的個數(shù)。如果考慮繩子隨著時間流逝發(fā)生的變換，它的特征向量，或者說特征函數(shù)〔如果將繩子假設(shè)為一個連續(xù)媒介〕，就是它的駐波—也就是那些通過空氣的傳播讓人們聽到弓弦和吉他的撥動聲的振動。駐波對應(yīng)于弦的特定振動，它們使得弦的形狀隨著時間變化而伸縮一個因子〔特征值〕。和弦相關(guān)的該向量的每個分量乘上了一個依賴于時間的因子。駐波的振幅〔特征值〕在考慮到阻尼的情況下逐漸減弱。因此可以將每個特征向量對應(yīng)于一個壽命，并將特征向量的概念和共振的概念聯(lián)系起來。特征向量-特征值方程

從數(shù)學上看，如果向量v與變換滿足那么稱向量v是變換的一個特征向量，λ是相應(yīng)的特征值。其中是將變換作用于v得到的向量。這一等式被稱作“特征值方程〞。假設(shè)是一個線性變換，那么v可以由其所在向量空間的一組基表示為：其中vi是向量在基向量上的投影〔即坐標〕，這里假設(shè)向量空間為n維。由此，可以直接以坐標向量表示。利用基向量，線性變換也可以用一個簡單的矩陣乘法表示。上述的特征值方程可以表示為：但是，有時候用矩陣形式寫下特征值方程是不自然甚或不可能的。例如在向量空間是無窮維的時候，上述的弦的情況就是一例。取決于變換和它所作用的空間的性質(zhì)，有時將特征值方程表示為一組微分方程更好。假設(shè)是一個微分算子，其特征向量通常稱為該微分算子的特征函數(shù)。例如，微分本身是一個線性變換因為〔假設(shè)M和N是可微函數(shù)，而a和b是常數(shù)〕考慮對于時間t的微分。其特征函數(shù)滿足如下特征值方程：,其中λ是該函數(shù)所對應(yīng)的特征值。這樣一個時間的函數(shù)，如果λ=0，它就不變，如果λ為正，它就按比例增長，如果λ是負的，它就按比例衰減。例如，理想化的兔子的總數(shù)在兔子更多的地方繁殖更快，從而滿足一個正λ的特征值方程。該特征值方程的一個解是N=exp(λt)，也即指數(shù)函數(shù)；這樣，該函數(shù)是微分算子d/dt的特征值為λ的特征函數(shù)。假設(shè)λ是負數(shù)，我們稱N的演變?yōu)橹笖?shù)衰減；假設(shè)它是正數(shù)，那么稱指數(shù)增長。λ的值可以是一個任意復(fù)數(shù)。因此d/dt的譜是整個復(fù)平面。在這個例子中，算子d/dt作用的空間是單變量可微函數(shù)的空間。該空間有無窮維〔因為不是每一個可微函數(shù)都可以用有限的基函數(shù)的線性組合來表達的〕。但是，每個特征值λ所對應(yīng)的特征空間是一維的。它就是所有形為N=N0exp(λt)的函數(shù)的集合。N0是任意常數(shù)，也就在t=0的初始數(shù)量。特征向量-譜定理

關(guān)于此話題更進一步的細節(jié)，見譜定理。譜定理在有限維的情況，將所有可對角化的矩陣作了分類：它顯示一個矩陣是可對角化的，當且僅當它是一個正規(guī)矩陣。注意這包括自共軛〔厄爾米特〕的情況。這很有用，因為對角化矩陣T的函數(shù)f(T)〔譬如波萊爾函數(shù)f〕的概念是清楚的。在采用更一般的矩陣的函數(shù)的時候譜定理的作用就更明顯了。例如，假設(shè)f是解析的，那么它的形式冪級數(shù)，假設(shè)用T取代x，可以看作在矩陣的巴拿赫空間中絕對收斂。譜定理也允許方便地定義正算子的唯一的平方根。譜定理可以推廣到希爾伯特空間上的有界正規(guī)算子，或者無界自共軛算子的情況。特征向量-矩陣的特征值和特征向量

如上所述，譜定理說明正方形矩陣可以對角化當且僅當它是正規(guī)的。對于更一般的未必正規(guī)的矩陣，我們有類似的結(jié)果。當然在一般的情況，有些要求必須放松，例如酉等價性或者最終的矩陣的對角性。所有這些結(jié)果在一定程度上利用了特征值和特征向量。下面列出了一些這樣的結(jié)果：舒爾三角形式說明任何酉矩陣等價于一個上三角矩陣；奇異值分解定理，A=UΣV*其中Σ為對角陣，而U,V為酉矩陣。A=UΣV*的對角線上的元素非負，而正的項稱為A的奇異值。這對非正方形矩陣也成立；假設(shè)當標準型，其中A=UΛU1其中Λ不是對角陣，但是分塊對角陣，而U是酉矩陣。假設(shè)當塊的大小和個數(shù)由特征值的幾何和代數(shù)重次決定。假設(shè)當分解是一個根本的結(jié)果。從它可以立即得到一個正方形矩陣可以完全用它的特征值包括重次來表述，最多只會相差一個酉等價。這表示數(shù)學上特征值在矩陣的研究中有著極端重要的作用。作為假設(shè)當分解的直接結(jié)果，一個矩陣A可以“唯一〞地寫作A=S+N其中S可以對角化，N是冪零的〔也即，對于某個q，Nq=0〕，而S和N可交換(SN=NS)。任何可逆矩陣A可以唯一地寫作A=SJ，其中S可對角化而J是么冪矩陣(也即，使得特征多項式是(λ-1)的冪，而S和J可交換)。特征向量-特征值的一些另外的屬性

譜在相似變換下不變:矩陣A和P-1AP有相同的特征值，這對任何矩陣A和任何可逆矩陣P都成立。譜在轉(zhuǎn)置之下也不變：矩陣A和AT有相同的特征值。因為有限維空間上的線性變換是雙射當且僅當它是單射，一個矩陣可逆當且僅當所有特征值都不是0。假設(shè)當分解的一些更多的結(jié)果如下：一個矩陣是對角陣當且僅當代數(shù)和幾何重次對于所有特征值都相等。特別的有，一個n×n矩陣如果有n不同特征值，那么總是可以對角化的。矩陣作用的向量空間可以視為其廣義特征向量所撐成的不變子空間的直和。對角線上的每個塊對應(yīng)于該直和的一個子空間。假設(shè)一個塊是對角化的，其不變子空間是一個特征空間。否那么它是一個廣義特征空間，如上面所定義；因為跡，也就是矩陣主對角線元素之和，在酉等價下不變，假設(shè)當標準型說明它等于所有特征值之和；類似的有，因為三角矩陣的特征值就是主對角線上的項，其行列式等于等于特征值的乘積〔按代數(shù)重次計算出現(xiàn)次數(shù)〕。正規(guī)矩陣的一些子類的譜的位置是：一個厄爾米特矩陣(A=A*)的所有特征值是實數(shù)。進一步的有，所有正定矩陣(v*Av>0forallvectorsv)的所有特征值是正數(shù)；所有斜厄爾米特矩陣(A=A*)的特征值是純虛數(shù)；所有酉矩陣(A-1=A*)的特征值絕對值為1;假設(shè)A是一個m×n矩陣，其中m≤n，而B是一個n×m矩陣。那么BA有和AB相同的特征值加上nm個等于0的特征值。每個矩陣可以被賦予一個算子數(shù)。算子數(shù)是其特征值的模的上確界，因而也是它的譜半徑。該數(shù)直接和計算最大模的特征值的冪法直接相關(guān)。當一個矩陣是正規(guī)的，其算子數(shù)是其特征值的最大模，并且獨立于其定義域的數(shù)。特征向量-共軛特征向量

一個共軛特征向量或者說共特征向量是一個在變換下成為其共軛乘以一個標量的向量，其中那個標量稱為該線性變換的共軛特征值或者說共特征值。共軛特征變量和共軛特征值代表了和常規(guī)特征向量和特征值相同的信息和含義，但是在交替坐標系統(tǒng)被使用的時候出現(xiàn)。對應(yīng)的方程是：例如，在相干電磁散射理論中，線性變換A代表散射物體施行的作用，而特征向量表示電磁波的極化狀態(tài)。在光學中，坐標系統(tǒng)按照波的觀點定義，稱為前向散射對齊(FSA)，從而導(dǎo)致了常規(guī)的特征值方程，而在雷達中，坐標系統(tǒng)按照雷達的觀點定義，稱為后向散射對齊(BSA)，從而給出了共軛特征值方程。特征向量-廣義特征值問題

一個廣義特征值問題(第二種意義)有如下形式其中A和B為矩陣。其廣義特征值(第二種意義)λ可以通過求解如下方程得到形如AλB的矩陣的集合，其中λ是一個復(fù)數(shù)，稱為一個“鉛筆〞。假設(shè)B可逆，那么最初的問題可以寫作如下形式也即標準的特征值問題。但是，在很多情況下施行逆操作是不可取的，而廣義特征值問題應(yīng)該如同其原始表述來求解。如果A和B是實系數(shù)的對稱矩陣，那么特征值為實數(shù)。這在上面的第二種等價表述中并不明顯，因為矩陣B1A未必是對稱的。這里的一個例子是分子軌道應(yīng)用如下。特征向量-系數(shù)為環(huán)中元素

在方矩陣A，其系數(shù)屬于一個環(huán)的情況，λ稱為一個右特征值如果存在一個列向量x使得Ax=λx，或者稱為一個左特征值如果存在非零行向量y使得yA=yλ。假設(shè)環(huán)是可交換的，左特征值和右特征值相等，并簡稱為特征值。否那么，例如當環(huán)是四元數(shù)集合的時候，它們可能是不同的。假設(shè)向量空間是無窮維的，特征值的概念可以推廣到譜的概念。譜是標量λ的集合，對于這些標量，沒有定義，也就是說它們使得沒有有界逆。很明顯，如果λ是T的特征值，λ位于T的譜。一般來講，反過來并不成立。在希爾伯特空間或者巴拿赫空間上有一些算子完全沒有特征向量。這可以從下面的例子中看到。在希爾伯特空間(所有標量級數(shù)的空間，每個級數(shù)使得收斂)上的雙向平移沒有特征向量卻有譜值。在無窮維空間，有界算子的譜系總是非空的，這對無界自共軛算子也成立。通過檢驗譜測度，任何有界或無界的自共軛算子的譜可以分解為絕對連續(xù)，離散，和孤立局部。指數(shù)增長或者衰減是連續(xù)譜的例子，而振動弦駐波是離散譜例子。氫原子是兩種譜都有出現(xiàn)的例子。氫原子的束縛態(tài)對應(yīng)于譜的離散局部，而離子化狀態(tài)用連續(xù)譜表示。圖3用氯原子的例子作了解釋。特征向量-應(yīng)用

薛定諤方程一個變換用微分算子代表的特征值方程的例子是量子力學中的時不變薛定諤方程HΨE=EΨE其中H是哈密爾頓算子，一個二階微分算子而ΨE是波函數(shù)，對應(yīng)于特征值E的特征函數(shù)，該值可以解釋為它的能量。圖4.一個氫原子中的一個電子的束縛態(tài)所對應(yīng)的波函數(shù)可以視為氫原子哈密爾頓算子的一個特征向量，也是角動量算子的一個特征向量。它們對應(yīng)于可以解釋為它們的能量(遞增：n=1,2,3,...)和角動量(遞增：s,p,d,...)的特征值。這里畫出了波函數(shù)絕對值的平方。更亮區(qū)域?qū)?yīng)于位置測度的更高概率密度。每幅圖的中心都是原子核，一個質(zhì)子但是，在這個情況我們只尋找薛定鄂方程的束縛態(tài)解，就像在量子化學中常做的那樣，我們在平方可積的函數(shù)中尋找ΨE。因為這個空間是一個希爾伯特空間，有一個定義良好的標量積，我們可以引入一個基集合，在其中ΨE和H可以表示為一個一維數(shù)組和一個矩陣。這使得我們能夠用矩陣形式表達薛定鄂方程。(圖4代表氫原子哈密爾頓算子的最低能級特征函數(shù)?！车依擞浄ń?jīng)常在這個上下文中使用，以強調(diào)狀態(tài)的向量和它的表示，函數(shù)ΨE之間的區(qū)別。在這個情況下，薛定鄂方程寫作并稱是H的一個本征態(tài)(H有時候在入門級課本中寫作)，H被看作是一個變換〔參看觀測值〕而不是一個它用微分算子術(shù)語進行的特定表示。在上述方程中，理解為通過應(yīng)用H到得到的一個向量。特征向量-分子軌道

在量子力學中，特別是在原子物理和分子物理中，在Hartree-Fock理論下，原子軌道和分子軌道可以定義為Fock算子的特征向量。相應(yīng)的特征值通過Koopmans定理可以解釋為電離勢能。在這個情況下，特征向量一詞可以用于更廣泛的意義，因為Fock算子顯式地依賴于軌道和它們地特征值。如果需要強調(diào)這個特點，可以稱它為隱特征值方程。這樣地方程通常采用迭代程序求解，在這個情況下稱為自洽場方法。在量子化學中，經(jīng)常會把Hartree-Fock方程通過非正交基集合來表達。這個特定地表達是一個廣義特征值問題稱為Roothaan方程。特征向量-因子分析

在因素分析中，一個協(xié)變矩陣的特征向量對應(yīng)于因素，而特征值是因素負載。因素分析是一種統(tǒng)計學技術(shù)，用于社會科學和市場分析、產(chǎn)品管理、運籌規(guī)劃和其他處理大量數(shù)據(jù)的應(yīng)用科學。其目標是用稱為因素的少量的不可觀測隨機變量來解釋在一些可觀測隨機變量中的變化?？捎^測隨機變量用因素的線性組合來建模，再加上“殘差項。特征向量-特征臉是特征變量的例子特征臉

在圖像處理中，臉部