矩陣的奇異值分解

1、4 矩陣的奇異值分解矩陣的奇異值分解 矩陣的奇異值分解在矩陣理論中的重要性是不言而喻的，它在矩陣的奇異值分解在矩陣理論中的重要性是不言而喻的，它在最優(yōu)化問題、特征值問題、最小二乘方問題、廣義逆矩陣問題最優(yōu)化問題、特征值問題、最小二乘方問題、廣義逆矩陣問題和統(tǒng)計學等方面都有十分重要的應用。和統(tǒng)計學等方面都有十分重要的應用。一一.預備知識預備知識為了論述和便于理解奇異值分解，本節(jié)回顧線性代數有關知識為了論述和便于理解奇異值分解，本節(jié)回顧線性代數有關知識。定義定義2.14 若實方陣若實方陣Q滿足滿足 ,則稱則稱Q是正交矩陣是正交矩陣.定義定義2.15 若存在正交矩陣若存在正交矩陣P,使得使得 ,則稱

2、則稱A正交相似于正交相似于B.定義定義2.16 共軛轉置矩陣記為共軛轉置矩陣記為 ,即即 .定義定義2.17 若若 ,則稱則稱A為為Hermit矩陣矩陣.定義定義2.18 設設 ,若若 ,則稱則稱A為正規(guī)矩陣為正規(guī)矩陣.EQQTBAPPTHATHAAAAHnnA CHHAAAAnnA C定義定義2.19 設設 ,若若 ,則稱則稱A為酉矩陣為酉矩陣.定義定義2.20 設設 ,若存在酉矩陣若存在酉矩陣P,使得使得,則則A稱酉相似于稱酉相似于B.性質性質1 若若A是是n階實對稱矩陣，階實對稱矩陣， 是的特征值，則是的特征值，則恒存在正交陣恒存在正交陣Q，使得，使得而且而且Q的的n個列向量是的一個完備

3、的標準正交特征向量系。個列向量是的一個完備的標準正交特征向量系。性質性質2 若若 ，是非奇異矩陣，則存在正交陣，是非奇異矩陣，則存在正交陣P和和Q，使得使得其中其中.nnACBAPPH), 2 , 1(nii),(21ndiagQAQnnRA),(21ndiagAQPT),2,1(,0niiEHH AAAAnnAC性質性質3 (1) 設設 ,則則 是是Hermit矩陣矩陣,且其特征值且其特征值均是非負實數均是非負實數;(2) ;(3) 設設 , 則則 的充要條件為的充要條件為 .把性質把性質2中的等式改寫為中的等式改寫為稱上式是稱上式是A的正交對角分解的正交對角分解.性質性質4 (1) 設設

4、,則則A酉相似于對角陣的充分必要條件是酉相似于對角陣的充分必要條件是A為正規(guī)矩陣為正規(guī)矩陣;(2) 設設 ,且且A的特征值都是實數的特征值都是實數,則正交相似于對角矩則正交相似于對角矩陣的充要條件陣的充要條件A是為正規(guī)矩陣是為正規(guī)矩陣. )0( rCnmrAAAHAAAHrankrank)(nmCAOA OAAH121),(QPAndiagnnRAnmCA二二.矩陣的奇異值分解矩陣的奇異值分解 現在開始論述矩陣的奇異值分解?，F在開始論述矩陣的奇異值分解。定義定義2.21 設設 ， 的特征值為的特征值為則稱則稱 是是A的奇異值；規(guī)定零矩陣的奇異值；規(guī)定零矩陣0的奇異值的奇異值都是都是0.定理定理

5、2.9 設設 , 則存在則存在m階酉矩陣階酉矩陣U和和n階酉階酉矩陣矩陣V,使得使得 （2.41）其中矩陣其中矩陣 ,而數而數是矩陣是矩陣A的所有非零奇異值的所有非零奇異值.稱式（稱式（2.41）是矩陣）是矩陣A的奇異值分解的奇異值分解.)0(rCnmrAAAH0121nrr), 2 , 1(niiiHVOOOUA),(21rdiagr,21)0(rCnmrA證證 根據性質根據性質3, 是是Hermit矩陣矩陣,且其特征值均是非負實數且其特征值均是非負實數,且且 記為記為顯然顯然, 是是 正規(guī)矩陣正規(guī)矩陣.根據性質根據性質4,存在存在n階酉矩陣階酉矩陣V,使得使得 或或AAH0121nrrOO

6、OVAAV2n1)(HHOOOVAVA2HAAH其中其中:設設V有分塊形式有分塊形式則有則有即即 由由 ,得得 或或r12)(2121,rnnrnrnrCCVVVVVOVOOOVVAVAAVAAVA2122121HHH211VAVAHOAVA2H211VAVAH211AVAVHHrHEAVAV)()(1111, ,其中其中. 由由 ,得得 或或 令令 ，則，則根據線性代數理論知，可將兩兩正交的單位列向量根據線性代數理論知，可將兩兩正交的單位列向量擴充為擴充為 的標準正交基的標準正交基，記矩陣，記矩陣 ，則，則是是m階酉矩陣，且階酉矩陣，且rr11OAVA2HOAVAV)()(22HOAV 2)

7、(1111ru,u,uAVU2rHEUU11ru,u,u21mCmrruuu,u,u2,11),(12mruuU)(1121mu,u,u,uUUUrrOUU,EUU2211HrH于是于是所以所以 (證畢證畢) 由上述定理的證明過程可知由上述定理的證明過程可知,A的奇異值是由的奇異值是由A唯一確定的唯一確定的,但是但是,由于酉矩陣由于酉矩陣U和和V是不唯一的是不唯一的,故故A的奇異值分解的奇異值分解(2.41)式也是不惟一的式也是不惟一的. OUUUAVAVUAVU12121 HHHHOOOOUUOUU121 1HHHVOOOUA例例10 求矩陣求矩陣 的奇異值分解的奇異值分解.解解: 可以求得

8、矩陣可以求得矩陣的特征值是的特征值是 ,對應的特征向量可取為對應的特征向量可取為 ，于是可得，于是可得，奇異值為，奇異值為 ， ，且使得，且使得成立的正交矩陣為成立的正交矩陣為000021A4221000021002001AAH0, 521TT) 1, 2(,)2, 1 (21xx1AAAHrankrank0,52111)5(0005)(n1OOOVAAV2HH ， 其中其中經計算經計算,將將 擴張成擴張成 的正交標準基的正交標準基則則A的奇異值分解是的奇異值分解是5152525121VVV5152,525121VV001515251000021111AVU1U3R10001000121UUU

9、51525251000005100010001HVOOOUA 例例11 設矩陣設矩陣 ，求它的奇異值分解，求它的奇異值分解.解解 經過計算，矩陣經過計算，矩陣的特征值為的特征值為 ,對應的特征向量分別是對應的特征向量分別是，從而正交矩陣從而正交矩陣000110101A211110101AAH0, 1, 3321111,011,211321xxx以及以及 ，計算計算,31062312161312161V1003, 2 Arank062216121611V00212121211003106221612161000110101111AVU，構造構造.的奇異值分解是的奇異值分解是10002121021

10、21,100212UUUU313131021216261610000100031000212102121A.三三. 正交相抵矩陣正交相抵矩陣 定義定義2.22 設設 ,若存在若存在m階正交矩陣階正交矩陣U和和n階正交矩階正交矩 陣陣V,使得使得 ,則稱則稱A與與B正交相抵正交相抵. 在上述定義中在上述定義中,若若A和和B都是都是n階方陣階方陣,U=V,則則 即即A與與B正交相似正交相似.可見正交相似概念是正交相抵概念的特殊情況可見正交相似概念是正交相抵概念的特殊情況. 定理定理2.10 正交相抵的兩個矩陣具有相同的奇異值正交相抵的兩個矩陣具有相同的奇異值. 證證 若若 ,則則nmRBA,AVUB1AUUB1AVUB1VAAVVAAVAVUUAVAVUAVUBB)()()()()(11111TTTTTTT上式表明上式表明 與與 相似相似,而相似矩陣有相同的特征值而相似矩陣有相同的特征值,所以所以A與與B有相同的奇異值有相同的奇異值.證畢證畢直接驗證可知直接驗證可知, 正交相抵具有自反性、對稱性和傳遞性，因正交相抵具