矩陣奇異值分解

1、 矩陣的奇異值分解在矩陣特征值矩陣的奇異值分解在矩陣特征值問題，最小二乘法問題及廣義逆矩陣問題，最小二乘法問題及廣義逆矩陣問題等有重要應(yīng)用問題等有重要應(yīng)用矩陣的等價標(biāo)準(zhǔn)型矩陣的等價標(biāo)準(zhǔn)型定理定理：設(shè)：設(shè),0rCAnmr則存在則存在,nnnnmmCTCS使得使得000rISAT右式稱為矩陣右式稱為矩陣A A的等價標(biāo)準(zhǔn)型的等價標(biāo)準(zhǔn)型酉等價酉等價：設(shè)：設(shè),nmCBA若存在若存在m m階酉矩陣階酉矩陣U U和和n n階酉矩陣階酉矩陣V V，使得，使得,BAVUH則稱則稱A A與與B B酉等價。酉等價。矩陣的奇異值分解就是矩陣在酉等價下的一種標(biāo)準(zhǔn)型。矩陣的奇異值分解就是矩陣在酉等價下的一種標(biāo)準(zhǔn)型。引理引

2、理1 證明證明 設(shè)設(shè) 是是AHA的特征值，的特征值，x是相應(yīng)的特征向量，是相應(yīng)的特征向量，則則 AHAx= x由于由于AHA為為Hermite 矩陣，故矩陣，故 是實數(shù)。又是實數(shù)。又。的特征值均為非負(fù)實數(shù)與設(shè)HHnmAAAACA,0, 0)()(),(0 xxxxAxAxAxAxHHH同理可證同理可證AAH的特征值也是非負(fù)實數(shù)。的特征值也是非負(fù)實數(shù)。證明證明 設(shè)設(shè)x x是方程組是方程組A AH HAx=0Ax=0的非的非0 0解解，引理引理2 2 )()()(,ArankAArankAArankCAHHnmr則設(shè)mCAx0)(),(AxAxAxAxHH故故則由則由同解。與線性方程組因此00,A

3、xAAxH得得; 0Ax的解；的解也是反之，00AxAAxH)()()(HHAArankAArankArank)()(AArankArankH得替換用,AAH對于對于Hermite 矩陣矩陣AHA， AAH，設(shè)設(shè) AHA， AAH有有r個非個非0特征值，分別記為特征值，分別記為00121121nrrrrmriii, 2 , 1,則,nmrCA設(shè)即：即： AHA與與AAH非非0特征值相同，并且非零特特征值相同，并且非零特征值的個數(shù)為征值的個數(shù)為)(Arank奇異值的定義奇異值的定義值。的正奇異值，簡稱奇異為矩陣稱Ariii),2, 1(0,121mrrHnmrAACA的特征值為且設(shè)說明：說明：A

4、的正奇異值個數(shù)恰等于的正奇異值個數(shù)恰等于 ，并且，并且A與與AH有相同的奇異值。有相同的奇異值。)(Arank則則酉酉等等價價與與設(shè)設(shè)證證明明,BACBAnmr,)(BVBVUBVUBVAAHHHH）（有有相相同同的的奇奇異異值值。與與故故特特征征值值，是是酉酉相相似似的的，有有相相同同的的與與所所以以BABBAAHH定理定理 酉等價的矩陣有相同的奇異值酉等價的矩陣有相同的奇異值由由UBVACVCUnnmm使使存在酉矩陣存在酉矩陣,.) 1 (的奇異值分解的奇異值分解式稱為矩陣式稱為矩陣A的正奇異值，的正奇異值，是是設(shè)設(shè)ACArnmr,21，使使階階酉酉矩矩陣陣及及階階酉酉矩矩陣陣則則存存在在

5、VnUm) 1 (000000HHVUAAVU或或),(21diag其其中中稱為矩陣稱為矩陣A A的酉等價標(biāo)準(zhǔn)形的酉等價標(biāo)準(zhǔn)形. .000奇異值分解定理奇異值分解定理證明證明)2(,000)(2VAAVHH由于由于A AH HA A是是Hermite矩陣，存在矩陣，存在n n階酉矩陣階酉矩陣V,V,使使;),(2222212iirdiag其中其中,)(2121rnnrnrnrCVCVVVV記將矩陣將矩陣V V分塊，分塊，則有：則有：22122111AVAVAVAVAVAVAVAVHHHHHHHH 4111rnCAVU21212,)(000VVAAVVHHH 0)()()()(222221111

6、AVAVAVAVAVAVAVAVHHHHHH比較等式兩端得比較等式兩端得： 3,02AV從而有從而有設(shè)設(shè)為為酉酉矩矩陣陣。），（使使得得21UUU,011212AVUUUHH并并且且,4111111rHHHIAVAVUU）得得：由由（即即U U1 1的的r r個列是兩兩正交的單位向量，則個列是兩兩正交的單位向量，則,)(2rmmCU存存在在rmHIUU222121VVAUUAVUHHH于是于是22122111AVUAVUAVUAVUHHHH111 AVU02AV,012UUHrHIUU11001211UUUUHH000推論推論 在矩陣在矩陣A A的的奇異值分解奇異值分解A A= =UDVUDV

7、H H中，中，U U的列向量為的列向量為AAAAH H的特征向量，的特征向量， V V的列向量為的列向量為A AH HA A的特征向量的特征向量. .HHHHUDVUDVAA)(證明)0 , 0 ,()(212rHUdiagUDUAAHHHUUDVDUUDV2），（記nuuuU21niuuAAiiiH, 2 , 1,)(則說明：此定理僅是奇異值分解的必要條件，但說明：此定理僅是奇異值分解的必要條件，但不是充分條件。不是充分條件。11求矩陣求矩陣A AH HA A的酉相似對角矩陣及酉相似矩陣的酉相似對角矩陣及酉相似矩陣V V; ;000)(2VAAVHH,),()(2121rnnrnCVCVVV

8、VrmCAVU1115 5 構(gòu)造奇異值分解構(gòu)造奇異值分解 44擴充擴充U U1 1為酉矩陣為酉矩陣U=(U=(U U1 1 , ,U U2 2) )33令令22記記奇異值分解方法奇異值分解方法11利用利用矩陣矩陣A AH HA A求解求解HVUA000例例1、求矩陣、求矩陣000110101A的奇異值分解的奇異值分解可求得可求得 的特征值為的特征值為211110101AAHAAH, 0, 1, 3321對應(yīng)的特征向量依次為對應(yīng)的特征向量依次為,2 , 1 , 11Tx ,0 , 1, 12Tx,1, 1 , 13Tx于是可得：于是可得：, 2rankA,1003令令,21VVV 其中其中322

9、1131,21,61xVxxV計算：計算：111AVU0021212121構(gòu)造：構(gòu)造：TU1 , 0 , 02則則1000212102121,21UUUA的奇異值分解為的奇異值分解為TVUA000010003奇異值分解方法奇異值分解方法2-2-利用矩陣?yán)镁仃嘇AAAH H求解求解11先求矩陣先求矩陣AAAAH H的酉相似對角矩陣及酉相似矩陣的酉相似對角矩陣及酉相似矩陣U U; ;000)(2UAAUHH,),()(2121rmmrmCVCUUUUrnHCUAV11144擴充擴充V V1 1為酉矩陣為酉矩陣V=(V=(V V1 1 , ,V V2 2) )5 5 構(gòu)造奇異值分解構(gòu)造奇異值分解 22記記33令令HVUA000例例 求矩陣求矩陣A的奇異值分解的奇異值分解000021A利用矩陣?yán)镁仃嘇AH求解求解0, 5,5,5,0000000