張量分解學(xué)習(xí)

關(guān)于張量分解學(xué)習(xí)第1頁，共47頁，2023年，2月20日，星期四2基本概念及記號(hào)第2頁，共47頁，2023年，2月20日，星期四3張量（tensor）多維數(shù)組基本概念及記號(hào)一階張量（向量）二階張量（矩陣）三階張量第3頁，共47頁，2023年，2月20日，星期四4張量空間由若干個(gè)向量空間中的基底的外積張成的空間基本概念及記號(hào)向量的外積和內(nèi)積第4頁，共47頁，2023年，2月20日，星期四5階（order/ways/modes/rank）張成所屬張量空間的向量空間的個(gè)數(shù)一階張量（向量）：二階張量（矩陣）：三階或更高階張量：零階張量（數(shù)量）：基本概念及記號(hào)三階張量：第5頁，共47頁，2023年，2月20日，星期四6纖維（fiber）基本概念及記號(hào)mode-1（列）纖維：

mode-2（行）纖維：

mode-3（管）纖維：第6頁，共47頁，2023年，2月20日，星期四7切片（slice）基本概念及記號(hào)水平切片：

側(cè)面切片：

正面切片：

第7頁，共47頁，2023年，2月20日，星期四8內(nèi)積和范數(shù)設(shè)

內(nèi)積：

（Frobenius）范數(shù)：基本概念及記號(hào)第8頁，共47頁，2023年，2月20日，星期四9秩一張量/可合張量N階張量是一個(gè)秩一張量，如果它能被寫成N個(gè)向量的外積，即基本概念及記號(hào)三階秩一張量：第9頁，共47頁，2023年，2月20日，星期四10（超）對(duì)稱和（超）對(duì)角立方張量：各個(gè)mode的長(zhǎng)度相等對(duì)稱：一個(gè)立方張量是對(duì)稱的，如果其元素在下標(biāo)的任意排列下是常數(shù)。如一個(gè)三階立方張量是超對(duì)稱的，如果對(duì)角：僅當(dāng)時(shí)，基本概念及記號(hào)張量的（超）對(duì)角線第10頁，共47頁，2023年，2月20日，星期四11展開（matricization/unfolding/flattening）將N階張量沿mode-n展開成一個(gè)矩陣基本概念及記號(hào)三階張量的mode-1展開第11頁，共47頁，2023年，2月20日，星期四12n-mode（矩陣）乘積一個(gè)張量和一個(gè)矩陣的n-mode乘積，其元素定義為這個(gè)定義可以寫成沿mode-n展開的形式性質(zhì)：基本概念及記號(hào)第12頁，共47頁，2023年，2月20日，星期四13n-mode（向量）乘積一個(gè)張量和一個(gè)向量的n-mode乘積，其元素定義為性質(zhì)：基本概念及記號(hào)第13頁，共47頁，2023年，2月20日，星期四14矩陣的Kronecker乘積

，則性質(zhì)：基本概念及記號(hào)第14頁，共47頁，2023年，2月20日，星期四15矩陣的Kronecker乘積矩陣的Kronecker積還和張量和矩陣的n-mode乘積有如下關(guān)系基本概念及記號(hào)第15頁，共47頁，2023年，2月20日，星期四16矩陣的Khatri-Rao乘積

，則性質(zhì)：基本概念及記號(hào)第16頁，共47頁，2023年，2月20日，星期四17矩陣的Hadamard乘積

，則性質(zhì)：基本概念及記號(hào)第17頁，共47頁，2023年，2月20日，星期四18CP分解第18頁，共47頁，2023年，2月20日，星期四19CP分解的其他名字PolyadicFormofaTensor,Hitchcock,1927PARAFAC(ParallelFactors),Harshman,1970CANDECOMP/CAND(Canonicaldecomposition),Carroll&Chang,1970TopographicComponentsModel,M?cks,1988CP(CANDECOMP/PARAFAC),Kiers,2000CP分解第19頁，共47頁，2023年，2月20日，星期四20CP分解的張量形式將一個(gè)張量表示成有限個(gè)秩一張量之和，比如一個(gè)三階張量可以分解為CP分解三階張量的CP分解第20頁，共47頁，2023年，2月20日，星期四21CP分解的矩陣形式因子矩陣：秩一張量中對(duì)應(yīng)的向量組成的矩陣，如利用因子矩陣，一個(gè)三階張量的CP分解可以寫成展開形式CP分解第21頁，共47頁，2023年，2月20日，星期四22CP分解的切片形式三階張量的CP分解有時(shí)按（正面）切片寫成如下形式：

其中CP分解三階張量CP分解的正面切片形式第22頁，共47頁，2023年，2月20日，星期四23帶權(quán)CP分解為了計(jì)算方便，通常假設(shè)因子矩陣的列是單位長(zhǎng)度的，從而需要引入一個(gè)權(quán)重向量，使CP分解變?yōu)閷?duì)于高階張量，有

其展開形式為CP分解第23頁，共47頁，2023年，2月20日，星期四24張量的秩和秩分解張量的秩定義為用秩一張量之和來精確表示所需要的秩一張量的最少個(gè)數(shù)，記為秩分解：

可見秩分解是一個(gè)特殊的CP分解，對(duì)應(yīng)于矩陣的SVD目前還沒有方法能夠直接求解一個(gè)任意給定張量的秩，這被證明是一個(gè)NP-hard問題

CP分解第24頁，共47頁，2023年，2月20日，星期四25張量的秩不同于矩陣的秩，高階張量的秩在實(shí)數(shù)域和復(fù)數(shù)域上不一定相同。例如一個(gè)三階張量

在實(shí)數(shù)域內(nèi)進(jìn)行秩分解得到的因子矩陣為

而在復(fù)數(shù)域內(nèi)進(jìn)行分解得到的因子矩陣為CP分解第25頁，共47頁，2023年，2月20日，星期四26張量的低秩近似相對(duì)于矩陣的SVD來說，高階張量的秩分解唯一性不需要正交性條件保證，只需滿足：

這里表示矩陣的k-秩：任意k列都線性無關(guān)的最大的kCP分解第26頁，共47頁，2023年，2月20日，星期四27張量的低秩近似然而在低秩近似方面，高階張量的性質(zhì)比矩陣SVD差Kolda給出了一個(gè)例子，一個(gè)立方張量的最佳秩-1近似并不包括在其最佳秩-2近似中，這說明張量的秩-k近似無法漸進(jìn)地得到下面的例子說明，張量的“最佳”秩-k近似甚至不一定存在CP分解第27頁，共47頁，2023年，2月20日，星期四28張量的低秩近似退化：如果一個(gè)張量能夠被一系列的低秩張量任意逼近邊緣秩（borderrank）：能夠任意逼近一個(gè)張量的最少的成分個(gè)數(shù)CP分解秩2秩3一個(gè)秩為2的張量序列收斂到一個(gè)秩3張量第28頁，共47頁，2023年，2月20日，星期四29CP分解的計(jì)算分解成多少個(gè)秩一張量（成分）之和？通常的做法是從1開始嘗試，知道碰到一個(gè)“好”的結(jié)果為止如果有較強(qiáng)的應(yīng)用背景和先驗(yàn)信息，可以預(yù)先指定對(duì)于給定的成分?jǐn)?shù)目，怎么求解CP分解？目前仍然沒有一個(gè)完美的解決方案從效果來看，交替最小二乘（AlternatingLeastSquare）是一類比較有效的算法CP分解第29頁，共47頁，2023年，2月20日，星期四30CP分解的計(jì)算以一個(gè)三階張量為例，假定成分個(gè)數(shù)已知，目標(biāo)為作為ALS的一個(gè)子問題，固定和，求解

得

再通過歸一化分別求出和CP分解第30頁，共47頁，2023年，2月20日，星期四31CP分解的計(jì)算ALS算法并不能保證收斂到一個(gè)極小點(diǎn)，甚至不一定能收斂到穩(wěn)定點(diǎn)，它只能找到一個(gè)目標(biāo)函數(shù)不再下降的點(diǎn)算法的初始化可以是隨機(jī)的，也可以將因子矩陣初始化為對(duì)應(yīng)展開的奇異向量，如將初始化為的前個(gè)左奇異向量CP分解第31頁，共47頁，2023年，2月20日，星期四32CP分解的應(yīng)用計(jì)量心理學(xué)語音分析化學(xué)計(jì)量學(xué)獨(dú)立成分分析神經(jīng)科學(xué)數(shù)據(jù)挖掘高維算子近似隨即偏微分方程…………CP分解第32頁，共47頁，2023年，2月20日，星期四33Tucker分解第33頁，共47頁，2023年，2月20日，星期四34Tucker分解的其他名字Three-modefactoranalysis(3MFA/Tucker3),Tucker,1966Three-modeprincipalcomponentanalysis(3MPCA),Kroonenberg&DeLeeuw,1980N-modeprincipalcomponentsanalysis,Kapteynetal.,1986Higher-orderSVD(HOSVD),DeLathauweretal.,2000N-modeSVD,VasilescuandTerzopoulos,2002Tucker分解第34頁，共47頁，2023年，2月20日，星期四35Tucker分解Tucker分解是一種高階的主成分分析，它將一個(gè)張量表示成一個(gè)核心（core）張量沿每一個(gè)mode乘上一個(gè)矩陣。對(duì)于三階張量來說，其Tucker分解為因子矩陣通常是正交的，可以視為沿相應(yīng)mode的主成分Tucker分解第35頁，共47頁，2023年，2月20日，星期四36Tucker分解容易看出，CP分解是Tucker分解的一種特殊形式：如果核心張量是對(duì)角的，且，則Tucker分解就退化成了CP分解Tucker分解三階張量的Tucker分解第36頁，共47頁，2023年，2月20日，星期四37Tucker分解的矩陣形式三階Tucker分解的展開形式為Tucker分解可以推廣到高階張量Tucker分解第37頁，共47頁，2023年，2月20日，星期四38Tucker2和Tucker1對(duì)于三階張量固定一個(gè)因子矩陣為單位陣，就得到Tucker分解一個(gè)重要的特例：Tucker2。例如固定，則進(jìn)一步，固定兩個(gè)因子矩陣，就得到了Tucker1，例如令第二、三個(gè)因子矩陣為單位陣，則Tucker分解就退化成了普通的PCATucker分解第38頁，共47頁，2023年，2月20日，星期四39張量的n-秩近似一個(gè)N階張量的n-秩定義為若設(shè)，則叫做一個(gè)秩-

張量如果，則很容易得到的一個(gè)精確秩-Tucker分解；然而如果至少有一個(gè)使得，則通過Tucker分解得到的就是的一個(gè)秩-近似Tucker分解第39頁，共47頁，2023年，2月20日，星期四40張量的n-秩近似Tucker分解截?cái)嗟腡ucker分解：秩-近似第40頁，共47頁，2023年，2月20日，星期四41張量的n-秩近似對(duì)于固定的n-秩，Tucker分解的唯一性不能保證，所以需要添加其他的約束通常要求核心張量是“簡(jiǎn)單”的，如各個(gè)mode的主成分之間盡量不發(fā)生相互作用（稀疏性），或者其他的“簡(jiǎn)單性”約束Tucker分解第41頁，共47頁，2023年，2月20日，星期四42Tucker分解的計(jì)算HOSVD：利用SVD對(duì)每個(gè)mode做一次Tucker1分解（截?cái)嗷蛘卟唤財(cái)啵〩OSVD不能保證得到一個(gè)較好的近似，但HOSVD的結(jié)果可以作為一個(gè)其他迭代算法（如HOOI）的很好的初始解Tucker分解第42頁，共47頁，2023年，2月20日，星期四43Tucker分解的計(jì)算為了導(dǎo)出HOOI迭代算法，先考慮目標(biāo)函數(shù)從而應(yīng)該滿足Tucker分解第43頁，共47頁，2023年，2月20日，星期四44Tucker分解的計(jì)算目標(biāo)函數(shù)的平方變?yōu)門ucker分解第44頁，共4