張量分解學習

關(guān)于張量分解學習2基本概念及記號第2頁,共47頁，2024年2月25日，星期天3張量（tensor）多維數(shù)組基本概念及記號一階張量（向量）二階張量（矩陣）三階張量第3頁,共47頁，2024年2月25日，星期天4張量空間由若干個向量空間中的基底的外積張成的空間基本概念及記號向量的外積和內(nèi)積第4頁,共47頁，2024年2月25日，星期天5階（order/ways/modes/rank）張成所屬張量空間的向量空間的個數(shù)一階張量（向量）：二階張量（矩陣）：三階或更高階張量：零階張量（數(shù)量）：基本概念及記號三階張量：第5頁,共47頁，2024年2月25日，星期天6纖維（fiber）基本概念及記號mode-1（列）纖維：

mode-2（行）纖維：

mode-3（管）纖維：第6頁,共47頁，2024年2月25日，星期天7切片（slice）基本概念及記號水平切片：

側(cè)面切片：

正面切片：

第7頁,共47頁，2024年2月25日，星期天8內(nèi)積和范數(shù)設

內(nèi)積：

（Frobenius）范數(shù)：基本概念及記號第8頁,共47頁，2024年2月25日，星期天9秩一張量/可合張量N階張量是一個秩一張量，如果它能被寫成N個向量的外積，即基本概念及記號三階秩一張量：第9頁,共47頁，2024年2月25日，星期天10（超）對稱和（超）對角立方張量：各個mode的長度相等對稱：一個立方張量是對稱的，如果其元素在下標的任意排列下是常數(shù)。如一個三階立方張量是超對稱的，如果對角：僅當時，基本概念及記號張量的（超）對角線第10頁,共47頁，2024年2月25日，星期天11展開（matricization/unfolding/flattening）將N階張量沿mode-n展開成一個矩陣基本概念及記號三階張量的mode-1展開第11頁,共47頁，2024年2月25日，星期天12n-mode（矩陣）乘積一個張量和一個矩陣的n-mode乘積，其元素定義為這個定義可以寫成沿mode-n展開的形式性質(zhì)：基本概念及記號第12頁,共47頁，2024年2月25日，星期天13n-mode（向量）乘積一個張量和一個向量的n-mode乘積，其元素定義為性質(zhì)：基本概念及記號第13頁,共47頁，2024年2月25日，星期天14矩陣的Kronecker乘積

，則性質(zhì)：基本概念及記號第14頁,共47頁，2024年2月25日，星期天15矩陣的Kronecker乘積矩陣的Kronecker積還和張量和矩陣的n-mode乘積有如下關(guān)系基本概念及記號第15頁,共47頁，2024年2月25日，星期天16矩陣的Khatri-Rao乘積

，則性質(zhì)：基本概念及記號第16頁,共47頁，2024年2月25日，星期天17矩陣的Hadamard乘積

，則性質(zhì)：基本概念及記號第17頁,共47頁，2024年2月25日，星期天18CP分解第18頁,共47頁，2024年2月25日，星期天19CP分解的其他名字PolyadicFormofaTensor,Hitchcock,1927PARAFAC(ParallelFactors),Harshman,1970CANDECOMP/CAND(Canonicaldecomposition),Carroll&Chang,1970TopographicComponentsModel,M?cks,1988CP(CANDECOMP/PARAFAC),Kiers,2000CP分解第19頁,共47頁，2024年2月25日，星期天20CP分解的張量形式將一個張量表示成有限個秩一張量之和，比如一個三階張量可以分解為CP分解三階張量的CP分解第20頁,共47頁，2024年2月25日，星期天21CP分解的矩陣形式因子矩陣：秩一張量中對應的向量組成的矩陣，如利用因子矩陣，一個三階張量的CP分解可以寫成展開形式CP分解第21頁,共47頁，2024年2月25日，星期天22CP分解的切片形式三階張量的CP分解有時按（正面）切片寫成如下形式：

其中CP分解三階張量CP分解的正面切片形式第22頁,共47頁，2024年2月25日，星期天23帶權(quán)CP分解為了計算方便，通常假設因子矩陣的列是單位長度的，從而需要引入一個權(quán)重向量，使CP分解變?yōu)閷τ诟唠A張量，有

其展開形式為CP分解第23頁,共47頁，2024年2月25日，星期天24張量的秩和秩分解張量的秩定義為用秩一張量之和來精確表示所需要的秩一張量的最少個數(shù)，記為秩分解：

可見秩分解是一個特殊的CP分解，對應于矩陣的SVD目前還沒有方法能夠直接求解一個任意給定張量的秩，這被證明是一個NP-hard問題

CP分解第24頁,共47頁，2024年2月25日，星期天25張量的秩不同于矩陣的秩，高階張量的秩在實數(shù)域和復數(shù)域上不一定相同。例如一個三階張量

在實數(shù)域內(nèi)進行秩分解得到的因子矩陣為

而在復數(shù)域內(nèi)進行分解得到的因子矩陣為CP分解第25頁,共47頁，2024年2月25日，星期天26張量的低秩近似相對于矩陣的SVD來說，高階張量的秩分解唯一性不需要正交性條件保證，只需滿足：

這里表示矩陣的k-秩：任意k列都線性無關(guān)的最大的kCP分解第26頁,共47頁，2024年2月25日，星期天27張量的低秩近似然而在低秩近似方面，高階張量的性質(zhì)比矩陣SVD差Kolda給出了一個例子，一個立方張量的最佳秩-1近似并不包括在其最佳秩-2近似中，這說明張量的秩-k近似無法漸進地得到下面的例子說明，張量的“最佳”秩-k近似甚至不一定存在CP分解第27頁,共47頁，2024年2月25日，星期天28張量的低秩近似退化：如果一個張量能夠被一系列的低秩張量任意逼近邊緣秩（borderrank）：能夠任意逼近一個張量的最少的成分個數(shù)CP分解秩2秩3一個秩為2的張量序列收斂到一個秩3張量第28頁,共47頁，2024年2月25日，星期天29CP分解的計算分解成多少個秩一張量（成分）之和？通常的做法是從1開始嘗試，知道碰到一個“好”的結(jié)果為止如果有較強的應用背景和先驗信息，可以預先指定對于給定的成分數(shù)目，怎么求解CP分解？目前仍然沒有一個完美的解決方案從效果來看，交替最小二乘（AlternatingLeastSquare）是一類比較有效的算法CP分解第29頁,共47頁，2024年2月25日，星期天30CP分解的計算以一個三階張量為例，假定成分個數(shù)已知，目標為作為ALS的一個子問題，固定和，求解

得

再通過歸一化分別求出和CP分解第30頁,共47頁，2024年2月25日，星期天31CP分解的計算ALS算法并不能保證收斂到一個極小點，甚至不一定能收斂到穩(wěn)定點，它只能找到一個目標函數(shù)不再下降的點算法的初始化可以是隨機的，也可以將因子矩陣初始化為對應展開的奇異向量，如將初始化為的前個左奇異向量CP分解第31頁,共47頁，2024年2月25日，星期天32CP分解的應用計量心理學語音分析化學計量學獨立成分分析神經(jīng)科學數(shù)據(jù)挖掘高維算子近似隨即偏微分方程…………CP分解第32頁,共47頁，2024年2月25日，星期天33Tucker分解第33頁,共47頁，2024年2月25日，星期天34Tucker分解的其他名字Three-modefactoranalysis(3MFA/Tucker3),Tucker,1966Three-modeprincipalcomponentanalysis(3MPCA),Kroonenberg&DeLeeuw,1980N-modeprincipalcomponentsanalysis,Kapteynetal.,1986Higher-orderSVD(HOSVD),DeLathauweretal.,2000N-modeSVD,VasilescuandTerzopoulos,2002Tucker分解第34頁,共47頁，2024年2月25日，星期天35Tucker分解Tucker分解是一種高階的主成分分析，它將一個張量表示成一個核心（core）張量沿每一個mode乘上一個矩陣。對于三階張量來說，其Tucker分解為因子矩陣通常是正交的，可以視為沿相應mode的主成分Tucker分解第35頁,共47頁，2024年2月25日，星期天36Tucker分解容易看出，CP分解是Tucker分解的一種特殊形式：如果核心張量是對角的，且，則Tucker分解就退化成了CP分解Tucker分解三階張量的Tucker分解第36頁,共47頁，2024年2月25日，星期天37Tucker分解的矩陣形式三階Tucker分解的展開形式為Tucker分解可以推廣到高階張量Tucker分解第37頁,共47頁，2024年2月25日，星期天38Tucker2和Tucker1對于三階張量固定一個因子矩陣為單位陣，就得到Tucker分解一個重要的特例：Tucker2。例如固定，則進一步，固定兩個因子矩陣，就得到了Tucker1，例如令第二、三個因子矩陣為單位陣，則Tucker分解就退化成了普通的PCATucker分解第38頁,共47頁，2024年2月25日，星期天39張量的n-秩近似一個N階張量的n-秩定義為若設，則叫做一個秩-

張量如果，則很容易得到的一個精確秩-Tucker分解；然而如果至少有一個使得，則通過Tucker分解得到的就是的一個秩-近似Tucker分解第39頁,共47頁，2024年2月25日，星期天40張量的n-秩近似Tucker分解截斷的Tucker分解：秩-近似第40頁,共47頁，2024年2月25日，星期天41張量的n-秩近似對于固定的n-秩，Tucker分解的唯一性不能保證，所以需要添加其他的約束通常要求核心張量是“簡單”的，如各個mode的主成分之間盡量不發(fā)生相互作用（稀疏性），或者其他的“簡單性”約束Tucker分解第41頁,共47頁，2024年2月25日，星期天42Tucker分解的