3主成分分析補數(shù)學知識

1、主成分分析 數(shù)學知識 線性無關線性無關EAAT 1(2),TAA正交(3)ABBA與正交1. 正交向量組正交向量組1 AATA為正交陣為正交陣 其行其行( (列列) )向量組為單位正交組向量組為單位正交組()YAXA陣是正交正交變換正交變換不改變內(nèi)積和長度不改變內(nèi)積和長度2. 正交矩陣正交矩陣必可逆必可逆,0ij (1)1,AA 正交,協(xié)方差與相關系數(shù)的定義 協(xié)方差的定義協(xié)方差的定義 EX-E(X)Y-E(Y)稱為隨機變量X與Y的協(xié)方差，記為Cov(X，Y)，即Cov(X，Y)= EX-E(X)Y-E(Y).而當D(X)0, D(Y)0時，稱為隨機變量X與Y的相關系數(shù)。)()(),(YDXDY

2、XCovXY 1、若X與Y相互獨立，則：EX-E(X)Y-E(Y)=0.說明EX-E(X)Y-E(Y)的大小反映了X、Y間關聯(lián)的程度。2、若X、Y的方差是1，則協(xié)方差Cov(X，Y)就是相關系數(shù)。3、 E(XY)-E(X)E(Y) Cov(X，Y)隨機向量的數(shù)字特征隨機向量的數(shù)字特征12121221121(,)1E()E() (),(),()(,)2()()()()EE()() cov(,)= TnTTnnijiijjTijn nnXXXXXXXE XE XE XEXE XXE XXD XD XXXXE XXX 設是一個n維隨機向量，、定義隨機變量 的均值向量為、設（i,j=1,2, ,n）定

3、義隨機協(xié)變量 的為方差矩陣22122212E()0,E()E() ()nnnnTTij n nXXXX E X，記為 。3、若則協(xié)方差矩陣協(xié)方差矩陣1212(,)E()0,E()E() ()0TnTTij n nniiXXXXXXXX E Xnn設是一個n維隨機向量，3、若則是一實對稱非負定的 階協(xié)方差矩陣。可以證明 具有 個大于零的特征根，記為,所對應的特征向量記為 。1、若A是n階實對稱陣，則一定可以找到正交陣U，使12000000(1,2, )nn niAinA1UU其中，是 的特征根。兩個線性代數(shù)的結論兩個線性代數(shù)的結論 2、若上述矩陣的特征根所對應的單位特征向量為 ppppppuuuuuuuuu212222111211),(p1uuU 則實對稱陣 屬于不同特征根所對應的特征向量是正交的，即有p1uu,令AIUUUU線性代數(shù)知識線性代數(shù)知識vA是n階滿秩方陣，由Ax=x,|A-I|=0,求出各特征根。由特征根i，求出對應特征向量，所有特征向量構成的矩陣P是正交陣，且滿足12000000(1,2, )nn niP APinA1其中，是 的特征根。 v定理：設E(X)=0，E(X