主成分分析方法

主成分分析方法第一頁，共四十二頁，2022年，8月28日問題的提出地理環(huán)境是多要素的復雜系統(tǒng)，在進行分析時多變量問題是經(jīng)常會遇到的。變量太多，會增加分析問題的難度與復雜性，而且在實際問題中，多個變量之間往往具有一定的相關關系。因此，能否在各個變量之間相關關系研究基礎上，用較少的新變量代替原來較多的變量，而且使這些較少的新變量盡可能多地保留原來較多的變量所反映的信息？第二頁，共四十二頁，2022年，8月28日主成分分析上述想法是可以實現(xiàn)的。主成分分析方法就是綜合處理這種問題的一種強有力的方法。第三頁，共四十二頁，2022年，8月28日主成分分析的基本原理主成分分析是把原來多個變量化為少數(shù)幾個綜合指標的一種統(tǒng)計分析方法，從數(shù)學角度來看，這是一種降維處理技術。第四頁，共四十二頁，2022年，8月28日主成分分析的基本原理假定有n個地理樣本，每個樣本共有p個變量描述，這樣就構成了一個n×p階的地理數(shù)據(jù)矩陣：第五頁，共四十二頁，2022年，8月28日主成分分析的基本原理當p比較大時，如何從這么多變量的數(shù)據(jù)中抓住地理事物的內在規(guī)律性？要解決這一問題，自然要在p維空間中加以考察，這是比較困難的。第六頁，共四十二頁，2022年，8月28日主成分分析的基本原理為了克服上述困難，就需要進行降維處理，即用較少的幾個綜合指標來代替原來較多的變量指標，而且使這些較少的綜合指標既能盡量多地反映原來較多指標所反映的信息，同時它們之間又是彼此獨立的。第七頁，共四十二頁，2022年，8月28日主成分分析的基本原理這些綜合指標（即新變量）應如何選??？最簡單的形式就是取原來變量指標的線性組合，適當調整組合系數(shù)，使新的變量指標之間相互獨立且代表性最好。第八頁，共四十二頁，2022年，8月28日主成分分析的基本原理如果記原來的變量指標為x1，x2，…，xp，它們的綜合指標——新變量指標為z1，z2，…，zm(m≤p)。則第九頁，共四十二頁，2022年，8月28日主成分分析的基本原理在上式中，系數(shù)lij由下列原則來決定：(1)zi與zj（i≠j；i，j=1，2，…，m)相互無關；(2)z1是x1，x2，…，xp的一切線性組合中方差最大者；z2是與z1不相關的x1，x2，…，xp的所有線性組合中方差最大者；……；zm是與z1，z2，……，zm-1都不相關的x1，x2，…，xp的所有線性組合中方差最大者。第十頁，共四十二頁，2022年，8月28日主成分分析的基本原理這樣決定的新變量指標z1，z2，…，zm分別稱為原變量指標x1，x2，…，xp的第一，第二，…，第m主成分。第十一頁，共四十二頁，2022年，8月28日主成分分析的基本原理其中，z1在總方差中占的比例最大，z2，z3，…，zm的方差依次遞減。在實際問題的分析中，常挑選前幾個最大的主成分，這樣既減少了變量的數(shù)目，又抓住了主要矛盾，簡化了變量之間的關系。第十二頁，共四十二頁，2022年，8月28日主成分分析的基本原理從以上分析可以看出，找主成分就是確定原來變量

xj(j=1，2，…，p)在各主成分zi(i=1，2，…，m)上的載荷lij(i=1，2，…，m；j=1，2，…，p)，從數(shù)學上容易知道，它們分別是x1,

x2,…,xp的相關矩陣的m個較大的特征值所對應的特征向量。第十三頁，共四十二頁，2022年，8月28日主成分分析的計算步驟(1)計算相關系數(shù)矩陣(2)計算特征值與特征向量(3)計算主成分貢獻率及累計貢獻率(4)計算主成分載荷第十四頁，共四十二頁，2022年，8月28日(1)計算相關系數(shù)矩陣式中，rij（i，j=1，2，…，p）為原來變量xi與xj的相關系數(shù)第十五頁，共四十二頁，2022年，8月28日(1)計算相關系數(shù)矩陣相關系數(shù)

rij的計算公式為:第十六頁，共四十二頁，2022年，8月28日(1)計算相關系數(shù)矩陣因為相關系數(shù)矩陣R是實對稱矩陣（即rij=rji），所以只需計算上三角元素或下三角元素即可。第十七頁，共四十二頁，2022年，8月28日(2)計算特征值與特征向量首先解特征方程|λI–R|=0求出特征值λi（i=1，2，…，p)，并使其按大小順序排列，即λ1≥λ2≥…，≥λp≥0；第十八頁，共四十二頁，2022年，8月28日(2)計算特征值與特征向量然后分別求出對應于特征值λi的特征向量ei(i=1,2,…,p)。第十九頁，共四十二頁，2022年，8月28日(2)計算特征值與特征向量數(shù)值計算方法實對稱矩陣特征值與特征向量的雅可比法第二十頁，共四十二頁，2022年，8月28日雅可比法的算法原理雅可比（Jacobi）方法求實對稱矩陣特征值與特征向量的基本思路如下：設n

階矩陣A為對稱矩陣，在其非對角線元素中選取一個絕對值最大的元素，設為apq，利用平面旋轉變換矩陣R0(p,q,θ)對A進行正交相似變換：A1=AR0(p,q,θ)其中，R0(p,q,θ)的元素為：第二十一頁，共四十二頁，2022年，8月28日雅可比法的算法原理rpp＝cosθ，rqq＝cosθ，rpq＝-sinθ,

rqp＝sinθ,

rij＝0，i，j≠p,q第二十二頁，共四十二頁，2022年，8月28日雅可比法的算法原理如果按下式確定角度θ:則對稱矩陣A經(jīng)上述變換后，其非對角線元素的平方和將減少2a2pq，對角線元素的平方和將增加2a2pq，而矩陣中所有元素的平方和保持不變。第二十三頁，共四十二頁，2022年，8月28日雅可比法的算法原理由此可知，對稱矩陣A每經(jīng)過一次這樣的正交相似變換，其非對角線元素的平方和將向0趨近一步。因此，只要反復進行上述正交變換，就可以將對稱矩陣

A變換為對角矩陣。對角矩陣中對角線上的元素即是矩陣的特征值，而每一步中的平面旋轉矩陣的乘積的一列即為對應的特征向量。第二十四頁，共四十二頁，2022年，8月28日(3)計算主成分貢獻率及

累計貢獻率主成分zi貢獻率為：累計貢獻率為：第二十五頁，共四十二頁，2022年，8月28日(3)計算主成分貢獻率及

累計貢獻率一般取累計貢獻率達85-95％的特征值λ1，λ2，…，λm所對應的第一，第二，……，第m（m≤p）個主成分。第二十六頁，共四十二頁，2022年，8月28日(4)計算主成分載荷主成分載荷是主成分與變量之間的相關系數(shù)計算公式為：第二十七頁，共四十二頁，2022年，8月28日(4)計算主成分載荷由此可以進一步計算主成分得分：第二十八頁，共四十二頁，2022年，8月28日主成分分析在遙感中的應用主成分變換(PrincipalComponentsTransformation,PCT)或K-L變換（Karhunen-Loeve變換）第二十九頁，共四十二頁，2022年，8月28日遙感圖的主成分變換遙感多光譜圖像波段多，信息量大，但是數(shù)據(jù)量也太多。為了不使信息丟失，常常需要進行多波段運算，以致占用大量的機時和硬盤空間。第三十頁，共四十二頁，2022年，8月28日遙感圖的主成分變換考慮到多光譜圖像中各個波段之間具有相關性，我們可以通過變換，設法減少各種信息之間的冗余度，達到降低數(shù)據(jù)量，但同時保留主要信息的目的。主要的變換方法就是主成分變換。第三十一頁，共四十二頁，2022年，8月28日遙感圖的主成分變換如前所述，主成分變換著眼于變量之間的相互關系，盡可能不丟失信息，用幾個綜合性指標匯集多個變量的量值而進行描述。對于多光譜圖像，由于各波段的數(shù)據(jù)間存在相關，因此可采用主成分變換將原圖像中所包含的大部分信息用少數(shù)幾個虛擬的波段表示出來。第三十二頁，共四十二頁，2022年，8月28日2552550遙感圖的主成分變換如圖所示，原數(shù)據(jù)是由二個波段組成的多光譜圖像數(shù)據(jù)。兩個波段數(shù)據(jù)間存在相關性，具有如圖所示的橢圓分布形狀。第三十三頁，共四十二頁，2022年，8月28日2552550遙感圖的主成分變換現(xiàn)在沿橢圓長軸分布形狀生成新軸Z，將各數(shù)據(jù)投影到Z軸。通過投影，各數(shù)據(jù)可以表示Z軸上的點數(shù)據(jù)，這樣就達到了壓縮數(shù)據(jù)的目的。Z第三十四頁，共四十二頁，2022年，8月28日遙感圖的主成分變換但是，當原始數(shù)據(jù)投影到Z軸上時，從原數(shù)據(jù)到Z軸所對應的信息就會損失。2552550Z第三十五頁，共四十二頁，2022年，8月28日遙感圖的主成分變換為了使丟失的信息盡可能少，就要按照使投影到Z軸上的一維數(shù)據(jù)的信息量（方差的大?。┍M可能大的原則確定Z軸的取向。Z軸的方向就是第一主成分特征向量，它的長度就是特征值。第三十六頁，共四十二頁，2022年，8月28日遙感圖的主成分變換在主成分變換中，這種新軸（變量）用已知軸（變量）的線性變換來表示，按照使新軸方向的方差最大的原則確定線性變換的系數(shù)。新軸（第一主成分）生成后，為進一步匯集剩余的信息，可以求出與第一條軸正交，且盡可能多地反映