高光譜數(shù)據(jù)降維與可分性準(zhǔn)則PPT課件

.,1,高光譜遙感第四章高光譜數(shù)據(jù)處理,第四章高光譜數(shù)據(jù)處理主要內(nèi)容,高光譜數(shù)據(jù)的特征選擇與提取高光譜特征參量化高光譜遙感影像分類與光譜匹配混合光譜,.,2,第1節(jié)高光譜數(shù)據(jù)降維與可分性準(zhǔn)則武漢大學(xué)遙感信息工程學(xué)院龔龑,高光譜遙感第四章高光譜數(shù)據(jù)處理,.,3,一、高光譜數(shù)據(jù)的降維問題二、類別可分性準(zhǔn)則三、基于幾何距離的可分性準(zhǔn)則四、基于類的概率密度的可分性準(zhǔn)則,第四章第1節(jié)高光譜數(shù)據(jù)降維與可分性準(zhǔn)則,.,4,高光譜分辨率的影響,在給定的波長區(qū)間內(nèi)，高的光譜分辨率導(dǎo)致影像波段數(shù)眾多、連續(xù)。,一方面，高光譜遙感的核心優(yōu)勢是反映光譜特征的細(xì)微差異；另一方面眾多的波段數(shù)目給數(shù)據(jù)處理帶來新的問題。,一、高光譜數(shù)據(jù)的降維問題,1.1高光譜數(shù)據(jù)的高維特征,.,5,波譜空間與光譜空間,波段數(shù)眾多導(dǎo)致光譜空間維數(shù)的增多,一、高光譜數(shù)據(jù)的降維問題,1.1高光譜數(shù)據(jù)的高維特征,波段數(shù)眾多導(dǎo)致波譜曲線信息的豐富,“維數(shù)”是指光譜空間的維數(shù),.,6,高光譜影像屬于高維空間數(shù)據(jù)，已有的研究結(jié)果表明，這種數(shù)據(jù)有許多不同于低維數(shù)據(jù)的分布特性，這些特性決定了人們在對高光譜影像分析時應(yīng)采用不同策略和方法。,一、高光譜數(shù)據(jù)的降維問題,1.1高光譜數(shù)據(jù)的高維特征,.,7,1.信息冗余大,波段數(shù)量多，但并非每個波段在任何時候都是有用信息。波段之間的相關(guān)性導(dǎo)致信息冗余很大，尤其是相鄰波段之間的相關(guān)性很強(qiáng)。,一、高光譜數(shù)據(jù)的降維問題,1.2高維特征帶來的新問題,例如：對于有N個波段的高光譜數(shù)據(jù)來講，當(dāng)前應(yīng)用需求是區(qū)分w1類和w2類。,如果利用任意一個波段都能達(dá)到這個目的，那么，僅取一個波段就包含了足夠信息，其余N-1維特征就是多余的。,.,8,根據(jù)超維立方體的體積公式，隨著空間維數(shù)的增加，超立方體的體積急劇增加，并且向角部分布。,一、高光譜數(shù)據(jù)的降維問題,1.2高維特征帶來的新問題,2.超維幾何體體積,.,9,一、高光譜數(shù)據(jù)的降維問題,1.2高維特征帶來的新問題,2.超維幾何體體積,伽馬函數(shù),超立方體中內(nèi)切求的體積與超立方體之比,.,10,例如：密度分析GRID算法,一、高光譜數(shù)據(jù)的降維問題,1.2高維特征帶來的新問題,2.超維幾何體體積,由于體積因素影響，高維空間中數(shù)據(jù)的分布呈現(xiàn)出稀疏、嚴(yán)重不規(guī)則等特點，使得常規(guī)的分析算法效果不佳。,.,11,思考：既然不同波段包含了不同光譜信息，那么，在利用遙感影像分類時，是否波段越多，分類越精確？,研究表明，事實并非如此,一、高光譜數(shù)據(jù)的降維問題,1.2高維特征帶來的新問題,3.“維數(shù)災(zāi)難”問題,.,12,一、高光譜數(shù)據(jù)的降維問題,1.2高維特征帶來的新問題,3.“維數(shù)災(zāi)難”問題,.,13,這說明高光譜數(shù)據(jù)區(qū)分地類之間的能力極大地受到訓(xùn)練樣本的限制，在分析高光譜影像時，要獲得好的分類精度就需要更多的訓(xùn)練樣本。,如果訓(xùn)練樣本不足時，往往會出現(xiàn)在樣本點數(shù)目一定的前提下，分類精度隨著特征維數(shù)的增加“先增后降”的現(xiàn)象，這就是所謂的Hughes”維數(shù)災(zāi)難”現(xiàn)象。,一、高光譜數(shù)據(jù)的降維問題,1.2高維特征帶來的新問題,3.“維數(shù)災(zāi)難”問題,.,14,隨著空間維數(shù)的增加，要得到同樣精度的估計值將需要更多的樣本數(shù)。,研究表明，對于監(jiān)督分類而言，若要得到比較滿意的分類結(jié)果：,一、高光譜數(shù)據(jù)的降維問題,1.2高維特征帶來的新問題,4.高維空間中的參數(shù)估計問題,線性分類器需要的樣本數(shù)與空間的維數(shù)呈線性關(guān)系。,對于基于二次估計量的分類器，所需的樣本數(shù)與空間的維數(shù)呈平方關(guān)系。,.,15,模式識別的類別統(tǒng)計信息,參數(shù)估計不準(zhǔn)確,分類精度較低,一、高光譜數(shù)據(jù)的降維問題,1.2高維特征帶來的新問題,4.高維空間中的參數(shù)估計問題,因此，“維數(shù)災(zāi)難”現(xiàn)象可以從樣本數(shù)量與數(shù)據(jù)復(fù)雜度關(guān)系理論來解釋,.,16,在高維數(shù)據(jù)空間中，除了數(shù)據(jù)點分布的絕對位置以外，數(shù)據(jù)分布的形狀和方向?qū)τ诜诸惥哂懈又匾挠绊懽饔谩?一、高光譜數(shù)據(jù)的降維問題,1.2高維特征帶來的新問題,5.高階統(tǒng)計特性,.,17,一、高光譜數(shù)據(jù)的降維問題,1.2高維特征帶來的新問題,5.高階統(tǒng)計特性,.,18,在低維空間，只使用均值向量進(jìn)行分類的結(jié)果比只使用方差信息得到的結(jié)果的精度高，說明在此種情況下，在分類過程中數(shù)據(jù)分布的位置比分布的形狀和方向作用要大的多，這也是人們通常遇到的情況。,但是，當(dāng)維數(shù)增加時，只考慮均值信息進(jìn)行分類的精度并不再增加，而考慮方差信息的分類精度卻隨著特征維數(shù)的增加而繼續(xù)增加。,一、高光譜數(shù)據(jù)的降維問題,1.2高維特征帶來的新問題,5.高階統(tǒng)計特性,.,19,綜上所述，高維特征引起了多種問題,因此，在高光譜數(shù)據(jù)應(yīng)用的特定階段，可以對高維數(shù)據(jù)進(jìn)行降維處理，得到具有代表意義的低維光譜特征，并在低維光譜空間中進(jìn)行相應(yīng)分析（聚類分析）。,信息冗余大超維幾何體體積“維數(shù)災(zāi)難”問題高維空間中的參數(shù)估計問題高階統(tǒng)計特性,一、高光譜數(shù)據(jù)的降維問題,1.2高維特征帶來的新問題,.,20,一、高光譜數(shù)據(jù)的降維問題,1.3高光譜降維,方法：波段選擇特征變換,.,21,注意不要走向另一個極端：降維絕對不是對高維光譜信息的舍棄，而是立足于高維數(shù)據(jù)，針對不同的使用目的得到相應(yīng)低維數(shù)據(jù)。,圖書館的書種類繁多，不同專業(yè)的同學(xué)各取所需，只選一小部分，但并不意味著其它的書是多余的。,一、高光譜數(shù)據(jù)的降維問題,1.3高光譜降維,.,22,高光譜數(shù)據(jù)降維的方法,波段選擇特征變換,降維后得到的低維特征空間是否有效進(jìn)行類別區(qū)分？,一、高光譜數(shù)據(jù)的降維問題,1.3高光譜降維,.,23,一、高光譜數(shù)據(jù)的降維問題二、類別可分性準(zhǔn)則三、基于幾何距離的可分性準(zhǔn)則四、基于類的概率密度的可分性準(zhǔn)則,第四章第1節(jié)高光譜數(shù)據(jù)降維與可分性準(zhǔn)則,.,24,降維得到低維特征,定量化的指標(biāo),指導(dǎo)降維,二、類別可分性準(zhǔn)則,2.1高光譜數(shù)據(jù)降維與類別可分性判據(jù)的關(guān)系,.,25,概念：從高維數(shù)據(jù)中得到了一組用來分類的特征，需要一個定量的標(biāo)準(zhǔn)來衡量特征對分類的有效性。,2.2可分性準(zhǔn)則基本概念,可分性準(zhǔn)則,二、類別可分性準(zhǔn)則,可分性準(zhǔn)則的主要類型：,基于幾何距離的可分性準(zhǔn)則基于概率密度的可分性準(zhǔn)則,特點：通過已知類別先驗知識，衡量當(dāng)前特征空間對類別的區(qū)分效果。,.,26,一、高光譜數(shù)據(jù)的降維問題二、類別可分性準(zhǔn)則三、基于幾何距離的可分性準(zhǔn)則四、基于類的概率密度的可分性準(zhǔn)則,第四章第1節(jié)高光譜數(shù)據(jù)降維與可分性準(zhǔn)則,.,27,不同的類別不同的分布區(qū)域,類別可分性區(qū)域可分性,區(qū)域可分性通過幾何距離來度量,三、基于幾何距離的可分性準(zhǔn)則,3.1基本思想,.,28,1.點與點的距離,在,維特征空間中，特征點,與特征點,之間的歐氏距離為：,3.2幾何距離可分性準(zhǔn)則原理,三、基于幾何距離的可分性準(zhǔn)則,.,29,2.點與點集的距離,3.2幾何距離可分性準(zhǔn)則原理,三、基于幾何距離的可分性準(zhǔn)則,.,30,總體的均值矢量,類內(nèi)的均值矢量,3.類內(nèi)及總體的均值矢量,3.2幾何距離可分性準(zhǔn)則原理,三、基于幾何距離的可分性準(zhǔn)則,.,31,類內(nèi)均方歐氏距離定義為：,類內(nèi)均方距離也可定義為：,3.2幾何距離可分性準(zhǔn)則原理,4.類內(nèi)距離,先求出各自到類心的距離的平方，再求和,兩兩運(yùn)算，不涉及類心,三、基于幾何距離的可分性準(zhǔn)則,.,32,類內(nèi)離差矩陣，反映類內(nèi)部樣本在均值周圍的散布情況。,3.2幾何距離可分性準(zhǔn)則原理,5.類內(nèi)離差矩陣,三、基于幾何距離的可分性準(zhǔn)則,.,33,兩類樣本之間的距離,3.2幾何距離可分性準(zhǔn)則原理,6.兩類之間的距離,三、基于幾何距離的可分性準(zhǔn)則,.,34,取歐氏距離時，總的均方距離為,總的樣本距離,3.2幾何距離可分性準(zhǔn)則原理,7.各類總的均方距離,三、基于幾何距離的可分性準(zhǔn)則,.,35,A.總的類內(nèi)離差矩陣,3.2幾何距離可分性準(zhǔn)則原理,7.多類情況離差矩陣,三、基于幾何距離的可分性準(zhǔn)則,.,36,B.類間離差矩陣,3.2幾何距離可分性準(zhǔn)則原理,7.多類情況離差矩陣,三、基于幾何距離的可分性準(zhǔn)則,.,37,實質(zhì)是樣本總體的協(xié)方差矩陣不涉及類的概念,C.總體離差矩陣,3.2幾何距離可分性準(zhǔn)則原理,7.多類情況離差矩陣,三、基于幾何距離的可分性準(zhǔn)則,.,38,點與點的距離,如何通過幾何距離衡量可分性？,三、基于幾何距離的可分性準(zhǔn)則,3.3判據(jù)構(gòu)造,1.離差矩陣分析,.,39,類的內(nèi)部越緊密越好類之間越分散越好,三、基于幾何距離的可分性準(zhǔn)則,3.3判據(jù)構(gòu)造,1.離差矩陣分析,.,40,原則：數(shù)值的大小直接體現(xiàn)降維后特征空間的類別可分性。,常見判據(jù)：,3.3判據(jù)構(gòu)造,2.依據(jù)可分性準(zhǔn)則構(gòu)造判據(jù),三、基于幾何距離的可分性準(zhǔn)則,.,41,一、高光譜數(shù)據(jù)的降維問題二、類別可分性準(zhǔn)則三、基于幾何距離的可分性準(zhǔn)則四、基于類的概率密度的可分性準(zhǔn)則,第四章第1節(jié)高光譜數(shù)據(jù)降維與可分性準(zhǔn)則,.,42,先驗概率后驗概率條件概率,在樣本集中，預(yù)先已知的某一類出現(xiàn)的概率P(Wi),對于樣本集中的某一模式x，它屬于某類Wi的概率P(Wi|x),在某一類Wi中，模式x出現(xiàn)的概率P(x|Wi),4.1基本概念回顧,四、基于概率密度的可分性準(zhǔn)則,.,43,100%,各類的條件概率密度函數(shù)P(x|Wi)重疊度越低，特征可分性越好。,四、基于概率密度的可分性準(zhǔn)則,4.2概率密度分析,.,44,可分性判據(jù)的設(shè)定,基本性質(zhì)：Jp=0;當(dāng)兩類概率密度完全不重疊時，Jp取最大值;當(dāng)兩類概率密度完全重疊時，Jp等于0;兩類概率密度具有“對稱性”。,四、基于概率密度的可分性準(zhǔn)則,4.3基本性質(zhì),.,45,進(jìn)行相關(guān)性運(yùn)算，實際上是對兩個概率密度函數(shù)進(jìn)行卷積運(yùn)算。,兩個概率密度函數(shù)越重合，卷積結(jié)果越大；當(dāng)二者完全重合時，相當(dāng)于對p(x)進(jìn)行全概率積分，等于1；當(dāng)二者完全分離時，卷積結(jié)果等于零。,在開區(qū)間（0，1）內(nèi)，y=-ln(x)取值范圍為0至正無窮大。（性質(zhì)1，2，3）,四、基于概率密度的可分性準(zhǔn)則,4.4Bhattacharyya判據(jù),.,46,更具一般性的判據(jù)：,S=0.5時，Chernoff判據(jù)即為Bhattacharyya判據(jù),四、基于概率密度的可分性準(zhǔn)則,4.5Chernoff判據(jù),.,47,特征空間對w1類的可分性越好,特征空間對w2類的可分性越好,散度:基于貝葉斯判決的可分性判據(jù),對于已知類別樣本x,四、基于概率密度的可分性準(zhǔn)則,4.6散度判據(jù),似然比,.,48,對w1類中的所有樣本求的期望：,對w2類中的所有樣本求的期望：,四、基于概率密度的可分性準(zhǔn)則,4.6散度判據(jù),.,49,四、基于概率密度的可分性準(zhǔn)則,4.6散度判據(jù),.,50,四、基于概率密度的可分性準(zhǔn)則,思考：,對于多類情況下的概率密度可分性準(zhǔn)則如何確定？,類別兩兩之間可分性之和,.,51,小