用于高光譜遙感圖像分類的空間約束半監(jiān)督高斯過程方法

用于高光譜遙感圖像分類的空間約束半監(jiān)督高斯過程方法

高光譜遙感圖像具有非線性、不確定性和模糊性。因此，高光譜遙感圖像的分類是遙感信息系統(tǒng)的難題。以往的遙感圖像分類可分為無監(jiān)督分類和監(jiān)督分類。根據(jù)樣本數(shù)在資源空間中的概率密度函數(shù)的基礎(chǔ)上，需要大量正確的訓(xùn)練樣本。分類精度高。然而，在森林火災(zāi)、滑坡、洪水、地震等情況下，無法獲得大量用于測量圖像的訓(xùn)練樣本。因此，遙感圖像的監(jiān)督分類通常是一個小樣本問題，導(dǎo)致分類的準(zhǔn)確性。此外，可以在遙感圖像中獲得大量注冊的訓(xùn)練樣本，這些樣本也可以用作分類。不規(guī)則分類方法，即聚類法，可以檢測遙感圖像中的未知類，但不能保證聚類后類別與地球類別之間的正確對應(yīng)關(guān)系。半監(jiān)督學(xué)習(xí)方法利用大量無標(biāo)記樣本加上少數(shù)帶標(biāo)記樣本,可以有效地改善分類和預(yù)測精度,有效地克服了有監(jiān)督和無監(jiān)督2種分類方法的缺點.一種具有代表性的半監(jiān)督學(xué)習(xí)方法是協(xié)同訓(xùn)練(co-training)算法.半監(jiān)督學(xué)習(xí)方法已經(jīng)被應(yīng)用于高光譜遙感圖像分類.近年來,半監(jiān)督核函數(shù)方法受到了研究者們越來越多的關(guān)注.核函數(shù)方法用于高光譜遙感圖像分類的優(yōu)勢在于:1)核函數(shù)方法將高光譜圖像映射到高維空間,在高維空間更易于找到有效的線性分類器,通常可以取得較好的分類效果;2)核函數(shù)方法為非參數(shù)方法,只需要對少數(shù)幾個超參數(shù)進(jìn)行學(xué)習(xí),速度較快.核函數(shù)方法包括:支持向量機(jī)(supportvectormachine,SVM),高斯過程(Gaussianprocess,GP)等.目前,Melgani等采用核函數(shù)方法來對遙感圖像進(jìn)行分類.在半監(jiān)督學(xué)習(xí)中有聚類假設(shè)和流形假設(shè)2個常用的基本假設(shè).流形假設(shè)是指在一個很小的局部鄰域內(nèi),若樣本的特征相似,則樣本的類別標(biāo)記相似,這一假設(shè)反映了決策函數(shù)的局部平滑性.由于高光譜圖像中地物類別的分布具有局部相似的特點,可以采用流形假設(shè).半監(jiān)督高斯過程的主要優(yōu)點如下:1)它是一種貝葉斯分類方法,給出了屬于某一類的概率和可信度估計;2)它能夠直接支持多類分類;3)它可以快速有效地選擇多個模型參數(shù).本文根據(jù)高光譜遙感圖像像素點之間空間局部相關(guān)性較強(qiáng)的特性,基于半監(jiān)督流形假設(shè)構(gòu)造空間約束半監(jiān)督核函數(shù),提出一種用于高光譜圖像分類的空間約束半監(jiān)督高斯過程方法(spatialsemi-supervisedGaussianprocesses,SSGP).實驗結(jié)果表明,在只有少量帶標(biāo)記訓(xùn)練樣本的情況下,高光譜圖像的分類精度和穩(wěn)定性有明顯的提高.1高斯過程和半監(jiān)測方法1.1高斯過程材料高斯過程是將多元高斯分布推廣到無限多個隨機(jī)變量的形式.高斯過程是隨機(jī)變量的集合,集合中任意有限個隨機(jī)變量服從聯(lián)合高斯分布.例如一個均值為μ、協(xié)方差矩陣為Σ的高斯分布可以表示為f=(f1,…,fn)～N(μ,Σ).(1)式中:fi為隨機(jī)變量.相似地,高斯過程可以由下式表述:f(x)～GP(m(x),K(x,x′)).(2)式中:xi為隨機(jī)變量;m(x)為均值函數(shù);K(x,x′)為協(xié)方差函數(shù),也稱為核函數(shù).高斯過程又稱為正態(tài)隨機(jī)過程,它是一種普遍存在和重要的隨機(jī)過程.隨機(jī)過程是一連串隨機(jī)事件動態(tài)關(guān)系的定量描述.輸入為X={x1,x2,…,xN},對應(yīng)的一組隨機(jī)函數(shù)變量為f={f1,f2,…,fN}.在任意時刻去觀察隨機(jī)過程,若隨機(jī)過程中隨機(jī)變量的概率分布都滿足高斯分布,則該隨機(jī)過程為高斯過程.1.2基于隱函數(shù)的類別預(yù)測給定數(shù)據(jù)集X={Xl,Xu},其中Xl={x1,…,xl}為帶標(biāo)記數(shù)據(jù),對應(yīng)類標(biāo)記為Yl={y1,…,yl},Xu={xl+1,…,xl+u}為未標(biāo)記數(shù)據(jù).存在一個隱函數(shù)f(x)服從高斯過程:f(x,θ)～GP(0,K).其中高斯過程均值為零,K∈R為協(xié)方差函數(shù)(核函數(shù)),θ為協(xié)方差函數(shù)K的參數(shù).隱函數(shù)通過在輸入函數(shù)和輸出函數(shù)之間引入“不存在”的中間層函數(shù)來建立數(shù)學(xué)模型.隱性函數(shù)f定義了數(shù)據(jù)集X和類標(biāo)記集Y之間的映射關(guān)系,則相對于隱性函數(shù)的類概率可以由下式描述:p(y|f(x))=exp(f(x,y))∑my′=1exp(f(x,y′)).(3)p(y|f(x))=exp(f(x,y))∑my′=1exp(f(x,y′)).(3)式(3)為“Softmax”函數(shù),也稱為“Softmax”激活函數(shù),來源于神經(jīng)網(wǎng)絡(luò).它將符號邏輯(logistic)函數(shù)推廣為多變量形式,也稱為多元符號邏輯函數(shù).由于在給定隱性函數(shù)時,觀測數(shù)據(jù)是相互獨立的,似然函數(shù)可以表示為p(y|f)=l+u∏i=1p(yi|fi)=l+u∏i=1g(yifi).(4)p(y|f)=∏i=1l+up(yi|fi)=∏i=1l+ug(yifi).(4)結(jié)合高斯過程先驗分布p(f)及似然函數(shù)p(y|f),可得后驗分布:p(f|y,X,θ)=p(y|f)p(f|X,θ)p(y|X,θ).(5)p(f|y,X,θ)=p(y|f)p(f|X,θ)p(y|X,θ).(5)給定測試點數(shù)據(jù)xt,隱函數(shù)f(xt)的值為p(ft|yt,X,θ,xt)=∫p(ft|f,X,θ,xt)×p(f|y,X,θ)df,(6)所以給定測試數(shù)據(jù)點xt的類別預(yù)測概率為p(yt|y,X,θ,xt)=∫p(yt|ft)p(ft|y,X,θ,xt)dft.(7)高斯過程分類問題的基本過程如下:首先對La隱函數(shù)f(x)加上高斯過程的先驗假設(shè),再通過選用適當(dāng)?shù)乃迫缓瘮?shù)(如Softmax函數(shù))來描述該映射關(guān)系,最終實現(xiàn)對測試樣本的類別預(yù)測.1.3半監(jiān)督學(xué)習(xí)理論標(biāo)準(zhǔn)的半監(jiān)督學(xué)習(xí)過程如下:給定特征空間χ,在χ×R上存在概率分布P,每個樣本點都是從概率分布中生成的.帶標(biāo)記樣本點(x,y)從概率分布P中采樣得到,而無標(biāo)記樣本從概率分布P的邊緣分布Px中采樣得到.考慮邊緣分布Px也可以用來進(jìn)行學(xué)習(xí)(分類或者回歸),就發(fā)展出了半監(jiān)督學(xué)習(xí)理論.邊緣分布Px和條件概率P(y|x)的關(guān)系存在2種假設(shè):聚類假設(shè)和流形假設(shè).本文采用流形假設(shè).1.4半監(jiān)督學(xué)習(xí)中的問題令數(shù)據(jù)集為X={Xl,Xu},Xl為帶標(biāo)記樣本,Xu為未標(biāo)記樣本.通過解決如下正則化問題,可以從標(biāo)記數(shù)據(jù)的學(xué)習(xí)中得到分類器.f=argmin{1ll∑i=1C(f,xi,yi)+Ω(∥f∥Η)}.(8){1l∑i=1lC(f,xi,yi)+Ω(∥f∥H)}.(8)損失函數(shù)C反映的是函數(shù)f關(guān)于數(shù)據(jù)的匹配程度;函數(shù)f在再生核希爾伯特空間(reproducingkernelHilbertspaces,RKHS)中的范數(shù)為‖f‖H.該范數(shù)反映的是在RKHS空間中對函數(shù)f的平滑測量.由表達(dá)定理(representationtheorem)可得最優(yōu)解的形式如下:f*(x)=l∑i=1αiΚ(x,xi).(9)f?(x)=∑i=1lαiK(x,xi).(9)這意味著,最優(yōu)解f*可以表示為基于數(shù)據(jù){xi}的核函數(shù)的線性組合.通過增加正則項,可以將一個在無限維空間中尋求最優(yōu)解的問題簡化到在有限維空間中尋求最優(yōu)解.在半監(jiān)督學(xué)習(xí)中,當(dāng)同時考慮標(biāo)記樣本{xi,yi}li=1li=1和未標(biāo)記樣本{xi,yi}l+ui=l+1時,最優(yōu)化問題(8)可以轉(zhuǎn)化為f=argminf∈?Η{1l+ul+u∑i=1C(f,xi?yi)+Ω(∥f∥?Η)}.(10)f=argminf∈H?{1l+u∑i=1l+uC(f,xi?yi)+Ω(∥f∥H?)}.(10)式中:?ΗH?為同時包含標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)的新RKHS空間.Sindhwani等指出,在給定未標(biāo)記樣本時,可以通過將對應(yīng)于標(biāo)記樣本的RKHS空間H進(jìn)行適當(dāng)彎曲,獲得更能符合數(shù)據(jù)分布幾何特性的新RKHS空間?ΗH?.假定V為滿足半正定內(nèi)積的線性空間,S為有界線性算子,則?ΗH?可以被定義為由原空間H和修改后的內(nèi)積所構(gòu)成的函數(shù)空間:<f,g>=<f,g>H+<Sf,Sg>V.新空間?Η仍然為RKHS,新空間?Η在引入未標(biāo)記數(shù)據(jù)后,根據(jù)新的數(shù)據(jù)依賴范數(shù)‖f‖?Η,相對于原空間H,新空間對于數(shù)據(jù)分布的幾何特性匹配得更好,對應(yīng)于新空間?Η的新核函數(shù)?Κ(xi,xj),由RKHS的正交特性與再生性推論可以得到K(xi,xj)=K(xi,xj)-KTx(I+MK)-1MKx.(11)式中:Kx=[K(x1,x),…,K(xl+u,x)]T,M為對稱半正定矩陣.關(guān)鍵問題是如何選擇一個能夠反映數(shù)據(jù)幾何特性的M矩陣.該矩陣一般來自于無標(biāo)記樣本的邊緣分布.Belkin等采用圖拉普拉斯(Graph-Laplacian)來描述數(shù)據(jù)的結(jié)構(gòu).選擇的M矩陣反映了邊緣分布幾何結(jié)構(gòu)平滑的假設(shè).針對數(shù)據(jù)集X={Xl,Xu},可以構(gòu)建一個圖G={V,E},其中頂點集V代表整個數(shù)據(jù)點集,邊界集E代表數(shù)據(jù)點間的邊界權(quán)重,可以通過權(quán)重矩陣W={Wij}來描述各個數(shù)據(jù)點間的加權(quán)情況.若xi、xj相鄰,則Wij=exp(-‖xi-xj‖2/(2σ2));否則Wij=0.M=Lp,其中p為整數(shù),L為對潛在的幾何結(jié)構(gòu)建模的圖拉普拉斯矩陣.L=D-W,其中D為對角矩陣,Dii=∑iWij.典型地,可以用最近鄰來構(gòu)造M矩陣.根據(jù)所研究問題的特點來改變數(shù)據(jù)的最近鄰關(guān)系定義.2傳統(tǒng)高斯過程方法的計算效率通過基于空間最近鄰關(guān)系構(gòu)造的M矩陣,可以在高光譜圖像的特征空間上滿足流形假設(shè).在該假設(shè)下,大量未標(biāo)記樣本使數(shù)據(jù)空間變得更加稠密,從而有助于更加準(zhǔn)確地刻畫局部區(qū)域特性,使得決策函數(shù)能夠更好地進(jìn)行數(shù)據(jù)擬合.傳統(tǒng)高斯過程方法的計算時間復(fù)雜度為o(n3),其中n為訓(xùn)練樣本的個數(shù),訓(xùn)練樣本數(shù)量過大難以計算;而未標(biāo)記訓(xùn)練樣本通常數(shù)量很大,故直接采用高斯過程求解不可取.由于M矩陣考慮的是最近鄰關(guān)系,先對未標(biāo)記樣本作一個最近鄰選擇,僅選擇距離閾值內(nèi)的無標(biāo)記訓(xùn)練樣本,距離過大的無標(biāo)記訓(xùn)練樣本可以認(rèn)為對空間流形假設(shè)作用很小.2.1測試樣本的選擇和計算空間m矩陣m1)在某固定區(qū)域內(nèi)選擇帶標(biāo)記訓(xùn)練樣本;2)隨機(jī)選擇若干比例的無標(biāo)記訓(xùn)練樣本,剩余的作為測試樣本;3)根據(jù)無標(biāo)記樣本與帶標(biāo)記樣本之間的空間距離,選擇在距離閾值內(nèi)的無標(biāo)記訓(xùn)練樣本;4)根據(jù)圖像像素空間依賴關(guān)系,構(gòu)造空間M矩陣;5)通過核函數(shù)變換?Κ(xi,yj)=Κ(xi,yj)-KTx(I+MK)-1MKx,將新核函數(shù)用于高斯過程分類.2.2logqy采用共吾梯度法求解高斯過程中先將對數(shù)形式的邊緣似然函數(shù)取拉普拉斯近似:式中:|B|=I+W1/2KW1/2.根據(jù)式(12)求取θ的最大值:θ*=argmaxθlogq(y|X,θ).(13)近似邊緣似然函數(shù)對超參數(shù)θ的偏微分(?logq(y|X,θ)/?θj)包含2項,即對協(xié)方差矩陣K項的顯式依賴和對于后驗?f的隱式依賴.?logq(y|X,θ)?θj=?logq(y|X,θ)?θj+Ν∑i=1?logq(y|X,θ)??fi??fi?θj.(14)通過共軛梯度法來求解式(12),可得高斯過程的超參數(shù),見式(13).最后,M矩陣的一些參數(shù),如最近鄰距離計算中的鄰域樣本個數(shù)等可以通過交叉驗證方法來獲得.2.3實驗3.2sgp的計算復(fù)雜性采用SSGP分類方法的訓(xùn)練時間為O(l2n3),測試時間為O(lmn2),其中n為訓(xùn)練樣本的個數(shù),m為測試樣本的個數(shù),l為未標(biāo)記訓(xùn)練樣本的個數(shù).雖然SSGP方法的訓(xùn)練時間和測試時間比標(biāo)準(zhǔn)GP方法多.但是當(dāng)帶標(biāo)記訓(xùn)練樣本較少時,SSGP的計算復(fù)雜性不高.相對于SSGP方法在分類正確率上的顯著提高,SSGP方法所付出的代價,即更長的訓(xùn)練時間和測試時間,在實際應(yīng)用中可以接受.3光譜遙感數(shù)據(jù)集的測試為了驗證本文算法的有效性,在仿真數(shù)據(jù)和目前國內(nèi)外廣泛采用的印第安納(IndianaPine)高光譜遙感數(shù)據(jù)集上進(jìn)行測試實驗.實驗中,本文算法(SSGP)分別與基于監(jiān)督學(xué)習(xí)的標(biāo)準(zhǔn)高斯過程、標(biāo)準(zhǔn)SVM、標(biāo)準(zhǔn)KNN和基于半監(jiān)督學(xué)習(xí)的SVM協(xié)同訓(xùn)練進(jìn)行比較.實驗中,對采用的真實數(shù)據(jù)集先進(jìn)行預(yù)處理操作.首先除去干擾波段,然后對每一波段上的光譜數(shù)據(jù)進(jìn)行歸一化操作,并記錄每個像元的相對位置坐標(biāo).3.1實驗結(jié)果和分析仿真數(shù)據(jù)有A、B、C、D4類.每個數(shù)據(jù)由200個波段組成,每個波段都是正態(tài)分布,標(biāo)準(zhǔn)差為2.每個波段數(shù)據(jù)的取值范圍(值域)都一樣,不需要歸一化.將整個圖像分成4個區(qū)域,如圖1所示.每個區(qū)域都是25×25個像素,一共有25×25×4=2500個像素,每個像素為4個波段的向量.取80%數(shù)據(jù)作為訓(xùn)練樣本,20%數(shù)據(jù)作為測試樣本.這樣共有訓(xùn)練樣本2000個,測試樣本500個.然后從訓(xùn)練樣本中取2.5%作為帶標(biāo)記的訓(xùn)練樣本,即50個帶標(biāo)記的訓(xùn)練樣本.從剩下的1950個樣本點中依次按比例取無標(biāo)記的訓(xùn)練樣本.M矩陣的最近鄰樣本個數(shù)定義為10.實驗結(jié)果如圖2所示.圖中,τ為未標(biāo)記訓(xùn)練樣本數(shù)量在所有樣本中所占的比例,pcla為分類正確率.從圖2可以看出,在高光譜仿真數(shù)據(jù)上,利用了未標(biāo)記訓(xùn)練樣本的半監(jiān)督學(xué)習(xí)方法,SSGP和協(xié)同訓(xùn)練支持向量機(jī)(SVMco-training)的分類精度普遍比標(biāo)準(zhǔn)高斯過程、標(biāo)準(zhǔn)SVM和標(biāo)準(zhǔn)KNN這些不用未標(biāo)記樣本的有監(jiān)督學(xué)習(xí)方法都高.隨著未標(biāo)記樣本比例的提高,分類精度隨之提高.當(dāng)未標(biāo)記樣本比例高于60%后,分類精度趨于穩(wěn)定,不再升高.另外,比較2種半監(jiān)督分類方法可知,SSGP算法明顯比SVMCo-training算法分類效果更優(yōu).在仿真數(shù)據(jù)上,SSGP方法的分類正確率比文獻(xiàn)中僅利用空間相關(guān)性的SGKGP方法提高了近5%.3.2真實圖像對比印第安納州西北區(qū)域高光譜遙感圖像,大小為145×145像元,220個波段,AVIRIS傳感器于1992年拍攝,有玉米、大豆、干草、森林和牧場等9個不同類別,如圖3所示.在整幅圖像中,選取橫向坐標(biāo)為10～50,縱向坐標(biāo)為50～90作為研究方塊,如圖4所示.在研究區(qū)域方塊內(nèi),包含6種地物類別.實驗中在研究方塊內(nèi)選取帶標(biāo)記訓(xùn)練樣本853個像元,然后分別在整幅圖像中任意取若干比例的像元作為無標(biāo)記訓(xùn)練樣本,剩下的像元作為測試樣本.無標(biāo)記樣本和測試樣本只在上述6種地物類別中進(jìn)行選擇.在實驗中,經(jīng)過交叉驗證可得,M矩陣的最近鄰個數(shù)的最優(yōu)值為10.實驗結(jié)果如圖5所示.從圖5可以看出,在真實的高光譜遙感圖像