基于半監(jiān)督的SVM遷移學(xué)習(xí)算法研究

基于SVM的半監(jiān)督遷移學(xué)習(xí)的算法研究摘要在數(shù)據(jù)挖掘中，合理的采用相關(guān)數(shù)據(jù)域去幫助新的數(shù)據(jù)域分類已經(jīng)成了一項(xiàng)重要課題。半監(jiān)督學(xué)習(xí)已經(jīng)廣泛應(yīng)用于數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)的分類等研究中，但結(jié)合遷移學(xué)習(xí)方式的方法卻較少見。SVM在處理大數(shù)據(jù)方面也越受到關(guān)注，不同學(xué)習(xí)方式結(jié)合SVM的算法也陸續(xù)提出。本文結(jié)合半監(jiān)督SVM（Semi-supervisedSVM）算法與遷移學(xué)習(xí)的方法，給出了一種半監(jiān)督遷移SVM分類方法，通過對輔助數(shù)據(jù)域的局部與目標(biāo)域的全局一致學(xué)習(xí)（LLGC）得到目標(biāo)方程，并以半監(jiān)督的方式對目標(biāo)方程進(jìn)行迭代，收斂得到最終的SVM分類器，對目標(biāo)任務(wù)中未標(biāo)記樣本得到最終標(biāo)簽。應(yīng)用該方法得到分類器具有較高的精確度。關(guān)鍵詞數(shù)據(jù)挖掘；半監(jiān)督學(xué)習(xí)；遷移學(xué)習(xí)；一致學(xué)習(xí)1引言在傳統(tǒng)分類方法中，大部分都是有監(jiān)督的，即用帶標(biāo)簽的數(shù)據(jù)來訓(xùn)練分類模型，并且只局限于目標(biāo)數(shù)據(jù)域。然而，收集帶標(biāo)簽的實(shí)例是非常困難且要耗費(fèi)巨大的[1]，不帶標(biāo)簽的數(shù)據(jù)卻是相當(dāng)巨大，很容易獲取。如果只有少量的帶標(biāo)簽的數(shù)據(jù)和大量未標(biāo)記的數(shù)據(jù)可用，那么半監(jiān)督學(xué)習(xí)在一定程度上便能彌補(bǔ)因訓(xùn)練數(shù)據(jù)不足而導(dǎo)致過擬化的分類誤區(qū)。很多機(jī)器學(xué)習(xí)的方法，無論是傳統(tǒng)的機(jī)器學(xué)習(xí)還是半監(jiān)督學(xué)習(xí)問題，都是建立在一個(gè)共同假設(shè)：測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)屬于統(tǒng)一數(shù)據(jù)分布與同一特征空間。一旦數(shù)據(jù)分布有差異，很多學(xué)習(xí)方法便無法表現(xiàn)的很好。于是又要重新標(biāo)記大量數(shù)據(jù)去訓(xùn)練模型來適應(yīng)新的數(shù)據(jù)分布，這樣的代價(jià)是昂貴的?；谶@個(gè)局限，便引入了遷移學(xué)習(xí)[3]，目的是從其他相關(guān)輔助數(shù)據(jù)域中遷移知識去幫助目標(biāo)域中解決學(xué)習(xí)任務(wù)。例如，在網(wǎng)頁分類中，我們能利用遷移學(xué)習(xí)從大學(xué)網(wǎng)頁遷移知識來幫助F分類任務(wù)訓(xùn)練一個(gè)分類器[4]。雖然大學(xué)網(wǎng)頁與社交網(wǎng)絡(luò)的數(shù)據(jù)分布十分不同，但是始終存在一些共同的分類知識來構(gòu)建知識遷移的橋梁幫助提高分類器性能。近年來，隨著研究的深入，半監(jiān)督、遷移學(xué)習(xí)等方法也逐漸應(yīng)用于數(shù)據(jù)分類、社交網(wǎng)絡(luò)分析和圖像處理等方面。如QiangYang等人遷移學(xué)習(xí)對于文本挖掘的應(yīng)用[5]。目前，在解決實(shí)際的文本分類問題中，人們提出了不同類型文本分類方法，很多針對文本像基于貝葉斯的文本分類方法[6]、基于SVM的文本分類方法[7][8]以及基于KNN的文本分類方法[9]等。隨后基于這些基本方法的遷移學(xué)習(xí)也成為了當(dāng)今熱點(diǎn)，如跨域SVM方法[10][11]。而遷移學(xué)習(xí)在各領(lǐng)域的應(yīng)用也是層出不窮，如在社交網(wǎng)絡(luò)的推薦系統(tǒng)中便提出了跨域推薦(CDR)[20]和社交網(wǎng)絡(luò)中的異構(gòu)遷移對于圖像聚類的方法[21]，在圖像處理和信號處理方面也有應(yīng)用[22][23][24]。在這篇文章，我們提出了一種基于SVM的半監(jiān)督遷移學(xué)習(xí)方法，我們的貢獻(xiàn)有：（1）我們合理的利用了目標(biāo)域中未標(biāo)記的數(shù)據(jù)與少量帶標(biāo)簽的數(shù)據(jù)，并采用局部化SVM(LSVM)進(jìn)行局部和全局一致學(xué)習(xí)（LLGC），采用半監(jiān)督的學(xué)習(xí)方式來加強(qiáng)分類器精度[12][18]。并給出了這種方法的目標(biāo)方程;（2）為了給分類器得到更好的泛化誤差，我們引入了遷移學(xué)習(xí)的方法對目標(biāo)方程進(jìn)行迭代，給出了迭代終止目標(biāo)函數(shù)，產(chǎn)生更為精確的分類器并得到數(shù)據(jù)標(biāo)簽[13]。本文的組織結(jié)構(gòu)如下。在第二節(jié)，我們將簡要介紹一下基于SVM的半監(jiān)督學(xué)習(xí)和基于SVM的遷移學(xué)習(xí)方法(TLSVM)。在第三節(jié)，我們提出基于SVM的半監(jiān)督遷移學(xué)習(xí)方法。實(shí)驗(yàn)部分的內(nèi)容則在第四節(jié)。最后，第五節(jié)是我們對以后工作的總結(jié)。2相關(guān)工作由于我們關(guān)注的是基于SVM的半監(jiān)督(4)s.t.類似A-SVM[19]，我們也想要保證這個(gè)新的決策邊界在舊的輔助數(shù)據(jù)的判別屬性，但是這個(gè)技術(shù)有個(gè)特別的優(yōu)點(diǎn)：就是沒有強(qiáng)迫這個(gè)正規(guī)項(xiàng)限制新決策邊界相似于舊的。代替這個(gè)，基于本地化的主意，這個(gè)判別屬性僅在與目標(biāo)數(shù)據(jù)有相似分布的重要輔助數(shù)據(jù)樣本中被處理。特別地，采用了高斯函數(shù)的形式：(5)控制來自的重要支持向量的退化速度。越大，支持向量的影響就越小同時(shí)也就遠(yuǎn)離。當(dāng)非常大，一個(gè)新的決策邊界單獨(dú)基于新的訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到。相反，當(dāng)非常小，來自的支持向量和目標(biāo)數(shù)據(jù)集同等對待并且算法相當(dāng)于運(yùn)用共同訓(xùn)練一個(gè)SVM分類器。通過這樣控制，與傳統(tǒng)方法對比，這個(gè)算法更一般化和靈活?？刂茀?shù)實(shí)際上能通過系統(tǒng)驗(yàn)證試驗(yàn)來優(yōu)化。對于上面所產(chǎn)生的一個(gè)初始弱SVM分類器，我們得到了目標(biāo)域中未標(biāo)記數(shù)據(jù)的一組初始標(biāo)簽，接著把加入訓(xùn)練集中一起訓(xùn)練，就形成了我們所提出的半監(jiān)督遷移的方法。其基于SVM的半監(jiān)督遷移學(xué)習(xí)算法的分類器對于兩類問題的定義如下：(6)s.t.3.2半監(jiān)督遷移算法的描述對于目標(biāo)域數(shù)據(jù)，假設(shè)是包含個(gè)樣本且給定標(biāo)簽的訓(xùn)練集，是包含個(gè)樣本且未帶標(biāo)簽。本文提出的基于SVM的半監(jiān)督遷移算法的步驟如下：利用目標(biāo)域中少量帶標(biāo)簽的數(shù)據(jù)集和輔助數(shù)據(jù)集中經(jīng)過預(yù)處理得到一組支持向量作為原始訓(xùn)練集，訓(xùn)練出一個(gè)弱分類器SVM1。利用SVM1標(biāo)記目標(biāo)數(shù)據(jù)域中未標(biāo)記的數(shù)據(jù)，獲得初始一組標(biāo)簽。將目標(biāo)域中未標(biāo)記數(shù)據(jù)集加入訓(xùn)練集中，共同訓(xùn)練出分類器SVM2，并得到其各參數(shù)和。此時(shí)的標(biāo)簽為。迭代下去，