一種基于遷移學(xué)習(xí)的文本圖像特征映射算法

1、2012 年 12 月第 35 卷 第 6 期北 京 郵 電 大 學(xué) 學(xué) 報(bào) University of Posts and TelecommunicationsDec 2012Vol 35 No 6Journal of文章編號: 1007 5321( 2012) 06 0001 05一種基于遷移學(xué)習(xí)的文本圖像特征算法劉杰， 杜軍平( 1.，北京 100876;北京郵電大學(xué) 計(jì)算機(jī)學(xué)院，北京 100876)北京郵電大學(xué) 智能通信軟件與多北京市2.摘要: 提出一種約束下基于遷移學(xué)習(xí)的文本 圖像特征算法 通過潛在狄利克萊分配方法對文本數(shù)據(jù)進(jìn)行主題建模，并通過計(jì)算主題特征的信息增益選出最顯著的文本特

2、征; 用視覺詞袋模型和樸素貝葉斯方法對圖片進(jìn)行主題建模; 通過同下的文本數(shù)據(jù)特征分布和文本 圖像共現(xiàn)數(shù)據(jù)特征分布，實(shí)現(xiàn)了對圖像特征分布的近似:號:在包含 15 個(gè)主題的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)的結(jié)果證明了所提特征算法的有效性約束; 遷移學(xué)習(xí); 文本 圖像特征; 共現(xiàn)數(shù)據(jù)文獻(xiàn)標(biāo)志碼:TN919AA Transfer Learning Based Text-Image Feature Mapping AlgorithmLIU Jie， DU Jun pingKey Laboratory of Intelligent Telecommunication Software and Multimedia，( 1

3、.University ofPosts and Telecommunications，100876，China;2. School of Computer，University of Posts and Telecommunications，100876，China)Abstract: A transfer learning based text-image feature mapping algorithm under event constraint is pro- posed Firstly，the documents of each event are med by the laten

4、t dirichllocation，in which themost discriminating feature is obtained by computing the information gain of each topic Secondly，theimages of the corresponding event are med through the bag-of-visual-word mand the nave bayesapproach Finally，the feature distributions of the target images are approximat

5、ed by utilizing the feature distributions of the text data and the text-image co-occurrence data within the same event Experiment is conducted on a dataset containing 15 categories of events The effectiveness of the proposed feature map- ping algorithm is shownKey words: event constraint; transfer l

6、earning; text-image feature mapping; co-occurrence data在研究的一個(gè)熱點(diǎn)2-3對于知識在不同特征空間的遷移問題，曾經(jīng)有 學(xué)者提出多視角學(xué)習(xí)的概念，對每個(gè)數(shù)據(jù)實(shí)例都通 過多個(gè)視角來，并在跨空間的知識學(xué)習(xí)中取得了一定的成績4 遷移學(xué)習(xí)5與多視角學(xué)習(xí)相比，在數(shù)據(jù)層面不再要求每個(gè)數(shù)據(jù)實(shí)例都要有相應(yīng)多的視角概念表達(dá) 遷移學(xué)習(xí)要通過利用現(xiàn)有數(shù)據(jù)來學(xué)隨著互聯(lián)網(wǎng)信息技術(shù)的發(fā)展，文本圖像相互伴隨的信息的數(shù)量越來越多 傳統(tǒng)的文本信息挖掘技術(shù)已經(jīng)不能滿足人們對多信息知識的學(xué)習(xí)需求 但是目前直接在多數(shù)據(jù)特征空間，特別是圖像特征空間中學(xué)習(xí)知識模型還有很大難度1能否利

7、用成文本挖掘技術(shù)和互聯(lián)網(wǎng)上充足的文本信息來輔助圖像數(shù)據(jù)的知識學(xué)習(xí)，是現(xiàn)收稿日期: 2012 01 12基金項(xiàng)目:重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃項(xiàng)目( 2012CB821200，2012CB821206) ;然科學(xué)基金項(xiàng)目( 4111002)自然科學(xué)基金項(xiàng)目( 91024001，61070142) ; 北京市自作者簡介: 劉 杰( 1984) ，男，博士生，: liujie bupt gmail com; 杜軍平( 1963) ，女，教授，博士生導(dǎo)師北 京 郵 電 大 學(xué) 學(xué) 報(bào) 第 35 卷2 disc( ( zi) ) ， dir( )( z )習(xí)一個(gè)認(rèn)知模型，從而解決在不同特征空間進(jìn)行知識遷移的問題

8、 特征遷移問題一般被歸為直推式遷w | z ，iii( 4)| ( di) disc( ( di) ) ， dir( )zi移學(xué)習(xí)6，其定義為: 給定源數(shù)據(jù)空間 D 和相應(yīng)的為處理訓(xùn)練文本之外的新文本，便于參數(shù)s學(xué)習(xí)任務(wù) Ts，目標(biāo)數(shù)據(jù)空間 Dt 和目標(biāo)數(shù)據(jù)空間學(xué)習(xí)任務(wù) Tt，直推式遷移學(xué)習(xí)通過利用 Ds 和 Ts 中的知推理，對 ( d) 和 ( z) 做對稱 dir( ) 、dir( ) 先驗(yàn)概率假設(shè) 為了獲取文本主題概率分布，不直接計(jì)算 識，幫助學(xué)習(xí) Dt中的目標(biāo)Ts = Tt 函數(shù)fT，其中: DsDt、和 ，而是計(jì)算詞匯對于文本主題的后驗(yàn)概率wP( w | z) ，再通過 Gibbs

9、 抽樣間接計(jì)算 和 通過在特征遷移過程中，即使源數(shù)據(jù)空間與目標(biāo)數(shù) 據(jù)空間中的數(shù)據(jù)在實(shí)例層面沒有交集，卻可能會在 特征層面上有關(guān)聯(lián) 可以利用具備 2 個(gè)特征視角的數(shù)據(jù)來建立一個(gè)紐帶，對 2 個(gè)不同的特征空間進(jìn)行連接 這些數(shù)據(jù)不一定作為知識學(xué)習(xí)的訓(xùn)練數(shù)據(jù)，計(jì)算各主題的信息增益，在類別 c 下找出其文本主題特征空間中最具有判別能力的特征 信息增益越多的特征，就可作為顯著文本特征2. 2圖像數(shù)據(jù)建模采用樸素貝葉斯模型對圖像進(jìn)行建模 首先計(jì)但是可扮演一個(gè)字典的背景，將互聯(lián)網(wǎng)上關(guān)于此以某個(gè)主題作為穩(wěn)健特征 (SURF，speeded up robust fea-算充足的文本圖像伴tures) 8，并建立視

10、覺詞袋 (BOVW，bag of visual隨信息作為進(jìn)行知識遷移的一個(gè)基礎(chǔ)words) 模型9 將圖片 v 認(rèn)為是視覺詞匯的集合，每個(gè)視覺詞匯 f 來自視覺詞匯本 F，v = f | fF ，F(xiàn)同時(shí)表示整個(gè)圖像特征空間 由特征性假設(shè)，約束下的文本圖像共現(xiàn)數(shù)據(jù)1在異構(gòu)空間學(xué)習(xí)模型中，若利用一種具有 2 個(gè)特征空間視角的數(shù)據(jù)作為輔助，將會使整個(gè)學(xué)習(xí)過定義圖像分類模型為: 一個(gè)類別 c 決定一種圖像特征分布 P( fF | c) 通過此模型，并利用極大后驗(yàn)來推測圖片分類目標(biāo)函數(shù) hNB : VC，完成圖像主題類別建模 對于目標(biāo)圖片 v，其主題類別為程的難度大為降低，而約束下的異構(gòu)空間學(xué)習(xí)模型提供

11、了該可能性 這里給出約束下文本eE; V 為整個(gè)圖像共現(xiàn)數(shù)據(jù): E 為集合h= arg max p( c)P( f | c)fv( 5)NB圖片數(shù)據(jù)集本數(shù)據(jù)集e 下相關(guān)圖片 v V; D 為整個(gè)文e 下文本集合 d D; UV 為圖像特cC文本圖像特征3征空間，UD 為文本特征空間; 文本圖像共現(xiàn)數(shù)據(jù)文本主題建模和圖像主題建模都屬于離散型對實(shí)例( v，d) S，S 為共現(xiàn)數(shù)據(jù)集U 和 u UuvVdD象模型，可對其特征運(yùn)用特征性假設(shè)，即每個(gè)特分別為圖像數(shù)據(jù)實(shí)例和文本數(shù)據(jù)實(shí)例所對應(yīng)的特征影響實(shí)例在給定類別下的后驗(yàn)概率 在約束下文本圖像共現(xiàn)數(shù)據(jù)( v，d) 在特征征文本圖像特征遷移過程中，把文本特

12、征和圖像特層面的形式化描述為征分別拆分進(jìn)行，能使特征遷移的問題大大簡P( uv ，ud ) =P( uv ，d) P( ud | d) dd( 1)化圖 1 為文本圖像特征遷移示意圖DP( uv ，ud ) =P( v，ud ) P( uv | v) dv( 2)V P( uv ，ud ) =P( v，d) P( ud | d) P( uv | v) dvddV D( 3)其中 P( ud | d) 和 P( uv | v) 是特征提取過程文本和圖像數(shù)據(jù)建模22. 1文本主題建模使用基于抽樣的潛在狄利克萊分配 location) 模型7抽取文本集Gibbs圖 1約束下的文本 圖像特征遷移( L

13、DA，latent dirichl合的主題信息為相關(guān)文本進(jìn)行主題建模，其概率模型為約束下的 D 中每個(gè)文本的類標(biāo)與圖像目標(biāo)類別 c 相同，文本 d 使用主題特征詞袋表示為d =第 6 期劉 杰等: 一種基于遷移學(xué)習(xí)的文本 圖像特征算法3 t | tT ，其中主題特征詞典 T 是文本特征空間主出現(xiàn)的隨量 圖像特征分布可以表示為一個(gè)維題詞匯表 同時(shí)，存在相應(yīng)下文本圖像共現(xiàn)度與特征詞袋大小相同的向量:| F| 1數(shù)據(jù)集合 S = ( v，d) 為推測類別 c 下的圖P( f | c)， ip = 1( 13)=p 0ii 0像特征分布 P( f | c) ，首先計(jì)算文本集合 D 中最顯著的文本特征，

14、再借助文本圖像共現(xiàn)數(shù)據(jù)集合 S 將i將余弦相似度和 K-L 離散度( Kullback-Leibler divergence) 作為性能評價(jià)尺度，設(shè)定某種概率分布 p 是數(shù)據(jù)基準(zhǔn)分布，另一個(gè)概率分布 q 是分布 p 的近似 2 個(gè)特征分布的余弦相似度越大，則 2 種特征分最顯著文本特征到圖像特征空間上 通過文本集合中的文本顯著特征和文本圖像共現(xiàn)數(shù)據(jù)來推測目標(biāo)類別下的圖像特征分布，表示為布就越接近，近似程度越高余弦相似度的計(jì)算公P( f | c)P( f | w，c，S) P( w | c，D) ( 6)= Nc式為CS( p，q)wW( c)i i( i i )其中: W( c) 是類別 c

15、下文本集合 D 中最顯著的p2q2= p q+槡槡文本特征集合，N 是正規(guī)化系數(shù)，P( w | c，D) 是iiic( 14)類別 c 下的文本特征分布，P( f | w，c，S) 是文本圖像共現(xiàn)數(shù)據(jù)上的圖像特征條件分布概率K-L 離散度是評價(jià) 2 個(gè)概率分布差異性的非對稱型度量標(biāo)準(zhǔn)，其數(shù)值反映了分布 q 對分布 p 的近似程度 在基準(zhǔn)圖像數(shù)據(jù)特征分布確定時(shí)，K-L 離散度定義為式( 6) 表示若給定類別 c，特定圖像特征出現(xiàn)的概率與其在每個(gè)顯著文本特征關(guān)聯(lián)的文本圖像共現(xiàn)數(shù)據(jù)里出現(xiàn)的概率呈正比例 同時(shí)，特定圖像特征出現(xiàn)的概率還與每個(gè)顯著文本特征對目標(biāo)概 念的重要程度相關(guān) 下面，具體闡述 P(

16、f | w，c，S) 和P( w | c，D) 的計(jì)算過程 pi KL( pq) i( 15)=p lbiqi4. 2數(shù)據(jù)集數(shù)據(jù)集采自互聯(lián)網(wǎng)上 15 個(gè)類別的食品安全事首先，為每個(gè)類別概念 cC 計(jì)算文本特征對應(yīng)類別為，E1: 三鹿奶粉;件的相關(guān)E2: 紅心鴨蛋件; E5: 麥樂雞分布 P( w | c，D) ，并以此計(jì)算最顯著的文本特; E3: 多寶魚; E6: 塑化劑; E4: 金浩茶油事; E7: 瘦肉精事征集合 W( c) 模，并使用拉的問題對文本集合采用 LDA 模型建斯平滑來解決文本主題特征稀疏件; E8: 石蠟火鍋底料; E9: 地溝油; E10: 小龍蝦蛆蟲柑橘件 根據(jù); E1

17、1: 福壽螺; E12: 毒饅頭; E13:P( w | c，D) =1 + n( w，c，D) /| W | + n( c，D) ( 7); E14: 爆裂西瓜的持續(xù)時(shí)間長短; E15: 毒燕窩事相關(guān)文本數(shù)量n( w，c，D)= n( w | d) P( c | d)dD= n( d) P( c | d)( 8)分別為 800 2 000 個(gè)，其中文本圖像伴隨文本的數(shù)量約占 1 /3 1 /2 一個(gè)文本圖像伴隨的樣本作為一個(gè)共現(xiàn)數(shù)據(jù)實(shí)例，而對于一個(gè)樣本里面有多幅 圖片的情況，認(rèn)為是一幅圖片對應(yīng)相同的伴隨文本， 并按圖片的數(shù)量計(jì)算共現(xiàn)數(shù)據(jù)實(shí)例數(shù)量 通過人工方式從互聯(lián)網(wǎng)搜索引擎和相關(guān)網(wǎng)頁上搜集每

18、個(gè)食品n( c，D)( 9)dD然后計(jì)算文本圖像共現(xiàn)數(shù)據(jù)集中圖像特征條件分布 P( f | w，c，S) ，依然使用拉P( f | w，c，S) =斯平滑1 + n( f，w，c，S) /| F | + n( w，c，S) ( 10)n( f，w，c，S)安全對應(yīng)的圖片數(shù)據(jù) 對于每個(gè)，分別搜n( f | v) P( w，c | d)( 11)=集 200 400 張圖片 并利用 BOVW 模型對每張圖片進(jìn)行視覺詞袋表示，得出每張圖片的直方圖向量表達(dá)4. 3實(shí)驗(yàn)結(jié)果及分析( v，d) Sn( w，c，S)n( v) P( w，c | d)( 12)=( v，d) S實(shí)驗(yàn)評價(jià)標(biāo)準(zhǔn)文本圖像特征4約束

19、下文本圖像特征算法的本質(zhì)在4. 1于使用文本數(shù)據(jù)與文本圖像共現(xiàn)數(shù)據(jù)去估計(jì)相應(yīng)類別中的圖像特征分布 評價(jià)算法的一個(gè)視角算法目標(biāo)是要估計(jì)出類別下圖片信息的特征分布 根據(jù)視覺詞袋模型所具有的特征性假設(shè)，把圖像特征作為相互是看估計(jì)出的分布是否與該特征分布相似類別下的基準(zhǔn)圖像北 京 郵 電 大 學(xué) 學(xué) 報(bào) 第 35 卷4首先構(gòu)造基準(zhǔn)圖像特征分布，使用每個(gè)類分布，而均勻分布算法只在一個(gè)類別( E6) 下接近其他算法所得結(jié)果 通過檢查該類別下的數(shù)據(jù)發(fā)現(xiàn)， 這是由于其圖片數(shù)據(jù)相互差異過大造成的 通過標(biāo)記算法在 3 個(gè)類別( E1，E9，E11) 下與筆者所提別 c 下的全部圖片，通過樸素貝葉斯分類器，得出一個(gè)

20、圖像特征分布作為基準(zhǔn)特征分布 理論上，在訓(xùn)練數(shù)據(jù)充分多的情況下，通過樸素貝葉斯分類器能計(jì)算出目標(biāo)類別下真實(shí)的圖像特征分布選擇較為直觀的 2 種方法與文本圖像特征映射算法作對比 第 1 種是均勻分布算法 假設(shè)每個(gè)圖像特征以相同的概率在每個(gè) 目標(biāo)概念下隨機(jī)出的文本圖像特征數(shù)據(jù)，對于這幾個(gè)類別名作為算法效果相當(dāng) 通過檢查類別，從搜索引擎上直接輸入關(guān)鍵字，所得的圖片與類別關(guān)聯(lián)度都相當(dāng)緊密，所以標(biāo)記分布效果比較好算法所近似的地出現(xiàn) 第 2 種方法是標(biāo)記算法 直接將類別c 的名稱作為 關(guān)鍵字，在互聯(lián)網(wǎng)搜索引擎中進(jìn)行搜索，使用返回的前 K 張圖片對樸素貝葉斯模型進(jìn)行訓(xùn)練得到圖片特征分布，本實(shí)驗(yàn)根據(jù)經(jīng)驗(yàn)取 K

21、 值為 50 3 種算法在余弦相似度下的效果比較如圖2 所示，度量結(jié)果中，值越大越好除了與上述直接方法進(jìn)行比較外，可從不同訓(xùn)練數(shù)據(jù)規(guī)模的角度來衡量一個(gè)近似圖片特征分布對基準(zhǔn)分布的逼近程度 每次從所搜集到的圖片數(shù)據(jù)集的每個(gè)類別中，隨機(jī)地挑選 N 張圖片，并訓(xùn)練樸素貝葉斯模型 100 次，將每次得到的圖像特征分布和基準(zhǔn)分布作比較，最后把所有重復(fù)輪次下的結(jié)果進(jìn)行算數(shù)平均 每個(gè)類別下每次隨機(jī)選取的圖片數(shù)量依次為20、40、60、80、100、120、140、160 對均勻分布算法、標(biāo)記算法和特征算法在每個(gè)類別下的近似結(jié)果取平均值，然后與上面的方法進(jìn)行比較 圖 4 和圖 5 給出了在 2 種度量尺度下，

22、這些近似計(jì)算方法所得到的圖像特征分布與基準(zhǔn)分布的平均差異圖 2 余弦相似度下不同算法估計(jì)分布的效果比較圖 3 所示為 3 種算法在 K-L 離散度下的果比較，可見，度量結(jié)果中，值越小越好效圖 4 余弦相似度下不同算法估計(jì)分布的效果比較從圖 4 和圖 5 可看出，文本圖像特征算法與用 100 張帶標(biāo)注的圖片訓(xùn)練所得特征分布相當(dāng)表明文本圖像特征算法可有效地從相關(guān)的文本數(shù)據(jù)和文本圖像共現(xiàn)數(shù)據(jù)中學(xué)習(xí)到目類別下的圖像特征分布標(biāo)圖 3 K L 離散值下不同算法估計(jì)分布的效果比較結(jié)束語提出了一種利用同一主題5從以上不同度量尺度下不同算法估計(jì)分布的效果比較圖中可看出，文本圖像特征算法在大下的文本圖像共現(xiàn)數(shù)據(jù)實(shí)

23、現(xiàn)文本和圖像數(shù)據(jù)之間特征遷移的學(xué)習(xí)多數(shù)類別下產(chǎn)生的圖像特征分布最接近其基準(zhǔn)第 6 期劉 杰等: 一種基于遷移學(xué)習(xí)的文本 圖像特征算法5gence San Francisco: AAAI Press，2011: 1304 1309 Qi Guojun，Aggarwal C，Huang Thomas Towards semantic knowledge propagation from text corpus to web im3of the 20th International ConferagesC Proceedingsence on World Wide Web Hyderabad: AC

24、M Press， 2011: 297 306Muslea I，Minton S，Knoblock C A Active + semi super vised learning = robust multi view learningCProceed ings of theInternational Conference on Machine Learning Sydney: ACM Press，2002: 435 442Pan S J L，Yang Qiang A Survey on transfer learningJ IEEE Transaction on Knowledge and Da

25、ta Engineer ing，2010，22( 10) : 1345 1359Pan Jialin Feature based transfer learning with real world419th5圖 5 K L 離散值下不同算法估計(jì)分布的效果比較算法 通過基于 Gibbs 抽樣的 LDA 模型和信息增益計(jì)算出顯著文本特征，并且利用 BOVW 模型和樸素貝葉斯方法對圖像數(shù)據(jù)進(jìn)行主題建模 隨后在同一文本圖像共現(xiàn)數(shù)據(jù)的幫助下，將文本特征分6applicationD: TheUniversityof Science and Technology，20107Porteous I，D，Ihler A， Fast collapsedlocationC Pro International Confergibbs sampling for latent dirichlceedings of t