一種基于隱條件隨機場的相關反饋視頻檢索方法

1、一種基于隱條件隨機場的相關反應視頻檢索方法摘要：相關反應作為跨越語義鴻溝的有效手段，已經被廣泛應用于基于內容的圖像檢索中，本文那么將相關反應用于基于內容的視頻檢索中。體育比賽視頻、新聞視頻等特定領域的視頻結構簡單，研究者眾，本文那么以更一般的電影視頻為研究對象，首次以情節(jié)為切入點，提出基于隱條件隨機場HCRF的相關反應算法，檢索出用戶感興趣的各類視頻片斷。實驗結果顯示本算法檢索性能良好。論文關鍵詞：基于內容的視頻檢索,相關反應,隱條件隨機場視覺信息檢索包括圖像檢索和視頻檢索，其中圖像檢索更為根底、簡單，研究成果也較多，視頻檢索的研究成果那么較少。其實，人們對視頻檢索的興趣更為濃厚，并且已經作了

2、一些有益的工作。隨著生活中數字視頻的迅速增加，人們常常需要從海量數據中尋找自己感興趣的內容，但是這方面的工作多集中在結構簡單的視頻節(jié)目中，對更一般的視頻節(jié)目如電影而言，檢索那么比擬困難，原因是一般的視頻節(jié)目中數據之間關系復雜，數據組織非結構化。在視頻檢索領域，前人已經做了一些有益的工作，如鏡頭檢測、鏡頭聚類、關鍵幀提取和視頻數據庫管理等。我們的工作在前人的根底上，結合影視學的相關理論，提出基于隱條件隨機場的相關反應方法。利用視頻段內、視頻段間對象之間時間、空間的關系建立隱條件隨機場的模型。2 蒙太奇思維蒙太奇montage源自法語安裝、組合、構成;，原是建筑學術語，指將各種不同的建筑材料根據某

3、種設計思路，安裝、組合并構成有機整體的建筑，產生出新的功能和效用。引申到影視藝術中蒙太奇就成為各種元素的組合和結構。蒙太奇從技術環(huán)節(jié)上看，是影視后期制作中一道非常重要的工序鏡頭剪輯，它主要是指：鏡頭長度確實定、鏡頭之間的組接、畫面與聲音間的組合，即除去素材中多余局部，將素材以幀為單位精確地拼接在一起，再將畫面與聲音有機結合在一起，使素材最終成為一部完整的視聽作品。3、相關反應將相關反應relevance feedback引入檢索過程，可以提高檢索的精度。相關反應;最早出現于文本檢索中。因為用戶提交的查詢往往不能完全表達他們的檢索目的，只能大致描述檢索傾向，這樣一次檢索就得不到理想的檢索結果。而

4、且，只是一次檢索，用戶需要花費在初始的查詢構造上的時間并不少，相關反應的出現就解決了這個問題，初次查詢的結果并不作為檢索的答案，而是一個中間結果，系統(tǒng)根據這個結果得到用戶的相關反應修改查詢要求，進行再一次的查詢。具體來講，首先用戶給出大致要求，系統(tǒng)進行粗略的查詢，返回給用戶初次檢索的結果，用戶對初次檢索出的結果集合進行判斷，符合用戶要求的標注為正例、不符合用戶要求的標注為負例也可以不標注負例，然后系統(tǒng)根據用戶標注結果進行自我調整進行新一輪查詢，如此反復，直至用戶得到滿意的檢索結果或者系統(tǒng)的檢索精度到達了穩(wěn)定狀態(tài)為止。相關反應是將用戶參與作為檢索的一個重要環(huán)節(jié)。31 查詢點移動每一輪查詢，都使得

5、查詢點更接近理想查詢點，檢索樣本中與正例相關的特征得到加強、與負例相關的特征得到減弱，通常用Rocchio公式來描述：其中， 第次查詢時，查詢點的位置 第次查詢時，查詢點的位置 特征向量 的基數 ， 加權系數32 查詢參數調整考察用戶正例反應集合中特征向量的各個分量，如果反應集合中的各個特征向量在向量空間某維上的分布越亂，那么認為該分量與檢索的相關程度就越小，所以，就應該減小該分量的權重，反之，那么應增加該分量的權重。33 支持向量機用于相關反應時的缺乏SVM在解決分類問題上取得很大成功。但是，現實很多任務面對的數據是需要多個標注的序列數據、空間數據或者結構化數據，SVM在處理這些問題時，對每

6、一個目標獨立地進行標注，無視了大量有用的信息。而概率圖模型可以利用這些數據的結構信息，表示出目標之間的關系，大大提高標注的精度。我們研究的對象是視頻數據，這是時空信息豐富的結構化數據，所以，使用概率圖模型是一個更好的選擇。4、 基于隱條件隨機場的相關反應算法基于隱條件隨機場的相關反應模型可以方便地對用戶感興趣的多類視頻進行檢索。算法如下：由用戶選出感興趣的幾段視頻，并按類別不同給予不同的標注；由中得到的樣例集訓練HCRF模型；利用訓練好的HCRF模型將視頻庫中所有視頻段分類，并按概率從大到小排序，返回值最大的假設干視頻片段；由用戶標注返回的這些視頻片斷是否與用戶的需求相關；將此次迭代用戶標注得

7、到的樣例集與之前的樣例集并為新的樣例集，即累積樣例集。返回步驟，重復上面的步驟直至用戶終止本次查詢。4、 1系統(tǒng)框架利用HCRF模型對視頻序列中的時空領域關系建模，使用在線學習的方式對相應的參數進行調整，實現對時空鄰域約束關系的權重調整。查詢視頻 檢索結果 是 最終結果否圖1 系統(tǒng)框架51 鏡頭檢測視頻內容以情節(jié)和事件組織，包含特定時間和空間內的故事或者特定視覺信息，所以，更應該將視頻看作結構信息豐富的文檔，而不是毫無結構的幀序列。鏡頭是攝像機的一次起停操作，是視頻數據的根本單元，它代表一個場景中在時間上和空間上連續(xù)的動作，任何一段視頻都由假設干鏡頭組成的。我們用象素比照擬方法來進行鏡頭檢測，

8、這種方法非常簡單，計算量也很小。實驗顯示，鏡頭檢測效果可以滿足下一步工作的需要。下面簡要介紹一下象素比照擬方法。對兩幀相鄰的幀圖像和，可以計算其對應位置上兩個象素的灰度差：如果這兩幀圖像中灰度差大于某個閾值的象素超過一定數目，即可認為發(fā)生了鏡頭轉換。2 多媒體特征抽取用戶感興趣的鏡頭通常由相似的場景組成，并且具有相似的場景轉換序列。因此，為了檢測這些鏡頭，我們需要抽取能區(qū)分這些場景的特征。這些特征包括圖像特征、音頻特征、運動特征和時間特征。在前人針比照賽視頻的檢索中，認為圖像特征是最為重要的，音頻特征等只為檢索提供補充的線索，而我們認為在影片中，音頻特征等也表達了大量信息，與圖像特征同等重要。

9、多媒體特征及其抽取方法描述如下。521 圖像特征圖像特征中我們考慮顏色分布和邊緣分布。1 顏色分布色彩是直接影響觀眾觀看心理的影視畫面構成元素，影片通過對畫面色彩的設計和搭配形成影片特有基調，到達襯托主題、表達情感的目的。在我們的框架中，每一個子鏡頭由3個關鍵幀表示：最開始的幀、中間的幀和最后的幀。每一個關鍵幀分為2x2的塊，然后每個關鍵幀的顏色由4個一維向量ri，gi，bi組成，其中ri、gi和bi分別代表塊i中紅色、綠色、藍色各占的百分比。2 邊緣分布邊緣分布的計算方法與顏色分布的計算方法類似。首先，利用邊緣檢測方法檢測出每一個關鍵幀的邊緣象素，然后，每個關鍵幀被分為2x2的塊，分別計算4個塊中的邊緣象素的百分比，這4個百分比的值被用來形成這個幀的邊緣分布。53 多媒體特征向量的構建將前面介紹的特征從輸入的視頻中抽取出來，放在一起構成每個鏡頭的多媒體特征向量。一旦構建出每個鏡頭的特征向量，我們就可以將n個連續(xù)的鏡頭聯合起來構成1個向量輸入HCRF模型。因為這個輸入向量整合了從n個連續(xù)鏡頭得到的與時間關聯的多媒體特征，所以我們可以充分利用HCRF來對多媒體特征間的相互關系和嵌入于場景轉換類型的上下文信息建模。3 結論本文針對一般視頻的檢索，提出了基于HCRF的相關反應算法。該算法利用HCRF模型融合了視頻中