基于關鍵幀的視頻結構化系統(tǒng)研究與實現(xiàn)

1、 基于關鍵幀的視頻結構化系統(tǒng)研究與實現(xiàn) 吳靖 李少康 王家寶Summary：隨著移動多媒體快速發(fā)展，視頻的生成速度呈指數(shù)增長，視頻瀏覽的工作量和存儲的數(shù)據(jù)量日益龐大。為了實現(xiàn)快速瀏覽和高效存儲，視頻結構化方法越來越引人關注。文章圍繞快速瀏覽和高效存儲視頻內(nèi)容，研究了基于關鍵幀的視頻結構化方法，采取HSV空間顏色特征直方圖提取關鍵幀的方式，利用OPENCV計算機視覺庫設計實現(xiàn)軟件系統(tǒng)，并對系統(tǒng)做出測試和評價。Key：視頻結構化;關鍵幀提取;視頻分析;軟件系統(tǒng)：TP311 ：A：1009-3044（2019）26-0212-03開放科學（資源服務）標識碼（OSID）：Abstract： With

2、the rapid development of mobile multimedia， the speed of video generation is exponentially increasing. The workload of video browsing and the amount of data stored are increasing. In order to achieve fast browsing and efficient storage， video structuring methods are attracting more and more attentio

3、n. Focusing on fast browsing and efficient storage of video content， this paper researches on the method of video structuring based on key frames， adopts HSV spatial color feature histogram to extract key frames， uses OPENCV computer vision library to design and implement the software system， tests

4、and evaluates the system.Key words： video structuring; key frame extraction; video analysis;software system視頻數(shù)據(jù)在形式上沒有結構，但內(nèi)容上有較強的邏輯結構，按照內(nèi)容粒度可被結構化成幀（Frame）、鏡頭（Shot）、場景（Scene）、視頻（Video）四個層次，如圖1所示。為了提高視頻瀏覽和存儲的效率，需要從沒有結構的視頻數(shù)據(jù)提取具有代表性的結構單元。視頻結構化技術便是從視頻中提取其結構單元的技術。視頻幀是視頻結構化技術處理分析的基本單元，關鍵幀是表述鏡頭的關鍵性圖像幀，又叫代表幀，

5、其可以減少視頻索引的工作量和數(shù)據(jù)量。因此，關鍵幀提取對視頻結構化具有重要的意義，其方法主要有4類1：（1）基于鏡頭邊界提取。將一段視頻分割成數(shù)個鏡頭后，提取每個鏡頭第一幀或最后一幀作為該鏡頭關鍵幀。（2）基于圖像信息提取?；趲纳?、紋理等視覺信息的轉(zhuǎn)變方法來提取關鍵幀，將鏡頭第一幀作為關鍵幀，再通過幀之間的特征數(shù)值變化（閾值控制）來提取多個關鍵幀。（3）基于運動分析提取。通過光流分析計算鏡頭里的運動力，在運動量為最小值處選擇關鍵幀。（4）基于視頻無監(jiān)督聚類提取。確定一個初始類心，根據(jù)當前幀與類心的距離來判斷本幀圖像類心歸屬，再將各類中離類心最近的幀作為關鍵幀。以上4類方法各有優(yōu)缺點，主要是

6、提取的關鍵幀對于視頻內(nèi)容的反映程度沒有統(tǒng)一評價標準。本文主要研究基于圖像信息，采取直方圖差值的算法來提取關鍵幀，并通過系統(tǒng)進行實現(xiàn)。1 系統(tǒng)設計軟件系統(tǒng)框架設計如圖所示：1.1 視頻幀特征抽取設計顏色是描述視頻幀的重要特征之一，準確描述顏色特征需要使用合適的顏色空間和顏色描述子。常用顏色空間主要區(qū)分RGB、HSV兩類，其中RGB空間利于計算機合成，HSV空間則更能反映人眼視覺所能看到的顏色23。因此，本文基于顏色特征，選用HSV顏色空間進行視頻幀特征抽取，通過對H色調(diào)和S飽和度來進行顏色判定。1.1.1 顏色空間變換一般的視頻圖像主要基于RGB顏色空間，所以需轉(zhuǎn)化至HSV空間4，轉(zhuǎn)換算法為：其

7、中，色調(diào)（H）是指顏色在光譜中所處的位置（常見的三原色紅綠藍對應色調(diào)分別為0、120、240）;飽和度（S）是一個顏色接近光譜色的程度，常用純度與飽和純度比值來表示，取值為0，1（0表示只有灰度，1表示顏色飽和度最高）;亮度（V）是指顏色的明亮程度，常用顏色的亮度與飽和亮度比值來表示，取值為0，1（0為黑色，1為白色）。1.1.2 顏色特征描述常用的顏色特征表述有顏色直方圖、顏色集、顏色矩、顏色聚合量、顏色相關圖等方式5。顏色直方圖一般是用來表示圖像中像素點顏色的比例分布情況，在圖像的比對、檢索方面有廣泛的應用6。本文采用顏色直方圖進行描述，并利用直方圖相似性來比較兩幅圖像的相似度。直方圖相似

8、性計算有以下4種方法7：（1）相關系數(shù)（Correlation）N指直方圖中bin的數(shù)量。相似度范圍是（0，1，取值為1時直方圖相同。（2）卡方系數(shù)（Chi-Square）（3）直方圖相交（Intersection）（4）Bhattacharyya距離相似度范圍是0，+），取值為0時表示兩直方圖相同。具體地，本文直方圖相似性計算采用的是相關系數(shù)方法。1.2 視頻關鍵幀提取設計視頻幀序列中目標、內(nèi)容的改變，會伴隨著顏色直方圖的改變，因此，可以通過顏色直方圖的變化來判斷場景片段的改變，提取每個場景片段的關鍵幀。讀入連續(xù)的圖像幀f1、f2，提取出顏色直方圖h1，h2，然后比較兩幀直方圖的差值，計算出

9、兩幀直方圖的相似度d（h1，h2）。當相似度小于一定閾值時，則判定視頻內(nèi)容發(fā)生了變化或切換，記錄當前幀為關鍵幀。在關鍵幀的標準不明確時，選擇留下冗余的幀。當選取的關鍵幀過多時，進一步解算關鍵幀之間的相似度，來選擇出最具有代表性的幀。上例中，記錄圖像幀f1，f2以及上一對不相似的兩幀f1，f2，選出f2與f1幀之間的相似度最小的兩幀的前一幀作為當前片段的關鍵幀，因此在提取時應遵循相似度最小原則，從而保證關鍵幀代表的信息量最大化。2 系統(tǒng)實現(xiàn)使用C#語言進行編程設計，利用開源計算機視覺圖像處理庫OpenCV進行圖像處理。系統(tǒng)支持對不同語言路徑、不同編碼、不同分辨率的視頻進行批量讀取、播放功能，獲得

10、關鍵幀后，以圖像形式在關鍵幀顯示區(qū)顯示，供用戶瀏覽與查看，界面如圖所示：測試時，選取100段視頻文件進行功能、性能和數(shù)據(jù)規(guī)模測試，文件涵蓋640480、800480、1024768、19201080等多種分辨率和不同時長。軟件系統(tǒng)提取關鍵幀的時耗、速度如下表所示。通過測試，對總時長430分鐘的100段視頻，基于圖像信息，采取直方圖差值的算法提取關鍵幀，平均速度達到了413幀/秒。3 結束語隨著視頻結構化的發(fā)展和更多海量視頻信息的處理需求，本文所提出的結構化方法中還有很多不足需要改進。一是對視頻語義場景的理解涉及認知科學理論在視頻分析中的應用，目前，基于認知理論的視頻分析與理解還缺乏深入的研究;

11、二是對于不同場景有不同的標準，有待找到更多適用于不同場景的特定關鍵幀提取算法;三是應更多考慮用戶需求，建立基于用戶的主動視頻Summary系統(tǒng)。Reference：1 袁祉赟. 基于內(nèi)容的視頻結構化方法研究D. 成都： 電子科技大學， 2016.2 李曉夢. 基于視頻模型的鏡頭分割及關鍵幀提取算法研究D. 長春： 吉林大學， 2007：30-36.3 Barletta， B. Moser， M. Mayer. Redundancy elimination in a content-adaptive video preview system， US， US8090200P. 2012.4 Snoek，M.Woring. Multimedia event-based video indexing using time intervalsJ. IEEE Transactions on Multimedia， 2005， 7（4）： 6