Group09基于內(nèi)容的視頻索引與檢索最終

組長：晁祥東20111120097組員：吳逸塵20111120080賈井泉20111120040沈董擎20111120056陳嫻靜20111120138專業(yè)：數(shù)字媒體技術(shù)教師：李震雄基于內(nèi)容的視頻索引與檢索提要簡介和問題描述12應(yīng)用舉例34總結(jié)5提問解決方案的原理和技術(shù)簡介和問題描述簡介和問題描述隨著多媒體技術(shù)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，視頻在多個領(lǐng)域得到廣泛地應(yīng)用。對這些海量的而且包含大量非結(jié)構(gòu)化信息的數(shù)據(jù)進行組織、表達、管理、查詢和檢索成為迫切的需求。因此基于內(nèi)容的視頻檢索(Content-BasedVideoRetrieval，CBVR)成為近年來研究的熱點。簡介和問題描述視頻數(shù)據(jù)特點1.較高的信息分辨率2.關(guān)系復(fù)雜，數(shù)據(jù)組織非結(jié)構(gòu)化3.多樣性及模糊性解決方案的原理和技術(shù)視頻索引與檢索的方法1.基于元數(shù)據(jù)的方法2.基于文本的方法3.基于音頻的方法4.基于內(nèi)容的方法5.綜合的方法解決方案的原理和技術(shù)基于鏡頭的視頻索引與檢索視頻結(jié)構(gòu)化圖解決方案的原理和技術(shù)基于鏡頭的視頻索引和檢索過程關(guān)鍵技術(shù)鏡頭分段特征分析關(guān)鍵幀提取視頻結(jié)構(gòu)分析提問基于鏡頭的視頻索引和檢索關(guān)鍵技術(shù)有哪些？鏡頭檢測和分段姓名：陳嫻靜專業(yè)：數(shù)字媒體技術(shù)教師：李震雄鏡頭檢測和分段視頻是一種時間媒體數(shù)據(jù)，他不容易被管理，在視頻數(shù)據(jù)由粗到細的順序劃分為四個層次：視頻場景鏡頭幀而鏡頭是視頻數(shù)據(jù)的基本單元鏡頭檢測和分段

一般來說，在視頻情節(jié)內(nèi)容發(fā)生變化時，會出現(xiàn)鏡頭切換，即從一個鏡頭切換到另一組鏡頭內(nèi)容。因此，通過視頻檢索實現(xiàn)對視頻鏡頭的切分，就是將原始連續(xù)視頻分成長短不一的鏡頭單元。鏡頭切分的好壞會直接影響下一步視頻檢索結(jié)果的準(zhǔn)確性。鏡頭檢測和分段在鏡頭切換時，切換點前、后兩幀通常在內(nèi)容上變化很大，鏡頭的分段就需要一個合適的鏡頭切分閾值來判斷是否出現(xiàn)了鏡頭切換，是否需要鏡頭切分。（閾值是否合適，沒有一種客觀的方法，通常都需要依靠主觀判斷，人為的選取合適的閾值）鏡頭切換鏡頭的切換有兩種：突變和漸變突變（AbruptTransitionAT）：是指前一個鏡頭的尾幀被下一個鏡頭的首幀快速代替，是兩個鏡頭之間最簡單的切換漸變（GradualTransitionGT）：從視頻編輯的角度看，漸變主要是通過色彩編輯和空間編輯得到，是指前一個鏡頭的尾幀緩慢的被下一個鏡頭的首幀代替，其中包括淡入淡出，隱現(xiàn)等。鏡頭內(nèi)的運動在體育節(jié)目的轉(zhuǎn)播，新聞，銀行監(jiān)控視頻當(dāng)中，幾乎沒有鏡頭的切換，對于這些視頻，人們關(guān)心的主要是鏡頭內(nèi)物體的運動鏡頭內(nèi)的運動常見的幾種對象運動歸納如下：出現(xiàn)，消失，進入，退出，運動，停止通過對以上對象運動的分析，可實現(xiàn)對監(jiān)控視頻的基于內(nèi)容的檢索突變鏡頭檢測幀間差值：利用顏色空間HSV，色調(diào)Hue，飽和度Saturation和亮度值Value顏色直方圖計算相鄰兩幀之間的差值突變鏡頭檢測邊界檢測一般地，一個鏡頭內(nèi)部的各幀之間的差異不會太大，相鄰幀間的差值相對穩(wěn)定在某一個范圍之內(nèi)，即圍繞某個均值上下波動。而當(dāng)發(fā)生鏡頭轉(zhuǎn)換時，相鄰幀之間差值的這種穩(wěn)定性將被打破，產(chǎn)生較大的幀間差值。可以利用鏡頭內(nèi)的這種穩(wěn)定性進行突變鏡頭的邊界檢測。突變鏡頭邊界檢測算法在進行鏡頭切換檢測時，只考慮當(dāng)前幀之前有限長度內(nèi)的幀間差值信息。這個長度通常是前一鏡頭結(jié)束后的第1幀至當(dāng)前幀的前1幀，可以認為這是一個可變長度的滑動窗口。突變鏡頭邊界檢測算法計算這一窗口內(nèi)的幀間差值的平均值，可以認為這一平均值近似的反映了整個鏡頭的幀間差值的平均值，且隨著窗口長度的增加，這種近似的程度越來越高。如果當(dāng)前計算得到的幀間差值與這一平均差值之間差異達到一定程度（也可以說是某一閾值），就認為當(dāng)前幀是下一個鏡頭的起始幀。突變鏡頭邊界檢測算法設(shè)窗口內(nèi)相鄰幀間差值的平均值為Mean當(dāng)前幀間差值為DF可變窗口長度為winmulti為一預(yù)先設(shè)定的比例系數(shù)(它體現(xiàn)了當(dāng)前幀間差值和窗口內(nèi)幀間差值的平均值之間相差的程度)突變鏡頭邊界檢測算法(1)如滿足DF≥multi×Mean，則認為當(dāng)前幀為下一鏡頭的起始幀，設(shè)置窗口的起點，并且設(shè)頂Mean=0，win=1；(2)否則，win=win+1，重新計算窗口內(nèi)的幀問差值平均值；(3)繼續(xù)處理下一幀視頻圖像。基于聚類的關(guān)鍵幀提取方法姓名：吳逸塵專業(yè)：數(shù)字媒體技術(shù)教師：李震雄基于聚類的關(guān)鍵幀提取方法常見的關(guān)鍵幀提取方法·基于顏色特征按順序排列幀序列，對相鄰幀使用顏色直方圖進行分析·基于運動分析對攝影機運動分為焦距變化和角度變化，比較重疊范圍·基于聚類基于聚類的關(guān)鍵幀提取方法·基于聚類的方法聚類：將物理或抽象對象的集合分成由類似的對象組成的多個類的過程方法： （1）選取聚類質(zhì)心，設(shè)定閾值 （2）對非聚類質(zhì)心的幀與當(dāng)前存在的聚類質(zhì)心進行相似度鑒定，鑒定標(biāo) 準(zhǔn)為閾值 （3）相似度高于閾值的加入聚類 （4）若相似度低于所有已存在聚類質(zhì)心，則形成一個新的聚類質(zhì)心 （5）重復(fù)3、4步驟，直到所有幀被分配。形成多個聚類。 （6）選擇距離聚類中心作為關(guān)鍵幀，如果聚類形成的簇內(nèi)變化較大，則 選取中心和距離中心最遠的幀作為關(guān)鍵幀基于聚類的關(guān)鍵幀提取方法·一個典型的基于聚類的關(guān)鍵幀提取算法K-MEANS算法算法簡要步驟： (1)從n個數(shù)據(jù)對象中任意選擇k個對象作為初始聚類中心; (2)計算每個數(shù)據(jù)對象與各個中心的距離,根據(jù)最小距離準(zhǔn)則將他們進行 分類; (3)根據(jù)每個聚類中所有對象的均值(中心對象),計算樣本集中每個對象 與這些中心對象的距離,如同第二步再次進行分類; (4)重復(fù)二、三步,直到聚類中心的變化小于某個給定的閾值,停止運算, 得到最后的聚類結(jié)果。存在可優(yōu)化方案：該算法中對于k是任意選擇的，也就是依賴于人工提供，結(jié)果帶有隨機性缺少效率基于聚類的關(guān)鍵幀提取方法·一個對于常規(guī)K均值聚類算法的改進方案基于自適應(yīng)K均值聚類的關(guān)鍵幀提取算法簡要步驟： (1)對鏡頭劃分子鏡頭，對子鏡頭進行分析，分類為“變化較大”和“變化較小”兩種。 (2)對于變化較大的子鏡頭進行聚類分析，同時給定一個較大的k值，選取 前k個數(shù)據(jù)對象作為聚類中心 (3)其余數(shù)據(jù)依據(jù)相似度取最大的那個加入對應(yīng)聚類，計算聚類中心之間 的相似度，大于閾值的合并聚類，同時k-1 (4)對聚類內(nèi)進行判定，與平均相似度距離最小的兩個對象選擇一個成為 新的聚類中心

（5）生成的k個聚類中心成為關(guān)鍵幀，變化較小的子鏡頭選尾幀做關(guān)鍵幀基于聚類的關(guān)鍵幀提取方法·一個關(guān)鍵幀提取的應(yīng)用實例——視頻壓縮編碼I幀：關(guān)鍵幀，視頻編碼時保留完整數(shù)據(jù)P幀：向前參考幀，保留與前一張圖像的差值，作為參考幀。B幀：向前后參考幀（參考I、P幀），保留與前后差值，B幀越多，壓縮比越高，不作為參考幀常見BD50與網(wǎng)絡(luò)上盜版重編碼高清電影，都屬于有損壓縮，且方法相同，導(dǎo)致體積巨大差異原因在于碼率（采樣率）不同運動特征提取與索引姓名：沈董擎專業(yè)：數(shù)字媒體技術(shù)教師：李震雄視頻中運動目標(biāo)的特征提取視頻中的特征提取大致分為五個步驟：1.用GMM方法進行運動區(qū)域預(yù)檢測2.用IB方法對備選運動區(qū)域進行分割聚類3.用UKFB方法對每一個可能的運動目標(biāo)區(qū)域進行跟蹤4.對運動目標(biāo)子區(qū)域聚類5.提取運動目標(biāo)子區(qū)域的統(tǒng)計特征作為運動目標(biāo)的特征沈董擎基于混合高斯模型的運動區(qū)域檢測采用GMM的運動檢測應(yīng)用在背景變化較小的情況，即攝像機不動，背景變化就會較小，也就是所謂的局部運動特征提取技術(shù)。而攝像機運動，也就是背景會發(fā)生較大的全局運動特征提取技術(shù)，在此不做多提。GMM算法原理對圖像背景建立高斯模型的原理及過程：圖像灰度直方圖反映的是圖像中某個灰度值出現(xiàn)的頻次，也可以認為是圖像灰度概率密度的估計。如果圖像所包含的目標(biāo)區(qū)域和背景區(qū)域相比比較大，且背景區(qū)域和目標(biāo)區(qū)域在灰度上有一定的差異，那么該圖像的灰度直方圖呈現(xiàn)雙峰-谷形狀，其中一個峰對應(yīng)于目標(biāo)，另一個峰對應(yīng)于背景的中心灰度。對于復(fù)雜的圖像，尤其是醫(yī)學(xué)圖像，一般是多峰的。通過將直方圖的多峰特性看作是多個高斯分布的疊加，可以解決圖像的分割問題。在智能監(jiān)控系統(tǒng)中，對于運動目標(biāo)的檢測是中心內(nèi)容，而在運動目標(biāo)檢測提取中，背景目標(biāo)對于目標(biāo)的識別和跟蹤至關(guān)重要。而建模正是背景目標(biāo)提取的一個重要環(huán)節(jié)。我們首先要提起背景和前景的概念，前景是指在假設(shè)背景為靜止的情況下，任何有意義的運動物體即為前景。建模的基本思想是從當(dāng)前幀中提取前景，其目的是使背景更接近當(dāng)前視頻幀的背景。即利用當(dāng)前幀和視頻序列中的當(dāng)前背景幀進行加權(quán)平均來更新背景,但是由于光照突變以及其他外界環(huán)境的影響，一般的建模后的背景并非十分干凈清晰，而高斯混合模型是是建模最為成功的方法之一?；旌细咚鼓Ｐ褪褂肒（基本為3到5個）個高斯模型來表征圖像中各個像素點的特征,在新一幀圖像獲得后更新混合高斯模型,用當(dāng)前圖像中的每個像素點與混合高斯模型匹配,如果成功則判定該點為背景點,否則為前景點。通觀整個高斯模型，主要是有方差和均值兩個參數(shù)決定，對均值和方差的學(xué)習(xí)，采取不同的學(xué)習(xí)機制,將直接影響到模型的穩(wěn)定性、精確性和收斂性。由于我們是對運動目標(biāo)的背景提取建模，因此需要對高斯模型中方差和均值兩個參數(shù)實時更新。為提高模型的學(xué)習(xí)能力,改進方法對均值和方差的更新采用不同的學(xué)習(xí)率;為提高在繁忙的場景下,大而慢的運動目標(biāo)的檢測效果,引入權(quán)值均值的概念,建立背景圖像并實時更新,然后結(jié)合權(quán)值、權(quán)值均值和背景圖像對像素點進行前景和背景的分類。1、為圖像的每個像素點指定一個初始的均值、標(biāo)準(zhǔn)差以及權(quán)重。2、收集N（一般取200以上，否則很難得到像樣的結(jié)果）幀圖像利用在線EM算法得到每個像素點的均值、標(biāo)準(zhǔn)差以及權(quán)重。3、從N+1幀開始檢測，檢測的方法：對每個像素點：1）將所有的高斯核按照

ω

/

σ

降序排序2）選擇滿足下式的前M個高斯核：M

=argmin(ω

/

σ

>

T)3）如果當(dāng)前像素點的像素值在中有一個滿足：就可以認為其為背景點。4、更新背景圖像，用在線EM算法。提問視頻對象特征提取和視頻分割技術(shù)

姓名：賈井泉專業(yè)：數(shù)字媒體技術(shù)教師：李震雄提要簡介和問題描述12應(yīng)用舉例34總結(jié)5提問解決方案的原理和技術(shù)簡介和問題描述1、視頻對象特征提取和視頻分割技術(shù)2、視頻對象分割的一般步驟3、視頻對象分割的主要方法解決方案的原理和技術(shù)視頻對象分割的一般步驟1、對原始視頻數(shù)據(jù)進行簡化2、對視頻數(shù)據(jù)進行特征提取3、基于某種均勻性標(biāo)準(zhǔn)來確定分割決策,根據(jù)所提取特征將視頻數(shù)據(jù)歸類4、進行相關(guān)后處理,以實現(xiàn)