基于內(nèi)容的視頻信息檢索模型及方法綜述.pptx

1、基于內(nèi)容的視頻信息檢索模型和方法概述，宜顏郭玉輝，引言視頻檢索模型分析和視頻信息檢索方法概述，引言隨著信息時(shí)代的到來，特別是計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，海量信息被收集、傳輸、流通和應(yīng)用到世界各地。隨著越來越多的視覺信息數(shù)據(jù)庫的建立和人們對(duì)視覺信息需求的增加，視覺信息的描述和檢索成為當(dāng)今研究的熱點(diǎn)。如何有效地描述視覺信息，如何實(shí)現(xiàn)基于內(nèi)容的信息檢索，已經(jīng)成為多媒體信息相關(guān)部門研究的重點(diǎn)?；趦?nèi)容的視覺信息檢索可以分為兩類：基于內(nèi)容的圖像信息檢索和基于內(nèi)容的視頻信息檢索。本文主要討論基于內(nèi)容的視頻信息檢索技術(shù)。視頻檢索簡(jiǎn)介傳統(tǒng)的視頻檢索是基于內(nèi)容的視頻檢索，而傳統(tǒng)的視頻檢索是從大量的視頻數(shù)據(jù)中找到

2、所需的視頻片段。傳統(tǒng)的視頻信息管理系統(tǒng)通過訪問字符串屬性來查詢視頻信息。在系統(tǒng)的描述方面，使用了相關(guān)模型、框架模型和面向?qū)ο竽Ｐ偷缺磉_(dá)方案，用字符串來表達(dá)與內(nèi)容無關(guān)的原始數(shù)據(jù)。在系統(tǒng)的查詢端使用相同的文本標(biāo)識(shí)符，并通過標(biāo)簽匹配視頻編號(hào)，視頻的檢索就變成了標(biāo)簽的檢索。傳統(tǒng)視頻檢索系統(tǒng)的優(yōu)點(diǎn)是簡(jiǎn)單快捷。缺點(diǎn)是：僅基于文本很難實(shí)現(xiàn)有效的管理和檢索精度；(1)模糊視頻信息內(nèi)容的豐富性決定了難以用語言標(biāo)簽準(zhǔn)確完整地描述視頻信息的所有內(nèi)容，這使得視頻信息的描述非常模糊；(2)不確定文本描述是視頻信息的一種特定抽象，它要求描述方法滿足一定的標(biāo)準(zhǔn)。如果標(biāo)準(zhǔn)改變，描述方法也會(huì)改變。(3)準(zhǔn)確率低隨著人們對(duì)信息依

3、賴性的增強(qiáng)，人們對(duì)視頻資料中包含的特定信息的需求越來越多。傳統(tǒng)的視頻描述是通過人工標(biāo)注完成的，因此準(zhǔn)確性大大降低。(4)主觀因素由于文本標(biāo)簽是由觀察者選擇后添加到視頻標(biāo)簽中的，因此視頻描述在很大程度上受到主觀因素的影響。不同的觀察者或者同一個(gè)觀察者會(huì)在不同的條件下對(duì)同一幅圖像給出不同的描述，有時(shí)這種差異會(huì)很大?；趦?nèi)容的視頻信息描述方案沒有拋棄傳統(tǒng)的文本描述，而是將高度主觀的文本標(biāo)簽項(xiàng)最小化，使描述系統(tǒng)能夠客觀、準(zhǔn)確、全面地描述視頻信息?；趦?nèi)容的視頻檢索是指根據(jù)視頻的內(nèi)容和上下文在大規(guī)模視頻數(shù)據(jù)庫中檢索視頻數(shù)據(jù)。主要特點(diǎn)：(1)視頻信息的描述更加具體、客觀和全面。(2)低層語義描述符。低層描

4、述符的一個(gè)特點(diǎn)是可以由計(jì)算機(jī)自動(dòng)提取，這就節(jié)省了從大量數(shù)據(jù)中識(shí)別對(duì)象的重復(fù)工作，同時(shí)大大降低了文本描述信息的主觀性，大大提高了檢索結(jié)果的準(zhǔn)確性。(3)更多的視頻內(nèi)在信息(4)各種靈活的檢索方法，基于內(nèi)容的概念，什么是基于內(nèi)容的？基于內(nèi)容的檢索是指基于媒體和媒體對(duì)象的內(nèi)容語義和上下文的檢索。基于內(nèi)容？基于內(nèi)容檢索的特點(diǎn)：從媒體內(nèi)容中提取信息線索。直接分析圖像、視頻和音頻，提取特征，使檢索更多的媒體對(duì)象。提取特征的方法有很多。人機(jī)交互。大致匹配。在檢索過程中，采用逐步細(xì)化的方法。直到找到目標(biāo)。基于內(nèi)容的檢索可以利用圖像處理、模式識(shí)別、語音信號(hào)、計(jì)算機(jī)視覺、人工智能等學(xué)科的一些方法作為基本技術(shù)來提高

5、其檢索精度?；趦?nèi)容的視頻檢索模型、基于內(nèi)容的視頻信息檢索模型以及視頻數(shù)據(jù)處理模型中的關(guān)鍵技術(shù)?；趦?nèi)容的視頻檢索系統(tǒng)主要由三部分組成：客戶端、可視化界面和管理。視頻數(shù)據(jù)處理中，鏡頭邊界檢測(cè)鏡頭是視頻數(shù)據(jù)的基本單位。大多數(shù)視頻都是通過編輯用鏡頭連接起來的。因此，在基于內(nèi)容檢索的視頻處理中，應(yīng)該將視頻自動(dòng)劃分為鏡頭作為基本的索引單元。這個(gè)過程稱為鏡頭邊界檢測(cè)，也稱為場(chǎng)景轉(zhuǎn)換檢索(SCD)，是實(shí)現(xiàn)基于內(nèi)容的視頻檢索的第一步。所選關(guān)鍵幀是用于描述鏡頭的關(guān)鍵圖像幀，它反映了鏡頭的主要內(nèi)容。一方面，關(guān)鍵幀的選擇必須反映鏡頭中的主要事件，因此描述應(yīng)該盡可能準(zhǔn)確和完整；另一方面，為了便于管理，數(shù)據(jù)量應(yīng)該盡可能小，計(jì)算也不應(yīng)該太復(fù)雜。特征提取視頻數(shù)據(jù)的特征分為靜態(tài)特征和動(dòng)態(tài)特征。靜態(tài)特征提取和運(yùn)動(dòng)特征提取視頻聚類是研究鏡頭之間的關(guān)系，即如何將內(nèi)容相似的鏡頭組合在一起。根據(jù)不同的聚類目的，視頻聚類可以分為兩類：一類是對(duì)屬于同一場(chǎng)景的鏡頭進(jìn)行聚類，形成分層的視頻結(jié)構(gòu)場(chǎng)景和電影。另一種聚類是視頻分類。它只考慮特征相似性，而不考慮時(shí)間連續(xù)性。根據(jù)鏡頭的重復(fù)程度，視頻一般可以分為對(duì)話型、動(dòng)作型和其他類型?；趦?nèi)容的視頻信息檢索系統(tǒng)主要通過三種方式實(shí)現(xiàn)，即：(1)基于圖像的模式(2)基于視頻的唯一信息