多媒體信息檢索

1、多媒體信息檢索1021313871概念多媒體檢索是一種基于內(nèi)容特征的檢索（CBR：content-based retrieval）。基于內(nèi)容的檢索是對媒體對象的內(nèi)容及上下文語義環(huán)境進(jìn)行檢索，如圖像中的顏色、紋理、形狀，視頻中的鏡頭、場景、鏡頭的運(yùn)動，聲音中的音調(diào)、響度、音色等。基于內(nèi)容的檢索突破了傳統(tǒng)的基于文本檢索技術(shù)的局限，直接對圖像、視頻、音頻內(nèi)容進(jìn)行分析，抽取特征和語義，利用這些內(nèi)容特征建立索引并進(jìn)行檢索。在這一檢索過程中，它主要以圖像處理、模式識別、計(jì)算機(jī)視覺、圖像理解等學(xué)科中的一些方法為部分基礎(chǔ)技術(shù)，是多種技術(shù)的合成。2體系結(jié)構(gòu)媒體數(shù)據(jù)特征提取目標(biāo)標(biāo)識媒體庫特征庫知識庫知識輔助用戶查

2、詢接口檢索引擎索引/過濾數(shù)據(jù)庫特征提取子系統(tǒng)數(shù)據(jù)庫查詢子系統(tǒng)3檢索過程用戶需求媒體資源內(nèi)容查詢內(nèi)容索引匹配4分類文本檢索多媒體檢索圖像檢索視頻檢索音頻檢索5基于文本的檢索人工建立元數(shù)據(jù)標(biāo)引，本質(zhì)類似于純文本信息檢索普及程度：是現(xiàn)行網(wǎng)絡(luò)檢索系統(tǒng)中的主流方式。檢索方式：信息分類、擴(kuò)展名、關(guān)鍵詞優(yōu)勢：實(shí)現(xiàn)原理相對簡單，技術(shù)成熟劣勢：具有主觀性，仁者見仁、智者見智；多媒體信息的多 維性，人工描述難以窮盡Google 圖片搜索、音樂搜索與視頻搜索，Yahoo 音樂搜索與圖片搜索，Yahoo Video Search，百度mp3、圖片與視頻搜索6普通搜索引擎搜索圖片、圖像格式：image:文件名功能：檢索

3、含有指定文件名圖像的所有網(wǎng)頁。搜索多媒體信息格式：media: text功能：檢索文件的名字中含有指定文字的多媒體信息7基于內(nèi)容的信息檢索Content-Based Retrieval一種新的檢索技術(shù)，是對多媒體對象的內(nèi)容及上下文語義環(huán)境進(jìn)行檢索原理：提取特征并進(jìn)行量化，表示成向量空間，建立索引庫，將用戶提問轉(zhuǎn)化成向量，并與已有信息的向量空間進(jìn)行相似度匹配計(jì)算。常用多媒體文件特征： 圖像：顏色、紋理及時(shí)空關(guān)系等 視頻：對象運(yùn)動特征、顏色和光線變化等 音頻：時(shí)域、頻域、時(shí)頻、短時(shí)幀和音頻特征等普及程度：局限在較小的數(shù)據(jù)集合上，大多只是實(shí)驗(yàn)室研究成果8基于內(nèi)容的圖像檢索分析圖像的內(nèi)容提取其顏色、形

4、狀、紋理，以及對象空間關(guān)系等信息建立圖像的特征索引9QBICQuery By Image ContentIBM Almaden研究中心開發(fā)的第一個(gè)商用基于內(nèi)容的圖像及視頻檢索系統(tǒng)提供對靜止圖像及視頻信息基于內(nèi)容的檢索手段系統(tǒng)結(jié)構(gòu)及所用技術(shù)對后來的視頻檢索有深遠(yuǎn)的影響1011Photobook由MIT的媒體實(shí)驗(yàn)室開發(fā)研制圖像在存儲時(shí)按人臉、形狀或紋理特性自動分類圖像根據(jù)類別通過顯著語義特征壓縮編碼1213VisualSeek美國哥倫比亞大學(xué)開發(fā)的圖像查詢系統(tǒng)主要特點(diǎn)是用到了圖像區(qū)域的空間關(guān)系查詢和直接從壓縮數(shù)據(jù)中提取視覺特征1415EXCALIBUR技術(shù)公司開發(fā)的retrieval ware系統(tǒng)

5、16Virage公司開發(fā)的virage檢索系統(tǒng)17香港公共圖書館的多媒體信息系統(tǒng)（MMIS）Multimedia Information System IBM和分包商ICO于1999年底開始承建190萬美元的數(shù)字圖書館項(xiàng)目被認(rèn)為是世界上最大且最復(fù)雜的“中文/英文”雙語圖書館服務(wù)之一采用的DB2 Text 和Image Extenders既支持文本查找，也支持圖片查找1819相似顏色20相似形狀21相似內(nèi)容22IMEDIAIMEDIA按照數(shù)據(jù)庫的內(nèi)容劃分為五個(gè)功能系統(tǒng)。 Visual Retrieval (generalist databases)、 Visual Retrieval (biod

6、iversity collections)、Visual Retrieval with relevance feedback（satellite images）、partial visual queries (local descriptors)和3D retrieval2324基于內(nèi)容的視頻檢索通過對非結(jié)構(gòu)化的視頻數(shù)據(jù)進(jìn)行結(jié)構(gòu)化分析和處理，采用視頻分割技術(shù)，將連續(xù)的視頻流劃分為具有特定語義的視頻片段鏡頭，作為檢索的基本單元，在此基礎(chǔ)上進(jìn)行代表幀(representative frame)的提取和動態(tài)特征的提取，形成描述鏡頭的特征索引鏡頭組織和特征索引，采用視頻聚類等方法研究鏡頭之間的關(guān)系，把

7、內(nèi)容相近的鏡頭組合起來，逐步縮小檢索范圍，直至查詢到所需的視頻數(shù)據(jù)視頻分割、代表幀和動態(tài)特征提取是基于內(nèi)容的視頻檢索的關(guān)鍵技術(shù)。25卡內(nèi)基梅隆大學(xué)的informedia數(shù)字視頻圖書館系統(tǒng)CMU Informedia Video Research結(jié)合語音識別、視頻分析和文本檢索技術(shù)，支持2000小時(shí)的視頻廣播的檢索實(shí)現(xiàn)全內(nèi)容的、基于知識的查詢和檢索同步元數(shù)據(jù)搜索和導(dǎo)航2627天線視頻以視頻搜索技術(shù)為核心的視頻媒體平臺 可檢索國內(nèi)多家主流電視臺的節(jié)目、國內(nèi)各大主流視頻網(wǎng)站及播客網(wǎng)站的內(nèi)容可以通過關(guān)鍵詞搜索可以搜索文件中的某句話或某段文字2829哥倫比亞大學(xué)的VideoQ允許用戶使用視覺特征和時(shí)空關(guān)系來檢索視頻 集成文本和視覺搜索方法 自動的視頻對象分割和追蹤豐富的視覺特征庫，包括顏色、紋理、形狀和運(yùn)動3031基于內(nèi)容的音頻檢索從音頻數(shù)據(jù)中提取聽覺特征信息音頻特征分為：聽覺感知特征和聽覺非感知特征(物理特性)聽覺感知特征包括音量、音調(diào)、音強(qiáng)等32IBM的Via Voice語音識別已趨于成熟3334劍橋大學(xué)的VMR系統(tǒng)Video Mail Retrieval Us