多媒體內(nèi)容管理與檢索

1、多媒體內(nèi)容管理與檢索多媒體內(nèi)容管理與檢索摘要：在信息領(lǐng)域中，多媒體數(shù)據(jù)所占的比例越來越大，但多媒體數(shù)據(jù)的管理技術(shù)和檢索技術(shù)卻遠(yuǎn)遠(yuǎn)跟不上多媒體數(shù)據(jù)的迅速產(chǎn)生，這在一定程度上影響了多媒體信息檢索技術(shù)的的應(yīng)用和推廣。本文剖析了傳統(tǒng)數(shù)據(jù)庫管理方法和檢索方法的不足，重點(diǎn)介紹了多媒體數(shù)據(jù)的管理技術(shù)和基于內(nèi)容的多媒體信息檢索技術(shù)。關(guān)鍵字：多媒體數(shù)據(jù)庫 內(nèi)容管理 多媒體信息檢索多媒體技術(shù)、網(wǎng)絡(luò)技術(shù)和信息數(shù)字化處理的高新技術(shù)的飛速發(fā)展，使得因特網(wǎng)上的多媒體數(shù)據(jù)量激增，網(wǎng)絡(luò)信息不在只是單純的文本信息，圖形圖像、視頻、聲音等多媒體信息逐漸在因特網(wǎng)中占有越來越大的比重，同時，網(wǎng)絡(luò)用戶不僅需要傳統(tǒng)的基于關(guān)鍵字的檢索，而

2、且要求對多媒體數(shù)據(jù)進(jìn)行特征分析、抽取、匹配和檢索。一種基于內(nèi)容的多媒體數(shù)據(jù)庫檢索技術(shù)CBR應(yīng)運(yùn)而生了。一、多媒體數(shù)據(jù)的管理環(huán)境隨著信息的數(shù)字化和多媒體技術(shù)的迅速發(fā)展，許多信息和數(shù)據(jù)都以多媒體數(shù)字?jǐn)?shù)據(jù)的形式表現(xiàn)和存儲。多媒體數(shù)據(jù)主要包含數(shù)字、 字符、 文本、 聲音、 圖形、 圖像和視頻等形式的數(shù)據(jù)。1、多媒體數(shù)據(jù)的特點(diǎn)（1）數(shù)據(jù)量大：格式化數(shù)據(jù)的數(shù)據(jù)量較小，最長字符型為254字節(jié)。多媒體數(shù)據(jù)的數(shù)據(jù)量一般很大，1分鐘的視頻和音頻數(shù)據(jù)往往需要幾十兆的數(shù)據(jù)空間，大小相當(dāng)于一個小型數(shù)據(jù)庫。（2）結(jié)構(gòu)復(fù)雜：傳統(tǒng)的數(shù)據(jù)以記錄為單位，一條記錄由多個字段組成，結(jié)構(gòu)簡單。多媒體數(shù)據(jù)種類繁多且結(jié)構(gòu)復(fù)雜，大多是非格式

3、化數(shù)據(jù)，來源于不同的媒體且具有不同的格式和形式。（3）時序性：由文字、聲音、圖像組成的復(fù)雜對象需要一定的同步機(jī)制，如畫面的配音或文字需要與畫面同步，傳統(tǒng)數(shù)據(jù)則無此要求。（4）數(shù)據(jù)傳輸?shù)倪B續(xù)性：聲音、視頻等多媒體數(shù)據(jù)的傳輸必須是連續(xù)的、穩(wěn)定的，否則會影響效果和失真。多媒體數(shù)據(jù)的這些特點(diǎn)使得系統(tǒng)不能像格式化的數(shù)據(jù)一樣去管理和處理，也不能通過傳統(tǒng)的數(shù)據(jù)庫簡單擴(kuò)充滿足多媒體應(yīng)用的需求。而多媒體數(shù)據(jù)庫管理系統(tǒng)的出現(xiàn)很好的解決了這一問題。2、多媒體數(shù)據(jù)庫系統(tǒng)多媒體數(shù)據(jù)庫系統(tǒng)（MDBS）由多媒體數(shù)據(jù)庫（MDB）和多媒體數(shù)據(jù)庫管理系統(tǒng)（MDBMS）兩大部分組成。（1）MDBS的特征與傳統(tǒng)數(shù)據(jù)庫系統(tǒng)相比，MDB

4、S對數(shù)據(jù)類型、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)模型、應(yīng)用對象等的處理方式都有較大的差異。多媒體數(shù)據(jù)庫存儲和處理復(fù)雜對象，其存儲技術(shù)需要增加新的處理功能，如數(shù)據(jù)壓縮和解壓；面向應(yīng)用，沒有單一的數(shù)據(jù)模型適應(yīng)所有情況，隨應(yīng)用領(lǐng)域和對象而建立相應(yīng)的數(shù)據(jù)模型；強(qiáng)調(diào)媒體獨(dú)立性，用戶應(yīng)最大限度地忽略各媒體間的差別而實(shí)現(xiàn)對多種媒體數(shù)據(jù)的管理和操作；強(qiáng)調(diào)對象的物理表現(xiàn)和交互方式，強(qiáng)調(diào)終端用戶界面的靈活性和多樣性；(2) MDBS的層次結(jié)構(gòu)MDBS的組織結(jié)構(gòu)一般可以分為集中型、主從型和協(xié)作型等三種。A、集中型：指由單獨(dú)一個MDBMS來建立和管理不同媒體的數(shù)據(jù)庫，并由這個MDBMS來管理對象空間及目的數(shù)據(jù)的集成。B、主從型：每一個數(shù)

5、據(jù)庫都有自己的管理系統(tǒng)（稱為從MDBMS），各自管理自己的數(shù)據(jù)庫。這些從MDBMS又受一個被稱為主MDBMS的統(tǒng)一控制和管理，用戶在主MDBMS上使用多媒體數(shù)據(jù)庫中的數(shù)據(jù)，是通過主MDBMS提供的功能來實(shí)現(xiàn)的。目的數(shù)據(jù)的集成也是由主數(shù)據(jù)庫管理系統(tǒng)進(jìn)行管理，它們之間的關(guān)系如下圖所示。C、協(xié)作型：協(xié)作型MDBS是由多個數(shù)據(jù)庫管理系統(tǒng)組成的，這些數(shù)據(jù)庫管理系統(tǒng)之間沒有主從之分，但能相互通信，協(xié)調(diào)工作。如下圖所示。2.1多媒體數(shù)據(jù)庫（MDB）傳統(tǒng)數(shù)據(jù)庫系統(tǒng)主要處理的對象是整數(shù)、實(shí)數(shù)、字符串等簡單類型數(shù)據(jù)，它可以在用戶給出查詢條件后迅速地檢索到正確的信息，但面對圖像、聲音、視頻等無格式數(shù)據(jù)，如何設(shè)定檢索

6、條件，如何查詢所需結(jié)果等，都是無法直接實(shí)現(xiàn)的。因此就必須尋找恰當(dāng)?shù)慕Y(jié)構(gòu)分層形式，已有多種層次劃分，包括對傳統(tǒng)數(shù)據(jù)庫的擴(kuò)展、對面向?qū)ο髷?shù)據(jù)庫的擴(kuò)展、超媒體層次擴(kuò)展等。雖然各有所不同，但大都是從最低層增加對多媒體數(shù)據(jù)的控制與支持，在最高層支持多媒體的綜合表現(xiàn)和用戶的查詢描述，在中間增加對多媒體數(shù)據(jù)的關(guān)聯(lián)和超鏈的處理。多媒體數(shù)據(jù)庫的層次結(jié)構(gòu)主要包括三層：（1）最高層支持多媒體的綜合表現(xiàn)和用戶的查詢描述多媒體用戶接口層：完成用戶對多媒體信息的查詢描述和得到多媒體信息的查詢結(jié)果。這層在傳統(tǒng)數(shù)據(jù)庫中是非常簡單的，但在多媒體數(shù)據(jù)庫中這一層成了最重要的環(huán)節(jié)之一。（2）中間層增加對多媒體數(shù)據(jù)的關(guān)聯(lián)和超鏈的處理。

7、（數(shù)據(jù)模型層)概念數(shù)據(jù)模型層：對現(xiàn)實(shí)世界用多媒體數(shù)據(jù)信息進(jìn)行的描述，也是多媒體數(shù)據(jù)庫中在全局概念下的一個整體視圖，該層為上層的用戶接口、下層的多媒體數(shù)據(jù)存儲和存取建立起一個在邏輯上統(tǒng)一的通道。存取與存儲數(shù)據(jù)模型層：通過存取與存儲數(shù)據(jù)模型，描述媒體數(shù)據(jù)的邏輯位置安排、相互的內(nèi)容關(guān)聯(lián)、特征與數(shù)據(jù)的關(guān)系以及超鏈的建立等，并完成多媒體數(shù)據(jù)的邏輯存儲與存取。（3）底層增加對多媒體數(shù)據(jù)的控制與支持媒體支持層:建立在多媒體操作系統(tǒng)之上,對不同性質(zhì)媒體分別進(jìn)行相應(yīng)的分割、識別、變換等操作，并確定物理存儲的位置和方法，以實(shí)現(xiàn)對各種媒體的最基本數(shù)據(jù)的管理和操縱。2.2多媒體數(shù)據(jù)庫管理系統(tǒng)（MDBMS）在多媒體系統(tǒng)

8、中存在著聲音、文字、圖形、視頻等媒體信息，與傳統(tǒng)的計(jì)算機(jī)應(yīng)用系統(tǒng)中只存在字符、數(shù)值相比擴(kuò)充很大，這就需要一種新的管理系統(tǒng)對多媒體數(shù)據(jù)庫進(jìn)行管理。這種MDBMS能像傳統(tǒng)的數(shù)據(jù)庫那樣對多媒體數(shù)據(jù)進(jìn)行有效地組織、管理和存取，并可以實(shí)現(xiàn)以下功能：多媒體數(shù)據(jù)庫對象的定義、多媒體數(shù)據(jù)存取、多媒體數(shù)據(jù)庫運(yùn)行控制、多媒體數(shù)據(jù)庫建立與維護(hù)、多媒體數(shù)據(jù)庫在網(wǎng)絡(luò)上的通信功能等。多媒體數(shù)據(jù)庫管理系統(tǒng)（MDBMS）應(yīng)具備以下基本功能:（1）MDBMS必須能反映和管理各種媒體數(shù)據(jù)的特性，或各種媒體數(shù)據(jù)之間的空間或時間的關(guān)聯(lián)。 （2）MDBS的數(shù)據(jù)操作功能，除了提供對無格式數(shù)據(jù)的查詢搜索功能外，還應(yīng)能對不同媒體提供不同的操

9、作方法，如圖形、圖像的編輯處理，聲音數(shù)據(jù)的剪輯等。 （3）MDBMS的網(wǎng)絡(luò)功能，解決分布在網(wǎng)絡(luò)上的多媒體庫中數(shù)據(jù)的定義、存儲、操作問題，并對數(shù)據(jù)的一致性、安全性、并發(fā)性進(jìn)行管理。二、基于內(nèi)容的多媒體信息檢索基于內(nèi)容的多媒體信息檢索研究伴隨著信息時代的到來而展開。隨著多媒體計(jì)算機(jī)技術(shù)的迅猛發(fā)展，網(wǎng)絡(luò)傳輸速度的提高，以及新的有效的圖像/視頻壓縮技術(shù)的不斷出現(xiàn)，使人們通過網(wǎng)絡(luò)實(shí)現(xiàn)全球多媒體信息的共享成為可能。然而現(xiàn)有的技術(shù)還不能有效地滿足人們對海量多媒體信息的需求，因此基于內(nèi)容的多媒體信息檢索應(yīng)運(yùn)而生。所謂基于內(nèi)容檢索(Contentbased)，就是從媒體數(shù)據(jù)中提取出特定的信息線索，根據(jù)這些線索從

10、大量存儲在數(shù)據(jù)庫中的媒體中進(jìn)行查找，檢索出具有相似特征的媒體數(shù)據(jù)出來。1、多媒體的內(nèi)容處理多媒體數(shù)據(jù)的“內(nèi)容”表示多媒體信息的含義、要旨、主題和顯著的性質(zhì)、實(shí)質(zhì)性的東西、物理細(xì)節(jié)等，而多媒體內(nèi)容處理技術(shù)要基于對內(nèi)容的基本定義。多媒體數(shù)據(jù)的內(nèi)容概念包括多個層次：（1）概念級內(nèi)容：對象的語義表達(dá)。例如利用文本的描述，通過分類和目錄來組織層次瀏覽，用鏈來組織上下文關(guān)聯(lián)。（2）感知特性：視覺特性。如顏色、視覺對象、紋理、草圖、形狀、體積、空間關(guān)系、輪廓、運(yùn)動、變形等，聽覺特性如音調(diào)、音色、音質(zhì)等。（3）邏輯關(guān)系：音視頻對象的時間和空間關(guān)系，語義和上下文關(guān)聯(lián)等。（4） 特指特征：與應(yīng)用相關(guān)的媒體特征。如

11、人的體形特征、面部特征、指紋特征等。2、基于內(nèi)容的多媒體信息檢索的特點(diǎn)(1) 相似性檢索：CBR采用一種近似匹配（或局部匹配）的方法和技術(shù)，逐步求精來獲得查詢和檢索結(jié)果，每一層的中間結(jié)果是一個集合，不斷減少集合的范圍，直到定位到查找的目標(biāo)，這摒棄了傳統(tǒng)的精確匹配技術(shù)，避免了因采用傳統(tǒng)檢索方法所帶來的不確定性。(2) 直接從內(nèi)容中提取信息線索：CBR直接對文本、圖像、視頻、音頻進(jìn)行分析，從中抽取內(nèi)容特征，然后利用這些內(nèi)容特征建立索引并進(jìn)行檢索。(3) 滿足用戶多層次的檢索要求：CBR檢索系統(tǒng)通常由媒體庫、特征庫和知識庫組成。媒體庫包含多媒體數(shù)據(jù)，如文本、圖像、音頻、視頻等；特征庫包含用戶輸入的特

12、征和預(yù)處理自動提取的內(nèi)容特征；知識庫包含領(lǐng)域知識和通用知識，其中的知識表達(dá)可以更換，以適應(yīng)各種不同領(lǐng)域的應(yīng)用要求。(4) 大型數(shù)據(jù)庫(集)的快速檢索：CBR往往擁有數(shù)量巨大、種類繁多的多媒體數(shù)據(jù)庫，能夠?qū)崿F(xiàn)對多媒體信息的快速檢索。3、基于內(nèi)容的多媒體信息檢索體系結(jié)構(gòu)從基于內(nèi)容檢索系統(tǒng)結(jié)構(gòu)如下圖所示，由特征分析子系統(tǒng)、特征提取子系統(tǒng)、數(shù)據(jù)庫、查詢接口、檢索引擎和索引過濾等子系統(tǒng)組成，同時需要相應(yīng)的知識輔助支持特定領(lǐng)域的內(nèi)容處理。（1）特征分析：該子系統(tǒng)負(fù)責(zé)將需要入庫的媒體進(jìn)行分割或節(jié)段化，標(biāo)識出需要的對象或內(nèi)容關(guān)鍵點(diǎn)，以便有針對性的對目標(biāo)進(jìn)行特征提取。特征標(biāo)識可通過用戶輸入或系統(tǒng)定義。（2）特征

13、提取對用戶提供或系統(tǒng)標(biāo)明的媒體對象進(jìn)行特征提取處理。提取特征時需要知識處理模塊的輔助，與標(biāo)準(zhǔn)化的知識定義直接有關(guān)。（3）數(shù)據(jù)庫包含多媒體數(shù)據(jù)庫和特征數(shù)據(jù)庫，分別存放多媒體數(shù)據(jù)同對應(yīng)的特征數(shù)據(jù)，它們彼此之間存在著一定的對應(yīng)關(guān)系。特征庫中包含了由用戶輸入的和預(yù)處理自動提取的特征數(shù)據(jù)，通過檢索引擎組織與媒體類型相匹配的索引來達(dá)到快速搜索的目的。（4）查詢接口，即人機(jī)交互界面，友好的人機(jī)交互界面是檢索系統(tǒng)不可缺少的。在基于內(nèi)容的檢索中，由于特征不直觀，因此必須為用戶提供一個可視化的輸入手段，還應(yīng)在用戶界面提供查詢結(jié)果的創(chuàng)覽功能，即為用戶提供初步查詢結(jié)果的返回，系統(tǒng)會根據(jù)用戶選擇的排序標(biāo)準(zhǔn)(如顏色、旋律

14、、節(jié)拍等)，按照相似度的大小將結(jié)果排列后，返回給用戶。（5）檢索引擎，檢索要將特征提取值和特征庫中的值進(jìn)行比較，得到一個相似度。不同的媒體各自具有不同的相似度算法，這些算法也稱為相似性測度函數(shù)。檢索引擎使用相似性測度函數(shù)集去進(jìn)行比較，從而確定與特征庫的值最接近的多媒體數(shù)據(jù)。（6）索引過濾在大規(guī)模多媒體數(shù)據(jù)檢索過程中，為了提高檢索效率，常在檢索引擎進(jìn)行匹配之前采用索引過濾方法，取出高維特征用于匹配。4、結(jié)語基于內(nèi)容的多媒體信息檢索技術(shù)最重要的是對內(nèi)容進(jìn)行識別和匹配，而非去理解它。從多媒體數(shù)據(jù)庫的角度出發(fā)。基于內(nèi)容檢索需要的是不限定領(lǐng)域知識的方法。目前基于內(nèi)容的檢索技術(shù)還處于研究和完善階段。但該技術(shù)的發(fā)展不僅代表了多媒體數(shù)據(jù)庫技術(shù)的發(fā)展方向，而且還說明多媒體信息檢索的快速發(fā)展。參考文獻(xiàn)1鄭繼文，吳吉義.多媒體數(shù)據(jù)庫管理系統(tǒng)的關(guān)鍵技術(shù)分析J.微型機(jī)與應(yīng)用,2009(6):94-96.2徐險峰.基于內(nèi)容的多媒體信息檢索技術(shù)J.現(xiàn)代情報,2005,25(3):134-136.3李松濤，鐘建寧.基于內(nèi)容的多媒體數(shù)據(jù)庫管理系統(tǒng)研究J.計(jì)算機(jī)技術(shù)與發(fā)展,2008,18(12):214-216.4柳群英.基于內(nèi)容的音頻信息檢索技術(shù)J.現(xiàn)代情報,2005(6):91-93.5黃麗娟.基于內(nèi)容的多媒體信息檢索 J.現(xiàn)代圖書情報技術(shù),2