信息存儲與檢索第4章.ppt

第四章 多媒體信息存儲與檢索,信息存儲與檢索,本章目錄,第一節(jié) 引言 第二節(jié) 多媒體技術(shù)概述 第三節(jié) 多媒體數(shù)據(jù)模型 第四節(jié) 多媒體數(shù)據(jù)壓縮技術(shù) 第五節(jié) 基于內(nèi)容的多媒體檢索技術(shù),信息存儲與檢索,第一節(jié) 引言,隨著信息時代的到來，信息多元化程度加深，人們不再滿足于單一的文本交流。多媒體技術(shù)的出現(xiàn)，使得信息的表達方式更生動、更容易被人們所理解，因此迅速成為信息存在的主要方式。,信息存儲與檢索,第一節(jié) 引言,傳統(tǒng)的信息檢索系統(tǒng)只處理文本和非結(jié)構(gòu)化的數(shù)據(jù)，信息是以離散的形式 (如字符、數(shù)字等) 存儲在關(guān)系數(shù)據(jù)庫中，并以結(jié)構(gòu)化查詢語言(SQL) 或超鏈接來進行查詢檢索；而多媒體數(shù)據(jù)則是連續(xù)的、形式多樣的、海量的信息，并且多媒體數(shù)據(jù) (如圖像、視頻) 在不同的人眼中可能有不同的理解，要把所有不同的解釋都用關(guān)鍵字(文本或數(shù)字) 來表示顯然是不可能的。另外，關(guān)鍵字不能有效地表示視頻數(shù)據(jù)的時序特征，也不支持語義關(guān)系，因此需要開發(fā)出一種新的檢索技術(shù)來檢索多媒體數(shù)據(jù)。為了適應(yīng)這一需求, 人們提出了基于內(nèi)容的多媒體信息檢索思想。,信息存儲與檢索,第二節(jié) 多媒體技術(shù)概述,4.2.3 多媒體技術(shù)的主要研究內(nèi)容,3,信息存儲與檢索,4.2.1 多媒體的概念,（一）媒體的含義 “媒體”一詞的含義很多，但在計算機領(lǐng)域中主要有兩層含義：一是指信息的物理載體，如磁盤、磁帶、光盤等；另一是指信息的表現(xiàn)或傳播形式，如聲音、文字、圖像、動畫等。根據(jù)國際電信聯(lián)盟（ITU：International Telecommunication Union）電信標準部推出的ITU-TI.374建議的定義，可以將媒體劃分為如下五類： （1）感覺媒體（2）表示媒體（3）表現(xiàn)媒體 （4）存儲媒體（5）傳輸媒體,信息存儲與檢索,4.2.1 多媒體的概念,（二）多媒體的含義 在人們的日常談?wù)撝校嗝襟w的“媒體”常常泛指“感覺媒體”，但多媒體技術(shù)所處理的“媒體”主要是指“表示媒體”，而“多”則表示信息表示媒體的多樣化。 現(xiàn)在的多媒體技術(shù)往往與計算機聯(lián)系在一起，是指利用計算機技術(shù)把各種信息媒體綜合一體化，使它們建立起邏輯聯(lián)系，并進行加工處理的技術(shù)。所謂加工處理主要是指對這些媒體的錄入、對信息進行壓縮和解壓縮、存儲、顯示、傳輸?shù)?。因此，多媒體不是“混媒體”。盡管包含的媒體元素很多，但并非機械地將他們拼湊在一起。,信息存儲與檢索,4.2.2 多媒體技術(shù)的關(guān)鍵特征,多媒體技術(shù)主要體現(xiàn)出綜合處理多種媒體信息的特點，包括信息載體的： （1）多樣性 （2）集成性 （3）交互性 （4）實時性 （5）互補性 這5個特性缺一不可。其中，多樣性、實時性和互補性是基礎(chǔ)，集成性是手段、方式或形式，交互性是核心或靈魂。,信息存儲與檢索,4.2.3 多媒體技術(shù)的主要研究內(nèi)容,多媒體技術(shù)的研究內(nèi)容包括：多媒體數(shù)據(jù)處理技術(shù)，如多媒體數(shù)據(jù)模型、多媒體數(shù)據(jù)壓縮、多媒體數(shù)據(jù)存儲與檢索技術(shù)等；多媒體數(shù)據(jù)傳輸技術(shù)，如多媒體網(wǎng)絡(luò)技術(shù)、多媒體視頻點播技術(shù)等；多媒體專用設(shè)備技術(shù)，如多媒體專用芯片技術(shù)、多媒體專用輸入/輸出技術(shù)等。本章內(nèi)容將只對多媒體數(shù)據(jù)處理技術(shù)作出闡述。,信息存儲與檢索,第三節(jié) 多媒體數(shù)據(jù)模型,4.3.3 音頻的數(shù)據(jù)模型,3,信息存儲與檢索,4.3.1 多媒體數(shù)據(jù)模型概述,（一）多媒體數(shù)據(jù)模型的概念 數(shù)據(jù)模型是數(shù)據(jù)庫系統(tǒng)中的術(shù)語,用來表示實體以及實體間的聯(lián)系。數(shù)據(jù)庫的數(shù)據(jù)模型由三部分組成：數(shù)據(jù)庫的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)庫操作集合和完整性規(guī)則集合。其中，最重要的部分是反映能夠數(shù)據(jù)庫邏輯結(jié)構(gòu)的數(shù)據(jù)結(jié)構(gòu)，因為數(shù)據(jù)模型的作用就是能清晰地表示數(shù)據(jù)庫的邏輯結(jié)構(gòu)，以便使用戶更有效地存取數(shù)據(jù)。最著名的數(shù)據(jù)模型有層次模型、網(wǎng)狀模型和關(guān)系模型。,信息存儲與檢索,4.3.1 多媒體數(shù)據(jù)模型概述,（二）多媒體數(shù)據(jù)模型的體系結(jié)構(gòu) 一個完整的多媒體數(shù)據(jù)模型應(yīng)該是對多媒體信息系統(tǒng)的信息和數(shù)據(jù)的內(nèi)容、不同媒體對象或由它們合成的復(fù)合對象的表現(xiàn)、內(nèi)容與表現(xiàn)之間的映射/對應(yīng)關(guān)系進行組織結(jié)構(gòu)上的抽象概括和規(guī)范描述的一個整體。,信息存儲與檢索,4.3.1 多媒體數(shù)據(jù)模型概述,（三）多媒體數(shù)據(jù)模型的種類 多媒體數(shù)據(jù)模型的分類沒有定則。基于不同結(jié)構(gòu)不同層次，可以將其分為超媒體模型、時基媒體模型、基于媒體內(nèi)容模型、文獻模型和信息元模型等?；谀Ｐ偷男再|(zhì)，又可以將其分為表現(xiàn)模型和同步模型。基于不同的建模方法，則可將其分為NF2數(shù)據(jù)模型、面向?qū)ο髷?shù)據(jù)模型和對象-關(guān)系模型等。,信息存儲與檢索,4.3.2 圖像的數(shù)據(jù)模型,信息存儲與檢索,4.3.3 音頻的數(shù)據(jù)模型,音頻信息也可以采用文本處理的方法，選擇主題詞、關(guān)鍵詞對音頻內(nèi)容加以人工標引，揭示音頻的主題內(nèi)容及特征，例如對于一首歌曲，歌詞就是它的內(nèi)容描述。但這些仍屬于傳統(tǒng)文本處理的范疇，它與基于音頻內(nèi)容的特征處理完全不同。所謂基于音頻內(nèi)容的特征處理方法，就是針對音頻信息的物理樣本、基本屬性等進行分析處理，通過數(shù)學(xué)與統(tǒng)計學(xué)方法來獲得音頻信息物理、聽覺、語義等不同層次（或級別）上的特征，并揭示特征之間的相互關(guān)系。 下面就介紹幾個通過短時處理技術(shù)得到的比較常用而且重要的特征:（一）音調(diào)（二）響度（三）過零率（四）亮度（五）帶寬,信息存儲與檢索,4.3.4 視頻的數(shù)據(jù)模型,視頻就是一組連續(xù)的靜態(tài)圖像按照時間的順序連續(xù)更換形成的動畫、影像等。簡單地說，視頻數(shù)據(jù)是連續(xù)的圖像序列。在對視頻進行分類和檢索之前，必須了解視頻的數(shù)據(jù)結(jié)構(gòu)。視頻數(shù)據(jù)可用故事單元、場景、鏡頭、幀來描述。對于視頻文件來說，我們也可以利用與處理圖像和音頻相同的方法，進行視頻外部特征信息的文本著錄，以實現(xiàn)簡單的初級檢索。然而，與圖像、音頻一樣，只有對基于視頻內(nèi)容本身進行處理才能獲得更有效的檢索。,信息存儲與檢索,4.3.4 視頻的數(shù)據(jù)模型,信息存儲與檢索,第四節(jié) 多媒體數(shù)據(jù)壓縮技術(shù),4.4.3 音頻壓縮的標準,3,信息存儲與檢索,4.4.1 數(shù)據(jù)壓縮技術(shù)概述,（一）多媒體數(shù)據(jù)壓縮的必要性和可能性 一般說來，多媒體數(shù)據(jù)中存在的數(shù)據(jù)冗余類型主要有以下幾種： （1）空間冗余 （2）時間冗余 （3）結(jié)構(gòu)冗余 （4）視覺冗余 （5）聽覺冗余 （6）知識冗余,信息存儲與檢索,4.4.1 數(shù)據(jù)壓縮技術(shù)概述,（二）多媒體數(shù)據(jù)壓縮的基本要求 對多媒體數(shù)據(jù)進行壓縮處理需要兩個過程。一是編碼過程，即將原始數(shù)據(jù)經(jīng)過編碼進行壓縮，以便于存儲和傳輸；另一是解碼過程，對編碼后的數(shù)據(jù)進行解碼，還原為可以使用的數(shù)據(jù)。對數(shù)據(jù)進行壓縮處理一般具有以下基本要求： （1）可還原 （2）壓縮比高 （3）重現(xiàn)質(zhì)量好 （4）計算成本低 （5）實時性好,信息存儲與檢索,4.4.1 數(shù)據(jù)壓縮技術(shù)概述,（三）多媒體數(shù)據(jù)壓縮方法的分類 （1）按照壓縮方法是否產(chǎn)生失真分類 根據(jù)解碼后數(shù)據(jù)與原始數(shù)據(jù)是否完全一致進行分類，壓縮方法可被分為有失真編碼和無失真編碼兩 （2）按照壓縮方法的原理分類 根據(jù)編碼原理進行分類，大致有預(yù)測編碼、變換編碼、統(tǒng)計編碼、分析-合成編碼、混合編碼和其他一些編碼方法。其中統(tǒng)計編碼是無失真的編碼，其他編碼方法基本上都是有失真的編碼。,信息存儲與檢索,4.4.2 圖像壓縮的標準,（一）JPEG2000壓縮標準簡介 國際標準化組織（ISO）和國際電工協(xié)會（IEC）聯(lián)合成立了一個聯(lián)合圖像專家組（Joint Photographic Experts Group，簡稱JPEG），經(jīng)過5年艱苦而細致的工作，與1991年3月提出了ISO CDIO918號建議草案多灰度靜止圖像的數(shù)字壓縮編碼，該草案經(jīng)批準成為ISO10918標準，即通常所說的JPEG標準。JPEG標準是一個適用于彩色和單色多灰度的靜止數(shù)字圖像的壓縮技術(shù)標準。,信息存儲與檢索,4.4.2 圖像壓縮的標準,（二）JPEG2000的基本結(jié)構(gòu),信息存儲與檢索,4.4.2 圖像壓縮的標準,（三）JPEG2000的特點 （1）壓縮比高 （2）支持無損壓縮 （3）支持漸進式傳輸 （4）可自定義“感興趣區(qū)域” （5）可以描述多種色彩模式 （6）圖像處理簡單,信息存儲與檢索,4.4.3 音頻壓縮的標準,（一）音頻壓縮編碼的基本方法 （二）電話質(zhì)量的語音壓縮標準 （三）調(diào)幅廣播質(zhì)量的音頻壓縮標準 （四）高保真立體聲音頻壓縮標準,信息存儲與檢索,4.4.4 視頻壓縮的標準,視頻壓縮的一個重要標準是MPEG，即運動圖像專家組（Moving Picture Expert Group）。該專家組成立于1988年，在國際標準化組織（ISO）和是國際電工委員會（IEC）的管轄之下。該組織現(xiàn)已公布的MPEG標準如下：,信息存儲與檢索,4.4.4 視頻壓縮的標準,MPEG-1（ISO/IEC1117），1993年8月公布，其全稱為“適于約1.5Mb/s以下數(shù)字存儲媒體的運動圖像及伴音的編碼”所謂數(shù)字存儲媒體（DSM）是指常見的數(shù)字存儲設(shè)備，如CD-ROM、DAT、硬盤、可寫光盤等。該標準也適于遠程通信，如綜合業(yè)務(wù)數(shù)字網(wǎng)、局域網(wǎng)等。MPEG-1標準包括MPEG系統(tǒng)（ISO/IEC11172-1）、MPEG視頻（ISO/IEC11172-2）、MPEG音頻（ISO/IEC11172-3）和測試驗證（ISO/IEC11172-4）四大部分內(nèi)容。,信息存儲與檢索,4.4.4 視頻壓縮的標準,MPEG-2（ISO/IEC13818），1994年11月公布，其全稱為“運動圖像及其伴音通用編碼”。適用于多媒體計算機、多媒體數(shù)據(jù)庫、多媒體通信、常規(guī)電視數(shù)字化、高清晰度電視（HDTV）及交互式電視（ITV）等領(lǐng)域。MPEG-2標準包括MPEG系統(tǒng)、MPEG視頻、MPEG音頻和一致性四大部分內(nèi)容，它克服并解決了MPEG-1標準不能滿足的日益增長的多媒體技術(shù)、數(shù)字電視技術(shù)、多媒體分辨率和傳輸率等方面的技術(shù)要求的缺陷。,信息存儲與檢索,4.4.4 視頻壓縮的標準,MPEG-4（ISO/IEC14496）,1999年1月公布版本1（V1.0），同年12月公布版本2（V2.0）。該標準的初衷主要是面向電視會議、可視電話等超低碼率的壓縮編碼需求，在制定過程中，MPEG組織深深感受到人們對媒體信息，特別是對視頻信息的需求由播放型轉(zhuǎn)向基于內(nèi)容的訪問、檢索和操作。MPEG-4與MPEG-1、MPEG-2等有很大差異，它為多媒體數(shù)據(jù)壓縮編碼提供了更為廣闊的平臺，它定義的是一種格式、一種框架，而非具體算法，它希望建立一種更自由的通信與開發(fā)環(huán)境。于是MPEG-4的新目標為：支持多種多媒體的應(yīng)用，特別是多媒體信息基于內(nèi)容的訪問和檢索，可根據(jù)不同的應(yīng)用需求，現(xiàn)場配置解碼器。編碼系統(tǒng)也是開放的，可隨時加入新的有效的算法模塊。該標準適用于多媒體Internet、視頻會議和視頻電話、交互式視頻游戲、多媒體郵件、基于網(wǎng)絡(luò)的數(shù)據(jù)服務(wù)、光盤等交互式存儲媒體、遠程緊急事件系統(tǒng)、遠程視頻監(jiān)控及無線多媒體通信等。,信息存儲與檢索,4.4.4 視頻壓縮的標準,MPEG-7，于2000年11月公布，其全稱為“多媒體內(nèi)容描述接口”。它將為各種類型的多媒體信息規(guī)定一種標準化的描述，這種描述與多媒體信息的內(nèi)容一起，支持對用戶感興趣的圖形、圖像、3D模型、視頻、音頻等信息以及它們的組合的快速有效查詢，滿足實時、非實時以及推-拉應(yīng)用的需求。MPEG-7只規(guī)定信息內(nèi)容描述格式，而不規(guī)定如何從原始的多媒體資料中抽取內(nèi)容描述的方法。MPEG-7的應(yīng)用領(lǐng)域有數(shù)字圖書館、多媒體目錄服務(wù)、圖像分析、音樂詞典、教育、多媒體編輯、多媒體業(yè)務(wù)引導(dǎo)等。,信息存儲與檢索,第五節(jié) 基于內(nèi)容的多媒體檢索技術(shù),4.5.1 基于內(nèi)容的多媒體信息檢索原理,1,4.5.3 基于內(nèi)容的音頻檢索,3,信息存儲與檢索,4.5.1 基于內(nèi)容的多媒體信息檢索原理,（一）基于文本的多媒體信息檢索的局限性 目前，常用的多媒體信息檢索方法是基于文本的多媒體信息檢索方法（Text-Based Retrieval，簡稱TBR）。該方法是針對多媒體的物理及內(nèi)容特征，抽取出關(guān)鍵詞進行著錄或標引，建立類似于文本文獻信息檢索系統(tǒng)的索引數(shù)據(jù)庫。這樣，多媒體信息檢索實際上就轉(zhuǎn)化成為對多媒體信息進行描述的關(guān)鍵詞檢索。常用的抽取關(guān)鍵詞的字段有文件名或目錄名、多媒體標題、多媒體周圍文本信息或解說文字等。,信息存儲與檢索,4.5.1 基于內(nèi)容的多媒體信息檢索原理,基于文本的多媒體信息檢索方法的主要優(yōu)點是技術(shù)簡單，標引和檢索方便。它的實質(zhì)就是文本檢索，只是檢索結(jié)果和輸出形式不同而已，因此它的應(yīng)用與實施方式簡單，實現(xiàn)成本也比較低。,信息存儲與檢索,4.5.1 基于內(nèi)容的多媒體信息檢索原理,然而，這種檢索方式的應(yīng)用是有局限性的。首先，它不能真正反映信息的內(nèi)容。這種檢索采用文本來表達多媒體的內(nèi)容，檢索對象的不一致決定了在這種信息傳遞過程中必定會有大量信息的丟失，這樣就不可能完全反映信息的內(nèi)容；其次，多媒體信息是一種抽象程度很大、隨意性很強的信息，缺乏一般意義上的規(guī)范性，同樣的信息不同的人會有不同的理解，這樣便會使得在用文字描述多媒體信息時，不可能做出一個非常準確而完整的描述。,信息存儲與檢索,4.5.1 基于內(nèi)容的多媒體信息檢索原理,（二）基于內(nèi)容的多媒體信息檢索的特點及應(yīng)用 所謂基于內(nèi)容檢索（Content-Based Retrieval，簡稱CBR），就是從媒體數(shù)據(jù)中提取出特定的信息線索，然后根據(jù)這些線索從大量存儲在數(shù)據(jù)庫中的媒體中進行查找，檢索出具有相似特征的媒體數(shù)據(jù)出來。 從技術(shù)上將，基于內(nèi)容的多媒體信息檢索具有如下特點： （1）直接從媒體內(nèi)容中提取特征線索。,信息存儲與檢索,4.5.1 基于內(nèi)容的多媒體信息檢索原理,（2）基于內(nèi)容的檢索是一種近似匹配，與傳統(tǒng)信息檢索的精確匹配方法有明顯不同。 （3）特征提取和索引建立可由計算機自動實現(xiàn)，避免了人工描述的主觀性，也大大減少了工作量。 （4）整個過程是一個逐步篩選和