圖像檢索技術綜述

圖像檢索技術綜述第一頁，共二十八頁，編輯于2023年，星期二本文主要內容圖像檢索技術的發(fā)展歷史當前主流的圖像檢索技術介紹一個圖像搜索引擎的系統(tǒng)模型第二頁，共二十八頁，編輯于2023年，星期二20世紀70年代：TBIR(Text-basedImageRetrieval）基于文本的圖像檢索技術沿用了傳統(tǒng)文本檢索技術，利用文本描述的方式表示圖像的特征。第三頁，共二十八頁，編輯于2023年，星期二早期的TBIR：手工對圖像進行注釋，工作量相當大，不可避免地會帶來主觀性和不精確性Internet環(huán)境下的TBIR：網(wǎng)頁信息的自動采集和標引技術索引方式：全文索引和關鍵詞索引Google，Yahoo和百度等搜索引擎所提供的圖像檢索服務，它們采用的都是TBIR技術．第四頁，共二十八頁，編輯于2023年，星期二TBIR的優(yōu)點：使用成熟的文本檢索和搜索引擎技術，符合人們的檢索習慣，實現(xiàn)簡單第五頁，共二十八頁，編輯于2023年，星期二TBIR的缺點：標注的準確性差，也不能滿足用戶對圖像原始特征信息的檢索第六頁，共二十八頁，編輯于2023年，星期二MPEG-7國際標準化組織ISO／IEC制定的MPEG-7國際標準，該標準的正式名稱為“多媒體內容描述接口”（MultimediaContentDescriptionInterface），為各類多媒體信息提供一種標準化的描述，并將該描述與所描述的內容相關聯(lián)，極大地促進了對各種多媒體信息的快速查詢和訪問。該標準于1998年10月提出，于2001年最終完成并公布。第七頁，共二十八頁，編輯于2023年，星期二MPEG-7標準化的范圍包括：一系列的描述子（描述子是特征的表示法，一個描述子就是定義特征的語法和語義學）；一系列的描述結構（詳細說明成員之間的結構和語義）；一種詳細說明描述結構的語言、描述定義語言（DDL）；一種或多種編碼描述方法。

第八頁，共二十八頁，編輯于2023年，星期二90年代以來：CBIR(Content-basedImageRetrieval）基于內容的圖像檢索對圖像的視覺內容，如圖像的顏色、紋理、形狀等進行分析和檢索圖像。其特點是圖像本身包含的客觀視覺特性，不需要人為干預和解釋，能夠通過計算機自動實現(xiàn)對圖像特征的提取和存儲。第九頁，共二十八頁，編輯于2023年，星期二CBIR進行檢索時利用的是第2層的特征。特征提取是CBIR系統(tǒng)最基礎的部分，在很大程度上決定了CBIR系統(tǒng)的成?。甗1]特征提取第3層：語義特征層人們對圖像內容概念級的反映第2層：物理特征層圖像的顏色、紋理、形狀和輪廓等低層物理特征第1層：原始數(shù)據(jù)層圖像的原始像素點圖1圖像內容的層次模型第十頁，共二十八頁，編輯于2023年，星期二1基于顏色特征的檢索實踐表明，基于顏色的CBIR系統(tǒng)具有較好的性能，而且實現(xiàn)相對容易．最常用的表達顏色特征的方法是顏色直方圖。其他常用的顏色特征表示方法還有顏色矩和顏色相關圖。[2]

第十一頁，共二十八頁，編輯于2023年，星期二2基于紋理特征的檢索紋理是一種不依賴于顏色或亮度的反映圖像中同質現(xiàn)象的視覺特征，對圖像灰度變化的特征進行量化,與對象的位置、走向、大小、形狀有關,與平均灰度級無關。圖像檢索中用到的紋理特征表示方法主要有：Tamura法、小波變換和自回歸紋理模型。[3]第十二頁，共二十八頁，編輯于2023年，星期二3基于形狀特征的檢索

形狀特征常與目標聯(lián)系在一起，需提取目標的輪廓或描述目標輪廓所包圍的區(qū)域的性質。因此形狀比顏色和紋理的語義性更強。基于邊界的表示：代表方法是傅里葉描述子。其基本思想是用對圖像進行傅里葉變換得到的邊界作為形狀描述.其中一個優(yōu)點就是把二維問題簡化為一維問題?；趨^(qū)域的表示：代表方法是不變矩法。第十三頁，共二十八頁，編輯于2023年，星期二CBIR系統(tǒng)向用戶提供的查詢方式示例查詢就是由用戶提交一個或幾個例子圖像，然后由系統(tǒng)檢索出特征與之相似的圖像．這里的“相似”，指的是上述的顏色、紋理和形狀等幾個視覺特征上的相似。草圖查詢：用戶可以簡單地畫一幅草圖，由系統(tǒng)檢索出視覺特征上與之相似的圖像。第十四頁，共二十八頁，編輯于2023年，星期二目前基于內容圖像檢索技術已經(jīng)取得了不少的成就，一些著名的圖像檢索系統(tǒng)相繼被推出，有IBM的QBIC系統(tǒng)，哥倫比亞大學開發(fā)的Visual-SEEK，MIT多媒體實驗室開發(fā)的Photo-Book，UCBerkeley開發(fā)的Chabot系統(tǒng)等。第十五頁，共二十八頁，編輯于2023年，星期二CBIR利用圖像本身固有的物理信息，能夠對圖像的顏色、紋理和形狀等特征進行比較，在指紋識別、商標檢索和醫(yī)學圖像檢索等特定領域得到了廣泛應用，因為這些領域的圖像在某些特征上容易識別，比如同一個手指的指紋其紋理是一樣的。然而，Internet上的圖像來自不同的領域，根本無法捕獲其共同點，用基于內容的方法對這些圖像進行檢索，其效果遠不能令人滿意．第十六頁，共二十八頁，編輯于2023年，星期二

基于語義的圖像檢索基于語義的圖像檢索的目的，就是要使計算機檢索圖像的能力達到人的理解水平。在圖1所示的圖像內容層次模型中，語義位于最高層：第3層。第2層和第3層之間的差別被許多學者稱為“語義鴻溝”(semanticgap)?？s小語義鴻溝的辦法有2種：由高層語義導出低層特征和由低層特征向高層語義的轉換。第十七頁，共二十八頁，編輯于2023年，星期二

在原有檢索系統(tǒng)中加入高級語義到低層特征的轉化，可以在不改變現(xiàn)有的圖像特征庫和匹配方式的情況下，實現(xiàn)基于語義的圖像檢索，其基本框圖見圖2.

圖像語義的提前過程是由低層特征向高層語義轉化的過程。在獲取語義和有效地表達語義的基礎上，可以建立語義索引，提取圖像語義的模型見圖3。第十八頁，共二十八頁，編輯于2023年，星期二高層語義導出低層特征反饋信息檢索結果圖像數(shù)據(jù)庫管理特征比較圖像特征庫特征提取圖2基于語義的圖像檢索系統(tǒng)框圖結果輸出圖像數(shù)據(jù)庫管理語義查詢相似性比較第十九頁，共二十八頁，編輯于2023年，星期二對象空間關系分析對象識別圖像分割局部視覺特征提取全局抽象語義處理全局視覺特征提取圖像標注用戶交互外部信息原始圖像圖像語義描述圖3圖像語義提取模型利用系統(tǒng)知識的語義提取基于系統(tǒng)交互的語義生成基于外部信息的語義提取第二十頁，共二十八頁，編輯于2023年，星期二基于反饋的圖像檢索

相關反饋方法的基本思想是在檢索過程中，允許用戶對檢索結果進行評價和標記，指出結果中哪些是用戶希望得到的查詢圖像，哪些是不相關的，然后將用戶標記的相關信息作為訓練樣本反饋給系統(tǒng)進行學習，指導下一輪檢索，從而使得檢索結果更符合用戶的需要。第二十一頁，共二十八頁，編輯于2023年，星期二基于知識的圖像檢索將人工智能領域的基于知識的處理方法引入到圖像處理領域，通過對圖像理解、知識表達、機器學習，并結合專家和用戶的先驗知識，建立圖像知識庫實現(xiàn)對圖像數(shù)據(jù)庫的智能檢索。主要涉及到自然語言理解、專家系統(tǒng)、知識表達和機器學習等人工智能的主要研究領域。第二十二頁，共二十八頁，編輯于2023年，星期二一個圖像搜索引擎的系統(tǒng)模型SeekImg系統(tǒng)是華中科技大學圖像識別與人工智能研究所開發(fā)的，一個www上的圖像搜索引擎的原型系統(tǒng)。[4]該系統(tǒng)采用Internet搜索技術、圖像自動識別技術和基于內容的圖像檢索技術，基于C1ient／Server架構和MicrosoftSQLServer／NT平臺研制開發(fā)。第二十三頁，共二十八頁，編輯于2023年，星期二SeekImg由四部分組成：爬蟲部分、圖像處理、圖像數(shù)據(jù)庫和查詢服務器。爬蟲圖像處理查詢界面用戶圖像處理數(shù)據(jù)庫數(shù)據(jù)庫維護圖4SeekImg的系統(tǒng)結構圖

示例圖像文字信息結果示例圖像索引向量文字信息圖像索引向量文字信息第二十四頁，共二十八頁，編輯于2023年，星期二爬蟲又稱為“www圖片自動搜尋和下載模塊”，主要完成從www網(wǎng)站上尋找圖片并下載到系統(tǒng)的服務器上；圖像處理部分是SeekImg的核心模塊，主要完成下載的圖像的自動分析和特征信息的自動提?。粩?shù)據(jù)庫部分在服務器端完成SeekImg的圖像信息組織，在客戶端接受用戶的例子圖像，通過基于內容的圖像檢索算法，完成對服務器端圖像信息的檢索，并將結果輸出給用戶。[5]第二十五頁，共二十八頁，編輯于2023年，星期二用戶可采用的三種查詢方式：①當用戶采用傳統(tǒng)的關鍵字檢索方式時，利用圖像數(shù)據(jù)庫中的關鍵字字段進行檢索。②當用戶提供了示例圖像時，先對示例圖像產(chǎn)生索引向量，采用某種距離度量算法，算出示例圖像和圖像數(shù)據(jù)庫中圖片的索引向量之間的距離，得到距離最近的若干幅圖片。③用戶也可以指定圖像特征，例如，紅色30％，黃色50％。服務器將構造出索引向量，然后找出距離最近的若干幅圖片。第二十六頁，共二十八頁，編輯于2023年，星期二參考文獻[1]賀玲,吳玲達,蔡益朝．

CBIR中的索引技術綜述[J].小型微型計算機系統(tǒng).2006，vol.27：141-145[2]劉忠偉，章毓晉．十種基于顏色特征的圖像檢索算法的比較和分析[J]．信號處理，2OOO，16(1)：79-84[3]MAWY，ZHANGHJ．BenchmarkingofImageFeaturesforContent-basedRetrieval[C]／／The32ndAsilomarConferenceonSignals，Systems＆Computer