基于內(nèi)容圖像檢索

1、基于內(nèi)容的圖像檢索 主講人：梁美麗 導(dǎo)師：牛之賢 LOGO概述檢索方式Content-based image retrieval我的工作CBIR系統(tǒng)LOGOCBIR的應(yīng)用的應(yīng)用CBIR的特點(diǎn)的特點(diǎn)CBIR的基本原理的基本原理CBIR的定義的定義輸入內(nèi)容4概述LOGO CBIRCBIR出現(xiàn)的原因出現(xiàn)的原因v 當(dāng)前圖像內(nèi)容的特征當(dāng)前圖像內(nèi)容的特征 海量的圖像內(nèi)容出現(xiàn)海量的圖像內(nèi)容出現(xiàn) 人類已有的：歷史、地理、軍事、醫(yī)學(xué)人類已有的：歷史、地理、軍事、醫(yī)學(xué) 每天新增的：互聯(lián)網(wǎng)每天新增的：互聯(lián)網(wǎng) 數(shù)碼相機(jī)數(shù)碼相機(jī) 圖像內(nèi)容的特征：沒(méi)有索引、目錄圖像內(nèi)容的特征：沒(méi)有索引、目錄 怎樣找到需要的圖像？怎樣找到

2、需要的圖像？LOGOCBIR的定義 基于內(nèi)容圖像檢索，即從圖像庫(kù)中查找含有特定目標(biāo)的圖像，也包括從連續(xù)的視頻圖像中檢索含有特定目標(biāo)的視頻片段。 目前，對(duì)于通用的靜止圖像檢索，用于檢索的特征主要有顏色（Colour）、紋理（Texture）、草圖（Sketch）、形狀(Shape)等，其中顏色、形狀、紋理等應(yīng)用尤為普遍。 LOGOCBIR的基本原理 CBIR的基本原理形式化定義：任給定一個(gè)檢索圖像示例P，計(jì)算其特征向量F=(F1，F(xiàn)2，F(xiàn)3，F(xiàn)n)，其中Fi為圖像的第i種特征；根據(jù)F檢索圖像特征索引庫(kù)，得到與F距離最小的特征向量F，則F所對(duì)應(yīng)的圖像P即為與P最相似的檢索結(jié)果。CBIR系統(tǒng)典型的架

3、構(gòu)如右所示 特征向量計(jì)算特征向量計(jì)算相似度匹配相似度匹配數(shù)字圖像對(duì)象特征索引庫(kù)原始圖像庫(kù)檢索結(jié)果LOGOCBIR的特點(diǎn)的特點(diǎn)l 屬于模糊查詢，檢索結(jié)果不是唯一的 基于內(nèi)容的圖像檢索與文字檢索的一個(gè)主要區(qū)別是，基于內(nèi)容的檢索都是屬于模糊查詢，一般不會(huì)給出單一的檢索結(jié)果，輸出的是一個(gè)結(jié)果排序集合，按照?qǐng)D像的相似程度，從最像到最不像。 最后需要由人來(lái)判斷最終的結(jié)果是否滿足檢索需要，是人機(jī)結(jié)合的典范；由計(jì)算機(jī)來(lái)做大量簡(jiǎn)單煩瑣的工作，由人做分析工作。LOGOCBIR的特點(diǎn)的特點(diǎn)l 檢索結(jié)果是逐漸逼近檢索結(jié)果是逐漸逼近 在檢索過(guò)程中不斷修訂檢索條件，可以逐步達(dá)在檢索過(guò)程中不斷修訂檢索條件，可以逐步達(dá)到最終

4、的檢索結(jié)果；通過(guò)調(diào)整特征參數(shù)組合，可到最終的檢索結(jié)果；通過(guò)調(diào)整特征參數(shù)組合，可以得到不同的檢索結(jié)果。以得到不同的檢索結(jié)果。l 計(jì)算工作量大計(jì)算工作量大 每次查詢都需要根據(jù)臨時(shí)提交的特征標(biāo)準(zhǔn)，對(duì)每次查詢都需要根據(jù)臨時(shí)提交的特征標(biāo)準(zhǔn)，對(duì)全部特征值進(jìn)行匹配運(yùn)算；數(shù)據(jù)計(jì)算時(shí)對(duì)計(jì)算機(jī)全部特征值進(jìn)行匹配運(yùn)算；數(shù)據(jù)計(jì)算時(shí)對(duì)計(jì)算機(jī)的要求高，查詢時(shí)間相對(duì)長(zhǎng)一些。的要求高，查詢時(shí)間相對(duì)長(zhǎng)一些。LOGOCBIR的應(yīng)用 防止犯罪等司法部門 應(yīng)用人臉識(shí)別技術(shù)，根據(jù)專家對(duì)犯罪嫌疑人的頭像特征的描繪圖像，定位犯罪人的真實(shí)面目。 軍事領(lǐng)域 可以用于武器的精確制導(dǎo)，通過(guò)實(shí)時(shí)獲取的圖像信息，對(duì)其進(jìn)行解譯，保證打擊的準(zhǔn)確性。 版權(quán)

5、保護(hù)領(lǐng)域 針對(duì)商標(biāo)與設(shè)計(jì)專利類的圖像進(jìn)行檢索，防止專利糾紛的產(chǎn)生。 建筑和工程設(shè)計(jì) 通過(guò)對(duì)建筑及工程設(shè)計(jì)物體的圖像檢索，可以聚類相同風(fēng)格特色的建筑及工程設(shè)計(jì)產(chǎn)品。 廣告業(yè)、藝術(shù)設(shè)計(jì) 應(yīng)用圖像檢索，可以找到需要的各種素材，進(jìn)行藝術(shù)設(shè)計(jì)的再創(chuàng)造。LOGOCBIR的應(yīng)用醫(yī)學(xué)領(lǐng)域 對(duì)各種醫(yī)學(xué)透視CT圖像進(jìn)行檢索，可以快速定位類似病例，及時(shí)快速的幫助病人找到病因，會(huì)對(duì)臨床、醫(yī)學(xué)研究、遠(yuǎn)程醫(yī)療、異地會(huì)診乃至醫(yī)學(xué)教育等方面產(chǎn)生積極和深遠(yuǎn)的影響。古生物學(xué)、考古學(xué) 通過(guò)對(duì)古生物化石圖像的解釋，確定古生物所屬類型等信息，便于發(fā)現(xiàn)新的物種；應(yīng)用于古文物的圖像檢索，通過(guò)對(duì)比，簽定文物的真?zhèn)巍⑺鶎贇v史時(shí)期等。地理信息系

6、統(tǒng)和遙感 對(duì)遙感圖像的檢索，主要是解譯影像數(shù)據(jù)中的建筑、村莊、耕地等不同種類地物信息，制作實(shí)時(shí)、準(zhǔn)確、逼真效果的專題圖件，應(yīng)用于地理信息系統(tǒng)中矢量處理模塊。安全技術(shù) 應(yīng)用指紋、眼膜識(shí)別技術(shù)，對(duì)用戶的指紋或者眼膜提取圖像特征進(jìn)行匹配，鑒定用戶真實(shí)身份。LOGO顏色檢索顏色檢索圖像檢索系統(tǒng)中應(yīng)用最基本的方法 基于顏色特征的圖像檢索需要解決三個(gè)問(wèn)題： 顏色的表示 顏色特征的提取 基于顏色的相似度量 顏色的表示取決于色彩空間的選擇，不同的場(chǎng)合采用的方式也是不同顏色的表示取決于色彩空間的選擇，不同的場(chǎng)合采用的方式也是不同，常見(jiàn)的有，常見(jiàn)的有RGB、 HSV模型等模型等在基于顏色特征的索引算法中通常用顏色

7、統(tǒng)計(jì)直方圖、累積直方圖來(lái)在基于顏色特征的索引算法中通常用顏色統(tǒng)計(jì)直方圖、累積直方圖來(lái)表示圖像的顏色特征表示圖像的顏色特征 1. 顏色特征索引的相似度匹配算法根據(jù)其顏色索引內(nèi)容和算法的不同而顏色特征索引的相似度匹配算法根據(jù)其顏色索引內(nèi)容和算法的不同而不同，主要包括直方圖相交法、不同，主要包括直方圖相交法、Manhattan距離、絕對(duì)距離距離、絕對(duì)距離(L1)、二次、二次距離距離(L2)、歐幾里德距離等、歐幾里德距離等 LOGO形狀檢索形狀檢索 基于形狀的檢索包括兩種：一是基于輪廓線的檢基于形狀的檢索包括兩種：一是基于輪廓線的檢索，二是直接針對(duì)特定形狀的圖形進(jìn)行檢索。索，二是直接針對(duì)特定形狀的圖形

8、進(jìn)行檢索。燈管 杯子基于輪廓線的檢索 特定形狀 LOGO紋理檢索紋理檢索 紋理特征代表了物體的視覺(jué)模式，它包含了物體紋理特征代表了物體的視覺(jué)模式，它包含了物體表面的組織結(jié)構(gòu)以及與周圍環(huán)境之間的關(guān)系。表面的組織結(jié)構(gòu)以及與周圍環(huán)境之間的關(guān)系。圖像的基本紋理特征主要有六方面：粗糙度圖像的基本紋理特征主要有六方面：粗糙度(coarseness) 、對(duì)比度、對(duì)比度(contrast ) 、方向度、方向度( directionality) 、線像度、線像度( line-likeness) 、規(guī)整度、規(guī)整度( regularity) 和粗略度和粗略度( rough-ness) ，其中最重要的特征主要是紋理的

9、粗，其中最重要的特征主要是紋理的粗糙度、對(duì)比度和方向度。糙度、對(duì)比度和方向度。目前紋理分析的方法基本可以分為統(tǒng)計(jì)法、結(jié)構(gòu)法、模型法和空間目前紋理分析的方法基本可以分為統(tǒng)計(jì)法、結(jié)構(gòu)法、模型法和空間/頻率域聯(lián)合分析法等四類，并將統(tǒng)計(jì)、分析的結(jié)果作為圖像的索引頻率域聯(lián)合分析法等四類，并將統(tǒng)計(jì)、分析的結(jié)果作為圖像的索引 LOGO草圖檢索 草圖特征是由原始圖像實(shí)體的邊界映射而來(lái)。根據(jù)草圖進(jìn)行查詢時(shí)，通常用手畫(huà)出圖像的大致邊界，然后利用相似性原則查詢出數(shù)據(jù)庫(kù)中具有相似邊界的圖像。LOGO 各特征的優(yōu)缺點(diǎn)比較各特征的優(yōu)缺點(diǎn)比較LOGO不同特征的相對(duì)特點(diǎn)不同特征的相對(duì)特點(diǎn) LOGO圖像的相似度度量方法圖像的相

10、似度度量方法 vMinkowsky距離距離0|p1),(nipbiaiBALpv二次式距離二次式距離、直方圖相交法、余弦距離等、直方圖相交法、余弦距離等LOGO檢索效果評(píng)價(jià)準(zhǔn)則檢索效果評(píng)價(jià)準(zhǔn)則 設(shè)設(shè)R為檢索到的結(jié)果圖像數(shù)，為檢索到的結(jié)果圖像數(shù)，S為檢索結(jié)為檢索結(jié)果中相關(guān)的圖像數(shù)，果中相關(guān)的圖像數(shù)，D為整個(gè)圖像庫(kù)中相關(guān)為整個(gè)圖像庫(kù)中相關(guān)圖像數(shù)，則圖像數(shù)，則查全率為：查全率為：查準(zhǔn)率為：查準(zhǔn)率為：DScallR/eRSP/recisionLOGO檢索效果評(píng)價(jià)準(zhǔn)則檢索效果評(píng)價(jià)準(zhǔn)則 命中準(zhǔn)確率命中準(zhǔn)確率TnPt排序測(cè)評(píng)法排序測(cè)評(píng)法、匹配百分?jǐn)?shù)、匹配百分?jǐn)?shù)、ANMRR等等LOGO國(guó)內(nèi)外系統(tǒng)實(shí)例簡(jiǎn)介 QB

11、IC IBM 的QBIC(Query By Image Content) 是第一個(gè)商業(yè)性的CBIR 系統(tǒng)。目前QBIC 系統(tǒng)的基于內(nèi)容檢索技術(shù)已經(jīng)在IBM 數(shù)字圖書(shū)館中得到了應(yīng)用，實(shí)現(xiàn)了自動(dòng)索引、歸并、對(duì)比、特征抽取和翻譯功能 Visual Seek & Web Seek PhotoBook LOGO國(guó)內(nèi)外系統(tǒng)實(shí)例簡(jiǎn)介 IngRetr 清華大學(xué)曾做過(guò)關(guān)于敦煌壁畫(huà)的圖像檢索研究清華大學(xué)曾做過(guò)關(guān)于敦煌壁畫(huà)的圖像檢索研究 MARS 中國(guó)科學(xué)院計(jì)算機(jī)技術(shù)研究所中國(guó)科學(xué)院計(jì)算機(jī)技術(shù)研究所LOGO 開(kāi)始開(kāi)始基于紋理和形狀綜合特征的圖像檢索基于紋理和形狀綜合特征的圖像檢索選擇圖像選擇圖像是否計(jì)算是否計(jì)算紋理特征紋理特征是內(nèi)部高斯歸一化內(nèi)部高斯歸一化計(jì)算紋理特征距離計(jì)算紋理特征距離否是否計(jì)算是否計(jì)算形狀特征形狀特征輸出輸出是計(jì)算形狀特征距離計(jì)算形狀特征距