數(shù)字圖像處理岡薩雷斯課件

研究生課程數(shù)字圖像處理DigitalImageProcessing彭宇新北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所E_mail:pengyuxin@研究生課程數(shù)字圖像處理DigitalImageProc1數(shù)字圖像處理? 課程介紹? 教材及參考書(shū)? 上課主要內(nèi)容? 課程目的與要求? 考試內(nèi)容? 助教老師? 國(guó)內(nèi)外相關(guān)會(huì)議和雜志? 目前需要做的事情數(shù)字圖像處理? 課程介紹2教材及參考書(shū)? 教材RafaelC.Gonzalez,RichardE.Woods著，阮秋琦、阮宇智等譯，數(shù)字圖像處理（第

二版），電子工業(yè)出版社，2003年。RafaelC.Gonzalez,RichardE.Woods，DigitalImageProcessing(SecondEdition)，PrenticeHall，2003。教材及參考書(shū)? 教材3教材及參考書(shū)（續(xù)）? 參考書(shū)KennethR.Castleman著，朱志剛、林學(xué)訚、石定機(jī)等譯，數(shù)字圖像處理，電子工業(yè)出版社，2002年。? 章毓晉，圖象工程上冊(cè)—圖象處理和分析，清華大學(xué)出版社，2003年。? 阮秋琦，數(shù)字圖像處理學(xué)，電子工業(yè)出版社，2004年。? 楊枝靈、王開(kāi)等，VisualC++數(shù)字圖像獲取、處理及實(shí)踐應(yīng)用，人民郵電出版社，2003年。? 章毓晉，基于內(nèi)容的視覺(jué)信息檢索，科學(xué)出版社，2003年。教材及參考書(shū)（續(xù)）? 參考書(shū)4上課主要內(nèi)容1. 概述2. 空間域圖像增強(qiáng)3. 彩色圖像處理4. 基于內(nèi)容的圖像檢索（補(bǔ)充）5. 傅里葉變換6. 頻率域圖像增強(qiáng)7. 圖像復(fù)原8. 圖像壓縮（1）上課主要內(nèi)容1. 概述5上課主要內(nèi)容（續(xù)）9. 圖像壓縮（2）10. 形態(tài)學(xué)圖像處理11. 圖像分割12. 表示與描述13. 基于內(nèi)容的視頻分析和檢索技術(shù)（補(bǔ)充）14. 考試復(fù)習(xí)上課主要內(nèi)容（續(xù)）9. 圖像壓縮（2）6課程目的與要求? 掌握數(shù)字圖像處理的基本概念、原理和方法? 初步運(yùn)用所學(xué)知識(shí)解決實(shí)際問(wèn)題? 為圖像處理及相關(guān)領(lǐng)域的研究打下基礎(chǔ)? 圖像處理? 計(jì)算機(jī)視覺(jué)? 基于內(nèi)容的圖像、視頻檢索? 人臉識(shí)別、指紋識(shí)別、掌紋識(shí)別、虹膜識(shí)別? 圖像分類(lèi)、圖像和視頻的語(yǔ)義概念檢測(cè)、……課程目的與要求? 掌握數(shù)字圖像處理的基本概念、原理和方法7考試內(nèi)容? 平時(shí)作業(yè)50%，考試成績(jī)50%? 平時(shí)作業(yè)選擇下列兩個(gè)之一：? 分組完成一個(gè)大作業(yè)? 其他與圖像處理相關(guān)的課題(需要上課老師認(rèn)可)? 考試閉卷完成（基本概念、原理和算法）考試內(nèi)容? 平時(shí)作業(yè)50%，考試成績(jī)50%8助教老師? 曹磊E_mail:caolei@電 話(huà)：82529384注意：有不懂的地方多問(wèn)助教老師，充分發(fā)揮助教老師的指導(dǎo)作用助教老師? 曹磊9國(guó)內(nèi)外相關(guān)會(huì)議和雜志? 國(guó)內(nèi)雜志：一級(jí)學(xué)報(bào)? 軟件學(xué)報(bào)? 電子學(xué)報(bào)? 計(jì)算機(jī)研究與發(fā)展? …Journal

ofTechnologyComputer

Science(JCST)(SCI)and? 計(jì)算機(jī)學(xué)報(bào)國(guó)內(nèi)外相關(guān)會(huì)議和雜志? 國(guó)內(nèi)雜志：一級(jí)學(xué)報(bào)? 軟件學(xué)報(bào)Jou10國(guó)內(nèi)外相關(guān)會(huì)議和雜志（續(xù)）? 國(guó)外會(huì)議：IEEEInternationalConferenceonComputerVision(ICCV)IEEEInternationalConferenceonComputerVisionandPatternRecognition(CVPR)ACMMultimediaConference(MM)國(guó)內(nèi)外相關(guān)會(huì)議和雜志（續(xù)）? 國(guó)外會(huì)議：11國(guó)內(nèi)外相關(guān)會(huì)議和雜志（續(xù)）? 國(guó)外會(huì)議：IEEEInternationalConferenceonImageProcessing(ICIP)IEEEInternationalConferenceonMultimediaandExpo(ICME)InternationalConferenceonPatternRecognition(ICPR)ACMInternationalConferenceonImageandVideoRetrieval(CIVR)? …國(guó)內(nèi)外相關(guān)會(huì)議和雜志（續(xù)）? 國(guó)外會(huì)議：12國(guó)內(nèi)外相關(guān)會(huì)議和雜志（續(xù)）? 國(guó)外期刊：IEEETransactionsonPatternAnalysisandMachineIntelligence(PAMI)IEEETransactionsonImageProcessing(IP)IEEETransactionsonCircuitsandSystemsforVideoTechnology(CSVT)InternationalJournalofComputerVision(IJCV)PatternRecognition(PR)ImageandVisionComputing(IVC)? …國(guó)內(nèi)外相關(guān)會(huì)議和雜志（續(xù)）? 國(guó)外期刊：IEEETrans13目前需要做的事情? 選課學(xué)生發(fā)送下列信息給老師:pengyuxin@? 姓名? 學(xué)號(hào)? 聯(lián)系方式：E_mail,電話(huà)? 碩士生或博士生，年級(jí)? 所在院系、實(shí)驗(yàn)室、導(dǎo)師? 研究方向目前需要做的事情? 選課學(xué)生發(fā)送下列信息給老師:pengy14數(shù)字圖像處理基礎(chǔ)? 概述? 概念：圖像、數(shù)字圖像、像素? 數(shù)字圖像處理的起源? 數(shù)字圖像處理的應(yīng)用領(lǐng)域? 圖像處理系統(tǒng)的部件? 基礎(chǔ)知識(shí)? 圖像的采樣和量化? 數(shù)字圖像的表示? 數(shù)字圖像的質(zhì)量? 像素間的一些基本關(guān)系數(shù)字圖像處理基礎(chǔ)? 概述15什么是圖像？?定義為二維函數(shù)f(x,y),其中，x,y是空間坐標(biāo)，f(x,y)是點(diǎn)（x,y）的幅值?灰度圖像是一個(gè)二維灰度（或亮度）函數(shù)f(x,y)?彩色圖像由三個(gè)（如RGB,HSV）二維灰度（或亮度）函數(shù)f(x,y)組成xyyx什么是圖像？?定義為二維函數(shù)f(x,y),其中，x,y是空間16什么是數(shù)字圖像？? 像素組成的二維排列，可以用矩陣表示?

對(duì)于單色（灰度）圖像而言，每個(gè)像素的亮度用一個(gè)數(shù)值來(lái)表示，通常數(shù)值范圍在0到255之間，0表示黑、255表示白，其它值表示處于黑白之間的灰度? 彩色圖像可以用紅、綠、藍(lán)三元組的二維矩陣來(lái)表示。通常，三元組的每個(gè)數(shù)值也是在0到255之間，0表示相應(yīng)的基色在該像素中沒(méi)有，而255則代表相應(yīng)的基色在該像素中取得最大值什么是數(shù)字圖像？? 像素組成的二維排列，可以用矩陣表示17yx數(shù)字圖像的像素表示xy什么是像素？數(shù)字圖像由二維的元素組成，每一個(gè)元素具有一個(gè)特定的位置（x,y）和幅值f(x,y),這些元素就稱(chēng)為像素yx數(shù)字圖像的像素表示xy什么是像素？18數(shù)字圖像處理的起源? 人類(lèi)分析? 圖像在傳輸過(guò)程后的更好復(fù)原? 空間應(yīng)用：圖像增強(qiáng)、圖像復(fù)原? 醫(yī)學(xué)圖像……? 作用：通過(guò)圖像增強(qiáng)、圖像復(fù)原等技術(shù)，增強(qiáng)或復(fù)原模糊或損毀的圖像? 機(jī)器感知? 自動(dòng)字符識(shí)別OCR? 人臉識(shí)別? 指紋識(shí)別，生物特征識(shí)別……數(shù)字圖像處理的起源? 圖像在傳輸過(guò)程后的更好復(fù)原19數(shù)字圖像處理的應(yīng)用領(lǐng)域? 傳統(tǒng)領(lǐng)域? 醫(yī)學(xué)、空間應(yīng)用、地理學(xué)、生物學(xué)、軍事……? 最新領(lǐng)域? 數(shù)碼相機(jī)(DC)、數(shù)碼攝像機(jī)(DV)? 指紋識(shí)別、人臉識(shí)別? 互聯(lián)網(wǎng)、視頻、多媒體等? 基于內(nèi)容的圖像檢索、視頻檢索、多媒體檢索? 水印、游戲、電影特技、虛擬現(xiàn)實(shí)、電子商務(wù)等數(shù)字圖像處理的應(yīng)用無(wú)處不在數(shù)字圖像處理的應(yīng)用領(lǐng)域? 傳統(tǒng)領(lǐng)域20例1：圖像增強(qiáng)——直方圖均衡化例1：圖像增強(qiáng)——直方圖均衡化21例2：人臉檢測(cè)與識(shí)別例2：人臉檢測(cè)與識(shí)別22例3：鏡頭邊界檢測(cè)例3：鏡頭邊界檢測(cè)23例4：基于內(nèi)容的圖像檢索例5：基于內(nèi)容的鏡頭檢索例4：基于內(nèi)容的圖像檢索例5：基于內(nèi)容的鏡頭檢索24例6：基于內(nèi)容的視頻片斷檢索例6：基于內(nèi)容的視頻片斷檢索25例7：視頻字幕識(shí)別例7：視頻字幕識(shí)別26例7：視頻字幕識(shí)別例7：視頻字幕識(shí)別27例8：101個(gè)視頻概念的檢測(cè)例8：101個(gè)視頻概念的檢測(cè)28視頻語(yǔ)義標(biāo)注的基本方法測(cè)試視頻訓(xùn)練學(xué)習(xí)標(biāo)注訓(xùn)練視頻庫(kù)語(yǔ)義概念模型視頻標(biāo)注特征提取特征提取概念檢測(cè)例8：101個(gè)視頻概念的檢測(cè)視頻語(yǔ)義標(biāo)注的基本方法測(cè)試視頻訓(xùn)練學(xué)習(xí)標(biāo)注訓(xùn)練視頻庫(kù)語(yǔ)29輸入圖像輸出圖像數(shù)字化設(shè)備圖像輸出設(shè)備InternetInternet圖像存儲(chǔ)系統(tǒng)圖像處理系統(tǒng)的基本組成結(jié)構(gòu)圖像處理計(jì)算機(jī)圖像輸入圖像輸出圖像數(shù)字化設(shè)備圖像輸出設(shè)備In30圖像處理系統(tǒng)的基本組成結(jié)構(gòu)? 主要由三大部分組成? 圖像數(shù)字化設(shè)備，包括數(shù)碼相機(jī)、數(shù)碼攝像機(jī)、帶照相和/或攝像功能的手機(jī)

等? 圖像處理設(shè)備，包括計(jì)算機(jī)和存儲(chǔ)系統(tǒng)? 圖像輸出設(shè)備，包括打印機(jī)，也可以輸出到Internet上的其它設(shè)備圖像處理系統(tǒng)的基本組成結(jié)構(gòu)31圖像存儲(chǔ)系統(tǒng)圖像文件格式體系互聯(lián)網(wǎng)用：GIF、JPG印

刷

用：TIF、JPG、TAG、PCX國(guó)際標(biāo)準(zhǔn)：TIF、JPG、BMP圖像存儲(chǔ)體系：分級(jí)存儲(chǔ)內(nèi)存存儲(chǔ)：處理時(shí)使用硬盤(pán)存儲(chǔ)：處理、備份時(shí)用（在線(xiàn)）備份存儲(chǔ)：光盤(pán)、磁帶（離線(xiàn)、近線(xiàn)）網(wǎng)絡(luò)存儲(chǔ)：SAN、NAS圖像存儲(chǔ)系統(tǒng)圖像文件格式體系32為什么要用SAN傳統(tǒng)存儲(chǔ)解決方案

—— 信息島存儲(chǔ)區(qū)域網(wǎng)SAN(StorageAreaNetwork)SAN為什么要用SAN傳統(tǒng)存儲(chǔ)解決方案—— 信息島存儲(chǔ)區(qū)域網(wǎng)SA33SAN是什么？SAN是什么？34SAN是什么？（續(xù)）不是client/server,而是client/storage devices? 獨(dú)立于LAN之外的高速存儲(chǔ)網(wǎng)絡(luò)? 一般采用高速的光纖通道作為傳輸媒體（2Gbit/s）? 將存儲(chǔ)設(shè)備通過(guò)光通道互連設(shè)備構(gòu)成一個(gè)存儲(chǔ)子網(wǎng)? 支持服務(wù)器和存儲(chǔ)設(shè)備之間任意到任意的連接? SAN上的任何一臺(tái)服務(wù)器均可存取網(wǎng)絡(luò)中的任何一個(gè)存儲(chǔ)設(shè)備? 對(duì)網(wǎng)上的存儲(chǔ)資源實(shí)施集中統(tǒng)一的管理SAN是什么？（續(xù)）不是client/server,而是cl35NAS(NetworkAttachedStorage)是什么？是優(yōu)化的文件服務(wù)器，存儲(chǔ)設(shè)備與服務(wù)器均直接連接到LAN上，使用TCP/IP等LAN協(xié)議，通過(guò)LAN實(shí)現(xiàn)數(shù)據(jù)交換和存儲(chǔ)管理。由于使用網(wǎng)絡(luò)協(xié)議，因而會(huì)有速度和延時(shí)的問(wèn)題，且系統(tǒng)擴(kuò)展能力受到網(wǎng)絡(luò)帶寬的限制。FileI/OFileI/ONAS(NetworkAttachedStorage)36SAN與NAS比較SANNAS塊級(jí)共享文件級(jí)共享遠(yuǎn)程存儲(chǔ)訪(fǎng)問(wèn)遠(yuǎn)程文件訪(fǎng)問(wèn)存儲(chǔ)專(zhuān)用網(wǎng)共享LAN存儲(chǔ)協(xié)議（如FCP)網(wǎng)絡(luò)協(xié)議(如TCP/IP)集中式管理分散式管理無(wú)限的擴(kuò)展能力有限的擴(kuò)展能力更高的連接速度和處理能力較低的連接速度和處理能力SAN與NAS比較SANNAS塊級(jí)共享文件級(jí)共享遠(yuǎn)程存儲(chǔ)訪(fǎng)問(wèn)37數(shù)字圖像處理基礎(chǔ)? 圖像的采樣和量化? 數(shù)字圖像的表示? 數(shù)字圖像的質(zhì)量? 像素間的一些基本關(guān)系鄰域處理方法是圖像增強(qiáng)和復(fù)原過(guò)程的核心數(shù)字圖像處理基礎(chǔ)38圖像的采樣和量化? 大多數(shù)傳感器的輸出是連續(xù)電壓波形? 為了產(chǎn)生一幅數(shù)字圖像，需要把連續(xù)的感知數(shù)據(jù)轉(zhuǎn)化為數(shù)字形式? 這包括兩種處理：取樣和量化? 取樣：圖像空間坐標(biāo)的數(shù)字化? 量化：圖像函數(shù)值（灰度值）的數(shù)字化圖像的采樣和量化39N圖像采樣? 空間坐標(biāo)(x,y)的數(shù)字化被稱(chēng)為圖像采樣? 確定水平和垂直方向上的像素個(gè)數(shù)N、MMN圖像采樣40? 函數(shù)取值的數(shù)字化被稱(chēng)為圖像的量化，如量化到256個(gè)灰度級(jí)f圖像的量化? 函數(shù)取值的數(shù)字化被稱(chēng)為圖像的量化，如量化到256個(gè)灰度41圖像的采樣與數(shù)字圖像的質(zhì)量圖像的采樣與數(shù)字圖像的質(zhì)量42圖像的采樣與數(shù)字圖像的質(zhì)量1024×1024 512×512256×256128×12864×6432×32圖像的采樣與數(shù)字圖像的質(zhì)量1024×1024 512×51243265x180133x9066x4533x22圖像的采樣與數(shù)字圖像的質(zhì)量265x180133x9066x4533x22圖像的采樣與數(shù)44256灰度級(jí)16灰度級(jí)8灰度級(jí)4灰度級(jí)圖像的量化與數(shù)字圖像的質(zhì)量256灰度級(jí)16灰度級(jí)8灰度級(jí)4灰度級(jí)圖像的量化與數(shù)字圖像的45? 非統(tǒng)一的圖像的采樣?

在灰度級(jí)變化尖銳的區(qū)域，用細(xì)膩的采樣，在灰度級(jí)比較平滑的區(qū)域，用粗糙的采樣圖像的采樣和量化? 非統(tǒng)一的圖像的采樣圖像的采樣和量化46圖像的采樣和量化? 非統(tǒng)一的圖像的量化?

在邊界附近使用較少的灰度級(jí)。剩余的灰度級(jí)可用于灰度級(jí)變化比較平滑的區(qū)域?

避免或減少由于量化的太粗糙，在灰度級(jí)變化比較平滑的區(qū)域出現(xiàn)假輪廓的現(xiàn)象圖像的采樣和量化47數(shù)字圖像處理基礎(chǔ)? 圖像的采樣和量化? 數(shù)字圖像的表示? 數(shù)字圖像的質(zhì)量? 像素間的一些基本關(guān)系數(shù)字圖像處理基礎(chǔ)48? 二維離散亮度函數(shù)——f(x,y)? x，y說(shuō)明圖像像素的空間坐標(biāo)? 函數(shù)值

f代表了在點(diǎn)(x,y)處像素的灰度值? 二維矩陣——A[m,n]? m

,n說(shuō)明圖像的寬和高。?

矩陣元素a(i，j)的值，表示圖像在第

i行，第

j

列的像素的灰度值；i,j表示幾何位置數(shù)字圖像的表示? 二維離散亮度函數(shù)——f(x,y)數(shù)字圖像的表示49? 圖像描述信息? 如圖像高度和寬度等信息? 圖像數(shù)據(jù)? 順序存放的連續(xù)數(shù)據(jù)BMP格式1. 位圖文件頭2. 位圖信息頭3. 調(diào)色板4. 圖像數(shù)據(jù)headData數(shù)字圖像的表示? 圖像描述信息1. 位圖文件頭headData數(shù)字圖像的表50typedef

struct

tagBITMAPFILEHEADER{WORDDWORDWORDWORDDWORDbfType;bfSize;bfReserved1;bfReserved2;bfOffBits;//文件類(lèi)型，必須是字符串”BM”//指定文件大小//保留字，不考慮//保留字，不考慮//從文件頭到位圖數(shù)據(jù)的偏移字節(jié)數(shù)}BITMAPFILEHEADER;BMP格式——1、位圖文件頭typedefstructtagBITMAPFILEHE51typedef

struct

tagBITMAPINFOHEADER{DWORDLONGLONGWORDWORDDWORDDWORDLONGLONGDWORDDWORDbiSize;biWidth;biHeight;biPlanes;biBitCountbiCompression;biSizeImage;biXPelsPerMeter;biYPelsPerMeter;biClrUsed;biClrImportant;//該結(jié)構(gòu)的長(zhǎng)度，40個(gè)字節(jié)//圖像的寬度，單位是像素//圖像的高度，單位是像素//必須是1//顏色位數(shù)，如1，4，8，24//壓縮類(lèi)型，如BI_RGB,BI_RLE4//實(shí)際位圖數(shù)據(jù)占用的字節(jié)數(shù)//水平分辨率//垂直分辨率//實(shí)際使用的顏色數(shù)//重要的顏色數(shù)}BITMAPINFOHEADER;BMP格式——2、位圖信息頭typedefstructtagBITMAPINFOHE52BMP格式——3、調(diào)色板typedef

struct

tagRGBQUAD{BYTEBYTEBYTEBYTErgbBlue;rgbGreen;rgbRed;rgbReserved;//該顏色的藍(lán)色分量//該顏色的綠色分量//該顏色的紅色分量//保留值，不考慮}RGBQUAD;注：有些位圖不需要調(diào)色板，如真彩色圖，它們的BITMAPINFOHEADER后面直接是位圖數(shù)據(jù)BMP格式——3、調(diào)色板typedefstructtag53BMP格式——4、實(shí)際的圖像數(shù)據(jù)? 對(duì)于2色位圖，1位表示一個(gè)像素顏色，所以一個(gè)字節(jié)表示8個(gè)像素? 對(duì)于16色位圖，4位表示一個(gè)像素顏色，所以一個(gè)字節(jié)表示2個(gè)像素? 對(duì)于256色位圖，1個(gè)字節(jié)表示1個(gè)像素? 對(duì)于真彩色圖，3個(gè)字節(jié)表示一個(gè)像素BMP格式——4、實(shí)際的圖像數(shù)據(jù)54數(shù)字圖像處理基礎(chǔ)? 圖像的采樣和量化? 數(shù)字圖像的表示? 數(shù)字圖像的質(zhì)量? 像素間的一些基本關(guān)系數(shù)字圖像處理基礎(chǔ)55圖像的質(zhì)量：1、層次? 灰度級(jí)：表示像素明暗程度的整數(shù)量例如：像素的取值范圍為0-255，就稱(chēng)該圖像為256個(gè)灰度級(jí)的圖像? 層 次：表示圖像實(shí)際擁有的灰度級(jí)的數(shù)量例如：具有32種不同取值的圖像，可稱(chēng)該圖像具有32個(gè)層次圖像數(shù)據(jù)的實(shí)際層次越多，視覺(jué)效果就越好圖像的質(zhì)量：1、層次56256個(gè)層次的圖像16個(gè)層次的圖像64個(gè)層次的圖像圖像的質(zhì)量：1、層次256個(gè)層次的圖像16個(gè)層次的圖像64個(gè)層次的圖像圖像的質(zhì)量57圖像的質(zhì)量：2、對(duì)比度? 對(duì)比度：是指一幅圖像中灰度反差的大小對(duì)比度=最大亮度

/最小亮度圖像的質(zhì)量：2、對(duì)比度58?

與清晰度相關(guān)的主要因素?

亮度?

對(duì)比度?

尺寸大小?

細(xì)微層次?

顏色飽和度圖像的質(zhì)量：3、清晰度?與清晰度相關(guān)的主要因素?亮度圖像的質(zhì)量：3、清晰度59降低亮度影響清晰度因素——1、亮度原圖降低亮度影響清晰度因素——1、亮度原圖60降低對(duì)比度原圖影響清晰度因素——2、對(duì)比度降低對(duì)比度原圖影響清晰度因素——2、對(duì)比度61縮小尺寸原圖影響清晰度因素——3、尺寸大小縮小尺寸原圖影響清晰度因素——3、尺寸大小62減少細(xì)微層次原圖影響清晰度因素——4、細(xì)微層次減少細(xì)微層次原圖影響清晰度因素——4、細(xì)微層次63降低顏色飽和度原圖影響清晰度因素——5、顏色飽和度降低顏色飽和度原圖影響清晰度因素——5、顏色飽和度64數(shù)字圖像處理基礎(chǔ)? 圖像的采樣和量化? 數(shù)字圖像的表示? 數(shù)字圖像的質(zhì)量? 像素間的一些基本關(guān)系數(shù)字圖像處理基礎(chǔ)65像素間的一些基本關(guān)系? 相鄰像素：? 4鄰域? D鄰域? 8鄰域? 連通性? 4連通? 8連通? m連通? 距離像素間的一些基本關(guān)系? 相鄰像素：66(x-1,y)P(x+1,y)? 4鄰域：像素p(x,y)的4鄰域是：(x+1,y)；(x-1,y)；(x,y+1)；(x,y-1)? 用N4(p)表示像素p的4鄰域(x,y+1)(x,y-1)相鄰像素——4鄰域(x-1,y)P(x+1,y)? 4鄰域：像素p(x,y)的67?D鄰域定義：像素p(x,y)的D鄰域是：對(duì)角上的點(diǎn)(x+1,y+1)；(x+1,y-1)；(x-1,y+1)；(x-1,y-1)?用ND(p)表示像素p的D鄰域相鄰像素——D鄰域(x-1,y+1)(x+1,y+1)(x-1,y-1)(x+1,y-1)P?D鄰域定義：像素p(x,y)的D鄰域是：相鄰像素——D鄰域68相鄰像素——8鄰域? 8鄰域定義：像素p(x,y)的8鄰域是：4鄰域的點(diǎn)

＋

D鄰域的點(diǎn)? 用N8(p)表示像素p的8鄰域。N8(p)

=

N4(p)

+

ND(p)P相鄰像素——8鄰域P69?

連通性是描述區(qū)域和邊界的重要概念?

兩個(gè)像素連通的兩個(gè)必要條件是：?

兩個(gè)像素的位置是否相鄰?

兩個(gè)像素的灰度值是否滿(mǎn)足特定的相似性準(zhǔn)則（或者是否相等）?

4連通、8連通、m連通的定義像素間的連通性?連通性是描述區(qū)域和邊界的重要概念?兩個(gè)像素的位置是否70?

對(duì)于具有值V的像素p和q，如果q在集合N4(p)中，則稱(chēng)這兩個(gè)像素是4連通的像素的連通性——4連通pq?對(duì)于具有值V的像素p和q，如果q在集合N4(p)中，則71像素的連通性——8連通?對(duì)于具有值V的像素p和q，如果q在集合N8(p)中，則稱(chēng)這兩個(gè)像素是8連通的pq像素的連通性——8連通pq72? 對(duì)于具有值V的像素p和q，如果:I. q在集合N4(p)中，或II. q在集合ND(p)中，并且N4(p)與N4(q)的交集為空（沒(méi)有值V的像素）則稱(chēng)這兩個(gè)像素是m連通的，即4連通和D連通的混合連通。像素的連通性——m連通? 對(duì)于具有值V的像素p和q，如果:I. q在集合N4(p)73是m連通不是m連通像素的連通性—— m連通√√p √√√√

q√√√√p√√√√q√√是m連通不是m連通像素的連通性—— m連通√√p √√√√74? 通路的定義一條從具有坐標(biāo)(x,y)的像素p,到具有坐標(biāo)(s,t)的像素q的通路，是具有坐標(biāo)(x0,y0),(x1,y1),...,(xn,yn)的不同像素的序列。其中，(x0,y0)

=(x,y)，(xn,yn)

=(s,t)，(xi,yi)和(xi-1,yi-1)是鄰接的，1

≤

i

≤n，n是路徑的長(zhǎng)度。如果(x0,y0)

=(xn,yn),則該通路是閉合通路像素的連通性——通路? 通路的定義像素的連通性——通路75? 像素之間距離的定義? 歐氏距離定義? D4距離（城市距離）定義? D8距離（棋盤(pán)距離）定義像素的連通性——距離? 像素之間距離的定義像素的連通性——距離76像素之間距離的定義對(duì)于像素p、q和z，分別具有坐標(biāo)(x,y)，(s,t)和(u,v)，如果(1)

D(p,q) ≥

0(D(p,q)=0，當(dāng)且僅當(dāng)p =q),(2)

D(p,q) = D(q,p)(3) D(p,z)≤

D(p,q)

+

D(q,z)則稱(chēng)D是距離函數(shù)或度量像素之間距離的定義77歐式距離定義?

像素p(x,y)和q(s,t)間的歐式距離定義如下：D

p,

q

x

s2

y

t2e?

對(duì)于這個(gè)距離計(jì)算法，具有與(x,y)距離小于等于某個(gè)值r的像素是：包含在以(x,y)為圓心，以r為半徑的圓平面歐式距離定義78D4距離（城市距離）像素p(x,y)和q(s,t)之間的D4距離定義為：D4(p,q)

=|x

– s|

+|y– t|D4距離（城市距離）像素p(x,y)和q(s,t)之間的D479? 具有D4=1的像素是(x,y)的4鄰域rD4距離舉例?

具有與(x,y)距離小于等于某個(gè)值r的那些像素形成一個(gè)菱形? 例如，與點(diǎn)(x,y)（中心點(diǎn)）D4距離小于等于2的像素，形成右邊固定距離的輪廓2212210122122? 具有D4=1的像素是(x,y)的4鄰域rD4距離舉例280D8距離（棋盤(pán)距離）

像素p(x,y)和q(s,t)之間的D8距離定義為：D8(p,q)

=max(|x

– s| ,|y

– t|)D8距離（棋盤(pán)距離）像素p(x,y)和q(s,t)之間的D81rD8距離舉例?

具有與(x,y)距離小于等于某個(gè)值r的那些像素形成一個(gè)正方形? 例如，與點(diǎn)(x,y)（中心點(diǎn)）D

距離小于等8于2的像素，形成右邊固定距離的輪廓? 具有D8=1的像素是(x,y)的8鄰域2222221112210122111222222rD8距離舉例?具有與(x,y)距離小于等于某個(gè)值r的82數(shù)字圖像處理（1）任何問(wèn)題？數(shù)字圖像處理（1）任何問(wèn)題？83研究生課程數(shù)字圖像處理DigitalImageProcessing彭宇新北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所E_mail:pengyuxin@研究生課程數(shù)字圖像處理DigitalImageProc84研究生課程圖像增強(qiáng)處理策略處理方法

空域方法點(diǎn)處理（變換）模板處理（濾波）頻域方法全局處理局部處理處理對(duì)象灰度圖像彩色圖像研究生課程圖像增強(qiáng)處理策略處理方法空域方法點(diǎn)處理85空間域圖像增強(qiáng)? 基礎(chǔ)知識(shí)? 基本概念? 點(diǎn)運(yùn)算? 代數(shù)運(yùn)算? 直方圖運(yùn)算? 應(yīng)用實(shí)例——鏡頭邊界的檢測(cè)（補(bǔ)充知識(shí)）? 空間濾波器? 平滑空間濾波器? 銳化空間濾波器空間域圖像增強(qiáng)? 基礎(chǔ)知識(shí)86基本概念? 圖像增強(qiáng)分為兩類(lèi)：? 空間域增強(qiáng)：對(duì)圖像的像素直接處理? 頻域增強(qiáng)：修改圖像的傅里葉變換（后面介紹）? 空間域增強(qiáng)：

gx,

y

Tf

x,

y? f(x,y)是原圖像? g(x,y)是處理后的圖像? T是作用于f的操作，定義在(x,y)的鄰域? 空間域增強(qiáng)的簡(jiǎn)化形式：

s

Tr? r是f(x,y)在任意點(diǎn)(x,y)的灰度級(jí)? s是g(x,y)在任意點(diǎn)(x,y)的灰度級(jí)基本概念87點(diǎn)運(yùn)算點(diǎn)運(yùn)算88點(diǎn)運(yùn)算——1反轉(zhuǎn)變換，2對(duì)數(shù)變換?? [0,L-1]為圖像的灰度級(jí)。作用：黑的變白，白的變黑??? 有時(shí)原圖的動(dòng)態(tài)范圍太大，超出某些顯示設(shè)備的允許動(dòng)態(tài)范圍，如直接使用原圖，則一部分細(xì)節(jié)可能丟失? 解決辦法是對(duì)原圖進(jìn)行灰度壓縮，如對(duì)數(shù)變換反轉(zhuǎn)變換：s

L

1

r對(duì)數(shù)變換：s

c

log1

r? c是常數(shù)r

0點(diǎn)運(yùn)算——1反轉(zhuǎn)變換，2對(duì)數(shù)變換?? [0,L-1]為圖像的89點(diǎn)運(yùn)算——1反轉(zhuǎn)變換，2對(duì)數(shù)變換? 圖a顯示了值為0-

1.5106

的傅里葉頻譜? 在一個(gè)8位的系統(tǒng)中顯示? 圖b顯示了對(duì)數(shù)變換在8位系統(tǒng)中的顯示結(jié)果ab點(diǎn)運(yùn)算——1反轉(zhuǎn)變換，2對(duì)數(shù)變換? 圖a顯示了值為0-1.90點(diǎn)運(yùn)算——3冪次變換? 冪次變換：s

cr

? c和

是正常數(shù)?

1

提高灰度級(jí)，在正比函數(shù)上方，使圖像變亮?

1

降低灰度級(jí)，在正比函數(shù)下方，使圖像變暗點(diǎn)運(yùn)算——3冪次變換? 冪次變換：scr? c和91? 例：人體胸上部脊椎骨折的核磁共振圖像?

1

提高灰度級(jí)，使圖像變亮。c=1,

0.6,0.4,0.3點(diǎn)運(yùn)算——3冪次變換

0.4增強(qiáng)效果最好? 例：人體胸上部脊椎骨折的核磁共振圖像點(diǎn)運(yùn)算——3冪次變換92點(diǎn)運(yùn)算——3冪次變換

5? 例：航空地面圖像?

1降低灰度級(jí)，使圖像變暗c=1,

3,4,5

3√

4√點(diǎn)運(yùn)算——3冪次變換5? 例：航空地面圖像493點(diǎn)運(yùn)算——4對(duì)比度拉伸思想：提高圖像處理時(shí)灰度級(jí)的動(dòng)態(tài)范圍點(diǎn)運(yùn)算——4對(duì)比度拉伸思想：提高圖像處理時(shí)灰度級(jí)的動(dòng)態(tài)范圍94點(diǎn)運(yùn)算——5灰度級(jí)切片關(guān)心范圍指定較高值，其它保持不變r(jià)r關(guān)心范圍指定較高值，其它指定較低值ssa變換b變換一幅圖像a變換結(jié)果點(diǎn)運(yùn)算——5灰度級(jí)切片關(guān)心范圍指定較高值，其它保持不變r(jià)r950255255點(diǎn)運(yùn)算——5灰度級(jí)切片0255255點(diǎn)運(yùn)算——5灰度級(jí)切片96點(diǎn)運(yùn)算——6位平面切片? 位平面切片假設(shè)圖像中每個(gè)像素的灰度級(jí)是256，這可以用8位來(lái)表示，假設(shè)圖像是由8個(gè)1位平面組成，范圍從位平面0到位平面7。其中，位平面0包含圖像中像素的最低位，位平面7包含像素的最高位點(diǎn)運(yùn)算——6位平面切片? 位平面切片假設(shè)圖像中每個(gè)像素的97點(diǎn)運(yùn)算——6位平面切片? 作用? 通過(guò)對(duì)特定位提高亮度，改善圖像質(zhì)量? 較高位（如前4位）包含大多數(shù)視覺(jué)重要數(shù)據(jù)? 較低位（如后4位）對(duì)圖像中的微小細(xì)節(jié)有作用? 分解為位平面，可以分析每一位在圖像中的相對(duì)重要性點(diǎn)運(yùn)算——6位平面切片? 作用98點(diǎn)運(yùn)算——6位平面切片一幅8比特分形圖像點(diǎn)運(yùn)算——6位平面切片99點(diǎn)運(yùn)算——6位平面切片點(diǎn)運(yùn)算——6位平面切片100代數(shù)運(yùn)算? 算術(shù)運(yùn)算? 加? 減? 乘? 除:一幅圖像取反和另一幅圖像相乘? 邏輯運(yùn)算? 非? 與? 或? 異或代數(shù)運(yùn)算? 算術(shù)運(yùn)算101? 加法運(yùn)算的定義C(x,y)

=A(x,y)

+B(x,y)? 主要應(yīng)用舉例?

去除疊加性噪聲?

生成圖像疊加效果代數(shù)運(yùn)算——加法? 加法運(yùn)算的定義代數(shù)運(yùn)算——加法102? 去除疊加性噪聲對(duì)于原圖像f(x,y),有一個(gè)噪聲圖像集{gi(x,y)

}i=1,2,...N其中：gi(x,y)

=f(x,y)

+h(x,y)i假設(shè)噪聲h(x,y)均值為0，且互不相關(guān)N個(gè)圖像的均值定義為：g(x,y)

=

1/N(g0(x,y)+g1(x,y)+…+

gN(x,y))期望值E(g(x,y))

=f(x,y)上述圖像均值將降低噪聲的影響代數(shù)運(yùn)算——加法? 去除疊加性噪聲{gi(x,y)}i=1,2,...103代數(shù)運(yùn)算——加法原圖噪聲圖像N=8N=16N=64N=128? 去除疊加性噪聲——星系圖舉例代數(shù)運(yùn)算——加法原圖噪聲圖像N=8N=16N=64N=128104N=8N=16N=64N=128去除疊加性噪聲——星系圖舉例灰度級(jí)差別越小，圖像越暗? 原圖與均值圖像的差值圖像和直方圖像素個(gè)數(shù)均值減小，標(biāo)準(zhǔn)差減小N=8N=16N=64N=128去除疊加性噪聲——星系圖舉例105? 生成圖像疊加效果對(duì)于兩個(gè)圖像f(x,y)和h(x,y)的均值有：g(x,y)

=1/2f(x,y)

+1/2h(x,y)推廣這個(gè)公式為：g(x,y)

=αf(x,y)

+βh(x,y)其中α+β=

1可以得到各種圖像合成的效果，也可以用于兩張圖片的銜接代數(shù)運(yùn)算——加法? 生成圖像疊加效果對(duì)于兩個(gè)圖像f(x,y)和h(x,y)106代數(shù)運(yùn)算——加法代數(shù)運(yùn)算——加法107? 減法的定義C(x,y)=A(x,y)-B(x,y)? 主要應(yīng)用舉例? 顯示兩幅圖像的差異，檢測(cè)同一場(chǎng)景兩幅圖像之間的變化如：視頻中鏡頭邊界的檢測(cè)? 去除不需要的疊加性圖案? 圖像分割：如分割運(yùn)動(dòng)的車(chē)輛，減法去掉靜止部分，剩余的是運(yùn)動(dòng)元素和噪聲代數(shù)運(yùn)算——減法? 減法的定義代數(shù)運(yùn)算——減法108?

檢測(cè)同一場(chǎng)景兩幅圖像之間的變化設(shè)：時(shí)間1的圖像為T(mén)1(x,y)，時(shí)間2的圖像為T(mén)2(x,y)g(x,y)=T2 (x,y)-T1(x,y)例：視頻中鏡頭邊界的檢測(cè)(后面介紹)代數(shù)運(yùn)算——減法?檢測(cè)同一場(chǎng)景兩幅圖像之間的變化設(shè)：時(shí)間1的圖像為T(mén)1(x109? 去除不需要的疊加性圖案設(shè)：背景圖像

b(x,y)

，前景背景混合

圖

像f(x,y)g(x,y)

=f(x,y)– b(x,y)g(x,y)為去除了背景的圖像。代數(shù)運(yùn)算——減法? 去除不需要的疊加性圖案代數(shù)運(yùn)算——減法110代數(shù)運(yùn)算——減法g(x,y)疊加藍(lán)色背景減去背景b(x,y)? 去除不需要的疊加性圖案例：電視制作的藍(lán)屏技術(shù)問(wèn)題？f(x,y)代數(shù)運(yùn)算——減法g(x,y)疊加藍(lán)色背景減去背景b(x,y)111代數(shù)運(yùn)算——乘法? 乘法的定義C(x,y)=A(x,y)*B(x,y)? 主要應(yīng)用舉例? 圖像的局部顯示用二值蒙板圖像與原圖像做乘法代數(shù)運(yùn)算——乘法112代數(shù)運(yùn)算——乘法×＝代數(shù)運(yùn)算——乘法×＝113? 非的定義g(x,y)

=255

-f(x,y)? 主要應(yīng)用舉例?

獲得一個(gè)陰圖像?

獲得一個(gè)子圖像的補(bǔ)圖像代數(shù)運(yùn)算——1、非? 非的定義代數(shù)運(yùn)算——1、非114代數(shù)運(yùn)算——1、非? 獲得一個(gè)陰圖像代數(shù)運(yùn)算——1、非115=代數(shù)運(yùn)算——1、非? 獲得一個(gè)子圖像的補(bǔ)圖像=代數(shù)運(yùn)算——1、非116? 與運(yùn)算的定義g(x,y)=f(x,y)

h(x,y)? 主要應(yīng)用舉例? 求兩個(gè)子圖像的相交子圖=代數(shù)運(yùn)算——2、與? 與運(yùn)算的定義=代數(shù)運(yùn)算——2、與117代數(shù)運(yùn)算——2、與? 模板運(yùn)算：提取感興趣的子圖像代數(shù)運(yùn)算——2、與118? 或運(yùn)算的定義g(x,y)=f(x,y)vh(x,y)? 主要應(yīng)用舉例? 合并子圖像=代數(shù)運(yùn)算——3、或? 或運(yùn)算的定義=代數(shù)運(yùn)算——3、或119代數(shù)運(yùn)算——3、或? 模板運(yùn)算：提取感興趣的子圖像代數(shù)運(yùn)算——3、或120? 異或運(yùn)算的定義g(x,y)=f(x,y)

h(x,y)? 主要應(yīng)用舉例? 獲得相交子圖像代數(shù)運(yùn)算——4、異或=? 異或運(yùn)算的定義代數(shù)運(yùn)算——4、異或=121直方圖運(yùn)算? 直方圖定義? 直方圖均衡化直方圖運(yùn)算? 直方圖定義122一個(gè)灰度級(jí)在范圍[0，L-1]的數(shù)字圖像的直方圖是一個(gè)離散函數(shù)h(rk)=

nknk是圖像中灰度級(jí)為rk的像素個(gè)數(shù)rk

是第k個(gè)灰度級(jí)，k

=0,1,2,…,L-1由于rk的增量是1，直方圖可表示為：p(k)=nk即，圖像中不同灰度級(jí)像素出現(xiàn)的次數(shù)直方圖定義? 圖像直方圖的定義（1）一個(gè)灰度級(jí)在范圍[0，L-1]的數(shù)字圖像的直方圖是一個(gè)離散123? 圖像直方圖的定義（2）一個(gè)灰度級(jí)在范圍[0，L-1]的數(shù)字圖像的直方圖是一個(gè)離散函數(shù)p(rk)=nk/nn

是圖像的像素總數(shù)nk是圖像中灰度級(jí)為rk的像素個(gè)數(shù)rk

是第k個(gè)灰度級(jí)，k

=0,1,2,…,L-1直方圖定義? 圖像直方圖的定義（2）直方圖定義124? 兩種圖像直方圖定義的比較其中，定義（2）?

使函數(shù)值正則化到[0,1]區(qū)間，成為實(shí)數(shù)函數(shù)?

函數(shù)值的范圍與象素的總數(shù)無(wú)關(guān)?

給出灰度級(jí)rk在圖像中出現(xiàn)的概率密度統(tǒng)計(jì)直方圖定義h(rk)=nk定義(1)p(rk)=nk/n定義(2)? 兩種圖像直方圖定義的比較其中，定義（2）直方圖定義h(r125? 圖像直方圖的定義舉例p(rk)

rk直方圖定義? 圖像直方圖的定義舉例rk直方圖定義126灰度級(jí)rk像素?cái)?shù)目p(rk)直方圖均衡化達(dá)到的效果灰度級(jí)rk像素?cái)?shù)目p(rk)直方圖均衡化達(dá)到的效果127? 直方圖應(yīng)用舉例——直方圖均衡化?

希望一幅圖像的像素占有全部可能的灰度級(jí)且分布均勻，能夠具有高對(duì)比度?

使用的方法是灰度級(jí)變換：s

=T(r)?

基本思想是把原始圖的直方圖變換為均勻分布的形式，這樣就增加了像素灰度值的動(dòng)態(tài)范圍，從而達(dá)到增強(qiáng)圖像整體對(duì)比度的效果直方圖均衡化? 直方圖應(yīng)用舉例——直方圖均衡化直方圖均衡化128直方圖均衡化0≤r≤1s=T(r)T(r)滿(mǎn)足下列兩個(gè)條件：（1）T(r)在區(qū)間0≤r≤1中為單值且單調(diào)遞增（2）當(dāng)0≤r≤1時(shí),0≤T(r)≤1條件（1）保證原圖各灰度級(jí)在變換后仍保持從黑到白（或從白到黑）的排列次序條件（2）保證變換前后灰度值動(dòng)態(tài)范圍的一致性直方圖均衡化0≤r≤1s=T(r)（1）T(r)在區(qū)間0≤r129直方圖均衡化Pr(r)是r的概率密度函數(shù)，Ps(s)是s的概率密度函數(shù)，Pr(r)和T(r)已知，且T-1(s)滿(mǎn)足上述條件(1)，所以dss rP s

P

r

dr直方圖均衡化dss rP s P rdr130直方圖均衡化r已知一種重要的變換函數(shù)：s

T

r

0

pr

w

dwds

dT dr drrrr??p w

dw

?

p

r

dr ??r

d

?

0關(guān)于上限的定積分的導(dǎo)數(shù)就是該上限的積分值（萊布尼茨準(zhǔn)則）1

1p r

p r

drrrps

s

pr

r

ds直方圖均衡化r已知一種重要的變換函數(shù)：sTr131直方圖均衡化n對(duì)于離散值：p

r

nkr kjr jk knnp r

s

T

r

kj

0j

0k＝0,1,2,…,L-1sk稱(chēng)作直方圖均衡化將輸入圖像中灰度級(jí)為rk（橫坐標(biāo)）的像素映射到輸出圖像中灰度級(jí)為sk

（橫坐標(biāo)）的對(duì)應(yīng)像素得到已知變換函數(shù)的離散形式為：k直方圖均衡化n對(duì)于離散值：p r nkr kjr j132數(shù)字圖像處理岡薩雷斯課件133jr jnnp

r

sk

Trk

kj0kj0直方圖均衡化rkskjr jnnprskTrkkk直方134應(yīng)用——鏡頭邊界的檢測(cè)? 為什么要補(bǔ)充該部分知識(shí)？? 涉及兩幅圖像相減? 涉及直方圖知識(shí)? 涉及兩幅圖像直方圖的相減? 什么是鏡頭？? 鏡頭檢測(cè)方法1——連續(xù)幀相減? 鏡頭檢測(cè)方法2——連續(xù)幀的直方圖相減? 鏡頭檢測(cè)方法3——時(shí)空切片分析應(yīng)用——鏡頭邊界的檢測(cè)? 為什么要補(bǔ)充該部分知識(shí)？135什么是鏡頭？? 從視頻的制造產(chǎn)生來(lái)看，視頻由一個(gè)個(gè)鏡頭(shot)所組成? 一個(gè)鏡頭是指一系列連續(xù)記錄的圖像幀，用于表示一個(gè)時(shí)間段或相同地點(diǎn)連續(xù)的動(dòng)作? 鏡頭由攝像機(jī)一次攝像的開(kāi)始和結(jié)束所決定什么是鏡頭？? 從視頻的制造產(chǎn)生來(lái)看，視頻由一個(gè)個(gè)鏡頭(s136什么是鏡頭？? 檢測(cè)到鏡頭及由鏡頭產(chǎn)生的關(guān)鍵幀，可以：? 提供基于關(guān)鍵幀的視頻瀏覽? 提供基于內(nèi)容的視頻檢索和查詢(xún)? 計(jì)算機(jī)自動(dòng)分析和總結(jié)，節(jié)省人力和時(shí)間? 使海量視頻數(shù)據(jù)的管理和索引成為可能什么是鏡頭？? 檢測(cè)到鏡頭及由鏡頭產(chǎn)生的關(guān)鍵幀，可以：137鏡頭檢測(cè)方法1——連續(xù)幀相減? 算法原理：計(jì)算相鄰兩幀像素變化的數(shù)目。當(dāng)超過(guò)設(shè)定的閾值時(shí)，即找到鏡頭的邊界? 缺點(diǎn)：對(duì)攝像機(jī)運(yùn)動(dòng)敏感，如放縮、平移? 解決辦法：通過(guò)濾波器的使用來(lái)降低。在比較一幀的每個(gè)像素前，用它的鄰近區(qū)域的平均值來(lái)代替，這也過(guò)濾了輸入圖像的一些噪聲×√√√鏡頭檢測(cè)方法1——連續(xù)幀相減? 算法原理：計(jì)算相鄰兩幀像素變138鏡頭檢測(cè)方法2——直方圖相減? 算法原理：統(tǒng)計(jì)相鄰兩幀中所有像素在不同灰度（顏色）上的分布差異，當(dāng)差異的累加值超過(guò)閾值T時(shí)，即檢測(cè)到鏡頭邊界（后面有算法的詳細(xì)說(shuō)明）? 優(yōu)點(diǎn)：對(duì)對(duì)象運(yùn)動(dòng)不敏感，因?yàn)橹狈綀D忽略了幀內(nèi)的空間變化?

缺點(diǎn)：可能兩個(gè)圖像有類(lèi)似的直方圖但卻是完全不同的內(nèi)容。然而，這種事件的概率是足夠低鏡頭檢測(cè)方法2——直方圖相減139鏡頭檢測(cè)方法2——直方圖相減（1）首先計(jì)算相鄰兩幀顏色分布差值的均值和方差鏡頭檢測(cè)方法2——直方圖相減（1）首先計(jì)算相鄰兩幀顏色分布差140鏡頭檢測(cè)方法2——直方圖相減參考文獻(xiàn)：H.J.Zhang,A.Kankanhalli,andS.W.Smoliar,

“AutomaticPartitioningofFull-MotionVideo”.ACMMultimediaSystem,Apr.1993.鏡頭檢測(cè)方法2——直方圖相減參考文獻(xiàn)：141鏡頭檢測(cè)方法3——時(shí)空切片分析什么是時(shí)空切片spatio-temporalslices？鏡頭檢測(cè)方法3——時(shí)空切片分析什么是時(shí)空切片spatio-t142鏡頭檢測(cè)方法3——時(shí)空切片分析? 顏色和紋理的不連續(xù)，表明鏡頭邊界的出現(xiàn)鏡頭檢測(cè)方法3——時(shí)空切片分析? 顏色和紋理的不連續(xù)，表明鏡143鏡頭檢測(cè)方法3——時(shí)空切片分析? 紋理的方向表明攝像機(jī)和對(duì)象的不同運(yùn)動(dòng)鏡頭檢測(cè)方法3——時(shí)空切片分析144鏡頭檢測(cè)方法3——時(shí)空切片分析? 參考文獻(xiàn)：C.W.Ngo,T.C.Pong,andR.T.Chin.“VideoPartitioningbyTemporalSliceCoherency”.IEEETransactionsonCircuitsandSystemsforVideoTechnology,Aug.2001.鏡頭檢測(cè)方法3——時(shí)空切片分析? 參考文獻(xiàn)：145空間域圖像增強(qiáng)? 基礎(chǔ)知識(shí)? 基本概念? 點(diǎn)運(yùn)算? 代數(shù)運(yùn)算? 直方圖運(yùn)算? 應(yīng)用－鏡頭邊界的檢測(cè)? 空間濾波器? 平滑空間濾波器? 銳化空間濾波器空間域圖像增強(qiáng)? 基礎(chǔ)知識(shí)146空間濾波器? 空間濾波和空間濾波器的定義使用空間模板進(jìn)行的圖像處理，被稱(chēng)為空間濾波。模板本身被稱(chēng)為空間濾波器空間濾波器147空間濾波和空間濾波器的定義?在

MN

的圖像f上，使用

mn

的濾波器：a bgx,

y

ws,

t

f

x

s,

y

t

sat

b其中，m=2a+1,n=2b+1,w(s,t)是濾波器系數(shù)，f(x,y)是圖像值? 空間濾波的簡(jiǎn)化形式：mnR

w1z1

w2z2

...wmnzmn

wi

zii1其中，w是濾波器系數(shù)，z是與該系數(shù)對(duì)應(yīng)的圖像灰度值，mn為濾波器中包含的像素點(diǎn)總數(shù)空間濾波和空間濾波器的定義?在MN的圖像f上，使用m148? 平滑空間濾波器的作用? 模糊處理:去除圖像中一些不重要的細(xì)節(jié)? 減小噪聲? 平滑空間濾波器的分類(lèi)? 線(xiàn)性濾波器：均值濾波器? 非線(xiàn)性濾波器? 最大值濾波器? 中值濾波器? 最小值濾波器? 平滑空間濾波器的作用? 模糊處理:去除圖像中一些不重要的149線(xiàn)性濾波器? 包含在濾波器鄰域內(nèi)像素的平均值，也稱(chēng)為均值濾波器? 作用? 減小圖像灰度的“尖銳”變化，減小噪聲? 由于圖像邊緣是由圖像灰度尖銳變化引起的，所以也存在邊緣模糊的問(wèn)題線(xiàn)性濾波器150線(xiàn)性濾波器a ba bws,

t

sat

bws,

t

f

x

s,

y

t

gx,

y

sat

b

ab圖a是標(biāo)準(zhǔn)的像素平均值圖b是像素的加權(quán)平均，表明一些像素更為重要線(xiàn)性濾波器a ba bws,tws,t151線(xiàn)性濾波器——例1原圖3

x

35

x

59

x

915x1535x35線(xiàn)性濾波器——例1原圖3x35x59x915x152線(xiàn)性濾波器——例2原圖15x15閾值＝25％x

b圖像的最高亮度提取感興趣物體而模糊圖像線(xiàn)性濾波器——例2原圖15x15閾值＝25％xb圖像153? 什么是統(tǒng)計(jì)排序?yàn)V波器？? 是一種非線(xiàn)性濾波器? 基于濾波器所在圖像區(qū)域中像素的排序，由排序結(jié)果決定的值代替中心像素的值? 分類(lèi)? 中值濾波器：用像素領(lǐng)域內(nèi)的中間值代替該像素? 最大值濾波器：用像素領(lǐng)域內(nèi)的最大值代替該像素? 最小值濾波器：用像素領(lǐng)域內(nèi)的最小值代替該像素統(tǒng)計(jì)排序?yàn)V波器? 什么是統(tǒng)計(jì)排序?yàn)V波器？統(tǒng)計(jì)排序?yàn)V波器154? 中值濾波器?

主要用途：去除噪聲?

計(jì)算公式：R

=mid{zk|

k

=1,2,…,n}? 最大值濾波器?

主要用途：尋找最亮點(diǎn)?

計(jì)算公式：R

=max{zk|

k

=1,2,…,n}? 最小值濾波器?

主要用途：尋找最暗點(diǎn)?

計(jì)算公式：R

=min{zk|

k

=1,2,…,n}統(tǒng)計(jì)排序?yàn)V波器? 中值濾波器統(tǒng)計(jì)排序?yàn)V波器155? 中值濾波的原理?

用模板區(qū)域內(nèi)像素的中間值，作為結(jié)果值R=mid{zk |k=1,2,…,n}?

強(qiáng)迫突出的亮點(diǎn)（暗點(diǎn)）更象它周?chē)闹?，以消除孤立的亮點(diǎn)（暗點(diǎn)）中值濾波器? 中值濾波的原理中值濾波器156?中值濾波算法的實(shí)現(xiàn)?

將模板區(qū)域內(nèi)的像素排序，求出中間值例如：3x3的模板，第5大的是中值，5x5的模板，第13大的是中值，7x7的模板，第25大的是中值，9x9的模板，第41大的是中值。?

對(duì)于同值像素，連續(xù)排列。如（10,15,20,20,20,20,20,25,100）中值濾波器?中值濾波算法的實(shí)現(xiàn)中值濾波器157中值濾波器?中值濾波算法的特點(diǎn)?在去除噪音的同時(shí)，可以比較好地保留邊的銳度和圖像的細(xì)節(jié)（優(yōu)于均值濾波器）?能夠有效去除脈沖噪聲：以黑白點(diǎn)疊加在圖像上中值濾波器158中值濾波器原圖3x3均值濾波3x3中值濾波中值濾波器原圖3x3均值濾波3x3中值濾波159最大值濾波器最大值濾波器160最小值濾波器最小值濾波器161銳化濾波器? 銳化濾波器的主要用途?

突出圖像中的細(xì)節(jié)，增強(qiáng)被模糊了的細(xì)節(jié)?

印刷中的細(xì)微層次強(qiáng)調(diào)。彌補(bǔ)掃描對(duì)圖像的鈍化?

超聲探測(cè)成像，分辨率低，邊緣模糊，通過(guò)銳化來(lái)改善?

圖像識(shí)別中，分割前的邊緣提取?

銳化處理恢復(fù)過(guò)度鈍化、暴光不足的圖像?

尖端武器的目標(biāo)識(shí)別、定位銳化濾波器? 銳化濾波器的主要用途162?微分濾波器的原理?

均值產(chǎn)生鈍化的效果，而均值與積分相似，由此而聯(lián)想到，微分能不能產(chǎn)生相反的效果，即銳化的效果？結(jié)論是肯定的。?

在圖像處理中應(yīng)用微分最常用的方法是計(jì)算梯度。函數(shù)f(x,y)在(x,y)處的梯度為一個(gè)向量：銳化濾波器????

????

y

???

f?

x

??

f?

G?

G?

f

y

?x?微分濾波器的原理銳化濾波器??? ????y ?163銳化濾波器?

銳化濾波器的分類(lèi)?

二階微分濾波器－拉普拉斯算子?

一階微分濾波器－梯度算子銳化濾波器?銳化濾波器的分類(lèi)?一階微分濾波器－梯度算子164拉普拉斯算子? 圖像函數(shù)的拉普拉斯變換定義為2 2f

fx2 y22

f

2f

f

x

1,

y

f

x

1,

y

2

f

x,

yx22

f

f

x,

y

1

f

x,

y

12

f

x,

yy22

f

f

x1,

y

f

x1,

y

f

x,

y1

f

x,

y14f

x,

y拉普拉斯算子2 2f fx2 y22f 165拉普拉斯算子f(x-1,y)

f(x,y)

f(x+1,y)f(x,y+1)f(x,y-1)f(x-1,y+1)f(x+1,y+1)f(x-1,y-1)f(x+1,y-1)拉普拉斯算子f(x-1,y)f(x,y)f(x+1,y)166拉普拉斯算子?拉普拉斯變換對(duì)圖像增強(qiáng)的基本方法gx,

y

???

f

x,

y

2

f

x,

y??

f

x,

y

2

f

x,

y(1)(2)(1)用于拉普拉斯模板中心系數(shù)為負(fù)(1)用于拉普拉斯模板中心系數(shù)為正拉普拉斯算子gx,y???fx,y167拉普拉斯算子－例原圖:月球北極標(biāo)定的圖像原始圖像＋拉普拉斯的結(jié)果拉普拉斯濾波后的圖像3×3，中心點(diǎn)為－8的掩膜拉普拉斯算子－例原圖:月球北極標(biāo)定的圖像原始圖像拉普168拉普拉斯算子gx,

y

f

x,

y

2

f

x,

y

f

x,

yf

x1,

y

f

x1,y

f

x,y1

f

x,y14f

x,

y

5f

x,

yf

x1,

y

f

x1,

y

f

x,

y

1

f

x,

y

1gx,

y

f

x,

y

2

f

x,

y

f

x,

yf

x1,

y

f

x1,

y

f

x,

y1

f

x,

y14f

x,

yf

x1,

y

f

x1,

y

f

x,

y

1

f

x,

y

13f

x,

y拉普拉斯算子169拉普拉斯算子－例原圖a ba濾波b比a濾

更

波

銳化拉普拉斯算子－例原圖a ba濾波b比a濾更波銳170??

??

??

y

??

f ??

x

?梯度算子? 梯度通過(guò)一個(gè)二維列向量來(lái)定義?

f ?

f

??G

y

??G

x

?? 向量的模值

f

mag

f

1221????????2??

???2??

??

y?

f?

?

x?

?

fG

G2y2x?? ?? ??y??f ??x171?

考慮一個(gè)3x3的圖像區(qū)域，z代表灰度級(jí)，上式在點(diǎn)z5的f值可用數(shù)字方式近似。用（z6用（z8– z5）近似– z5）近似，?f?f

magz5 z6z1 z2 z3z7 z8 z9z4梯度算子fG

x

xGy組合為：y

f2125856

z

2

z

z

f

z?考慮一個(gè)3x3的圖像區(qū)域，z代表灰度級(jí)，上式在點(diǎn)z5的172f

|z6

– z5|

+|z8– z5|另外一種計(jì)算方法是使用交叉差：f

[(z9

– z5)2

+(z8– z6)2]1/2

|z9

– z5|

+|z8

– z6|2122y

f

G

G

xz1 z2 z3z7 z8 z9z4 z5 z6梯度算子?向量模值的近似計(jì)算用絕對(duì)值替換平方和平方根有：

G

x

G

y?微分過(guò)濾器的原理f |z6– z5|+|z8– z5|另外一種計(jì)173?

微分濾波器模板系數(shù)設(shè)計(jì)?Roberts交叉梯度算子?Prewitt梯度算子?Sobel梯度算子梯度算子?微分濾波器模板系數(shù)設(shè)計(jì)?Prewitt梯度算子梯度算子174Roberts交叉梯度算子f

|z9 -z5|

+

|z8 –

z6|2z z3z1z7 z8 z9?梯度計(jì)算由兩個(gè)模板組成，第一個(gè)求得梯度的第一項(xiàng)，第二個(gè)求得梯度的第二項(xiàng)，然后求和，得到梯度。?兩個(gè)模板稱(chēng)為Roberts交叉梯度算子z4 z5 z6微分濾波器模板系數(shù)設(shè)計(jì)-10010-110Roberts交叉梯度算子2z z3z1z7 z8 z9z4175?

Prewitt梯度算子——3x3的梯度模板f

|(z7 +z8

+z9)

-(z1

+z2

+z3)

|+|(z3 +z6

+z9)

-(z1

+z4

+z7)

|微分濾波器模板系數(shù)設(shè)計(jì)z1z2z3z4z5z6z7z8z9-1-1-1000111-101-101-101?Prewitt梯度算子——3x3的梯度模微分濾波器模板系176?Sobel梯度算子——3x3的梯度模板f

|(z7|(z3+2z8

+z9)+2z6

+z9)-(z1+2z2

+

z3)

|+-(z1+2z4

+

z7)

|微分濾波器模板系數(shù)設(shè)計(jì)z1z2z3z4z5z6z7z8z9-1-2-1000121-101-202-101?Sobel梯度算子——3x3的梯度模板f |(z7177數(shù)字圖像處理（2）任何問(wèn)題？數(shù)字圖像處理（2）任何問(wèn)題？178研究生課程數(shù)字圖像處理DigitalImageProcessing彭宇新北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所E_mail:pengyuxin@研究生課程數(shù)字圖像處理DigitalImageProc179彩色圖像處理

彩色基礎(chǔ)知識(shí)

彩色空間

偽彩色處理

全彩色圖像處理

彩色變換

彩色圖像平滑和尖銳化彩色圖像處理180彩色圖像基礎(chǔ)

為什么要研究彩色圖像處理？

符合人類(lèi)視覺(jué)特點(diǎn)

人類(lèi)可以辨別幾千種顏色色調(diào)和亮度

只能辨別幾十種灰度層次

有用的描繪子

簡(jiǎn)化目標(biāo)物的區(qū)分

目標(biāo)識(shí)別：根據(jù)目標(biāo)的顏色特征彩色圖像基礎(chǔ) 為什么要研究彩色圖像處理？181彩色圖像基礎(chǔ)

彩色圖像處理可分為：

全彩色處理

數(shù)碼相機(jī)

數(shù)碼攝像機(jī)

彩色掃描儀

偽彩色處理

對(duì)不同的灰度或灰度范圍賦予不同的顏色彩色圖像基礎(chǔ) 彩色圖像處理可分為：182彩色圖像基礎(chǔ)當(dāng)一束白光通過(guò)一個(gè)玻璃棱鏡時(shí)，出現(xiàn)的光束不是白光，而是由一端為紫色到另一端為紅色的連續(xù)彩色譜組成彩色圖像基礎(chǔ)當(dāng)一束白光通過(guò)一個(gè)玻璃棱鏡時(shí)，出現(xiàn)的光束不是白183彩色圖像基礎(chǔ)

光特性是顏色科學(xué)的核心

描述彩色光的3個(gè)基本量：

輻射率：從光源流出能量的總量，用瓦特(W)度量

光強(qiáng)：觀(guān)察者從光源接收的能量總和

亮度：主觀(guān)描繪子彩色圖像基礎(chǔ) 光特性是顏色科學(xué)的核心184彩色圖像基礎(chǔ)

三原色紅色（Red）、綠色（Green）、藍(lán)色（Blue）

原色相加可產(chǎn)生二次色深紅色：紅＋藍(lán)青

色：綠＋藍(lán)黃

色：紅＋綠彩色圖像基礎(chǔ) 三原色185彩色圖像處理

彩色基礎(chǔ)知識(shí)

彩色空間

偽彩色處理

全彩色圖像處理

彩色變換

彩色圖像平滑和尖銳化彩色圖像處理186彩色空間（也稱(chēng)彩色模型或彩色系統(tǒng)）RGBCMY和CMYKHSIYIQYUVYCbCr彩色空間（也稱(chēng)彩色模型或彩色系統(tǒng)）187彩色空間（也稱(chēng)彩色模型或彩色系統(tǒng)）RGB

CCD技術(shù)直接感知R,G,B三個(gè)分量

是圖像成像、顯示、打印等設(shè)備的基礎(chǔ)彩色空間（也稱(chēng)彩色模型或彩色系統(tǒng)）RGB188CMY和CMYK彩色空間

CMY(青、深紅、黃)、CMYK(青、深紅、

黃、黑）

運(yùn)用在大多數(shù)在紙上沉積彩色顏料的設(shè)備，如彩色打印機(jī)和復(fù)印機(jī)CMYK

打印中的主要顏色是黑色

等量的CMY原色產(chǎn)生黑色，但不純

在CMY基礎(chǔ)上，加入黑色，形成CMYK彩色空間CMY和CMYK彩色空間 CMY(青、深紅、黃)、CMYK189彩色空間（也稱(chēng)彩色模型或彩色系統(tǒng)）

HSI(色調(diào)、飽和度、亮度）

兩個(gè)特點(diǎn)：

I分量與圖像的彩色信息無(wú)關(guān)

H和S分量與人感受顏色的方式是緊密相連的

將亮度(I)與色調(diào)（H）和飽和度（S）分開(kāi)

避免顏色受到光照明暗(I)等條件的干擾

僅僅分析反映色彩本質(zhì)的色調(diào)和飽和度

廣泛用于計(jì)算機(jī)視覺(jué)、圖像檢索和視頻檢索彩色空間（也稱(chēng)彩色模型或彩色系統(tǒng)） HSI(色調(diào)、飽和度、190彩色空間（也稱(chēng)彩色模型或彩色系統(tǒng)）YIQY指亮度(Brightness),即灰度值

I和Q指色調(diào)，描述色彩及飽和度

用于彩色電視廣播，被北美的電視系統(tǒng)所采用（屬于NTSC系統(tǒng)）

Y分量可提供黑白電視機(jī)的所有影像信息彩色空間（也稱(chēng)彩色模型或彩色系統(tǒng)）191彩色空間（也稱(chēng)彩色模型或彩色系統(tǒng)）YUV

Y指亮度,與YIQ的Y相同

U和V也指色調(diào)，不同于YIQ的I和Q

用于彩色電視廣播，被歐洲的電視系統(tǒng)所采用（屬于PAL系統(tǒng)）

Y分量也可提供黑白電視機(jī)的所有影像信息彩色空間（也稱(chēng)彩色模型或彩色系統(tǒng)）192彩色空間（也稱(chēng)彩色模型或彩色系統(tǒng)）YCbCr

Y指亮度,與YIQ和YUV的Y相同

Cb和Cr由U和V調(diào)整得到

JPEG采用的彩色空間彩色空間（也稱(chēng)彩色模型或彩色系統(tǒng)）193彩色空間轉(zhuǎn)換RGBRGBRGBRGBRGBCMY