《計(jì)算機(jī)視覺》教學(xué)大綱

1、 計(jì)算機(jī)視覺教學(xué)大綱前言計(jì)算機(jī)視覺課程是信息與計(jì)算科學(xué)專業(yè)的選修課程計(jì)算機(jī)視覺以視覺技術(shù)為邏輯起點(diǎn)，以信息與計(jì)算科學(xué)專業(yè)的學(xué)生為講授對(duì)象計(jì)算機(jī)視覺（Machine Vision）是基于視覺技術(shù)的一門邊緣科學(xué)，其核心技術(shù)是視覺處理，并通過對(duì)視覺處理來執(zhí)行進(jìn)一步的檢測與控制等它的研究內(nèi)容非常廣泛，涉及計(jì)算機(jī)、圖像處理、模式識(shí)別、人工智能、信號(hào)處理、光學(xué)、機(jī)械等多個(gè)領(lǐng)域用簡單的一句話來概括就是用機(jī)器代替人眼來做各種測量和判斷本課程有助于開闊學(xué)生視野、使學(xué)生了解本專業(yè)的發(fā)展前沿，是集理論性與應(yīng)用性為一體的學(xué)科設(shè)置本課程的目的是：使學(xué)習(xí)者在全面了解視覺技術(shù)的歷史、現(xiàn)狀與發(fā)展趨勢的基礎(chǔ)上，系統(tǒng)掌握計(jì)算機(jī)視

2、覺圖像基本處理的理論、方法、技術(shù)，運(yùn)用計(jì)算機(jī)視覺基本理論、實(shí)驗(yàn)裝置和圖像處理軟件，加深理解計(jì)算機(jī)視覺的基本概念，具備在計(jì)算機(jī)上利用圖像處理軟件進(jìn)行相關(guān)操作的實(shí)際技能，培養(yǎng)學(xué)生的動(dòng)手能力和分析問題解決問題的能力，把學(xué)生培養(yǎng)成面向二十一世紀(jì)的復(fù)合型人才學(xué)習(xí)本課程的要求是：學(xué)習(xí)者應(yīng)掌握計(jì)算機(jī)視覺的基礎(chǔ)理論、基本方法和實(shí)用算法，如：二值圖像分析、圖像預(yù)處理、圖像增強(qiáng)、邊緣檢測、圖像分割、紋理分析、明暗分析、深度圖與立體視覺并掌握一定的科學(xué)研究方法與技能，為有潛力成為研究型人才的學(xué)生打下一定基礎(chǔ)先修課程要求：MATLAB編程，空間解析幾何，數(shù)學(xué)分析，高等代數(shù)本課程計(jì)劃72學(xué)時(shí)課堂教學(xué)+36學(xué)時(shí)實(shí)驗(yàn)，3學(xué)

3、分，每周4+2個(gè)課時(shí)選用教材：(美)杰恩(Jain.R)等著，計(jì)算機(jī)視覺(英文版)，機(jī)械工業(yè)出版社，2003年教學(xué)手段：課堂講授為主，習(xí)題課，試驗(yàn)為輔考核方法：閉卷書面考試教學(xué)進(jìn)程安排表周次學(xué)時(shí)數(shù)教學(xué)主要內(nèi)容教學(xué)方法備注13計(jì)算機(jī)視覺的定義，視覺系統(tǒng)所包含的部分，視覺所面臨的問題；計(jì)算機(jī)視覺的應(yīng)用；對(duì)圖像的簡單處理，與其它學(xué)科的關(guān)系講課23成像和圖像表示介紹成像原理，成像過程產(chǎn)生的變形和各種感應(yīng)器，特別是CCD攝像機(jī)；目前流行的圖像表示技術(shù)討論圖像與空間的關(guān)系講課33二值圖像處理（一）二值圖像中的拓?fù)涠x，圖像的基本算法的表示，標(biāo)志算法，物體的性質(zhì)提取講課與習(xí)題課相結(jié)合43二值圖像處理（二）形

4、態(tài)學(xué)，物體的性質(zhì)提取；閥值化方法講課53模式識(shí)別（一）基本概念，類別的表示，分類器，決策樹講課63模式識(shí)別（二）Bayes分類和人工神經(jīng)網(wǎng)絡(luò)講課與習(xí)題課相結(jié)合73濾波和圖像增強(qiáng)（一）濾波和圖像增強(qiáng)的原因，灰度值的映射（含直方圖的均衡化），小塊噪聲去除講課83濾波和圖像增強(qiáng)（二）平滑處理，中值濾波器，邊緣檢測講課93濾波和圖像增強(qiáng)（三）Canny邊緣檢測，卷積，矩陣空間的基，F(xiàn)ouier變換講課與習(xí)題課相結(jié)合103彩色和陰影色彩的物理性質(zhì)，彩色的RGB基和其它基表示，彩色直方圖，彩色圖像分割講課113紋理分析紋理分析和紋理分割講課123基于圖像內(nèi)容的圖像恢復(fù)圖像庫，圖像查詢，圖像距離和圖像數(shù)據(jù)庫

5、的結(jié)構(gòu)講課與習(xí)題課相結(jié)合133基于2D圖像序列的運(yùn)動(dòng)分析（一）運(yùn)動(dòng)現(xiàn)象和應(yīng)用，運(yùn)動(dòng)向量的計(jì)算講課143基于2D圖像序列的運(yùn)動(dòng)分析（二）運(yùn)動(dòng)點(diǎn)的路徑計(jì)算，檢測視頻中的顯著變化講課153圖像分割（一）區(qū)域的確定和表示，輪廓的確定講課與習(xí)題課相結(jié)合163圖像分割（二）對(duì)分割的擬合，確定高層次的結(jié)構(gòu)，基于運(yùn)動(dòng)關(guān)聯(lián)性的分割講課1732D圖像匹配（一）2D數(shù)據(jù)的配準(zhǔn)，點(diǎn)的表示，仿射映射講課1832D圖像匹配（二）最好二維仿射變換，基于仿射變換的2D物體識(shí)別，基于關(guān)系匹配的2D物體識(shí)別，非線性變形講課與習(xí)題課相結(jié)合193基于2D圖像的3D理解（一）特征圖像，基于方塊的直線標(biāo)記，2D圖像中的三維線索講課203

6、基于2D圖像的3D理解（二）透視成像模型，基于立體圖像的深度感知，薄棱鏡方程講課與習(xí)題課相結(jié)合第一章緒論一、學(xué)習(xí)目的通過本章的學(xué)習(xí)，熟練掌握計(jì)算機(jī)視覺的定義，視覺系統(tǒng)所包含的部分，視覺所面臨的問題；計(jì)算機(jī)視覺的應(yīng)用；對(duì)圖像的簡單處理，與其它學(xué)科的關(guān)系緒論計(jì)劃6學(xué)時(shí)二、課程內(nèi)容1.1Marr的視覺計(jì)算理論簡要地介紹Marr的視覺理論的基本思想及其理論框架1.2計(jì)算機(jī)視覺的應(yīng)用計(jì)算機(jī)視覺技術(shù)正廣泛地應(yīng)用于各個(gè)方面，從醫(yī)學(xué)圖像到遙感圖像，從工業(yè)檢測到文件處理，從毫微米技術(shù)到多媒體數(shù)據(jù)庫，不一而足可以說，需要人類視覺的場合幾乎都需要計(jì)算機(jī)視覺應(yīng)該指出的是，許多人類視覺無法感知的場合，如精確定量感知、危

7、險(xiǎn)場景感知、不可見物體感知等，計(jì)算機(jī)視覺更突顯其優(yōu)越性1.3計(jì)算機(jī)視覺研究內(nèi)容與面臨的困難計(jì)算機(jī)視覺研究可以分為如下五大研究內(nèi)容：輸入設(shè)備、低層視覺、中層視覺、高層視覺、體系結(jié)構(gòu)識(shí)別和理解周圍場景是一件非常容易的事，但對(duì)于機(jī)器來說，卻是一件很困難的事1.4計(jì)算機(jī)視覺與其它學(xué)科領(lǐng)域的關(guān)系與計(jì)算機(jī)視覺有關(guān)的學(xué)科有許多本節(jié)主要討論一些與計(jì)算機(jī)視覺密切相關(guān)的領(lǐng)域關(guān)于計(jì)算機(jī)視覺與其它學(xué)科的關(guān)系，我們不作詳盡的討論1.5成像幾何基礎(chǔ)這里我們只考慮三維空間到二維空間的兩種常用映射：透視投影變換和正交投影變換三、重點(diǎn)、難點(diǎn)提示和教學(xué)手段（一）重點(diǎn)、難點(diǎn)1、計(jì)算機(jī)視覺研究內(nèi)容與面臨的困難；2、計(jì)算機(jī)視覺與其它學(xué)

8、科領(lǐng)域的關(guān)系；3、成像幾何基礎(chǔ)（二）教學(xué)手段課堂講授與習(xí)題課相結(jié)合四、思考與練習(xí)（注：思考與練習(xí)的形式有教師自行確定）第二章二值圖像分析一、學(xué)習(xí)目的二值視覺系統(tǒng)的輸入一般是灰度圖像，通常使用閾值法首先將圖像變成二值圖像，以便把物體從背景中分離出來，其中的閾值取決于照明條件和物體的反射特性二值圖像可用來計(jì)算特定任務(wù)中物體的幾何和拓?fù)涮匦?，在許多應(yīng)用中，這種特性對(duì)識(shí)別物體來說是足夠的二值視覺系統(tǒng)已經(jīng)在光學(xué)字符識(shí)別、染色體分析和工業(yè)零件的識(shí)別中得到了廣泛應(yīng)用通過本章的學(xué)習(xí)，熟練掌握二值圖像中的拓?fù)涠x，圖像的基本算法的表示，標(biāo)志算法，物體的性質(zhì)提取形態(tài)學(xué)，物體的性質(zhì)提??；閥值化方法本章計(jì)劃6學(xué)時(shí)二、

9、課程內(nèi)容2.1閾值從圖像中識(shí)別代表物體的區(qū)域（或子圖像），這種對(duì)人來說是件非常容易的事，對(duì)計(jì)算機(jī)來說卻是令人吃驚的困難為了將物體區(qū)域同圖像其它區(qū)域分離出來，需要首先對(duì)圖像進(jìn)行分割把圖像劃分成區(qū)域的過程稱為分割2.2幾何特性通過閾值化方法從圖像中檢測出物體后，下一步就要對(duì)物體進(jìn)行識(shí)別和定位在大多數(shù)工業(yè)應(yīng)用中，攝像機(jī)的位置和環(huán)境是已知的，因此通過簡單的幾何知識(shí)就可以從物體的二維圖像確定出物體的三維位置在大多數(shù)應(yīng)用中，物體的數(shù)量不是很多，如果物體的尺寸和形狀完全不同，則可以利用尺度和形狀特征來識(shí)別這些物體實(shí)際上在許多工業(yè)應(yīng)用中，經(jīng)常使用區(qū)域的一些簡單特征，如大小、位置和方向，來確定物體的位置并識(shí)別它

10、們2.3投影給定一條直線，用垂直該直線的一簇等間距直線將一幅二值圖像分割成若干條，每一條內(nèi)像素值為1的像素個(gè)數(shù)為該條二值圖像在給定直線上的投影（projection）2.4游程長度編碼游程長度編碼(run-length encoding)是另一種二值圖像的簡潔表示方法，它是用圖像像素值連續(xù)為1的個(gè)數(shù)（像素1的長度）來描述圖像這種編碼已被用于圖像傳輸另外，圖像的某些性質(zhì)，如物體區(qū)域面積，也可以從游程長度編碼直接計(jì)算出來三、重點(diǎn)、難點(diǎn)提示和教學(xué)手段（一）重點(diǎn)、難點(diǎn)1、閾值；2、幾何特性；3、投影；4、游程長度編碼（二）教學(xué)手段課堂講授與習(xí)題課相結(jié)合四、思考與練習(xí)（注：思考與練習(xí)的形式有教師自行確定

11、）第三章區(qū)域分析一、學(xué)習(xí)目的圖像中的區(qū)域是指相互連結(jié)的具有相似特性的一組像素由于區(qū)域可能對(duì)應(yīng)場景中的物體，因此，區(qū)域的檢測對(duì)于圖像解釋十分重要一幅圖像可能包含若干個(gè)物體，而每一個(gè)物體又可能包含對(duì)應(yīng)于物體不同部位的若干個(gè)區(qū)域?yàn)榱司_解釋一幅圖像，首先要把一幅圖像劃分成對(duì)應(yīng)于不同物體或物體不同部位的區(qū)域本章計(jì)劃6學(xué)時(shí)二、課程內(nèi)容3.1區(qū)域和邊緣圖像區(qū)域劃分有兩種方法：一種是基于區(qū)域的方法，另一種是使用邊緣檢測的輪廓預(yù)估方法3.2分割把一幅灰度圖像轉(zhuǎn)換成二值圖像是圖像分割的最簡單形式用于求取二值圖像的閾值算法可以推廣到求取多值圖像，其中的閾值算法已經(jīng)在第三章中討論過了為了在各種變化的場景中都能得到魯

12、棒的圖像分割，閾值分割算法應(yīng)能根據(jù)圖像強(qiáng)度取樣來自動(dòng)選取合適的閾值閾值分割法不要過分依賴于物體的灰度知識(shí)，且使用有關(guān)灰度值的相對(duì)特性來選取合適的閾值3.3區(qū)域表示區(qū)域有許多應(yīng)用，也有許多種表示方法不同的表示方法有著不同的應(yīng)用一些應(yīng)用只需計(jì)算單個(gè)區(qū)域，而另一些則需要計(jì)算圖像各區(qū)域的關(guān)系本節(jié)將討論幾種區(qū)域表示方法并研究它們的特性大多數(shù)區(qū)域表示方法可以歸納為下面三種類型：陣列表示，層級(jí)表示，基于特征的區(qū)域表示3.4分裂和合并使用分裂和合并的組合算法可以實(shí)現(xiàn)自動(dòng)細(xì)化分割運(yùn)算分裂和合并運(yùn)算是通過合并屬于同一物體的鄰接區(qū)域來消除錯(cuò)誤的邊界和虛假的區(qū)域，同時(shí)可以通過分裂屬于不同物體的區(qū)域來增添丟失的邊界3.

13、5區(qū)域增長尋找初始區(qū)域核，并從區(qū)域核開始，逐漸增長核區(qū)域，形成滿足一定約束的較大的區(qū)域例如，一致性謂詞是基于區(qū)域灰度的平面或二次曲面函數(shù)擬合然而，在一般情況下，一致性謂詞是基于圖像區(qū)域的特征，如，平均強(qiáng)度、方差、紋理和顏色等三、重點(diǎn)、難點(diǎn)提示和教學(xué)手段（一）重點(diǎn)、難點(diǎn)1、分割；2、區(qū)域表示；3、分裂和合并；4、區(qū)域增長（二）教學(xué)手段課堂講授與習(xí)題課相結(jié)合四、思考與練習(xí)（注：思考與練習(xí)的形式有教師自行確定）第四章圖像預(yù)處理一、學(xué)習(xí)目的通過本章的學(xué)習(xí)，熟練掌握?qǐng)D像增強(qiáng)技術(shù)的兩種方法：空間域法和頻率域法空間域方法主要是在空間域內(nèi)對(duì)圖像像素直接運(yùn)算處理頻率域方法就是在圖像的某種變換域，對(duì)圖像的變換值進(jìn)

14、行運(yùn)算，如先對(duì)圖像進(jìn)行傅立葉變換，再對(duì)圖像的頻譜進(jìn)行某種計(jì)算(如濾波等)，最后將計(jì)算后的圖像逆變換到空間域本章計(jì)劃9學(xué)時(shí)二、課程內(nèi)容4.1直方圖修正直方圖均衡化是一種通過重新均勻地分布各灰度值來增強(qiáng)圖像對(duì)比度的方法經(jīng)過直方圖均衡化的圖像對(duì)二值化閾值選取十分有利一般來說，直方圖修正能提高圖像的主觀質(zhì)量，因此在處理藝術(shù)圖像時(shí)非常有用4.2圖像線性運(yùn)算熟練掌握線性系統(tǒng)和傅立葉變換4.3線性濾波器熟練掌握均值濾波器，高斯平滑濾波4.4非線性濾波熟練掌握中值濾波，邊緣保持濾波器三、重點(diǎn)、難點(diǎn)提示和教學(xué)手段（一）重點(diǎn)、難點(diǎn)1、直方圖修正2、圖像線性運(yùn)算，線性系統(tǒng)和傅立葉變換3、線性濾波器，均值濾波器，高斯

15、平滑濾波4、非線性濾波，中值濾波，邊緣保持濾波器（二）教學(xué)手段課堂講授與習(xí)題課相結(jié)合，計(jì)算機(jī)試驗(yàn)四、思考與練習(xí)（注：思考與練習(xí)的形式有教師自行確定）第五章邊緣檢測一、學(xué)習(xí)目的邊緣(edge)是指圖像局部強(qiáng)度變化最顯著的部分邊緣主要存在于目標(biāo)與目標(biāo)、目標(biāo)與背景、區(qū)域與區(qū)域(包括不同色彩)之間，是圖像分割、紋理特征和形狀特征等圖像分析的重要基礎(chǔ)圖像分析和理解的第一步常常是邊緣檢測(edge detection)本章計(jì)劃9學(xué)時(shí)二、課程內(nèi)容5.1梯度邊緣檢測是檢測圖像局部顯著變化的最基本運(yùn)算在一維情況下，階躍邊緣同圖像的一階導(dǎo)數(shù)局部峰值有關(guān)梯度是函數(shù)變化的一種度量，而一幅圖像可以看作是圖像強(qiáng)度連續(xù)函數(shù)

16、的取樣點(diǎn)陣列因此，同一維情況類似，圖像灰度值的顯著變化可用梯度的離散逼近函數(shù)來檢測5.2邊緣檢測算法熟練掌握邊緣檢測算法有如下四個(gè)步驟：濾波，增強(qiáng)，檢測，定位熟練掌握Roberts算子、Sobel算子、Prewitt算子5.3二階微分算子熟練掌握二階導(dǎo)數(shù)有兩種算子：拉普拉斯算子和二階方向?qū)?shù)5.4LOG算法將高斯濾波和拉普拉斯邊緣檢測結(jié)合在一起，形成LOG（Laplacian of Gaussian, LOG）算法，也稱之為拉普拉斯高斯算法了解LOG邊緣檢測器的基本特征5.5圖像逼近理解圖像逼近5.6Canny邊緣檢測器Canny邊緣檢測器是高斯函數(shù)的一階導(dǎo)數(shù)，是對(duì)信噪比與定位之乘積的最優(yōu)化逼

17、近算子5.7邊緣檢測器性能理解評(píng)價(jià)邊緣檢測器性能的測度公式三、重點(diǎn)、難點(diǎn)提示和教學(xué)手段（一）重點(diǎn)、難點(diǎn)1、梯度；2、邊緣檢測算法，Roberts算子、Sobel算子、Prewitt算子；3、二階微分算子，拉普拉斯算子和二階方向?qū)?shù)；4、LOG算法；5、Canny邊緣檢測器；（二）教學(xué)手段課堂講授與習(xí)題課相結(jié)合四、思考與練習(xí)（注：思考與練習(xí)的形式有教師自行確定）第六章紋理分析一、學(xué)習(xí)目的通過本章的學(xué)習(xí)，掌握紋理分析和紋理分割二、課程內(nèi)容6.1紋理分析統(tǒng)計(jì)方法熟練掌握紋理分析統(tǒng)計(jì)方法，灰度級(jí)同現(xiàn)矩陣，自相關(guān)法6.2紋理分析理解有序紋理的結(jié)構(gòu)分析，基于模型的紋理分析，用分形理論分析紋理6.3從紋理恢復(fù)形狀了解紋理基元的尺寸、形狀、和密度等變化為表面形狀和姿態(tài)估計(jì)提供了依據(jù)從紋理恢復(fù)形狀算法正是利用了這些紋理基元的變