計(jì)算機(jī)視覺基礎(chǔ)復(fù)習(xí).docx

第一章 PPT P11 什么是計(jì)算機(jī)視覺采用計(jì)算機(jī)實(shí)現(xiàn)人類視覺功能，讓計(jì)算機(jī)理解圖像和視頻 。 P12 計(jì)算機(jī)視覺與圖像處理的區(qū)別 數(shù)字圖像處理 圖像/視頻 - 圖像/視頻 （圖像變換、圖像濾波、圖像復(fù)原、圖像壓縮、） 計(jì)算機(jī)視覺 圖像/視頻 - 模型 （二維基素圖 - 2.5維要素圖 - 三維模型表征） P14-20 計(jì)算機(jī)視覺中存在哪些難點(diǎn)和挑戰(zhàn)挑戰(zhàn)：外觀、大小和形狀；復(fù)雜姿態(tài)/運(yùn)動(dòng)；復(fù)雜和不可預(yù)測(cè)的行為；噪聲和遮擋；外觀變化；上下文間依賴性；視點(diǎn)變化 P23-28 圖像中存在哪些計(jì)算機(jī)視覺線索深度線索：直線透視；空間透視遠(yuǎn)近順序線索：遮擋形狀線索：紋理梯度形狀和光照線索：陰影位置和光照線索：投影 P30-46 計(jì)算機(jī)視覺有哪些典型應(yīng)用OCR（光學(xué)字符識(shí)別）、智能交通、人臉檢測(cè)、表情識(shí)別、多視點(diǎn)三維重建、基于視覺的生物識(shí)別、輔助駕駛、無(wú)人駕駛汽車、基于視覺的人機(jī)交互、智能機(jī)器人、工業(yè)機(jī)器人 P48 CCD/CMOS傳感器的成像原理：光電轉(zhuǎn)換 P49-54 采樣與量化影響圖像的哪些屬性 采樣影響圖像空間分辨率；量化影響圖像幅度分辨率（灰度） P61 圖像坐標(biāo)系左上角為坐標(biāo)原點(diǎn) P75-78 像素距離與鄰域關(guān)系習(xí)題1.2 P19 計(jì)算機(jī)視覺要達(dá)到的目的有哪些？ 答：計(jì)算機(jī)通過圖像和視頻對(duì)客觀世界的感知、識(shí)別和理解；對(duì)場(chǎng)景進(jìn)行解釋和描述 ；根據(jù)對(duì)場(chǎng)景的解釋和描述制定行為規(guī)劃。第三章 PPT P11 薄透鏡成像模型 P17-21 射影幾何中哪些物理信息丟失和保留了？丟失信息：長(zhǎng)度、角度保留信息：直線特性、交比不變性 P22-24 滅點(diǎn)和滅線的概念場(chǎng)景中的平行線投影到圖像平面后，會(huì)聚于“滅點(diǎn)”滅線：滅點(diǎn)的集合 P46-49 像機(jī)成像過程中包含了哪些內(nèi)參和外參？ P51 像機(jī)標(biāo)定的目的，思路和基本方法 目的：確定像機(jī)的內(nèi)參和外參。 思路：通過一組已知世界坐標(biāo)的圖像特征點(diǎn)，建立超定方程求解。 方法：最小二乘求解超定方程，尋找最優(yōu)估計(jì)。 P63 徑向畸變和切向畸變的概念 習(xí)題第四章 PPT P4-7 圖像平移、尺度、旋轉(zhuǎn)和級(jí)聯(lián)變換 用矩陣乘實(shí)現(xiàn)級(jí)聯(lián)變換 如圖像依次進(jìn)行平移、尺度和旋轉(zhuǎn)變換，有 P14 最近鄰插值 P16-18 雙線性插值 P20-31 圖像灰度映射灰度映射原理 基于圖像像素的點(diǎn)操作 映射函數(shù) 灰度映射的關(guān)鍵是根據(jù)增強(qiáng)要求設(shè)計(jì)映射函數(shù)灰度映射：圖像二值化、圖像反色、動(dòng)態(tài)范圍壓縮、對(duì)比度增強(qiáng) P31-32 直方圖的概念和意義，用已學(xué)過的數(shù)學(xué)原理進(jìn)行解釋 P40 直方圖均衡計(jì)算表4.3.1 L為灰度級(jí)數(shù)（本例為8） -原始圖灰度級(jí) 0 1 2 3 4 5 6 7原始直方圖 0.02 0.05 0.09 0.12 0.14 0.2 0.22 0.16累積直方圖gf 0.02 0.07 0.16 0.28 0.42 0.62 0.84 1.0四舍五入取整 0 0 1 2 3 4 6 7 注：int(L-1)*gf+0.5)確定映射關(guān)系 0,1-0 2-1 3-2 4-3 5-4 6-6 7-7新直方圖 0.07 0.09 0.12 0.14 0.2 0 0.22 0.16直方圖均衡過程示例 P52-66 模板濾波的概念和理解 概念：利用像素本身以及其鄰域像素的灰度關(guān)系進(jìn)行圖像增強(qiáng)的方法。 理解：1.濾波取自信號(hào)處理中的概念；2.濾波是在圖像空間通過鄰域操作完成的；3.鄰域操作通常借助模板運(yùn)算來實(shí)現(xiàn) P69 中值濾波概念和基本步驟 概念：選擇局部窗口中亮度的中間值代替窗口中心像素 步驟： 將模板中心與圖像中某像素位置重合 讀取模板下各對(duì)應(yīng)像素的灰度值 將這些灰度值從小到大排成一列 找出這些灰度值里排在中間的一個(gè) 將這個(gè)中間值賦給對(duì)應(yīng)模板中心位置像素 遍歷圖像中所有像素 P71 中值濾波與均值濾波的比較 中值濾波和線性濾波的區(qū)別：1、中值濾波可有效消除突變，線性濾波總是響應(yīng)所有的變化 2、中值濾波具有部分不連續(xù)保持特性，線性濾波會(huì)產(chǎn)生平滑過渡的效果 中值濾波和均值濾波的區(qū)別：中值濾波器比均值濾波器更適合去除加性椒鹽噪聲 習(xí)題4.3 P75 設(shè)用三角形代替下圖中的四邊形，建立與下式相對(duì)應(yīng)的校正幾何形變的空間變換式。 解: 以頂點(diǎn)為對(duì)應(yīng)點(diǎn)，一個(gè)對(duì)應(yīng)點(diǎn)可列出2個(gè)公式，因此三角形的三個(gè)頂點(diǎn)可列出6個(gè)公式，最多求解6個(gè)幾何形變參數(shù)，因此空間變換式為：習(xí)題4.11 P76 將M幅圖像相加求平均可以獲得消除噪聲的效果，用一個(gè)nn的模板進(jìn)行平滑濾波也可獲得消除噪聲的效果, 試比較兩種方法的消噪效果 M幅圖像相加求平均 時(shí)間軸上的平均 容易產(chǎn)生運(yùn)動(dòng)模糊(重影) nn模板的平滑濾波 空間上的平均 容易產(chǎn)生空間模糊(邊緣模糊) 習(xí)題4.12 P76 討論用于空間濾波的平滑濾波和銳化濾波的相同點(diǎn)、不同點(diǎn)以及聯(lián)系 相同點(diǎn)：都能減弱或消除頻域空間中的某些分量，而不影響或較少影響其它分量，從而達(dá)到增強(qiáng)效果。 不同點(diǎn)：平滑濾波減弱或消除高頻分量，增強(qiáng)低頻分量，平滑圖像中的細(xì)節(jié)信息。銳化濾波減弱或消除低頻分量，增強(qiáng)高頻分量，銳化圖像中細(xì)節(jié)信息。 聯(lián)系：兩者效果相反，互為補(bǔ)充；從原始圖像中減去平滑濾波結(jié)果可得到銳化濾波效果；而原始圖像中減去銳化濾波結(jié)果可得到平滑濾波效果。第五章 PPT P4 為什么要邊緣檢測(cè)和邊緣的成因?yàn)槭裁匆吘墮z測(cè)： 提取信息，識(shí)別目標(biāo) 恢復(fù)幾何和視點(diǎn)邊緣的成因：曲面法線不連續(xù)、深度不連續(xù)、表面顏色不連續(xù)、亮度不連續(xù) P10-21 用已學(xué)過的數(shù)學(xué)原理解釋邊緣檢測(cè)的原理 一階導(dǎo)數(shù)極值點(diǎn)對(duì)應(yīng)的是邊緣位置，極值的正或負(fù)表示邊緣處是由暗變亮還是由亮變暗。 二階導(dǎo)數(shù)過零點(diǎn)來檢測(cè)圖像中邊緣的存在。 P15 有哪些一階導(dǎo)數(shù)算子？試寫出其模板形式Roberts梯度算子Prewitt梯度算子（平均差分）Sobel算子（加權(quán)平均差分）各向同性Sobel算子：將模板中的權(quán)值2改為2，以使水平、垂直和對(duì)角邊緣的梯度值相同。 P21 有哪些二階導(dǎo)數(shù)算子？二階導(dǎo)數(shù)算子會(huì)對(duì)噪聲敏感，試解釋原因拉普拉斯算子、馬爾算子對(duì)噪聲敏感原因：二階導(dǎo)數(shù)在邊緣處出現(xiàn)零交叉，即邊緣點(diǎn)兩邊導(dǎo)數(shù)取異號(hào)，據(jù)此來檢測(cè)邊緣點(diǎn)。但很容易被噪聲覆蓋。 P28 Canny算子的最優(yōu)檢測(cè)準(zhǔn)則 最優(yōu)邊緣檢測(cè)的含義是： 好的檢測(cè) -算法能標(biāo)識(shí)圖像中的實(shí)際邊緣，避免噪聲和虛假邊緣干擾。 好的定位 -標(biāo)識(shí)出的邊緣與實(shí)際圖像中的實(shí)際邊緣盡可能接近。 最小響應(yīng) -對(duì)圖像中的每個(gè)真實(shí)邊緣點(diǎn)只有一個(gè)像素響應(yīng)。 P41 什么是角點(diǎn)？角點(diǎn)有什么特性？ 可重復(fù)性可再現(xiàn)性 同一角點(diǎn)應(yīng)能在不同圖像中檢測(cè)出，不受幾何和亮度等變化的影響 顯著性 每個(gè)角點(diǎn)都是獨(dú)特的 局部性 特征描述的是圖像中的一個(gè)局部小區(qū)域 P43 SUSAN角點(diǎn)檢測(cè)的基本原理 采用圓形模板 統(tǒng)計(jì)模板中與模板核具有相同值的像素個(gè)數(shù) USAN面積隨模板在圖像中的位置變化 利用USAN面積變化可檢測(cè)邊緣或角點(diǎn)。 USAN面積在圖像角點(diǎn)處具有最小值，故稱為SUSAN。 P51 Hough變換的基本思想（投票）以及為什么要進(jìn)行Hough變換基本思想： 通常用在邊緣檢測(cè)或特征點(diǎn)檢測(cè)后。 每個(gè)邊緣點(diǎn)根據(jù)其可能的幾何特征，投影到參數(shù)空間，通過投票方式確定參數(shù)值。即票數(shù)最多的參數(shù)獲勝。 為什么要進(jìn)行Hough變換： 視覺場(chǎng)景中許多目標(biāo)都可通過直線、圓弧等規(guī)則幾何特征來表述。Hough變換是獲取規(guī)則幾何特征的常用方法。 P55 Hough變換中參數(shù)空間的概念，試寫出直線檢測(cè)以及圓檢測(cè)的參數(shù)空間采用(, )表示圖像空間中任意直線。 圖像空間中一條直線在參數(shù)空間(, )中為一個(gè)點(diǎn)。 參數(shù)空間(, )也稱為Hough空間 P68 Hough變換的優(yōu)點(diǎn) 對(duì)邊緣不連續(xù)具有較好的容忍性 對(duì)噪聲干擾具有較好的魯棒性 對(duì)目標(biāo)遮擋具有較好的抗干擾性 習(xí)題第六章 PPT P2 目標(biāo)分割的概念、目的、意義 概念：將圖像劃分成若干具有特征一致性且互不重疊的圖像區(qū)域的過程。 目的：有選擇性地定位感興趣對(duì)象在圖像中的位置和范圍。 意義：1.區(qū)域?qū)τ趫D像理解和識(shí)別非常重要，往往表征場(chǎng)景中的目標(biāo)，或部分目標(biāo)。 2.一幅圖像可以包含多個(gè)目標(biāo)，每個(gè)目標(biāo)包含多個(gè)區(qū)域，每個(gè)區(qū)域?qū)?yīng)目標(biāo)的不同部分。 3.圖像分割是將圖像劃分為一組有意義的區(qū)域。 P14 圖像分割有哪些方法？基于哪些特征 基于邊緣的分割方法： 先提取區(qū)域邊界，再確定邊界限定的區(qū)域； 基于區(qū)域的分割方法： 確定每個(gè)像素的歸屬區(qū)域，從而完成分割 圖像分割方法分類： a）自動(dòng)分割算法 聚類方法 基于邊緣的方法 區(qū)域融合和區(qū)域增長(zhǎng) 混合優(yōu)化方法 b）交互式圖像分割算法 “Snake” 或 “主動(dòng)輪廓法” “魔棒” 或 “魔筆” 圖像分割通常基于亮度、顏色、紋理、深度或運(yùn)動(dòng)。 P27 圖搜索有哪些策略，以及各自特點(diǎn)廣度優(yōu)先搜索特點(diǎn)：完備、可獲得最優(yōu)解，效率低 深度優(yōu)先搜索特點(diǎn)：難以獲得最優(yōu)解、效率高、不易跳出無(wú)限深分支 P40 試用直方圖的概念解釋直方圖分割的思想 基本思想：根據(jù)圖像數(shù)據(jù)的特征將圖像空間劃分為互不重疊的區(qū)域，從而達(dá)到分割的目的。 P45 最優(yōu)閾值的分割思想 P52 最大類間方差(OTSU)的分割思想尋找使得類間方差最大的閾值 習(xí)題6.10 P115習(xí)題6.11 P115 一幅圖像背景部分均值為20，方差為400，在背景上分布著一些互不重疊的均值為200，方差為400的小目標(biāo)。設(shè)所有目標(biāo)合起來約占圖像總面積的30%，提出一個(gè)基于取閾值的分割算法將這些目標(biāo)分割出。 根據(jù)最優(yōu)閾值計(jì)算公式，并假設(shè)背景和目標(biāo)的概率密度函數(shù)為高斯模型，且背景和目標(biāo)的方差相等：第九章 PPT P3-9 圖像中包含了哪些深度線索？陰影 紋理 遮擋 運(yùn)動(dòng) 模糊等。 P26-27 平行光軸立體視覺系統(tǒng)的感知深度的原理和基本公式 P32-35 75-83 立體視覺系統(tǒng)中有哪些約束立體匹配的約束： 極線約束：匹配點(diǎn)必須在極線上 相似性約束：左、右圖像的匹配點(diǎn)應(yīng)具有相似的亮度或顏色。即，假定目標(biāo)表面符合朗伯漫反射表面。 視差范圍約束：僅在視差搜索內(nèi)搜索。 唯一性約束：一幅圖像中的一個(gè)像素，在另一幅圖像中最多只有一個(gè)對(duì)應(yīng)點(diǎn)像素。 順序約束：若參考圖中A點(diǎn)在B點(diǎn)的左邊，則另一幅圖像中A點(diǎn)匹配點(diǎn)也在B點(diǎn)匹配點(diǎn)的左邊。 平滑性約束：除了遮擋或視差本身不連續(xù)區(qū)域外，小鄰域范圍內(nèi)視差值變化量應(yīng)很小或相似。換言之視差曲面應(yīng)是分段連續(xù)的。 互對(duì)應(yīng)約束：又稱左右一致性，若以左圖為基準(zhǔn)圖，左圖上一像素點(diǎn) pl 的搜索到右圖上對(duì)應(yīng)點(diǎn)像素為 pr ；那么若以右圖為基準(zhǔn)圖，像素 pr 的對(duì)應(yīng)點(diǎn)也應(yīng)該是左圖上的像素點(diǎn) pl 。該約束常用于遮擋區(qū)的檢測(cè)。 P41 立體視覺標(biāo)定校正的目的校正的目的： 輸入圖像通過透視變換使得外極線水平，且共線。 畸變校正，使得成像過程符合小孔成像模型。 P52 立體匹配的概念及分類 立體匹配的過程：為左圖像的每個(gè)像素點(diǎn)(xl, yl)，在右圖像中搜索對(duì)應(yīng)點(diǎn)。 根據(jù)立體匹配過程中涉及的像素范圍，可分為： 局部立體匹配 通常以基于局部窗口的立體匹配方法為主。 匹配基元：局部窗口 全局立體匹配 匹配過程中，求解一行或整幅圖像中所有像素的相似測(cè)度和最大/最小。 匹配基元：像素 根據(jù)立體匹配過程中采用的匹配基元，可分為： 致密匹配 搜索每個(gè)像素的對(duì)應(yīng)點(diǎn)，構(gòu)建致密視差圖 匹配基元為像素 稀疏匹配 僅為特征搜索對(duì)應(yīng)點(diǎn)，構(gòu)建稀疏的視差圖.匹配基元為特征。 P58 有哪些局部立體匹配方法和優(yōu)缺點(diǎn)方法：對(duì)應(yīng)性測(cè)度、相似性測(cè)度、距離測(cè)度、相關(guān)系數(shù)測(cè)度、非參數(shù)化測(cè)度 優(yōu)點(diǎn)： 容易實(shí)現(xiàn)，只需要考慮局部窗口區(qū)域 對(duì)紋理豐富的區(qū)域具有較好匹配性能 速度快，只需考慮有限像素 易于硬件實(shí)現(xiàn)，易于流水線實(shí)現(xiàn) 缺點(diǎn)： 視差不連續(xù)、遮擋