計(jì)算機(jī)視覺三維測(cè)量與建模 課件 【ch01】緒論

第一章計(jì)算機(jī)視覺三維測(cè)量與建模緒論南京航空航天大學(xué)研究生教育教學(xué)改革專項(xiàng)（優(yōu)質(zhì)教學(xué)資源建設(shè)）項(xiàng)目資助01數(shù)字影像物理世界的物體針對(duì)不同頻段的電磁波具有不同的輻射、吸收和透射特性。通常數(shù)字影像的成像過程是傳感器將接收到的輻射、反射或透射的電磁波，從光信號(hào)轉(zhuǎn)換為電信號(hào)，再轉(zhuǎn)換為數(shù)字信號(hào)的過程。輻射量是從光源流出能量的總量，通常用瓦特度量。由于傳感器的感光元件是眾多離散化的單元，由此形成了影像對(duì)場(chǎng)景的離散化表達(dá)。數(shù)字影像一幅二維影像存儲(chǔ)在硬件介質(zhì)中的核心數(shù)據(jù)是一個(gè)二維數(shù)據(jù)矩陣，數(shù)據(jù)矩陣的每個(gè)元素被稱為像素或像元(Pixel)。每個(gè)像素對(duì)應(yīng)在矩陣中的位置具有整數(shù)型的行坐標(biāo)和列坐標(biāo)。在像平面坐標(biāo)系下，像素對(duì)應(yīng)位置的坐標(biāo)可以記作[x,y]^T。每個(gè)像素記錄了采樣量化得到的光信號(hào)強(qiáng)度值，稱為強(qiáng)度或亮度(ntensity)。因此，一幅影像可以表達(dá)為一個(gè)二維的高散函數(shù)I=f(x,y)。數(shù)字影像】9像素是影像的基本元素，下面以常見的電荷男合元器件(Charge-CoupledDevices,

CCD感光傳感器組成的成像平面為例。CCD是一種半導(dǎo)體器件，能夠把光信號(hào)轉(zhuǎn)換為電信號(hào)，通過陣列式的排列，獲得對(duì)連續(xù)場(chǎng)景的光場(chǎng)的離散化采樣，形成數(shù)字影像。數(shù)字影像】9一幅影像所記錄的觀測(cè)場(chǎng)景的尺寸與觀測(cè)距離和視場(chǎng)角有關(guān)。以影像寬度為例，一個(gè)像素所能顯示的物理對(duì)象尺寸可以從幾納米到幾千米變化，這稱為空間分辦率，如透射電子顯微鏡的分辨率為0.20m，而遙感衛(wèi)星的影像分辦率通常在米級(jí)甚至幾十米。數(shù)字影像常見的彩色影像的每個(gè)像素位置記錄了紅、綠、藍(lán)三個(gè)顏色圖層的亮度值，通過三個(gè)值的組合來表達(dá)彩色信息。此時(shí)矩陣的每個(gè)像素實(shí)際對(duì)應(yīng)一個(gè)包含三個(gè)亮度參量的向量[RGB]^T?？梢姽飧采w電磁波譜波長為380~760nm，用來描達(dá)彩色光源質(zhì)量的三個(gè)常用的基本量是輻射量、光強(qiáng)和亮度。數(shù)字影像灰度影像指的是影像只有一個(gè)顏色亮度圖層，此時(shí)每個(gè)像素僅包含一個(gè)亮度值。每個(gè)圖層的每個(gè)元素可以取值的范圍和亮度分辦率直接相關(guān)。計(jì)算機(jī)采用二進(jìn)制設(shè)計(jì)原理，最常采用一字節(jié)(Byte)來記錄一個(gè)亮度值。二值影像是灰度影像的一個(gè)特例，二值影像的灰度級(jí)僅包含。和1兩個(gè)值。二值影像常被應(yīng)用于分割、分類或掩模處理中，因?yàn)槎M(jìn)制取值可以用來代表陽性（Positive）和陰性(Negative)兩種判斷。數(shù)字影像深度圖影像是在計(jì)算機(jī)視覺和攝影測(cè)量中常見的一種空間數(shù)據(jù)表達(dá)方式。深度圖影像的像素記錄的數(shù)值是從視點(diǎn)到觀測(cè)場(chǎng)景的表面的深度信息，對(duì)應(yīng)了一個(gè)乙值（深度值）。多光譜影像的每個(gè)像素包含在多個(gè)電磁頻譜帶內(nèi)的采集到的能量信息，每個(gè)頻帶信息都是一幅灰度影像。每個(gè)像素的頻譜亮度都可以組成一個(gè)亮度矢量，這個(gè)矢量是利用多光譜影像進(jìn)行地物分類解析的重要基礎(chǔ)特征。數(shù)字影像】9各種影像類型的示意如圖1.1所示。數(shù)字影像02射影幾何學(xué)基礎(chǔ)提供了一個(gè)統(tǒng)一的框架來表示幾何圖元，點(diǎn)、線和平面?？梢栽跓o窮遠(yuǎn)處以直接的方式操作點(diǎn)、線和平面。為許多幾何操作（如構(gòu)造、交集和變換）提供了線性表示方式。010203射影幾何學(xué)也叫投影幾何學(xué)，在經(jīng)典幾何學(xué)中，射影幾何處于一個(gè)特殊的地位，通過它可以把其他一些幾何學(xué)聯(lián)系起來。在射影幾何學(xué)中，把無窮遠(yuǎn)點(diǎn)視為“理想點(diǎn)”。使用射影幾何進(jìn)行數(shù)學(xué)表達(dá)優(yōu)點(diǎn)包括：射影幾何學(xué)基礎(chǔ)射影幾何學(xué)基礎(chǔ)射影幾何學(xué)基礎(chǔ)射影幾何學(xué)基礎(chǔ)02射影變換在平面空間中，二次曲線（Conics）也被稱為圓錐曲線，有3種類型，分別是雙曲線、橢圓和抽物線。這了類曲線都是不同方向的平面與三維的圓錐相交產(chǎn)生的截線。如果平面只與圓錐頂點(diǎn)一點(diǎn)相交，則是一種退化了的二次曲線。其中，二次曲線系數(shù)矩陣C是一個(gè)對(duì)稱矩陣，它的元素為:二維射影變換（也稱為二維單應(yīng)變換）是指二維平面上的單應(yīng)變換，可以表示為R^2。R^2→R’^2的單應(yīng)轉(zhuǎn)換矩陣被稱為單應(yīng)矩陣，用H表示。二次曲線射影幾何學(xué)基礎(chǔ)射影幾何學(xué)基礎(chǔ)】9二維仿射變換(AfineTransformation在射影幾何變換的基礎(chǔ)上增加了一條更嚴(yán)格的平行不變性約束，所有的射影變換性質(zhì)都符合仿射變換性質(zhì)。仿射變換是射影變換的一個(gè)特例，仿射變換是投影中心在無窮遠(yuǎn)處，從而使投影射線平行。仿射變換是通過一系列原子變換復(fù)合實(shí)現(xiàn)的，這些原子變換包括：平移、縮放、旋轉(zhuǎn)和錯(cuò)切，如圖1.2所示。射影幾何學(xué)基礎(chǔ)】9如圖1.3所示，在三維空間中，有以下幾點(diǎn)。射影幾何學(xué)基礎(chǔ)03歐氏空間坐標(biāo)轉(zhuǎn)換歐氏空間坐標(biāo)轉(zhuǎn)換歐氏空間坐標(biāo)轉(zhuǎn)換04成像模型與成像系統(tǒng)中的坐標(biāo)系】9光學(xué)透鏡成像系統(tǒng)中較常用的攝像機(jī)模型是小孔成像模型，除非明確指出，本書中討論涉及的成像模型都是基于小孔模型展開的。當(dāng)光線通過小孔時(shí)，在像平面上會(huì)呈現(xiàn)出物體清晰的影像。在實(shí)際的情況下，小孔總是有一定物理尺寸的，因此像平面的一點(diǎn)能夠接收到錐形區(qū)域內(nèi)的所有光線。圖1.8描繪了成像模型中的各組成結(jié)構(gòu)的幾何元素及其關(guān)系。C點(diǎn)表示光心(Optical

Center)，又被稱為攝影中心，它是在空間中介于三維場(chǎng)景和二維像平面之間的一個(gè)點(diǎn)。成像平面（焦平面）位于光心的后方且呈現(xiàn)倒置，但通常為了直觀表示，將成像平面描述在負(fù)焦距的方向上。成像模型與成像系統(tǒng)中的坐標(biāo)系123世界坐標(biāo)系它是一種三維坐標(biāo)系，可以運(yùn)用歐氏空間理論中的內(nèi)積運(yùn)算來計(jì)算角度值，使用模運(yùn)算來計(jì)算長度值。像空間輔助坐標(biāo)系它類似于攝影測(cè)量學(xué)中的像空間輔助坐標(biāo)系，是以攝像機(jī)為分析基準(zhǔn)的坐標(biāo)系，也是從三維空間轉(zhuǎn)換到二維空間的一個(gè)橋梁。像平面坐標(biāo)系這是一個(gè)二維坐標(biāo)系。影像數(shù)據(jù)矩陣的行、列兩個(gè)維度形成了理想的正交關(guān)系，因此可以直接定義坐標(biāo)軸的方向。成像模型與成像系統(tǒng)中的坐標(biāo)系成像模型與成像系統(tǒng)中的坐標(biāo)系05常見的三維成像方式】9人工輸入方法是一種最直接的獲取三維模型的方式之一。該方法利用計(jì)算機(jī)輔助設(shè)計(jì)(ComputerAidedDesign,CAD）類軟件工具（如AutodeskAutoCAD、Autodesk3DMax、GoogleSketchUp和UnigraphicsNX等）通過人工輸入的方式確立模型的幾何位置信息，并進(jìn)行交互式的手工建模和渲染。這一類軟件系統(tǒng)能夠?yàn)橛脩舻漠a(chǎn)品設(shè)計(jì)及加工過程提供數(shù)字化的外形觀察和驗(yàn)證。熟練的操作員可以利用這種方法得到精細(xì)的場(chǎng)景模型和逼真的外觀渲染，在過去很長一段時(shí)間內(nèi)它都是三維建筑模型構(gòu)建的主要技術(shù)手段。在前期沒有測(cè)量數(shù)據(jù)或設(shè)計(jì)藍(lán)圖的情況下，人工建模的方法需要采用人眼視覺判斷作為操作定位的標(biāo)準(zhǔn)而非物理測(cè)量值的精準(zhǔn)定位，重建的幾何位置結(jié)果缺乏準(zhǔn)確性，無法精確地反映現(xiàn)實(shí)場(chǎng)景。常見的三維成像方式12飛行時(shí)間(TimeOfFlight,TOF)掃描儀TOF類型的掃描儀通過測(cè)量從發(fā)射端發(fā)出的輻射波到目標(biāo)表面的往返時(shí)間來計(jì)算目標(biāo)表面點(diǎn)的距離。相移掃描儀相移掃描儀利用正弦調(diào)制的強(qiáng)度隨時(shí)間變換的激光束進(jìn)行測(cè)量。通過觀測(cè)發(fā)射信號(hào)和反射信號(hào)的相位差，計(jì)算目標(biāo)與傳感器之問的往返距離，如圖1.12（b）所示。常見的三維成像方式3主動(dòng)三角測(cè)量掃描儀主動(dòng)三角測(cè)量系統(tǒng)從一個(gè)方向發(fā)出連貫的或不連貫的光模式，然后在另一個(gè)方向進(jìn)行觀測(cè)。常見的三維成像方式立體視覺測(cè)量這類系統(tǒng)對(duì)兩幅或兩幅以上的觀測(cè)影像進(jìn)行處理，找到空間點(diǎn)在多幅影像上的同名投影點(diǎn)，根據(jù)三角測(cè)量原理解算像點(diǎn)的空間坐標(biāo)。由陰影恢復(fù)結(jié)構(gòu)由陰影恢復(fù)結(jié)構(gòu)算法首先確定目標(biāo)反射模型以及觀測(cè)時(shí)的光照方向，然后通過近似求解輻照度方程從而得到影像對(duì)應(yīng)的觀測(cè)目標(biāo)三維信息。由剪影恢復(fù)結(jié)構(gòu)這類系統(tǒng)從不同的角度來測(cè)量物體的輪廓信息，其中典型的掃描方式所使用的設(shè)備包括一個(gè)旋轉(zhuǎn)的托臺(tái)、統(tǒng)一的背景色和一個(gè)獨(dú)立攝像機(jī)。010203被動(dòng)式掃描通常具有采集設(shè)備價(jià)格低、采集操作簡(jiǎn)單靈活等優(yōu)點(diǎn)，然而在獲取密集的空問信息時(shí)算法的計(jì)算復(fù)雜度也會(huì)相應(yīng)提高。常見的三維成像方式由紋理恢復(fù)結(jié)構(gòu)該方法的主要步驟包括抽取重復(fù)紋理模式或者測(cè)量局部頻率，以計(jì)算局部仿射變形，然后推測(cè)局部表面方向。由聚焦恢復(fù)結(jié)構(gòu)通過判斷同一區(qū)域的頻率內(nèi)容強(qiáng)度，來識(shí)別該區(qū)域在哪一幅影像上獲得最佳的聚焦。通常情況下，這類重建精度取決于采樣設(shè)置和實(shí)際的鏡頭的視場(chǎng)深度，整體而言難以做出非常精確的重建。0405被動(dòng)式掃描通常具有采集設(shè)備價(jià)格低、采集操作簡(jiǎn)單靈活等優(yōu)點(diǎn)，然而在獲取密集的空問信息時(shí)算法的計(jì)算復(fù)雜度也會(huì)相應(yīng)提高。常見的三維成像方式06三維計(jì)算機(jī)視覺的應(yīng)用12工業(yè)測(cè)量在工業(yè)測(cè)量領(lǐng)域中，對(duì)工業(yè)部件的三維形狀的測(cè)量方式可以分為接觸式和非接觸式兩種。接觸式技術(shù)可能是破壞性的，如切片，通過將對(duì)象剖切成連續(xù)組裝在一起的二維形狀來減小分析的尺寸。它也可以是非破壞性的，如關(guān)節(jié)臂，緩饅但準(zhǔn)確地探測(cè)三維點(diǎn)。三維測(cè)繪遙感基于影像的三維重建系統(tǒng)或三維激光掃描設(shè)備可以獲得大型空間目標(biāo)的三維模型數(shù)據(jù)。在測(cè)繪遙感領(lǐng)域中，對(duì)橋梁、道路、地形和建筑物進(jìn)行三維測(cè)量是許多工程的必要任務(wù)。此外，在文物古跡保護(hù)、數(shù)字化城市繪圖和深空探測(cè)行星制圖等方面，也需要進(jìn)行測(cè)繪以獲得三維信息。三維計(jì)算機(jī)視覺的應(yīng)用3機(jī)器人導(dǎo)航定位在機(jī)器人導(dǎo)航定位領(lǐng)域中，三維視覺系統(tǒng)是一種十分重要的環(huán)境感知工具?；谝曈X影像的定位技術(shù)具有成本低、精度高、無須對(duì)場(chǎng)景現(xiàn)有結(jié)構(gòu)進(jìn)行改動(dòng)等優(yōu)勢(shì)。無人系統(tǒng)獲取視覺影像后，處理器構(gòu)建出機(jī)器人所處環(huán)境的三維地圖，進(jìn)而服務(wù)于避障、導(dǎo)航和定位抓取目標(biāo)等任務(wù)。三維計(jì)算機(jī)視覺的應(yīng)用測(cè)量范圍。視場(chǎng)范圍。01

工作距離。0203三維計(jì)算機(jī)視覺測(cè)量系統(tǒng)的常見技術(shù)指標(biāo)參數(shù)包括以下幾個(gè)：

分辨率。04重復(fù)精度。07測(cè)量頻率/幀率。05

測(cè)量精度。06三維計(jì)算機(jī)視覺的應(yīng)用】9三維計(jì)算機(jī)視覺是與攝影測(cè)量學(xué)具有同宗同源特點(diǎn)的一門三維測(cè)量學(xué)科。攝影測(cè)量學(xué)屬于測(cè)繪學(xué)科的一個(gè)分支，至今已有百年的發(fā)展歷史。它經(jīng)歷了從模擬信號(hào)處理到解析處理，再到數(shù)字化處理的發(fā)展階段。計(jì)算機(jī)視覺三維測(cè)量技術(shù)與數(shù)字近景攝影測(cè)量的許多基礎(chǔ)原理是一脈相承的，但關(guān)注的應(yīng)用重點(diǎn)有所區(qū)別，偏重的技術(shù)也有所差異。兩者的主要差異在于以下幾點(diǎn)。第一點(diǎn)，計(jì)算機(jī)視覺三維測(cè)量主要使用齊次坐標(biāo)表示點(diǎn)的轉(zhuǎn)換，注重使用矩陣的性質(zhì)(比如矩陣分解）來計(jì)算攝像機(jī)參數(shù)和結(jié)構(gòu)參數(shù)。另外，兩者對(duì)坐標(biāo)系統(tǒng)的定義方式有所區(qū)別，這主要是因?yàn)閿z影測(cè)量學(xué)要服務(wù)于測(cè)繪應(yīng)用的目的，會(huì)盡量將其定義的坐標(biāo)系與大地坐標(biāo)系的坐標(biāo)軸指向一致。三維計(jì)算機(jī)視覺的應(yīng)用盡管計(jì)算機(jī)視覺理論在許多應(yīng)用領(lǐng)域中都取得了突破性的進(jìn)展，然而當(dāng)人們動(dòng)手開發(fā)一套面向具體應(yīng)用的視覺系統(tǒng)時(shí)會(huì)發(fā)現(xiàn)，這樣的一套系統(tǒng)會(huì)面臨各種各樣的現(xiàn)