計算機視覺與應(yīng)用 課件 8.1 計算機視覺三維重構(gòu)的理論基礎(chǔ)

8.1計算機視覺三維重構(gòu)的理論基礎(chǔ)CONTENTS目錄立體視覺概念與應(yīng)用場景01攝像機成像模型02CONTENTS目錄立體視覺概念與應(yīng)用場景01攝像機成像模型02立體視覺(SteroscopicVision)以雙眼單視為基礎(chǔ)，其形成是由于兩眼在觀察一個三維物體時，由于兩個眼球之間存在距離,因而存在視差角,物體在兩眼視網(wǎng)膜上的成像存在相似性及一定的差異，形成雙眼視差(BinocularDisparity)。視中樞成像時，雙眼水平視差信息形成了感知物體的三維形狀及該物體與人眼的距離或視野中兩個物體相對關(guān)系的深度知覺。三維視覺技術(shù)被越來越廣泛應(yīng)用于智能無人系統(tǒng)（無人車、無人機）、機器人、智能制造、文物保護(hù)和醫(yī)療健康等多個行業(yè)。立體視覺概念與應(yīng)用場景CONTENTS目錄立體視覺概念與應(yīng)用場景01攝像機成像模型02攝像機的透視投影模型如圖8-1-1所示，描述的是三維空間點通過透鏡投影為圖像平面上的點的過程，為了定量描述光學(xué)成像過程，首先定義世界坐標(biāo)系、相機坐標(biāo)系、圖像物理坐標(biāo)系和圖像像素坐標(biāo)系。攝像機成像模型(1)圖像坐標(biāo)系、攝像機坐標(biāo)系、世界坐標(biāo)系圖2-1-1中??為相機的光心。相機坐標(biāo)系C-X_C、Y_C、Z_C是依據(jù)拍攝時相機的方位建立的，因此要對重構(gòu)對象的位置有一個公有的確立準(zhǔn)則，必須在場景中選擇一個參考坐標(biāo)系作為基準(zhǔn)，這個坐標(biāo)系就稱為世界坐標(biāo)系O_w-X_w、Y_w、Z_w，世界坐標(biāo)系可以根據(jù)我們的實際需要人為設(shè)定。世界坐標(biāo)系和相機間的關(guān)系可用一個旋轉(zhuǎn)矩陣R和一個平移向量t來詮釋。物點在世界坐標(biāo)系的為(X_w,Y_w,Z_w)。對應(yīng)的相機坐標(biāo)系下為(????,????,????)，兩個坐標(biāo)系之間的關(guān)系用齊次和矩陣形式表示如下式：攝像機成像模型攝像機采集的圖像以標(biāo)準(zhǔn)的電視信號的形式經(jīng)高速圖像采集系統(tǒng)變換為數(shù)字圖像，并輸入計算機。每幅圖像都是M×N數(shù)組，M行N列的圖像中的每一個元素（也就是像素）的數(shù)值就是圖像點的亮度（也就是圖像灰度）。如圖8-1-2所示：攝像機成像模型(u,v)就是以像素為單位的圖像坐標(biāo)系坐標(biāo)。由于(u,v)只表示像素位于數(shù)組中的列數(shù)和行數(shù)，并沒有用物理單位表示出該像素在圖像中的位置。因此，需要在建立以物理單位（如毫米）表示的圖像坐標(biāo)系，也就是我們圖中所表示的XOY坐標(biāo)系。在X-Y坐標(biāo)系中，原點O通常定義為攝像機光軸與圖像平面的交點，該點一般就位于圖像中心處，但由于一些原因，也會發(fā)生偏離。二維攝像機坐標(biāo)系到圖像坐標(biāo)系的變換可以用下面的矩陣進(jìn)行描述：攝像機成像模型圖像物理坐標(biāo)系是一個圖像平面上的二維直角坐標(biāo)系,其原點為光軸與圖像平面的交點，橫軸與掃描線相平行。由相似三角形的對應(yīng)邊等比定理即可得出：攝像機成像模型用齊次坐標(biāo)與矩陣形式寫出：圖像素坐標(biāo)系是用來描述點在圖像平面矩陣的第幾行、列坐標(biāo)系，故其原點O_0的位置如圖8-1-3所示，??軸和??軸分別與??軸和??軸平行，坐標(biāo)(??，??)代表該像素點在圖上的行數(shù)和列數(shù)，其單位是像素，將它與圖像物理坐標(biāo)系建立聯(lián)系，點(??,??)代表的是以毫米為物理單位圖像坐標(biāo)系的坐標(biāo)。坐標(biāo)系的原點〖O〗_1也就是圖像平面的主點。則有以下關(guān)系式：式中????、????——分別為像素的橫縱向尺寸。用齊次坐標(biāo)與矩陣形式表示如下：攝像機成像模型整合上述坐標(biāo)變換：式中相機標(biāo)定的目的就是借助于標(biāo)定板或者對同一場景不同視角下拍攝的圖像序列的特征信息來求解兩相機之間的相對位姿和內(nèi)參。攝像機成像模型(2)對極幾何（EpipolarGeometry）對極幾何是視圖幾何理論的基礎(chǔ)，其描述了同一場景兩幅圖像之間的視覺幾何關(guān)系。兩圖像（左右視圖）間的內(nèi)在幾何關(guān)系稱為對極幾何，對極幾何描述的主要是兩圖像平面與對極平面的幾何關(guān)系。對極平面是繞基線轉(zhuǎn)動的平面束,由空間點確定，對極幾何獨立于場景結(jié)構(gòu)，只依賴于兩相機的內(nèi)部參數(shù)、外部參數(shù)（兩相機的相對位姿）,如圖8-1-4所示。攝像機成像模型圖中兩相機的中心分別為c和c^'，兩圖像平面分別為I和I^'，X為共同視域中的場景空間點，它在兩幅圖像平面上的像點分別為x和x^'。對于一幅圖像而言，它是圖像平面與以基線為軸的平面束的相交的幾何（基線是指連接攝像機中心的直線），對極幾何描述的是左右兩幅圖像(點x和x^'對應(yīng)的圖像)與以CC’為軸的平面束的相交的幾何。直線CC’為基線，以該基線為軸存在一個平面束，該平面束與兩幅圖像平面相交，該平面束中不同平面與兩幅圖像相交于不同直線。點x、x’與攝像機中心C和C’是共面的，并且與空間點X也是共面的，這5個點共面于平面π。這是一個最本質(zhì)的約束，即5個點決定了一個平面π。由該約束，可以推導(dǎo)出一個重要性質(zhì)：由圖像點x和x’反投影的射線共面，并且在平面π上。在這里需要了解對極平面束、對極平面、對極點、對極線等幾個概念，其中對極平面束（epipolarpencil）是指以基線為軸的平面束。對極平面（epipolarplane）是指任何包含基線的平面都稱為對極平面，或者說是對極平面束中的平面。對極點（epipole）是攝像機的基線與每幅圖像的交點。對極線（epipolarline）是指對極平面與圖像的交線。攝像機成像模型3）基礎(chǔ)矩陣基礎(chǔ)矩陣是對極幾何的代數(shù)表達(dá)方式，基礎(chǔ)矩陣描述了圖像中任意對應(yīng)點x?x’之間的約束關(guān)系，基本矩陣是由該方程定義的：攝像機成像模型其中x?x’是兩幅圖像的任意一對匹配點。由于每一組點的匹配提供了計算F系數(shù)的一個線性方程，當(dāng)給定至少7個點（3×3的齊次矩陣減去一個尺度，以及一個秩為2的約束），方程就可以計算出未知的F。我們記點的坐標(biāo)為，又因為F為：所以可得到方程：即相應(yīng)方程式為:攝像機成像模型給定n組點的集合，則有如下方程：如果存在確定（非零）解，則系數(shù)矩陣A的秩最多是8。由于F是齊次矩陣，所以如果矩陣A的秩為8，則在差一個尺度因子的情況下解是唯一的?？梢灾苯佑镁€性算法解得。如果由于點坐標(biāo)存在噪聲則矩陣A的秩可能大于8（也就是等于9，由于A是n×9的矩陣）。這時候就需要求最小二乘解，這里就可以用奇異值分解(SingularValueDecomposition，以下簡稱SVD)來求解，f的解就是系數(shù)矩陣A最小奇異值對應(yīng)的奇異向量，也就是A奇異值分解后A=UDV^T中矩陣V的最后一列矢量，這是在解矢量f在約束∥f∥下取∥Af∥最小的解。以上算法是解基本矩陣的基本方法，稱為8點算法。上述求解后的F不一定能滿足秩為2的