基于雙目視覺的三維重建概要

基于雙目視覺圖像三維重建人機交互課程基于雙目視覺的三維重建概要第1頁1.引言2.基于圖像三維重建

2.1攝像機標定2.2特征抽取與特征匹配2.3三維空間點定位2.4表面幾何建模2.5紋理映射3.三維重建效果與應用主要內(nèi)容

基于雙目視覺的三維重建概要第2頁

我們看到世界是三維。人機交互中計算機視覺方面研究目標就是為了賦予計算機以人類視覺認知功效，使計算機含有經(jīng)過二維圖像認知三維世界能力。1、引言基于雙目視覺的三維重建概要第3頁

三維信息獲取技術伎倆通常分三種：第一個：利用三維建模軟件（如3DSMAX，AutoCAD等）構造三維模型；第二種：人們經(jīng)過儀器設備直接獲取三維信息；第三種：利用圖像或者視頻來重建三維模型；基于雙目視覺的三維重建概要第4頁

最終一個基于圖像三維建模方法，經(jīng)過對物體實拍圖像序列或者圖像對來恢復出物體模型。依據(jù)重建算法復雜性，建模過程也越來越自動化，使得人工勞動強度越來越輕，降低了建模成本。而建模所需設備只需要一個普通相機，適合用于任何場景重構?；陔p目視覺的三維重建概要第5頁

基于圖像三維重建常見算法：基于平面三維重建；基于深度圖三維重建；基于輪廓線三維重建；基于立體視覺三維重建；2、基于圖像三維重建圖基于立體視覺三維重建基于雙目視覺的三維重建概要第6頁

基于立體視覺三維重建流程原始圖像攝像機基礎矩陣攝像機標定特征點特征點對特征匹配特征點檢測對極線約束空間點定位點云模型表面幾何重建可見外殼紋理映射三維模型基于雙目視覺的三維重建概要第7頁

2.1攝像機標定

2.1.1定義與幾何意義(1)定義：從攝像機獲取圖像信息出發(fā)，計算三維空間中物體幾何信息，并由此重建和識別物體，而空間物體表面某點三維幾何位置與其在圖像中對應點之間相互關系是由攝像機成像幾何模型決定，這些幾何模型參數(shù)就是攝像機參數(shù)。在大多數(shù)條件下，這些參數(shù)必須經(jīng)過試驗與計算才能得到，這個過程被稱為攝像機定標(或稱為標定)?；陔p目視覺的三維重建概要第8頁(2)三個坐標系：

a、世界坐標系：

b、攝像機坐標系：c、圖像坐標系:

Ou攝像機坐標系yxv圖像坐標系世界坐標系基于雙目視覺的三維重建概要第9頁對圖像坐標系，如圖，原點定義為攝像機光軸與圖像平面交點。若在u，v坐標系中坐標為，每一個像素在x軸與y軸方向上物理尺寸為dx,dy，則圖像中任意一個像素在坐標系下坐標有以下關系：寫為齊次坐標形式圖圖像坐標系基于雙目視覺的三維重建概要第10頁

o寫成齊次坐標形式為

（3）兩種攝像機模型

a、小孔成像模型基于雙目視覺的三維重建概要第11頁寫成齊次坐標形式為

of

b、中心透視投影模型基于雙目視覺的三維重建概要第12頁

對于世界坐標系中點進行變換，其過程包含兩個部分：一個是變換部分，一個是旋轉(zhuǎn)部分。所以攝像機坐標系與世界坐標系之間關系能夠用旋轉(zhuǎn)矩陣R與平移矩陣t來描述。所以，空間中某一點P在世界坐標系與攝像機坐標系下齊次坐標假如分別是與，于是存在以下關系：(4)世界坐標與攝像機坐標關系基于雙目視覺的三維重建概要第13頁

由以上推導公式

(5)幾何意義基于雙目視覺的三維重建概要第14頁最終得到K蘊涵了攝像機焦距等內(nèi)部參數(shù)，被稱為內(nèi)參矩陣；(R,t)則反應了攝像機坐標系相對于世界坐標系方向和位置等外部參數(shù)，稱為外參矩陣。所以，求投影矩陣P過程則成為攝像機標定?；陔p目視覺的三維重建概要第15頁2.1.2攝像機標定方法

由2.1.1中推導，有圖像像素坐標系和世界坐標系關系:

從公式上看，若求矩陣P，則應同時知道空間中若干M點坐標以及圖像上對應點M1、M2坐標。MM1M2基于雙目視覺的三維重建概要第16頁通常，能夠采取在攝像機取景范圍內(nèi)放置定標物體方法進行攝像機定標，其中定標物體三維形狀是已知，即定標物體上標識點(也稱為參考點)相對于物體本身坐標系三維坐標是已知。當前廣為采取定標物體是一塊畫有棋盤格平板（如圖），只需要用攝像機從不一樣視角拍攝這個平板，對每幅圖像提取標識點(定標板上已經(jīng)標記好位置)，從而取得定標板標識點與圖像標識點間對應關系，這么，對每幅圖像就能夠確定一個投影矩陣P，從而完成攝像機標定。基于雙目視覺的三維重建概要第17頁

2.2特征提取與特征匹配

2.2.1特征提取特征提取，就是要從大量圖像數(shù)據(jù)中選擇最能反應景物屬性特征原因，用于特征匹配。在當前特征提取算法中，經(jīng)常采取是區(qū)域特征、邊緣特征和角點特征?；陔p目視覺的三維重建概要第18頁為空間點定位重建，這里采取提取特征點。圖像特征點提取方法有很多，能夠定義某種算子(Harris算子、DoG算子等)，經(jīng)過在圖像上尋找該算子極值來提取圖像特征點；也能夠經(jīng)過從圖像中提取邊緣，然后，在邊緣上搜索曲率最大點作為特征點等等。圖特征點提取結果基于雙目視覺的三維重建概要第19頁2.2.2特征匹配

圖像匹配是圖像處理中主要課題，也是三維重建一個主要步驟。是為了尋找同一空間場景在不一樣視點下投影圖像像素間對應關系。對特征提取出特征點來說，匹配即是在不一樣視角圖像中找出特征點對應點，也稱對應基元匹配。基于雙目視覺的三維重建概要第20頁（1）對極幾何約束設兩相機中心分別為C和C’，兩圖像平面分別為I和I’，X1、X2為共同視域中場景空間點，它們在兩幅圖像平面上投影點分別為，。已知點C，C’，X1，X2組成一個平面，稱為對極平面；該平面與成像平面I和I’分別交于直線L和L’，稱為極線。對極幾何約束能夠描述為：假設x和x’分別為同一場景空間點X在兩幅圖像平面I，I’上像點，則x’必定位于x對應極線L’上，反之亦然?；陔p目視覺的三維重建概要第21頁（2）匹配約束條件a、唯一性：在給定兩幅圖中，一幅圖中一點，在另一幅圖中對應匹配點至多只有一個，反之亦然。b、相同性：對應特征應該含有相同屬性。在某種度量下，同一物理特征在兩幅圖像中應該表現(xiàn)出相同性質(zhì)。c、連續(xù)性：與觀察點距離相比，物體表面因凸凹不平引發(fā)深度改變是遲緩，因而，視差改變也是遲緩，或者說視差含有連續(xù)性?；陔p目視覺的三維重建概要第22頁（3）常見算法：

a、區(qū)域匹配；b、相位匹配；c、特征點匹配；圖特征匹配結果基于雙目視覺的三維重建概要第23頁

2.3三維空間點定位圖三維空間點定位

如圖，m是提取圖像特征點，經(jīng)過特征匹配得到其在另一平面匹配點為m’。由攝像機標定得知投影矩陣P和P’，故能夠得到這對匹配點（m，m’）反投影兩條射線。當匹配點滿足對極幾何約束時，反投影射線會在空間中相交，交點M坐標即為三維空間坐標?；陔p目視覺的三維重建概要第24頁

通常情況下，像點坐標都存在測量誤差，使得對極幾何約束得不到滿足，無法使用反投影交點方法得到三維空間坐標。所以，需要計算出三維空間坐標最正確預計值，這個過程稱為三維空間點定位?？捎米钚《朔ㄇ笕∽鴺?，或者用最大似然預計法最小化投影誤差?；陔p目視覺的三維重建概要第25頁

2.4表面幾何建模

2.4.1點云模型建立

概念：點云：三維景物外觀表面點數(shù)據(jù)集合稱之為點云。面片：即三維景物表面某一部分預計。由之前方法重建出空間三維點，每個三維點都會對應一組面片。依據(jù)PMVS點云生成算法，剔除錯誤三維點對應面片，從而得到點云模型。

基于雙目視覺的三維重建概要第26頁2.4.2表面重建與實現(xiàn)對于散亂點云，尋找一個快速有效曲面重建方法是當前一個研究熱點。（1）依據(jù)重建曲面和數(shù)據(jù)點云之間關系能夠?qū)⑶嬷亟ǚ譃椴逯捣ê推冉▋纱箢?。前者得到重建曲面完全?jīng)過原始數(shù)據(jù)點。后者得到重建曲面是原始數(shù)據(jù)點一個迫近。（2）依據(jù)重建曲面表示形式不一樣能夠?qū)⑶嬷亟ǚ譃槲宕箢悾簠?shù)曲面重建、隱式曲面重建、變形曲面重建、細分曲面重建和分片線性曲面重建。

基于雙目視覺的三維重建概要第27頁

（3）依據(jù)曲面拓撲形式不一樣能夠?qū)⑶嬷亟ǚ椒ǚ譃閮纱箢悾夯诰匦斡蚯娣椒ê突谌怯蚯娣椒??；诰匦斡蚯娼Ｖ饕嫦蛴行驍?shù)據(jù)點云，而基于三角域曲面建模則是面向散亂數(shù)據(jù)點云。這么，經(jīng)過曲面重建算法，能夠得到三維模型可見外殼基于雙目視覺的三維重建概要第28頁

2.5紋理映射2.5.1紋理映射定義在計算機圖形學中，為了使模型含有視覺上真實感，經(jīng)常預先定義一個紋理圖像，再經(jīng)過某種映射算法建立物體表面點和紋理圖像像素點之間對應關系，合理填充紋理圖像像素，最終將紋理圖像覆蓋到三維表面上，這一過程就是紋理映射。

基于雙目視覺的三維重建概要第29頁2.5.2紋理映射基本思想紋理映射以多幅圖像為基礎，需要處理問題是怎樣將存在于不一樣圖像中紋理信息組織起來。這就需要將圖像中有用信息提取出來，用一張紋理圖像進行表示。這部分工作通常包含兩個步驟：第一步是建立幾何模型與紋理圖像間對應關系；第二步是依據(jù)對應關系合成紋理圖像。

圖紋理像素映射過程基于雙目視覺的三維重建概要第30頁

2.5.3模型優(yōu)化可見外殼普通以網(wǎng)格形式表示。網(wǎng)格中三角面片數(shù)目標多少，對模型顯示速度及模型所需存放空間都有非常大影響。

當前人們熟知網(wǎng)格優(yōu)化技術包含網(wǎng)格平滑和網(wǎng)格簡化。在進行紋理映射之前，采取適當平滑和簡化算法對網(wǎng)格結構進行優(yōu)化，有利于提高映射精度。

圖可見外殼基于雙目視覺的三維重建概要第31頁2.5.4模型展開空間六面體能夠按照一定對應關系展開二維平面中?；谶@個思想，選定一個能夠包圍三維模型六面體，將模型向空間六面體六個面進行投影，再經(jīng)過平面展開，就取得了三維模型與二維平面間對應關系。

圖模型平面參數(shù)化和柱面參數(shù)化圖六面體一個展開方式基于雙目視覺的三維重建概要第32頁2.5.5最終紋理合成由同空間點定位方法可知幾何模型與每幅彩色圖像之間投影關系，我們能夠計算出模型上每一個三維點在各幅圖像上所對應象素。經(jīng)過一些處理（面片可見性判斷、加權平均），就取得了全部三維模型在紋理圖上對應紋理信息，也就臺成了模型最終紋理圖像。在進行繪制時候只需經(jīng)過新合成紋理圖對模型進行映射，就能正確顯示出三維重建最終止果。

基于雙目視覺的三維重建概要第33頁紋理映射最終止果展示：基于雙目視覺的三維重建概要第34頁3、三維重建效果及應用（1）

制造業(yè)與逆向工程基于雙目視覺的三維重建概要第35頁（