基于結構光與雙目視覺的三維重構技術研究課件

基于結構光與雙目視覺的

三維重構技術研究基于結構光與雙目視覺的

三維重構技術研究應用現(xiàn)狀應用現(xiàn)狀實現(xiàn)流程實現(xiàn)流程關鍵技術點和難點1相機標定2立體匹配3雙目測距4點云重構除了雙目測距關鍵技術點難點關鍵技術點和難點1相機標定除了雙目測距關鍵技術點難點雙目測距原理小孔成像模型在構建三維測量模型中起著決定性作用，可以把它理解為視覺測量技術大廈的根基。雙目測距原理小孔成像模型在構建三維測量模型中起著雙目測距原理各坐標系關系示意圖雙目測距原理各坐標系關系示意圖三角法測量模型三角法測量模型相機標定相機標定：主要是獲得相機幾何參數(shù)和光學參數(shù)（內(nèi)部參數(shù)）以及相機相對于世界坐標系的空間位置、方向關系（外部參數(shù)）的過程。相機標定結果的精度直接影響著計算機視覺的精度定義分類1傳統(tǒng)標定2基于主動視覺的標定3自標定相機標定相機標定：主要是獲得相機幾何參數(shù)和光學相機標定圖像坐標系與像素坐標系圖像坐標系與相機坐標系相機坐標系與世界坐標系相機標定圖像坐標系與像素坐標系圖像坐標系與相機坐標系相機坐標相機標定其中：內(nèi)部參數(shù)矩陣：K外部參數(shù)矩陣：M1相機標定其中：內(nèi)部參數(shù)矩陣：K相機標定張正友法張正友在1998年提出了一種基于棋盤格模板的相機標定方法成為相機標定研究的經(jīng)典之作。這種方法由兩部分組成，首先對相機的參數(shù)進行估計，再用優(yōu)化函數(shù)進行迭代求精。Tsai標定算法這種標定算法需要一個精確定制的3D標定靶。操作過程是首先獲取該標定靶塊的圖像，并提取出圖像上的角點特征，然后根據(jù)角點坐標與其對應空間點的世界坐標計算出攝像機的內(nèi)、外參數(shù)。相機標定張正友法張正友在1998年提出了一激光輔助標定法激光輔助標定法立體匹配定義立體匹配就是在兩幅圖像的匹配基元之間建立對應關系的過程，它是雙目體視中最關鍵、困難的一步。方法區(qū)域匹配、特征匹配和相位匹配立體匹配定義立體匹配就是在兩幅圖像的匹配基元之間立體匹配立體匹配求解本身是個病態(tài)問題，需要通過一些附加信息或約束條件才能得到近似解。立體匹配的約束主要包括搜索范圍的尋找和相似度計算這兩個方面。主要包括如下：

極線約束：極線約束主要利用了空間點的投影在對應兩幅圖像的極線上這一條件。

唯一性約束：一幅圖像上的一點只能與另一幅圖像上的一點對應，而不能與多點對應。視差的連續(xù)性約束：除了遮擋區(qū)域和一些視差不連續(xù)的區(qū)域外，其他的區(qū)域視差的變化是平滑的,變化不大。

視差一致性約束：在左右視差圖中，若左圖像的某一點的視差和以此視差對應的右圖像目標像素的視差相同,則滿足視差一致性約束。挑戰(zhàn)性問題：遮擋、弱紋理、深度不連續(xù)、光照影響、光學透射立體匹配立體匹配求解本身是個病態(tài)問題，需要通立體匹配立體匹配立體匹配立體匹配點云重構定義把點云重構成三維立體圖形方法三角剖分貪婪三角剖分Delaunay剖分點云重構定義把點云重構成三維立體圖形方法三角剖分貪婪三角剖分三角剖分當?shù)玫奖粧呙栉矬w的點云后，將進行三角剖分。三角剖分將點云組建成一個由許多三角形組成的網(wǎng)格。通過三角剖分建立起來的網(wǎng)格應該滿足以下三個條件：1)除了端點，任意三角形的任意一條邊不包含點云中的任何點。2)任意兩條邊若相交，只在公共端點相交。3)網(wǎng)格內(nèi)的任意一個面都是三角面，且所有三角面的合集是點云集合的凸包。三角剖分當?shù)玫奖粧呙栉矬w的點云后，將進行三角剖貪婪三角剖分它從一個隨機的點開始，將越來越多的鄰點包含進三角化網(wǎng)格，使網(wǎng)格逐漸增長。在建網(wǎng)的過程中，每個點有可能被賦予這四種狀態(tài)：FREE，F(xiàn)RINGE，BOUNDARY，COMPLETED。FREE：未加入任何三角形。FRINGE：已加入一些三角形,還有加入另一些三角形的可能性。BOUNDARY：已位于三角化網(wǎng)格的邊界，即已加入若干三角形，不能加入更多三角形,但未被這些三角形完全包圍。COMPLETED：已加入若干三角形，不能加入更多的三角形，并被這些三角形完全包圍。貪婪三角剖分它從一個隨機的點開始，將越來越多的鄰貪婪三角剖分貪婪三角剖分Delaunay三角剖分Delaunay三角剖分的兩個準則：唯一性：任意三角形的外接圓內(nèi)不包含任何點且任意四點不共圓。最大化最小角Delaunay三角剖分Delaunay三角剖分的兩個準則：TheendThankyou!TheendThankyou!基于結構光與雙目視覺的

三維重構技術研究基于結構光與雙目視覺的

三維重構技術研究應用現(xiàn)狀應用現(xiàn)狀實現(xiàn)流程實現(xiàn)流程關鍵技術點和難點1相機標定2立體匹配3雙目測距4點云重構除了雙目測距關鍵技術點難點關鍵技術點和難點1相機標定除了雙目測距關鍵技術點難點雙目測距原理小孔成像模型在構建三維測量模型中起著決定性作用，可以把它理解為視覺測量技術大廈的根基。雙目測距原理小孔成像模型在構建三維測量模型中起著雙目測距原理各坐標系關系示意圖雙目測距原理各坐標系關系示意圖三角法測量模型三角法測量模型相機標定相機標定：主要是獲得相機幾何參數(shù)和光學參數(shù)（內(nèi)部參數(shù)）以及相機相對于世界坐標系的空間位置、方向關系（外部參數(shù)）的過程。相機標定結果的精度直接影響著計算機視覺的精度定義分類1傳統(tǒng)標定2基于主動視覺的標定3自標定相機標定相機標定：主要是獲得相機幾何參數(shù)和光學相機標定圖像坐標系與像素坐標系圖像坐標系與相機坐標系相機坐標系與世界坐標系相機標定圖像坐標系與像素坐標系圖像坐標系與相機坐標系相機坐標相機標定其中：內(nèi)部參數(shù)矩陣：K外部參數(shù)矩陣：M1相機標定其中：內(nèi)部參數(shù)矩陣：K相機標定張正友法張正友在1998年提出了一種基于棋盤格模板的相機標定方法成為相機標定研究的經(jīng)典之作。這種方法由兩部分組成，首先對相機的參數(shù)進行估計，再用優(yōu)化函數(shù)進行迭代求精。Tsai標定算法這種標定算法需要一個精確定制的3D標定靶。操作過程是首先獲取該標定靶塊的圖像，并提取出圖像上的角點特征，然后根據(jù)角點坐標與其對應空間點的世界坐標計算出攝像機的內(nèi)、外參數(shù)。相機標定張正友法張正友在1998年提出了一激光輔助標定法激光輔助標定法立體匹配定義立體匹配就是在兩幅圖像的匹配基元之間建立對應關系的過程，它是雙目體視中最關鍵、困難的一步。方法區(qū)域匹配、特征匹配和相位匹配立體匹配定義立體匹配就是在兩幅圖像的匹配基元之間立體匹配立體匹配求解本身是個病態(tài)問題，需要通過一些附加信息或約束條件才能得到近似解。立體匹配的約束主要包括搜索范圍的尋找和相似度計算這兩個方面。主要包括如下：

極線約束：極線約束主要利用了空間點的投影在對應兩幅圖像的極線上這一條件。

唯一性約束：一幅圖像上的一點只能與另一幅圖像上的一點對應，而不能與多點對應。視差的連續(xù)性約束：除了遮擋區(qū)域和一些視差不連續(xù)的區(qū)域外，其他的區(qū)域視差的變化是平滑的,變化不大。

視差一致性約束：在左右視差圖中，若左圖像的某一點的視差和以此視差對應的右圖像目標像素的視差相同,則滿足視差一致性約束。挑戰(zhàn)性問題：遮擋、弱紋理、深度不連續(xù)、光照影響、光學透射立體匹配立體匹配求解本身是個病態(tài)問題，需要通立體匹配立體匹配立體匹配立體匹配點云重構定義把點云重構成三維立體圖形方法三角剖分貪婪三角剖分Delaunay剖分點云重構定義把點云重構成三維立體圖形方法三角剖分貪婪三角剖分三角剖分當?shù)玫奖粧呙栉矬w的點云后，將進行三角剖分。三角剖分將點云組建成一個由許多三角形組成的網(wǎng)格。通過三角剖分建立起來的網(wǎng)格應該滿足以下三個條件：1)除了端點，任意三角形的任意一條邊不包含點云中的任何點。2)任意兩條邊若相交，只在公共端點相交。3)網(wǎng)格內(nèi)的任意一個面都是三角面，且所有三角面的合集是點云集合的凸包。三角剖分當?shù)玫奖粧呙栉矬w的點云后，將進行三角剖貪婪三角剖分它從一個隨機的點開始，將越來越多的鄰點包含進三角化網(wǎng)格，使網(wǎng)格逐漸增長。在建網(wǎng)的過程中，每個點有可能被賦予這四種狀態(tài)：FREE，F(xiàn)RINGE，BOUNDARY，COMPLETED。FREE：未加入任何三角形。FRINGE：已加入一些三角形,還有加入另一些三角形的可能性。BOUNDARY：已位于三角化網(wǎng)格的邊界，即已加入若干三角形，不能加入更多三角形,但未被這些三角形完全包圍。COMPLETED：已加入若干三角形，不能加入更多的三角形，并被這