三維信息獲取和環(huán)境地圖表示

三維信息獲取和環(huán)境地圖表示4.1投影矩陣的求解原理4.2空間點(diǎn)云重建和紋理映射投影矩陣求解原理：假設(shè)移動(dòng)機(jī)器人在移動(dòng)時(shí)前后兩幀的投影矩陣為和，則,稱為攝影機(jī)的基礎(chǔ)矩陣。

投影矩陣的推導(dǎo)：透視投影變換是在齊次坐標(biāo)下進(jìn)行的，對(duì)于一個(gè)向量v以及基oabc，可以找到一組坐標(biāo)(v1,v2,v3)，使得v

=v1

a

+v2

b+

v3

c（1）而對(duì)于一個(gè)點(diǎn)p，則可以找到一組坐標(biāo)（p1,p2,p3），使得p

–

o

=p1

a+

p2

b

+p3

c（2）p

=

o

+p1

a+

p2

b

+p3

c(3)我們現(xiàn)在把（1）（3）寫成矩陣的形式：這樣，向量和點(diǎn)在同一個(gè)基下就有了不同的表達(dá)：3D向量的第4個(gè)代數(shù)分量是0，而3D點(diǎn)的第4個(gè)代數(shù)分量是1。像這種這種用4個(gè)代數(shù)分量表示3D幾何概念的方式是一種齊次坐標(biāo)表示。線性插值由一個(gè)數(shù)域映射到另一個(gè)數(shù)域時(shí),如果兩個(gè)數(shù)域都是線性,那么它們的對(duì)應(yīng)點(diǎn)成比例.例如：已知有一破溫度計(jì)(何以謂破?刻度之間間距雖平均,但間距或大于或小于標(biāo)準(zhǔn)值,謂之破),當(dāng)其插入0

攝氏度水里時(shí)顯示為5攝氏度,當(dāng)其插入100攝氏度的沸水中時(shí)顯示為90攝氏度,問(wèn):當(dāng)實(shí)際水溫為50攝氏度時(shí)，此破溫度計(jì)顯示的值是多少?解:因刻度均勻,所以刻度之間的比例與好溫度計(jì)相同,由此:設(shè)顯示的數(shù)為T,(90-T)/(T-5)=(100-50)/(50-0)解出T=47.5

0C.透視投影變換這里我們選擇OpenGL的透視投影變換進(jìn)行分析，其他的APIs(應(yīng)用程序編程接口)會(huì)存在一些差異，但主體思想是相似的，可以類似地推導(dǎo)。OpenGL：（全寫OpenGraphicsLibrary）是個(gè)定義了一個(gè)跨編程語(yǔ)言、跨平臺(tái)的編程接口規(guī)格的專業(yè)的圖形程序接口。它用于三維圖像（二維的亦可），是一個(gè)功能強(qiáng)大，調(diào)用方便的底層圖形庫(kù)。OpenGL里的視錐體圖形透視投影變換由兩步組成：1）用透視變換矩陣把頂點(diǎn)從視錐體中變換到裁剪空間的CVV（規(guī)則觀察體）中。2）CVV裁剪完成后進(jìn)行透視除法。設(shè)P(x,z)是經(jīng)過(guò)相機(jī)變換之后的點(diǎn)，視錐體由eye——眼睛位置，np——近裁剪平面，fp——遠(yuǎn)裁剪平面組成。N是眼睛到近裁剪平面的距離，F(xiàn)是眼睛到遠(yuǎn)裁剪平面的距離。投影面可以選擇任何平行于近裁剪平面的平面，這里我們選擇近裁剪平面作為投影平面。設(shè)P’(x’,z’)是投影之后的點(diǎn)，則有z’=-N。完成投影。

透視除法。機(jī)器人雙目立體視覺(jué)若干關(guān)鍵理論問(wèn)題及其技術(shù)實(shí)現(xiàn)研究

第1章，回顧了計(jì)算機(jī)視覺(jué)理論研究的發(fā)展歷程，調(diào)研了國(guó)內(nèi)外雙目立體視覺(jué)理論研究和技術(shù)應(yīng)用的現(xiàn)狀，以立體視覺(jué)為重點(diǎn)分析了雙目立體視覺(jué)的應(yīng)用前景，探討了相關(guān)研究的關(guān)鍵技術(shù)和存在的問(wèn)題，闡明了本課題的研究意義、研究難點(diǎn)和研究?jī)?nèi)容。視覺(jué)是一個(gè)古老的研究課題。人類視覺(jué)過(guò)程可以看作是一個(gè)從感覺(jué)到知覺(jué)的復(fù)雜過(guò)程，從狹義上說(shuō)視覺(jué)的最終目的是要對(duì)場(chǎng)景作出對(duì)觀察者有意義的解釋和描述;從廣義上說(shuō)是根據(jù)周圍的環(huán)境和觀察者的意愿，在解釋和描述的基礎(chǔ)上作出行為規(guī)劃或行為決策。計(jì)算機(jī)視覺(jué)研究的發(fā)展：最早可以追溯到20世紀(jì)50年代20世紀(jì)80年代初期有了初步的發(fā)展到了20世紀(jì)80年代中期，計(jì)算機(jī)視覺(jué)獲得了蓬勃的發(fā)展進(jìn)入20世紀(jì)90年代，出現(xiàn)了低功耗和低成本的CMOS圖像傳感器，其獨(dú)特的優(yōu)點(diǎn)在使其在計(jì)算機(jī)視覺(jué)中得到了廣泛的應(yīng)用。同時(shí)，隨著專用視頻解碼芯片和現(xiàn)場(chǎng)可編程邏輯門陣列(FPGA)芯片的出現(xiàn)，使得圖像采集系統(tǒng)到計(jì)算機(jī)的實(shí)時(shí)圖像數(shù)據(jù)傳輸成為可能。

雙目立體視覺(jué)技術(shù)研究與應(yīng)用現(xiàn)狀一個(gè)完整的雙目立體視覺(jué)技術(shù)實(shí)現(xiàn)可以分為：圖像獲取三維重建立體匹配特征提取攝像機(jī)標(biāo)定圖像獲取攝像機(jī)標(biāo)定攝像機(jī)標(biāo)定的研究現(xiàn)狀攝像機(jī)標(biāo)定起源于攝影測(cè)量學(xué)。攝影測(cè)量學(xué)中使用的方法是數(shù)學(xué)解析分析的方法，在標(biāo)定過(guò)程中通常要利用數(shù)學(xué)方法對(duì)從數(shù)字圖像中獲得的數(shù)據(jù)進(jìn)行處理。傳統(tǒng)的標(biāo)定方法攝像機(jī)標(biāo)定方法：自標(biāo)定方法基于主動(dòng)視覺(jué)的標(biāo)定方法（1）傳統(tǒng)的標(biāo)定的方法和理論都比較成熟。優(yōu)點(diǎn)：可以使用任意的攝像機(jī)模型，標(biāo)定精度高，適合精度要求很高的應(yīng)用場(chǎng)合。主要方法：非線性優(yōu)化法、直接線性變換法、兩步法、平面模板法和雙平面法等。（2）自標(biāo)定方法不需要利用標(biāo)準(zhǔn)的標(biāo)定物來(lái)得到準(zhǔn)確的三維信息，只需控制攝像機(jī)的運(yùn)動(dòng)來(lái)獲得圖像序列，通過(guò)從圖像序列的匹配信息得到約束關(guān)系來(lái)計(jì)算攝像機(jī)模型參數(shù)。優(yōu)點(diǎn)：只需建立圖像與圖像間的相互對(duì)應(yīng)關(guān)系，具有很強(qiáng)的靈活性。缺點(diǎn)：標(biāo)定過(guò)程比較復(fù)雜，不適于對(duì)實(shí)時(shí)性有較強(qiáng)要求的場(chǎng)合。此外，自標(biāo)定法采用的是非線性優(yōu)化算法求解，對(duì)初值估計(jì)的依賴性較強(qiáng)，導(dǎo)致其魯棒性不好，只適于對(duì)標(biāo)定精度要求不是很高的應(yīng)用場(chǎng)合。主要方法：絕大多數(shù)是基于絕對(duì)二次曲線(theAbsoluteConic)或其對(duì)偶絕對(duì)二次曲面(theAbsoluteQuadric)的方法。（3）基于主動(dòng)視覺(jué)的標(biāo)定方法這里的主動(dòng)視覺(jué)系統(tǒng)是指首先將攝像機(jī)精確的安裝在可以控制的操作平臺(tái)上，然后通過(guò)控制平臺(tái)作特定的運(yùn)動(dòng)來(lái)使攝像機(jī)拍攝多幅圖像，最后利用圖像和攝像機(jī)的運(yùn)動(dòng)參數(shù)來(lái)獲得攝像機(jī)的內(nèi)部參數(shù)以及外部參數(shù)。主要方法：包括基于純平移運(yùn)動(dòng)與墓于純旋轉(zhuǎn)運(yùn)動(dòng)的兩種標(biāo)定算法。缺點(diǎn)：成本高；對(duì)攝像機(jī)的運(yùn)動(dòng)情況有約束。圖像立體匹配的研究現(xiàn)狀立體匹配解決的是對(duì)于同一空間景物上的一點(diǎn)在參考圖像上的投影點(diǎn)如何在匹配圖像上找到其對(duì)應(yīng)點(diǎn)的問(wèn)題?；诰植康牧Ⅲw匹配算法分類：基于全局的立體匹配算法基于半全局的立體匹配算法（1）基于局部的立體匹配算法：利用對(duì)應(yīng)點(diǎn)本身以及鄰近的局部區(qū)域的約束信息。優(yōu)點(diǎn)：計(jì)算效率高，在高紋理區(qū)域能夠很快的得到視差圖缺點(diǎn)：在遮擋區(qū)域和視差不連續(xù)區(qū)域的匹配精度不高，易產(chǎn)生誤匹配（2）基于全局的立體匹配算法：優(yōu)點(diǎn)：一般能獲得精度較高的視差圖缺點(diǎn):相應(yīng)的參數(shù)設(shè)置較難而且復(fù)雜度也較高，實(shí)時(shí)性不是很強(qiáng)立體匹配算法存在各自的優(yōu)缺點(diǎn)，研究學(xué)者對(duì)其的研究也是針對(duì)不同的需求選擇不同的算法進(jìn)行研究。其中一些經(jīng)典算法已經(jīng)比較成熟，應(yīng)用也比較廣泛。除此之外，還有學(xué)者陸續(xù)提出一些新的算法。我們的實(shí)驗(yàn)：返回目標(biāo)物體的三維形態(tài)信息和位置信息立體匹配求取視差圖特征提取獲取目標(biāo)圖像攝像機(jī)標(biāo)定希望做出的改進(jìn)：（1）改進(jìn)立體匹配算法，求取出清晰的視差圖；（2）利用三視圖的原理完成實(shí)驗(yàn)。謝謝！請(qǐng)各位老師批評(píng)指正把z換成有三個(gè)原因：1）后面投影之后的光柵化階段，要通過(guò)x'和y'對(duì)z進(jìn)行線性插值，以求出三角形內(nèi)部片元的z，進(jìn)行z緩沖深度測(cè)試。在數(shù)學(xué)上，投影后的x'和y'，與z不是線性關(guān)系，與1/z才是線性關(guān)系。而正是1/z的線性關(guān)系，即-a+b/z。用這個(gè)1/z的線性組合值和x'、y'進(jìn)行插值才是正確的。2）P’的3個(gè)代數(shù)分量統(tǒng)一地