第3章 即時定位與地圖構(gòu)建技術(shù)課件講解

第1

頁第3章即時定位與地圖構(gòu)建技術(shù)3.1SLAM技術(shù)簡介3.2視覺SLAM技術(shù)3.3激光SLAM技術(shù)3.4無人車激光SLAM開發(fā)實例

第2

頁第3章即時定位與地圖構(gòu)建技術(shù)

第3

頁第3章即時定位與地圖構(gòu)建技術(shù)

第4

頁

第5

頁

第6

頁

第7

頁

第8

頁

第9

頁

第10

頁

第11

頁視覺SLAM概述Question機器人自主運動兩大基本問題我在什么地方？——定位周圍長什么樣子？——建圖機器人的“內(nèi)外兼修”：定位側(cè)重對自身的了解，建圖側(cè)重對外在的了解準(zhǔn)確的定位需要精確的地圖精確的地圖來自準(zhǔn)確的定位/video/BV1CZ4y1F7kN/video/BV1YE411r7ao視覺SLAM概述HowtodoSLAM？——Sensors兩類傳感器安裝于環(huán)境中的：二維碼MarkerGPS導(dǎo)軌、磁條攜帶于機器人本體上的IMU激光相機視覺SLAM概述相機以一定速率采集圖像，形成視頻分類單目Monocular雙目Stereo深度RGBD其他魚眼全景EventCamera,etc.視覺SLAM概述相機的本質(zhì)以二維投影形式記錄了三維世界的信息此過程丟掉了一個維度：距離各類相機主要區(qū)別：有沒有深度信息單目：沒有深度，必須通過移動相機產(chǎn)生深度MovingViewStereo雙目：通過視差計算深度StereoRGBD：通過物理方法測量深度視覺SLAM概述僅有一個圖像時：可能是很近但很小的物體可能是很遠但很大的物體它們成像相同必須在移動相機后才能得知相機的運動和場景的結(jié)構(gòu)視覺SLAM概述當(dāng)相機運動起來時場景和成像有幾何關(guān)系近處物體的像運動快遠處物體的像運動慢可以推斷距離視覺SLAM概述雙目相機：左右眼的微小差異判斷遠近同樣，遠處物體變化小，近處物體變化大——推算距離計算量非常大視覺SLAM概述深度相機物理手段測量深度結(jié)構(gòu)光ToF主動測量，功耗大深度值較準(zhǔn)確量程較小，易受干擾視覺SLAM概述視覺SLAM框架前端：VO后端：Optimization回環(huán)檢測LoopClosing建圖Mapping視覺SLAM概述視覺里程計VisualOdometry相鄰圖像估計相機運動基本形式：通過兩張圖像計算運動和結(jié)構(gòu)不可避免地有漂移方法特征點法直接法視覺SLAM概述后端優(yōu)化從帶有噪聲的數(shù)據(jù)中優(yōu)化軌跡和地圖狀態(tài)估計問題最大后驗概率估計MAP前期以EKF為代表，現(xiàn)在以圖優(yōu)化為代表視覺SLAM概述回環(huán)檢測檢測機器人是否回到早先位置識別到達過的場景計算圖像間的相似性方法：詞袋模型視覺SLAM概述回環(huán)檢測在視覺SLAM問題中，位姿的估計往往是一個遞推的過程，即由上一幀位姿解算當(dāng)前幀位姿，因此其中的誤差便這樣一幀一幀的傳遞下去，也就是累積誤差。如下圖所示，位姿約束都是參照上一幀建立的，第五幀的位姿誤差中便已經(jīng)積累了前面四個約束中的誤差。視覺SLAM概述回環(huán)檢測如果，第五幀位姿不僅可以由第四幀推出來，還可以由第二幀推算出來，那顯然由第二幀推出誤差更小，因為只有兩個約束的誤差了。像這樣與之前的某一幀建立位姿約束關(guān)系就叫做回環(huán)?；丨h(huán)通過減少了約束數(shù)，起到了減小累積誤差的作用。視覺SLAM概述回環(huán)檢測那現(xiàn)在又有新的問題了，我們怎么知道可以由第二幀推算第五幀位姿呢？就像下圖，可能第一幀、第三幀也可以呀。確實，我們之所以用前一幀遞推下一幀位姿，因為這兩幀足夠近，肯定可以建立兩幀的約束，但是距離較遠的兩幀就不一定可以建立這樣的約束關(guān)系了。找出可以建立這種位姿約束的歷史幀，就是回環(huán)檢測。視覺SLAM概述回環(huán)檢測那我們現(xiàn)在的重點就是回環(huán)檢測了。其實我們完全可以把以前的所有幀都拿過來和當(dāng)前幀做匹配，匹配足夠好的就是回環(huán)嘛，但問題是計算量太大了，兩幀匹配本來就慢，這樣做的話還沒有比較好的初值，需要匹配的數(shù)目又如此巨大，CPU和我們都會瘋的。視覺SLAM概述回環(huán)檢測但其實，任意兩幀是否構(gòu)成回環(huán)可以由更簡單的方法做一個初步的篩選，就像一幀中有一個房子，另一幀中是一棵樹，那這兩幀明顯關(guān)系不大嘛。通過這種方式，我們便可以對回環(huán)做出初步篩選。而這里說的房子、樹就是詞袋模型中的單詞。也就是描述子的進一步抽象集合。視覺SLAM概述回環(huán)檢測方法：詞袋模型單詞：差距較小的描述子的集合字典：所有的單詞因此每一幀都可以用單詞來描述，也就是這一幀中有哪些單詞，這里只關(guān)心了有沒有，而不必關(guān)心具體在哪里。只有兩幀中單詞種類相近才可能構(gòu)成回環(huán)。視覺SLAM概述回環(huán)檢測方法：詞袋模型因此，現(xiàn)在利用詞袋模型我們將回環(huán)檢測大致分為了以下三個步驟：構(gòu)建字典（所有單詞的集合）確定一幀中具有哪些單詞，用向量表示(1表示具有該單詞，0表示沒有)比較兩幀描述向量的差異視覺SLAM概述建圖用于導(dǎo)航、規(guī)劃、通訊、可視化、交互等度量地圖vs拓撲地圖稀疏地圖vs稠密地圖

第32

頁

第33

頁

第34

頁

第35

頁

第36

頁

第37

頁

第38

頁

第39

頁

第40

頁

第41

頁

第42

頁

第43

頁

第44

頁

第45

頁

第46

頁

第47

頁

第48

頁

第49

頁

第50

頁

第51

頁

第52

頁

第53

頁

第54

頁

第55

頁

第56

頁

第57

頁

第58

頁

第59

頁

第60

頁

第61

頁

第62

頁

第63

頁

第64

頁

第65

頁

第66

頁

第67

頁

第68

頁

第69

頁

第70

頁

第71

頁

第72

頁

第73

頁

第74

頁

第75

頁

第76

頁

第77

頁

第78

頁

第79

頁

第80

頁

第81

頁

第82

頁

第83

頁

第84

頁

第85

頁

第86

頁

第87

頁

第88

頁

第89