視覺同時定位與建圖方法綜述

機器人領域作為如今熱門的研究領域之一受到了研究者們的廣泛關注，但是機器人的研究始終伴隨著如何使機器人能夠在陌生的環(huán)境中自主探索和行動這個關鍵性問題。SLAM提出至今已有30多年的研究歷程，大致分為傳統(tǒng)時期、算法分析時期和魯棒性-預測性時期3個時間段。對于未知環(huán)境，為了能夠自主移動和探索，機器人需要依靠傳感器獲取環(huán)境數(shù)據(jù)。機器人首先需要解決定位問題即明確自身位置，隨后測量自身周圍的環(huán)境信息并建立地圖，同時保存已建的地圖以備后期在該地區(qū)內直接進行定位和導航。2007年，MonoSLAM是首個利用純視覺恢復相機的移動路徑，使用概率框架在線創(chuàng)建稀疏并持久的自然地標地圖，同時由先驗信息輔助系統(tǒng)完成初始化，由擴展卡爾曼濾波法實時更新狀態(tài)。此外，相機采用恒速度運動模型，相機狀態(tài)的誤差用不確定性程度衡量。2008年，PTAM實現(xiàn)了跟蹤和建圖用不同線程，并可在地圖中顯示AR虛擬物體。前端采用FAST角點檢測算法且引入關鍵幀技術，利用極線約束法匹配特征點計算旋轉矩陣，后端則采用非線性優(yōu)化的BA（BundleAdjustment）方法。2014年，SVO為了在無人機高速移動狀態(tài)下估計準確位姿，采用特征點法和直接法相結合的方法實現(xiàn)高頻高精度里程計。直接法中摒棄傳統(tǒng)算法對圖像中少量的大補丁圖像塊的提取，轉而提取大量小補丁圖像塊。RTAB-MAP針對大場景稠密建圖，并提出內存管理方法來解決大場景長時間稠密建圖存在的回環(huán)檢測和實時性問題。2018年，設計了一個完備的運動狀態(tài)估計器。它是由單目和IMU組裝成的一個小巧裝置，用于度量六自由度，可以廣泛應用移動機器人、無人機和移動電子設備等SLAM系統(tǒng)。DSO依靠圖像上的采樣像素生成稀疏地圖，所用模型涉及光度校正來消除曝光時間和鏡頭漸暈等影響。ORB-SLAM在PTAM基礎上添加了回環(huán)檢測線程，是第一個具備跟蹤、回環(huán)檢測和建圖環(huán)節(jié)的完整實例，最終準確實現(xiàn)了相機的運動軌跡和地圖中軌跡的一致。2019年，基于模型的視覺慣性里程計VIMO正逐步取代傳統(tǒng)的視覺慣性里程計VIO，關注點放在作用于系統(tǒng)的外力上，把動力學和外力結合在殘差中作為約束產生了一種精度較高的狀態(tài)估計器。2020年，DeepFactors建立在CodeSLAM的基礎上，結合深度學習重新表示已學習的緊湊性深度圖對光度誤差、重投影誤差和幾何誤差，實現(xiàn)單目相機構建稠密地圖。一個無需配置相機參數(shù)，便可較靈活地選擇多個數(shù)量的相機組合使用，完成自適應初始化的SLAM系統(tǒng)。語義NodeSLAM根據(jù)VAE和概率渲染引擎判別物體形狀及重構多視圖物體。Vid2Curve系統(tǒng)單憑RGB視頻流也可實現(xiàn)細線條物體三維重建，摒棄傳統(tǒng)基于深度和圖像紋理，而采用基于2D曲線特征的方法抽取出骨骼曲線，沿曲線按物體寬度融合相應半徑圓餅反映物體線條。AVP-SLAM借助對視角和光照具有魯棒性的語義特征構建地下停車場地圖，完成了自動泊車任務。在任一亮環(huán)境下，基于物理的深度網(wǎng)絡考慮反射、折射和內部全反射對物體表面法線重建，進一步實現(xiàn)透明物體的三維重建。ESVO是SLAM領域首次用雙目事件相機構建的視覺里程計，在保證每幀圖像時空一致性前提下，逆深度估計附加時間戳，并采用了IRLS非線性優(yōu)化和前向合成Lucas-Kanade方法。除此之外，目前開源并且框架完備的算法有ORB-SLAM、DTAM、RGBD-SLAM、改善大場景下回環(huán)檢測性能的算法。綜上所述，對大量視覺算法進行分析歸納出視覺SLAM框架涵蓋傳感器數(shù)據(jù)輸入、前端VO、后端優(yōu)化、回環(huán)檢測和建圖5個主體。圖1為視覺SLAM的算法流程。圖1視覺SLAM算法流程1前端前端視覺里程計部分實現(xiàn)對位姿的計算。計算方法大致有特征點法、直接法、光流法和深度學習與幀間估計4種。如圖2所示，視覺里程計要計算估計出相機各幀位姿，從初始位置（可以自定義）起，當前位置通過和上一時刻的位置來計算，公式為。其中，為K和K+1時刻之間的相機平移和旋轉變化，可根據(jù)圖像變換的基本矩陣、單應矩陣和SVD分解本質矩陣計算獲得，從而恢復相機的運動軌跡。圖2相機運動軌跡1.1特征點法特征點法是在相鄰幀之間選取特征點并進行匹配，然后使用RANSAC、M估計或最小中值估計等方法，盡可能濾除錯誤匹配的噪聲點，最后求得位姿。介于對精度和時間的考慮，關鍵點檢測器和描述符組合搭配使用。檢測器算法有ORB、SIFT以及SURF等，描述符算法有BRIEF、FREAK等。由于深度圖像的取舍，前端將面臨2D-2D、3D-2D和3D-3D共3種情形，故使用特征點法時最主要考慮的問題是算法選擇問題和計算方法的選擇問題。（1）SIFT/SURF。SIFT/SURF算法使用基于梯度方法的HOG作為描述符，通過物體在局部區(qū)域中的強度梯度分布來描述物體的結構。（2）RISK/BRIEF/ORB/KAZE/FREAK。上述算法使用二進制Binary描述符，僅依靠圖像自身強度信息，將關鍵點周圍信息編碼成一串二進制數(shù)。BRISK算法采用長距離對和短距離對，其中長距離對描述圖像補丁的梯度方向，而短距離對用于組成二進制字符串來描述梯度大小。長距離對搜索函數(shù)為：短距離對搜索函數(shù)為：長對計算關鍵點方向向量公式為：短距離對組裝成二進制串公式為：上面使用相同數(shù)量圖片及同一工程對所有可能的檢測器和描述符組合進行性能比較實驗。由表1各種檢測器和描述符組合的總運行時間結果可以看出，F(xiàn)AST+BRIEF速度最快，F(xiàn)AST+ORB次之。表1中x表示當前檢測器和描述符不能搭配使用，相應的實驗結果也將不存在。表2為各種檢測器和描述符組合的匹配點數(shù)目結果，可以看出BRISK+BRIEF匹配點數(shù)目最多，BRISK+SIFT和BRISK+FREAK次之。對于所有類型的幾何變換來說，SIFT和BRISK的總體精度最高。表1各種檢測器和描述符組合的總運行時間（單位：ms）表2各種檢測器和描述符組合的匹配點數(shù)目（單位：個）1.2光流法光流法是為了應對圖像中的特征點難提取、紋理簡單且單一的情況提出的。它是基于亮度不變的假設，即圖像中某一位置的像素其亮度在短時間內不會變化的思想來選取圖像中某些像素點進行跟蹤，最后計算出位姿。不變性假設關于時間t進行求導，得：整理為矩陣形式，為：式中：代表該點x方向梯度，代表該點x方向速度；同理，。分別代表y方向梯度和速度，表示圖像隨時間的變化量。1.3直接法直接法依據(jù)灰度不變性假設，利用圖像中像素灰度值的變化來估計相機的運動方向。只要環(huán)境中有亮度并使得相機運動時圖像像素點有亮度的變化，直接法就能工作。因為直接法只關注亮度變化，不關注特征信息，故效率較高。常見的塊匹配算法有NCC、SSD等。DVO在假設條件下用高斯牛頓迭代法計算相機的運動位姿，預測場景點深度值和深度圖提供的實際深度值之間的差異預估運動。LSD-SLAM是繼特征點法后將直接法應用于SLAM的典型算法，省略了特征點提取環(huán)節(jié)，從而提高了算法效率，將圖像中梯度較大的像素點還原出對應3D地圖坐標來盡量反映場景物體的輪廓信息，即建立了半稠密的地圖。跟蹤線程中以歸一化的方差光度誤差最小化為目標，對上一關鍵幀的姿態(tài)值左乘這兩個關鍵幀之間的剛體變換值，從而得到當前關鍵幀的位姿。2后端后端優(yōu)化主要對前端的位姿值進行優(yōu)化，盡量減少累積誤差。前端當前建立的帶有累積誤差的局部地圖，后端會優(yōu)化當前的地圖，避免地圖誤差越來越多。目前，最主要的后端算法包括基于濾波理論的擴展卡爾曼濾波法和基于優(yōu)化理論的BA和圖優(yōu)化法、位姿圖法。除此之外，基于濾波理論的算法還有UKF、EIF、SEIF、PF等，基于優(yōu)化理論的算法還有非線性優(yōu)化、TORO、G2O等。2.1濾波法卡爾曼濾波器包含預測和更新兩個任務，被看作兩步驟程序。步驟1：使用上一狀態(tài)值估計下一狀態(tài)及不確定性：步驟2：使用當前的測量值透過加權平均來更新當前的狀態(tài)估計值：式中，表示卡爾曼增益，表示觀測模型，表示殘差。MonoSLAM的后端采用擴展卡爾曼濾波法，相機采用恒速度運動模型，受瞬間外力對相機的影響，需要再更新相機運動狀態(tài)量。未知力度對相機瞬時作用的影響用噪聲向量表示，其中包含短時間內外力的線加速度和角加速度產生的線速度和角速度。2.2優(yōu)化法BA（BundleAdjustment）目標函數(shù)中，相機位姿變量和路標點變量組成自變量，作為所有待優(yōu)化的變量。變量發(fā)生變化時對應的增量方程為：式中，分別表示關于相機位姿和路標點位置的偏導數(shù)。無論使用G-N方法還是L-M方法，最后都將面對增量線性方程：以G-N為例，則矩陣為：認識到矩陣的稀疏結構，并發(fā)現(xiàn)該結構可以自然地用圖優(yōu)化來表示，此處引入G2O。若一個場景內有5個相機位姿和2個路標。關系結構圖如圖3所示，以最小化下列函數(shù)為目標，優(yōu)化所有圖中的變量：式中，表示第j個路標點，表示j=N個路標點分別在第i個相機下的像素坐標，表示各路標點到各相機平面的深度值。圖3關系結構2.3位姿圖法從圖優(yōu)化知，隨著相機運動需加入大量路標節(jié)點。路標節(jié)點數(shù)量遠大于位姿節(jié)點的數(shù)量，將嚴重降低計算效率。因此，舍棄路標節(jié)點變量的優(yōu)化，只關注相機位姿變量的優(yōu)化，如圖4所示。圖4關系結構首先根據(jù)兩幀已記錄（前端計算）的位姿得到相對位姿變換：重新根據(jù)i、j兩幀圖像利用對極幾何得到實際位姿增量，優(yōu)化的目標為：若所有位姿節(jié)點之間的邊集合記做，則總體目標函數(shù)為：3三維地圖構建三維地圖的表達方式有深度圖（depth）、點云（pointcloud）、體素（voxel）和網(wǎng)格（mesh）共4種。圖5為4類三維建圖方式樣例，深度圖中每個像素表示物體距離相機平面的值。點云是大量點組成的數(shù)據(jù)集，每個點包含位置、顏色等信息。體素是由一個個矩形小方塊組成，類似于三維空間中的像素。網(wǎng)格由許多三角形面拼接成的多邊形以接近現(xiàn)實物體表面，每個網(wǎng)格包含三角形的頂點、邊和面。圖54類三維建圖方式樣例3.1深度圖Shao等人提出了一種立體視覺和陰影形狀（ShapeFromShading，SFS）算法，能夠同時生成深度圖和方向圖，但很難作用在顏色和紋理不均一的場景。強度圖像與對應的深度信息進行隱馬爾可夫模型（HiddenMarkovModel，HMM）建模，應用單張圖像的3D人臉或手的重構系統(tǒng)。Saxena等人將圖像劃分出多個區(qū)域塊，使用馬爾可夫隨機場（MarkovRandomField，MRF）對逐個像素塊計算出相應參數(shù)，以描述每塊所指的3D平面位置與方向，而各個平面共同組成最后的3D場景。Liu等人使用有監(jiān)督的學習方法對非結構化場景圖進行深度預測，其中模型采用經(jīng)過區(qū)分訓練的馬爾可夫隨機場（MRF）。受生物學復雜單元的啟發(fā)，對圖像像素之間相關性進行編碼，從數(shù)據(jù)中學習深度和運動線索實現(xiàn)3-D運動分析。最近，使用基于SIFTFlow的KNN傳輸機制從單個圖像估計靜態(tài)背景的深度，并利用運動信息對其進行增強，以更好地估計視頻中的運動前景對象。使用兩個深度網(wǎng)絡分別進行圖像粗略預測和局部細化預測，實現(xiàn)了對單張圖像的深度估計，并提出了一個尺度不變的損失函數(shù)。提出了將語義對象標簽與單眼深度特征集成在一起的方法，以提高性能，但它們依靠手動添加的方式并使用超像素來分割圖像。建議使用基于ResNet的網(wǎng)絡結構來預測深度。建議使用CNN結構構建用于深度預測的多尺度條件隨機場CRF。BA-Net輸入圖像使用預先學習（端到端）的深度圖生成器產生多個基礎深度圖，并通過特征量度BA將這些深度圖線性組合出最終深度。3.2點云Fan等人實現(xiàn)了對單圖像中單個物體以點云形式進行三維重建，開創(chuàng)了點云生成的先例。從一張2D圖像恢復一個3D物體可能出現(xiàn)多個可能的較好結果，使得此問題不適用經(jīng)典回歸或分類方法解決，轉而研究基于點云表示的3D幾何生成網(wǎng)絡。網(wǎng)絡由輸入圖像和推斷的視點位置確定3D點云中的點位置。點集生成網(wǎng)絡恢復出多個可能的結果，再經(jīng)損失函數(shù)確立最終點云結果。圖6為系統(tǒng)的整體結構圖。圖6系統(tǒng)結構2D圖恢復所有可能的3D形狀：損失函數(shù)：ElasticFusion算法側重構建清晰稠密地圖。對RGB-D相機獲取的深度圖進行操作，相關信息融合到初始的surfel數(shù)學模型中，一步步優(yōu)化模型外形，最后使用此模型描畫場景。圖7展示了ElasticFusion算法的整體實現(xiàn)流程。圖7ElasticFusion算法框架流程建圖線程的兩個步驟。一是surfel模型初始化采用Deformation圖使用均勻抽樣初始化。它由許多node組成，每個node帶有和等參數(shù)來影響surfel模型進行表面變形。二是RGB-D相機獲得深度圖像，使用內參將深度圖轉為點云。點云和RGB彩色圖像使用跟蹤線程計算的相機幾何位姿和光度位姿，并利用OPENGL融合到surfel模型中。3.3體素3D-R2N2沒有在觀察對象之前需先匹配合適的3D形狀，以盡可能迎合2D圖像中所描述的物體。而受早期使用機器學習來學習2D到3D映射以進行場景理解的工作啟發(fā)，引入深度卷積神經(jīng)網(wǎng)絡。網(wǎng)絡建立在LSTM和GRU的基礎上，實現(xiàn)了單視圖和多視圖的3D重建。網(wǎng)絡框架包含Encoder、3DConvolutionalLSTM和Decoder共3大部分，如圖8所示。Encoder是一種CNN結構對輸入圖像進行編碼；Decoder是解碼過程；3DConvolutionalLSTM是由許多LSTM單元組成的正立方體網(wǎng)格結構，每個單元負責一個已編碼的部分并恢復出相應體素，所有體素格組成3D物體。損失函數(shù)使用二分類交叉熵函數(shù)，決定相應體素格狀態(tài)是否占有：圖8網(wǎng)絡框架3.4網(wǎng)格Pixel2Mesh在基于圖的卷積神經(jīng)網(wǎng)絡中輸出3D網(wǎng)格圖形。任一單圖像輸入之前，系統(tǒng)默認同步初始化一橢圓球作為初始的物體形狀。全卷積神經(jīng)網(wǎng)絡一步一步提取2D圖像中的細節(jié)特征，同時圖卷積神經(jīng)網(wǎng)絡受圖像特征的約束將細節(jié)附加于初始的橢球體上，隨著特征數(shù)量的不斷增加致使橢球不斷形變（粗糙到細密過程），最終得到最后物體。圖9為雙網(wǎng)絡協(xié)作流程。圖9雙網(wǎng)絡協(xié)作流程4種約束網(wǎng)格形變的損失函數(shù)為：圖卷積神經(jīng)網(wǎng)絡中包含與Mesh網(wǎng)格對應的頂點（V）、邊（E）和特征向量（F），定義函數(shù)如下：式中，分別表示頂點p在卷積前后的特征向量，表示頂點p的相鄰頂點，是待學習的權重參數(shù)。4發(fā)展趨勢當前，視覺SLAM的發(fā)展趨勢主要涵蓋以下3個方面。4.1面對特殊材質的透明物體的重建透明物體的重建受光反射、折射和內部全反射等因素影響。透明物體成像的物理基礎是界面處的折射遵循斯涅爾定律，反射由菲涅爾方程確定。由高折射率介質進入較低折射率介質界面處的入射角大于臨界角時，就會發(fā)生全內反射。文獻[13]中利用了深層網(wǎng)絡學習和模擬圖像形成的物理基礎知識。網(wǎng)絡內的渲染層可對最多兩次反射的折射光路進行建模，以建立對應于物體正反兩面投影光線的曲面法線，可在任意