RGBD-Direct-方法原理介紹課件

1、RGBD Direct 方法原理介紹7/20/20221內容簡介RGBD Direct 方法簡述前端：RGBD視覺里程計基礎Direct方法基于貝葉斯的Direct方法基于相機噪聲的Direct方法后端：優(yōu)化與相機重定位Pose Graph與Photometric Bundle Adjustment攝像機重定位RGBD Direct方法展望7/20/20222RGBD Direct 方法簡述RGBD 相機Kinect，Intel RealSense，Xtion etc.Structure light，time of flight（ToF）Direct方法利用所有像素最小化Photometric

2、 ErrorDirect方法常見問題與誤會缺乏全局約束？沒有攝像機重定位方法？7/20/20223前端：基礎Direct方法7/20/20224前端：基礎Direct方法7/20/20225前端：基于貝葉斯的Direct方法7/20/20226前端：基于貝葉斯的Direct方法7/20/20227前端：基于相機噪聲Direct方法7/20/20228前端：基于相機噪聲Direct方法7/20/20229前端：基于相機噪聲Direct方法7/20/202210后端：Pose Graph與PBA誤會：Direct方法無法建立全局約束？原因1：Direct方法不提取特征點，無法建立幀與幀之間的共視約

3、束原因2：Direct方法通常使用pose-graph做全局優(yōu)化，場景信息無法在優(yōu)化中利用起來解：利用Loop Closure提供非連續(xù)/鄰近幀之間的關系在關鍵幀中提取少量RGBD像素建立共視約束如何選取像素？7/20/202211后端：Pose Graph與PBA7/20/202212后端：Pose Graph與PBADense Visual SLAM with PSM5不斷收集可靠的RGBD點并添加到Map中 (probabilistic surfels)利用全局和局部信息計算每一幀的相機姿態(tài)在最后優(yōu)化時同時優(yōu)化pose-graph和 photometric BA共視約束來源于probab

4、ilistic surfels在關鍵幀中的有效投影7/20/202213后端：攝像機重定位誤會：Direct沒有攝像機重定位方法？Indirect/sparse方法可以將每一幀的特征描述子組織成kd樹或語義樹的形式，在重定位時進行檢索解：利用RGBD像素建立Fern或Random Forest進行關鍵幀檢索基于深度學習的相機姿態(tài)估計7/20/202214后端：攝像機重定位7/20/202215后端：攝像機重定位PoseNet: 基于深度學習的攝像機重定位 722層GoogLeNet提取圖片中的特征并轉化為7維相機姿態(tài)3維位置信息，四元數旋轉表示（Inference結果需要歸一化）第一篇用深度學

5、習方法計算相機姿態(tài)的工作，重定位精度有限7/20/202216RGBD Direct方法展望依然存在的問題和解決方法需要好的相機姿態(tài)初值（高度非線性）圖像金字塔等計算量大，在缺少并行計算資源時難以實時累計誤差問題基于語義的SLAM技術（平面等基本幾何體或Instance recognition）攝像機重定位技術還不夠完善Ferns等方法對內存要求較大基于深度學習的方法還不夠完善7/20/202217References1 Kerl, Christian, Jrgen Sturm, and Daniel Cremers. Robust odometry estimation for RGB-D

6、cameras.Robotics and Automation (ICRA), 2013 IEEE International Conference on. IEEE, 2013.2 Kerl, Christian, Jurgen Sturm, and Daniel Cremers. Dense visual SLAM for RGB-D cameras.Intelligent Robots and Systems (IROS), 2013 IEEE/RSJ International Conference on. IEEE, 2013.3 Babu, Benzun Wisely, et al

7、. -dvo: Sensor noise model meets dense visual odometry.Mixed and Augmented Reality (ISMAR), 2016 IEEE International Symposium on. IEEE, 2016.4 Wasenmller, Oliver, Mohammad Dawud Ansari, and Didier Stricker. Dna-slam: Dense noise aware slam for tof rgb-d cameras.Asian Conference on Computer Vision. S

8、pringer, Cham, 2016.5 Yan, Zhixin, Mao Ye, and Liu Ren. Dense Visual SLAM with Probabilistic Surfel Map.IEEE Transactions on Visualization & Computer Graphics1 (2017): 1-1.6 Glocker, Ben, et al. Real-time RGB-D camera relocalization via randomized ferns for keyframe encoding.IEEE transactions on visualization and computer graphics21.5 (2015): 571-583.7 Kendall, Alex, Matthew Grimes, and Roberto Cipolla. Posenet: A convolutional ne