RGBD-Direct-方法原理介紹

RGBD

Direct

方法原理介紹2/27/20251內(nèi)容簡介RGBD

Direct

方法簡述前端：RGBD視覺里程計基礎(chǔ)Direct方法基于貝葉斯的Direct方法基于相機噪聲的Direct方法后端：優(yōu)化與相機重定位Pose

Graph與Photometric

Bundle

Adjustment攝像機重定位RGBD

Direct方法展望2/27/20252RGBD

Direct

方法簡述RGBD

相機Kinect，Intel

RealSense，Xtion

etc.Structure

light，time

of

flight（ToF）Direct方法利用所有像素最小化Photometric

ErrorDirect方法常見問題與誤會缺乏全局約束？沒有攝像機重定位方法？2/27/20253前端：基礎(chǔ)Direct方法

2/27/20254前端：基礎(chǔ)Direct方法

2/27/20255前端：基于貝葉斯的Direct方法

2/27/20256前端：基于貝葉斯的Direct方法

2/27/20257前端：基于相機噪聲Direct方法

2/27/20258前端：基于相機噪聲Direct方法

2/27/20259前端：基于相機噪聲Direct方法

2/27/202510后端：Pose

Graph與PBA誤會：Direct方法無法建立全局約束？原因1：Direct方法不提取特征點，無法建立幀與幀之間的共視約束原因2：Direct方法通常使用pose-graph做全局優(yōu)化，場景信息無法在優(yōu)化中利用起來解：利用Loop

Closure提供非連續(xù)/鄰近幀之間的關(guān)系在關(guān)鍵幀中提取少量RGBD像素建立共視約束如何選取像素？2/27/202511后端：Pose

Graph與PBA

2/27/202512后端：Pose

Graph與PBADense

Visual

SLAM

with

PSM[5]不斷收集可靠的RGBD點并添加到Map中(probabilisticsurfels)利用全局和局部信息計算每一幀的相機姿態(tài)在最后優(yōu)化時同時優(yōu)化pose-graph和

photometricBA共視約束來源于probabilisticsurfels在關(guān)鍵幀中的有效投影2/27/202513后端：攝像機重定位誤會：Direct沒有攝像機重定位方法？Indirect/sparse方法可以將每一幀的特征描述子組織成kd樹或語義樹的形式，在重定位時進行檢索解：利用RGBD像素建立Fern或Random

Forest進行關(guān)鍵幀檢索基于深度學習的相機姿態(tài)估計2/27/202514后端：攝像機重定位

2/27/202515后端：攝像機重定位PoseNet:基于深度學習的攝像機重定位[7]22層GoogLeNet提取圖片中的特征并轉(zhuǎn)化為7維相機姿態(tài)3維位置信息，四元數(shù)旋轉(zhuǎn)表示（Inference結(jié)果需要歸一化）第一篇用深度學習方法計算相機姿態(tài)的工作，重定位精度有限2/27/202516RGBD

Direct方法展望依然存在的問題和解決方法需要好的相機姿態(tài)初值（高度非線性）圖像金字塔等計算量大，在缺少并行計算資源時難以實時累計誤差問題基于語義的SLAM技術(shù)（平面等基本幾何體或Instance

recognition）攝像機重定位技術(shù)還不夠完善Ferns等方法對內(nèi)存要求較大基于深度學習的方法還不夠完善2/27/202517References[1]Kerl,Christian,JürgenSturm,andDanielCremers."RobustodometryestimationforRGB-Dcameras."

RoboticsandAutomation(ICRA),2013IEEEInternationalConferenceon.IEEE,2013.[2]Kerl,Christian,JurgenSturm,andDanielCremers."DensevisualSLAMforRGB-Dcameras."

IntelligentRobotsandSystems(IROS),2013IEEE/RSJInternationalConferenceon.IEEE,2013.[3]Babu,BenzunWisely,etal."σ-dvo:Sensornoisemodelmeetsdensevisualodometry."

MixedandAugmentedReality(ISMAR),2016IEEEInternationalSymposiumon.IEEE,2016.[4]Wasenmüller,Oliver,MohammadDawudAnsari,andDidierStricker."Dna-slam:Densenoiseawareslamfortofrgb-dcameras."

AsianConferenceonComputerVision.Springer,Cham,2016.[5]Yan,Zhixin,MaoYe,andLiuRen."DenseVisualSLAMwithProbabilisticSurfelMap."

IEEETransactionsonVisualization&ComputerGraphics

1(2017):1-1.[6]Glocker,Ben,etal."Real-timeRGB-Dcamerarelocalizationviarandomizedfernsforkeyframeencoding."

IEEEtransactionsonvisualizationandcomputergraphics

21.5(2015):571-583..[7]Kendall,Alex,MatthewGrimes,andRobertoCipolla."Posenet:Aco