項目七任務(wù)2：激光雷達(dá)與視覺傳感器的聯(lián)合標(biāo)定（課件）

激光雷達(dá)與視覺傳感器的聯(lián)合標(biāo)定智能汽車傳感器應(yīng)用技術(shù)一、課程導(dǎo)入傳感器標(biāo)定是自動駕駛的基本需求，一個車上裝了多個或多種傳感器，而它們之間的坐標(biāo)關(guān)系是需要確定的。不同傳感器之間標(biāo)定最大的問題是如何衡量最佳，因為獲取的數(shù)據(jù)類型不一樣，比如攝像頭是RGB圖像的像素陣列；激光雷達(dá)是3-D點云距離信息?，F(xiàn)在用深度學(xué)習(xí)處理點云成為熱點，在標(biāo)注點云時，由于點云的稀疏性，單靠點云，很難判斷目標(biāo)和類別，如果有時間同步的圖像，就可以判斷出來，但是為了精確標(biāo)注，還需要將點云投影到圖像，觀察是否重合，這里就需要做激光雷達(dá)和相機(jī)的聯(lián)合標(biāo)定。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)思考討論題（2分鐘）一、課程導(dǎo)入某同學(xué)最近在為車輛添加障礙物檢測模塊，使用視覺進(jìn)行目標(biāo)檢測，將檢測結(jié)果2Dboundingbox坐標(biāo)信息投影到點云里面獲得3Dboundingbox坐標(biāo)，這里面需要將攝像頭和激光雷達(dá)進(jìn)行聯(lián)合標(biāo)定，即獲取二者坐標(biāo)系的空間轉(zhuǎn)換關(guān)系，你知道如何獲取視覺與激光雷達(dá)兩者坐標(biāo)系的空間轉(zhuǎn)換關(guān)系嗎？課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)二、視覺傳感器標(biāo)定的目的在圖像測量過程以及機(jī)器視覺應(yīng)用中，為確定空間物體表面某點的三維幾何位置與其在圖像中對應(yīng)點之間的相互關(guān)系，必須建立視覺傳感器成像的幾何模型，這些幾何模型參數(shù)就是視覺傳感器參數(shù)。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)視覺傳感器成像的幾何模型二、視覺傳感器標(biāo)定的目的相機(jī)標(biāo)定就是確定相機(jī)內(nèi)參和外參的過程，其結(jié)果精度會直接影響視覺系統(tǒng)后續(xù)工作的準(zhǔn)確性。1.內(nèi)參：反應(yīng)攝像機(jī)自身特性的參數(shù)，比如焦距像素大小等；相機(jī)矩陣和畸變系數(shù)統(tǒng)稱為相機(jī)內(nèi)參，在不考慮畸變的時候，相機(jī)矩陣也會被稱為相機(jī)內(nèi)參；（1）相機(jī)矩陣：包括焦距（fx，fy），光學(xué)中心（Cx，Cy），完全取決于相機(jī)本身，是相機(jī)的固有屬性，可用矩陣表示如下：[fx,0,Cx;0,fy,cy;0,0,1];（2）畸變系數(shù)：畸變數(shù)學(xué)模型的5個參數(shù)D=（k1，k2，P1，P2，k3）；2.外參：是世界坐標(biāo)系中的參數(shù)，比如相機(jī)的位置和旋轉(zhuǎn)方向；通過旋轉(zhuǎn)和平移變換將3D的坐標(biāo)轉(zhuǎn)換為相機(jī)2維的坐標(biāo)，其中的旋轉(zhuǎn)矩陣和平移矩陣就被稱為相機(jī)的外參；描述的是將世界坐標(biāo)系轉(zhuǎn)換成相機(jī)坐標(biāo)系的過程。（1）旋轉(zhuǎn)矩陣：描述世界坐標(biāo)系的坐標(biāo)軸相對于攝像機(jī)坐標(biāo)軸的方向。（2）平移矩陣：描述在攝像機(jī)坐標(biāo)系下，空間原點的位置。2.1視覺傳感器標(biāo)定的目的課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)二、視覺傳感器標(biāo)定的目的標(biāo)定視覺傳感器后通常是想做兩件事一個是由于每個鏡頭的畸變程度各不相同，通過視覺傳感器標(biāo)定可以校正這種鏡頭畸變矯正畸變，生成矯正后的圖像；另一個是根據(jù)獲得的圖像重構(gòu)三維場景。在大多數(shù)條件下這些參數(shù)必須通過實驗與計算才能得到，這個求解參數(shù)的過程就稱之為視覺傳感器標(biāo)定（或攝像機(jī)標(biāo)定）。2.1視覺傳感器標(biāo)定的目的課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)二、視覺傳感器標(biāo)定的目的無論是在圖像測量或者機(jī)器視覺應(yīng)用中，視覺傳感器參數(shù)的標(biāo)定都是非常關(guān)鍵的環(huán)節(jié)，其標(biāo)定結(jié)果的精度及算法的穩(wěn)定性直接影響視覺傳感器工作產(chǎn)生結(jié)果的準(zhǔn)確性。因此，做好視覺傳感器標(biāo)定是做好后續(xù)工作的前提，提高標(biāo)定精度是科研工作的重點所在。2.1視覺傳感器標(biāo)定的目的課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)張正友平面標(biāo)定方法原理三、視覺傳感器標(biāo)定方法課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)根據(jù)是否需要標(biāo)定物可分為傳統(tǒng)攝像機(jī)標(biāo)定方法（或利用景物信息的標(biāo)定方法）、攝像機(jī)自標(biāo)定方法以及基于主動視覺的標(biāo)定方法，這也是目前最被廣為接受的分類方法。標(biāo)定塊3.1攝像機(jī)標(biāo)定方法分類三、視覺傳感器標(biāo)定方法課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)標(biāo)定方法特點優(yōu)點不足傳統(tǒng)攝像機(jī)標(biāo)定方法利用已知的景物結(jié)構(gòu)信息。常用到標(biāo)定塊可以使用于任意的攝像機(jī)模型，標(biāo)定精度高標(biāo)定過程復(fù)雜，需要高精度的已知結(jié)構(gòu)信息主動視覺攝像機(jī)標(biāo)定方法已知攝像機(jī)的某些運(yùn)動信息通?？梢跃€性求解，魯棒性比較高不能使用于攝像機(jī)運(yùn)動未知和無法控制的場合攝像機(jī)自標(biāo)定方法僅依靠多幅圖像之間的對應(yīng)關(guān)系進(jìn)行標(biāo)定僅需要建立圖像之間的對應(yīng)，靈活性強(qiáng)非線性標(biāo)定，魯棒性不高3.2攝像機(jī)標(biāo)定方法特點四、激光雷達(dá)的標(biāo)定目的課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)激光雷達(dá)與車體為剛性連接，兩者間的相對姿態(tài)和位移固定不變，為了建立各個激光雷達(dá)之間的相對坐標(biāo)關(guān)系，需要對激光雷達(dá)的安裝進(jìn)行簡單的標(biāo)定，并使激光雷達(dá)數(shù)據(jù)從激光雷達(dá)坐標(biāo)統(tǒng)一轉(zhuǎn)換至車體坐標(biāo)上通過建立車輛質(zhì)心坐標(biāo)系、雷達(dá)基準(zhǔn)坐標(biāo)系以及車載激光雷達(dá)坐標(biāo)系，將激光雷達(dá)的數(shù)據(jù)轉(zhuǎn)換到基準(zhǔn)坐標(biāo)系中，再將其統(tǒng)一轉(zhuǎn)換到車輛坐標(biāo)系下。激光雷達(dá)在無人車上安裝位置3.1激光雷達(dá)的標(biāo)定目的四、激光雷達(dá)的標(biāo)定目的與相機(jī)標(biāo)定類似，激光雷達(dá)也有內(nèi)參（由廠家提供）和外參之分。內(nèi)參是內(nèi)部激光發(fā)射器坐標(biāo)囍和雷達(dá)自身坐標(biāo)器之間的轉(zhuǎn)換關(guān)系。外參是激光雷達(dá)與移動機(jī)器人之間的坐標(biāo)系轉(zhuǎn)換關(guān)系。激光雷達(dá)外部安裝參數(shù)的標(biāo)定，通常采用等腰直角三角標(biāo)定板和正方形標(biāo)定板來完成。需要標(biāo)定的激光雷達(dá)的安裝參數(shù)包括激光雷達(dá)的俯仰角與側(cè)傾角等。其他較好的標(biāo)定方法還包括交互信息最大化外部自動標(biāo)定法。激光攝像頭融合的邊緣對齊聯(lián)合自動標(biāo)定法和測距與圖像融合的基于線段外部參數(shù)標(biāo)定法等。激光雷達(dá)標(biāo)定參數(shù)3.2激光雷達(dá)的標(biāo)定方法課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)五、激光雷達(dá)與視覺傳感器聯(lián)合標(biāo)定單一傳感器不可避免的存在局限性，為了提高系統(tǒng)的穩(wěn)健性，多采取多傳感器融合的方案。單目相機(jī)分辨率高，可以使用各種深度學(xué)習(xí)算法完成對目標(biāo)檢測，但是缺乏深度，坐標(biāo)等信息。激光雷達(dá)能夠獲得目標(biāo)相當(dāng)精確的三維坐標(biāo)信息，但是分辨率低，目前主流的為64線和32線，稀疏的電云數(shù)據(jù)為模式識別帶來了困難。一種簡單的思路是融合相機(jī)和激光雷達(dá)對目標(biāo)障礙物完成檢測，在圖像層面使用深度學(xué)習(xí)方法將目標(biāo)檢測識別，然后將目標(biāo)從二維圖像映射到三維電云，從而畫出目標(biāo)在三維空間的位置以及邊界（3維的boundingbox），實現(xiàn)這一映射的前提是完成Camera到激光雷達(dá)的組合標(biāo)定。激光雷達(dá)與視覺傳感器聯(lián)合標(biāo)定課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)六、魚眼單目視覺傳感器標(biāo)定內(nèi)參內(nèi)參標(biāo)定需要準(zhǔn)備標(biāo)定板，用的是12x9，棋盤格單格邊長為3.6cm的專業(yè)標(biāo)定板，比較精準(zhǔn)，如圖所示。棋盤格標(biāo)定板課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)6.1內(nèi)參標(biāo)定準(zhǔn)備六、魚眼單目視覺傳感器標(biāo)定內(nèi)參打開虛擬機(jī)，在窗口選擇并連接視覺傳感器，如圖所示。選擇視覺傳感器課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)6.2錄制一個視覺傳感器話題（topic）的Bag六、魚眼單目視覺傳感器標(biāo)定內(nèi)參在窗口區(qū)域內(nèi)點擊鼠標(biāo)右鍵，然后選擇“打開終端”，如圖所示。打開終端課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)6.2錄制一個視覺傳感器話題（topic）的Bag六、魚眼單目視覺傳感器標(biāo)定內(nèi)參在終端窗口區(qū)域內(nèi)輸入命令“roscore”，然后按回車鍵運(yùn)行ROS轉(zhuǎn)接點（注意這個窗口不用關(guān)閉），如圖所示。運(yùn)行ROS課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)6.2錄制一個視覺傳感器話題（topic）的Bag六、魚眼單目視覺傳感器標(biāo)定內(nèi)參再次窗口區(qū)域內(nèi)點擊鼠標(biāo)右鍵，然后選擇“打開終端”新建一個“終端”輸入命令“roslaunchusb_camusb_cam-test.launch”來啟動視覺傳感器launch文件打開視覺傳感器，如圖所示。打開視覺傳感器課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)6.2錄制一個視覺傳感器話題（topic）的Bag六、魚眼單目視覺傳感器標(biāo)定內(nèi)參點擊“文件夾”→“HOME”→“ros+cam+lidar”→“autoware”→“ros”,在“ros”文件夾內(nèi)右鍵打開終端，輸入命令“sourcedevel/setup.bash”按回車，再輸入指令“rosrunautoware_camera_lidar_calibratorcameracalibrator.py--size11x8--square0.036image:=/usb_cam/image_raw”啟動標(biāo)定工具，如圖所示。啟動標(biāo)定工具課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)6.3打開標(biāo)定工具六、魚眼單目視覺傳感器標(biāo)定內(nèi)參標(biāo)定界面是黑白的，當(dāng)拿出標(biāo)定板對著視覺傳感器時，它會自動識別標(biāo)定板里面內(nèi)角的參數(shù)并用其它顏色線條標(biāo)注，如圖所示。正常界面與標(biāo)定界面對比課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)6.4視覺傳感器標(biāo)定及保存六、魚眼單目視覺傳感器標(biāo)定內(nèi)參標(biāo)定參數(shù)分別為舉起標(biāo)定板移動，當(dāng)右上角的X（移動到視覺傳感器視野范圍的最左邊，最右邊）、Y（移動到視覺傳感器視野范圍的最上方，最底部）、Size（移動標(biāo)定板充滿整個視覺傳感器視野范圍）、Skew（改變標(biāo)定板的角度，斜著拿標(biāo)定板）變?yōu)榫G色時（X，Y和Size一起標(biāo)定：保持標(biāo)定板傾斜啟動到視野的最左，最右，最上，最下），標(biāo)定按鈕”CALIBRATE”可用，如圖所示。點擊即可計算內(nèi)參矩陣（按下去時，后臺會進(jìn)行計算，標(biāo)定界面會進(jìn)入卡滯狀態(tài)，并不是任務(wù)錯誤，切勿關(guān)閉窗口，畫面會漸變成灰暗狀態(tài)），在窗口會出現(xiàn)如圖所示。進(jìn)入計算狀態(tài)課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)6.4視覺傳感器標(biāo)定及保存調(diào)整參數(shù)直接綠色狀態(tài)六、魚眼單目視覺傳感器標(biāo)定內(nèi)參等待計算機(jī)后臺計算后，窗口會出現(xiàn)視覺傳感器矩陣數(shù)據(jù)（焦距參數(shù)，里面包含了X、Y、S坐標(biāo)參數(shù)，還有畸變參數(shù)等），如圖所示。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)6.4視覺傳感器標(biāo)定及保存視覺傳感器矩陣數(shù)據(jù)六、魚眼單目視覺傳感器標(biāo)定內(nèi)參窗口還會出現(xiàn)“SAVE-保存”按鈕，點擊后，出現(xiàn)一個保存的路徑，會顯示出保存的時間等（以時間命名），如果想找回保存的文件，可以按照保存時間去找出來。保存完畢后，點擊“COMMIT”按鈕退出標(biāo)定工具，保存完后，使用快鍵鍵“CTRL+C”關(guān)閉視覺傳感器實時同步窗口（不能關(guān)閉終端窗口），注意這里會多保存一個Autoware類型的YAML文件格式，也就是后面外參標(biāo)定要導(dǎo)入的文件，如圖所示。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)6.4視覺傳感器標(biāo)定及保存數(shù)據(jù)保存路徑七、視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參聯(lián)合標(biāo)定也要準(zhǔn)備標(biāo)定板和錄制Bag包，標(biāo)定板用的也是內(nèi)參標(biāo)定的棋盤格，另外因為在電腦上安裝的Autoware，所以需要在汽車傳感與感知實訓(xùn)系統(tǒng)應(yīng)用實訓(xùn)臺上錄制激光雷達(dá)和視覺傳感器的Bag數(shù)據(jù)包，然后再在電腦上回放用于標(biāo)定工具的話題輸入。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)7.1聯(lián)合標(biāo)定準(zhǔn)備七、視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參前面“視覺傳感器內(nèi)參標(biāo)定”步驟完成后沒關(guān)閉的終端窗口就是視覺傳感器launch文件。如果不小心關(guān)心了需要重新打開，步驟如下：1.打開虛擬機(jī)，在窗口選擇并連接視覺傳感器；2.在窗口區(qū)域內(nèi)點擊鼠標(biāo)右鍵，然后選擇“打開終端”；3.在終端窗口區(qū)域內(nèi)輸入命令“roscore”，然后按回車鍵運(yùn)行ROS轉(zhuǎn)接點（注意這個窗口不用關(guān)閉）；4.再次窗口區(qū)域內(nèi)點擊鼠標(biāo)右鍵，然后選擇“打開終端”新建一個“終端”輸入命令“roslaunchusb_camusb_cam-test.launch”來啟動視覺傳感器launch文件打開視覺傳感器。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)7.2啟動視覺傳感器launch文件七、視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參1.打開激光雷達(dá)點擊“文件夾”→“HOME”→“ros+cam+lidar”→“l(fā)idar_catkinws”后，在文件夾內(nèi)右鍵打開終端，輸入命令“sourcedevel/setup.bash”按回車，再輸入指令“roslaunchrslidar_sdkstart.launch”，如圖所示。最后按下回車鍵，激光雷達(dá)點云數(shù)據(jù)界面會在顯示器上打開，如圖所示。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)7.3驅(qū)動激光雷達(dá)打開激光雷達(dá)激光雷達(dá)點云圖七、視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參然后切換到視覺傳感器的終端，輸入指令“roslaunchusb_camusb_cam-test.launch”按下回車鍵，彈出視覺傳感器窗口（是一個實時的影響界面）后，切回到激光雷達(dá)點云的窗口界面后，點擊界面里面的“Add”→“Bytopic”→“usb_cam”→“image_raw”→“image”，再點擊下面的“OK”鍵，如圖所示。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)7.3驅(qū)動激光雷達(dá)添加視覺傳感器話題七、視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參使用鼠標(biāo)調(diào)整視覺傳感器窗口大小，將其與激光雷達(dá)的朝向位置一致（可以通過點云圖的X、Y方向），可以通過舉起標(biāo)定板來確定位置，如圖所示。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)7.3驅(qū)動激光雷達(dá)確定視覺傳感器與激光雷達(dá)朝向方向一致七、視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參打開一個終端，添加指令“rosbagrecord-Ocamera_rslidar_calibration0916.bag/usb_cam/image_raw/rslidar_points”（其中0916是一個時間，方便找到錄制文件）錄制激光雷達(dá)與視覺傳感器標(biāo)定包，然后按下回車鍵錄制，如圖所示。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)7.3驅(qū)動激光雷達(dá)添加錄制標(biāo)定包指令七、視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參錄制的時候，因為是16線激光雷達(dá)，所以拿標(biāo)定板的時候離激光雷達(dá)不能太遠(yuǎn)，不然就不能清楚地看到標(biāo)定板了，錄制時建議的站位分別是：近處左邊，近處中間，近處右邊；中間左邊，中間中間，中間右邊；遠(yuǎn)處左邊，遠(yuǎn)處中間，遠(yuǎn)處右邊；站位如圖所示。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)7.3驅(qū)動激光雷達(dá)錄制站位七、視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參錄制的時候建議每個位置移動改變標(biāo)定板的姿態(tài)，每個姿勢停留1-2秒左右，為防止模糊需要上仰，下俯，左偏，中間不動，右偏移動標(biāo)定板。錄制標(biāo)定包的關(guān)鍵就是錄制多個位置、改變拿標(biāo)定板的姿勢和必須保證能清楚的看到標(biāo)定板，錄制完成后，在終端指令欄目上按一下回車鍵結(jié)束錄制，然后找出錄制的文件（文件里包含了激光雷達(dá)點云，視覺傳感器圖像信息等數(shù)據(jù)），如圖所示。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)7.3驅(qū)動激光雷達(dá)數(shù)據(jù)包所在位置七、視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參回放數(shù)據(jù)包前，需要將視覺傳感器實時窗口和激光雷達(dá)關(guān)閉，然后運(yùn)行激光雷達(dá)驅(qū)動（因為關(guān)閉了激光雷達(dá)，畫面狀態(tài)是沒有點云圖像信息的，如圖所示）。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)7.3驅(qū)動激光雷達(dá)激光雷達(dá)關(guān)閉狀態(tài)七、視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參回放Bag使用如下命令，加上--pause意思是啟動即暫停，防止跑掉數(shù)據(jù)，按空格繼續(xù)回放，輸入指令“rosbagplay--pausecamera_rslidar_calibration0916.bag”如圖所示，然后按下回車播放，此時狀態(tài)是“PAUSED”暫定狀態(tài)，如圖所示，需要按空格鍵才能播放。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)7.3驅(qū)動激光雷達(dá)回放Bag指令暫停狀態(tài)七、視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參點擊“文件夾”→“HOME”→“ros+cam+lidar”→“autoware-1.10.0”→“ros”后，在文件夾內(nèi)右鍵打開終端，輸入指令“sourcedevel/setup.bash”按回車，再輸入指令“roslaunchautoware_camera_lidar_calibratorcamera_lidar_calibration.launchintrinsics_file:=/home/alvis/20210916_1119_autoware_camera_calibration.yamlimage_src:=/usb_cam/image_raw”，如圖所示，最后按下回車鍵，然后彈出image-view2窗口（因為暫停了，所以打開這個畫面的黑色狀態(tài)），如圖所示。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)7.3驅(qū)動激光雷達(dá)打開標(biāo)定工具指令image-view2窗口七、視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參當(dāng)上面的image-view2出現(xiàn)視覺傳感器畫面時，然后按空格回放然后再暫停回放，然后將兩個畫面大小調(diào)到基本一致這樣子標(biāo)定效果會更好，如圖所示，準(zhǔn)備標(biāo)定。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)7.3驅(qū)動激光雷達(dá)調(diào)整兩個畫面大小七、視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參點擊Add添加要訂閱的Image和PontCloud話題，分別設(shè)置每個訂閱話題的topic、FixedFrame設(shè)置為rslidar不然會沒有點云顯示、切換點云查看視角，用鼠標(biāo)滑輪調(diào)整點云距離，確保能看到標(biāo)定板如圖所示。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)7.3驅(qū)動激光雷達(dá)設(shè)置訂閱話題七、視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參做標(biāo)定的時候，建議選擇九個點來做標(biāo)定，左右兩個畫面選擇的點位置保證基本一致。同時切換出image-view2的界面，點擊工具欄放大圖像，然后手動選擇一個像素點和點云進(jìn)行單次標(biāo)定，觀察圖像和點云，并在image-view2中用鼠標(biāo)選擇一個像素點，點擊rviz工具欄的PublishPoint，然后在rviz中選擇一個對應(yīng)的點云數(shù)據(jù)點（要盡量選擇準(zhǔn)確），當(dāng)你的鼠標(biāo)右下角出現(xiàn)一個淺紅色的路標(biāo)記號時即可點擊該數(shù)據(jù)點，觀察image-view2的窗口是否出現(xiàn)points的提示信息，如圖所示。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)7.3驅(qū)動激光雷達(dá)選擇標(biāo)定點七、視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參重復(fù)以上步驟，選擇9個不同的像素點云對，因為需要足夠的數(shù)據(jù)才能計算外參矩陣，當(dāng)?shù)?個點選擇完后，該工具會自動計算外參標(biāo)定矩陣，可以觀察到終端畫面顯示9:9（每個窗口都選擇了9個點），如圖所示。標(biāo)定完畢后，它會自動保存文件，最終的標(biāo)定文件保存在home目錄下，外參標(biāo)定結(jié)束。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)7.3驅(qū)動激光雷達(dá)標(biāo)定結(jié)束八、數(shù)據(jù)融合檢驗標(biāo)定效果標(biāo)定矩陣有了之后，利用autoware提供的融合工具來看下標(biāo)定的效果如何，先來回放數(shù)據(jù)，在終端輸入指令“rosbagplay--pausecamera_rslidar_calibration0819.bag/rslidar_points:=/points_raw”后按下回車鍵，它是一個暫停的狀態(tài)，如圖所示。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)8.1打開數(shù)據(jù)包打開標(biāo)定數(shù)據(jù)包八、數(shù)據(jù)融合檢驗標(biāo)定效果回到Autoware主界面，在終端輸入指令“./run”后按下回車鍵運(yùn)行，提示輸入密碼（密碼是“root”），如圖所示。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)8.1打開數(shù)據(jù)包輸入密碼八、數(shù)據(jù)融合檢驗標(biāo)定效果輸入密碼后會彈出一個RuntimeManager窗口，然后點擊“Sensing”→“CalibrationPublisher”→選擇參數(shù)“/usb_cam”→點擊“Ref”，如圖所示，在文件文件夾里面選擇“20210916_115455autowarelidarcamera_calibration.yaml”外參標(biāo)定文件，然后點擊“OK”如圖所示。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)8.1打開數(shù)據(jù)包參數(shù)選擇選擇外參標(biāo)定文件八、數(shù)據(jù)融合檢驗標(biāo)定效果然后點擊“PointsImage”選擇CameralD“/usb_cam”后點擊“OK”，如圖所示。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)8.1打開數(shù)據(jù)包選擇CameralD八、數(shù)據(jù)融合檢驗標(biāo)定效果點擊左上角任務(wù)欄選擇“AddNewPanel”，如圖所示，然后選擇“ImageViewerPlugin”后點擊“OK”，如圖所示。課程導(dǎo)入魚眼單目視覺傳感器標(biāo)定內(nèi)參視覺傳感器與激光雷達(dá)聯(lián)合標(biāo)定外參視覺傳感器標(biāo)定的目的視覺傳感器標(biāo)定方法激光雷達(dá)與視覺傳感器做聯(lián)合標(biāo)定數(shù)據(jù)融合檢驗標(biāo)定效果激光雷達(dá)的標(biāo)定目的總結(jié)8.1打開數(shù)據(jù)包選擇Add