第8章 機(jī)器視覺(jué)案例應(yīng)用

機(jī)器視覺(jué)原理及應(yīng)用《機(jī)器視覺(jué)原理及應(yīng)用》第8章機(jī)器視覺(jué)案例應(yīng)用8.1Open3D應(yīng)用案例8.2智能車道線檢測(cè)8.3三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人打磨拋光8.4三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人自主焊接8.5機(jī)器視覺(jué)引導(dǎo)機(jī)器人垃圾識(shí)別與分揀8.6車軸檢測(cè)8.7

云臺(tái)視覺(jué)跟蹤

Open3D是一個(gè)開(kāi)源的點(diǎn)云和網(wǎng)格處理庫(kù)，其支持快速開(kāi)發(fā)處理3D數(shù)據(jù)。Open3D前端在C++和Python中公開(kāi)了一組精心挑選的數(shù)據(jù)結(jié)構(gòu)和算法；后端則是經(jīng)過(guò)高度優(yōu)化，并設(shè)置為并行化。它只需要很少的工作就可以在不同的平臺(tái)上進(jìn)行布置，并從源代碼編譯。Open3D提供了關(guān)于點(diǎn)云以及曲面網(wǎng)格方面的諸多算法，如點(diǎn)云配準(zhǔn)、分割、曲面重建、細(xì)分等等。Open3DSLAM是一個(gè)基于點(diǎn)云的SLAM系統(tǒng)，它從各種傳感器模式（如激光雷達(dá)或深度相機(jī)）獲取點(diǎn)云，并生成全局一致的環(huán)境地圖。掃描點(diǎn)云被發(fā)送到里程計(jì)模塊，該模塊根據(jù)掃描的原始點(diǎn)云以估計(jì)自身運(yùn)動(dòng)，里程計(jì)被用作掃描到地圖優(yōu)化的初始位姿，該優(yōu)化估計(jì)自身運(yùn)動(dòng)并構(gòu)建環(huán)境地圖，將地圖劃分為子地圖，open3d_slam通過(guò)在不同子地圖之間引入的約束來(lái)構(gòu)建姿態(tài)圖。8.1Open3D應(yīng)用案例圖8-1系統(tǒng)概述

本案例將使用theSceneNNdataset來(lái)演示系統(tǒng)框架，來(lái)完成open3dRGB-D重建場(chǎng)景。另外，還有很多優(yōu)秀的RGB-D數(shù)據(jù)集，例如Redwood數(shù)據(jù)、TUMRGBD數(shù)據(jù)、ICL-NUIM數(shù)據(jù)和SUN3D數(shù)據(jù)。該SLAM系統(tǒng)分為四個(gè)步驟。Step1：制作fragments：構(gòu)建局部幾何表面(稱為片段)來(lái)自輸入RGB-D序列的短子序列。該部分使用RGB-D里程計(jì)、多路配準(zhǔn)和RGB-D集成。

Step2：配置fragments：fragments是在全局空間中對(duì)齊用于閉環(huán)檢測(cè)。該部分使用全局配準(zhǔn)、ICP配準(zhǔn)和多路配準(zhǔn)。Step3：細(xì)化配準(zhǔn)，使配準(zhǔn)片段后更加緊密對(duì)齊，這部分使用ICP配準(zhǔn)和Multiway配準(zhǔn)。Step4：集成場(chǎng)景，整合RGB-D圖像以生成場(chǎng)景的網(wǎng)絡(luò)模型。使用RGB-D集成對(duì)RGB-D圖像進(jìn)行集成。8.1Open3D應(yīng)用案例圖8-2重建場(chǎng)景輸出結(jié)果

可以將默認(rèn)數(shù)據(jù)集更改為自定義數(shù)據(jù)集進(jìn)行示例。手動(dòng)下載或?qū)?shù)據(jù)存儲(chǔ)在文件夾中，并存儲(chǔ)所有彩色圖像在子文件夾中，以及子文件夾中的所有深度圖像。創(chuàng)建一個(gè)文件并將設(shè)置為數(shù)據(jù)目錄，覆蓋要更改其默認(rèn)值的參數(shù)。

首先，Realsense相機(jī)RGB-D數(shù)據(jù)采集時(shí)，在reconstruction_system\sensors下運(yùn)行realsense_recorder.py程序，采集realsense數(shù)據(jù)。

然后使用新的配置文件運(yùn)行系統(tǒng)，在t_reconstruction_system下運(yùn)行pythondense_slam_guiRealSense.py，重建結(jié)果如圖所示。8.1Open3D應(yīng)用案例圖8-3自定義數(shù)據(jù)集重建結(jié)果8.2智能車道線檢測(cè)

車道線檢測(cè)是無(wú)人駕駛環(huán)境感知中一項(xiàng)必不可少的內(nèi)容，其目的是通過(guò)車載相機(jī)或激光雷達(dá)來(lái)檢測(cè)車道線。在地圖數(shù)據(jù)中，精確檢測(cè)車道線及類型對(duì)無(wú)人駕駛、保障出行用戶的安全，具有至關(guān)重要的作用。為了保證汽車在行駛過(guò)程中的安全性，需要保持汽車在道路上沿車道線移動(dòng)，這要求汽車能夠準(zhǔn)確感知車道線。本案例基于高精度俯視圖數(shù)據(jù)和飛槳深度學(xué)習(xí)框架（PaddlePaddle），設(shè)計(jì)了一個(gè)車道線檢測(cè)和分類模型。

本案例使用的高精度俯視圖數(shù)據(jù)集包括5000張高精度俯視圖數(shù)據(jù)（第十六屆全國(guó)大學(xué)生智能車競(jìng)賽線上資格賽：車道線檢測(cè)專用數(shù)據(jù)集），這些圖片數(shù)據(jù)均標(biāo)注了車道線的區(qū)域和類別，標(biāo)注數(shù)據(jù)以灰度圖的方式存儲(chǔ)，標(biāo)注數(shù)據(jù)是與原圖尺寸相同的單通道灰度圖，其中背景像素的灰度值為0，不同類別的車道線像素分別為不同的灰度值。圖8-4高精度俯視圖數(shù)據(jù)8.2智能車道線檢測(cè)

首先對(duì)這5000張高精度俯視圖數(shù)據(jù)標(biāo)注了車道線的區(qū)域和類別，其中標(biāo)注數(shù)據(jù)以灰度圖的方式存儲(chǔ)。

標(biāo)注數(shù)據(jù)是與原圖尺寸相同的單通道灰度圖，其中背景像素的灰度值為0，不同類別的車道線像素分別為不同的灰度值。需注意的是，灰度值較低僅影響肉眼可見(jiàn)性，并不影響深度學(xué)習(xí)訓(xùn)練。如需要觀測(cè)標(biāo)注圖像，可以將其拉伸至0~255的RGB圖像。其中車道線的種類涉及前14種。采用OCRNet+HRNet網(wǎng)絡(luò)的主體結(jié)構(gòu)，使用預(yù)訓(xùn)練的HRNet提取通用特征，然后得到一個(gè)粗略的分割結(jié)果同時(shí)利用OCRNet網(wǎng)絡(luò)進(jìn)行語(yǔ)義分割，OCRNet首先根據(jù)每個(gè)像素的語(yǔ)義信息和特征，可以得到每個(gè)類別的特征。隨后可計(jì)算像素特征與各個(gè)類別特征的相似度，根據(jù)該相似度可得到每個(gè)像素點(diǎn)屬于各類別的可能性，進(jìn)一步把每個(gè)區(qū)域的表征進(jìn)行加權(quán)，會(huì)得到當(dāng)前像素增強(qiáng)的特征表示。

在原本的OCRNet中通過(guò)添加CoordinateAttention模塊，CoordinateAttention是通過(guò)在水平方向和垂直方向上進(jìn)行最大池化，再進(jìn)行transform對(duì)空間信息編碼，最后把空間信息通過(guò)在通道上加權(quán)的方式融合?？紤]了通道間關(guān)系和位置信息。它不僅捕獲了跨通道的信息，還包含了direction-aware和position-sensitive（方向與位置敏感）的信息，這使得模型更準(zhǔn)確地定位到并識(shí)別目標(biāo)區(qū)域。這種方法靈活且輕量，很容易插入到現(xiàn)有的深度學(xué)習(xí)模型中。8.2智能車道線檢測(cè)

訓(xùn)練完畢后的可視化日志中可得到訓(xùn)練數(shù)據(jù)，比如IOU，ACC數(shù)據(jù)等，其次進(jìn)行模型測(cè)試。訓(xùn)練結(jié)果智能車道線檢測(cè)競(jìng)賽排名第六名。圖8-5車道線模型預(yù)測(cè)結(jié)果圖8-6競(jìng)賽結(jié)果排名(本案例方法排名第六名）8.3三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人打磨拋光

基于雙目視覺(jué)的機(jī)器人自主打磨系統(tǒng)由雙目視覺(jué)測(cè)量子系統(tǒng)和機(jī)器人自主打磨子系統(tǒng)組成，其中雙目視覺(jué)測(cè)量子系統(tǒng)主要應(yīng)用于工件點(diǎn)云重建過(guò)程中的鑄件表面三維成像，機(jī)器人自主打磨子系統(tǒng)則主要應(yīng)用于工件磨削過(guò)程中打磨路徑規(guī)劃與位姿規(guī)劃、機(jī)器人自主打磨等。

系統(tǒng)首先分別對(duì)雙目三維掃描儀和機(jī)器人DH模型進(jìn)行標(biāo)定，并且完成視覺(jué)坐標(biāo)系和機(jī)器人坐標(biāo)系的統(tǒng)一。然后利用自主研發(fā)的三維視覺(jué)掃描儀對(duì)打磨工件的條紋圖像進(jìn)行采集，根據(jù)采集到的條紋圖像和視覺(jué)標(biāo)定結(jié)果計(jì)算出打磨工件的三維點(diǎn)云數(shù)據(jù)，并對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行濾波和降噪的處理。再基于打磨工件點(diǎn)云數(shù)據(jù)完成打磨路徑規(guī)劃和位姿規(guī)劃。最后通過(guò)網(wǎng)絡(luò)傳輸協(xié)議將打磨路徑點(diǎn)的信息發(fā)送給機(jī)器人的控制器，機(jī)器人控制器驅(qū)使機(jī)器人帶動(dòng)打磨執(zhí)行機(jī)構(gòu)完成自主的打磨加工。8.3三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人打磨拋光

雙目視覺(jué)測(cè)量子系統(tǒng)的硬件設(shè)備，主要由一個(gè)金屬保護(hù)外殼、兩個(gè)工業(yè)相機(jī)、兩個(gè)鏡頭、兩個(gè)窄帶濾光片和一個(gè)數(shù)字光柵投影機(jī)組成。機(jī)器人打磨子系統(tǒng)的硬件由六自由度工業(yè)機(jī)器人、機(jī)器人控制器和機(jī)器人末端執(zhí)行機(jī)構(gòu)組成。

雙目視覺(jué)測(cè)量子系統(tǒng)和機(jī)器人自主打磨子系統(tǒng)的軟件框架是采用VisualStudio2013聯(lián)合QT5.9.6平臺(tái)，利用OpenCV2.4.11開(kāi)源算法庫(kù)和PCL點(diǎn)云算法庫(kù)進(jìn)行聯(lián)合開(kāi)發(fā)的，并且利用并行算法對(duì)本系統(tǒng)涉及的計(jì)算進(jìn)行加速優(yōu)化，開(kāi)發(fā)的軟件主要包括：系統(tǒng)標(biāo)定功能、三維成像功能、數(shù)據(jù)讀取、通訊功能、打磨路徑規(guī)劃和打磨位姿規(guī)劃功能。

本系統(tǒng)需要對(duì)雙目視覺(jué)測(cè)量系統(tǒng)進(jìn)行標(biāo)定，采用圓環(huán)標(biāo)定靶標(biāo)，該靶標(biāo)以玻璃為基板，表面為氧化鋁材料。圖8-8左相機(jī)采集標(biāo)定圖像圖8-9右相機(jī)采集標(biāo)定圖像圖8-7標(biāo)定靶標(biāo)（1）系統(tǒng)標(biāo)定實(shí)驗(yàn)8.3三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人打磨拋光

由機(jī)器人和激光追蹤儀構(gòu)成機(jī)器人運(yùn)動(dòng)學(xué)參數(shù)標(biāo)定校準(zhǔn)的實(shí)驗(yàn)系統(tǒng)，如圖所示。該系統(tǒng)采用RCRT-650六自由度工業(yè)機(jī)器人作為實(shí)驗(yàn)對(duì)象，其負(fù)載為50kg，臂展為2100mm，使用公司生產(chǎn)的激光跟蹤儀作為測(cè)量工具，其測(cè)量范圍可達(dá)8000mm，精度可達(dá)到±0.01mm，并將激光跟蹤儀的靶球固定在機(jī)器人法蘭盤(pán)末端。（2）機(jī)器人運(yùn)動(dòng)學(xué)參數(shù)標(biāo)定校準(zhǔn)實(shí)驗(yàn)API激光跟蹤儀靶球工業(yè)機(jī)器人圖8-10機(jī)器人標(biāo)定實(shí)驗(yàn)8.3三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人打磨拋光

因?yàn)榇蚰C(jī)器人運(yùn)動(dòng)范圍較大，所以在測(cè)量校準(zhǔn)整個(gè)運(yùn)動(dòng)空間時(shí)需要采集較多的空間點(diǎn)數(shù)，但在打磨過(guò)程中機(jī)器人實(shí)際的工作范圍只是運(yùn)動(dòng)范圍的一部分，所以本系統(tǒng)選擇在機(jī)器人打磨的工作范圍內(nèi)選取適當(dāng)?shù)牟蓸狱c(diǎn)進(jìn)行標(biāo)定校正。

在機(jī)器人的基坐標(biāo)系下，將機(jī)器人的工作空間按照y軸范圍進(jìn)行分割，一共分成五個(gè)部分，在每一部分隨機(jī)選取10個(gè)采樣點(diǎn)，并用激光追蹤儀測(cè)量每一個(gè)采樣點(diǎn)的坐標(biāo)，如圖所示為隨機(jī)選取的50個(gè)采樣點(diǎn)：（2）機(jī)器人運(yùn)動(dòng)學(xué)參數(shù)標(biāo)定校準(zhǔn)實(shí)驗(yàn)圖8-11機(jī)器人工作范圍采樣點(diǎn)y(mm)x(mm)z(mm)8.3三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人打磨拋光

當(dāng)激光跟蹤儀采集空間點(diǎn)坐標(biāo)的時(shí)候，需要將每一個(gè)采樣點(diǎn)所對(duì)應(yīng)的機(jī)器人各個(gè)軸的旋轉(zhuǎn)角度反饋給計(jì)算機(jī)。根據(jù)基于距離誤差的參數(shù)校正算法，利用采集到的50個(gè)點(diǎn)的數(shù)據(jù)，得到實(shí)際機(jī)器人的運(yùn)動(dòng)學(xué)參數(shù),用標(biāo)定前后的運(yùn)動(dòng)學(xué)參數(shù)模型分別計(jì)算出機(jī)器人在這五十個(gè)位置時(shí)，TCP點(diǎn)坐標(biāo)的測(cè)量值和計(jì)算值的誤差，如圖所示為機(jī)器人標(biāo)定前后TCP誤差分布圖和各個(gè)采樣點(diǎn)的標(biāo)定前后誤差對(duì)比圖：（2）機(jī)器人運(yùn)動(dòng)學(xué)參數(shù)標(biāo)定校準(zhǔn)實(shí)驗(yàn)頻次（次）

誤差（mm）a）TCP點(diǎn)誤差分布標(biāo)定采集點(diǎn)（個(gè)）TCP位姿誤差（mm）b)各個(gè)位置TCP點(diǎn)誤差圖8-12機(jī)器人TCP點(diǎn)誤差8.3三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人打磨拋光

（3）打磨系統(tǒng)手眼標(biāo)定實(shí)驗(yàn)圖8-13雙目視覺(jué)識(shí)別標(biāo)記點(diǎn)坐標(biāo)標(biāo)記點(diǎn)2標(biāo)記點(diǎn)1標(biāo)記點(diǎn)38.3三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人打磨拋光

圖8-14工件的三維點(diǎn)云模型圖8-15分割軌跡（4）打磨位姿規(guī)劃實(shí)驗(yàn)8.3三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人打磨拋光

經(jīng)過(guò)投影分割之后，再對(duì)每一條分割軌跡先利用等距離步長(zhǎng)法進(jìn)行離散，最后采用基于最大殘差高度的方法進(jìn)行插值，以得到機(jī)器人的打磨軌跡，通過(guò)對(duì)每一條分割軌跡進(jìn)行規(guī)劃之后，獲得機(jī)器人自主打磨的軌跡規(guī)劃。

通過(guò)機(jī)器人打磨路徑規(guī)劃之后獲得的每一個(gè)路徑點(diǎn)，需要計(jì)算各個(gè)路徑點(diǎn)的打磨位姿，以便機(jī)器人完成自主的磨削運(yùn)動(dòng)。根據(jù)原始打磨工件的點(diǎn)云數(shù)據(jù)，采用本案例所提出的加權(quán)PCA算法求解每一個(gè)路徑點(diǎn)的法向量，最后利用點(diǎn)云的平滑算法對(duì)路徑點(diǎn)的法向量進(jìn)行優(yōu)化，得到法向量。x(mm)z(mm)y(mm)圖8-16機(jī)器人打磨路徑規(guī)劃z(mm)y(mm)x(mm)圖8-17打磨路徑點(diǎn)法向量（5）打磨路徑規(guī)劃實(shí)驗(yàn)8.3三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人打磨拋光

本案例通過(guò)計(jì)算鑄件表面的去除量來(lái)評(píng)價(jià)機(jī)器人自主打磨的質(zhì)量。在完成雙目視覺(jué)三維成像、機(jī)器人打磨路徑和位姿規(guī)劃之后，利用機(jī)器人末端帶動(dòng)砂輪機(jī)實(shí)現(xiàn)機(jī)器人自主打磨。

機(jī)器人自主打磨的實(shí)驗(yàn)流程：首先機(jī)器人從初始位置移動(dòng)到磨削加工的起始位置，然后啟動(dòng)砂輪機(jī)根據(jù)每條打磨軌跡和位姿實(shí)時(shí)打磨，直至打磨到最后一個(gè)點(diǎn)軌跡點(diǎn)關(guān)閉砂輪機(jī)，最后機(jī)器人回到初始位置。圖8-18機(jī)器人自主打磨過(guò)程圖項(xiàng)平均去除量最大去除量去除量均方根誤差打磨路徑點(diǎn)0.443mm0.582mm0.475mm

在打磨前后均利用雙目視覺(jué)三維測(cè)量系統(tǒng)對(duì)打磨鑄件進(jìn)行測(cè)量，統(tǒng)計(jì)每一個(gè)打磨路徑點(diǎn)的坐標(biāo)，計(jì)算對(duì)應(yīng)點(diǎn)之間的歐式距離，即為打磨的去除量。打磨去除量的RMSE為0.475mm，打磨的精度在0.5mm之內(nèi)，滿足鑄件打磨的精度要求。表1

打磨去除量結(jié)果（6）視覺(jué)引導(dǎo)機(jī)器人自主打磨性能評(píng)價(jià)8.4三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人自主焊接

基于視覺(jué)傳感的機(jī)器人自動(dòng)焊接具有焊接精度高、抗干擾能力強(qiáng)、柔性化、智能化的優(yōu)點(diǎn)，針對(duì)鋁合金罐體內(nèi)部防浪板的焊接，研究并設(shè)計(jì)了三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人自主焊接系統(tǒng)，可以有效解決人工操作帶來(lái)的焊接效率低、精度不一的問(wèn)題，并且根據(jù)真實(shí)焊接工件的形貌合理地規(guī)劃出焊接路徑和姿態(tài)，提高焊接精度和質(zhì)量。系統(tǒng)由硬件和軟件兩部分組成，其中硬件部分主要完成圖像采集、動(dòng)作執(zhí)行以及焊接等工作，軟件部分主要完成系統(tǒng)標(biāo)定、信息處理與分割、路徑規(guī)劃和焊接姿態(tài)解算等任務(wù)。

單目相機(jī)標(biāo)定通常采用實(shí)心圓標(biāo)定板或棋盤(pán)格標(biāo)定板，實(shí)心圓標(biāo)定板的精準(zhǔn)度高，表現(xiàn)為中心擬合度高，因此選擇實(shí)心圓靶標(biāo)進(jìn)行單目相機(jī)標(biāo)定。在使用實(shí)心圓標(biāo)定板標(biāo)定過(guò)程中需要對(duì)靶標(biāo)圓提取和排序，獲取用于標(biāo)定的數(shù)據(jù)。對(duì)于靶標(biāo)圓的提取通常分為兩個(gè)過(guò)程—特征圓提取和擬合橢圓計(jì)算亞像素圓心坐標(biāo)。對(duì)于特征圓提取通常需要對(duì)原圖像去噪，利用Canny進(jìn)行邊緣提取，提取閉口輪廓，通過(guò)對(duì)外接圓輪廓的篩選，選擇出特征圓。圖8-19打磨去除量結(jié)果（1）單目相機(jī)標(biāo)定8.4三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人自主焊接

（2）光平面標(biāo)定Step5：將像素坐標(biāo)系下光條框內(nèi)光條中心坐標(biāo)代入公式，解出光條框內(nèi)光條中心在相機(jī)坐標(biāo)系下的坐標(biāo)，并將結(jié)果保存。Step6：返回Step1重復(fù)上述步驟至少兩次，將得到的所有相機(jī)坐標(biāo)下的光條中心擬合成平面，求取該平面下的法向量，該法向量即為線結(jié)構(gòu)光在相機(jī)坐標(biāo)系下的平面方程。（2）光平面標(biāo)定圖8-20光平面擬合效果8.4三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人自主焊接（3）手眼標(biāo)定

圖8-21手眼標(biāo)定過(guò)程示意圖8.4三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人自主焊接（4）焊接點(diǎn)位提取和姿態(tài)解算

為了獲取關(guān)鍵焊接點(diǎn)位，解算焊接姿態(tài)和識(shí)別焊道，采用單目線結(jié)構(gòu)光視覺(jué)傳感系統(tǒng)向焊接對(duì)象投射線激光，并采集焊接對(duì)象上所形成的光條圖像。

對(duì)光條圖像進(jìn)行處理，提取具有焊縫特征的圖像中的四種特征，其中提取上光條區(qū)域ROI_up的光條中心后得到像素坐標(biāo)系下光條中心點(diǎn)的坐標(biāo)，結(jié)合系統(tǒng)標(biāo)定的結(jié)果（相機(jī)標(biāo)定結(jié)果、光平面標(biāo)定結(jié)果、工具坐標(biāo)系標(biāo)定結(jié)果、手眼標(biāo)定結(jié)果）得到機(jī)器人基坐標(biāo)系下三維信息后擬合防浪板平面，同理，分割下光條區(qū)域ROI_down，提取下光條可擬合罐體平面。

在進(jìn)行背面焊接作業(yè)時(shí)要求焊槍跳過(guò)點(diǎn)焊焊道。每段掃描焊接結(jié)束后需要識(shí)別長(zhǎng)焊道，作為滾輪架停止的標(biāo)志，滾輪架停止后才能開(kāi)啟下一段掃描焊接。同時(shí)，長(zhǎng)焊道信息也是判斷是否達(dá)到焊接起始位(該層防浪板已經(jīng)焊接完成)的重要標(biāo)志。圖8-22單目線結(jié)構(gòu)光視覺(jué)傳感系統(tǒng)原理圖8.4三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人自主焊接（4）焊接點(diǎn)位提取和姿態(tài)解算

提取ROI_key區(qū)域內(nèi)的光條中心擬合成二階曲線，提取下光條的光條中心擬合直線，關(guān)鍵焊接點(diǎn)位是二階曲線和直線的交點(diǎn)，將像素坐標(biāo)系下的關(guān)鍵焊接點(diǎn)位結(jié)合系統(tǒng)標(biāo)定的結(jié)果（相機(jī)標(biāo)定結(jié)果、光平面標(biāo)定結(jié)果、工具坐標(biāo)系標(biāo)定結(jié)果、手眼標(biāo)定結(jié)果）轉(zhuǎn)換到機(jī)器人基坐標(biāo)系下的關(guān)鍵焊接點(diǎn)位坐標(biāo)，通過(guò)掃描得到機(jī)器人坐標(biāo)系下多個(gè)關(guān)鍵焊接點(diǎn)位坐標(biāo)，對(duì)這些點(diǎn)位進(jìn)行規(guī)劃，獲得焊接路徑。

利用深度學(xué)習(xí)網(wǎng)絡(luò)，針對(duì)四種特征，定制化的設(shè)計(jì)四種特征提取網(wǎng)絡(luò)，將四種特征提取網(wǎng)絡(luò)置于四個(gè)并行執(zhí)行的線程中，得到圖像中四種特征的ROI，以便進(jìn)行后續(xù)關(guān)鍵焊接點(diǎn)位的定位，焊接路徑規(guī)劃，焊接姿態(tài)解算。將提取得到的特征按區(qū)域進(jìn)行處理，采用基于Hesian矩陣的Steger算法提取光條中心。圖8-23光條中心提取效果ROI_downROI_key8.4三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人自主焊接（4）焊接點(diǎn)位提取和姿態(tài)解算

為了獲取關(guān)鍵焊接點(diǎn)位，需要對(duì)提取到的ROI_down內(nèi)的光條中心點(diǎn)采用隨機(jī)采樣分割擬合直線，對(duì)ROI_key內(nèi)的光條中心點(diǎn)采用隨機(jī)采樣分割擬合二階曲線，隨機(jī)采樣步驟如下所示：Step1：選擇一個(gè)可以解釋或者適應(yīng)于觀測(cè)數(shù)據(jù)的參數(shù)化模型（模型為直線和二階曲線），輸入一組觀測(cè)數(shù)據(jù)。Step2：選擇觀測(cè)數(shù)據(jù)中的一組子集，該子集稱為初始子集，通過(guò)直線最小二乘法擬合模型或者二階曲線最小二乘法擬合模型。Step3：用得到的模型去測(cè)試其他數(shù)據(jù)，如果某個(gè)點(diǎn)小于提前設(shè)置的最大容許誤差(該點(diǎn)適用于模型)，則認(rèn)為該點(diǎn)為局內(nèi)點(diǎn)。Step4：重復(fù)Step3直到有足夠多的點(diǎn)被認(rèn)為是局內(nèi)點(diǎn)，如果沒(méi)有足夠多的點(diǎn)，則返回Step1。Step5：用所有假設(shè)的局內(nèi)點(diǎn)去重新估計(jì)模型，通過(guò)估計(jì)局內(nèi)點(diǎn)與模型的錯(cuò)誤率來(lái)評(píng)估模型。

求取ROI_down內(nèi)擬合的直線和ROI_key內(nèi)擬合的二階曲線的交點(diǎn)，該交點(diǎn)即為關(guān)鍵焊接點(diǎn)位。圖8-24關(guān)鍵焊接點(diǎn)位提取圖ROI_key擬合直線

擬合曲線

關(guān)鍵焊接點(diǎn)位下光條8.4三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人自主焊接（4）焊接點(diǎn)位提取和姿態(tài)解算

8.4三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人自主焊接（4）焊接點(diǎn)位提取和姿態(tài)解算

8.4三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人自主焊接（5）焊接實(shí)驗(yàn)與效果

8.4三維機(jī)器視覺(jué)引導(dǎo)機(jī)器人自主焊接8.5機(jī)器視覺(jué)引導(dǎo)機(jī)器人垃圾識(shí)別與分揀

本案例的智能垃圾分揀系統(tǒng)主要包括中央處理模塊，數(shù)字化信息采集模塊和分揀與執(zhí)行模塊三部分，智能垃圾分揀系統(tǒng)設(shè)計(jì)方案中數(shù)字化信息采集模塊中包含一套工業(yè)相機(jī)和傳送帶的編碼器，分別用于采集數(shù)字圖像和傳送帶速度信息。中央處理模塊主要部分是高性能工控機(jī)，該部分是控制系統(tǒng)的核心，在對(duì)各部分進(jìn)行控制的同時(shí)還兼具算法處理的工作。分揀與執(zhí)行模塊包含工業(yè)機(jī)器人、氣動(dòng)設(shè)備、傳送帶等。78CM40CM140CM相機(jī)相機(jī)支架機(jī)器人傳送帶圖8-25智能垃圾分揀系統(tǒng)整體示意圖8.5機(jī)器視覺(jué)引導(dǎo)機(jī)器人垃圾識(shí)別與分揀

為完成相機(jī)和機(jī)器人之間坐標(biāo)信息的統(tǒng)一，必須將各自的世界坐標(biāo)系擬合為同一坐標(biāo)系，但是在搭建硬件系統(tǒng)時(shí)，機(jī)器人與相機(jī)之間的距離是未知的，很難通過(guò)人為設(shè)置參數(shù)的方法將坐標(biāo)系擬合。本案例借助傳送帶為媒介，首先分別將相機(jī)和機(jī)器人坐標(biāo)系擬合在傳送帶上，傳送帶再根據(jù)水平移動(dòng)將兩個(gè)世界坐標(biāo)系擬合，從而實(shí)現(xiàn)相機(jī)和機(jī)器人坐標(biāo)系的標(biāo)定。本案例使用三個(gè)長(zhǎng)寬高均為1cm的立方體作為標(biāo)定物，標(biāo)定立方體的形貌如圖所示。標(biāo)定立方體在傳送帶上放置的方式如圖所示，其中一個(gè)標(biāo)定立方體放置在靠近中間的位置，將此立方體命名為C1，另一個(gè)標(biāo)定立方體水平放在第一個(gè)標(biāo)定立方體右側(cè)，命名為C2，最后一個(gè)標(biāo)定立方體放在第一個(gè)標(biāo)定立方體的左下方命名為C3。圖8-22智能垃圾分揀系統(tǒng)整體示意圖（1）系統(tǒng)標(biāo)定1cm1cm1cmC1C2C3圖8-26輔助標(biāo)定物圖8-27標(biāo)定立方體放置位置1cm1cm1cm8.5機(jī)器視覺(jué)引導(dǎo)機(jī)器人垃圾識(shí)別與分揀相機(jī)與傳送帶標(biāo)定的目的是為了將相機(jī)的世界坐標(biāo)系轉(zhuǎn)換到傳送帶的固定位置上，這樣就獲得了一個(gè)已知且可控的坐標(biāo)系，為后續(xù)的相機(jī)與機(jī)器人坐標(biāo)系擬合做準(zhǔn)備。相機(jī)與傳送帶標(biāo)定過(guò)程中，首先采集至少五張標(biāo)定圖像。其次，對(duì)這些圖像進(jìn)行特征點(diǎn)提取，判斷這些特征點(diǎn)是否符合標(biāo)定需求。最后利用合格的特征點(diǎn)進(jìn)行相機(jī)的像素坐標(biāo)系與傳送帶坐標(biāo)系之間的轉(zhuǎn)換。圖8-22智能垃圾分揀系統(tǒng)整體示意圖（2）相機(jī)與傳送帶標(biāo)定圖8-39標(biāo)定立方體放置位置圖8-28

相機(jī)與傳送帶標(biāo)定示意

1cm1cm1cmuvxcyc傳送帶運(yùn)動(dòng)方向相機(jī)采集區(qū)域相機(jī)傳送帶c1c3c2D8.5機(jī)器視覺(jué)引導(dǎo)機(jī)器人垃圾識(shí)別與分揀

機(jī)器人坐標(biāo)系可以使用三點(diǎn)法進(jìn)行標(biāo)定，首先機(jī)器人移動(dòng)至第一個(gè)點(diǎn)，即立方體C1，以此為坐標(biāo)系原點(diǎn)位置。其次機(jī)器人需移動(dòng)至坐標(biāo)系y軸正方向的任意一點(diǎn)上，實(shí)際操作中將機(jī)器人移動(dòng)至立方體C2處作為第二個(gè)點(diǎn)，從而確定坐標(biāo)系的y軸。最后需要機(jī)器人移動(dòng)至xy平面上任意一點(diǎn)，本案例設(shè)此平面為F。機(jī)器人以C3作為第三個(gè)點(diǎn)，從圖中可以看出點(diǎn)3在機(jī)器人坐標(biāo)系中的x軸負(fù)半軸和y軸負(fù)半軸內(nèi)，以此確定x軸正方向和y軸。最終再取垂直平面F向下的方向作為z軸正方向，從而確定整個(gè)坐標(biāo)系，圖中展示了機(jī)器人通過(guò)三點(diǎn)法標(biāo)定的過(guò)程，機(jī)器人分別移動(dòng)至三個(gè)標(biāo)定點(diǎn)位置，并記錄下三個(gè)點(diǎn)在原始機(jī)器人坐標(biāo)系下的坐標(biāo)。

圖8-22智能垃圾分揀系統(tǒng)整體示意圖（3）機(jī)器人與傳送帶標(biāo)定

圖8-39標(biāo)定立方體放置位置圖8-29三點(diǎn)法標(biāo)定示意圖1cm1cm1cm

C1

C2

C3

xr

yr

zr

點(diǎn)1點(diǎn)2點(diǎn)3平面F8.5機(jī)器視覺(jué)引導(dǎo)機(jī)器人垃圾識(shí)別與分揀為了使垃圾分揀系統(tǒng)在實(shí)際使用中達(dá)到良好的效果，圖像數(shù)據(jù)均在實(shí)際工作環(huán)境中采集。數(shù)據(jù)集包含三類樣本：塑料瓶，金屬易拉罐和廢棄電池。圖8-22智能垃圾分揀系統(tǒng)整體示意圖（4）垃圾分類中的定位與目標(biāo)檢測(cè)圖8-39標(biāo)定立方體放置位置圖8-30三類垃圾原始圖像1cm1cm1cma）塑料瓶b）金屬易拉罐c）廢棄電池8.5機(jī)器視覺(jué)引導(dǎo)機(jī)器人垃圾識(shí)別與分揀

為了對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充還可以進(jìn)行圖像翻轉(zhuǎn)、圖像旋轉(zhuǎn)、亮度調(diào)節(jié)和引入高斯噪聲等處理。在訓(xùn)練的過(guò)程中提高網(wǎng)絡(luò)的泛化能力，從而也提升網(wǎng)絡(luò)在實(shí)際工作環(huán)境下的識(shí)別準(zhǔn)確率。

通過(guò)采集原始數(shù)據(jù)和數(shù)據(jù)增強(qiáng)的方法，最終建立的數(shù)據(jù)集包含2000張訓(xùn)練樣本圖片和676張測(cè)試樣本圖片，訓(xùn)練集與測(cè)試集的比例接近3:1，三類樣本，塑料瓶、金屬易拉罐、電池的比例接近1:1:1。圖8-22智能垃圾分揀系統(tǒng)整體示意圖（4）垃圾分類中的定位與目標(biāo)檢測(cè)圖8-39標(biāo)定立方體放置位置圖8-31數(shù)據(jù)增強(qiáng)效果1cm1cm1cma）原圖b）

圖像翻轉(zhuǎn)c）

圖像旋轉(zhuǎn)d）

亮度調(diào)節(jié)e）

噪聲引入8.5機(jī)器視覺(jué)引導(dǎo)機(jī)器人垃圾識(shí)別與分揀提出一種改進(jìn)后的網(wǎng)絡(luò)模型并命名為多層級(jí)提升網(wǎng)絡(luò)（Multi-leveloptimizationnetwork，MLO）。SSD網(wǎng)絡(luò)的Neck結(jié)構(gòu)對(duì)于特征的提取與利用是不充分的，MLO在此基礎(chǔ)上進(jìn)行了多層特征的融合，使得特征圖中包含更多有價(jià)值的特征。圖8-22智能垃圾分揀系統(tǒng)整體示意圖（5）基于SSD的垃圾目標(biāo)檢測(cè)算法圖8-39標(biāo)定立方體放置位置圖8-32MLO網(wǎng)絡(luò)結(jié)構(gòu)示意圖1cm1cm1cm8.5機(jī)器視覺(jué)引導(dǎo)機(jī)器人垃圾識(shí)別與分揀

主干結(jié)構(gòu)的目的是盡可能更快更精準(zhǔn)的提取目標(biāo)檢測(cè)中被測(cè)物的特征信息，為后續(xù)的目標(biāo)定位與分類做準(zhǔn)備。本案例提出的MLO網(wǎng)絡(luò)中的主干結(jié)構(gòu)摒棄池化層操作，利用卷積核的移動(dòng)步長(zhǎng)達(dá)到縮減網(wǎng)絡(luò)特征圖大小的效果。并且原始的疊加卷積可能導(dǎo)致梯度消失，存在特征提取不充分等問(wèn)題。Resnet結(jié)構(gòu)可以減少卷積層疊加導(dǎo)致的梯度消失現(xiàn)象，在Resnet基礎(chǔ)上進(jìn)一步增加并行分支結(jié)構(gòu)的ResneXt結(jié)構(gòu)可以更充分的提取特征，同時(shí)在主干網(wǎng)絡(luò)中加入批歸一化層（BatchNormalization，BN），加快網(wǎng)絡(luò)收斂速度，提高識(shí)別準(zhǔn)確度。圖8-22智能垃圾分揀系統(tǒng)整體示意圖（5）基于SSD的垃圾目標(biāo)檢測(cè)算法圖8-39標(biāo)定立方體放置位置1cm1cm1cm輸入圖像257*257*3模塊0257*257*64模塊1

129*129*128模塊2

65*65*256模塊333*33*512模塊417*17*1024模塊5

9*9*1024Conv0Conv1Conv2Conv3Conv4Conv5Conv6Conv7Conv8ResneXt1ResneXt2ResneXt3ResneXt4ResneXt5圖8-33MLO的主干結(jié)構(gòu)示意圖8.5機(jī)器視覺(jué)引導(dǎo)機(jī)器人垃圾識(shí)別與分揀

在CBAM的基礎(chǔ)上提出一種簡(jiǎn)化的注意力模塊，取消CBAM中復(fù)雜的空間關(guān)注度機(jī)制，利用最大池化和平均池化提高對(duì)通道的關(guān)注度，稱這種注意力模塊為DP-Net（DoublePoolingNet）。DP-Net可以在保證速度的同時(shí)更好地提高網(wǎng)絡(luò)性能。圖8-22智能垃圾分揀系統(tǒng)整體示意圖（5）基于SSD的垃圾目標(biāo)檢測(cè)算法圖8-39標(biāo)定立方體放置位置1cm1cm1cm圖8-34三種注意力機(jī)制的結(jié)構(gòu)圖sSsSBasicConvSE-NetCBAMCONVBNReLUMaxPoolAvgPoolDP-NetsSSigmoid8.5機(jī)器視覺(jué)引導(dǎo)機(jī)器人垃圾識(shí)別與分揀

圖8-22智能垃圾分揀系統(tǒng)整體示意圖（6）激活函數(shù)圖8-39標(biāo)定立方體放置位置1cm1cm1cm圖8-35mish函數(shù)圖8.5機(jī)器視覺(jué)引導(dǎo)機(jī)器人垃圾識(shí)別與分揀

完整交并比（Complete-IoU，CIoU），CIoU考慮了預(yù)測(cè)框的長(zhǎng)寬比因素，進(jìn)一步擴(kuò)展了損失函數(shù)的衡量因素，如公式所示：（7）置信度損失函數(shù)MLO采用focalloss作為置信度損失函數(shù)，focalloss的詳細(xì)內(nèi)容如所示：

在訓(xùn)練過(guò)程中，通常背景是非常容易被檢測(cè)的，從而計(jì)算出的背景的損失值往往很小。相反，被測(cè)物體的特征很難獲取，導(dǎo)致?lián)p失值很大。

可以有效的抑制容易識(shí)別的目標(biāo)，提高對(duì)難以檢測(cè)的目標(biāo)的識(shí)別率，

越大，抑制能力越大。通過(guò)對(duì)預(yù)測(cè)出的背景框抑制減少這種負(fù)樣本對(duì)訓(xùn)練網(wǎng)絡(luò)的影響，提升正樣本的影響力。圖8-22智能垃圾分揀系統(tǒng)整體示意圖（6）位置損失函數(shù)圖8-39標(biāo)定立方體放置位置1cm1cm1cm8.5機(jī)器視覺(jué)引導(dǎo)機(jī)器人垃圾識(shí)別與分揀

本案例的姿態(tài)檢測(cè)算法流程為，第一步對(duì)卷積神經(jīng)網(wǎng)絡(luò)定位到的垃圾進(jìn)行ROI區(qū)域提取，第二步對(duì)提取區(qū)域做通道轉(zhuǎn)換，第三步進(jìn)行圖像的降噪濾波處理，第四步對(duì)圖像做自適應(yīng)閾值分割，第四步查找圖像輪廓，第五步對(duì)輪廓進(jìn)行條件篩選，第六步對(duì)提取輪廓做橢圓擬合，最后根據(jù)擬合橢圓分析角度。利用垃圾分揀數(shù)據(jù)集中的測(cè)試集作為實(shí)驗(yàn)樣本，分別測(cè)試本案例垃圾姿態(tài)檢測(cè)算法對(duì)三類垃圾的角度檢測(cè)的實(shí)際效果。該實(shí)驗(yàn)樣本中垃圾的真實(shí)姿態(tài)角度通過(guò)人為測(cè)量獲得，根據(jù)算法的檢測(cè)結(jié)果判斷誤差。

在實(shí)際測(cè)試中發(fā)現(xiàn)，本系統(tǒng)中工業(yè)機(jī)器人夾具對(duì)角度檢測(cè)結(jié)果的最大允許誤差為±8°，超出此誤差范圍會(huì)極大地影響機(jī)器人夾取的成功率。在隨機(jī)挑選的九張樣本中最大誤差為4.11°，最小誤差為0.01°，誤差均值為1.50°，已經(jīng)滿足了最大允許誤差范圍。圖8-22智能垃圾分揀系統(tǒng)整體示意圖（8）垃圾姿態(tài)檢測(cè)算法圖8-39標(biāo)定立方體放置位置1cm1cm1cm8.6車軸檢測(cè)

本案例采用圖像分析法，此方法無(wú)須特定光源，系統(tǒng)原理簡(jiǎn)單，測(cè)量速度快，操作靈活，對(duì)現(xiàn)場(chǎng)環(huán)境無(wú)任何要求，在工業(yè)測(cè)量領(lǐng)域內(nèi)具有很高的應(yīng)用推廣價(jià)值。經(jīng)過(guò)三維測(cè)量技術(shù)的數(shù)十年發(fā)展歷程。目前，雙目立體視覺(jué)已經(jīng)成為計(jì)算機(jī)視覺(jué)測(cè)量方法中最重要的距離感知技術(shù)。

圖像分析法也被稱為立體視覺(jué)的方法，其通過(guò)相機(jī)從不同角度獲取物體的圖像，進(jìn)而得到物體的尺寸信息和三維坐標(biāo)。圖8-22智能垃圾分揀系統(tǒng)整體示意圖圖8-39標(biāo)定立方體放置位置1cm1cm1cm圖8-36雙目相機(jī)立體匹配原理左圖

右圖OrUV（1）圖像分析法8.6車軸檢測(cè)本案例選取的Leonard全站儀是一個(gè)球形坐標(biāo)測(cè)量系統(tǒng)，主要由水平方向和垂直方向的光柵盤(pán)高精度測(cè)角傳感器來(lái)獲得測(cè)量目標(biāo)的水平角和俯仰角，由電磁波測(cè)距傳感器來(lái)獲取測(cè)量目標(biāo)的距離信息。

全站儀是目前大尺寸測(cè)量和大地測(cè)量中應(yīng)用最為廣泛的測(cè)量設(shè)備，其測(cè)量原理為：發(fā)射以電磁波為載體的光波(光速已知)，通過(guò)獲取與被測(cè)目標(biāo)物之間的傳輸時(shí)間來(lái)計(jì)算測(cè)量距離D。其測(cè)量距離最遠(yuǎn)可達(dá)到3km，但測(cè)量精度E較低。全站儀的取景圖像被攝像機(jī)獲取，通過(guò)對(duì)采集圖像處理以提高測(cè)量精度，其測(cè)量標(biāo)記點(diǎn)的方法步驟為：Step1：攝像機(jī)采集全站儀取景器圖像，對(duì)采集圖像進(jìn)行濾波降噪處理；Step2：對(duì)圖像降噪后進(jìn)行二值操作并進(jìn)行canny邊緣檢測(cè)；Step3：遍歷圖像像素，用角點(diǎn)檢測(cè)算法獲取全站儀的瞄準(zhǔn)靶標(biāo)，用擬合圓檢測(cè)編碼標(biāo)記點(diǎn)的中心圓點(diǎn)，靶標(biāo)中心記為corner_point，坐標(biāo)為

擬合圓心記為circle_point，坐標(biāo)為

用攝像機(jī)測(cè)量T(T>10)次的結(jié)果進(jìn)行擬合,記兩者之間的誤差為圖8-22智能垃圾分揀系統(tǒng)整體示意圖圖8-39標(biāo)定立方體放置位置1cm1cm1cm圖8-55視覺(jué)矯正全站儀測(cè)量原理圖（2）全站儀8.6車軸檢測(cè)

LM算法使用迭代方法來(lái)確定多個(gè)變量函數(shù)的最小值，它結(jié)合了一階收斂的最速下降法和高斯-牛頓迭代法求解實(shí)數(shù)函數(shù)平方和的最小化。如果現(xiàn)有的解離正確的解有很大偏差，這種算法和最快下降法一樣，可以迅速排除不合適的解；若當(dāng)前的解接近正確的解，則將其分組并逐一比較，最后用高斯-牛頓法選出最合適的解。

基于高斯牛頓法求解非線性方程組通常有更好的精度。Levenberg-Marquardt(LM)算法是高斯—牛頓法的改進(jìn)形式，本案例在高斯牛頓法的基礎(chǔ)上，使用LM算法來(lái)解算坐標(biāo)系參數(shù)非線性方程組，結(jié)合誤差的權(quán)重，使目標(biāo)函數(shù)的迭代過(guò)程更快、更準(zhǔn)確、魯棒性更強(qiáng)。

高斯牛頓法沒(méi)有考慮每個(gè)標(biāo)記點(diǎn)的誤差信息，本案例將每個(gè)標(biāo)記點(diǎn)的誤差權(quán)重與高斯牛頓法相結(jié)合，可對(duì)迭代結(jié)果進(jìn)一步優(yōu)化。圖8-22智能垃圾分揀系統(tǒng)整體示意圖圖8-39標(biāo)定立方體放置位置1cm1cm1cm圖8-55視覺(jué)矯正全站儀測(cè)量原理圖（3）加權(quán)LM算法8.6車軸檢測(cè)

應(yīng)用全站儀、移動(dòng)導(dǎo)軌和兩組雙目視覺(jué)傳感器搭建一個(gè)大場(chǎng)景下的車軸測(cè)量系統(tǒng)，將雙目視覺(jué)傳感器安裝于移動(dòng)導(dǎo)軌上，平行置于車體兩側(cè)，隨著移動(dòng)導(dǎo)軌的運(yùn)動(dòng)擴(kuò)大視覺(jué)測(cè)量范圍，對(duì)大尺寸多輪胎的專用車車軸進(jìn)行實(shí)時(shí)定位，同時(shí)根據(jù)車軸靶標(biāo)的數(shù)學(xué)模型計(jì)算出車軸安裝的性能參數(shù)，實(shí)現(xiàn)快速、精確的自動(dòng)化定位測(cè)量。圖8-22智能垃圾分揀系統(tǒng)整體示意圖圖8-39標(biāo)定立方體放置位置1cm1cm1cm圖8-55視覺(jué)矯正全站儀測(cè)量原理圖（4）車軸測(cè)量系統(tǒng)實(shí)驗(yàn)工業(yè)MAS軟件工控機(jī)直線運(yùn)動(dòng)導(dǎo)軌雙目視覺(jué)傳感器待測(cè)車體圖8-37實(shí)驗(yàn)場(chǎng)景8.6車軸檢測(cè)

本案例采用張正友標(biāo)定法，在理論情況下，相機(jī)至少需要采集3張圖片即可計(jì)算相機(jī)的內(nèi)參，為保證標(biāo)定的精度，采集靶標(biāo)不同位置的4到5張圖片來(lái)進(jìn)行標(biāo)定。圖8-22智能垃圾分揀系統(tǒng)整體示意圖圖8-39標(biāo)定立方體放置位置1cm1cm1cm圖8-55視覺(jué)矯正全站儀測(cè)量原理圖（5）視覺(jué)傳感器局部標(biāo)定圖8-38左右相機(jī)標(biāo)定圖片左相機(jī)右相機(jī)8.6車軸檢測(cè)

完成局部標(biāo)定的兩組雙目相機(jī)會(huì)分別建立其世界坐標(biāo)系，通過(guò)三個(gè)不共線的編碼標(biāo)記點(diǎn)與全站儀，先后將兩組視覺(jué)傳感器建立的世界坐標(biāo)系進(jìn)行統(tǒng)一，完成初步的全局標(biāo)定。首先，第一組視覺(jué)傳感器根據(jù)編碼標(biāo)記點(diǎn)的位姿關(guān)系，獲得標(biāo)記點(diǎn)在相機(jī)坐標(biāo)系下的三維坐標(biāo)，基于視覺(jué)矯正的全站儀掃描標(biāo)記點(diǎn)，矯正后得出在全站儀的全局坐標(biāo)系下的標(biāo)記點(diǎn)三維坐標(biāo)。圖8-22智能垃圾分揀系統(tǒng)整體示意圖圖8-39標(biāo)定立方體放置位置1cm1cm1cm圖8-55視覺(jué)矯正全站儀測(cè)量原理圖（6）全局標(biāo)定實(shí)驗(yàn)圖8-39系統(tǒng)全局標(biāo)定示意圖

8.6車軸檢測(cè)RANSAC算法是一種使隨機(jī)抽樣趨于一致性的算法，采用迭代的方式從一組離散的數(shù)據(jù)中估算出理想數(shù)學(xué)模型的參數(shù)，該算法可以有效剔除采樣異常點(diǎn)對(duì)結(jié)果的干擾，相比傳統(tǒng)的擬合算法，RANSAC算法有更高的魯棒性和準(zhǔn)確性。該算法核心思想就是隨機(jī)性和假設(shè)性，隨機(jī)性是根據(jù)出現(xiàn)的正確數(shù)據(jù)的概率去隨機(jī)選取抽樣數(shù)據(jù)，依據(jù)大數(shù)定律，隨機(jī)性模擬只要迭代的次數(shù)足夠多，就一定存在近似正確的結(jié)果。假設(shè)性是假設(shè)選取出的抽樣數(shù)據(jù)都是正確數(shù)據(jù)，然后用這些正確數(shù)據(jù)采用使問(wèn)題滿足的數(shù)學(xué)模型，去驗(yàn)證其他采樣點(diǎn)，然后對(duì)擬合結(jié)果進(jìn)行一個(gè)評(píng)判，數(shù)據(jù)中包含正確數(shù)據(jù)和異常數(shù)據(jù)。

車體軸線擬合的具體步驟為：

Step1：將標(biāo)記點(diǎn)隨機(jī)粘貼到待測(cè)車體的儲(chǔ)油罐兩側(cè)，通過(guò)雙目視覺(jué)傳感器獲取標(biāo)記點(diǎn)的三維坐標(biāo)作為采樣點(diǎn)儲(chǔ)存，從樣本集中隨機(jī)抽選出2個(gè)點(diǎn)(N=2)，根據(jù)這兩個(gè)點(diǎn)的三維坐標(biāo)，可以獲得空間內(nèi)的直線模型，將其設(shè)為Step2：將數(shù)據(jù)集中的剩余點(diǎn)，代入到步驟1所得的直線模型當(dāng)中去，設(shè)置合適的閾值

計(jì)算出與直線模型的幾何距離小于閾值

的數(shù)據(jù)點(diǎn)集合

并將其稱之為該直線模型的內(nèi)點(diǎn)集。圖8-22智能垃圾分揀系統(tǒng)整體示意圖圖8-39標(biāo)定立方體放置位置1cm1cm1cm圖8-55視覺(jué)矯正全站儀測(cè)量原理圖（7）車體軸線擬合：

8.6車軸檢測(cè)Step3：將Step1、Step1進(jìn)行m次隨機(jī)采樣，可以得到m條直線模型和其對(duì)應(yīng)的內(nèi)點(diǎn)集合

對(duì)于點(diǎn)集合的采樣次數(shù)需滿足Step4：得到的所有內(nèi)點(diǎn)集進(jìn)行比較，集合內(nèi)點(diǎn)的數(shù)量最多的點(diǎn)的直線模型，即為該采樣數(shù)據(jù)集的最佳擬合直線。

根據(jù)本節(jié)的RANSAC方法擬合得到空間直線的結(jié)果：擬合得到空間直線的方向向量為n=(0.00083,0.99971,0.00156),空間直線上的一點(diǎn)為(37.2668,7715.5422,1171.9617)。圖8-22智能垃圾分揀系統(tǒng)整體示意圖圖8-39標(biāo)定立方體放置位置1cm1cm1cm圖8-55視覺(jué)矯正全站儀測(cè)量原理圖（7）車體軸線擬合

X/mmY/mmZ/mm圖8-40系統(tǒng)全局標(biāo)定示意圖

在遠(yuǎn)程教育中，教師端是第一場(chǎng)景，學(xué)生端是第二場(chǎng)景。同時(shí)，在第一場(chǎng)景中通過(guò)普通電腦攝像頭獲取第一圖像信息，在第二場(chǎng)景中通過(guò)云臺(tái)獲取第二圖像信息。建立級(jí)聯(lián)殘差回歸樹(shù)（GBDT）使人臉形狀從當(dāng)前形狀逐漸回歸到真實(shí)形狀?；诨貧w樹(shù)的人臉對(duì)齊方法用于檢測(cè)第一張圖像的人臉特征點(diǎn)并依次標(biāo)記特征點(diǎn)。同時(shí)輸出特征點(diǎn)的實(shí)時(shí)坐標(biāo)、數(shù)量和位置，并將特征點(diǎn)信息存儲(chǔ)在點(diǎn)集中。當(dāng)教師端檢測(cè)到k個(gè)物體時(shí)，取第i個(gè)(i=0,1,2…k)物體的點(diǎn)集中坐標(biāo)的最左限、最右限、最上限和最下限，并計(jì)算人臉圖像面積。選擇面積最大的人臉作為目標(biāo)教師跟隨視線。篩選目標(biāo)教師檢測(cè)到的人臉特征點(diǎn)，選取六個(gè)面部關(guān)鍵點(diǎn)，并記錄它們的固定索引標(biāo)簽和坐標(biāo)信息。為了提高云臺(tái)交互系統(tǒng)的準(zhǔn)確性，增強(qiáng)沉浸感和智能性，本案例采用的算法對(duì)實(shí)時(shí)幀進(jìn)行過(guò)濾，獲取特定間隔數(shù)據(jù)的平均值，并根據(jù)云臺(tái)實(shí)時(shí)返回值。圖8-22智能垃圾分揀系統(tǒng)整體示意圖圖8-39標(biāo)定立方體放置位置1cm1cm1cm圖8-55視覺(jué)矯正全站儀測(cè)量原理圖（1）檢測(cè)特征點(diǎn)并選擇目標(biāo)對(duì)象

8.7云臺(tái)檢測(cè)（2）實(shí)驗(yàn)設(shè)備

所有實(shí)驗(yàn)軟件均在C++上實(shí)現(xiàn)，視頻由普通USB攝像頭獲取，分辨率為860*640。學(xué)生端交互使用的pam-tilt