基于開源項目的蘋果采摘系統(tǒng)設(shè)計及視覺算法改進(jìn)

1、    基于開源項目的蘋果采摘系統(tǒng)設(shè)計及視覺算法改進(jìn)    劉岳開高宏力張潔摘要：以機(jī)器人操作系統(tǒng)（robot operating system，ros）為框架，以開源項目樹莓派微型硬件作為圖像處理模塊，arduino作為機(jī)械臂運(yùn)動控制模塊;基于自適應(yīng)參數(shù)輸入的霍夫圓檢測算法，實現(xiàn)一種usb攝像頭的雙目視覺蘋果采摘系統(tǒng)，保證算法實時性高的前提下識別率較高。以輪廓完整、小色塊去除為優(yōu)化策略，最大、最小圓面積自動估算，實現(xiàn)對霍夫圓檢測輸入?yún)?shù)的自適應(yīng)控制。對于采摘順序規(guī)劃，通過競爭策略，每次篩選出最優(yōu)果實，從而實現(xiàn)多目標(biāo)的采摘順序確定。結(jié)果表明，基于本策略的

2、自適應(yīng)霍夫圓檢測試驗算法對遮擋狀況下的小規(guī)模成簇果實具有較高識別率。此外，借助眾靈科技有限公司的開源ros五自由度機(jī)械臂通過簡易抓取試驗完成了算法可實施性驗證。關(guān)鍵詞：開源系統(tǒng)設(shè)計;機(jī)器視覺;顏色空間;自適應(yīng)霍夫圓檢測： s225.93  文獻(xiàn)標(biāo)志碼： a  ：1002-1302（2019）04-0187-05在采摘算法上，對目標(biāo)果實識別的準(zhǔn)確性和效率是決定采摘質(zhì)量的關(guān)鍵。經(jīng)典的采摘算法包括圖像預(yù)處理（去除噪聲、提高對比度）、圖像分割獲取果實部分圖像、輪廓精準(zhǔn)識別獲取三維坐標(biāo)信息。lab顏色空間下的k-means聚類算法的圖像分割1-2和基于最大類間方差的動態(tài)閾值otsu法

3、3-5是典型的基于區(qū)域的分割算法。未對輸入圖像做出適應(yīng)性修正的算法在復(fù)雜光照及背景采摘環(huán)境下，提取蘋果輪廓易出現(xiàn)不完整、目標(biāo)區(qū)域產(chǎn)生空洞的情況。而現(xiàn)有算法中對預(yù)處理過程中的參數(shù)優(yōu)化較弱6-11。k-means和ga-rbf-lms神經(jīng)網(wǎng)絡(luò)識別相結(jié)合的算法1，雖然提高了識別率，但神經(jīng)網(wǎng)絡(luò)算法訓(xùn)練數(shù)據(jù)量本大，數(shù)據(jù)處理實時性較弱。目前多數(shù)算法研究者的研究過程6-11往往只專注于圖像識別過程，林冰心等對采摘順序規(guī)劃進(jìn)行了研究12，而算法與機(jī)械臂控制結(jié)合的開發(fā)試驗鮮有研究。在軟硬件平臺上，ros和樹莓派、arduino是目前發(fā)展較為成熟的開源軟硬件項目平臺。國外研究者已有基于ros系統(tǒng)構(gòu)建服務(wù)機(jī)器人方案

4、的研究13-16，但國內(nèi)關(guān)于此方面的研究較少，ros跨平臺以及其類似模塊化編程的優(yōu)越性正在逐步顯現(xiàn)。本研究專注于如何利用oshw項目高效地設(shè)計機(jī)器視覺系統(tǒng)，以ros操作系統(tǒng)為框架，構(gòu)建了一種基于arduino和raspberry pi等oshw項目的蘋果采摘機(jī)器視覺系統(tǒng)。ros環(huán)境下的視覺算法實現(xiàn)，借助于oshw項目以及ros代碼的強(qiáng)復(fù)用性，二次開發(fā)過程得到簡化。raspberry pi微型計算機(jī)相比于傳統(tǒng)的嵌入式或者基于工業(yè)pc臺式機(jī)電腦的視覺系統(tǒng)，計算性能得到保證的同時便攜性顯著提高。本研究基于一種自適應(yīng)參數(shù)修正的霍夫圓檢測算法，保證識別算法實時性高的前提下輪廓擬合精度較高，通過引入競爭機(jī)

5、制后能夠單次采摘具有最優(yōu)圖像信息的果實，實現(xiàn)順序采摘過程，最后基于oshw軟硬件平臺構(gòu)建并完成了抓取試驗測試。1 視覺系統(tǒng)總體設(shè)計基于視覺的蘋果采摘系統(tǒng)是一種通過圖像處理手段對標(biāo)定后相機(jī)圖像進(jìn)行處理，提取目標(biāo)果實三維坐標(biāo)信息的系統(tǒng)。本系統(tǒng)是以ros系統(tǒng)為框架開發(fā)的一套雙目視覺系統(tǒng)，并在實體機(jī)械臂上完成算法采摘可實施性驗證。系統(tǒng)主要包括圖像采集設(shè)備、圖像處理模塊、相關(guān)通信線纜等。圖像采集、圖像處理硬件選型根據(jù)視覺算法需要，以安裝ubuntu 14.04系統(tǒng)的樹莓派3為載體，2臺西安維氏的工業(yè)相機(jī)組成雙目立體視覺系統(tǒng)，相機(jī)通過usb 2.0接口與樹莓派連接。調(diào)用基于ros的張氏標(biāo)定法完成鏡頭畸變校

6、正，并解決相機(jī)安裝偏差的極線校正過程。系統(tǒng)內(nèi)部通信基于ros的信息傳輸機(jī)制，信號從主題發(fā)布節(jié)點(diǎn)傳向訂閱主題的節(jié)點(diǎn)。另外，樹莓派3通過usb 2.0接口或rs232接口與機(jī)器人運(yùn)動控制芯片（如arduino等）通信（圖1）。2 采摘識別算法優(yōu)化對現(xiàn)有的霍夫梯度圓檢測過程的參數(shù)輸入以及果實識別采摘順序規(guī)劃過程做了相關(guān)算法改良設(shè)計（圖2）。2.1 顏色空間轉(zhuǎn)換及圖像分割將原始圖片從顏色分量關(guān)聯(lián)性強(qiáng)的rgb顏色空間轉(zhuǎn)化到關(guān)聯(lián)性低的hsv顏色空間，方便顏色提取過程。hsv空間中h代表色調(diào)，決定色彩的基本種類。計算公式由立方體模型到六棱錐模型的變換公式導(dǎo)出。公式中相關(guān)符號r、g、b分別代表rgb空間中的紅

7、色、綠色、藍(lán)色分量。max（r，g，b）表示rgb三通道矩陣最大值，min（r，g，b）表示rgb三通道矩陣最小值。公式（1）、（2）、（3）、（4）為hsv空間各分量的計算公式。2.2 圖像預(yù)處理圖像預(yù)處理是實現(xiàn)高精度尺寸、距離測量以及圖像識別過程的基礎(chǔ)。為更好地保留果實信息，在轉(zhuǎn)化為hsv顏色空間后，再進(jìn)行直方圖均衡化增強(qiáng)圖像對比度。通過自適應(yīng)閾值法對圖像做二值化處理，消除其他噪聲，保留果實圖像信息。當(dāng)色調(diào)h的計算結(jié)果小于0時，采用公式（2）計算。為更好地區(qū)分采摘圖像中的背景色彩和果實色彩，測試了果實與背景顏色h分量構(gòu)成。圖3展示了果實圖像目標(biāo)與背景中色調(diào)分量的直方圖，即各顏色的比重，得出

8、背景色彩多為藍(lán)色、棕色，如天空、樹枝，目標(biāo)果實主要為紅色和部分黃色分量，從而以直方圖色度信息為判據(jù)提取對應(yīng)取值的顏色分量。圖4所示分別為k均值、hsv空間紅黃分量提取以及本研究算法圖像分割結(jié)果對比，本研究算法能夠更加完整地識別果實顏色分量，在圖像分割質(zhì)量上具有一定優(yōu)越性。2.3 果實圖像的霍夫梯度圓檢測霍夫圓檢測是目前應(yīng)用較為廣泛的一種圓檢測方法17-21。圓檢測由于其特征較少，傳統(tǒng)的多邊形檢測方法難以檢測，目前提出的圓檢測方法包括環(huán)路積分微分法，基于最小二乘的圓擬合法，而霍夫圓檢測算法是目前應(yīng)用最為廣泛的算法?；舴驁A檢測的基本原理可簡述為利用點(diǎn)與線的對偶性，將圖像空間的線條變?yōu)閰?shù)空間的點(diǎn)，

9、即將過點(diǎn)a（i），b（i）的圓簇表示為a（i），b（i），r（i）參數(shù)形式;圖像空間中的過點(diǎn)（a，b）的圓在參數(shù)空間中表示為一個圓錐面。最后問題轉(zhuǎn)化為求解參數(shù)空間的峰值問題。引入消除粒子群優(yōu)化（eliminating particle swarm optimization，epso）方法17的霍夫圓檢測算法優(yōu)化了計算速度，以及基于輪廓點(diǎn)處梯度方向交點(diǎn)投票機(jī)制算法18也較顯著加速了hough圓檢測算法的效率及抗干擾能力。然而在蘋果采摘環(huán)境下，受環(huán)境噪聲（樹枝、樹葉遮擋）以及自身梯度方向的計算誤差的影響，目標(biāo)果實的擬合結(jié)果仍然易出現(xiàn)輸出擬合圓過多且不準(zhǔn)確的狀況。通過提前估算果實圖像區(qū)域大小以及個數(shù)

10、等特征作為參數(shù)輸入，則能較好地解決hough圓檢測算法對輸入?yún)?shù)敏感的問題?；谔荻鹊目焖倩舴驁A檢測，利用梯度信息，對圓檢測過程中隨機(jī)點(diǎn)的選取作初步篩選。（1）otsu大津法通過公式（5）選擇在最佳狀態(tài)空間點(diǎn)（w0，w1，u0，u1）處對應(yīng)的閾值，然后根據(jù)閾值對圖像進(jìn)行二值化處理。公式（5）中w0為背景像素占總像素數(shù)的比值，w1為前景像素的占比值，u0為背景像素點(diǎn)的灰度平均值，u1為前景像素點(diǎn)的灰度平均值，s為最大類間方差。2.4 霍夫圓檢測的自適應(yīng)參數(shù)輸入hough圓檢測的輸入?yún)?shù)包括最大圓半徑、最小圓半徑r、r，圓心距最小值d。本研究使用python的scipy庫的ndimage中的mea

11、surements模塊實現(xiàn)了果實圖像的形態(tài)學(xué)度量，完成圖像中果實的面積大小及數(shù)量的估算，從而對霍夫梯度檢測的輸入?yún)?shù)進(jìn)行控制。該方法能夠有效提高h(yuǎn)ough圓檢測算法輸入?yún)?shù)的準(zhǔn)確性，從而提高識別精度。具體算法的驗證代碼已經(jīng)上傳到github軟件項目托管平臺。算法流程如下所示。比較圖5所示算法效果可以看出，自適應(yīng)參數(shù)的hough圓檢測能夠在圖像輸入前有效去除影響噪聲，以及消除果實粘接等產(chǎn)生的目標(biāo)形狀畸變等問題。2.5 ros環(huán)境下雙目視覺深度計算程序采用ros的標(biāo)準(zhǔn)節(jié)點(diǎn)格式，左、右相機(jī)通過節(jié)點(diǎn)的圖像處理程序?qū)⒐麑嵉亩S坐標(biāo)計算結(jié)果發(fā)布到/tf主題，機(jī)械臂狀態(tài)節(jié)點(diǎn)訂閱該消息，并將左、右相機(jī)處理的二

12、維結(jié)果通過公式轉(zhuǎn)化為三維坐標(biāo)信息，通過相關(guān)ros自帶的相關(guān)逆運(yùn)動學(xué)求解包得到機(jī)械臂各個關(guān)節(jié)的轉(zhuǎn)角參數(shù)，實現(xiàn)機(jī)械臂的簡單控制過程。2.6 競爭策略與順序采摘王冰心等實現(xiàn)了一種基于生物選擇性注意機(jī)制及贏者取全的仿生學(xué)算法12，而本研究基于競爭機(jī)制淘汰篩選得到最佳待采摘果實的方法，實現(xiàn)了果實簇的順序采摘過程。圖6為k均值算法、基于霍夫梯度檢測、基于開源項目算法檢測的結(jié)果比較。其算法步驟如下。step1：計算雙目鏡頭的hough圓檢測擬合結(jié)果，得到二維圓心坐標(biāo)，雙目算法求取三維視野距離dz。step2：求輪廓完整度判據(jù)。以圖像目標(biāo)實際面積與對應(yīng)擬合圓面積比值kz為判斷依據(jù)。step3：以視野距離、輪廓

13、完整度為指標(biāo)，篩選確定出最佳可摘果實。step4：返回step1，對采摘后圖像繼續(xù)判斷最佳果實，循環(huán)執(zhí)行，直到采摘完畢。由圖6所示試驗結(jié)果可知，自適應(yīng)參數(shù)的霍夫圓檢測方法準(zhǔn)確率在無遮擋、樹枝樹葉遮擋2種情況下相比于一般的果實識別算法具有優(yōu)越性，相比于神經(jīng)網(wǎng)絡(luò)模型下的算法略低，如基于dsp和c/os-的采摘機(jī)器人視覺系統(tǒng)設(shè)計9達(dá)到97%的識別率，但省去了訓(xùn)練時間且不存在泛化性問題。3 基于ros系統(tǒng)的雙目視覺測試與結(jié)果分析ros支持的python和c+ +語言由于opencv以及其他開源視覺算法庫的引入，使得多種基本的算法處理實現(xiàn)得到簡化，研究更為便捷。圖像預(yù)處理是實現(xiàn)高精度尺寸、距離測量以及圖

14、像識別過程的基礎(chǔ)。通過圖像對比度增強(qiáng)、降噪等軟手段減小噪聲信息的影響。預(yù)處理的效果直接影響到后續(xù)的尺寸、距離、識別過程的精度。對k均值、hsv空間紅黃分量提取以及本研究算法圖像分割結(jié)果進(jìn)行了試驗與對比，結(jié)果表明，本研究提出的算法能夠更加完整地識別并完成目標(biāo)果實圖像的分割，從而提升后續(xù)的識別精度。在目標(biāo)提取上，基于一種改良參數(shù)的自適應(yīng)霍夫圓檢測算法獲取果實的二維坐標(biāo)，可避免圖像分割后的輪廓不完整以及空洞，影響果實精確位置判斷?；谔荻鹊目焖倩舴驁A檢測，利用梯度信息，對圓檢測過程中隨機(jī)點(diǎn)作初步篩選，從而減小計算量，提升計算速度。引入競爭機(jī)制實現(xiàn)果實采摘的順序規(guī)劃，從而完成對成簇狀果實群的順序采摘。

15、ros系統(tǒng)的引入方便了機(jī)器人運(yùn)動學(xué)以及動力學(xué)控制過程。無論是對于底層的關(guān)節(jié)速度、力反饋控制，還是對于進(jìn)一步的機(jī)械臂軌跡規(guī)劃、運(yùn)動規(guī)劃，ros系統(tǒng)提供了move_base、moveit、gmaping等運(yùn)動控制包，幫助實現(xiàn)機(jī)器人的運(yùn)動控制過程。圖7是ubuntu系統(tǒng)中，ros環(huán)境下雙目視覺rqt_graph包生成的計算圖。圖8是本研究設(shè)計的雙目視覺系統(tǒng)與眾靈科技有限公司的開源arduino機(jī)器人組成的雙目視覺采摘試驗測試的計算圖（由rqt_graph包生成）。圖9是基于樹莓派的ros視覺采摘系統(tǒng)現(xiàn)場測試過程。樹莓派3代b作為圖像處理模塊以及機(jī)械臂定位信號發(fā)送端。顯示器通過樹莓派的hdmi接口接入

16、并實時顯示ros圖像處理過程，可以通過樹莓派的相關(guān)外圍設(shè)備鼠標(biāo)、鍵盤調(diào)用ros的rqt_graph包查看ros節(jié)點(diǎn)計算圖;攝像頭設(shè)備通過樹莓派的usb端口輸入采集到的原始圖像。arduino接收樹莓派的定位信號并作為機(jī)械臂的底層控制部分完成最終機(jī)械臂的運(yùn)動控制過程。圖9所示的模擬測試過程為攝像頭采集到原始圖像后，經(jīng)過樹莓派圖像處理獲取最終的三維坐標(biāo)信息并發(fā)送給arduino，機(jī)械臂在arduino控制下完成對蘋果的抓取動作。4 結(jié)論經(jīng)試驗測試驗證， 本研究算法的識別率在一般識別算法中準(zhǔn)確率較高。本研究使用眾靈科技公司開發(fā)的開源ros機(jī)械臂對雙目視覺采摘系統(tǒng)做場地測試，驗證了該算法的可實施性。經(jīng)

17、測試統(tǒng)計，在無遮擋和樹枝、樹葉遮擋2種情況下該算法識別率均較高，在果實重疊情況下效果仍需提高。ros類似于模塊化的基于獨(dú)立節(jié)點(diǎn)通信機(jī)制的信息傳輸方式讓基于ros的視覺系統(tǒng)設(shè)計研究者可以快速熟悉并快速用于二次開發(fā)。代碼的分類管理能有效提高開發(fā)效率。github能以版本控制方式進(jìn)行更好的管理并方便軟件的bug修復(fù)、意見征集以及基于源碼的二次開發(fā)過程。ros wiki網(wǎng)頁上提供的眾多接口以及開源算法，為視覺機(jī)器人的開發(fā)提供了便利。由于項目時間匆促，后期可以與其他視覺識別定位的橫向智能學(xué)習(xí)算法做對比，從而對采摘算法做進(jìn)一步優(yōu)化。參考文獻(xiàn)：1賈偉寬，趙德安，劉曉洋，等. 機(jī)器人采摘蘋果果實的k-mean

18、s和ga-rbf-lms神經(jīng)網(wǎng)絡(luò)識別j. 農(nóng)業(yè)工程學(xué)報，2015，31（18）：175-183.2malinen m i，mariescu-istodor r，franti p. k-means*：clustering by gradual data transformationj. pattern recognition，2014，47（10）：3376-3386.3郭翰林，林 建，張 翔. 基于hsv空間再生稻植株與土壤背景圖像分割j. 農(nóng)機(jī)化研究，2017（7）：169-174.4李碧青，朱 強(qiáng)，鄭仕勇，等. 雜草自動識別除草機(jī)器人設(shè)計基于嵌入式web和zigbee網(wǎng)關(guān)j. 農(nóng)機(jī)化研究，

19、2017（1）：217-226.5李運(yùn)志，zhang q，陳弘毅，等. 基于機(jī)器視覺的半干棗病害和裂紋識別研究j. 農(nóng)機(jī)化研究，2016（8）：120-125.6趙德安，沈 甜，陳 玉，等. 蘋果采摘機(jī)器人快速跟蹤識別重疊果實j. 農(nóng)業(yè)工程學(xué)報，2015，31（2）：22-28.7熊俊濤，鄒湘軍，彭紅星，等. 荔枝采摘機(jī)械手視覺定位系統(tǒng)設(shè)計j. 農(nóng)業(yè)機(jī)械學(xué)報，2012（增刊1）：250-255.8王 政，張微微，張 賓，等. 基于聚類算法對象提取的快速定位采摘機(jī)器人設(shè)計j. 農(nóng)機(jī)化研究，2016（7）：45-49.9申一歌，靳 果. 基于dsp和c/os-的采摘機(jī)器人視覺系統(tǒng)設(shè)計j. 農(nóng)機(jī)化研

20、究，2017（6）：223-227.10顧蘇杭，馬正華，呂繼東. 基于顯著性輪廓的蘋果目標(biāo)識別方法j. 計算機(jī)應(yīng)用研究，2017，34（8）：2551-2556.11楊信廷，孫文娟，李 明，等. 基于k均值聚類和開閉交替濾波的黃瓜葉片水滴熒光圖像分割j. 農(nóng)業(yè)工程學(xué)報，2016，32（17）：136-143.12王冰心，王孫安，于德弘. 基于選擇性注意機(jī)制的果實簇識別與采摘順序規(guī)劃j. 農(nóng)業(yè)機(jī)械學(xué)報，2016，47（11）：1-7.13wang z y，gong l，chen q l，et al. rapid developing the simulation and control syst

21、ems for a multifunctional autonomous agricultural robot with rosc/intelligent robotics and applications. springer，2016：26-39.14seib v，memmesheimer r，paulus d. a ros-based system for an autonomous service robotm/robot operating system （ros）. springer，2016：215-252.15araújo a，portugal d，couceiro m s，et al. integrating arduino-based educational mobile robots in rosj. journal of intelligent & robotic systems，2015，77（2）：281-298.16hu t j，zha