基于深度學(xué)習(xí)的智能果實(shí)采摘系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

基于深度學(xué)習(xí)的智能果實(shí)采摘系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

0降低農(nóng)業(yè)生產(chǎn)自動(dòng)化、提高工作效率實(shí)現(xiàn)臂機(jī)械動(dòng)作的控制以及果實(shí)空間坐標(biāo)的定位是提取和實(shí)現(xiàn)的重要因素。隨著現(xiàn)代科技的發(fā)展，智能識(shí)別算法、機(jī)械領(lǐng)域新技術(shù)也越來(lái)越多地應(yīng)用到果蔬采摘設(shè)備設(shè)計(jì)中，這些新技術(shù)在提高農(nóng)業(yè)生產(chǎn)自動(dòng)化和智能化的同時(shí)，也降低了生產(chǎn)成本、提高了工作效率。目前，國(guó)內(nèi)外學(xué)者對(duì)采摘設(shè)備進(jìn)行了大量的研究和實(shí)驗(yàn)本文使用YOLOv4目標(biāo)檢測(cè)識(shí)別算法對(duì)果實(shí)進(jìn)行像素定位和識(shí)別，訓(xùn)練多種果實(shí)的識(shí)別模型，并結(jié)合Android開(kāi)發(fā)技術(shù)、服務(wù)器和網(wǎng)絡(luò)通信技術(shù)，對(duì)多種果實(shí)進(jìn)行智能識(shí)別及采摘，為降低機(jī)械臂逆運(yùn)動(dòng)學(xué)求解時(shí)的分析難度和計(jì)算量，通過(guò)降維方式進(jìn)行機(jī)械臂逆運(yùn)動(dòng)學(xué)解算。1系統(tǒng)的全球設(shè)計(jì)1.1機(jī)械臂逆運(yùn)動(dòng)學(xué)解算和運(yùn)動(dòng)軌跡規(guī)劃圖1為果實(shí)采摘系統(tǒng)的連接及功能框圖，系統(tǒng)中樹(shù)莓派和手機(jī)端APP使用Socket通信協(xié)議與服務(wù)器進(jìn)行連接，實(shí)現(xiàn)數(shù)據(jù)的互傳。樹(shù)莓派對(duì)實(shí)時(shí)圖像拍攝和上傳，完成機(jī)械臂逆運(yùn)動(dòng)學(xué)解算和運(yùn)動(dòng)軌跡規(guī)劃，通過(guò)GPIO管腳與六自由度機(jī)械臂連接，輸出控制信號(hào)，控制機(jī)械臂運(yùn)動(dòng)到指定位置，實(shí)現(xiàn)果實(shí)的采摘。服務(wù)器使用YOLOv4識(shí)別算法對(duì)樹(shù)莓派上傳的圖像數(shù)據(jù)進(jìn)行果實(shí)目標(biāo)檢測(cè)和像素定位，并對(duì)果實(shí)空間坐標(biāo)進(jìn)行解算，再將解算結(jié)果發(fā)送到樹(shù)莓派。手機(jī)端APP可以實(shí)現(xiàn)與采摘設(shè)備的遠(yuǎn)程連接，控制采摘設(shè)備的啟動(dòng)和停止，可實(shí)時(shí)查看采摘設(shè)備的現(xiàn)場(chǎng)采摘視頻，還可以通過(guò)手機(jī)端選擇需要采摘的果實(shí)類型。1.2機(jī)械臂逆運(yùn)動(dòng)學(xué)制作系統(tǒng)的設(shè)計(jì)流程如圖2所示。打開(kāi)手機(jī)APP以及采摘設(shè)備開(kāi)機(jī)上電，APP和采摘設(shè)備自動(dòng)連接至服務(wù)器，服務(wù)器端將采摘設(shè)備的IP信息發(fā)送到手機(jī)APP，在APP選中IP地址即可進(jìn)行采摘設(shè)備的連接。設(shè)備連接成功后，可通過(guò)手機(jī)APP對(duì)采摘設(shè)備進(jìn)行遠(yuǎn)程控制，此時(shí)樹(shù)莓派將采摘現(xiàn)場(chǎng)的實(shí)時(shí)圖像上傳至服務(wù)器進(jìn)行圖像識(shí)別和空間定位，而后服務(wù)器將空間定位坐標(biāo)返回樹(shù)莓派。樹(shù)莓派根據(jù)空間坐標(biāo)進(jìn)行機(jī)械臂逆運(yùn)動(dòng)學(xué)解算和機(jī)械臂運(yùn)動(dòng)軌跡規(guī)劃，最終由樹(shù)莓派輸出控制信號(hào)，控制機(jī)械臂進(jìn)行果實(shí)采摘。采摘過(guò)程中，可以點(diǎn)擊APP中的查看按鈕查看采摘現(xiàn)場(chǎng)的實(shí)時(shí)視頻。2采購(gòu)系統(tǒng)臂設(shè)計(jì)2.1機(jī)械臂的導(dǎo)致果實(shí)采摘對(duì)果實(shí)進(jìn)行采摘的是一個(gè)六自由度的機(jī)械臂，圖3a為其實(shí)物圖。該機(jī)械臂由6個(gè)6125型數(shù)字舵機(jī)構(gòu)成旋轉(zhuǎn)關(guān)節(jié)，單個(gè)舵機(jī)的扭矩為25kg·cm,6個(gè)舵機(jī)與其它金屬零件組成機(jī)械臂。機(jī)械臂爪子部分可根據(jù)采摘不同的果實(shí)進(jìn)行更換，這樣可以使采摘機(jī)器人更好地完成果實(shí)采摘任務(wù)。當(dāng)采摘的果實(shí)直徑較小時(shí)，選用如圖3b所示的開(kāi)口較小的爪子進(jìn)行采摘，該爪子最大的開(kāi)口為55mm。果實(shí)直徑較大時(shí)，選用如圖3c所示的開(kāi)口較大的爪子進(jìn)行采摘，該爪子最大的開(kāi)口為125mm。該機(jī)械臂參數(shù)見(jiàn)表1。2.2機(jī)械臂逆運(yùn)動(dòng)學(xué)應(yīng)用機(jī)械臂的運(yùn)動(dòng)學(xué)分為正運(yùn)動(dòng)學(xué)和逆運(yùn)動(dòng)學(xué)兩種。正運(yùn)動(dòng)學(xué)是設(shè)定好機(jī)械臂各個(gè)關(guān)節(jié)角，來(lái)實(shí)現(xiàn)機(jī)械臂的運(yùn)動(dòng)控制;逆運(yùn)動(dòng)學(xué)是已知一個(gè)在機(jī)械臂運(yùn)動(dòng)范圍之內(nèi)的空間坐標(biāo)，根據(jù)已知的空間坐標(biāo)來(lái)求解得到機(jī)械臂各個(gè)關(guān)節(jié)所需旋轉(zhuǎn)的角度，最終控制機(jī)械臂運(yùn)動(dòng)到指定位置。在機(jī)械臂的實(shí)際運(yùn)用中，更多的是實(shí)現(xiàn)機(jī)械臂的逆運(yùn)動(dòng)學(xué)求解。本文設(shè)計(jì)的采摘系統(tǒng)，通過(guò)圖像識(shí)別算法來(lái)指定果實(shí)的空間坐標(biāo)，進(jìn)行機(jī)械臂逆運(yùn)動(dòng)學(xué)求解使機(jī)械臂運(yùn)動(dòng)到果實(shí)位置，最終實(shí)現(xiàn)采摘。機(jī)械臂的逆運(yùn)動(dòng)學(xué)求解，通常是在三維坐標(biāo)系中實(shí)現(xiàn)。首先需要通過(guò)右手定則確定機(jī)械臂各個(gè)關(guān)節(jié)的正旋轉(zhuǎn)方向。之后得到各個(gè)關(guān)節(jié)的旋轉(zhuǎn)矩陣和平移矩陣，將旋轉(zhuǎn)矩陣和平移矩陣相乘得到一個(gè)新的矩陣，該矩陣描述了機(jī)械臂末端在空間的坐標(biāo)及姿態(tài)。通過(guò)該矩陣就能得到機(jī)械臂末端和各個(gè)關(guān)節(jié)間旋轉(zhuǎn)角的關(guān)系，通過(guò)這個(gè)關(guān)系可實(shí)現(xiàn)機(jī)械臂的逆運(yùn)動(dòng)學(xué)求解。但是這需要進(jìn)行大量的矩陣運(yùn)算和三角函數(shù)運(yùn)算，并且可能求得多個(gè)解，使得機(jī)械臂的逆運(yùn)動(dòng)學(xué)求解變得很復(fù)雜。為了降低運(yùn)算量，該采摘系統(tǒng)中結(jié)合使用的機(jī)械臂，對(duì)機(jī)械臂各個(gè)關(guān)節(jié)進(jìn)行拆分，最終通過(guò)二維坐標(biāo)系實(shí)現(xiàn)機(jī)械臂逆運(yùn)動(dòng)學(xué)求解，大大簡(jiǎn)化了計(jì)算。2.2.1dh模型和坐標(biāo)系的建立在分析機(jī)械手臂的運(yùn)動(dòng)過(guò)程時(shí)，需要先建立機(jī)械手臂中各個(gè)關(guān)節(jié)的坐標(biāo)，圖4a為根據(jù)DH模型建立的機(jī)械臂各個(gè)關(guān)節(jié)的坐標(biāo)圖2.2.2機(jī)械臂逆運(yùn)動(dòng)學(xué)建模為了提高機(jī)械臂控制的實(shí)時(shí)性，通過(guò)降低維度的方法來(lái)進(jìn)行分析得到逆運(yùn)動(dòng)學(xué)求解。求解過(guò)程中，先將底部云臺(tái)的旋轉(zhuǎn)關(guān)節(jié)和控制末端機(jī)械爪轉(zhuǎn)動(dòng)及開(kāi)合的關(guān)節(jié)去掉，這樣就可以在XOY二維平面進(jìn)行機(jī)械臂姿態(tài)的分析。如圖5所示，在XOY二維平面中根據(jù)機(jī)械臂正運(yùn)動(dòng)學(xué)方程的DH表示法，建立圖5中坐標(biāo)系原點(diǎn)與機(jī)械臂末端的總變換矩陣為式中，式(1)表示機(jī)械臂末端位姿與各關(guān)節(jié)變量之間的關(guān)系，該式為正運(yùn)動(dòng)學(xué)方程。其中，連桿變換通式其中cθ式(2)表示機(jī)械臂末端連桿坐標(biāo)系相對(duì)于機(jī)械臂的描述由式(2)可以得到機(jī)械臂末端的坐標(biāo)為根據(jù)幾何方法有由式(3)～(5)組成方程組即可求解得到圖5所示的機(jī)械臂3個(gè)旋轉(zhuǎn)關(guān)節(jié)的姿態(tài)，求解過(guò)程如下:將式(5)分別代入式(3)、(4)得為了方便計(jì)算，令化簡(jiǎn)式(6)、(7)有通過(guò)求解一元二次方程得由此求得θ由于該機(jī)械臂中控制爪子開(kāi)合的關(guān)節(jié)和靠近爪子處的圓柱關(guān)節(jié)在轉(zhuǎn)動(dòng)過(guò)程中不會(huì)對(duì)機(jī)械臂末端的位置產(chǎn)生影響，本文求解機(jī)械臂逆運(yùn)動(dòng)學(xué)時(shí)，不對(duì)這2個(gè)關(guān)節(jié)進(jìn)行求解。所以在求解出θ圖6是完成了圖4a機(jī)械臂坐標(biāo)建立之后的ZOX平面圖。通過(guò)該圖進(jìn)行求解得到機(jī)械臂底部舵機(jī)云臺(tái)處旋轉(zhuǎn)關(guān)節(jié)的姿態(tài)。根據(jù)給定坐標(biāo)中的Z和X坐標(biāo)即可得到θ完成了θ、θ2.3水果識(shí)別和空間坐標(biāo)定位2.3.1模型訓(xùn)練過(guò)程實(shí)際采摘過(guò)程中，樹(shù)莓派攝像頭拍攝的視頻圖像中除了果實(shí)之外還有樹(shù)葉、樹(shù)枝和樹(shù)干等其它非果實(shí)物體。如圖7a所示，系統(tǒng)為了更好地在復(fù)雜環(huán)境中進(jìn)行果實(shí)檢測(cè)、識(shí)別以及像素定位，使用OpenCv計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)軟件庫(kù)來(lái)進(jìn)行視頻的處理，處理之后通過(guò)基于深度學(xué)習(xí)框架Darknet的YOLO進(jìn)行模型訓(xùn)練時(shí)，對(duì)各種果實(shí)在無(wú)遮擋光照充足的條件下實(shí)景拍攝圖像500幅，對(duì)每種果實(shí)的500幅圖像進(jìn)行4種處理方法，包括90°、180°和270°旋轉(zhuǎn)以及進(jìn)行X軸鏡像處理，最終得到每種果實(shí)的訓(xùn)練數(shù)據(jù)集圖像為2500幅，其中2000幅圖像用來(lái)進(jìn)行模型訓(xùn)練，500幅圖像用來(lái)模型驗(yàn)證，訓(xùn)練集和驗(yàn)證集比例為4∶1。確定好訓(xùn)練集之后使用圖像標(biāo)注工具對(duì)圖像中果實(shí)進(jìn)行標(biāo)注，并生成PASCALVOC格式的xml標(biāo)注文件，生成的標(biāo)記文件中使用了5個(gè)參數(shù)(class＿fruit,x,y,w,h)對(duì)圖像中的果實(shí)進(jìn)行描述，class＿fruit表示果實(shí)的種類，x和y表示果實(shí)在圖像的中心坐標(biāo)，w和h表示目標(biāo)框的長(zhǎng)和寬。之后，對(duì)YOLOv4中的配置文件進(jìn)行修改。該項(xiàng)目中對(duì)配置文件的修改如下:batch(每一批訓(xùn)練的樣本數(shù)量)為16,subdivisions(batch分割數(shù)量)為16,max＿batches(迭代次數(shù))為6000,steps(學(xué)習(xí)率)為4800、5400(0.8倍batch為4800,0.9倍batch為5400)。進(jìn)行模型訓(xùn)練的硬件環(huán)境為Intel(R)Core(TM)i77700HQCPU2.80GHz(8CPUs)處理器，16GB運(yùn)行內(nèi)存，顯存為8GB的GTX1080Ti顯卡，軟件環(huán)境為Ubuntu19.10操作系統(tǒng)。該系統(tǒng)訓(xùn)練了蘋(píng)果、油桃、黃杏和李子4種果實(shí)的識(shí)別模型。訓(xùn)練好模型之后即可對(duì)樹(shù)莓派上傳的實(shí)時(shí)圖像進(jìn)行果實(shí)目標(biāo)檢測(cè)，檢測(cè)之后輸出圖像中果實(shí)的置信度、種類以及像素點(diǎn)尺寸和中心像素位置，得到的像素尺寸和像素位置用于后期果實(shí)的空間坐標(biāo)定位。圖7b是識(shí)別后的圖像，從圖像中可以看到果實(shí)被藍(lán)綠色邊框框出，果實(shí)標(biāo)簽為“l(fā)izi”，置信度為100%。2.3.2圖像距離轉(zhuǎn)換得到果實(shí)空間坐標(biāo)是實(shí)現(xiàn)果實(shí)采摘非常關(guān)鍵的步驟，該系統(tǒng)通過(guò)得到果實(shí)相對(duì)于攝像頭的坐標(biāo)來(lái)確定果實(shí)坐標(biāo)，如圖8所示。圖中分別建立了果實(shí)和攝像頭的XOY平面圖和XOZ平面圖，P表示攝像頭拍攝到的圖像，A表示果實(shí)，a表示果實(shí)A在圖像中的尺寸，a在坐標(biāo)定位中首先要得到圖像中像素點(diǎn)與實(shí)際物體尺寸的轉(zhuǎn)換關(guān)系，使用攝像頭拍攝1元硬幣的方式來(lái)得到轉(zhuǎn)換比率，1元硬幣的直徑為3cm，在拍攝距離為1m時(shí)，其在圖像中占163像素，得到轉(zhuǎn)換比率k=163/3=54.3像素/cm。圖中P根據(jù)單目攝像頭測(cè)距原理，計(jì)算果實(shí)空間坐標(biāo)中的x坐標(biāo)，計(jì)算公式為式中D———果實(shí)與攝像頭的相對(duì)距離P———果實(shí)在圖像中占的像素?cái)?shù)樹(shù)莓派攝像頭焦距F為543像素。如圖8所示W(wǎng)=a確定果實(shí)A的空間坐標(biāo)為(X2.4臂關(guān)節(jié)的負(fù)荷規(guī)劃和采樣控制2.4.1機(jī)械臂運(yùn)動(dòng)軌跡規(guī)劃系統(tǒng)首先對(duì)果實(shí)空間坐標(biāo)進(jìn)行定位，然后進(jìn)行逆運(yùn)動(dòng)學(xué)求解，之后再對(duì)機(jī)械臂的運(yùn)動(dòng)軌跡進(jìn)行規(guī)劃。系統(tǒng)中使用了五項(xiàng)式插值法對(duì)機(jī)械臂運(yùn)動(dòng)軌跡進(jìn)行規(guī)劃，該方法在得到機(jī)械臂各關(guān)節(jié)的起始角和停止角的前提下，可實(shí)現(xiàn)對(duì)角度、角速度和角加速度的約束。該方法的數(shù)學(xué)推導(dǎo)過(guò)程如下:在五項(xiàng)式插值法中設(shè)定了6個(gè)待定系數(shù)a在已知起始角和終止角的前提下，使用θ將式(15)代入式(14)求解得到各個(gè)系數(shù)為2.4.2速度和加速度的約束在完成五項(xiàng)插值法數(shù)學(xué)推導(dǎo)之后，通過(guò)Python編程語(yǔ)言編寫(xiě)五項(xiàng)式插值法程序。表2為電機(jī)運(yùn)動(dòng)角、角速度和角加速度的約束關(guān)系。運(yùn)行程序之后得到圖9所示的角度、角速度和角加速度隨約束時(shí)間的變化曲線。通過(guò)曲線圖可以看出電機(jī)旋轉(zhuǎn)的角度和角加速度均隨時(shí)間變化，這也意味著電機(jī)在旋轉(zhuǎn)過(guò)程中處于平穩(wěn)的轉(zhuǎn)動(dòng)狀態(tài)，這樣可以保證機(jī)械臂的關(guān)節(jié)電機(jī)在工作過(guò)程中損耗較小，且使得機(jī)械臂整體運(yùn)動(dòng)情況更加協(xié)調(diào)與穩(wěn)定。2.4.3機(jī)械臂運(yùn)動(dòng)軌跡規(guī)劃圖10為采摘系統(tǒng)的單次采摘流程圖，系統(tǒng)開(kāi)始工作后，樹(shù)莓派控制機(jī)械臂進(jìn)入初始狀態(tài)，同時(shí)樹(shù)莓派拍攝圖像并上傳，在服務(wù)器中使用訓(xùn)練好的識(shí)別模型對(duì)果實(shí)進(jìn)行識(shí)別，并根據(jù)空間坐標(biāo)定位算法計(jì)算果實(shí)的空間坐標(biāo)并返回到樹(shù)莓派中。之后樹(shù)莓派進(jìn)行逆運(yùn)動(dòng)學(xué)解算，得到機(jī)械臂從初始狀態(tài)運(yùn)動(dòng)到果實(shí)位置各個(gè)關(guān)節(jié)旋轉(zhuǎn)的角度，并且根據(jù)旋轉(zhuǎn)角使用五項(xiàng)式插值法進(jìn)行運(yùn)動(dòng)軌跡規(guī)劃。規(guī)劃后樹(shù)莓派輸出對(duì)應(yīng)的控制信號(hào)，控制機(jī)械臂運(yùn)動(dòng)以實(shí)現(xiàn)果實(shí)的采摘。采摘完成之后進(jìn)行果實(shí)投放，最終機(jī)械臂回到初始狀態(tài)，等待下一次采摘指令。在該系統(tǒng)中為了防止機(jī)械臂運(yùn)動(dòng)過(guò)快導(dǎo)致系統(tǒng)不穩(wěn)定以及容易碰撞到果實(shí)，設(shè)定五項(xiàng)式插值法中進(jìn)行運(yùn)動(dòng)軌跡規(guī)劃的約束時(shí)間為5s。根據(jù)采摘流程圖可以得到，進(jìn)行一次果實(shí)采摘需要通過(guò)五項(xiàng)式插值法進(jìn)行3次運(yùn)動(dòng)軌跡規(guī)劃。設(shè)3次五項(xiàng)式插值法消耗的時(shí)間為T(mén)3機(jī)械采摘測(cè)試結(jié)果圖11a為系統(tǒng)自動(dòng)采摘李子的現(xiàn)場(chǎng)測(cè)試。測(cè)試中通過(guò)APP界面中的“設(shè)備管理”對(duì)采摘設(shè)備進(jìn)行連接，圖11b所示是在手機(jī)APP中選擇采摘的果實(shí)為李子，點(diǎn)擊確定按鈕后采摘設(shè)備開(kāi)始工作。與樹(shù)莓派連接的攝像頭進(jìn)行視頻拍攝并上傳到服務(wù)器中，服務(wù)器調(diào)用訓(xùn)練好的李子識(shí)別模型對(duì)上傳的視頻進(jìn)行識(shí)別并對(duì)果實(shí)進(jìn)行空間位置定位，然后將識(shí)別結(jié)果返回樹(shù)莓派，由樹(shù)莓派控制機(jī)械臂進(jìn)行采摘。當(dāng)用戶發(fā)送查看視頻請(qǐng)求指令到服務(wù)器時(shí)，服務(wù)器將樹(shù)莓派上傳的原始視頻提供到手機(jī)端進(jìn)行顯示。圖11c為手機(jī)端APP查看到當(dāng)前設(shè)備的IP、已采摘的果實(shí)數(shù)量、采摘的果實(shí)種類以及實(shí)時(shí)畫(huà)面。表3為機(jī)械臂姿態(tài)解算測(cè)試結(jié)果，測(cè)試過(guò)程中通過(guò)樹(shù)莓派將實(shí)時(shí)圖像上傳到服務(wù)器中，服務(wù)器中調(diào)用YOLOv4識(shí)別算法訓(xùn)練得到的識(shí)別模型對(duì)上傳的圖像進(jìn)行果實(shí)目標(biāo)檢測(cè)以及像素定位，根據(jù)像素定位計(jì)算得出空間坐標(biāo)，并將果實(shí)的空間坐標(biāo)返回到樹(shù)莓派中，樹(shù)莓派根據(jù)接收到的空間坐標(biāo)對(duì)機(jī)械臂進(jìn)行逆運(yùn)動(dòng)學(xué)解算，對(duì)不同空間坐標(biāo)實(shí)現(xiàn)機(jī)械臂逆運(yùn)動(dòng)學(xué)解算得到θ、θ表4為使用該果實(shí)采摘設(shè)備采摘不同類別果實(shí)的測(cè)試結(jié)果。此次采摘測(cè)試在光照充足的條件下，對(duì)無(wú)遮擋且果實(shí)生長(zhǎng)稀疏的情況下進(jìn)行采摘測(cè)試。測(cè)試過(guò)程中根據(jù)不同果實(shí)尺寸來(lái)選擇爪子型號(hào)，對(duì)每種果實(shí)進(jìn)行采摘測(cè)試的次數(shù)均為60次，在此基礎(chǔ)上得到采摘過(guò)程中機(jī)械臂的最大和最小電流、完成不同種類果實(shí)的采摘總時(shí)間T表5為采摘系統(tǒng)的單次采摘時(shí)間，表中T表6為對(duì)不同種類果實(shí)訓(xùn)練后的模型進(jìn)行測(cè)試的結(jié)果，每種果實(shí)的訓(xùn)練集圖像均為2000幅，測(cè)試集圖像為500幅，在Ubuntu19.10操作系統(tǒng)中使用GPU進(jìn)行模型訓(xùn)練，用訓(xùn)練后的模型進(jìn)行測(cè)試得到的各類平均精確率的平均值(mAP)、準(zhǔn)確率、召回率和交并比(IOU)如表6所示。通過(guò)實(shí)際采摘測(cè)試，該采摘系統(tǒng)可以實(shí)現(xiàn)對(duì)蘋(píng)果、油桃、黃杏、李子4種果實(shí)的自動(dòng)采摘，系統(tǒng)工作穩(wěn)定，但是目前系統(tǒng)設(shè)計(jì)與研究處于實(shí)驗(yàn)階段，還有一些不足之處:(1)果實(shí)識(shí)別模型采用的數(shù)據(jù)集均是在光照充足的條件下拍攝的無(wú)遮擋果實(shí)圖像，所以采摘系統(tǒng)目前只能在光照充足的條件下對(duì)無(wú)遮擋的果實(shí)進(jìn)行采摘。如果需要設(shè)計(jì)更好的采摘系統(tǒng)，則需要更多情況下的果實(shí)實(shí)景圖像來(lái)進(jìn)行模型訓(xùn)練。(2)目前采摘系統(tǒng)中只是通過(guò)更改爪子型號(hào)來(lái)實(shí)現(xiàn)對(duì)直徑較大和直徑較小的果實(shí)進(jìn)行采摘，由于爪子是金屬類物體，采摘過(guò)程中會(huì)導(dǎo)致果實(shí)表皮受損，需要更換采摘和夾取方式來(lái)保護(hù)果實(shí)。(3)目前該系統(tǒng)是通過(guò)人工方式移動(dòng)或安放采摘設(shè)備到某一個(gè)位置來(lái)進(jìn)行采摘測(cè)試，而實(shí)際的采摘系統(tǒng)因根據(jù)不同種類水果的果樹(shù)高度來(lái)設(shè)計(jì)采摘機(jī)械臂以及整個(gè)采摘系統(tǒng)。4機(jī)械裝置的設(shè)計(jì)(1)基于樹(shù)莓派、六自由度機(jī)械臂、手機(jī)APP、服務(wù)器設(shè)計(jì)了智能果實(shí)采摘系統(tǒng)。(2)相比于傳統(tǒng)的水