全自動模擬目標(biāo)搜救系統(tǒng)的設(shè)計與實現(xiàn)

1、 全自動模擬目標(biāo)搜救系統(tǒng)的設(shè)計與實現(xiàn) 潘麗靜+張虹波+周婷婷Summary：全自動模擬目標(biāo)搜救系統(tǒng)（搜救系統(tǒng)）使用OpenMV 微型機(jī)器視覺模塊，采用MicroPython進(jìn)行編程，實時采集彩色圖像，通過LAB色彩模型處理彩色圖像精確定位目標(biāo)，實現(xiàn)目標(biāo)的全自動抓取、運輸及投放。搜救系統(tǒng)為救援物資投放、人員搜救、無人機(jī)物流派送等提供理論依據(jù)和實驗室驗證，準(zhǔn)確率達(dá)98%，平均每次準(zhǔn)確追蹤僅需83ms，達(dá)到了預(yù)期的設(shè)計目標(biāo)。Key：機(jī)器視覺；彩色圖像分割；目標(biāo)識別；OpenMV；MicroPython：TP391 ：A ：1009-3044（2016）28-0178-03Abstract： Auto

2、matic simulation target search and rescue system （the search and rescue system in short） utilizes OpenMV micromachine vision module， with MicroPython programming， acquiring real-time color images， processing color images in the LAB color model in order to locate target precisely， implement grab， tra

3、nsportation and delivery target automatically. The search and rescue system provides theoretical basis and laboratory verification for relief goods delivery， search and rescue people， unmanned aerial vehicle （UAV） logistics delivery and so forth. The accuracy is 98%. It only takes 83 ms to precise t

4、racking. That achieves the expected goal.Key words： machine vision； color image segmentation； target recognition； OpenMV； MicroPython隨著無人機(jī)的不斷發(fā)展，無人機(jī)無論是在軍用、民用，還是商業(yè)化的應(yīng)用上都越來越廣泛。現(xiàn)代化戰(zhàn)爭對武器系統(tǒng)的防御能力要求越來越高，因此需要研制功能精度兼?zhèn)?，且反?yīng)靈敏的戰(zhàn)斗或偵察機(jī)。1在自然災(zāi)害勉強(qiáng)，更能顯出人力的微弱，無人機(jī)在災(zāi)害物資運輸、人員搜救上的應(yīng)用也必然成為趨勢。2隨著電商的興起，也引起了物流行業(yè)的人員緊張，在條件比較有限的地區(qū)

5、，依靠人力進(jìn)行物流配送也遇到了一定的困難，無人機(jī)物流配送將解決這一難題。直升機(jī)是典型的軍民兩用產(chǎn)品，可以廣泛地應(yīng)用在運輸、巡邏、旅游、救護(hù)等多個領(lǐng)域。論文針對以上三個問題，設(shè)計并實現(xiàn)了一個直升機(jī)搭載的、實時性好、可靠性高，且無人為干預(yù)的全自動模擬目標(biāo)搜救系統(tǒng)。1 搜救系統(tǒng)開發(fā)環(huán)境介紹1.1 MicroPythonPython是一款比較容易上手的腳本語言，而且有強(qiáng)大的社區(qū)支持，一些非計算機(jī)專業(yè)領(lǐng)域的人都選它作為入門語言。遺憾的是，它不能實現(xiàn)一些非常底層的操控，所以在硬件領(lǐng)域并不起眼。MicroPython是一個Python 3的精簡和高效的實現(xiàn)編程語言，它包含了Python標(biāo)準(zhǔn)庫的一個小子集，同

6、時優(yōu)化了在微控制器和受限環(huán)境中的運行。借助MicroPython，用戶完全可以通過Python腳本語言實現(xiàn)硬件底層的訪問和控制，比如說控制LED燈泡、LCD顯示器、讀取電壓、控制電機(jī)、訪問SD卡等。1.2 OpenMVOpenMV是一個基于STM32F4xx ARM Cortex-M4 單片機(jī)和OV2640 圖像傳感器的開源微型機(jī)器視覺模塊。OpenMV上搭載了一個MicroPython解釋器，能夠使用Python編程來實現(xiàn)一系列功能，包括IO 端口的控制、讀取文件系統(tǒng)等基礎(chǔ)功能，也可以實現(xiàn)人臉檢測和跟蹤、關(guān)鍵點提取、顏色跟蹤等功能。1.3 LAB色彩模型LAB是由明度（Luminosity）

7、和有關(guān)色彩的a、b三個要素組成。L表示明度，a表示從洋紅色至綠色的范圍，b表示從黃色至藍(lán)色的范圍。LAB色彩模型不依賴于設(shè)備、色域?qū)掗?，它包含了RGB、CMYK的所有色域，人的肉眼能感知的色彩，都能通過LAB模型表現(xiàn)出來。另外，LAB色彩模型彌補(bǔ)了RGB色彩模型色彩分布不均的不足。搜救系統(tǒng)為了在圖像的處理過程中保留盡量寬闊的色域和豐富的色彩，最終選擇了LAB色彩模型。2 全自動模擬目標(biāo)搜救系統(tǒng)設(shè)計2.1 全自動模擬目標(biāo)搜救系統(tǒng)模塊設(shè)計全自動模擬目標(biāo)搜救系統(tǒng)主要包括飛行機(jī)器人控制模塊、機(jī)器手控制模塊，目標(biāo)自動追蹤模塊，如圖1所示。飛行機(jī)器人控制模塊，由于直升機(jī)靜穩(wěn)定性不好，所以需要控制器對其進(jìn)行

8、增穩(wěn)和控制，以使系統(tǒng)性能滿足特定的指標(biāo)要求。3飛行機(jī)器人控制模塊通過陀螺儀來控制增穩(wěn)，使飛機(jī)自動保持定向飛行。4在飛機(jī)著陸并進(jìn)入穩(wěn)定狀態(tài)后，飛行機(jī)器人控制模塊會觸發(fā)機(jī)器手控制模塊，并等待機(jī)器手模塊返回啟航信號。機(jī)器手控制模塊，在收到抓取/投放信號后，觸發(fā)目標(biāo)自動追蹤模塊以獲得目標(biāo)的坐標(biāo)，在獲得目標(biāo)坐標(biāo)后觸發(fā)目標(biāo)自動追蹤模塊進(jìn)入休眠狀態(tài)。為了保證抓取穩(wěn)定性，機(jī)器手控制模塊通過大力螺旋的收取規(guī)劃方法，在獲得目標(biāo)坐標(biāo)后，螺旋下落抓取目標(biāo)。5在獲得目標(biāo)后觸發(fā)飛行器啟航，直達(dá)再次被觸發(fā)啟動時釋放目標(biāo)。目標(biāo)自動追蹤模塊，主要實現(xiàn)目標(biāo)的自動定位及實時追蹤，在機(jī)器手操作期間進(jìn)行路線實時校正。6該模塊通過圖像傳

9、感器實時獲取圖像，然后對獲得的彩色圖像進(jìn)行閾值分析，選取指定目標(biāo)，獲取目標(biāo)的中心坐標(biāo)，傳輸給機(jī)器手控制模塊。7該模塊實時追蹤的中心坐標(biāo)，為機(jī)器手提供目標(biāo)的坐標(biāo)，防止機(jī)器手在操作期間出現(xiàn)路線的偏移，確保目標(biāo)的準(zhǔn)確定位。 2.2 全自動模擬目標(biāo)搜救系統(tǒng)流程設(shè)計全自動模擬目標(biāo)搜救系統(tǒng)流程（圖2）說明：1） 飛行機(jī)器人穩(wěn)定飛往目標(biāo)區(qū)域，當(dāng)機(jī)器人進(jìn)入穩(wěn)定狀態(tài)，機(jī)器手控制模塊通過串口通信向目標(biāo)自動追蹤模塊發(fā)送搜索指令。2） 目標(biāo)自動追蹤模塊收到搜索指令后，通過對LAB色彩模型的彩色圖像進(jìn)行閾值分割，并鎖定目標(biāo)。目標(biāo)自動追蹤模塊在獲得目標(biāo)中心坐標(biāo)后，將結(jié)果傳輸給機(jī)器手控制模塊，等待機(jī)器手返回睡眠指令，該模塊

10、進(jìn)入睡眠狀態(tài)，等待機(jī)器人的下一個搜索指令。3） 機(jī)器手控制模塊在獲得目標(biāo)中心坐標(biāo)后，進(jìn)行目標(biāo)抓取，在抓取到目標(biāo)后傳輸指令觸發(fā)目標(biāo)自動追蹤模塊進(jìn)入休眠狀態(tài)，并觸發(fā)飛行機(jī)器人控制模塊進(jìn)行下一個操作。4） 機(jī)器手在抓取到目標(biāo)后觸發(fā)飛行機(jī)器人，進(jìn)行返航。5） 飛行器自主返航到安全區(qū)，觸發(fā)機(jī)器手釋放目標(biāo)，判斷目標(biāo)是否全部解救，如果不是則跳到1.，否則結(jié)束飛行，目標(biāo)全部被解救。3 目標(biāo)自動追蹤模塊實現(xiàn)目標(biāo)自動追蹤模塊采用OpenMV攝像頭開發(fā)板上的 M12鏡頭座子，和一個 2.8mm焦距、92視角的鏡頭來獲取實時圖像。模塊在OpenMV上搭載的MicroPython 解釋器進(jìn)行圖像處理，通過LAB色彩模型

11、進(jìn)行彩色圖像閾值分割，通過形態(tài)學(xué)特性選取對目標(biāo)進(jìn)行定位，從而實現(xiàn)目標(biāo)的識別和追蹤。8搜救系統(tǒng)提前設(shè)置目標(biāo)特征閾值、目標(biāo)數(shù)量，每次僅對一個目標(biāo)進(jìn)行追蹤。目標(biāo)自動追蹤模塊通過MicroPython 中image 庫中的find_blobs函數(shù)進(jìn)行目標(biāo)的搜索。find_blobs函數(shù)通過參數(shù)thresholds 確定目標(biāo)的閾值范圍，對于彩色圖像，thresholds是一個一維數(shù)組，包含六個LAB色彩模型的閾值參數(shù)，該閾值通過試驗獲得，連通ROI（感興趣區(qū)域），并返回一個包含結(jié)果坐標(biāo)、大小等特性的List。為了更精確的獲得目標(biāo)，系統(tǒng)通過給定目標(biāo)的形態(tài)學(xué)特性在find_blobs函數(shù)返回的List中選取

12、最為匹配的區(qū)域，并計算中心坐標(biāo)。目標(biāo)自動追蹤模塊通過OpenMV 的串口3，對應(yīng)GPIO （ General Purpose Input Output ，通用輸入/輸出）為（PB10， PB11），用來與機(jī)器手控制模塊進(jìn)行數(shù)據(jù)交互。機(jī)器手控制模塊準(zhǔn)備就緒后向目標(biāo)自動追蹤模塊傳送搜索信號。目標(biāo)自動追蹤模塊讀入搜索信號后啟動圖像采集傳感器。實時采集到的圖像經(jīng)過處理后，將中心坐標(biāo)再通過串口3寫出，并停止搜索目標(biāo)直到下一個搜索信號到來。4 仿真結(jié)果仿真運行在Windows 8.1 64位系統(tǒng)， Intel（R） Core（TM） i5-3210M CPU 2.50 GHz 處理器，2G內(nèi)存，在Open

13、MV IDE 環(huán)境下進(jìn)行，先預(yù)設(shè)目標(biāo)的閾值范圍、形態(tài)學(xué)參數(shù)，并等待搜索信號。4.1 目標(biāo)自動追蹤仿真在收到搜索信號后，目標(biāo)自動追蹤模塊啟動攝像頭傳感器獲取彩色圖像，圖像大小為320*240，幀速率為15 FPS。該模塊通過預(yù)設(shè)的目標(biāo)閾值范圍對圖像進(jìn)行閾值分割，并獲得目標(biāo)的中心坐標(biāo)，圖3展示的是圖像傳感器獲取的圖像經(jīng)過處理后將目標(biāo)的坐標(biāo)標(biāo)示出來。圖4展示出該圖像在LAB色彩模型下的直方圖。4.2 串口數(shù)據(jù)傳輸仿真串口通信的原理如圖5 所示。目標(biāo)自動追蹤模塊在系統(tǒng)啟動后進(jìn)入等待狀態(tài)，直至收到來自機(jī)器手控制模塊的搜索信號。此時，該模塊將運行目標(biāo)自動追蹤程序，并將獲得的中心點坐標(biāo)反饋到串口3，并進(jìn)入等

14、待狀態(tài)。機(jī)器手控制模塊收到中心點坐標(biāo)后向目標(biāo)自動追蹤模塊反饋一個標(biāo)志數(shù)據(jù)，并結(jié)束本次通信。目標(biāo)自動追蹤模塊在收到這個標(biāo)志數(shù)據(jù)后結(jié)束本次通信，等待下一次喚醒。通信仿真如圖6所示。5 結(jié)束語通過全自動模擬目標(biāo)搜救系統(tǒng)可以對目標(biāo)進(jìn)行準(zhǔn)確的抓取與投放，準(zhǔn)確率達(dá)98%。同時，系統(tǒng)采用的攝像頭傳感線頻率快，系統(tǒng)的圖像處理速度快，平均每次準(zhǔn)確追蹤僅需83ms，具有良好的時效性。由于OpenMV搭載的圖像傳感器像素較低，獲得的圖像信息量有限，這就是使得飛行機(jī)器人必須精確的導(dǎo)航到目標(biāo)區(qū)域。Reference：1 朱娟. 全自動目標(biāo)坐標(biāo)測定儀通信系統(tǒng)設(shè)計與實現(xiàn)D. 南京： 南京理工大學(xué)， 2010.2 章逸豐. 基于視頻的運動物體的實時檢測與跟蹤D. 杭州： 浙江大學(xué)， 2008.3 蔡華. 直升機(jī)控制律設(shè)計及仿真研究D. 西安： 西北工業(yè)大學(xué)， 2007.4 劉歌群， 劉衛(wèi)國， 盧京潮. FUTABA陀螺儀的辨識及在無人機(jī)中的應(yīng)用J. 航空精密制造技術(shù)， 2005， 41（6）： 56-58.5 莫海軍， 黃平. 基于最大力螺旋多指手抓取規(guī)劃J. 機(jī)械工程學(xué)報， 2009