NVIDIAJetson月度項目能瞄準射門和得分的自主足球機器人

NVIDIAJetson月度項目能瞄準射門和得分的自主足球機器人足球被認為是全世界最受歡迎的運動之一，這主要是因為足球比賽往往十分激烈，能夠展現(xiàn)球員們出色的體能與技術，讓觀眾看得驚心動魄。因此，自然會有人致力于向機器人傳授足球比賽的精髓，包括如何搶球、瞄準球門、傳球和進球得分等。事實上，的確有一項專為這個想法而開展的賽事。RoboCup小型機器人聯(lián)賽（SmallSizeLeague,SSL）之視覺封鎖技術挑戰(zhàn)賽，就在鼓勵參賽團隊“探索本地傳感和處理方法，而非采用常見的板外計算機和全局攝像頭感知環(huán)境的方法”。來自巴西累西腓伯南布哥聯(lián)邦大學的學生JooGuilherme、其指導老師EdnaBarros和其他SSL隊友共同制造了一個由NVIDIAJetsonNano開發(fā)者套件驅動的全向移動機器人，該機器人可以自主執(zhí)行足球任務。該團隊所制造的全向移動機器人配有單目攝像頭，可自主執(zhí)行以下任務：定位找球和搶球坐標計算將球傳給其他機器人隊友射空門得分團隊制造這臺機器人時，使用了平均處理速度為30FPS的AI軟件工作流，硬件功耗僅為10.8W左右。機器人前部有一個踢球裝置，是一個四輪全向移動機器人。圖1為機器人的幾何形狀。圖1.由NVIDIAJetsonNano開發(fā)者套件驅動的全向移動機器人的運動能力可以自主執(zhí)行足球任務該團隊在《制造RoboCup小型機器人聯(lián)賽自主機器人》一文中解釋道：“我們在搶球、進球和傳球這三個足球任務上評估了系統(tǒng)，成功率分別達到80%、80%和46.7%?！北荣惼陂g，各隊將使用場外計算機執(zhí)行大部分計算，去接收球的位置并采集場地幾何信息和裁判指令。比賽隊伍分成6個機器人組（B組）和11個機器人組（A組），機器人通過帶寬最小的射頻通信接收導航指令。機器人的直徑和高度限制分別為180毫米（B組）和150毫米（A組），因此被稱為“小型機器人聯(lián)賽”。RoboCup小型機器人聯(lián)賽分為四個階段：在賽場處抓到一個靜止的球將球射入空門得分將機器人移動到特定坐標間接射門得分（需要兩個機器人）另外，該挑戰(zhàn)賽還要求機器人能夠檢測場地中的物體、估算物體的位置、計算導航路徑并記錄經(jīng)過的軌跡。Guilherme和他的隊友在《制造RoboCup小型機器人聯(lián)賽自主機器人》一文中表示：“SSL比賽是一種機器人資源極其有限的高度動態(tài)化環(huán)境，這就要求解決方案必須考慮尺寸、功耗、精度和處理速度之間的權衡。我們在研究中提出了一種使這些機器人能夠自主執(zhí)行基本足球任務的架構，也就是說這些機器人不用接收任何的外部信息。”項目硬件該團隊在項目中使用了以下硬件：一套JetsonNano開發(fā)者套件，用于執(zhí)行嵌入式視覺和制定決策一個全向移動機器人一個羅技C922攝像頭，用于提供單目視覺慣性傳感器，用于估算里程一個STM32F767ZI微控制器單元（MCU），用于接收來自Nano的目標相對位置和導航標志，并使用慣性里程計執(zhí)行底層控制和軌跡估計圖2.足球機器人的AI檢測流程和運動規(guī)劃技術挑戰(zhàn)在該賽事的視覺封鎖挑戰(zhàn)賽中，獲勝機器人必須能夠完成各種足球技能，包括抓住靜止的球、射空門得分、移動到特定坐標以及間接進球得分（傳球給另一個機器人）等。機器人必須能夠僅使用嵌入式傳感和處理技術來完成這些技能。這項挑戰(zhàn)沒有高度限制，因此團隊在普通機器人的頂部添加了一個板載攝像頭、JetsonNano和一塊電源板。圖3.團隊為視覺封鎖挑戰(zhàn)賽改裝的足球機器人（左）和他們原來的機器人（右）此外，這項挑戰(zhàn)還要求機器人能夠探測場地中的物體、估算其位置、計算導航路徑并記錄經(jīng)過的軌跡。SSL足球比賽利用外部攝像頭和板外計算機感知環(huán)境，并向機器人發(fā)送指令。研究人員表示，該SSL視覺架構“存在一定的局限性，比如攝像頭的視野、色彩分割、軟件延遲和通信中斷等，這迫使團隊開發(fā)出能夠應對復雜條件的解決方案。例如，球遮擋是比賽中的一個常見問題，即機器人在攝像頭圖像上的投影與球重疊。還有就是球和機器人的位置會發(fā)生偏移，偶爾會出現(xiàn)檢測不到或檢測錯誤的情況?！痹赟SL比賽中，機器人和球的速度分別高達3.7m/s和6.5m/s，這使得比賽的移動速度非?？?，因此需要高吞吐量的解決方案。此外，受尺寸限制，再加上使用電池作為電源，解決方案的功耗必須較低。在比賽過程中，機器人還要做出精準的遠射和長傳，因此需要能夠精確估算位置。團隊還注意到精確的電機控制的重要性，這樣機器人就可以在足球場上移動，并保持其測量位置的準確性。他們需要一種方法，來降低機器人對位置的內(nèi)部理解與實際物理位置之間偏離的比率。圖4.足球機器人的攝像頭可幫助檢測物體并提供視野以便機器人作出決策和規(guī)劃路徑項目軟件和AI研究團隊使用OpenCV2以及校準和姿勢計算技術提取單目攝像頭（固定在機器人上）的“內(nèi)在和外在參數(shù)”。他們使用SSDMobileNetv2檢測攝像頭幀畫面上的物體2D邊界框，還使用一個程序對SSDMobileNet創(chuàng)建的邊界框坐標執(zhí)行線性回歸，用于估算出預校準攝像頭參數(shù)。這將在場地上分配對應物體底部中心的點（代表物體與攝像頭的相對位置），包括對應該機器人的點。結果團隊對他們的機器人在今年挑戰(zhàn)賽中的表現(xiàn)非常滿意，主要包括：抓取靜止的球：在15次嘗試中，機器人有12次能夠在球接觸到運球器時將球停住，成功率高達80%。進球：在15次跑動中，有12次進球。傳球：在15次嘗試中，成功傳球7次，成功率為46.7%。未來的計劃Guilherme深入介紹了團隊在比賽中遇到的挑戰(zhàn)，以及可以在未來的賽事中作出的改進。他指出，大多數(shù)失敗都是由于錯誤檢測到場外物體造成的，“我們正在研究一種檢測賽場邊界，并使用掩碼來屏蔽這些物體的解決方案?！痹搱F隊需要更加快速的物體檢測解決方案。Guilherme表示：“盡管我們目前能夠執(zhí)行基本的技能，但30FPS的處理速度對于SSL環(huán)境來說仍然很低。在主要比賽中，攝像頭的運行速度通常為70FPS。”該機器人完全是根據(jù)檢測到的物體的相對位置來執(zhí)行技能，也就是說，它并不知道自己在賽場上的位置。Guilherme表示：“我們認為這些信息可以幫助優(yōu)化在足球任務中的表現(xiàn)，同時還能讓我們避免處罰，例如避免機器人進入守門員區(qū)域等。我們正在研究一種基于蒙特卡洛定位（MCL）的自定位算法，并將在未來幾個月內(nèi)發(fā)布相關信息?！痹搱F隊計劃在未來為該機器人的系統(tǒng)添加更多功能（如賽場線檢測、定位算