《鴻蒙機(jī)器人編程》12-ROS課程總結(jié)與行業(yè)展望-教案

ROS課程總結(jié)與展望課程內(nèi)容：1，根據(jù)課程框架總結(jié)20個(gè)課時(shí)的課程內(nèi)容，回顧并梳理各個(gè)知識(shí)點(diǎn)；2，根據(jù)ROS開(kāi)源社區(qū)相關(guān)資料對(duì)課程進(jìn)一步展望；3，了解未來(lái)存在的挑戰(zhàn)，攻克技術(shù)難題。1課程總結(jié)1.1課程的框架結(jié)構(gòu)圖1.課程框架結(jié)構(gòu)在前面章節(jié)中我們主要介紹了ROS從入門到進(jìn)階的相關(guān)核心內(nèi)容。課程框架如圖1所示，主要包括ROS基礎(chǔ)概念（topic，service概念，node的編寫和通信等），ROS官方支持的外設(shè)（提供驅(qū)動(dòng)以及基礎(chǔ)案例，方便開(kāi)發(fā)加快項(xiàng)目進(jìn)度），機(jī)器視覺(jué)基礎(chǔ)，ROS的進(jìn)階工具（顯示工具，調(diào)試工具以及Gazebo仿真系統(tǒng)），機(jī)器人導(dǎo)航（室內(nèi)導(dǎo)航是服務(wù)機(jī)器人最核心的模塊，非常具有產(chǎn)業(yè)價(jià)值），語(yǔ)音交互等。希望通過(guò)系列課程讓大家掌握ROS開(kāi)發(fā)的基本能力以及當(dāng)前機(jī)器人領(lǐng)域的核心技術(shù)，并能夠快速地上手搭建原型。前五個(gè)章節(jié)課程主要圍繞ROS基本概念和應(yīng)用基礎(chǔ)展開(kāi)，如圖2所示。通過(guò)這幾個(gè)章節(jié)的學(xué)習(xí)期望大家掌握ROS的基本概念，并能夠初步編寫節(jié)點(diǎn)并通過(guò)topic和service實(shí)現(xiàn)節(jié)點(diǎn)間的通信。ROS機(jī)器人操作系統(tǒng)的優(yōu)勢(shì)主要體現(xiàn)在如下幾個(gè)方面：1）松散耦合的機(jī)制能夠極大方便機(jī)器人軟件框架的組織；2）支持跨平臺(tái)跨語(yǔ)言，代碼的模塊化和重用性得到提高；3）ROS提供非常便利的數(shù)據(jù)記錄和分析工具，方便調(diào)試；4）開(kāi)源平臺(tái)，方便學(xué)習(xí)和交流機(jī)器人當(dāng)前最先進(jìn)技術(shù)和算法；圖2.ROS基本概念和應(yīng)用基礎(chǔ)接著，課程圍繞著ROS所支持的主流設(shè)備展開(kāi)講解。由于ROS支持的外部設(shè)備一般都提供了驅(qū)動(dòng)以及基礎(chǔ)使用案例，所以在搭建機(jī)器人原型的時(shí)候盡量采用ROS支持的外設(shè)能夠極大地提高效率，并且有豐富的資源去參考。在第六節(jié)課中講解的ROS所支持的外設(shè)包含了下圖中的內(nèi)容。圖3.ROS所支持的外接設(shè)備機(jī)器視覺(jué)是當(dāng)前非常熱門的領(lǐng)域，比如通過(guò)視覺(jué)進(jìn)行動(dòng)態(tài)目標(biāo)的跟蹤和行為分析和無(wú)人機(jī)自主著陸等相關(guān)工作。在機(jī)器視覺(jué)初步的課程中向大家介紹了基本概念（opencv等），攝像機(jī)驅(qū)動(dòng)的安裝，顯示攝像機(jī)圖像，攝像頭標(biāo)定以及深度攝像頭的使用等方面。通過(guò)實(shí)踐課程讓大家掌握USB攝像頭實(shí)現(xiàn)圖像采集和識(shí)別功能。圖4.機(jī)器視覺(jué)初步隨后課程介紹了ROS進(jìn)階工具，主要包含了ROS下的調(diào)試和可視化工具，包含rviz，rqt_bag，rqt_plot和坐標(biāo)轉(zhuǎn)換體系TF等，以上工具為ROS開(kāi)發(fā)提供了極大地便利，在調(diào)試、數(shù)據(jù)記錄以及坐標(biāo)轉(zhuǎn)換等方面不用重復(fù)代碼。除此之外還介紹了Gazebo仿真系統(tǒng)的入門，通過(guò)Gazebo可以快速地對(duì)算法進(jìn)行驗(yàn)證。圖5.ROS進(jìn)階工具機(jī)器人導(dǎo)航是目前機(jī)器人領(lǐng)域中最受關(guān)注的技術(shù)，其目的是使移動(dòng)機(jī)器人通過(guò)傳感器感知環(huán)境和自身狀態(tài)，實(shí)現(xiàn)在有障礙物的環(huán)境中向目標(biāo)自主運(yùn)動(dòng)。在服務(wù)機(jī)器人領(lǐng)域，SLAM技術(shù)有著非常普遍的需求，掌握并能實(shí)現(xiàn)基于ROS的基本導(dǎo)航功能機(jī)器人算法工程師的基本素質(zhì)要求。在13-18課中，課程針對(duì)使用ROS的導(dǎo)航基礎(chǔ)、定位基礎(chǔ)以及SLAM原理做了初步介紹（如圖6所示）。如有興趣深入掌握機(jī)器人SLAM算法，向大家推薦OpenSLAM開(kāi)源網(wǎng)站，(/)，該網(wǎng)站囊括了當(dāng)前大部分最優(yōu)秀的激光和視覺(jué)SLAM方案，例如ORB-SLAM，RGBD-SLAM以及仿生Rat-SLAM等，從中可以學(xué)到更加專業(yè)的SLAM知識(shí)。圖6.機(jī)器人導(dǎo)航語(yǔ)音交互是一類非常重要的交互方式，隨著深度學(xué)習(xí)等人工智能技術(shù)的發(fā)展，語(yǔ)音識(shí)別和TTS技術(shù)逐漸完善和成熟，使得語(yǔ)音交互技術(shù)已經(jīng)成為當(dāng)前非常主流的交互方式。在兩個(gè)課時(shí)中，課程圍繞語(yǔ)音識(shí)別與TTS的語(yǔ)音交互功能做簡(jiǎn)單介紹。除此之外，我們還期望機(jī)器人具備多模態(tài)交互信息的理解和生成，遠(yuǎn)程操作時(shí)還能提供高臨場(chǎng)感的反饋信息，最終能夠像正?！叭恕币粯永斫馊说那楦泻椭w動(dòng)作，能夠合成符合人類易于理解的語(yǔ)音、表情和動(dòng)作。圖7.語(yǔ)音交互ROS的各個(gè)層級(jí)以及對(duì)應(yīng)的Package本次課程涵蓋的內(nèi)容僅是ROS中比較精髓的部分，還有很多需要大家去學(xué)習(xí)和關(guān)注的！例如繼續(xù)學(xué)習(xí)ROS的核心算法包：navigation、actionlib、executive_smach、nodelets、MoveIt!、ros_realtime、dynamic_reconfigure等，里面包含非常精妙的機(jī)器人軟件技巧、經(jīng)驗(yàn)等。另一方面，可關(guān)注ROS2.0的設(shè)計(jì)過(guò)程以及新添加的特性：/，通過(guò)對(duì)比知道當(dāng)前ROS存在什么樣的共性問(wèn)題，ROS2.0的未來(lái)發(fā)展思路是什么樣的。最后，機(jī)器人技術(shù)非常注重實(shí)踐，如果有條件可以自己動(dòng)手做一套簡(jiǎn)單機(jī)器人，能夠?qū)崿F(xiàn)SLAM、導(dǎo)航避障等具體功能。2課程展望這一節(jié)扼要介紹前面章節(jié)未覆蓋的內(nèi)容，主要包括如下幾個(gè)方面:1，掌握機(jī)器人框架體系構(gòu)建2，學(xué)習(xí)先進(jìn)的機(jī)器人算法3，跟蹤當(dāng)前最先進(jìn)的機(jī)器人硬件技術(shù)4，把握技術(shù)潮流跟蹤技術(shù)前沿如何合理有效地組織機(jī)器人軟硬件是設(shè)計(jì)機(jī)器人時(shí)需要思考的重要問(wèn)題，機(jī)器人框架體系構(gòu)建這方面可以參考HRMRP機(jī)器人。這部分可以參考古月居或者易科機(jī)器人實(shí)驗(yàn)室文章：ROS探索總結(jié)（十六）——HRMRP機(jī)器人的設(shè)計(jì)，ROS探索總結(jié)（十七）——構(gòu)建完整的機(jī)器人應(yīng)用系統(tǒng)。該機(jī)器人是古月在校期間和實(shí)驗(yàn)室同門從零開(kāi)始設(shè)計(jì)并開(kāi)發(fā)的一款機(jī)器人平臺(tái)，該機(jī)器人平臺(tái)具有軟硬件可編程、靈活性強(qiáng)、模塊化、易擴(kuò)展、實(shí)時(shí)性強(qiáng)等特點(diǎn)。HRMRP具備豐富的傳感器和執(zhí)行器，在該平臺(tái)的基礎(chǔ)上，古月他們?cè)O(shè)計(jì)并實(shí)現(xiàn)了機(jī)器人SLAM、自主導(dǎo)航、人臉識(shí)別、機(jī)械臂控制等功能。可以看到HRMRP機(jī)器人機(jī)器人的框架體系分成四個(gè)部分，分別是系統(tǒng)層（OSlayer）、驅(qū)動(dòng)層（driverlayer）、硬件層（hardwarelayer）以及控制中心（controlcenter）。各層包含哪些內(nèi)容，他們是怎么組織起來(lái)的，可以通過(guò)這個(gè)圖標(biāo)清晰地看出HRMRP層次化、模塊化的思想。圖8.HRMRP的總體架構(gòu)機(jī)器人核心傳感器的選擇上，HRMRP使用了高性價(jià)比、高集成度的微軟Kinect

傳感器。除此還裝配有超聲波、加速度、驅(qū)動(dòng)層的主要工作是采集或預(yù)處理硬件層的數(shù)據(jù)，下發(fā)操作系統(tǒng)層的指令，為底層硬件與上層功能模塊提供相應(yīng)的數(shù)據(jù)傳輸通道。由于我們采用的“ARM+FPGA”異構(gòu)控制平臺(tái)，為配合硬件層硬件功能，驅(qū)動(dòng)層也分為兩部分，分別放置于硬件的PS端和PL端。里程計(jì)、陀螺儀等多種傳感器。PS端主要驅(qū)動(dòng)連接到ARM處理器的外設(shè)，例如通過(guò)PS中的OpenNI驅(qū)動(dòng)Kinect，并且提供PL端到PS端的接口。而在PL端中，利用可編程硬件的靈活性和并行處理能力，來(lái)進(jìn)行I/O擴(kuò)展與算法的硬件加速，

如圖所示。

圖9.HRMRP驅(qū)動(dòng)框架在機(jī)器人導(dǎo)航部分，

HRMRP機(jī)器人平臺(tái)采用嵌入式系統(tǒng)作為主控，對(duì)于機(jī)器人導(dǎo)航等復(fù)雜算法的處理能力有限，于是我們將應(yīng)用的處理在服務(wù)器端實(shí)現(xiàn)，機(jī)器人將采集到的周圍環(huán)境信息和自身傳感器信息發(fā)布，由服務(wù)器訂閱消息并完成處理和顯示，再向下發(fā)布控制指令。數(shù)據(jù)的處理流程如下圖所示。

圖10.HRMRP導(dǎo)航框架根據(jù)ROS中公布現(xiàn)有的頂尖機(jī)器人總體架構(gòu)，去學(xué)習(xí)別人是怎么構(gòu)建機(jī)器人的，需要考慮到哪些方面，需要設(shè)計(jì)哪幾個(gè)層次，只有具備這樣的大局觀后才能勝任一個(gè)優(yōu)秀的機(jī)器人工程師。在ROS開(kāi)源社區(qū)里，當(dāng)前具有非常多商業(yè)的或者學(xué)術(shù)的頂尖機(jī)器人值得我們?nèi)W(xué)習(xí)，尤其是它們的系統(tǒng)構(gòu)架，往往比我們自己考慮的東西要全面很多。例如，通過(guò)ROSindustrial和優(yōu)傲機(jī)械臂提供的源碼區(qū)學(xué)習(xí)工業(yè)機(jī)器人的系統(tǒng)架構(gòu)。這對(duì)于期望沿著工業(yè)機(jī)器人方向發(fā)展的朋友來(lái)說(shuō)是個(gè)非常好的指引。圖11.ROSindustrial層級(jí)劃分對(duì)于服務(wù)機(jī)器人而言，可參考學(xué)習(xí)當(dāng)前最先進(jìn)的兩款服務(wù)機(jī)器人：PR2和care-o-bot4，可以看看他們所具備的技術(shù)特征。與此同時(shí)，學(xué)習(xí)他們的機(jī)器人系統(tǒng)框架，對(duì)于我們自己的服務(wù)機(jī)器人也有很多的啟發(fā)意義。圖12.服務(wù)機(jī)器人可參考PR2和care-o-bot4機(jī)器人同樣，還包括目前比較火的多旋翼飛行器，或者稱為飛行機(jī)器人。當(dāng)前飛控已經(jīng)不再是行業(yè)所追求的終極目標(biāo)，而視覺(jué)處理和智能能力的提升才是當(dāng)前該行業(yè)最關(guān)注的方向。學(xué)習(xí)AscTec和Crazyflie和ROS是怎么結(jié)合的，并反過(guò)來(lái)將ROS里的東西應(yīng)用到四旋翼上是個(gè)非常好的選擇。圖13.開(kāi)源無(wú)人機(jī)AscTec和Crazyflie地面移動(dòng)車輛機(jī)器人Husky和Hamster等。通過(guò)學(xué)習(xí)和參考對(duì)應(yīng)的或者類似的機(jī)器人系統(tǒng)構(gòu)建體系，對(duì)自己的機(jī)器人設(shè)計(jì)能力會(huì)有很好的提升。事實(shí)上，除了掌握框架體系之外，還可以去學(xué)習(xí)很多細(xì)節(jié)，比如通過(guò)底層碼盤數(shù)據(jù)得到機(jī)器人移動(dòng)速度，一般需要對(duì)數(shù)據(jù)做窗口平滑處理；又比如，具有非常好機(jī)動(dòng)能力的機(jī)器人，怎么去設(shè)計(jì)加減速，符合S曲線還是符合指數(shù)增長(zhǎng)規(guī)律等等細(xì)節(jié)問(wèn)題。圖14.Husky地面移動(dòng)機(jī)器人圖15.Hamster地面移動(dòng)機(jī)器人除此之外，通過(guò)對(duì)比ROS社區(qū)中多款機(jī)器人的硬件技術(shù)，會(huì)發(fā)現(xiàn)一些共性的技術(shù)，例如庫(kù)卡機(jī)器人、Pr2機(jī)器人、Shadow機(jī)械手、Amigo服務(wù)機(jī)器人等他們都不約而同的使用了Ethercat工業(yè)實(shí)時(shí)以太網(wǎng)現(xiàn)場(chǎng)總線作為機(jī)器人的系統(tǒng)總線。事實(shí)上，如果說(shuō)ROS是機(jī)器人未來(lái)的標(biāo)準(zhǔn)軟件平臺(tái)的話，那么Ethercat極有可能成為未來(lái)標(biāo)準(zhǔn)的硬件接口，類似于PC的主板一樣的功能。庫(kù)卡通過(guò)使用Ethercat能夠使用更少的硬件，這意味著可以延長(zhǎng)MTBF（平均無(wú)故障時(shí)間）以及降低開(kāi)發(fā)成本、單價(jià)及物流成本。根據(jù)他們的數(shù)據(jù)，使用Ethercat使得所需的硬件組件的數(shù)量減少了33％，使用的插頭連接器和電纜數(shù)量減少了50％之多。Ethercat具備工業(yè)級(jí)別的穩(wěn)定性，而眾所周知對(duì)于機(jī)器人而言魯棒和穩(wěn)定是非常重要的。庫(kù)卡自2010年以后的系列產(chǎn)品都將Ethercat作為了系統(tǒng)總線，shadow甚至直接基于Ethercat芯片的機(jī)器人專用總線系統(tǒng)Ronex并直接支持ROS。由此可見(jiàn)，該項(xiàng)技術(shù)具備非常好的前景。圖16.這些機(jī)器人都是用Ethercat作為總線3未來(lái)挑戰(zhàn)當(dāng)前機(jī)器人產(chǎn)業(yè)迅猛發(fā)展，“機(jī)器人革命”有望成為“第三次工業(yè)革命”的一個(gè)切入點(diǎn)和重要增長(zhǎng)點(diǎn)，將影響全球制造業(yè)格局。隨著機(jī)器人技術(shù)的發(fā)展我們將從“萬(wàn)眾互聯(lián)”的互聯(lián)網(wǎng)時(shí)代進(jìn)入到“萬(wàn)物互聯(lián)”物聯(lián)網(wǎng)時(shí)代，智能機(jī)器人將取代智能手機(jī)成為下一代核心智能終端，而機(jī)器人產(chǎn)業(yè)將成為最具潛力的戰(zhàn)略性新興產(chǎn)業(yè)。當(dāng)前我國(guó)機(jī)器人產(chǎn)業(yè)存在的挑戰(zhàn)主要分為如下幾個(gè)方面：機(jī)器人智能化——走向?qū)嵱玫年P(guān)鍵智能感知：如何理解、識(shí)別復(fù)雜多變的非結(jié)構(gòu)化的環(huán)境；智能控制：如何實(shí)現(xiàn)經(jīng)驗(yàn)學(xué)習(xí)與自主控制，提高智能化程度；智能交互：如何理解人的意圖，實(shí)現(xiàn)更自然的人機(jī)交互和更安全人機(jī)共存。其次機(jī)器人標(biāo)準(zhǔn)化——實(shí)現(xiàn)通用共享的前提目前的現(xiàn)狀是機(jī)器人行業(yè)缺乏統(tǒng)一的標(biāo)準(zhǔn)和平臺(tái)，軟硬件技術(shù)難以實(shí)現(xiàn)共享，造成了整個(gè)行業(yè)煙囪林立，產(chǎn)業(yè)化進(jìn)程緩慢。未來(lái)迫切地需要將機(jī)器人的共性資源和功能進(jìn)行抽象，沉淀到機(jī)器人操作系統(tǒng)中構(gòu)成通用的基礎(chǔ)平臺(tái)。其中一個(gè)解決途徑就是開(kāi)源的機(jī)器人操