在遙操作機(jī)器人系統(tǒng)中視頻融合的關(guān)鍵作用

精品文檔-下載后可編輯在遙操作機(jī)器人系統(tǒng)中視頻融合的關(guān)鍵作用伴隨著21世紀(jì)個(gè)鐘聲敲響我們跨入了21世紀(jì)?？茖W(xué)技術(shù)就如聽到了起跑令槍一樣狂奔發(fā)展迅速，社會(huì)也在進(jìn)步也非常明顯。在科技發(fā)展、社會(huì)進(jìn)步的帶動(dòng)下，在無(wú)窮的好奇心鼓動(dòng)下，人類對(duì)未知領(lǐng)域的探索不斷深入，能夠代替人類進(jìn)行危險(xiǎn)、惡劣環(huán)境作業(yè)的遙操作機(jī)器人技術(shù)越來(lái)越成為研究的熱點(diǎn)。19世紀(jì)40年代，美國(guó)阿爾貢國(guó)立實(shí)驗(yàn)室ANL（ArgonneNationalLaboratory）制造的用于核環(huán)境的Model-M1型機(jī)械式主從操作手可作為遙操作機(jī)器人的發(fā)端。20世紀(jì)60年代早期，美國(guó)與法國(guó)的海軍開始在潛水艇上安裝遙操作手和攝像機(jī)進(jìn)行深水作業(yè)，將遙操作技術(shù)應(yīng)用于海洋；70年代以后，研制出登陸火星的遙操作機(jī)器人；80年代末90年代初，以加拿大SPAR公司建造的20m長(zhǎng)的遙操作臂RMS（RemoteManipulatorSystem）為代表出現(xiàn)了幾種非常著名的空間遙操作系統(tǒng)。21世紀(jì)以來(lái)信息網(wǎng)絡(luò)化的發(fā)展，促使研究者將網(wǎng)絡(luò)和遙操作機(jī)器人技術(shù)相結(jié)合，為遙操作機(jī)器人技術(shù)帶來(lái)了巨大變革。人們獲取信息的70%來(lái)自視覺系統(tǒng)，使當(dāng)代數(shù)字圖像信息作為重要的信息之一被越來(lái)越廣泛地使用，也就是說(shuō)在所有多媒體數(shù)據(jù)中，圖像提供的信息量多，將機(jī)器人惡劣環(huán)境的作業(yè)情況以圖像的形式實(shí)時(shí)反饋給控制室，控制者通過(guò)圖像獲得更多的現(xiàn)場(chǎng)信息，這種遙操作機(jī)器人中的視頻監(jiān)控技術(shù)獲得廣泛的應(yīng)用和研究。采用進(jìn)一步提高反饋視頻預(yù)測(cè)精度的H.263壓縮算法，目的就是以盡量少的bit數(shù)來(lái)表征圖像，同時(shí)保持復(fù)原圖像的質(zhì)量，使圖像在網(wǎng)絡(luò)上傳輸延時(shí)在允許范圍內(nèi)，避免操作者因延時(shí)產(chǎn)生的誤操作。雖然選擇適當(dāng)?shù)膲嚎s算法，能夠滿足圖像傳輸要求，可以減輕圖像存儲(chǔ)和傳輸?shù)呢?fù)擔(dān)，但是在工業(yè)生產(chǎn)中需要機(jī)器人的作業(yè)（如焊接機(jī)器人焊接時(shí)焊縫必須精準(zhǔn)無(wú)誤）。因此，控制命令如何在網(wǎng)絡(luò)介質(zhì)里實(shí)現(xiàn)快速傳輸、準(zhǔn)確抵達(dá)、實(shí)時(shí)處理，檢測(cè)機(jī)器人的作業(yè)度使機(jī)器人能對(duì)誤操作及時(shí)做出調(diào)整的技術(shù)問題成為遙操作機(jī)器人領(lǐng)域新的挑戰(zhàn)。日本在機(jī)器人領(lǐng)域上一直被認(rèn)為是發(fā)展得不錯(cuò)的，經(jīng)常能聽到日本發(fā)明了能煎蛋，跳舞、跟隨你從一個(gè)房間到另一個(gè)房間等的機(jī)器人。然而在2022年3月11日14時(shí)46分日本發(fā)生里氏9.0級(jí)地震引發(fā)福島核電站發(fā)生泄漏事故后，東京電力公司展開搶救工作，從注水、排水到堵漏水，其技術(shù)之“老套”令人驚嘆。人們難免會(huì)奇怪，日本以研究機(jī)器人出名，為何在這緊急時(shí)刻卻無(wú)法讓機(jī)器人出場(chǎng)？甚至于在關(guān)頭，還要用紙尿片素材以及報(bào)紙來(lái)堵住輻射污水？就有很多人認(rèn)為日本機(jī)器人研發(fā)"不對(duì)路"。我就覺得首先要把實(shí)用的機(jī)器人研發(fā)了出來(lái)，再去研發(fā)那些生活上。畢竟生活大多數(shù)時(shí)候還是可以自己來(lái)的。

1系統(tǒng)總體結(jié)構(gòu)

本文提出采用建立標(biāo)準(zhǔn)坐標(biāo)系使仿真機(jī)器人和反饋視頻在同一界面融合的方法來(lái)解決前文出現(xiàn)的問題，仿真模型預(yù)演作業(yè)任務(wù)而反饋視頻則跟蹤其軌跡進(jìn)行作業(yè)，通過(guò)兩者對(duì)比及時(shí)發(fā)現(xiàn)機(jī)器人作業(yè)情況，一旦越界違規(guī)立刻停止。操作者也能根據(jù)兩者的比較了解現(xiàn)場(chǎng)環(huán)境，如出現(xiàn)障礙物或機(jī)器人傷人事件時(shí)，立刻做出下一步命令以避免危險(xiǎn)發(fā)生。系統(tǒng)總體結(jié)構(gòu)如圖1所示。具體工作流程：攝像頭采集真實(shí)機(jī)器人的視頻數(shù)據(jù)傳送到服務(wù)器端圖像采集卡的靜態(tài)內(nèi)存中對(duì)其進(jìn)行H.263壓縮，視頻數(shù)據(jù)壓縮后經(jīng)網(wǎng)絡(luò)傳輸送到客戶機(jī)端?？蛻魴C(jī)對(duì)數(shù)據(jù)進(jìn)行解壓、還原、顯示、在仿真模型界面顯示視頻使兩者融合，同時(shí)客戶機(jī)實(shí)現(xiàn)操作界面程序編寫。操作界面包括視頻融合模塊、視頻處理模塊和控制模塊。視頻融合模塊對(duì)視頻進(jìn)行相應(yīng)的坐標(biāo)變換后使其同仿真機(jī)器人在一個(gè)界面上重合顯示。視頻處理模塊包括視頻放大、視頻縮小、視頻保存、打開視頻、視頻截圖、存位圖、存JPEG圖、打開位圖、打開JPEG圖等功能。仿真三維立體模型采用3DSMAX建立，在OPENGL編程環(huán)境下對(duì)其進(jìn)行相應(yīng)的繪制及控制。反饋視頻數(shù)據(jù)經(jīng)壓縮、傳輸、解壓、相應(yīng)的坐標(biāo)變換及比例縮放后在客戶端顯示。服務(wù)器完成視頻采集、壓縮、存儲(chǔ)、傳輸。客戶機(jī)完成仿真模型控制、解壓、顯示視頻，以及對(duì)視頻進(jìn)行相應(yīng)的放大、縮小、截圖、保存。由于網(wǎng)絡(luò)傳輸存在延時(shí)，而且這種延時(shí)除了傳輸指定距離所需的固定延時(shí)及指令執(zhí)行延時(shí)外，還有一些隨機(jī)擾動(dòng)延時(shí)，如果這種延時(shí)不能夠及時(shí)發(fā)現(xiàn)，操作者根據(jù)視頻反饋會(huì)做出錯(cuò)誤判斷。根據(jù)這種情況在客戶端繪制接收數(shù)據(jù)字節(jié)曲線，可形象直觀地觀察到網(wǎng)絡(luò)狀況對(duì)視頻傳輸?shù)挠绊?，如圖2所示。

控制模塊如圖3所示，包括每個(gè)關(guān)節(jié)的啟動(dòng)、停止按鈕、速度輸出及速度變量輸出顯示。

2仿真模型建立及視頻融合實(shí)現(xiàn)

2.1通信建立與視頻傳輸

網(wǎng)絡(luò)通信可以分為同步方式和異步方式。同步方式是發(fā)送方不等接收方響應(yīng)，便接著發(fā)下一個(gè)數(shù)據(jù)包的通信方式；異步方式則是發(fā)送方發(fā)出數(shù)據(jù)后，等收到接收方發(fā)回的響應(yīng)，才發(fā)下一個(gè)數(shù)據(jù)包的通信方式。本系統(tǒng)開發(fā)的是客戶端/服務(wù)器（C/S）結(jié)構(gòu)的軟件，該軟件是異步非阻塞模式。此模式的優(yōu)點(diǎn)是既可以同步執(zhí)行，也可以重疊執(zhí)行。圖像在網(wǎng)絡(luò)中傳輸時(shí)，不可避免地要牽涉到傳輸協(xié)議的問題。TCP/IP是一組協(xié)議，其中底層的協(xié)議TCP和UDP對(duì)于圖像的傳輸起著至關(guān)重要的作用。TCP是面向連接的，即在端與端的通信中，TCP協(xié)議建立一條端與端之間的虛電路。UDP是一種面向無(wú)連接的，它取消了重傳校驗(yàn)機(jī)制，能夠達(dá)到很高的通信效率，很適合于可靠性要求不高的數(shù)據(jù)傳輸。由于本機(jī)器人系統(tǒng)對(duì)視頻的丟幀情況要求不高，故采用客戶/服務(wù)器模式的UDP協(xié)議方式。視頻傳輸采用UDP傳輸，建立Socket類直接傳輸圖像數(shù)據(jù)，客戶端調(diào)用自寫show函數(shù)在OPENGL編程環(huán)境下繪制反饋視頻，實(shí)現(xiàn)視頻再現(xiàn)。系統(tǒng)中，使用MFC來(lái)開發(fā)通信程序及操作界面。這是因?yàn)镸FC主要是基于窗口和文檔的應(yīng)用軟件編程，它集成了大量的數(shù)據(jù)和方法，將許多煩瑣的任務(wù)，如應(yīng)用程序初始化、文檔處理和磁盤I/O封裝起來(lái)，為使用者的編程帶來(lái)了巨大的方便。

2.2仿真機(jī)器人模型繪制

我們利用3DSMAX建立MOTOMAN機(jī)器人三維仿真機(jī)器人模型后，采用DeepExplortation轉(zhuǎn)換軟件轉(zhuǎn)換成VC代碼，在VC的工程設(shè)置中加入OPENGL的鏈接庫(kù)，建立工程并調(diào)用轉(zhuǎn)化的仿真機(jī)器人代碼。在創(chuàng)建、裝入、相乘模型變換和投影變換矩陣時(shí)都用到堆棧操作，一般來(lái)說(shuō)，矩陣堆棧常用于構(gòu)造具有繼承性的模型，即由一些簡(jiǎn)單目標(biāo)構(gòu)成的復(fù)雜模型。MOTOMAN機(jī)器人仿真模型中，復(fù)雜的機(jī)械手臂是由多個(gè)簡(jiǎn)單的長(zhǎng)方體依據(jù)繼承關(guān)系構(gòu)成的，而這種繼承關(guān)系由矩陣堆棧順序決定。機(jī)械手臂、關(guān)節(jié)、底座均按照實(shí)際機(jī)器人的比例進(jìn)行相應(yīng)縮放。規(guī)定好了底座的坐標(biāo)系后，其他關(guān)節(jié)、手臂則根據(jù)自身的立體尺寸就能計(jì)算出坐標(biāo)位置進(jìn)行繪制。本機(jī)器人模型由3層支撐底座、4個(gè)旋轉(zhuǎn)關(guān)節(jié)、1個(gè)橫梁、1個(gè)豎柱、手爪及其他一些零部件構(gòu)成，仿真機(jī)器人模型如圖4（a）所示。它的繼承性表現(xiàn)在當(dāng)末端執(zhí)行器手爪運(yùn)動(dòng)時(shí)（如垂直上升），首先是關(guān)節(jié)3向上啟動(dòng)，然后關(guān)節(jié)2向手爪方向轉(zhuǎn)動(dòng)，接著是關(guān)節(jié)1微轉(zhuǎn)，整個(gè)機(jī)器人垂直平移，如此進(jìn)行下去，整個(gè)機(jī)器人協(xié)調(diào)配合保持末端執(zhí)行器（手爪）垂直上升。三維模型在OPENGL中的顯示流程是：世界坐標(biāo)系中的三維物體經(jīng)三維幾何變換后投影并進(jìn)行三維裁剪及視口變換，在屏幕坐標(biāo)系中顯示圖形。

2.3視頻融合及控制實(shí)現(xiàn)

在仿真機(jī)器人底座視點(diǎn)坐標(biāo)系進(jìn)行確定后，視頻機(jī)器人就會(huì)根據(jù)仿真機(jī)器人的大小進(jìn)行縮放繪制，使底座同仿真機(jī)器人底座在一個(gè)坐標(biāo)位置。視頻中機(jī)器人的其他部分同底座一樣進(jìn)行相應(yīng)的映射，因此，初始時(shí)刻視頻和仿真模型的關(guān)節(jié)、視角位置是基本重合的。視頻融合界面通過(guò)VC控件SLIDER調(diào)節(jié)視頻透明度，操作者根據(jù)實(shí)際情況選擇清晰度，也可以將反饋視頻設(shè)置成完全透明（此時(shí)只能看到模型而看不到視頻）。本仿真機(jī)器人在OpenGL三維編程中實(shí)現(xiàn)3DSMAX數(shù)據(jù)模型的程序控制。3DSMAX是一種簡(jiǎn)便快捷的建模軟件，比同類軟件進(jìn)一步完善了建模功能，更側(cè)重于復(fù)雜模型的建模，可以很容易地用C＋＋和OpenGL結(jié)合實(shí)現(xiàn)圖形學(xué)算法，再把本算法作為插件嵌入3DSMAX環(huán)境中，而不用考慮物體模型的生成和處理的復(fù)雜代碼，利用3DSMAX的渲染計(jì)時(shí)器可以方便地檢驗(yàn)所編算法的效率和效果。我們?cè)诜抡鏅C(jī)器人制作時(shí)應(yīng)遵循一個(gè)原則：在能夠保證視覺效果的前提下，盡量采用比較簡(jiǎn)單的模型，而且若能夠用參數(shù)化方法構(gòu)建的對(duì)象盡量用參數(shù)化方法構(gòu)建。同時(shí)，在模型創(chuàng)作過(guò)程中，對(duì)模型進(jìn)行分割、獨(dú)立建模，以利于進(jìn)行操作和考察。仿真機(jī)器人視頻融合前后對(duì)比如圖4所示。我們的控制程序可以實(shí)現(xiàn)仿真模型控制。我們的控制過(guò)程簡(jiǎn)單來(lái)說(shuō)就是：按下相應(yīng)操作按鈕，2個(gè)線程同時(shí)運(yùn)行，1個(gè)線程將控制指令傳送到仿真模型使虛擬機(jī)器人運(yùn)動(dòng)，另1個(gè)線程將控制命令通過(guò)網(wǎng)絡(luò)傳輸送到服務(wù)器控制真實(shí)MOTOMAN機(jī)器人完成一致作業(yè)。在仿真模型和視頻融合界面中，模型走過(guò)的軌跡在程序中用紅線標(biāo)定（為方便觀察者，紅色軌跡線采用10個(gè)像素的粗實(shí)線繪制），反饋視頻隨后跟蹤此軌跡運(yùn)行，操作者觀察視頻中機(jī)器人的運(yùn)行情況并判斷運(yùn)行是否達(dá)標(biāo)及決策下一步。這樣就能地按照操控者的意圖一步步去做，從而完成任務(wù)。

3結(jié)論

本文針對(duì)針對(duì)遙操作機(jī)器人系統(tǒng)（robotsystem）中視頻傳輸數(shù)據(jù)量大，造成的時(shí)延嚴(yán)重影響操作者決策，使機(jī)器人現(xiàn)場(chǎng)作業(yè)透明度不高引起誤操作的問題，提出采用3DSMAX建立三維機(jī)器人仿真模型，在OPENGL編程環(huán)境下對(duì)其進(jìn)行繪制及仿真控制，采用H.263標(biāo)準(zhǔn)及相應(yīng)壓縮算法把獲取視頻壓縮、傳輸、解壓、遠(yuǎn)端顯示與仿真模型融合。該視頻融合方法應(yīng)用于遙操作機(jī)器人系統(tǒng)中，能夠使控制者準(zhǔn)確判斷機(jī)器人作業(yè)精準(zhǔn)度，同時(shí)將傳統(tǒng)的遙操作機(jī)器人視頻監(jiān)控及仿真預(yù)測(cè)相結(jié)合，提出將視頻融合應(yīng)用于遙操作機(jī)器人技術(shù)中。實(shí)驗(yàn)證明，該方法不僅能實(shí)現(xiàn)控制命令準(zhǔn)確傳輸、機(jī)器人實(shí)時(shí)控制，而且視頻機(jī)器人跟蹤仿真模型軌跡作業(yè)避免了誤操作。這種方法對(duì)于精準(zhǔn)度要求高的機(jī)器人系統(tǒng)非常實(shí)用，將來(lái)可以將該視頻融合方法拓展在搶險(xiǎn)救災(zāi)、災(zāi)情調(diào)查、工程運(yùn)行、水利監(jiān)測(cè)、城市調(diào)查中，除了能對(duì)現(xiàn)場(chǎng)完成監(jiān)測(cè)錄像、圖像傳輸?shù)裙δ芡?，還可以比較預(yù)測(cè)與實(shí)際的差異。希望以后不會(huì)出現(xiàn)如日本書到用時(shí)方恨少，機(jī)器人用時(shí)方知還沒研究。

機(jī)器人系統(tǒng)簡(jiǎn)介

由機(jī)器人和周邊設(shè)備與工具組成的自動(dòng)化作業(yè)系統(tǒng)。典型的機(jī)器人系統(tǒng)包括以下幾個(gè)部分：

1、機(jī)器人本體和操作機(jī)，可以直接完成各種具體作業(yè)；

2、機(jī)器人控制器，用來(lái)控制機(jī)器人和完成數(shù)據(jù)存儲(chǔ)，包括計(jì)算機(jī)系統(tǒng)和伺服系統(tǒng)兩部分；

3、各種不同的作業(yè)工具，如焊槍和手爪等；

4、各種周邊輔助設(shè)備；

5、為完成特殊任務(wù)而使用的傳感器；

6、用于完成計(jì)算機(jī)管理、監(jiān)控和計(jì)算機(jī)通信的通信系統(tǒng)。常見的機(jī)器人系統(tǒng)有弧焊機(jī)器人系統(tǒng)、噴涂機(jī)器人系統(tǒng)和切割機(jī)器人系統(tǒng)等。

參考文獻(xiàn)[1]高永生.基于Internet多機(jī)器人遙操作系統(tǒng)安全機(jī)制的研究[D].哈爾濱:哈爾濱工業(yè)大學(xué)，2022:15-19.[2]黃繼偉.遙操作機(jī)器人系統(tǒng)及其夾持器抓取算法研究[D].南京:東南大學(xué)，2022:12-15.[3]王學(xué)謙，梁斌，李成，等.自由飛行空間機(jī)器人遙操作三維預(yù)測(cè)仿真系統(tǒng)研究[J].宇航學(xué)報(bào)，2022(1):2-3.[4]蔣再男，劉宏，謝宗武，等.3D圖形預(yù)測(cè)仿真及虛擬夾具的大時(shí)延遙操作技術(shù)[J].西安交通大學(xué)學(xué)報(bào)，2022(1)：2-3.[5]鄭云輝，鄭偉，席寧，等.基于無(wú)線網(wǎng)絡(luò)的足球機(jī)器人遙操作系統(tǒng)[J].計(jì)算機(jī)應(yīng)用，2022(1)：2-3.[6]譚明金.VisualC++圖形編程技巧與實(shí)例[M].北京:人民郵電出版社，2022.[7]張海燕，王東木，宋克歐，等.圖像壓縮技術(shù)[J].系統(tǒng)仿真學(xué)報(bào)，2022，14(7):831-835.[8]沈潔，杜宇人，殷玲玲，等.基于DCT變換的圖像壓縮技術(shù)研究[J].信息技術(shù)，2022(10).[9]郭海靜，葛萬(wàn)成.基于DCT與SPIHT的數(shù)字圖像壓縮技術(shù)研究[J].信息技術(shù)，2022(12)：2.[10]ABEYTAAM，F(xiàn)RANKLINJ.Theaccuracyofvegetationstandboundariesderivedfromimagesegmentaioninadesertenvironment[J].