計算機程序設(shè)計員（工業(yè)機器人人工智能技術(shù)應(yīng)用）（職工組）實操樣題-第二屆全國人工智能應(yīng)用技術(shù)技能大賽選拔賽技術(shù)文件及理論題庫及實操樣題

1、2021年第二屆全國人工智能應(yīng)用技術(shù)技能大賽-工業(yè)機器人人工智能技術(shù)應(yīng)用賽項江蘇省賽選拔賽 第二屆全國人工智能應(yīng)用技術(shù)技能大賽江蘇省選拔賽計算機程序設(shè)計員（工業(yè)機器人人工智能技術(shù)應(yīng)用）職工組（含教師）實操題（樣題）省賽選拔賽組委會技術(shù)工作委員會2021年9月重要說明1、比賽時間300分鐘，180分鐘后，選手可以棄賽，但不可提前離開賽位場地，需要在賽位指定位置，與比賽設(shè)備隔離。2、比賽共包括4個任務(wù)，總分100分，見表1。表1 比賽任務(wù)及配分序號名稱配分說明1任務(wù)一：工業(yè)機器人與智能相機綜合調(diào)試及應(yīng)用352任務(wù)二：移動操作單元人工智能技術(shù)應(yīng)用353任務(wù)三：機器人人工智能技術(shù)綜合應(yīng)用30合計100

2、3、除有說明外，不限制各任務(wù)評判順序，且不限制任務(wù)中各項的先后順序，選手在實際比賽過程中要根據(jù)賽題情況進行操作。4、請務(wù)必閱讀各任務(wù)的重要提示。5、比賽過程中，若發(fā)生危及設(shè)備或人身安全事故，立即停止比賽，將取消其參賽資格。6、比賽所需要的資料及軟件都以電子版的形式保存在工位計算機里指定位置D:ROBAI。表2 資料明細表序號電子資料名稱1硬件IO配置表2深度學(xué)習(xí)效果標(biāo)準驗證圖像-螺釘3深度學(xué)習(xí)效果標(biāo)準驗證圖像-螺母7、競賽平臺系統(tǒng)中主要模塊的IP地址預(yù)分配如下表3所示。表3 IP地址分配表序號名稱IP地址分配備注1電動手爪192.168.10.92主控PLC192.168.10.1033D智能

3、相機192.168.10.114主控觸摸屏192.168.10.125協(xié)作機器人192.168.10.1562D智能相機192.168.10.307AGV無線CPE192.168.10.508移動機器人(AGV)192.168.10.519工業(yè)機器人192.168.10.10010無線網(wǎng)橋AP192.168.10.2008、選手對比賽過程中需裁判確認部分，應(yīng)當(dāng)先舉手示意。9、參賽選手在競賽過程中，不得使用U盤。10、選手在競賽過程中應(yīng)該遵守相關(guān)的規(guī)章制度和安全守則，如有違反，則按照相關(guān)規(guī)定在競賽的總成績中扣除相應(yīng)分值。11、選手在比賽開始前，認真對照工具清單檢查工位設(shè)備，并確認后開始比賽；選手

4、完成任務(wù)后的檢具、儀表和部件，現(xiàn)場需統(tǒng)一收回再提供給其他選手使用。12、賽題中要求的備份和保存在電腦中的文件，需選手在計算機指定文件夾D:2021ROBAI中命名對應(yīng)文件夾（賽位號+AI），賽位號為兩個字母+5位數(shù)字，如DS21127。賽題中所要求備份的文件請備份到對應(yīng)到文件夾下，即使選手沒有任何備份文件也要求建立文件夾。13、需要裁判驗收的各項任務(wù)，任務(wù)完成后裁判只驗收1次，請根據(jù)賽題說明，確認完成后再提請裁判驗收。14、選手嚴禁攜帶任何通訊、存儲設(shè)備及技術(shù)資料，如有發(fā)現(xiàn)將取消其競賽資格。選手擅自離開本參賽隊賽位或者與其他賽位的選手交流或者在賽場大聲喧嘩，嚴重影響賽場秩序，如有發(fā)生，將取消其

5、競賽資格。15、選手必須認真填寫各類文檔，競賽完成后所有文檔按頁碼順序一并上交。16、選手必須及時保存自己編寫的程序及材料，防止意外斷電及其它情況造成程序或資料的丟失。17、賽場提供的任何物品，不得帶離賽場。18、競賽平臺系統(tǒng)中，分揀及裝配工作臺桌面布局圖如圖1所示，半成品箱體初始位姿俯視圖如圖2所示，V型立體倉庫倉位定義如圖3所示。圖1 分揀及裝配工作臺桌面布局圖2 半成品箱體初始位姿俯視圖圖3 V型立體倉庫倉位定義 13 / 131、 競賽項目任務(wù)書任務(wù)一：工業(yè)機器人與智能相機綜合調(diào)試及應(yīng)用任務(wù)描述：根據(jù)任務(wù)書要求，通過人工智能技術(shù)賦能，在工業(yè)機器人分揀與裝配單元中，通過操作3D視覺系統(tǒng)軟

6、件，完成3D相機的調(diào)試、標(biāo)定；根據(jù)要求，采集、標(biāo)注圖像數(shù)據(jù)，完成基于深度學(xué)習(xí)的工件識別模型的訓(xùn)練及部署。通過綜合操作、編程和調(diào)試，對工業(yè)機器人進行智能化賦能和綜合應(yīng)用，完成工業(yè)機器人基于3D視覺的工件無序智能抓?。煌ㄟ^調(diào)用規(guī)劃軟件，完成工件的裝配。（一）手眼標(biāo)定操作在工業(yè)機器人末端安裝標(biāo)定板，設(shè)置標(biāo)定參數(shù)，完成工業(yè)機器人與相機之間的手眼標(biāo)定。具體包含的任務(wù)：（1）在工業(yè)機器人末端安裝標(biāo)定板，對3D智能相機軟件與工業(yè)機器人系統(tǒng)的通信進行設(shè)置，使3D智能相機軟件獲得工業(yè)機器人的控制權(quán)。（2）設(shè)置合理的相機參數(shù)，使其獲取高質(zhì)量的標(biāo)定板圖像數(shù)據(jù)。（3）設(shè)置合理的標(biāo)定參數(shù)，啟動自動手眼標(biāo)定程序，根據(jù)標(biāo)定

7、誤差的結(jié)果進行評判。（二）圖像采集及標(biāo)注操作3D智能相機和視覺系統(tǒng)軟件，采集目標(biāo)物體的圖像數(shù)據(jù)，根據(jù)要求完成圖像的標(biāo)注。具體包含的任務(wù)：（1）設(shè)置、調(diào)整相機參數(shù)，使相機獲得清晰、高質(zhì)量的圖像。（2）在“分揀及裝配工作站”上的物料盒中，放入多個M6、M10螺釘和螺母，并手動調(diào)整合適的螺釘、螺母的位姿。然后，在保證圖像質(zhì)量的情況下，采集10張包含不同螺釘、螺母擺放位姿的物料盒圖像。（3）利用內(nèi)置的圖像標(biāo)注工具，對每張圖像進行標(biāo)注，要求每種型號螺釘、螺母的標(biāo)注實例數(shù)量是20個。（三）模型訓(xùn)練及部署驗證基于采集及標(biāo)注的圖像數(shù)據(jù)，訓(xùn)練工件識別模型。將訓(xùn)練后的模型導(dǎo)入并部署至視覺系統(tǒng)軟件中，測試模型的識別

8、精度。具體包含的任務(wù)：（1）啟動模型訓(xùn)練，等待視覺系統(tǒng)完成工件識別模型訓(xùn)練；（2）將訓(xùn)練完成的模型分別導(dǎo)入至不同螺釘、螺母的視覺識別工程中，并設(shè)置相應(yīng)的參數(shù)和感興趣區(qū)域。（3）在視覺識別工程中，切換至虛擬相機模式，加載標(biāo)準驗證圖像，利用已訓(xùn)練模型對其進行識別，驗證模型的識別效果。（四）基于圖形化編程軟件的機器人程序編寫使用圖形化編程軟件，編寫工業(yè)機器人點位、I/O變量控制程序，控制工業(yè)機器人完成位姿固定工件的抓取及放置。初始作業(yè)狀態(tài)設(shè)置：（1）在“分揀及裝配工作站”的二次定位裝置上，手動放置一個M6螺釘和一個M6螺母。（2）在“箱體旋轉(zhuǎn)供料及裝配臺”的2號工位上，手動放置半成品箱體。（3）在“

9、井式供料裝置”中，手動放置3個箱體端蓋。具體包含的任務(wù)：（1）編寫圖形化程序，示教工業(yè)機器人定位、設(shè)置I/O變量。（2）利用不同的夾具，完成M10螺母鉚壓、箱體端蓋裝配、M10螺釘鎖緊等任務(wù)。請注意：任務(wù)中涉及的手動設(shè)置初始作業(yè)狀態(tài)部分，在評判階段，由選手執(zhí)行相關(guān)手動操作。（五）散亂工件的分揀及簡單裝配使用圖形化編程軟件，編寫工業(yè)機器人控制程序，結(jié)合3D智能相機識別的工件位姿結(jié)果，控制工業(yè)機器人完成對物料盒中散亂工件的分揀及簡單裝配。初始作業(yè)狀態(tài)設(shè)置：在“分揀及裝配工作站”的物料盒中，分別手動散亂放置螺釘和螺母；在“箱體旋轉(zhuǎn)供料及裝配臺”的2號工位上，手動放置半成品箱體；在“井式供料裝置”中，

10、手動放置3個箱體端蓋。具體包含的任務(wù)：（1）導(dǎo)入手眼標(biāo)定的坐標(biāo)系變換結(jié)果，設(shè)置合理的點云模板、抓取點位置以及抓取夾具參數(shù)等。（2）使用圖形化編程軟件，編寫工業(yè)機器人控制程序。結(jié)合3D智能相機識別的工件位姿結(jié)果，控制工業(yè)機器人分揀一個M10螺釘和一個M10螺母，放置于二次定位裝置上。（3）利用不同快換夾具，完成M10螺母鉚壓、箱體端蓋裝配、M10螺釘鎖緊等任務(wù)。請注意：任務(wù)中涉及的手動設(shè)置初始作業(yè)狀態(tài)部分，在評判階段，由選手執(zhí)行相關(guān)手動操作。完成任務(wù)二中任一任務(wù)后，即可以舉手示意裁判進行評判！任務(wù)二：移動操作單元人工智能技術(shù)應(yīng)用任務(wù)描述：根據(jù)任務(wù)書要求，通過人工智能技術(shù)賦能，完成移動操作單元（主

11、要含AGV/操作臂）的地圖構(gòu)建、自主避障、路徑規(guī)劃；通過控制協(xié)作機器人和視覺系統(tǒng)，在給定任務(wù)序列的條件下，完成倉庫工件的取放任務(wù)。（一）建立環(huán)境地圖利用移動機器人地圖建模軟件控制其在競賽單元場地運動，結(jié)合其自帶的智能傳感器，構(gòu)建環(huán)境地圖。在環(huán)境地圖中設(shè)置導(dǎo)航點，完成移動機器人自主導(dǎo)航與移動。具體包含的任務(wù)：（1）利用移動機器人地圖建模軟件，控制其在競賽單元場地運動，構(gòu)建環(huán)境地圖。（2）在環(huán)境地圖中設(shè)置導(dǎo)航點，在“分揀及裝配工作站”附近設(shè)置合理的導(dǎo)航點；在“V型立體倉庫”的箱體放置區(qū)一側(cè)，設(shè)置合理的導(dǎo)航點；以及中間過渡導(dǎo)航點。（3）測試移動機器人的自主導(dǎo)航功能，控制移動機器人從“V型立體倉庫”導(dǎo)

12、航點自主移動至“分揀及裝配工作站”導(dǎo)航點。（二）目標(biāo)物體的識別與抓取對協(xié)作機器人及其末端安裝的智能2D相機進行編程，完成對目標(biāo)物體的識別與抓取。初始作業(yè)狀態(tài)設(shè)置：手動在“半成品箱體放置區(qū)”1號倉位放置半成品箱體。具體包含的任務(wù)：（1）控制移動機器人從起始點自主移動至“V型立體倉庫”導(dǎo)航點。根據(jù)倉庫中“半成品箱體放置區(qū)”和“成品箱體放置區(qū)”的倉位位置，對協(xié)作機器人進行示教編程，使每個倉位均處于智能2D相機視野的合理位置。（2）針對在“半成品箱體放置區(qū)”倉位中放置的半成品箱體，對智能2D相機進行調(diào)試、編程，使其識別并輸出箱體的位置。（3）基于智能2D相機識別的結(jié)果，引導(dǎo)協(xié)作機器人實現(xiàn)對“半成品箱體

13、放置區(qū)”1號倉位半成品的抓取，然后，協(xié)作機器人將半成品箱體放置于“成品箱體放置區(qū)”3號倉位。請注意：任務(wù)中涉及的手動設(shè)置初始作業(yè)狀態(tài)部分，在評判階段，由選手執(zhí)行相關(guān)手動操作。（三）移動操作臂協(xié)同抓取工件對由移動機器人、協(xié)作機器人組成的移動操作臂進行聯(lián)合調(diào)試，首先控制移動機器人從指定位置向作業(yè)點自主移動，然后協(xié)作機器人與2D智能相機協(xié)作，完成目標(biāo)工件的識別與抓取，最后移動操作臂將工件放置于指定作業(yè)點的工位上。初始作業(yè)狀態(tài)設(shè)置：手動在“半成品箱體放置區(qū)”2號倉位放置半成品箱體。具體包含的任務(wù)：編寫程序，實現(xiàn)如下功能：a）移動機器人從起始點自主移動至“V型立體倉庫”導(dǎo)航點，識別并抓取“半成品箱體放置

14、區(qū)”2號倉位上的半成品箱體；b）協(xié)作機器人將半成品箱體放置于移動操作臂臺面的箱體緩存工位上；c）移動機器人自主移動至“分揀及裝配工作站”導(dǎo)航點；d）利用2D智能相機識別“箱體旋轉(zhuǎn)供料及裝配臺”的1號工位位置，引導(dǎo)協(xié)作機器人抓取半成品箱體，并放置于“箱體旋轉(zhuǎn)供料及裝配臺”的1號工位上。請注意：任務(wù)中涉及的手動設(shè)置初始作業(yè)狀態(tài)部分，在評判階段，由選手執(zhí)行相關(guān)手動操作。完成任務(wù)三中任一任務(wù)后，即可以舉手示意裁判進行評判！任務(wù)三：機器人人工智能技術(shù)綜合應(yīng)用任務(wù)描述：根據(jù)任務(wù)書要求，通過綜合操作、編程和調(diào)試，對工業(yè)機器人、移動操作臂及智能機器人等單元進行智能化賦能和綜合應(yīng)用，在“機器人人工智能技術(shù)應(yīng)用”

15、技術(shù)平臺上，實現(xiàn)典型智能制造工業(yè)場景的完整工藝流程，綜合體現(xiàn)機器人智能感知、自動決策、自主執(zhí)行、互聯(lián)互通、深度學(xué)習(xí)、人機交互、自我管理等人工智能技術(shù)要素及其職業(yè)技能。（一）各單元聯(lián)機通訊基于技術(shù)平臺各個單元的調(diào)試狀態(tài)以及通信方式，編寫PLC主控程序，實現(xiàn)技術(shù)平臺各單元的聯(lián)機通訊。具體包含的任務(wù)：（1）編寫PLC主控程序，配置主控單元與分揀及裝配工作臺的通信模塊。（2）編寫PLC主控程序，配置主控單元與移動操作臂的通信模塊。（二）測試主控對各個單元的控制編寫PLC主控程序，實現(xiàn)主控系統(tǒng)分別對分揀及裝配工作臺、移動操作臂等單元的單獨控制。通過主控系統(tǒng)發(fā)送任務(wù)啟動指令，各個單元反饋狀態(tài)信息。具體包含

16、的任務(wù)：（1）將分揀及裝配工作站調(diào)試至準備狀態(tài)，向PLC主控程序反饋“已處于準備狀態(tài)”的代碼，并在觸摸屏上顯示。（2）將移動操作臂調(diào)試至準備狀態(tài)，向PLC主控程序反饋“已處于準備狀態(tài)”的代碼，并在觸摸屏上顯示。（三）綜合任務(wù)流程根據(jù)綜合任務(wù)的作業(yè)流程，編寫PLC主控程序，控制分揀及裝配工作臺、移動操作臂等單元相互協(xié)同作業(yè)，完成完整的作業(yè)任務(wù)，包括工件的識別、分揀、抓取、運輸、裝配等任務(wù)。初始作業(yè)狀態(tài)設(shè)置：（1）手動在“分揀及裝配工作臺”的物料盒中預(yù)先隨機放置提供的M6、M10螺釘和M6、M10螺母，在“井式供料裝置”中放置4個箱體端蓋，清空“箱體旋轉(zhuǎn)供料及裝配臺”、“二次定位裝置”、“鉚壓機”上的工件物料；（2）手動在立體倉庫的半成品箱體放置區(qū)的2號和3號倉位放置半成品箱體。具體包含的任務(wù)：編寫PLC主控程序，參考圖4所示的總流程示意圖，協(xié)調(diào)各個單元完成如下任務(wù)：（1）移動操作臂單元將2號倉位半成品箱體運送至分揀及裝配工作臺，并放置于“箱體旋轉(zhuǎn)供料及裝配臺”的1號工位；（2）分揀及裝配工作臺開始箱體的完整裝配，即M6、M10螺釘和螺母雙重鎖緊；（3）移動操作臂等待分揀及裝配工作臺完成1個成品箱體的完整裝配，抓取成品箱體，放置于立體倉庫中成品箱體放置區(qū)的4號倉位。圖4 總流程示意