Mind+結(jié)合XEduHub開發(fā)AI交互作品

摘要：在圖形化編程工具M(jìn)ind+和通用AI推理庫XEduHub的支持下，中小學(xué)生使用簡短的代碼就能設(shè)計出有趣的AI交互作品。本文在介紹Mind+和XEduHub的同時，分析了AI交互作品的核心環(huán)節(jié)，指出作品可以由感知輸入、智能處理和執(zhí)行呈現(xiàn)三個部分組成，希望為中小學(xué)開展AI教育提供新的思路。關(guān)鍵詞：Mind+；XEduHub；AI交互作品學(xué)習(xí)AI要從體驗(yàn)開始，青少年只有體驗(yàn)過AI，才可能對其產(chǎn)生濃厚的興趣。為此，學(xué)校的AI學(xué)習(xí)空間（實(shí)驗(yàn)室、功能教室等）的展示區(qū)域或者科普走廊都會部署一些有趣的AI交互產(chǎn)品，讓學(xué)生在體驗(yàn)中了解AI的能力，激發(fā)學(xué)習(xí)興趣。有條件的學(xué)校還會選擇采購和定制企業(yè)開發(fā)的AI交互作品，以追求更好的展示效果。那么，中小學(xué)生能不能和老師一起設(shè)計一些有趣的AI交互作品呢？顯然，自己動手豐衣足食，設(shè)計作品的過程就是學(xué)習(xí)的過程，也是解決真實(shí)問題的過程。仔細(xì)觀察企業(yè)開發(fā)的AI交互作品，會發(fā)現(xiàn)背后的技術(shù)并不復(fù)雜，無非是將輸入后的信息經(jīng)過模型推理再通過屏幕輸出。有了XEduhHub，目標(biāo)檢測、物體分類、關(guān)鍵點(diǎn)檢測等AI技術(shù)的門檻就有所降低，加上Mind+的支持，小學(xué)生也有能力開發(fā)出不錯的交互作品。AI模型推理工具XEduHub簡介XEduHub是一個通用AI模型推理工具，既是XEdu項(xiàng)目的核心組成部分，又是一個可以獨(dú)立安裝的Python庫（庫名為XEdu-python）。XEduHub不僅支持XEdu系列工具訓(xùn)練得到的模型，還內(nèi)置了常見的AI模型，如人體關(guān)鍵點(diǎn)檢查、80種物體目標(biāo)檢測、OCR等，只要選擇某一任務(wù)，即可自動從云端下載相應(yīng)的模型，如圖1所示。XEduHub設(shè)計了“工作流”（Workflow）的方式來實(shí)現(xiàn)模型推理。每一次應(yīng)用AI模型推理，數(shù)據(jù)都經(jīng)歷了輸入模型、預(yù)測推理、輸出結(jié)果三個階段，就像是物料（數(shù)據(jù)）經(jīng)過生產(chǎn)流水線加工后產(chǎn)出半成品一樣。在XEduHub中這一次推理流只需要兩行代碼，第一行代碼是通過指定task名稱來確定使用何種模型構(gòu)建工作流，第二行代碼是輸入數(shù)據(jù)并得到推理結(jié)果輸出。如果想要處理多組數(shù)據(jù)，只要靈活使用第二行代碼即可（如圖2）。在使用XEduHub來處理較復(fù)雜問題的時候，往往需要多個模型進(jìn)行聯(lián)動，這時，“工作流”可以看作不同模型之間的數(shù)據(jù)流動。例如，當(dāng)畫面中有多個人像時，需要先進(jìn)行多人的目標(biāo)檢測以確定每個人所在的位置，然后將檢測到的數(shù)據(jù)傳入關(guān)鍵點(diǎn)識別模型，從而對每個人像進(jìn)行關(guān)鍵點(diǎn)識別，最終得到每個人的關(guān)鍵點(diǎn)坐標(biāo)數(shù)據(jù)。在Mind+中安裝XEduHubMind+集成了各種主流主控板及上百種開源硬件，支持人工智能與物聯(lián)網(wǎng)功能。Mind+擁有實(shí)時、離線和Python三種編程模式，其中Python模式同時支持圖形化和代碼編寫程序，適合初學(xué)者。Mind+支持第三方插件，進(jìn)入插件管理頁面，在聯(lián)網(wǎng)情況下搜索“XEdu”即可找到插件。安裝插件后，再通過庫管理工具安裝“xedu-python”（XEduHub的pip包名稱）。需要注意的是，在安裝過程中，WARNING提醒內(nèi)容可以忽略，同時，為了獲得更穩(wěn)定、更強(qiáng)大的模型部署使用體驗(yàn)，需要及時更新“xedu-python”庫。經(jīng)過上述的操作后，XEduHub的積木就出現(xiàn)在Mind+主界面的左邊了，如圖3所示。Mind+的最大優(yōu)勢是加入了GUI界面設(shè)計、物聯(lián)網(wǎng)和開源硬件交互功能。GUI界面可以使用unihiker庫，物聯(lián)網(wǎng)使用SIoT庫，而開源硬件庫為pinpong庫。這些庫為設(shè)計交互作品的天馬行空想法提供了技術(shù)支持。以下頁圖4為例，幾行代碼就實(shí)現(xiàn)了對畫面中人像的關(guān)鍵點(diǎn)繪制。經(jīng)典AI交互作品的分析和創(chuàng)意經(jīng)典的AI交互作品往往會實(shí)時采集現(xiàn)場數(shù)據(jù)，經(jīng)過AI推理后，再輸出呈現(xiàn)在終端上。作品可以由感知輸入、AI推理、輸出呈現(xiàn)三個部分組成。感知輸入的常用設(shè)備有鼠標(biāo)、鍵盤、攝像頭、麥克風(fēng)、雷達(dá)掃描儀，還有各類傳感器，AI推理可以用XEduHub實(shí)現(xiàn)，而輸出呈現(xiàn)可以借助顯示器、揚(yáng)聲器等實(shí)現(xiàn)，還可以利用pinpong模塊連接開源硬件，如LED、蜂鳴器、舵機(jī)等執(zhí)行器都可以成為交互作品的組成部分。對于僅僅用鼠標(biāo)鍵盤和顯示器交互的作品，學(xué)生已經(jīng)司空見慣。軟硬結(jié)合顯然能夠讓交互作品妙趣橫生。如下頁圖5所示，當(dāng)結(jié)合物聯(lián)網(wǎng)協(xié)議后，智能家居的各個產(chǎn)品也能夠加入到交互作品之中。借助SIoT、HASS等軟件，智能家居產(chǎn)品也可以與普通電腦聯(lián)通，在本專欄中已經(jīng)有多篇文章對其進(jìn)行了介紹，歡迎閱讀。在了解XEduHub的功能后，將“感知輸入”“AI推理”“輸出呈現(xiàn)”這三大環(huán)節(jié)靈活組合，學(xué)生們就能設(shè)計出各式各樣的創(chuàng)意AI體驗(yàn)作品來。例如，用人的情緒（微笑值）控制一個真實(shí)的指針，把攝像頭中的動物轉(zhuǎn)換為馬賽克效果，用攝像頭采集人體關(guān)鍵點(diǎn)來操控一個提線木偶，等等。當(dāng)學(xué)生做虛擬鼓掌動作的時候，就能真的發(fā)出熱烈的掌聲，學(xué)校的AI實(shí)驗(yàn)室將會成為一個快樂的游樂場。總結(jié)與反思借助XEduHub，用簡潔的代碼就能快速調(diào)用多種模型，再經(jīng)過學(xué)生的創(chuàng)意疊加，就能自由組合出各種有趣的項(xiàng)目。相比于采購企業(yè)開發(fā)的AI體驗(yàn)項(xiàng)目，自行設(shè)計更有挑戰(zhàn)性。建議老師們將設(shè)計交互作品作為AI