MYD-YA157C-MEasy+HMI軟件開發(fā)指南V2.0

MEasyHMI2.0四M丫IRMakeYourIdea1.MEasyHMI2.02.MEasyHMI2.02.12.22.32.42.52.63.MEasyHMI2.03.13.2編譯MEasyHMI2.03.3運行MEasyHMI2.04.MEasyHMI2.04.1AM335X系列開發(fā)板上集成MEasyHMI2.04.2i.MX6UL系列開發(fā)板上集成MEasyHMI2.04.3STM32MP157系列開發(fā)板上集成MEasyHMI2.0附錄附錄MEasyHMI2.0開發(fā)手冊前言本文檔主要講述MsyHMI2.0的基本框架，并演示MsyHMI2.0在深圳市米爾電子有限公司(下文簡稱“米爾說明了MsyHMI2.0開發(fā)環(huán)境的搭建和源碼的編譯以及應(yīng)用集成，以實例的形式講述了如何在MsyHMI2.0框架的基礎(chǔ)上開發(fā)更多的應(yīng)用。本文檔適合有一定開發(fā)經(jīng)驗的嵌入式nu開發(fā)工程師，QT版本歷史:版本號描述時間硬件版本本文僅檔適用于米爾AM335X,.MX6U,TM32MP157注意:開發(fā)板nu系統(tǒng)默認的root賬戶密碼為空。MEasyHMI2.0框架介紹MsyHMI2.0是深圳市米爾科技有限公司開發(fā)的一套基于QT5的人機界面框架。項目采用QM與++混合編程，使用QM高效便捷地構(gòu)建UI，而++則用來實現(xiàn)業(yè)務(wù)邏輯和復(fù)雜算法。根據(jù)應(yīng)用的類型我們將整個UI分為五個大類：多媒體，智能家電，衛(wèi)生醫(yī)療，公共服務(wù)，系統(tǒng)。每個類下面又包含不同小類，針對每個小類我們實現(xiàn)了相應(yīng)的應(yīng)用。如圖1-1所示。圖1-1MEasyHMI2.0HMI2.0使用介紹本節(jié)主要介紹MEasyHMI2.0中每個APP的使用及使用過程中注意的細節(jié)。軟件環(huán)境：u-boot4.x.x帶QT5運行環(huán)境的文件系統(tǒng)MEasyHMIV2.0應(yīng)用程序硬件環(huán)境：MY-TFT070CV2電容屏/HDMI顯示屏MYIRAM335X,i.MX6UL,STM32MP157系列開發(fā)板默認出廠程序只支持D顯示和HDMI顯示，用戶選擇使用D還是HDMI硬件連接方式:表2-1開發(fā)板LCD接口MYD-C335X-J14MYD-J3MYS-J8MYD-J18LCD/J10主界面主界面提供兩種顯示模式，一種是基于Pthw實現(xiàn)的輪播顯示，另一種是基于wpw實現(xiàn)的9界面說明：圖2-1-1圖2-1-29圖2-1-39圖2-1-4測試步驟：如需英文顯示，點擊標注1的EnglsihMEasyHMI2.0啟動后默認進入輪播顯示頁面，左右滑動即可進行應(yīng)用類別切換，點擊標注2點擊標注3的按鈕進入9宮格顯示，在9點擊標注4多媒體本章節(jié)演示如何使用MsyHMI2.0中的多媒體應(yīng)用來控制開發(fā)板進行攝像頭畫面采集考源碼。軟件環(huán)境：攝像頭應(yīng)用播放器應(yīng)用音樂應(yīng)用圖片應(yīng)用硬件環(huán)境：支持MEasyHMI2.0的MYIR開發(fā)板一塊USB攝像頭一個界面介紹：圖2-2-1攝像頭應(yīng)用界面圖2-2-2注意：開發(fā)板預(yù)存的視頻文件位于開發(fā)板usrshryrdo目錄，打開視頻播放器應(yīng)用后會自動選擇一個視頻文件，用戶可以自行向此目錄添加視頻，建議視頻分辨率不要大于480p，否則會引起播放卡頓。圖2-2-3注意：開發(fā)板預(yù)存的音頻文件位于開發(fā)板usrshryrMus目錄，打開音樂播放器應(yīng)用后會自動選擇一個音頻文件，用戶可以自行向此目錄添加音頻文件。部分開發(fā)板沒有音頻芯片，所以無法聽到聲音。圖2-2-4注意：開發(fā)板預(yù)存的圖片文件位于開發(fā)板usrshryrptur目錄，用戶可以自行向此目錄添加圖片文件。測試步驟：將USB攝像頭插入開發(fā)板USB接口，然后進入攝像頭應(yīng)用。主界面點擊攝像頭應(yīng)用進入攝像頭界面后可以看到攝像頭實時的畫面輸出，點擊下面的原點按鈕可以拍照。打開右上角的所有照片按鈕即可瀏覽拍照好的圖片。點擊左上角的返回按鈕可退出攝像頭應(yīng)用。主界面點擊播放器應(yīng)用進入播放器界面，默認會選取一個預(yù)存的視頻。點擊中間播放按鈕，開始視頻的播放，再次點擊暫停視頻播放。點擊底部按鈕，可進行快進，快退，暫停，停止，播放上一個，播放下一個這些操作。點擊右上角的打開文件，可進去視頻列表選擇。點擊左上角的返回按鈕可退出播放器應(yīng)用。主界面點擊音樂應(yīng)用進入音樂界面，默認會選取一個預(yù)存的音頻文件。點擊底部按鈕，可進行快進，快退，暫停，停止，播放上一個，播放下一個這些操作。點擊右上角的打開文件，可進去視頻列表選擇。點擊左上角的返回按鈕可退出音樂應(yīng)用按鈕可對圖片進行刪除。點擊左上角的返回按鈕可退出音樂應(yīng)用衛(wèi)生醫(yī)療本章節(jié)演示如何使用MEasyHMI2.0中的衛(wèi)生醫(yī)療中的心電儀應(yīng)用進行心電波形繪制，ECG，NIBP,SPO2,RESP,TEMP等參數(shù)的動態(tài)顯示，詳情軟件環(huán)境心電儀應(yīng)用硬件環(huán)境：支持MEasyHMI2.0的MYIR開發(fā)板一塊界面介紹：圖2-3-1界面左側(cè)為心電波形動態(tài)繪制區(qū)域。界面右側(cè)為ECG,NIBP,SPO2,RESP,TEMP等數(shù)據(jù)的動態(tài)顯示區(qū)域。測試步驟：界面右側(cè)的ECG,NIBP,SPO2,RESP,TEMP等數(shù)據(jù)每隔一秒刷新一次。公共服務(wù)本章節(jié)演示使用MsyHMI2.0軟件環(huán)境:取票機應(yīng)用硬件環(huán)境：支持MEasyHMI2.0的MYIR開發(fā)板一塊界面介紹：圖2-4-1圖2-4-2圖2-4-31.默認取票碼為測試步驟：點擊屏幕上的軟鍵盤，輸入取票碼myir2020取票碼輸入正確就會彈出票成功的動畫，15秒后自動退出，也可點擊右上角按鈕退出。取票碼輸入錯誤會彈出出票失敗的動畫，10出，也可點擊右上角按鈕退出。智能家電本章節(jié)演示使用MsyHMI2.0軟件環(huán)境:洗衣機應(yīng)用硬件環(huán)境：支持MEasyHMI2.0的MYIR開發(fā)板一塊界面介紹：圖2-5-1標注1為洗衣機的洗衣模式選擇區(qū)域，可直接點擊對應(yīng)的模式，也可通過滑動中間的旋鈕來進行選擇模式。標注2為洗衣機的洗衣模式對應(yīng)的洗衣參數(shù)，此部分不可操作，根據(jù)洗衣模式自動選擇。標注3為洗衣機開始工作的按鈕，點擊之后進入正在洗衣界面，再次點擊停止洗衣返回到洗衣主界面。圖2-5-2測試步驟：通過標注1所在區(qū)域選擇一個洗衣模式，然后點擊標注3在洗衣機應(yīng)用界面點擊退出按鈕可退出洗衣機應(yīng)用。系統(tǒng)本章節(jié)演示使用MsyHMI2.0通過系統(tǒng)信息應(yīng)用可以來查看系統(tǒng)基本信息，網(wǎng)絡(luò)信息，版權(quán)信息。通過系統(tǒng)設(shè)置應(yīng)用可以設(shè)置系統(tǒng)時間和日期，網(wǎng)絡(luò)的ip、netmask、gateway、dns，wifi軟件環(huán)境:系統(tǒng)信息應(yīng)用系統(tǒng)設(shè)置應(yīng)用文件瀏覽器應(yīng)用硬件環(huán)境：支持MEasyHMI2.0的MYIR開發(fā)板一塊界面介紹：圖2-6-1圖2-6-2圖2-6-3

圖2-6-4圖2-6-5圖2-6-6WIFI

圖2-6-7測試步驟：點擊主界面系統(tǒng)信息應(yīng)用進入系統(tǒng)信息界面，默認會顯示基本信息的界面。選擇左側(cè)導(dǎo)航欄的網(wǎng)絡(luò)信息，版權(quán)信息，可切換進入網(wǎng)絡(luò)信息，版權(quán)信息的界面。點擊左上角的返回按鈕可退出系統(tǒng)信息界面。選擇左側(cè)導(dǎo)航欄的以太網(wǎng)設(shè)置，wifi設(shè)置可切換進入以太網(wǎng)設(shè)置界面，wifi才會被刷新。在網(wǎng)絡(luò)設(shè)置界面點擊ip地址、子網(wǎng)掩碼、網(wǎng)關(guān)、dns輸入框會彈出軟鍵盤，軟鍵盤只能按照IPV4在wf設(shè)置界面點擊右上角的滑動開關(guān)，可開啟wf,并自動掃描附近的wf有設(shè)置密碼的wf可以直接連接。點擊左上角的返回按鈕可退出系統(tǒng)設(shè)置界面。點擊文件夾圖片可進入下一級目錄，點擊<點擊左上角得返回按鈕，可退出文件瀏覽器應(yīng)用。MEasyHMI2.0應(yīng)用開發(fā)本章重點介紹如何構(gòu)建MsyHMI2.0的開發(fā)編譯環(huán)境，旨在幫助用戶更好更快捷的通過QT5來開發(fā)自己的產(chǎn)品。其中包括嵌入式QT5建，qk編譯環(huán)境的搭建，QTrtor安裝和配置及MsyHMI應(yīng)用的編譯與運行。QT5.8版本以上可以支持QM的2Dnd,參見：httpsdo.qt.oQtQuk2Dndrr/，但是相比OpnG渲染，還存在一些局限，具體查閱QT官方說明：httpsdo.qt.oQtQuk2Dndrrqtquk2drndrr-ttons.ht。我們提供帶GPU支持和不帶GPU支持兩種平臺下的代碼pp2.t.z和pp2_nopu.t.z.不帶GPU的版本改寫了一些用到hdrffts的界面，將QtMutd下的doOutput模塊替換為我們自己編寫的MdoOutput模塊。這兩種源碼均位于光盤文件的04-nu_ourMsy_HMI2.0/目錄，用戶根據(jù)實際所采用的平臺拷貝相應(yīng)的代碼到ubuntu目錄工作目錄，并解壓出來使用。環(huán)境搭建本章講述的MsyHMI2.0的環(huán)境包含開發(fā)板上的QT5運行環(huán)境和ubuntu主機端的的qk及交叉編譯工具鏈。AM335X系列開發(fā)板上的QT5運行環(huán)境和ubuntu主機端的qk及交叉編譯工具鏈是通過budroot編譯生成的。.MX6U系列和TM32MP1系列開發(fā)板上的QT5運行環(huán)境和ubuntu主機端的qk和交叉編譯工具鏈是通過yoto編譯生成的，具體操作參見對應(yīng)產(chǎn)品的軟件開發(fā)手冊。表3-1-1AM335X,i.MX6UL,STM32MP1系列開發(fā)板編譯QT開發(fā)板文檔章節(jié)MYD-C335X-MYD-C335X-GWLinux4.14.67開發(fā)手冊.pdf3.4編譯MYD-MYD-Y6ULX-LinuxDevelopmentGuide_zh3.3構(gòu)建文件系統(tǒng)-構(gòu)建GUIQt5MYS-MYS-6ULX-LinuxDevelopmentGuide_zh.pdf3.3構(gòu)建文件系統(tǒng)-構(gòu)建GUIQt5MYD-MYD-YA157CLinux軟件開發(fā)手冊.pdf4.5.2QT5開發(fā)工具QTCreator表3-1-2AM335X,i.MX6UL,STM32MP1安裝QT開發(fā)板文檔章節(jié)MYD-C335X-MYD-C335X-GWLinux4.14.67開發(fā)手冊.pdf5.1安裝QTMYD-MYD-Y6ULX-LinuxDevelopmentGuide_zh5.1安裝QTMYS-MYS-6ULX-LinuxDevelopmentGuide_zh.pdf5.1安裝QTMYD-MYD-YA157CLinux軟件開發(fā)手冊.pdf8.2安裝QTQT5開發(fā)工具QTCreator表3-1-3AM335X,i.MX6UL,STM32MP1系列開發(fā)板配置QT開發(fā)板文檔章節(jié)MYD-C335X-MYD-C335X-GWLinux4.14.67開發(fā)手冊.pdf5.2配置QTMYD-MYD-Y6ULX-LinuxDevelopmentGuide_zh5.2配置QTMYS-MYS-6ULX-LinuxDevelopmentGuide_zh.pdf5.2配置QTMYD-MYD-YA157CLinux軟件開發(fā)手冊.pdf8.3編譯HMI2.0本章節(jié)主要講述MEasyHMI2.0注意：因各板卡的配套使用的qtcreator版本不同，可能會存在圖片和你當(dāng)前使用qtcreator界面不同。本章節(jié)下面所有圖片取自qtCreator4.8配套我們提供MEasyHMI2.0源碼位于光盤文件的_/04-Linux_Source/MEasy_HMI2.0/目錄，將mxapp2.tar.gz拷貝到ubuntu下面講述如何將mxapp2這個工程導(dǎo)入到QTCreator中，打開QTCreatorFile->OpenFileorProject然后彈出如圖3-2-1選擇框，進入mxapp2工程目錄，點擊并點擊Open按鈕即可打開mxapp2這個工程。圖3-2-1打開工程后進入配置頁面，選擇編譯工具鏈，這里直接選擇3.1章配置好的kits，點擊ConfigureProject圖3-2-2配置進入pp2工程后即可看到整個工程的目錄結(jié)構(gòu)，如圖3-2-3選擇s模式，然后可以選擇右下角小錘子圖標進行編譯整個工程，或者通過點擊菜單欄BuildBuildProject"mxapp2",進行編譯整個工程。圖3-2-3工程目錄編譯過程會可以從底部Table欄4CompileOutput中看到，如圖3-2-4所示。圖3-2-4編譯中出現(xiàn)的錯誤和警告信息可以從底部Table欄1Issues中看到，如圖3-2-5圖3-2-5運行MEasyHMI2.0本章節(jié)主要講述MsyHMI2.0板。注意：因各板卡的配套使用的qtcreator版本不同，可能會存在圖片和你當(dāng)前使用qtcreator界面不同。本章節(jié)下面所有圖片取自qtCreator4.8配套方法一：通過配置QtCreator直接上傳運行配置QtCreator的遠程設(shè)備Tools->Options->Devices進入Devices類型選擇頁面，選擇Devices然后在這個頁面點擊右上角的Add..按鈕，進入設(shè)備類型選擇，選擇GenericLinuxDevice。圖3-3-1點擊StartWizard按鈕，進入設(shè)備配置頁面，按照下圖進行配置，IP地址需要登錄到板子上進行查看，配置完成點擊Next按鈕，會自動進入設(shè)備連通圖3-3-2如果上述步驟已完成，下面步驟只是針對IP地址改變的時候進行操作。通過選擇菜單欄Tools->Options->Devices在Device中選擇myir(defaultforGenericLinux)，在TypeSpecific欄輸入開發(fā)板IP（需要通過串口登錄到開發(fā)板查看）、用戶名，不需要填寫密碼。如圖3-3-3所示。圖3-3-3測試遠端設(shè)備連通性輸入完畢后點擊Apply按鈕，然后點擊右側(cè)Test按鈕會自動彈出測試連接的窗口當(dāng)出現(xiàn)Devicetestfinishedsuccessfully.字樣意味著測試連接成圖3-3-4測試連接成功后，返回到QtCreator的主界面，要指定你運行的程序，選擇需要Run的程序為mxapp2。如圖3-3-5圖3-3-5在MYD-C335X-GWBuild&指定完需要運行的程序以后，還需要指定程序的運行參數(shù)，依次點擊左側(cè)Projects->Build&

->myir-

下拉到RunCommandlinearguments輸入框?qū)懭?-plugintslib:$TSLIB_TSDEVICE,即完成了程序運行參數(shù)的指定。如圖3-3-6圖3-3-6Build&指定完需要運行的程序以后，還需要指定程序的運行環(huán)境變量，依次點擊左側(cè)Projects->Build&

->myir-

下拉到Enviroment配置欄，點擊Details按鈕，再點擊add按鈕，依次添加下列環(huán)境變量。添加完成可以使用FetchDeviceEnviroment按鈕來驗證。如圖3-3-7所GPU平臺的環(huán)境變量設(shè)置圖3-3-7帶GPU不帶GPU圖3-3-8不帶GPU殺掉開發(fā)板上正在運行的mxapp2指定完運行的參數(shù)以后，還需要登錄到開發(fā)板，殺掉當(dāng)前運行的MEasyHMI2.0##killall上傳程序到開發(fā)板并運行點擊左下角的運行按鈕，或者點擊菜單欄Build->Run就可以將mxapp2上傳至開發(fā)板并運行。7寸屏幕上可以看到MEasyHMI2.0的界面，運行調(diào)試信息可以在3ApplicationOutput中看到，如圖3-3-9所示。圖3-3-9方法二：直接拷貝編譯好的程序到開發(fā)板點擊左側(cè)Projects按鈕,可以看到工程的編譯配置，Gnr欄中uddrtory顯示的就是pp2工程編譯輸出的路徑，可以從這里直接把程序拷貝到開發(fā)板中。如圖3-3-10所示。圖3-3-10#source#./mxapp2--pluginQStandardPaths:XDG_RUNTIME_DIRnotset,defaultingto'/tmp/runtime-root'qml:index=0#source#./mxapp2--pluginQStandardPaths:XDG_RUNTIME_DIRnotset,defaultingto'/tmp/runtime-root'qml:index=0qml:index=0net_status1libpngwarning:iCCP:knownincorrectsRGBprofilelibpngwarning:iCCP:knownincorrectsRGBprofilelibpngwarning:iCCP:knownincorrectsRGBprofilelibpngwarning:iCCP:knownincorrectsRGBprofilelibpngwarning:iCCP:knownincorrectsRGBprofilelibpngwarning:iCCP:knownincorrectsRGBprofilelibpngwarning:iCCP:knownincorrectsRGB##qt.qpa.input:X-lessxkbcommonnotavailable,notperformingkeymappingqml:index=0qml:index=0net_status1libpngwarning:iCCP:knownincorrectsRGBprofilelibpngwarning:iCCP:knownincorrectsRGBprofilelibpngwarning:iCCP:knownincorrectsRGBprofilelibpngwarning:iCCP:knownincorrectsRGBprofilelibpngwarning:iCCP:knownincorrectsRGBprofilelibpngwarning:iCCP:knownincorrectsRGBprofilelibpngwarning:iCCP:knownincorrectsRGBprofilelibpngwarning:iCCP:knownincorrectsRGBprofilelibpngwarning:iCCP:knownincorrectsRGBprofilelibpngwarning:iCCP:knownincorrectsRGBprofilelibpngwarning:iCCP:knownincorrectsRGBMEasyHMI2.0應(yīng)用集成在前面的章節(jié)中我們介紹了如何構(gòu)建MsyHMI2.0的運行時環(huán)境，編譯環(huán)境，開發(fā)過程。本章將重點介紹如何將MsyHMI2.0標板系統(tǒng)當(dāng)中，使之開機就能啟動。AM335X系列開發(fā)板上使用的是Buildroot來生成文件系統(tǒng)。i.MX6UL系列開發(fā)板和STM32MP157系列開發(fā)板使用的是Yocto來生成文件系統(tǒng)。關(guān)于MEasyHMI2.0應(yīng)用集成參考對應(yīng)章節(jié)。AM335X系列開發(fā)板上集成MEasyHMI2.0MsyHMI2.0在MD-335X-G開發(fā)板上運行需要包含pp2應(yīng)用程序、QT5運行庫、fs庫、字體文件、音視頻以及圖片等資源文件。這些資源文件最終都由udoot整合為文件系統(tǒng)。udroot中包含由MI提供的預(yù)存文件和由udroot編譯生成的文件。由MYIR提供的文件放在myir-buildroot/board/myir/common/HMI2.0├──├──│├──modules-││└──│├──││└──│└──├──│└── └──└──├──│└── └──└──└──├──│├──│├──│├──│├──│├──│└──├──├──│├──Ascended│├──Borna│├──JohnDreamer-Rise-Epic│└──Nuvole├──└──以上這些文件都會buildroot在編譯過程中執(zhí)行myir-buildroot/board/myir/myd_c335x_gw/post-build.shifgrep-Eq"^BR2_PACKAGE_MEASY_HMI2.0=y$"${BR2_CONFIG};thenecho"\"includemeasy_hmi\""cp-aboard/myir/common/HMI2/*echo"\"notinclude由buildroot生成的文件都在myd_c335x_gw_hmi2.0_defconfig里面被配置，編譯結(jié)束后輸入到myir-buildroot/output/target目錄。最終由buildroot根據(jù)配置生成各種文件系統(tǒng)位于myir-buildroot/output/images目錄。在buildroot目錄執(zhí)行下面兩行命令即可完成目標板運行MEasyHMI2.0第一次編譯比較耗時間，編譯完成后參考MYD-C335X-GWLinux4.14.67開發(fā)手冊.pdf的第6i.MX6UL系列開發(fā)板上集成MEasyHMI2.0STM32MP157系列開發(fā)板上集成MEasyHMI2.0MsyHMI2.0在MD-A157系列開發(fā)板上運行需要包含pp2應(yīng)用程序、QT5運行庫、fs庫、字體文件、音視頻以及圖片等資源文件。這些資源文件最終都由yoto整合為文件系統(tǒng)。yoto中包含由MI提供的預(yù)存文件和由yoto編譯生成的文件。由MYIR提供的文件放在layers/meta-myir-st/recipes-app/qt-demo├──├──qt-├──├──├──└──├──│├──│└──├──├──├──├──├──├──└──├──│└──├──│└──├──│├──Borna│└──The├──├──├──└──└──└──qt-以上文件在會使用yoto構(gòu)建方式編譯進帶QT庫的文件系統(tǒng)中，請查看“MD-A157Cnu軟件開發(fā)手冊的第4.5.2章了解詳細的構(gòu)建步驟。法如下：DISTRO=openstlinux-eglfsDISTRO=openstlinux-eglfsMACHINE=myirsourcelayers/meta-myir-st/scripts/envsetup.shbitbakemyir-image