2023年河北省職業(yè)院校技能大賽“多信息智能識(shí)別控制的技術(shù)與應(yīng)用”（高職組）賽項(xiàng)競(jìng)賽樣題第3套

2023年河北省職業(yè)院校技能大賽

多信息智能識(shí)別控制的技術(shù)與應(yīng)用（高職組）

競(jìng)賽樣題

第一部分智能識(shí)別應(yīng)用

任務(wù)一：OpenCV分類(lèi)器的使用

新建Python項(xiàng)目，通過(guò)編寫(xiě)代碼運(yùn)行實(shí)現(xiàn)以下內(nèi)容

1、根據(jù)“競(jìng)賽資料\第一部分\任務(wù)一\1”中提供的圖片數(shù)據(jù)集，調(diào)

用opencv中的分類(lèi)器，對(duì)給定圖片數(shù)據(jù)集中的人臉進(jìn)行檢測(cè)，要求

使用綠色框?qū)⑷四槝?biāo)出，紅色框?qū)⒀劬?biāo)出，并將標(biāo)注后圖片集保存

到“提交資料\第一部分\任務(wù)一\1”目錄下。

2、根據(jù)“競(jìng)賽資料\第一部分\任務(wù)一\2”中提供的視頻數(shù)據(jù)集，調(diào)

用opencv中的分類(lèi)器，對(duì)視頻中的面部微笑進(jìn)行檢測(cè)，要求檢測(cè)到

微笑時(shí)使用藍(lán)色方框框出，并標(biāo)注字符‘smile’打印展示在視頻中，

并將識(shí)別標(biāo)注后的視頻保存到“提交資料\第一部分\任務(wù)一\2”目錄

下。

3、根據(jù)“競(jìng)賽資料\第一部分\任務(wù)一\3”中提供的視頻文件，調(diào)用

OpenCV分類(lèi)器檢測(cè)視頻中的行人并用綠色框進(jìn)行標(biāo)注，將框的中心

點(diǎn)用紅色點(diǎn)進(jìn)行標(biāo)注，將識(shí)別標(biāo)注處理后的視頻保存到“提交資料\

—1—

第一部分\任務(wù)一\3”目錄下。

完成后，保存本工程所有文件及代碼到競(jìng)賽U盤(pán)“提交資料\第一部

分\任務(wù)一”目錄下。

任務(wù)二：OpenCV圖像識(shí)別

新建Python項(xiàng)目，通過(guò)編寫(xiě)代碼運(yùn)行實(shí)現(xiàn)以下內(nèi)容

1.加載競(jìng)賽提供的“競(jìng)賽資料\第一部分\任務(wù)二”中提供的2張圖片，

使用OpenCV顏色轉(zhuǎn)換算法將圖像轉(zhuǎn)換為灰度圖像。使用二值化算法

將圖像轉(zhuǎn)換為二值圖像，并檢測(cè)出圖像中的所有直線。將直線繪制到

原始圖像上，并將結(jié)果保存到“提交資料\第一部分\任務(wù)二\1”目錄

下。

2.給定一個(gè)有噪聲的黑白圖像，將圖像讀取到Python中，并將其轉(zhuǎn)

換為灰度圖像，將處理后的圖像保存到“提交資料\第一部分\任務(wù)二

\2”目錄下。

3.使用禮帽操作進(jìn)行去噪處理，并將處理后的圖片保存到“提交資

料\第一部分\任務(wù)二\3”目錄下。請(qǐng)?jiān)谶@個(gè)目錄中提供處理前和處

理后的圖片。

4.嘗試調(diào)整禮帽操作的核大小并比較不同參數(shù)下的處理結(jié)果。將最終

的核大小和輸出結(jié)果保存到“提交資料\第一部分\任務(wù)二\4”目錄

下。請(qǐng)?jiān)谖募A中提供至少兩種不同核大小的處理結(jié)果。

完成后，保存本工程所有代碼到競(jìng)賽U盤(pán)“提交資料\第一部分\任務(wù)

—2—

二”目錄下。

第二部分智能數(shù)據(jù)處理

任務(wù)一：OpenCV邊界填充

新建Python項(xiàng)目，編寫(xiě)代碼調(diào)用OpenCV相關(guān)接口運(yùn)行實(shí)現(xiàn)對(duì)“競(jìng)賽

資料\第二部分\任務(wù)一”中提供的數(shù)據(jù)集的以下操作：

1.將數(shù)據(jù)集中所有圖片使用BORDER_REPLICATE函數(shù)處理填充，將處

理后的圖片保存到“提交資料\第二部分\任務(wù)一\1”目錄下。

2.將數(shù)據(jù)集中所有圖片使用BORDER_REFLECT函數(shù)處理填充，將處理

后的圖片保存到“提交資料\第二部分\任務(wù)一\2”目錄下。

3.將數(shù)據(jù)集中所有圖片使用BORDER_REPLICATE函數(shù)處理填充，將處

理后的圖片保存到“提交資料\第二部分\任務(wù)一\3”目錄下。

4.將數(shù)據(jù)集中所有圖片使用BORDER_WRAP函數(shù)處理填充，將處理后的

圖片保存到“提交資料\第二部分\任務(wù)一\4”目錄下。

5.將數(shù)據(jù)集中所有圖片使用BORDER_CONSTANT函數(shù)處理填充，將處理

后的圖片保存到“提交資料\第二部分\任務(wù)一\4”目錄下。

完成后，保存本工程所有代碼到競(jìng)賽U盤(pán)“提交資料\第二部分\任務(wù)

一”目錄下。

任務(wù)二：OpenCV前景提取

—3—

新建Python項(xiàng)目，對(duì)“競(jìng)賽資料\第二部分\任務(wù)二”中提供的圖片

進(jìn)行以下操作：

1.對(duì)“競(jìng)賽資料\第二部分\任務(wù)二”中提供圖像使用GrabCut算法進(jìn)

行交互式前景提取，將處理后的圖片保存，并提交到“提交資料\第

二部分\任務(wù)二\1”目錄下。

2.把所有前景提取后的圖像與原圖進(jìn)行水平拼接，將拼接后的圖片保

存，并提交到“提交資料\第二部分\任務(wù)二\2”目錄下。

3.對(duì)“競(jìng)賽資料\第二部分\任務(wù)二”中提供的視頻進(jìn)行稠密光流檢測(cè)，

將處理后的視頻保存，并提交到“提交資料\第二部分\任務(wù)二\3”目

錄下。

4.對(duì)“競(jìng)賽資料\第二部分\任務(wù)二”中提供的視頻進(jìn)行背景減除操作，

將處理后的視頻保存，并提交到“提交資料\第二部分\任務(wù)二\3”目

錄下。

完成后，保存本工程所有代碼到競(jìng)賽U盤(pán)“提交資料\第二部分\任務(wù)

二”目錄中。

第三部分智能模型構(gòu)建

任務(wù)一:電子器件缺陷檢測(cè)模型參數(shù)設(shè)定

在“競(jìng)賽資料\第三部分\任務(wù)一”提供的TensorFlow模型構(gòu)建代碼

中找到并修改設(shè)定以下參數(shù)：

—4—

1.設(shè)定填寫(xiě)input_shape的值,查看自己構(gòu)建模型后的Totalparmas,

值。Totalparmas代表模型的訓(xùn)練參數(shù)個(gè)數(shù)，input_shape代表圖片

的輸入尺寸（要求最低為224）。

2.設(shè)定填寫(xiě)epochs的值。epochs代表訓(xùn)練輪數(shù)，表示完成模型訓(xùn)練

過(guò)程需要遍歷整個(gè)訓(xùn)練數(shù)據(jù)集的次數(shù)。

3.設(shè)定填寫(xiě)batch_size的值。batch_size表示模型每次更新參數(shù)所

需要的樣本數(shù)量。

4.設(shè)置訓(xùn)練的損失函數(shù)為交叉熵?fù)p失函數(shù)。

5.將模型中的所有激活函數(shù)設(shè)置為“RectifiedLinearUnit（修正

線性單元）”。

6.設(shè)置模型優(yōu)化器為自適應(yīng)學(xué)習(xí)率的優(yōu)化器AdaptiveMoment

Estimation。

完成后，將每一步的代碼截圖保存至競(jìng)賽U盤(pán)中答題卡的指定位置上，

參數(shù)要求合理以確保能在比賽時(shí)間內(nèi)完成模型訓(xùn)練。

任務(wù)二:電子器件缺陷檢測(cè)模型訓(xùn)練與優(yōu)化

根據(jù)任務(wù)一修改完畢的代碼，合理優(yōu)化模型完成模型訓(xùn)練，訓(xùn)練要求

如下：

—5—

1.對(duì)提供的電器器件訓(xùn)練集圖片進(jìn)行隨機(jī)翻轉(zhuǎn)、平移、隨機(jī)裁剪、隨

機(jī)縮放等數(shù)據(jù)增強(qiáng)操作，并截圖對(duì)應(yīng)代碼塊保存到競(jìng)賽U盤(pán)中答題卡

的指定位置上。

2.合理調(diào)整及優(yōu)化代碼（參考：網(wǎng)絡(luò)結(jié)構(gòu)、輸入圖片大小、優(yōu)化器、

batch_size等），使得測(cè)試集上的得分(test_score)不低于85%，并

截圖保存到競(jìng)賽U盤(pán)中答題卡的指定位置上。

3.在模型訓(xùn)練中加入回調(diào)函數(shù)使得能在tensorboard中對(duì)訓(xùn)練過(guò)程

進(jìn)行可視化，運(yùn)行tensorboard，查看訓(xùn)練過(guò)程中的準(zhǔn)確率和損失值

的變化圖像，并截圖保存到競(jìng)賽U盤(pán)中答題卡的指定位置上。

4.對(duì)于訓(xùn)練好的所有模型文件進(jìn)行保存，要求指定模型格式為hdf5，

并保存到競(jìng)賽U盤(pán)“提交資料\第三部分\任務(wù)二\4”目錄下。

完成后，保存本工程所有文件和代碼到U盤(pán)“提交資料\第三部分\

任務(wù)二”目錄中。

任務(wù)三:模型調(diào)用與預(yù)測(cè)

新建Python項(xiàng)目，通過(guò)編寫(xiě)代碼實(shí)現(xiàn)以下功能

1.調(diào)用任務(wù)二中訓(xùn)練保存的hdf5模型。

2.選擇準(zhǔn)確率較高的模型對(duì)“競(jìng)賽資料\第三部分\任務(wù)三”中提供的

缺陷電子器件數(shù)據(jù)集進(jìn)行逐一進(jìn)行預(yù)測(cè)并將缺陷位置用紅色框在原

圖上標(biāo)注出來(lái)，將預(yù)測(cè)完畢的驗(yàn)證集保存到競(jìng)賽U盤(pán)“提交資料\第

三部分\任務(wù)三”中。

完成后，保存本工程所有代碼及模型到競(jìng)賽U盤(pán)“提交資料\第三部

—6—

分\任務(wù)三”目錄中。

第四部分智能模型部署

任務(wù)一:表情燈控系統(tǒng)部署

根據(jù)“競(jìng)賽資料\第五部分\任務(wù)一”中提供的文件，按照下述步驟在

競(jìng)賽設(shè)備上進(jìn)行表情燈控系統(tǒng)的項(xiàng)目部署。

1.在局域網(wǎng)內(nèi)完成路由器網(wǎng)絡(luò)的配置，設(shè)定無(wú)線網(wǎng)絡(luò)的名稱為

“JNDS-XX”，XX為你的工位號(hào)（如JNDS-01），八位密碼自行設(shè)定；

設(shè)定無(wú)線網(wǎng)絡(luò)DHCP服務(wù)的開(kāi)始地址為192.168.x.100，結(jié)束地址為

192.168.x.199，x為你的工位號(hào)（如192.168.1.100-192.168.1.199）；

完成后根據(jù)答題卡要求將WiFi名稱、密碼和設(shè)置截圖填寫(xiě)在答題卡

的指定位置上。

2.根據(jù)“AI實(shí)訓(xùn)平臺(tái)使用教程”，查看AI實(shí)訓(xùn)平臺(tái)IP地址并修改

wz_biaoqing.py中的HOST的IP為AI實(shí)訓(xùn)平臺(tái)IP。

3.根據(jù)“AI實(shí)訓(xùn)平臺(tái)使用教程”，使用指定軟件將修改后的AI實(shí)訓(xùn)

平臺(tái)代碼傳輸至AI實(shí)訓(xùn)平臺(tái)，創(chuàng)建并保存在桌面的test1文件夾中。

4.根據(jù)“AI實(shí)訓(xùn)平臺(tái)使用教程”，在AI實(shí)訓(xùn)平臺(tái)上運(yùn)行使用

rknn_transfer.py將提供的hdf5模型轉(zhuǎn)換為rknn模型，模型同樣

保存在桌面的test1文件夾中。

—7—

5.根據(jù)“AI實(shí)訓(xùn)平臺(tái)使用教程”，在AI實(shí)訓(xùn)平臺(tái)上運(yùn)行修改好的

wz_biaoqing.py調(diào)用轉(zhuǎn)換好的rknn模型，在競(jìng)賽設(shè)備上實(shí)現(xiàn)攝像頭

檢測(cè)人臉表情識(shí)別。

6.修改終端節(jié)點(diǎn)代碼中的SERVER及WiFi名稱和密碼，其中SERVER

為AI實(shí)訓(xùn)平臺(tái)IP,WiFi名稱和密碼為當(dāng)前WiFi信息。

7.根據(jù)“終端節(jié)點(diǎn)使用教程”，將修改后的代碼下載到RGB三色燈模

塊對(duì)應(yīng)的終端節(jié)點(diǎn)上并運(yùn)行代碼。

完成上述步驟后，實(shí)現(xiàn)表情燈控系統(tǒng)聯(lián)動(dòng)，將所有修改過(guò)的代碼保存

到U盤(pán)“提交資料\第四部分\任務(wù)一”目錄中，分析代碼并將系統(tǒng)的

效果現(xiàn)象記錄在答題卡的指定位置上。

任務(wù)二:水果識(shí)別系統(tǒng)終端配置

根據(jù)任務(wù)一中提供的“終端節(jié)點(diǎn)使用教程”及基礎(chǔ)示例代碼，完成“水

果識(shí)別系統(tǒng)”的終端功能實(shí)現(xiàn)，具體功能如下。

1.在競(jìng)賽平臺(tái)上找到RGB三色燈模塊，根據(jù)提供的基礎(chǔ)示例代碼，編

寫(xiě)并修改終端節(jié)點(diǎn)代碼實(shí)現(xiàn)以下功能：要求終端可以紅黃兩種顏色模

擬蘋(píng)果和香蕉顏色，當(dāng)節(jié)點(diǎn)底板上按鍵，按下奇數(shù)次時(shí)，RGB三色燈

亮紅燈；按下偶數(shù)次時(shí)，RGB三色燈亮黃燈。

2.在競(jìng)賽平臺(tái)上找到點(diǎn)陣顯示模塊，根據(jù)提供的基礎(chǔ)示例代碼，編寫(xiě)

并修改終端節(jié)點(diǎn)代碼實(shí)現(xiàn)以下功能：要求終端可以顯示“這是蘋(píng)果”

和“這是香蕉”，當(dāng)節(jié)點(diǎn)底板上按鍵，按下奇數(shù)次時(shí)，點(diǎn)陣顯示“這

—8—

是蘋(píng)果”；按下偶數(shù)次時(shí)，點(diǎn)陣顯示“這是香蕉”模擬水果識(shí)別結(jié)果

顯示。

完成上述功能后將程序代碼燒寫(xiě)到對(duì)應(yīng)的終端節(jié)點(diǎn)上，實(shí)現(xiàn)水果識(shí)別

終端系統(tǒng)的配置，將所有編寫(xiě)修改的代碼保存到競(jìng)賽U盤(pán)“提交資料

\第四部分\任務(wù)二”目錄中。

任務(wù)三:水果識(shí)別系統(tǒng)部署

根據(jù)任務(wù)一中提供的示例代碼，在競(jìng)賽平臺(tái)上完成“水果識(shí)別系統(tǒng)”

的功能實(shí)現(xiàn)及項(xiàng)目部署，實(shí)現(xiàn)對(duì)攝像頭的水果的識(shí)別檢測(cè)并使用燈光

模擬水果顏色、使用點(diǎn)陣顯示水果識(shí)別結(jié)果。

1.參考任務(wù)一中AI實(shí)訓(xùn)平臺(tái)的代碼及模型轉(zhuǎn)換代碼，修改代碼實(shí)現(xiàn)

將“競(jìng)賽資料\第四部分\任務(wù)二”中提供的pb模型轉(zhuǎn)換為rknn模型；

編寫(xiě)代碼調(diào)用rknn模型進(jìn)行檢測(cè)，在競(jìng)賽設(shè)備上調(diào)用攝像頭實(shí)現(xiàn)對(duì)

提供的水果的識(shí)別檢測(cè)（允許一定識(shí)別誤差）；在攝像頭畫(huà)面上方用

黃色字體顯示“水果識(shí)別系統(tǒng)”，在攝像頭畫(huà)面右上角，用紅色字體

顯示識(shí)別結(jié)果，代碼傳輸至AI實(shí)訓(xùn)平臺(tái)的桌面自行創(chuàng)建“test3”目

錄下運(yùn)行。

2.在競(jìng)賽平臺(tái)上找到RGB三色燈模塊，在任務(wù)二的基礎(chǔ)上，修改終端

節(jié)點(diǎn)代碼及AI平臺(tái)水果識(shí)別代碼實(shí)現(xiàn)以下功能的增加：當(dāng)AI實(shí)訓(xùn)平

臺(tái)程序識(shí)別到蘋(píng)果時(shí)，使用RGB三色