邊緣智能計算應(yīng)用課件：基于rknn的手掌檢測

基于TFLite的手掌檢測模型部署邊緣智能計算應(yīng)用基于rknn的手掌檢測邊緣智能計算應(yīng)用職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實(shí)施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08基于rknn的手掌檢測了解RKNN的相關(guān)知識了解仿射變化，歸一化，量化等概念了解OpenCV的相關(guān)知識掌握OpenCV的使用掌握掌握RKNN模型的加載和使用掌握如何使用RKNN模型去檢測手掌掌握手掌檢測的流程職業(yè)能力目標(biāo)01知識目標(biāo)技能目標(biāo)職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實(shí)施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08基于rknn的手掌檢測

此任務(wù)要求使用轉(zhuǎn)換后的RKNN模型對手掌進(jìn)行目標(biāo)檢測和識別，并繪制手掌輪廓。任務(wù)描述任務(wù)要求掌握手掌目標(biāo)檢測；完成手掌圖片的截??；掌握手掌關(guān)節(jié)節(jié)點(diǎn)檢測。任務(wù)描述與要求02職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實(shí)施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08基于rknn的手掌檢測任務(wù)分析我們要如何使用RKNN模型去檢測手掌呢？我們應(yīng)該用什么辦法去獲取手掌的關(guān)鍵點(diǎn)呢？任務(wù)分析與計劃03任務(wù)計劃表項(xiàng)目名稱基于TFLite的手掌檢測模型部署任務(wù)名稱基于rknn的手掌檢測計劃方式自主設(shè)計計劃要求請用8個計劃步驟來完整描述出如何完成本次任務(wù)序號任務(wù)計劃1

2

3

45678通過上面的思考，你是否對本任務(wù)要完成的工作有所了解？讓我們一起來制訂完成本次任務(wù)的實(shí)施計劃吧！任務(wù)分析與計劃03職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實(shí)施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08基于rknn的手掌檢測04知識儲備手掌關(guān)鍵點(diǎn)介紹21非極大值抑制3圖片的仿射變化4置信度與置信區(qū)間5邊緣填充算法和np.pad()函數(shù)04手掌關(guān)鍵點(diǎn)介紹在計算機(jī)視覺領(lǐng)域中，手勢識別被廣泛應(yīng)用于人機(jī)交互、手語識別等場景中，而手勢識別依賴于手掌關(guān)鍵點(diǎn)檢測，并且隨著移動終端和移動互聯(lián)網(wǎng)的普及，手勢識別也廣泛應(yīng)用于移動終端中。04手掌關(guān)鍵點(diǎn)介紹手掌關(guān)鍵點(diǎn)是指手掌中的各個關(guān)節(jié)點(diǎn)，現(xiàn)有技術(shù)中手部關(guān)鍵點(diǎn)檢測最常用的方法是使用深度卷積神經(jīng)網(wǎng)絡(luò)，通過深度卷積神經(jīng)網(wǎng)絡(luò)輸出手部關(guān)鍵點(diǎn)的三維坐標(biāo)。04手掌關(guān)鍵點(diǎn)介紹手掌的21個關(guān)鍵點(diǎn)04知識儲備手掌關(guān)鍵點(diǎn)介紹邊緣填充算法和np.pad()函數(shù)21非極大值抑制3圖片的仿射變化4置信度與置信區(qū)間504邊緣填充算法我們在獲取的圖像往往會存在一些無關(guān)的信息，因此我們要對圖像進(jìn)行預(yù)處理，其主要目的是消除圖像中無關(guān)的信息，恢復(fù)有用的真實(shí)信息，增強(qiáng)有關(guān)信息的可檢測性和最大限度地簡化數(shù)據(jù)，從而改進(jìn)特征抽取、圖像分割、匹配和識別的可靠性。04邊緣填充算法下面將介紹和圖像預(yù)處理相關(guān)的兩個應(yīng)用：邊緣填充算法和np.pad（）函數(shù)04邊緣填充算法邊緣填充算法是先求出多邊形的每條邊與掃描線的交點(diǎn)，然后將交點(diǎn)右側(cè)的所有像素顏色全部取為補(bǔ)色（或反色）。按任意順序處理完多邊形的所有邊后，就完成了多邊形的填充任務(wù)。04邊緣填充算法邊緣填充算法利用了圖像處理中的求“補(bǔ)”或求“反”的概念，對于黑白圖像，求補(bǔ)就是把RGB(1,1,1)（白色）的像素置為RGB(0,0,0)（黑色），反之亦然。對于彩色圖像，求補(bǔ)就是將背景色置為填充色，反之亦然。04邊緣填充算法在卷積神經(jīng)網(wǎng)絡(luò)中，為了避免因?yàn)榫矸e運(yùn)算導(dǎo)致輸出圖像縮小和圖像邊緣信息丟失，常常采用圖像邊緣填充技術(shù)，即在圖像四周邊緣填充0，使得卷積運(yùn)算后圖像大小不會縮小，同時也不會丟失邊緣和角落的信息。在Python的numpy庫中，常常采用numpy.pad()進(jìn)行填充操作。語法結(jié)構(gòu)參數(shù)解釋pad(array,pad_width,mode,**kwargs)返回值：數(shù)組array：表示需要填充的數(shù)組；pad_width：表示每個軸（axis）邊緣需要填補(bǔ)的長度。參數(shù)輸入方式為：（(before_1,after_1),…(before_N,after_N)）。mode：表示填充的方式（取值：str字符串或用戶提供的函數(shù)）,總共有11種填充模式；04邊緣填充算法填充方式‘constant’——表示連續(xù)填充相同的值，每個軸可以分別指定填充值，constant_values=（x,y）時前面用x填充，后面用y填充，缺省值填充0‘edge’——表示用邊緣值填充‘linear_ramp’——表示用邊緣遞減的方式填充‘maximum’——表示最大值填充‘mean’——表示均值填充‘median’——表示中位數(shù)填充‘minimum’——表示最小值填充‘reflect’——表示對稱填充‘symmetric’——表示對稱填充‘wrap’——表示用原數(shù)組后面的值填充前面，前面的值填充后面04知識儲備手掌關(guān)鍵點(diǎn)介紹21非極大值抑制3圖片的仿射變化4置信度與置信區(qū)間5邊緣填充算法和np.pad()函數(shù)非極大值抑制，簡稱為NMS算法，英文為Non-MaximumSuppression。其思想是搜素局部最大值，抑制非極大值。NMS算法在不同應(yīng)用中的具體實(shí)現(xiàn)不太一樣，但思想是一樣的。04非極大值抑制目標(biāo)檢測的過程中在同一目標(biāo)的位置上會產(chǎn)生大量的候選框，這些候選框相互之間可能會有重疊，此時我們需要利用非極大值抑制找到最佳的目標(biāo)邊界框，消除冗余的邊界框。04非極大值抑制而非極大值移植就是選擇其中置信度最大，并去除像素點(diǎn)較少的框。04非極大值抑制非極大值抑制，在計算機(jī)視覺任務(wù)中得到了廣泛的應(yīng)用，例如邊緣檢測、人臉檢測、目標(biāo)檢測（DPM，YOLO，SSD，F(xiàn)asterR-CNN）等。04非極大值抑制04知識儲備手掌關(guān)鍵點(diǎn)介紹21非極大值抑制3圖片的仿射變化4置信度與置信區(qū)間5邊緣填充算法和np.pad()函數(shù)圖像的幾何變換主要包括：平移、縮放、旋轉(zhuǎn)、仿射、透視等等。圖像變換是建立在矩陣運(yùn)算基礎(chǔ)上的，通過矩陣運(yùn)算可以很快的找到不同圖像的對應(yīng)關(guān)系。04圖片的仿射變化圖像的幾何變換主要分為三類：剛性變換、仿射變換和透視變換。04圖片的仿射變化仿射變換是建立在轉(zhuǎn)至矩陣叉乘基礎(chǔ)上以實(shí)現(xiàn)圖像的平移、縮放、旋轉(zhuǎn)、仿射、透視變換的方法。04圖片的仿射變化04知識儲備手掌關(guān)鍵點(diǎn)介紹21非極大值抑制3圖片的仿射變化4置信度與置信區(qū)間5邊緣填充算法和np.pad()函數(shù)我們先探究一個問題04置信度與置信區(qū)間假設(shè)你想知道美國有多少人熱愛足球。為了得到100％正確的答案，你可以做的唯一一件事是向美國的每一位公民詢問他們是否熱愛足球。根據(jù)維基百科，美國有超過3.25億的人口。與3.25億人談話并不現(xiàn)實(shí)，因此我們必須通過問更少的人來得到答案。04置信度與置信區(qū)間我們可以通過在美國隨機(jī)抽取一些人（與更少人交談）并獲得熱愛足球的人的百分比來做到這一點(diǎn)，但是我們不能100％確信這個數(shù)字是正確的，或者這個數(shù)字離真正的答案有多遠(yuǎn)。04置信度與置信區(qū)間所以，我們試圖實(shí)現(xiàn)的是獲得一個區(qū)間，例如，對這個問題的一個可能的答案是：「我95％相信在美國足球愛好者的比例是58％至62％」。這就是置信區(qū)間和置信度名字的來源，我們有一個區(qū)間，并且我們對它此一定的信心。04置信度與置信區(qū)間置信度：也稱可靠度，置信水平，即估計值與總體參數(shù)在一定允許的誤差范圍以內(nèi)，其相應(yīng)的概率有多大，這個相應(yīng)的概率稱作置信度。置信區(qū)間：置信區(qū)間是由樣本（總體樣本，不是真實(shí)樣本）構(gòu)造的對總體參數(shù)估計的一個區(qū)間，每一個置信區(qū)間會對應(yīng)一個置信水平，表示真實(shí)參數(shù)落在置信區(qū)間中的概率。置信區(qū)間隨著置信度的變化而變化。職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實(shí)施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08基于rknn的手掌檢測05在做模型轉(zhuǎn)換之前，需要搭建環(huán)境，安裝所需的Python依賴包，手動安裝以下依賴包：opencv-python==4.5.5.62certifi==2021.10.8matplotlib==3.1.0pillow==5.3.0thirdparty/rknn_toolkit-1.7.1-cp36-cp36m-linux_x86_64.whl

安裝依賴在命令行中，安裝依賴包可以寫一個或多個包同時安裝任務(wù)實(shí)施05任務(wù)實(shí)施導(dǎo)入依賴包安裝完依賴一定不要忘記導(dǎo)入哦！importcv2importnumpyasnpfrommatplotlibimportpyplotaspltfromPILimportImageimportcsvfromrknn.apiimportRKNNfromsrc.miscimportnon_max_suppression_fast,_get_hand_source_points,_coordinate_affine,_draw_palm,printSoursePoints,printDetectedPoints,printDetectedTangle,printAllTureIndex,printAllAnchorsTangle05rknn模型加載frame=cv2.imread('./images/liuxiang.jpg')im2=cv2.cvtColor(frame,cv2.COLOR_RGB2BGR)plt.imshow(im2)rknn模型載入函數(shù)任務(wù)實(shí)施05rknn模型加載任務(wù)實(shí)施加載模型./models/palm_detectionu8.rknn，并初始化運(yùn)行時加載模型./models/hand_landmarku8.rknn，并初始化運(yùn)行時讀取錨點(diǎn)文件./models/anchors.csv，用于被識別圖像的區(qū)域劃分05輸入圖片預(yù)處理任務(wù)實(shí)施為原圖補(bǔ)padding，時圖片變?yōu)檎叫慰s放圖片為256*256大小將圖片存儲空間保存為地址連續(xù)空間執(zhí)行成功輸出預(yù)處理后的圖片，如下圖：05手掌目標(biāo)檢測（CPU模擬rk3399pro的情況下運(yùn)算速度較慢）任務(wù)實(shí)施下圖是手掌檢測的關(guān)鍵點(diǎn)坐標(biāo)（顯示的數(shù)字的坐標(biāo)，為keypoints數(shù)組的偏移量所指向的元素）執(zhí)行成功后打印05模型置信度計算任務(wù)實(shí)施將模型輸出結(jié)果out_clf轉(zhuǎn)換為概率執(zhí)行成功輸出：以第0個結(jié)果為例：整數(shù)值-23.71446，轉(zhuǎn)概率值5.02274e-11。表示成功，之后標(biāo)記所有置信度大于0.5的位置執(zhí)行成功輸出：148714891549155015511552155316141615161705獲得置信度滿足要求的手掌識別結(jié)果任務(wù)實(shí)施執(zhí)行成功后，打印N*18尺寸的數(shù)組，每一個18長度的子項(xiàng)表示一個置信度大于0.5的識別結(jié)果。candidate_detect=out_reg[detecion_mask]

print(candidate_detect)獲得置信度滿足要求錨點(diǎn)位置信息執(zhí)行成功后，打印N*4尺寸的數(shù)組，每一個4長度的子項(xiàng)表示一個置信度大于0.5的錨點(diǎn)信息。candidate_anchors=anchors[detecion_mask]print(candidate_anchors)05獲得置信度滿足要求置信度實(shí)際數(shù)值任務(wù)實(shí)施執(zhí)行成功后，一系列置信度大于0.5的實(shí)際置信度數(shù)字集合probabilitiesUsable=probabilities[detecion_mask]print(probabilitiesUsable)05獲得所有置信度大于0.5的預(yù)選框信息任務(wù)實(shí)施執(zhí)行成功后，打印一系列預(yù)選框在原圖中的位置尺寸信息，并在原圖中打印出來使用非極大值抑制，得出最終手掌所在的位置執(zhí)行成功打印圖片，為非極大值抑制后的圖片顯示結(jié)果，如下圖05在原圖中打印手掌檢測的最終結(jié)果任務(wù)實(shí)施使用非極大值抑制，所確定的最佳輸出，打印該結(jié)果下，手掌目標(biāo)檢測的7個關(guān)鍵點(diǎn)坐標(biāo)，如下圖：05獲得手掌的精確范圍和放向任務(wù)實(shí)施基于上一步驟得到的手掌檢測結(jié)果，我們通過如下步驟，計算手掌反射變換所需要的3個點(diǎn)的坐標(biāo)source通過手掌目標(biāo)檢測的結(jié)果，我們可以使用0和2坐標(biāo)可以得到左圖紅色向量我們將向量乘以1.5并加上掌心2點(diǎn)的坐標(biāo)，可以得到有圖方向一致大小為原來1.5倍的綠色向上的向量，并得到此綠色向量終點(diǎn)的坐標(biāo)。我們將左圖中的向量做90度逆時針旋轉(zhuǎn)，可以達(dá)到圖中指向左側(cè)的綠色向量，并得到此綠色向量終點(diǎn)的坐標(biāo)05任務(wù)實(shí)施如果執(zhí)行成功，我們將得到source的3個手掌范圍范圍坐標(biāo)如下：[[57.75703178.80229][57.75703121.95381][0.90854454178.80229]]并將這三個點(diǎn)的坐標(biāo)打印到原圖中，如下圖：05截取檢測到的手掌圖片并展示任務(wù)實(shí)施使用仿射變換截取手掌圖片，如下圖：并打印通過反射變換截取到的手掌圖片，如下圖：05檢測手掌的指關(guān)節(jié)坐標(biāo)任務(wù)實(shí)施檢測并繪制手掌的21個坐標(biāo)點(diǎn)，坐標(biāo)對應(yīng)關(guān)系和輸出結(jié)果如下：下圖是手掌關(guān)節(jié)檢測的關(guān)鍵點(diǎn)坐標(biāo)（數(shù)字為keypoints數(shù)組的偏移量），如下圖：職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實(shí)施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08基于rknn的手掌檢測任務(wù)檢查與評價06序號評價內(nèi)容評價標(biāo)準(zhǔn)分值得分1知識運(yùn)用（20%）掌握相關(guān)理論知識，理解本次任務(wù)要求，制定詳細(xì)計劃，計劃條理清晰，邏輯正確（20分）20分

理解相關(guān)理論知識，能根據(jù)本次任務(wù)要求、制定合理計劃（15分）了解相關(guān)理論知識，有制定計劃（10分）無制定計劃（0分）2專業(yè)技能（40%）很好的完成環(huán)境的配置，對手掌的目標(biāo)檢測，對得到的錨點(diǎn)框使用仿射變換，對手掌區(qū)域的圖像進(jìn)行平移，旋轉(zhuǎn)，縮放和截取，對手掌關(guān)節(jié)節(jié)點(diǎn)檢測，并標(biāo)記輸入截取到的手掌數(shù)據(jù)。（40分）40分

完