《AI硬件與Pyhthon編程實(shí)踐》09人眼檢測(cè)與瞳孔檢測(cè)寫字字帖

人眼檢測(cè)與瞳孔檢測(cè)人工智能開源硬件與python編程實(shí)踐情境導(dǎo)入智能手機(jī)、智能相機(jī)普遍采用了自動(dòng)跟蹤人臉、自動(dòng)對(duì)焦的技術(shù)，輔助人們拍下美好畫面。新功能還支持實(shí)時(shí)檢測(cè)眼睛，實(shí)現(xiàn)自動(dòng)對(duì)焦。在人臉檢測(cè)的基礎(chǔ)上進(jìn)一步進(jìn)行人眼和瞳孔檢測(cè)有很多重要用途。在學(xué)校智慧教室中，利用人眼檢測(cè)等技術(shù)可以判斷學(xué)生有沒(méi)有集中精力學(xué)習(xí)，有沒(méi)有關(guān)注講臺(tái)等，進(jìn)行課堂教學(xué)質(zhì)量的監(jiān)控。

任務(wù)與目標(biāo)了解人眼檢測(cè)與瞳孔檢測(cè)技術(shù)的基本原理、Haar相關(guān)算法和應(yīng)用框架；掌握運(yùn)用人工智能機(jī)器視覺(jué)開源硬件設(shè)計(jì)智能應(yīng)用系統(tǒng)的方法，掌握Python語(yǔ)言的編程方法；應(yīng)用人工智能機(jī)器視覺(jué)開源硬件和Python相關(guān)算法，編寫代碼調(diào)用HaarCascade算法，實(shí)現(xiàn)人眼檢測(cè)與瞳孔檢測(cè)功能；針對(duì)生活應(yīng)用場(chǎng)景進(jìn)行創(chuàng)意設(shè)計(jì)，設(shè)計(jì)有實(shí)用價(jià)值的人眼檢測(cè)與瞳孔檢測(cè)應(yīng)用系統(tǒng)。知識(shí)拓展：Haar分類器訓(xùn)練過(guò)程采集人臉圖像，建立人臉、非人臉樣本集；計(jì)算Haar-like特征值和積分圖；進(jìn)行弱分類器訓(xùn)練，篩選出T個(gè)最優(yōu)弱分類器；把這T個(gè)最優(yōu)弱分類器傳給AdaBoost算法，訓(xùn)練出區(qū)分人臉和非人臉的強(qiáng)分類器；使用篩選式級(jí)聯(lián)把強(qiáng)分類器級(jí)聯(lián)到一起，提高準(zhǔn)確率。知識(shí)拓展：正樣本訓(xùn)練數(shù)據(jù)從開放人臉數(shù)據(jù)集中提取了16個(gè)人的人臉圖像數(shù)據(jù)文件，存放在正樣本文件夾中，每個(gè)人的人臉圖像文件單獨(dú)另建一個(gè)子目錄存放。知識(shí)拓展：負(fù)樣本訓(xùn)練數(shù)據(jù)收集一批與人臉無(wú)關(guān)的圖像作為人臉?lè)诸惼鞯呢?fù)樣本文件。這些圖像都不包含有完整人臉，主要是人身體的其它部位，以及戶外、居室、教室等人們經(jīng)常活動(dòng)的地方。負(fù)樣本照片存放在負(fù)樣本文件夾中。知識(shí)拓展：創(chuàng)建訓(xùn)練樣本格式化訓(xùn)練數(shù)據(jù)。啟動(dòng)訓(xùn)練前，需要對(duì)所收集的樣本數(shù)據(jù)進(jìn)行規(guī)范化，需要統(tǒng)一圖像文件的大小，寬高比統(tǒng)一設(shè)為1:1，正樣本背景要一致等。實(shí)際訓(xùn)練中，一般都是采用20*20像素的小圖像塊，在此基礎(chǔ)上計(jì)算出Haar特征。使用opencv的opencv_createsamples工具，通過(guò)描述文件的圖片列表清單來(lái)創(chuàng)建訓(xùn)練樣本。輸入訓(xùn)練樣本配置文件的路徑，生成vec文件與負(fù)樣本列表文本文件。知識(shí)拓展：訓(xùn)練cascade分類器使用分類器訓(xùn)練工具opencv_traincascade。訓(xùn)練中，要把負(fù)樣本和bg.txt文件拷貝到build/x64/vc14/bin目錄下，還需要在data文件夾下新建文件HaarReslut來(lái)保存訓(xùn)練的結(jié)果。opencv_traincascade.exe-dataC:\Users\Administrator\Desktop\data\HaarReslut-vecC:\Users\Administrator\Desktop\data\mysamples_341.vec-bgbg.txt-numPos170-numNeg500-numStages12-featureTypeHAAR-w24-h24-minHitRate0.996-maxFalseAlarmRate0.5-modeALL

設(shè)計(jì)與實(shí)踐模型加載瞳孔定位瞳孔檢測(cè)系統(tǒng)的Python編程運(yùn)行結(jié)果分析模型加載視覺(jué)庫(kù)內(nèi)置有已經(jīng)訓(xùn)練好的相關(guān)Haar模型，如“frontalface”人臉模型和“eye”人眼模型，編程是直接指定即可。人臉檢測(cè)模型的加載#加載HaarCascade級(jí)聯(lián)分類器，啟用內(nèi)置人臉檢測(cè)模型，分類器的比對(duì)階段數(shù)設(shè)置為25；face_cascade=image.HaarCascade("frontalface",stages=25)人眼檢測(cè)模型的加載#加載HaarCascade級(jí)聯(lián)分類器，啟用內(nèi)置人眼檢測(cè)模型，分類器的比對(duì)階段數(shù)設(shè)置為25；face_cascade=image.HaarCascade("eye",stages=25)瞳孔定位利用人臉Haar模型在整個(gè)圖像幀中快速搜索到人臉后，再啟用人眼Haar模型在人臉區(qū)域中檢測(cè)人眼區(qū)域。在檢測(cè)到的2個(gè)人眼區(qū)域中分別尋找區(qū)域中顏色最深處的中心點(diǎn)，就當(dāng)做瞳孔的位置。先使用image.find_features()和Haar算子frontalface來(lái)搜索人臉。然后使用image.find_features和Haar算子find_eye在人臉區(qū)域搜索眼睛。最后，在返回的每個(gè)眼睛ROI區(qū)域上調(diào)用這一方法，得到瞳孔的位置坐標(biāo)。瞳孔檢測(cè)的編程#在識(shí)別到的人眼中尋找瞳孔。

foreineyes:#e是先前過(guò)程中搜索到的若干人眼矩形區(qū)域；

iris=img.find_eye(e)

#find_eye((x,y,w,h))參數(shù)是一個(gè)矩形區(qū)域，左上頂點(diǎn)為（x,y），寬w,高h(yuǎn)。（x,y,w,h）是一個(gè)元組，不要漏掉括號(hào)（）；

#find_eye的功能是找到區(qū)域中顏色最深處的中心點(diǎn)；

img.draw_rectangle(e) #用矩形標(biāo)記人眼區(qū)域；

img.draw_cross(iris[0],iris[1])#用十字形標(biāo)記瞳孔。運(yùn)行情況先采集現(xiàn)場(chǎng)的視頻圖像，檢測(cè)出人臉，再檢測(cè)到人眼區(qū)域，最后定位到瞳孔。分析與思考訓(xùn)練人臉檢測(cè)HarrCascade級(jí)聯(lián)分類器時(shí)，請(qǐng)分析負(fù)樣本圖像的作用。如果設(shè)計(jì)一個(gè)校園學(xué)生人臉檢測(cè)系統(tǒng)，自行訓(xùn)練學(xué)生人臉Harr模型時(shí)應(yīng)該如何收集準(zhǔn)備負(fù)樣本圖像？很多家庭都喜歡寵物，如果設(shè)計(jì)一個(gè)寵物狗智能監(jiān)管系統(tǒng)，如何進(jìn)行狗臉的檢測(cè)與識(shí)別？請(qǐng)根據(jù)項(xiàng)目介紹的Harr模型訓(xùn)練方法，提出你的實(shí)施方案，有條件可以準(zhǔn)備正負(fù)樣本圖像，