視頻人臉檢測(cè)與跟蹤技術(shù)綜述

視頻人臉檢測(cè)與跟蹤技術(shù)綜述

面部檢測(cè)是指確定輸入圖像中所有面部的位置、大小和姿勢(shì)的過程。近年來人臉檢測(cè)和跟蹤成為計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域的一個(gè)非?；钴S的話題?；谝曨l的人臉檢測(cè)與跟蹤作為人臉信息處理中的一項(xiàng)關(guān)鍵技術(shù),在基于內(nèi)容的圖像檢索、視頻會(huì)議、可視電話、遠(yuǎn)程視頻監(jiān)控以及人機(jī)交互等方面都有著很重要的應(yīng)用價(jià)值。在實(shí)際應(yīng)用中,由于客觀因素的影響,如人臉本身復(fù)雜的細(xì)節(jié)變化、人臉多姿態(tài)、各種遮擋、光照不均勻、以及復(fù)雜背景時(shí),人臉檢測(cè)和識(shí)別普遍存在計(jì)算量大、速度慢、魯棒性差的弱點(diǎn)。為了解決這些問題,近年來很多學(xué)者重現(xiàn)了眾多檢測(cè)方法,并通過融合或者改進(jìn)提高了檢測(cè)的健壯性和精確性,同時(shí)使檢測(cè)的速度滿足了工程上的要求。筆者分析了人臉檢測(cè)和跟蹤國(guó)內(nèi)外的研究現(xiàn)狀及背景,總結(jié)了近幾年來對(duì)視頻人臉檢測(cè)和跟蹤的算法,并對(duì)未來的發(fā)展進(jìn)行展望。1人臉檢測(cè)的早期研究人臉檢測(cè)是人臉識(shí)別的一部分,人臉檢測(cè)的研究最早是從二十世紀(jì)八十年代開始的。隨著科學(xué)的進(jìn)步,人臉識(shí)別和檢測(cè)的應(yīng)用越來越廣泛,其研究也越來越受到國(guó)際科研機(jī)構(gòu)的重視。早期的研究方法側(cè)重于模板匹配、子空間方法等,使用簡(jiǎn)單的啟發(fā)式和人體測(cè)量技術(shù)。自Freund提出Adaboost算法以來新的方法及改進(jìn)技術(shù)不斷涌現(xiàn),到目前為止人臉檢測(cè)的模型基本分為3類:1)基于特征的方法;2)基于模板的方法;3)基于統(tǒng)計(jì)理論的方法。1.1基于分類器的訓(xùn)練由Freund在1995年提出的Adaboost算法是最早的人臉檢測(cè)算法。Adaboost算法是一種迭代算法,其核心思想是自動(dòng)從多個(gè)弱分類器的空間中挑選出若干個(gè)分類器,構(gòu)成一個(gè)分類能力很強(qiáng)的強(qiáng)分類器。其算法本身是通過改變數(shù)據(jù)分布來實(shí)現(xiàn)的,它根據(jù)每次訓(xùn)練集中各個(gè)樣本的分類是否正確以及上次的總體分類的準(zhǔn)確率來確定每個(gè)樣本的權(quán)值。將修改過權(quán)值的新數(shù)據(jù)送給下層分類器進(jìn)行訓(xùn)練,最后將每次訓(xùn)練得到的分類器融合起來,作為最后的決策分類器。Adaboost算法能夠快速檢測(cè)人臉,其缺點(diǎn)是只能檢測(cè)到正面的人臉,對(duì)于旋轉(zhuǎn)角度過大或者側(cè)面人臉的檢測(cè)則完全失效。1.2人臉圖的一般特征基于特征的方法實(shí)質(zhì)就是利用人臉的等先驗(yàn)知識(shí)導(dǎo)出的規(guī)則進(jìn)行人臉檢測(cè)。1)邊緣和形狀特征人臉及人臉器官具有典型的邊緣和形狀特征,如人臉輪廓、眼瞼輪廓、虹膜輪廓、嘴唇輪廓等都可以近似為常見的幾何單元。2)紋理特征人臉具有特定的紋理特征,紋理是在圖上表現(xiàn)為灰度或顏色分布的某種規(guī)律性,這種規(guī)律性在不同類別的紋理中有其不同特點(diǎn)。3)顏色特征人臉的皮膚顏色是人臉表面最為顯著的特征之一,目前主要有RGB,HSV,YCbCr,YIQ、HIS等彩色空間模型被用來表示人臉的膚色,從而進(jìn)行基于顏色信息的人臉檢測(cè)方法的研究。1.3人臉通用模板基于模板匹配的方法(template-matching-methods)的思路就是通過計(jì)算人臉模板和待檢測(cè)圖像之間的相關(guān)性來實(shí)現(xiàn)人臉檢測(cè)功能的,按照人臉模型的類型可以分為兩種情況:1)基于通用模板的方法。這種方法主要是使用人工定義的方法來給出人臉通用模板。對(duì)于待檢測(cè)的人臉圖像,分別計(jì)算眼睛、鼻子、嘴等特征同人臉模板的相關(guān)性,由相關(guān)性的大小來判斷是否存在人臉。通用模板匹配方法的優(yōu)點(diǎn)是算法簡(jiǎn)單,容易實(shí)現(xiàn),但是它也有自身缺點(diǎn),如模板的尺寸、大小、形狀不能進(jìn)行自適應(yīng)的變化,從而導(dǎo)致了這種方法適用范圍較窄;2)基于可變形模板的方法。可變形模板法是對(duì)基于幾何特征和通用模板匹配方法的一種改進(jìn),通過設(shè)計(jì)一個(gè)可變模型,利用監(jiān)測(cè)圖像的邊緣、波峰和波谷值構(gòu)造能量函數(shù),當(dāng)能量函數(shù)取得最小值時(shí),此時(shí)所對(duì)應(yīng)的模型的參數(shù)即為人臉面部的幾何特征。這種方法存在的不足之處在于能量函數(shù)在優(yōu)化時(shí)十分復(fù)雜,消耗時(shí)間較長(zhǎng),并且能量函數(shù)中的各個(gè)加權(quán)系數(shù)都是靠經(jīng)驗(yàn)值確定的,在實(shí)際應(yīng)用中有一定的局限性。1.4人臉檢測(cè)系統(tǒng)基于統(tǒng)計(jì)理論的方法是指利用統(tǒng)計(jì)分析與機(jī)器學(xué)習(xí)的方法分別尋找人臉與非人臉樣本特征,利用這些特征構(gòu)建分類器,使用分類進(jìn)行人臉檢測(cè)。它主要包括神經(jīng)網(wǎng)絡(luò)方法,支持向量機(jī)方法和隱馬爾可夫模型方法?；诮y(tǒng)計(jì)理論的方法是通過樣本學(xué)習(xí)而不是根據(jù)人們的直觀印象得到的表象規(guī)律,因此可以減小由于人眼觀測(cè)不完整和不精確帶來的錯(cuò)誤而不得不擴(kuò)大檢測(cè)的范圍,但是這種方法需要大量的統(tǒng)計(jì)特性,樣本訓(xùn)練費(fèi)時(shí)費(fèi)力。2人臉檢測(cè)算法的改進(jìn)綜合上文可以看出,很多研究方法盡管得到了一定成效但是又各有缺點(diǎn)和不足,為了盡量減小由外界環(huán)境和自身因素以及由算法本身的缺陷造成的影響提高檢測(cè)效率和精確性,人臉檢測(cè)的研究還在繼續(xù)進(jìn)行,研究者們也提出越來越多的改進(jìn)算法。2.1單元尺度不變性不變矩理論是計(jì)算機(jī)視覺、模式識(shí)別、圖像處理的重要內(nèi)容,常用的基于區(qū)域的不變矩理論最早是由Hu提出來的,在人臉檢測(cè)中主要應(yīng)用了Hu矩處理的旋轉(zhuǎn)、縮放、平移三不變的特性。下面以平面圖像為例介紹Hu矩的特性。設(shè)圖像的質(zhì)心坐標(biāo)為(x0,y0):g(x,y)是一個(gè)有界的二維函數(shù),其中(p+q)階矩定義為:其中(p,q=0,1,2…)(p+q)階中心矩定義為:中心矩vpq是平移不變的?？蓪?duì)其進(jìn)行尺度規(guī)范化,驗(yàn)證其尺度不變性,定義尺度規(guī)范矩為:1)平移不變性水平移動(dòng)a,豎直移動(dòng)b,x′=x+a,y′=y+b中心矩為:表明具有平移不變性。2)縮放不變性縮放倍數(shù)為λ,x′=λx,y′=λy,則g(λx,λy)的中心矩為:而歸一化中心矩為:具有縮放不變性。3)旋轉(zhuǎn)不變性η01=η10=0,對(duì)任何變換,歸一化中心矩始終不變。這表明Hu矩不僅具有平移、縮放不變性,而且具有旋轉(zhuǎn)不變性。這一特性可與Adaboost算法結(jié)合使用,彌補(bǔ)Adaboost在旋轉(zhuǎn)角度過大或者完全側(cè)面人間不能檢測(cè)的缺點(diǎn),實(shí)驗(yàn)結(jié)果證明這是可行的。2.2ycbcr彩色空間要從色彩聚類的角度進(jìn)行轉(zhuǎn)化傳統(tǒng)的很多人臉檢測(cè)方法都需要訓(xùn)練大量的人臉和非人臉樣本,學(xué)者們提出了基于彩色圖像的膚色模型來檢測(cè)人臉的方法,這種模型取得了一定效果,但是容易受到光線和復(fù)雜背景的影響,魯棒性也會(huì)因此變差。特別是用RGB色彩空間時(shí)因?yàn)镽GB同時(shí)包含了亮度和色度信息,相關(guān)性較高,隨著環(huán)境和亮度的變化使得人臉檢測(cè)變得復(fù)雜繁瑣。按如下方法進(jìn)行改進(jìn),把RGB彩色空間轉(zhuǎn)換到Y(jié)CrCb空間:首先進(jìn)行光補(bǔ)償,將各個(gè)像素的R、G、B分別擴(kuò)展到最高的255。Y是亮度分量,Cb是藍(lán)色色度分量,Cr是紅色色度分量。轉(zhuǎn)換成YCbCr彩色空間具有將亮度和色度空間相分離的特點(diǎn),膚色聚類效果也很好,而且該空間計(jì)算方法簡(jiǎn)單,速度快,易于實(shí)現(xiàn)。然后將轉(zhuǎn)化后的Cb分量與Cr分量圖作差得到初級(jí)圖像,最后利用自動(dòng)閾值將灰度圖像處理成二值圖像。通過以上做法得到了人臉,但手,胳膊,頸部都顯示出來。再結(jié)合眼部特征進(jìn)行檢測(cè)確定是否存在人臉及其人臉的位置。結(jié)合膚色特征通過圖像差分方法提取清晰準(zhǔn)確的活動(dòng)區(qū)域,有效地解決了視頻中人臉檢測(cè)的問題。2.3基于fcm的人臉聚類分析常用方法中很多要對(duì)多姿態(tài)人臉進(jìn)行樣本訓(xùn)練,而對(duì)多姿態(tài)人臉樣本的手工分類性能容易受到主觀因素的影響,而且分類繁瑣耗時(shí),研究者提出利用數(shù)據(jù)挖掘技術(shù)中的FCM對(duì)人臉進(jìn)行聚類分析實(shí)現(xiàn)對(duì)多姿態(tài)人臉進(jìn)行角度自動(dòng)劃分。決策樹也是數(shù)據(jù)挖掘中的一種分類方法主要用于分類和決策,根據(jù)FCM劃分的結(jié)果,構(gòu)建一個(gè)自頂而下的樹經(jīng)過若干次分類劃分為原來混雜的樣本集,最終分裂為以一個(gè)個(gè)類別純度高的子集。使樹的每一個(gè)節(jié)點(diǎn)表示一個(gè)屬性上的測(cè)試,每個(gè)分枝代表一個(gè)測(cè)試輸出,而每個(gè)樹葉節(jié)點(diǎn)表示一個(gè)類或類的分布,樹的最頂層節(jié)點(diǎn)是根節(jié)點(diǎn)。實(shí)驗(yàn)證明這種檢測(cè)方法提高了檢測(cè)的速度而且具有很好的檢測(cè)性能。3人臉檢測(cè)算法的可行性及與相關(guān)理論的中立地條件筆者介紹了現(xiàn)階段基于視頻的人臉檢測(cè)算法研究的進(jìn)展。在對(duì)人臉檢測(cè)不同情況分類的基礎(chǔ)上,重點(diǎn)介紹了人臉檢測(cè)的主要方法,分析和討論了各種方法的缺點(diǎn)和不足?；谝曨l的人臉檢測(cè)是一項(xiàng)艱難而不斷發(fā)展的技術(shù),但是由于環(huán)境的變化如光照和遮擋及人臉本身的復(fù)雜性,檢測(cè)的精確度和魯棒性都有待進(jìn)一步研究。學(xué)者們也在不斷地研究,不斷提出新方法,筆者列舉了幾種同時(shí)融合傳統(tǒng)人臉檢測(cè)算法的方法,提高了檢測(cè)速度,精確性和可行性。隨著研究的深入,視頻系統(tǒng)的人臉檢測(cè)技術(shù)不斷得到發(fā)展和完善,但是由于人臉問題本身的復(fù)雜性還存在著很多的不足,至今仍沒有形成一個(gè)較為通用的、簡(jiǎn)單的解決方案。還有許多工作待解決:1)每一種