面向視頻監(jiān)控人臉超分辨率重建系統(tǒng)

1、面向視頻監(jiān)控人臉超分辨率重建系統(tǒng)摘要隨著視頻監(jiān)控系統(tǒng)在交通和安全等領(lǐng)域的 廣泛應(yīng)用，人臉圖像的高分辨率顯示和識(shí)別問(wèn)題顯得日益重 要。監(jiān)控視頻中人臉區(qū)域通常很小，辨識(shí)度很差，這給主觀 的人臉識(shí)別造成了一定的困難，為此本文提出一種基于樣本 學(xué)習(xí)的兩階段人臉超分辨率技術(shù)。分為全局臉重建階段和殘 差補(bǔ)償階段。本文提出的方法能夠根據(jù)低分辨率人臉圖像合 成效果較好的高分辨率人臉圖像，消除了分辨率過(guò)低對(duì)人臉 識(shí)別造成的影響。關(guān)鍵詞視頻監(jiān)控；人臉識(shí)別；超分辨重建；殘差補(bǔ)償 中圖分類號(hào)：tp391文獻(xiàn)標(biāo)識(shí)碼：a文章編號(hào)： 1671-7597 (2013) 17-0054-02隨著視頻監(jiān)控系統(tǒng)在交通和安全等領(lǐng)域的

2、廣泛應(yīng)用，人 臉圖像的高分辨率顯示和識(shí)別問(wèn)題顯得日益重要。由于成像 設(shè)備的分辨率限制、成像距離過(guò)大等條件的影響，往往只能 得到分辨率較小的、質(zhì)量較差的低分辨率人臉圖像，這就給 人臉識(shí)別及其后續(xù)應(yīng)用造成一定的困難。人臉超分辨率重建 技術(shù)可以在現(xiàn)有成像設(shè)備條件不變的前提下利用已有的低 分辨率人臉圖像生成對(duì)應(yīng)的高分辨率人臉圖像。本文利用機(jī) 器學(xué)習(xí)的方法針對(duì)視頻監(jiān)控環(huán)境下單幀低分辨率人臉圖像 進(jìn)行超分辨率重建，重點(diǎn)解決多光照、多表情情況下帶來(lái)的 重建難題。該項(xiàng)目可以為人臉識(shí)別、人臉跟蹤、人臉表情分 析提供有力的技術(shù)支持，在視頻監(jiān)控、公共安全以及門禁系 統(tǒng)等領(lǐng)域具有廣闊的應(yīng)用前景。1圖像預(yù)處理由于視頻監(jiān)

3、控環(huán)境下采集到的圖像除人臉外還包含其 他信息，且圖像質(zhì)量較差存在噪聲點(diǎn)，所以需要對(duì)采集圖像 進(jìn)行人臉檢測(cè)、幾何變換、歸一化、平滑和增強(qiáng)等預(yù)處理操 作，為后續(xù)處理提供可用的人臉圖像。2人臉超分辨率重建框架研究結(jié)合機(jī)器學(xué)習(xí)、圖像處理、概率統(tǒng)計(jì)等相關(guān)理論與技術(shù), 建立基于學(xué)習(xí)的人臉超分辨率重建框架。具體內(nèi)容包括：如 何對(duì)人臉部件進(jìn)行分類？如何尋找人臉部件在訓(xùn)練集中的 最佳匹配結(jié)果？如何利用匹配到的人臉部件進(jìn)行圖像融 合？3重建過(guò)程的實(shí)時(shí)化考慮到實(shí)際應(yīng)用中的實(shí)時(shí)化需求，我們將重建過(guò)程分為 離線階段和在線階段兩個(gè)部分。離線階段，我們實(shí)現(xiàn)樣本庫(kù) 的降采樣、降維處理、子空間映射以及模型學(xué)習(xí)等操作；在 線階段

4、，我們實(shí)現(xiàn)輸入圖像的投影與重建操作。在這種模式 下，圖像的重建速度將會(huì)得到較大地提高。因?yàn)楸容^耗時(shí)的 樣本訓(xùn)練學(xué)習(xí)過(guò)程在離線階段完成，大大減少了在線階段的 重建的時(shí)間消耗。如圖1所示，系統(tǒng)包括輸入圖像預(yù)處理、樣本庫(kù)的重建 模型學(xué)習(xí)以及超分辨率重建三個(gè)部分。4研究方案及關(guān)鍵技術(shù)本項(xiàng)目以標(biāo)準(zhǔn)樣本庫(kù)為基礎(chǔ)，利用機(jī)器學(xué)習(xí)的方法實(shí)現(xiàn) 超分辨率重建。如圖2所示，整個(gè)系統(tǒng)的核心包括全局臉重 建和殘差補(bǔ)償兩個(gè)部分。4. 1全局臉重建傳統(tǒng)的超分辨率技術(shù)在像素級(jí)(pixel)或分塊級(jí)(patch)進(jìn)行學(xué)習(xí)和重建，由于沒(méi)有考慮到人臉圖像中的 結(jié)構(gòu)特征，所以產(chǎn)生的重建結(jié)果不僅會(huì)出現(xiàn)較大的噪聲，而 且會(huì)增大計(jì)算的復(fù)雜度

5、。為了解決這些問(wèn)題，我們?cè)谌帜?重建利用非負(fù)矩陣分解的方法對(duì)圖像進(jìn)行降維并提取相關(guān) 的圖像特征，再對(duì)該特征進(jìn)行相關(guān)性最大化處理，不僅滿足 人臉圖像重建的全局約束、局部約束，同時(shí)極大地提高了重 建速度。為實(shí)際應(yīng)用提供了性能支持。4.2殘差補(bǔ)償由圖2得到的結(jié)果只是實(shí)現(xiàn)了輸入圖像的低頻與中頻信 息的重建，但是能夠反映人臉明顯細(xì)節(jié)特征的高頻信息卻無(wú) 法重現(xiàn)。因此，在殘差補(bǔ)償階段，我們利用圖2的結(jié)果與樣 本庫(kù)中訓(xùn)練集的殘差進(jìn)行進(jìn)一步的學(xué)習(xí)推導(dǎo)，得到更可靠的 高頻信息。最后，由圖2得到的結(jié)果進(jìn)行融合得到所期望的 高分辨率人臉圖像。5實(shí)驗(yàn)結(jié)果及分析討論本文所設(shè)計(jì)的面向視頻監(jiān)控的人臉超分辨率重建系統(tǒng) 具有重建效果好，實(shí)時(shí)性高等特點(diǎn)。系統(tǒng)采用離線階段和在 線階段分開的模式，使得很多耗時(shí)的計(jì)算在離線階段完成， 在線階段只需要運(yùn)用殘差補(bǔ)償技術(shù)進(jìn)行人臉的高頻信息重 建，計(jì)算了相對(duì)較小，從而提供了重建效率。參考文獻(xiàn)1 陳文小樣本訓(xùn)練集下人臉圖像超分辨率重構(gòu)算法 研究d.中南大學(xué)，2010.2 李曉光.高動(dòng)態(tài)范圍圖像可視化與圖像超分辨率重 建的初步研究d.北京工業(yè)大學(xué)，2008.3 沈華.基于插值和主元素分析的人臉超分辨率算法 研究d.湖南大學(xué)，2010.4 劉良辰基于整體到局部的分離式人臉超分辨率重 建方法研究d.重慶大學(xué)，2012.