頻域圖像處理.docx

精品文檔人臉部位的視覺顯著性研究摘 要圖像的顯著性檢測是計算機視覺領(lǐng)域最為活躍的研究方向之一，而基于視覺注意的顯著性區(qū)域檢測技術(shù)在遵循人視覺顯著性規(guī)律的基礎(chǔ)上，綜合利用圖像的顏色、強度局部方向等特征，計算圖像中各個區(qū)域的顯著程度。通過對圖像顯著性檢測頻域方法的研究，在統(tǒng)計大量樣本數(shù)據(jù)后，得到人臉部位的視覺顯著性差異。關(guān)鍵詞：視覺顯著性，顯著性區(qū)域檢測，人臉，統(tǒng)計目 錄1 課題背景12 顯著性檢測方法22.1 顯著性檢測的主要方法22.2 顯著性檢測算法介紹22.2.1 PQFT 概述22.2.2 PQFT模型23 圖像顯著性檢測器53.1 互補特征提取53.2 濾波53.3 顯著性檢測器測試54 數(shù)據(jù)統(tǒng)計與分析74.1 數(shù)據(jù)圖像采集74.2 數(shù)據(jù)統(tǒng)計74.3 數(shù)據(jù)處理與分析84.4 結(jié)論與說明95、參考文獻113歡迎下載。精品文檔1 課題背景隨著計算機性能和功能的發(fā)展，人們越來越希望計算機可以更加自主智能地完成任務。要實現(xiàn)這個目標，需要計算機能夠理解周圍的環(huán)境。人類感知外界信息的最主要方式是通過視覺，因此計算機理解周圍環(huán)境的關(guān)鍵是具有視覺感知處理能力1。而圖像也成為越來越重要的信息傳遞媒介。由于視覺系統(tǒng)具有視覺注意機制，因此人類可以毫不費力地從復雜的背景中識別目標。與此對應，在計算機中，可以通過計算圖像的區(qū)域顯著性來高效地完成圖像處理任務。由此可見，圖像中最重要的部分經(jīng)常集中在一些小的關(guān)鍵區(qū)域，即所謂的顯著區(qū)域23。圖像顯著性檢測的任務是找出圖像中哪些區(qū)域更容易成為人類視覺注意的焦點，一般用顯著圖來表示圖像的顯著性，顯著圖中的像素值表示圖像對應區(qū)域的顯著程度。目前，圖像顯著性檢測在內(nèi)容傳輸、圖像壓縮、圖像分割、目標識別、圖像縮放、圖像恢復、圖像編輯等方面都有應用。在圖像檢測與識別領(lǐng)域中，人臉識別是一個當前熱門的研究方向。據(jù)統(tǒng)計，在2014年的中國國際社會公共安全博覽會上，至少有20家企業(yè)展示了自己的人臉識別產(chǎn)品。同時，眾多媒體也接連報道了人臉識別技術(shù)在學術(shù)界和工業(yè)界取得的巨大成果。在這些背景下，本課題采用頻域顯著性檢測算法計算人臉樣本照片的顯著性區(qū)域，通過大量樣本數(shù)據(jù)的統(tǒng)計分析，來研究人臉各個部位的顯著性差異，以便更加清晰直觀且更具科學依據(jù)地了解人臉的顯著性特點。2 顯著性檢測方法2.1 顯著性檢測的主要方法顯著性檢測方法有多種分類方式：按照顯著模型可以分為三類：1) 基于低層視覺特征，代表性算法是模擬生物體視覺注意機制的選擇性注意算法(Itti 算法)。2) 沒有基于任何生物視覺原理的純數(shù)學計算方法，如全分辨率算法(AC 算法)和基于空間頻域分析的剩余譜算法(Spectral residual approach, SR)4。3) 將前兩種進行融合的方法，代表性算法基于圖論的算法(Graph-based visual saliency，GBVS)。按照處理空間的不同可以分為：考慮局部特征的，如Itti 算法和GBVS 算法；和考慮整體性的，如SR 算法和IG 算法。而在本課題中，采用一個新的顯著性區(qū)域檢測算法（PQFT算法）。該算法主要在頻域進行處理，同時利用了空間域信息。頻域處理可以非常高效地抑制重復出現(xiàn)的背景，而空間域信息則用于選擇一個突出整個顯著物體的最佳顯著圖。因此，該算法具有突出整個顯著物體，抑制重復出現(xiàn)的背景和計算效率高的等特點5。2.2 顯著性檢測算法介紹2.2.1 PQFT 概述PQFT（Phase Spectrum of Quaternion Fourier Transform）模型是有Guo等人在SR（Spectral Residual）算法基礎(chǔ)上提出的，該方法通過計算圖像的四元傅里葉變換的相位譜得到圖像的時空顯著性映射。圖像中的每一個像素點都用四元組表示：顏色，亮度和運動向量。PQFT算法模型獨立于先驗信息，不需要參數(shù)，計算高效，實時性好6。2.2.2 PQFT模型一幅圖像所包含的信息可以分解為新的信息和已知信息。新的信息就是引起注意的部分，已知信息是應該被去除的冗余信息。冗余信息是內(nèi)容比較單一、反復大量出現(xiàn)的圖像模式。根據(jù)傅里葉變換公式，某種模式出現(xiàn)的次數(shù)越多，其幅度譜就越集中在一些頻率，呈現(xiàn)出尖峰形狀10。若一幅圖像的背景是重復出現(xiàn)的冗余內(nèi)容，而其中的顯著目標非常獨特。那么背景對應的幅度譜就比目標的幅度譜尖銳很多。這時，將幅度譜中冗余的背景抑制住，則顯著的目標就會凸顯出來。于是問題轉(zhuǎn)化為去燥問題。而中值濾波器對于尖峰噪聲的效果非常好，顯著目標對應的幅度譜比較平滑，在中值濾波后也能被保留下來7。在PQFT模型中，將圖像分解為四個通道：M、I、RG和BY。其中，M為運動通道，I為亮度通道，RG和BY為顏色通道8。假設(shè)F(t)表示時間t時刻的輸入圖像，t=1,2,3,T，T為所有圖像幀的總數(shù)。F(t)分為紅、綠、藍三個顏色通道，表示為r(t),g(t),b(t)，那么，可以將三個顏色通道擴展為四個廣義的顏色通道：(1)(2)類似于人類視覺系統(tǒng)，對立顏色通道定義為亮度通道和運動通道定義為 (3)其中為延遲因子。則四元組圖像可以表示為(4)其中，滿足可以寫成如下形式(5)將圖像中每一個像素點表示為為空間坐標，t為時間坐標。四元傅里葉圖像變化寫成(6)(7)表示頻域坐標,N,M表示圖像維度。四元逆傅里葉變化為(8)可將q(t)表示為Q(t)的極坐標形式(9)其中為的相位譜。設(shè)定，則只剩下相位信息q(t)。計算逆相位信息 可得到(10)時空顯著性映射為(11)其中g(shù)表示二維高斯平滑濾波。當輸入為靜態(tài)圖像時，12。3 圖像顯著性檢測器3.1 互補特征提取在圖像顯著性檢測中，首先從輸入的圖像中提取幾個互補的特征通道，這里利用獨立成分分析方式提取互補通道，這樣可以大大消除圖像中的冗余信息成分9。此外，這種獨立性有助于從各個通道分別檢測圖像的顯著性。通常，使用獨立成分分析法從原始顏色通道中得到的系數(shù)圖有著顯著不同的視覺特性，使得很難在相應的光譜中手動設(shè)計顯著性檢測器8。因此，要從相位和幅度兩方面“訓練”顯著性檢測器。在這里，從公眾形象基準庫MIT1003中選取903幅訓練圖像，將剩下的100幅作為測試對象。將處理后得到的3232的系數(shù)圖記為，同時將通過降采樣固定密度圖得到的3232系數(shù)圖記為。這樣就得到了一個包含所有C個獨立組件的訓練集，記為。3.2 濾波為了從得到的系數(shù)圖中計算圖像顯著性，首先通過傅里葉變換計算其頻譜。采用高斯帶通濾波器篩選出最低頻率和抑制最高頻率。于是對于一個訓練實例，得到(12)再利用中值濾波器去除幅度譜中的尖峰，并與原始相位譜合并，通過傅里葉逆變換得到顯著圖?？傊粋€圖像I的顯著圖S可以通過一下過程得到，(13)3.3 顯著性檢測器測試圖像顯著性檢測器設(shè)計完成后，在matlab中運行，當輸入一幅圖像時，會得到一個3232的矩陣，其中數(shù)值代表顯著性強弱，范圍為0255。為了便于觀察比較，將矩陣轉(zhuǎn)化為3232像素的灰度圖，并將黑白反轉(zhuǎn)便于突出顯著性區(qū)域。一個測試圖像結(jié)果如下：圖3.1 原始圖圖3.2 顯著性矩陣圖3.3 灰度圖與反轉(zhuǎn)后灰度圖4 數(shù)據(jù)統(tǒng)計與分析4.1 數(shù)據(jù)圖像采集首先，將得到的人臉正面免冠照片按照性別分為兩組：female組和male組。為了區(qū)分同一圖像顯著性區(qū)域的程度以便于按照顯著性強弱排序，在計算圖像區(qū)域顯著性時，將得到的結(jié)果按如下命令處理：imagesc(abs(255-salMap);colormap(gray);saveas(gcf,X:figf1-1.jpg);imagesc(abs(223-salMap);colormap(gray);saveas(gcf,X:figf1-2.jpg);imagesc(abs(191-salMap);colormap(gray);saveas(gcf,X:figf1-3.jpg);imagesc(abs(159-salMap);colormap(gray);saveas(gcf,X:figf1-4.jpg);imagesc(abs(127-salMap);colormap(gray);saveas(gcf,X:figf1-5.jpg);將0255的數(shù)據(jù)按照每32一個梯次分為5個梯次變做絕對值處理，這樣便可以在凸顯第二顯著區(qū)域的同時屏蔽第一顯著區(qū)域的影響，同時將得到的灰度圖直接保存，便于之后的統(tǒng)計分析和批量處理。如此，批量地將female和male組的圖像全部進行區(qū)域顯著性計算并將結(jié)果保存在兩個文件夾中等待統(tǒng)計處理。4.2 數(shù)據(jù)統(tǒng)計將計算得到的灰度圖與原始圖像進行對比，根據(jù)相應區(qū)域的灰度統(tǒng)計出每一幅圖像中人臉部位的顯著性強弱順序并幾錄在表格中。部分統(tǒng)計數(shù)據(jù)如下表4.1，表4.2，表4.1 female組部分數(shù)據(jù)照片編號照片編號f1enmf11enf2anef12nf3mnef13nef4nf14ef5enf15eanf6enf39enf7nmef40nef8naf41nf9enf42nef10mef43mn注：f：forehead(額頭）e：eye（眼睛）a：ear(耳）m：mouth(嘴）n：nose（鼻）表4.2 male組部分數(shù)據(jù)照片編號照片編號m1namm11mmam2mmnm12nmam3namm13nmam4mmam14nmam5mmam15manm6mnam16nam7mamm17nam8mmam18nam9mam19nmm10mmam20n注：f：forehead(額頭）e：eye（眼睛）a：ear(耳）m：mouth(嘴）n：nose（鼻）4.3 數(shù)據(jù)處理與分析分別按照顯著性強弱順序統(tǒng)計兩組中各部位在每一梯次出現(xiàn)的次數(shù)，作為初步處理。在每一組中，首先將各部位按照第梯次數(shù)據(jù)排序，第一位即為本組中顯著性最高的部位。接著將剩余數(shù)據(jù)并入第梯次并以此為標準排序，第梯次第一位即為本組顯著性第二高的部位，以此類推知道排出所有部位顯著性強弱順序。另一組同理。這樣可以得到如下表4.3，表4.4的統(tǒng)計結(jié)果，表4.3 female組統(tǒng)計結(jié)果部位部位部位n26m17m33nmeae8e16e19a1a4a10f0f0f0注：f：forehead(額頭）e：eye（眼睛）a：ear(耳）m：mouth(嘴）n：nose（鼻）表4.4 male組統(tǒng)計結(jié)果部位部位部位n85m20a66namefe14m37m42a12e33e39f1f0f0注：f：forehead(額頭）e：eye（眼睛）a：ear(耳）m：mouth(嘴）n：nose（鼻）4.4 結(jié)論與說明由統(tǒng)計結(jié)果可以看出，在女性中，臉部部位顯著性由強到弱一次為鼻、嘴、眼睛、耳朵。而在男性中的臉部部位顯著性由強到弱為鼻子、耳朵、嘴、眼睛、額頭。可以看出男女性在臉部部位的顯著性上并不相同，主要差異在與女性人群中耳朵是一個顯著性較低的部位，而在男性人群中耳朵的顯著性則大大增強。通過觀察發(fā)現(xiàn)，造成這一差異的主要原因是女性多為長發(fā)將耳朵遮住，而男性多為短發(fā)，正面照中耳朵清晰可見。而通過下圖可以發(fā)現(xiàn)，頭發(fā)在顯著性檢測中幾乎是作為冗余信息被過濾掉，這就不難看出長發(fā)的存在直接將女性人群中耳朵的顯著性抹去了。圖 4.1 同一人不同發(fā)型在鼻子的顯著性中，男性主要集中在鼻尖位置，而女性多表現(xiàn)在鼻梁及眼角，呈現(xiàn)出倒三角行，典型案例如下圖，圖 4.2 男性典型案例 圖 4.3 女性典型案例5 參考文獻1 吳金建. 基于人類視覺系統(tǒng)的圖像信息感知和圖像質(zhì)量評價D.西安電子科技大學,20142 陳倩. 顯著性區(qū)域檢測算法研究D.北京交通大學,2014.3 韓抒真,郭建民,郭迎春,柳青. 基于視覺注意機制的圖像分類方法J. 天津工業(yè)大學學報,2015,04:47-51.4 王巖,盧宏濤,鄧南，蔡能斌.基于頻域與空間域分析的顯著區(qū)域檢測算法J.計算機工程,2012,09:165-170.5 孫曉飛,潘文文,王霞. 典型的圖像顯著性檢測算法分析和比較J. 黔南民族師范學院學報,2014,05:100-105.6 張巧榮,顧國昌,劉海波,肖會敏. 利用多尺度頻域分析的圖像顯著區(qū)域檢測J. 哈爾濱工程大學學報,2010,03:361-365.7 陳倩,朱振峰,趙耀. 基于時-頻結(jié)合的顯著性區(qū)域檢測J. 鐵道學報,2014,07:62-69.8 劉尚旺,李銘,毛文濤,劉國奇. 基于改進HFT模型的顯著性檢測J. 計算機工程與設(shè)計,2015,08:2167-2173.9 蘇磊磊. 基于小區(qū)域的圖像顯著度提取及應用研究D.山東師范大學,2015.10 ACHANTA R,HEMAMI S,ESTRADA F,et al. Frequencytuned salient region detectionC/Proceedings of the IEEE Conference 0n Computer Vision and Pattem Recognition(CVPR)Miarni