生物視覺原理在圖像處理中的應(yīng)用

1、生物視覺原理在圖像處理中的應(yīng)用1、 生物視覺原理概述生物視覺是個交叉性研究領(lǐng)域，涉及認(rèn)知心理學(xué)、人工智能、計算機(jī)圖像處理等學(xué)科，生物視覺的重要性無庸置疑，因此研究生物視覺系統(tǒng)受到相關(guān)科學(xué)界的相當(dāng)關(guān)注。與計算機(jī)視覺有很大的差別的是，生物視覺系統(tǒng)硬件層次上使用神經(jīng)網(wǎng)絡(luò)來實現(xiàn)。但如果兩者選用同樣的計算理論框架理論層次，那本質(zhì)上應(yīng)沒有太大區(qū)別，僅僅區(qū)別在于計算機(jī)視覺把該研究作為進(jìn)一步深入探索和理解人腦視覺技能的手段。計算機(jī)視覺研究其主要對象是數(shù)據(jù)，是一個3D到2D，以及2D到3D的逆問題，而生物視覺的研究能夠充分理解人腦視覺認(rèn)知過程，這也促進(jìn)了計算機(jī)視覺更深入的研究和發(fā)展。生物視覺系統(tǒng)是一個串行與并行

2、相結(jié)合復(fù)雜的高級視覺信息處理過程，當(dāng)前在更高層次上的機(jī)理研究尚未有突破性進(jìn)展。目前搞清楚的僅僅是其中的極小一部分，兩者處于“獨(dú)立自主，各自為政”的階段，因此必須深層次研究生物視覺系統(tǒng)的各自功能和實現(xiàn)原理，而計算機(jī)視覺系統(tǒng)的發(fā)展也在視覺領(lǐng)域?qū)ふ抑碌乃悸泛头椒?，在未來，依?jù)生物視覺模式識別模型來尋找新的計算機(jī)視覺方法，那時計算機(jī)視覺系統(tǒng)的研究和生物視覺系統(tǒng)的研究將融合在一起。了解大腦的運(yùn)作機(jī)理如同大海撈針，而隨著生理學(xué)和解剖學(xué)的近兩個世紀(jì)的發(fā)展，生物視覺系統(tǒng)的研究進(jìn)入神經(jīng)元細(xì)胞的層面，自Hubel和Wiesel于50年代末首次開展對視皮層細(xì)胞的研究，為生物視覺系統(tǒng)研究方面做出了開拓性的工作和重大

3、貢獻(xiàn)，在這基礎(chǔ)上關(guān)于視網(wǎng)膜、視神經(jīng)通道和視皮層的研究不斷深入，并取得了大量的重要的研究成果。他們在60-70年代提出了視覺感受野的理論，感受野是支持視覺信息分層串行處理的最重要的生理學(xué)基礎(chǔ)。之后Kuffler首次通過對貓的神經(jīng)元細(xì)胞的研究，提出感受野在反應(yīng)上的空間分布呈同心圓頗頑形式，通過這些研究成果，1985年，Daugman等提出使用Gabor函數(shù)模擬視皮層中簡單細(xì)胞的感受野。Riesenhuber和Poggio在1999年第一次建立了完整的視覺處理HMAX模型，這是一個從生物學(xué)的角度上模擬的多層次模型，并在進(jìn)行模式分類與識別研究中取得相當(dāng)高的正確率，引起了計算機(jī)視覺和生物視覺界相當(dāng)大的關(guān)

4、注和更深層次的研究。神經(jīng)稀疏編碼機(jī)制是初期視覺感知所采用的基本視覺響應(yīng)方式，表示了圖像中的高階統(tǒng)計性。稀疏編碼即給定輸入圖像，尋找一組完備基，使得圖像在這些基下的表示系數(shù)具有“大量系數(shù)為零，少量不為零”的稀疏特性。近年來，關(guān)于稀疏編碼的研究使得人們突破了已有的完備基的思想框架，踏入新的領(lǐng)域。而對于超完備基（基函數(shù)的維數(shù)大于輸出神經(jīng)元的個數(shù)）的研究，最早由Olshausen等人將超完備基引入到稀疏編碼模型中。稀疏編碼技術(shù)發(fā)展迅速，但尚處于發(fā)展階段，其在理論和應(yīng)用方面的研究還有待于進(jìn)一步深化和完善，是最近的一個研究熱點(diǎn)。2、在目標(biāo)檢測中的應(yīng)用復(fù)雜動態(tài)背景下的目標(biāo)檢測和提取是圖像處理領(lǐng)域中的一項關(guān)鍵

5、技術(shù)，在機(jī)器人視覺，工業(yè)交通監(jiān)視，視頻壓縮和遙感影像解譯等眾多領(lǐng)域具有重要的應(yīng)用價值。自然界中，生物視覺系統(tǒng)卓越的目標(biāo)檢測和跟蹤能力是現(xiàn)有計算機(jī)視覺技術(shù)無法比擬的。為此，研究生物視覺中的生物學(xué)機(jī)理，降低計算機(jī)視覺在目標(biāo)檢測和跟蹤上的虛警概率，獲得穩(wěn)定、魯棒的目標(biāo)提取效果成為當(dāng)前研究的熱點(diǎn)。目前，目標(biāo)檢測和提取算法主要分為基于空域特征的目標(biāo)檢測算法、基于時域特征的目標(biāo)檢測算法和時空域特征相結(jié)合的目標(biāo)檢測算法三大類?；诳沼蛱卣鞯乃惴ㄊ峭ㄟ^單幀圖像局部區(qū)域內(nèi)目標(biāo)的顯著特征進(jìn)行目標(biāo)檢測和提取。而僅依賴空域特征的目標(biāo)檢測算法通常無法克服復(fù)雜背景干擾，對于占地面積較小、空間對比度較低、容易被周圍背景物體

6、混淆的目標(biāo)，單純依靠空域特征無法獲得理想的提取效果。另外生物視覺研究表明，相對于空域特征，生物視覺系統(tǒng)對時域特征光具有更高的敏感性?；跁r域特征的目標(biāo)檢測算法是以目標(biāo)和背景之間的運(yùn)動差異為依據(jù)，通過背景建模、光流場分析以及目標(biāo)輪廓跟蹤等方法實現(xiàn)目標(biāo)檢測與提取。采用背景抑制、運(yùn)動矢量差異以及目標(biāo)輪廓提取等方法可以降低復(fù)雜背景對于目標(biāo)檢測的干擾，但是對于動態(tài)復(fù)雜背景，該類算法仍存在一定的局限性。時空域特征相結(jié)合的目標(biāo)檢測算法是為克服依靠單一目標(biāo)特征無法獲得穩(wěn)定檢測效果的問題而提出的，該類算法試圖通過融合不同類特征在目標(biāo)檢測和提取上的優(yōu)點(diǎn)，獲得理想的提取效果。2005 年Cheng等人將Itti模型

7、提取的空域特征與動態(tài)時域特征相結(jié)合，較好的改善了由于光照變化和噪聲等因素對檢測結(jié)果的影響。2009年Liu等人以信息論為基礎(chǔ)提出了聯(lián)合時空域特征顯著性的目標(biāo)檢測算法( S-T，spatial-temporal)。3、在特征提取中的應(yīng)用近些年來基于生物視覺的計算模型受到了廣泛的重視，很多研究者受此啟發(fā)提出了基于生物視覺的特征提取，圖1為一種基于生物視覺特性的特征提取框架圖，基于生物視覺的特征提取目前在很多方面取得了成功的應(yīng)用。Bileschi等人基于對視皮層區(qū)域特征提取機(jī)制的研究，構(gòu)造了適合計算機(jī)視覺應(yīng)用的一系列特征提取算法和學(xué)習(xí)方式，將標(biāo)準(zhǔn)特征集用于目標(biāo)檢測、紋理識別以及上下文分析，最終構(gòu)建了

8、一個統(tǒng)一的場景理解系統(tǒng)。圖2 基于生物視覺特性的特征提取Hinton在提出深層信念網(wǎng)絡(luò)模型后，進(jìn)一步將其應(yīng)用在視頻序列處理等任務(wù)中，取得了很好的效果；Boureau等人也提出類似卷積網(wǎng)絡(luò)的基于非監(jiān)督學(xué)習(xí)的層級稀疏特征提取方法，并將其用于目標(biāo)識別。Serre等人在HMAX前饋模型的基礎(chǔ)上，構(gòu)造模擬各個細(xì)胞層的計算單元，并通過從自然圖像中學(xué)習(xí)視覺特征庫，實現(xiàn)對目標(biāo)的不變特征提取，在復(fù)雜場景下廣義目標(biāo)識別任務(wù)上取得了成功應(yīng)用。鑒于Serre標(biāo)準(zhǔn)模型在計算機(jī)視覺領(lǐng)域的成功應(yīng)用，很多研究者進(jìn)一步對其改進(jìn)，提取生物啟發(fā)的特征并擴(kuò)展到其它應(yīng)用領(lǐng)域，如將模型中的層級單元擴(kuò)展成了層，并通過將檢測運(yùn)動信息的時空特

9、征檢測器進(jìn)行級聯(lián)實現(xiàn)人體動作的識識別，基于該模型提取出了一組新的有效特征用于人臉識別，并在多個數(shù)據(jù)庫上證實了此生物啟發(fā)的特征明顯優(yōu)于一些表現(xiàn)較好的視覺特征（如局部二值描述，梯度方向直方圖等）；Huang基于生物啟發(fā)提出優(yōu)選層濾波器的方法和一個非線性操作子，然后用層特征來編碼人臉上的年齡細(xì)節(jié)，成功的應(yīng)用于年齡估計；Tao等人將C1特征和一些降維等算法相結(jié)合，對特征進(jìn)行優(yōu)選，在歩態(tài)識別和場景分類上取得了不錯的效果。除了基于Poggio團(tuán)隊提出的腹部流前饋識別模型產(chǎn)生的諸多特征提取算法和應(yīng)用外，還有很多研究者基于視皮層中其它的功能特性提出了一些生物啟發(fā)的特征模型。Saber等人根據(jù)生物注意力機(jī)制提出

10、了一種生物啟發(fā)的顯著區(qū)域檢測方法，該方法提取的顯著區(qū)域分辨率高，且目標(biāo)的輪廓突出；Mahadevan等人基于中央周邊差的顯著性機(jī)制提出了一個生物啟發(fā)的判別目標(biāo)跟蹤器，其將目標(biāo)跟蹤問題建模成一系列目標(biāo)背景分類問題，有效提升了系統(tǒng)的性能。Yang等人基于稀疏編碼模型和線性空間金字塔匹配方法來提取保留物體空間結(jié)構(gòu)的魯棒特征，在圖像分類任務(wù)中獲得了很大的成功；Zhang等人所在的團(tuán)隊深入稀疏編碼的研究，分別提出了基于稀疏編碼的有效外觀模型和在線學(xué)習(xí)稀疏表達(dá)方法，在視覺跟蹤應(yīng)用中效果明顯。還有研究者基于視皮層中感知色彩的機(jī)制，提出了模擬顏色拮抗細(xì)胞的特征提取算法，聯(lián)合顏色和形狀信息的顏色描述子，并擴(kuò)展了

11、多個流行的視覺系統(tǒng)，實驗證明其能更有效的利用顏色信息；Yang等人基于顏色拮抗機(jī)制提出了一個模擬從視網(wǎng)膜到初級視皮層顏色信息處理的前饋級聯(lián)模型，將其用于復(fù)雜場景中的邊界檢測取得了優(yōu)異的性能。此外，Beghdadi等人對應(yīng)用在圖像增強(qiáng)、分割、編碼等方面的基于圖像感知的方法進(jìn)行了綜述，詳細(xì)分析了它們的貢獻(xiàn)及缺點(diǎn)；Saleiro等人也對用于主動視覺的多個生物啟發(fā)的模型進(jìn)行綜合，集中分析它們的系統(tǒng)結(jié)構(gòu)和算法，并最終建立了一個統(tǒng)一的框架系統(tǒng)。綜上所述，基于生物視覺的特征提取算法是當(dāng)前計算機(jī)視覺領(lǐng)域的一大熱點(diǎn)，其帶來了諸多靈感和機(jī)遇，在很多方面取得了進(jìn)展和應(yīng)用，但仍存在著一些不足，例如對于模擬腹部流前饋級

12、聯(lián)結(jié)構(gòu)的特征提取模型（模型、模型等），其存在模型復(fù)雜計算量大等問題；對于基于從自然圖像中統(tǒng)計學(xué)習(xí)而得的線性基函數(shù)來提取局部不變特征的模型，其存在訓(xùn)練迭代復(fù)雜或超完備基信息冗余等問題；而對于人類顏色感知機(jī)制的研究，目前還比較少，已有模型存在模擬不夠深入等問題；此外，對于視皮層內(nèi)響應(yīng)合并機(jī)制的研究，基于生物視覺的局部特征描述等，目前也研究比較少，而這些生物特性或機(jī)制在計算機(jī)視覺中具有重要的作用，有很大的研究價值；同時，很多已有特征模型在性能上、魯棒性上和速度上也存在很大的挑戰(zhàn)。總之，目前研究基于生物視覺的特征提取算法或模型仍存在著很大的空間，具有廣闊的前景和應(yīng)用價值。4、在目標(biāo)識別中的應(yīng)用預(yù)處理這

13、幾乎是所有計算機(jī)視覺算法的第一步，預(yù)處理是在不改變圖像攜帶的重要本質(zhì)信息的前提下，處理的目的是為方便之后的處理過程，使得每張圖像如顏色分布、尺寸大小、整體明暗等特性盡可能表觀一致。預(yù)處理涉及的主要包括圖像像素值的變換、幾何變換、局部預(yù)處理、歸一化、平滑和圖像復(fù)原等方法。在預(yù)處理中引入先驗信息，可以對圖像粗處理減小數(shù)據(jù)量得到目標(biāo)，然后在更高分辨率圖像上檢測該假設(shè)，反復(fù)迭代直至出現(xiàn)的知識被證實或被拒絕，但反饋就可能超出預(yù)處理，圖像分割把圖像中感興趣的物體分割出來，可以將反饋信息放在分割之后。特征抽取和選擇。特征抽取負(fù)責(zé)從圖像中得到重要的信息，忽略不太重要的信息，交給下一層使用，這一步影響著識別效果

14、還有效率，是目標(biāo)識別中的關(guān)鍵問題。圖像的特征提取方法可以這樣分為三種，基本的特征提取方法、基于選擇注意機(jī)制的特征提取方法以及基于生物視覺特性的標(biāo)準(zhǔn)模型特征集合提取方法。基本的特征提取方法是指基本的顏色、灰度、形狀、紋理等基本特征，通過對特征的統(tǒng)計分析得到相關(guān)的提取特征，一般的方法包括直方圖均衡化，紋理分析的方法較常用的是共生矩陣法和隨機(jī)場模型，基于選擇注意機(jī)制的特征是指具有視覺特征的，比如角點(diǎn)、邊緣、顯著點(diǎn)等，通過建立視覺模型來體現(xiàn)視覺的選擇性和主動性等特點(diǎn)，典型的方法比如和顯著點(diǎn)、多尺度翻角點(diǎn)、描述等方法而關(guān)于生物視覺特性的標(biāo)準(zhǔn)模型的特征抽取，因為是比較新的研究比較少，有許多值得探討和研究的

15、問題，這在后面生物視覺中會著重介紹。另外，基于空間關(guān)系特征的子空間方法也是特征抽取的有效的方法，主要包括主成分分析、獨(dú)立分量分析、辨別成分分析等，因具有很好的整體性，在特征抽取的研究中成為研究熱點(diǎn)。建模和分類。在計算機(jī)視覺領(lǐng)域，常用的分類器有以下三種神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和分類。建立在結(jié)構(gòu)風(fēng)險最小化原則和計算學(xué)習(xí)理論基礎(chǔ)上，通過約束經(jīng)驗風(fēng)險和置信區(qū)域來滿足分類要求神經(jīng)網(wǎng)絡(luò)屬于人工智能的連接主義，已有很多眾所皆知的成熟方法。方法是一種集成機(jī)器學(xué)習(xí)方法，一開始通過初級預(yù)測出一個粗糙的、不太正確的方法，按照一定的規(guī)則調(diào)整權(quán)重，不斷自組織學(xué)習(xí)最終得出一個復(fù)雜的、精確的分類器方法。目前，研究將它們結(jié)合起來

16、達(dá)到更好的效果也是一個熱點(diǎn)。利用提取的圖像特征集訓(xùn)練我們選擇的模型，建模是物體識別系統(tǒng)中最重要的問題，建模的目的是建立特征與特征之間的空間結(jié)構(gòu)關(guān)系，以此我們已經(jīng)建立了許多不少目標(biāo)識別的模型。生成模型方法是偏數(shù)學(xué)的模型，包括隱馬爾可夫鏈和條件隨機(jī)場。視覺系統(tǒng)中將選擇有用信息，拒絕無用的信息的這個行為叫做視覺注意機(jī)制。生物視覺的注意機(jī)制提高了效率，完成極為復(fù)雜的信息處理任務(wù)，由于視覺注意機(jī)制能夠快速準(zhǔn)確的選擇感興趣區(qū)域，高效地完成視覺搜索任務(wù)，通過計算機(jī)來模擬視覺注意機(jī)制一直是研究中的重點(diǎn)?？梢詫⒆⒁鈩澐譃閮煞N類型，分為自下而上的數(shù)據(jù)驅(qū)動，從這方面著重視覺注意顯著圖的建立也可以是自上而下的任務(wù)驅(qū)動

17、，從高層的知識表達(dá)來確定視覺的顯著性上升。在自下而上的數(shù)據(jù)驅(qū)動的研究方面，主要基于和提出的特征整合理論，這是目前視覺注意理論中最具影響力的。而和基于空間觀點(diǎn)，以特征整合理論為基礎(chǔ)提出的視覺注意的第一個計算模型，雖是理論上的，只對簡單的人工圖像進(jìn)行仿真。和提出的適用于自然圖像的，最具代表性的高斯金字塔模型。而自上而下的任務(wù)驅(qū)動模型的研究成功就較少，提出了一個用于隱式視覺注意的神經(jīng)網(wǎng)絡(luò)模型，該模型依靠任務(wù)、學(xué)習(xí)將注意集中于重要的特征，除此之外，較有代表性的模型包括統(tǒng)計貝葉斯模型和馬爾科夫模型。這方面的研究以調(diào)節(jié)心理閉值函數(shù)的形式來控制視覺感知，在此基礎(chǔ)上，構(gòu)建了一類列表示執(zhí)行自頂向下的控制的模型，

18、這些模型都是基于自底向上線索的注意顯著性，通過自頂向下注意的感知模型中的“高層信息”引導(dǎo)注意顯著，這些高層信息包括模板、根據(jù)目的或需求設(shè)置的權(quán)重或偏置等等，但這種模型誰執(zhí)導(dǎo)誰，高層信息還是對于初級視覺之間誰優(yōu)先等等關(guān)系，導(dǎo)致自頂向下的和自底向上的注意之間的關(guān)系也不清楚。5、在圖像質(zhì)量評價中的應(yīng)用在當(dāng)今數(shù)字化信息時代，隨著傳感器技術(shù)和網(wǎng)絡(luò)多媒體技術(shù)的迅猛發(fā)展，圖像信息的應(yīng)用越來越廣泛。面對浩如煙海的圖像信息，人眼已很難滿足實際的應(yīng)用需求。根據(jù)人眼視覺系統(tǒng)的特性建立圖像質(zhì)量的自動評價模型，然后讓機(jī)器代替人來監(jiān)控圖像信息，將是一項非常有意義的工作。在圖像質(zhì)量評價方法中，人眼視覺系統(tǒng)的生理學(xué)和心理學(xué)的

19、研究是至關(guān)重要的。如果人類視覺系統(tǒng)中所有相關(guān)部分都能被精確地模擬，那么就很有可能會實現(xiàn)圖像質(zhì)量的精確預(yù)測。但是，由于人類視覺系統(tǒng)非常復(fù)雜，目前存在的視覺模型僅僅對人類視覺進(jìn)行了簡單的模擬，因此存在一定的局限性。另外，質(zhì)量評價系統(tǒng)的建模和參數(shù)的確定是一個抽象的過程，很難與實際的視覺系統(tǒng)的認(rèn)知過程相對應(yīng)。因此，從仿生學(xué)的角度出發(fā)，運(yùn)用人類視覺感知特性的最新研究成果，設(shè)計更有效的圖像質(zhì)量評價方法是一個重要的研究方向，也是解決圖像質(zhì)量評價難題的基本思路?，F(xiàn)有的通用無參考型圖像質(zhì)量評價（IQA）方法大多是對人類額定的失真類型的圖像和相應(yīng)的主觀質(zhì)量評分進(jìn)行學(xué)習(xí)以預(yù)測圖像質(zhì)量。此類算法的一般步驟為：首先利用

20、某種算法或模型提取失真圖像的特征，然后利用某種回歸算法對特征和相應(yīng)的主觀質(zhì)量評分進(jìn)行訓(xùn)練和學(xué)習(xí)得到質(zhì)量評價的回歸器，最后利用訓(xùn)練的回歸器對圖像質(zhì)量進(jìn)行評價。尋求一種能夠很好地表征圖像質(zhì)量的特征是此類算法成敗的關(guān)鍵。T.Poggio等人經(jīng)過多年努力構(gòu)建了基于生物視皮層感受野認(rèn)知的標(biāo)準(zhǔn)模型模型以生物神經(jīng)學(xué)原理為基礎(chǔ)，模擬了靈長類動物視皮層感受野的認(rèn)知過程，所得特征具有很強(qiáng)的表征能力，在目標(biāo)分類、檢測和識別中有很廣泛的應(yīng)用。Hubel等人在靈長類動物視皮層17區(qū)第4層上發(fā)現(xiàn)了對特殊朝向的條形光刺激有強(qiáng)烈反應(yīng)的包括簡單細(xì)胞和復(fù)雜細(xì)胞的感受野構(gòu)型，并提出了通過匯集操作來完成從簡單細(xì)胞到復(fù)雜細(xì)胞的傳遞過程。神經(jīng)學(xué)研究表明簡單細(xì)胞的基本功能是對空間頻率和朝向的選擇性，具有初步的特征檢測的功能，利用多通道Gabor濾波進(jìn)行特征提取能夠模擬簡單細(xì)胞的這一功能；復(fù)雜細(xì)胞擁有更大的感受野，通過匯集操作來完成對簡單細(xì)胞的響應(yīng)。在基本的視皮層理論中，簡單