基于Retinex理論的彩色眼底圖像增強方法研究 通信工程專業(yè)

第二章主要眼底圖像增強方法彩色眼底圖像增強對醫(yī)學(xué)診斷具有重要的作用，目前主要的彩色眼底圖像增強方法有：直方圖均衡化、對比度受限自適應(yīng)直方圖均衡化以及Hessian矩陣增強方法。2.1直方圖均衡化方法一般來說，圖像對比度的可用較為常見的兩種方法進(jìn)行增強處理，分別為間接對比度增強方法是直方圖拉伸方法和直方圖均衡化(HistogramEqualization，簡稱HE)方法。對于直方圖均衡化而言，圖像灰度改變的是通過累積函數(shù)來實現(xiàn)的，以此達(dá)到增強對比度的效果。其基本的操作步驟的核心思路即，對原始圖像的非均質(zhì)化拉伸處理，使其像素值間距擴(kuò)張，均勻化各灰度范圍的像素量。這種方法也存在一些缺點：(1)增強后圖像的灰度級會變少，部分細(xì)節(jié)會消失；(2)當(dāng)輸入圖像的直方圖有非常密集的部分時，增強后的圖像的對比度會增強過度。通過直方圖均衡化，圖像的亮度可以更好地分布在直方圖上，讓圖像更易于觀察。用這種方法來增強圖像局部的對比度就不會使圖像整體的對比度產(chǎn)生影響，直方圖均衡化通過有均衡亮度密集的區(qū)域來實現(xiàn)這種功能。直方圖均衡化對增強背景太亮或者前景太暗的圖像有很好的效果，尤其是增強X光圖像中清晰度較差的骨骼結(jié)構(gòu)以及曝光過度和曝光不足的圖像中的細(xì)節(jié)信息。這種方法具有一個特殊優(yōu)勢是它的直觀性和可逆操作性，若均衡化的函數(shù)是已知的，則可以構(gòu)造出初始的直方圖。但該方法的缺點也很明顯，即必須對所有的數(shù)據(jù)進(jìn)行分析，這就可能會增加背景的對比度并且降低有用信息的對比度。圖像的直方圖可以表現(xiàn)出圖像像素值的分布規(guī)律。由于圖像是由大量像素組建而成，因而可以將像素分布的直方圖進(jìn)行列表統(tǒng)計來對其特征進(jìn)行分析研究。直方圖對圖像特征的提取和確定其相似度上都具有巨大的貢獻(xiàn)，它能通過對不同區(qū)間的像素值分布特征進(jìn)行整體上的調(diào)整，優(yōu)化其灰度分度，進(jìn)而達(dá)到增強圖像的視覺感。直方圖與圖像清晰度的有如下關(guān)系：(1)亮度不足，即代表其在直方圖中主要位于像素值較小區(qū)間；(2)亮度高，即表示其在直方圖中主要位于像素較大區(qū)間；(3)灰度級隨對比度的降低而降低，且中間水平的灰度級是主要信息的儲存區(qū)；(4)灰度級隨對比度的升高而升高，且主要信息呈均勻化分布。直方圖均衡化的基本思想是使輸入圖像的直方圖分布變的均勻，這樣就會使圖像的灰度級增加，從而可達(dá)到圖像對比度整體增強的效果。假設(shè)未處理前的圖像在二維坐標(biāo)系當(dāng)中，令其灰度值在(x,y)處為f，處理后其灰度值為g，則可認(rèn)為當(dāng)f轉(zhuǎn)變?yōu)間時，就實現(xiàn)了對圖像效果的增強。綜上，可將其轉(zhuǎn)換函數(shù)表示為：g=EQ(f)，這個映射函數(shù)EQ(f)必須滿足兩個條件(其中L為圖像的灰度級數(shù))：(1)為使輸入圖像的灰度排列不被打亂，在區(qū)間0≤f≤L-1內(nèi)，EQ(f)必為單調(diào)遞增函數(shù)。(2)為使轉(zhuǎn)換前后灰度不發(fā)生動態(tài)變化，當(dāng)0≤f≤L-1時，必有0≤g≤L-1。HE方法如下：(1)設(shè)f、g分別為輸入圖像和增強處理后的圖像。HE方法第一步如圖2-1所示。計算輸入圖像f的灰度直方圖，設(shè)為h。h為一個256維的向量。圖2-1HE方法第一步(2)HE方法第二步如圖2-2所示。求出輸入圖像f的像素總數(shù)：(2-1)式(2-1)(m，n分別為圖像的長和寬)不同灰度級范圍內(nèi)的像素量占整個圖像的比例可表示為：(2-2)圖2-2HE方法第二步(3)HE方法第三步如圖2-3所示。計算圖像的灰度級的累計分布hp：(2-3)圖2-3HE方法第三步(4)HE方法第四步如圖2-4所示。求出增強圖像g的灰度值：(2-4)圖2-4HE方法第四步圖2-5展示了直方圖均衡化的結(jié)果圖，上述方法處理前后的直方圖對比。從圖中可以發(fā)現(xiàn)，前后的直方圖有很大的變化，增強效果非常明顯，清晰程度與對比度增強。直方圖均衡化方法是一種十分有效的增強方法，它對于景物中輪廓背景鮮明，即亮度或暗度明顯的圖像非常有效果。但是這種方法對所處理的圖像的信息不做區(qū)分，這會導(dǎo)致增加復(fù)雜背景的信息，并且對需要增強的部分也有影響，會降低其對比度。將直方圖均衡化方法應(yīng)用于圖像去霧問題，雖然可以取得一定的增強效果，但是去霧后的整體視覺效果并不算理想。(a)(b)(c)(d)圖2-5直方圖均衡化前后及直方圖彩色眼底圖像及其直方圖均衡化處理結(jié)果示例如圖2-6所示。(a)(b)圖2-6HE增強(a)輸入圖像；(b)HE方法增強結(jié)果2.2對比度受限自適應(yīng)直方圖均衡化方法圖像增強技術(shù)可具體為時域和頻域。時域增強往往被應(yīng)用于提高圖像的對比度且改進(jìn)其灰度級，其原理是在灰度映射轉(zhuǎn)化的基礎(chǔ)上，對像素進(jìn)行直接性地處理；頻域增強的作用是以強化圖像的低、高頻來達(dá)到改善圖像的平滑性和邊緣為主，其原理是通過傅里葉轉(zhuǎn)換的方式提升興趣區(qū)的頻率分量。圖像灰度分布不均的問題對于圖像處理技術(shù)而言是一個影響較大的問題，為了能解決這個問題，基于時域增強理論，采用映射函數(shù)當(dāng)中的非線性函數(shù)，通過轉(zhuǎn)化后使其像素分布均勻。直方圖均衡化方法通過不同的灰度分布方案使轉(zhuǎn)變?yōu)榛叶戎稻鶆蚧植嫉膱D像，以眼底圖為例，利用直方圖提取灰度映射曲線，再對其進(jìn)行轉(zhuǎn)換，從而提升亮度。但該方法仍有瑕疵，即無法增強其對比度，且在此過程當(dāng)中，一并將噪聲信號也同時放大了。以AHE(AdaptiveHistogtamEqualization)為例，該方法將圖像利用網(wǎng)格線切割為數(shù)量眾多的小格子區(qū)域，并對每一個格子進(jìn)行均衡化處理。但該方法會導(dǎo)致圖像失真，且其微噪也會因此而放大。因此，這里提出了對比度受限制自適應(yīng)直方圖(ContrastlimitedAdaptiveHistogtamEqualization，CLAHE)，即對每一個劃分單元進(jìn)行對比度的限制處理，這也是該方法與傳統(tǒng)的AHE的不同之處[22]。CLAHE通過限制局部直方圖的高度來限制噪聲放大和局部對比度增強。該方法將圖像劃分為多個子區(qū)域；然后對每個子區(qū)域的直方圖進(jìn)行分類。再對每個子區(qū)域分別進(jìn)行直方圖均衡化，最后通過對每個像素進(jìn)行插值運算來獲得變換后的灰度值，以此實現(xiàn)對比度受限自適應(yīng)直方圖均衡化圖像增強。CLAHE方法原理：CLAHE與AHE不同的地方是增加對比度限幅，這就可以克服AHE的過度放大噪聲的問題；(1)設(shè)置M×M大小的正方形滑動窗口，局部映射函數(shù)可表示為：(2-5)(2)滑動窗口局部直方圖的累積分布函數(shù)(cumulativedistributionfunction)：(2-6)從上式可看出，控制器直方圖高度，就能直接對映射函數(shù)的斜率進(jìn)行限制，以此控制對比度強度；(3)令限定的最大斜率為Smax，可得到直方圖最大高度為：(2-7)(2-8)(4)對高度大于Hmax的直方圖應(yīng)截去多余的部分：(2-9)實際處理中，設(shè)定閾值T對直方圖進(jìn)行截斷劃分，該閾值不等于Hmax，將其截掉的部分在整體的灰階范圍內(nèi)分布均勻，達(dá)到總面積不變的情況下提升高度。(5)最后改進(jìn)的直方圖為：(2-10)綜上所述，改變最大的映射函數(shù)斜率Smax及相應(yīng)的最大直方圖高度Hmax，可獲得不同增強效果的圖像。CLAHE方法處理結(jié)果如圖2-7所示。(a)(b)圖2-7CLAHE方法(a)CLAHE處理前的直方圖；(b)CLAHE處理后的直方圖如上所述的處理方法，據(jù)綜合分析對比后，發(fā)現(xiàn)無論是否有無對比度的限制處理，都必須要對任一像素去進(jìn)行計算其直方圖和變換函數(shù)，這就導(dǎo)致該方法極其耗時。而插值方法大大降低了上述方法的運算速度，并且增強的圖像的質(zhì)量并不會下降。插值方法如圖2-8所示。首先，將圖像均勻分成多分相同大小的矩形，如下圖的右側(cè)部分所示。然后計算一個矩形的直方圖和對應(yīng)的變換函數(shù)。對于其他像素而言，可通過其周圍矩形中的變換函數(shù)進(jìn)行插值處理得到。其中，采用雙線性插值區(qū)域為藍(lán)色矩形部分，采用線性插值區(qū)域為淺綠色矩形部分，而對于淺紅色的矩形，可直接利用其變換函數(shù)。圖2-8插值方法按照這種過程就可以大大地降低變換函數(shù)所需的計算次數(shù)，這種方法只增加了部分雙線性插值的計算。采用CLAHE方法對彩色眼底圖像進(jìn)行增強，結(jié)果示例如圖2-9所示，彩色眼底圖像的飽和度更好，血管紋路更清晰。(a)(b)圖2-9CLAHE方法增強(a)輸入圖像；(b)對比度受限制自適應(yīng)直方圖處理2.3Hessian矩陣增強方法Hessian矩陣增強的核心是采用求解高階微分的方式來對圖像特征進(jìn)行提取。它認(rèn)為，最大模量的特征向量和圖像特征在方向性上具有垂直關(guān)系。此外，它可由具有線正交的較大學(xué)對峙的二階導(dǎo)和沿線的具有小絕對值的二階導(dǎo)表示出由高斯函數(shù)構(gòu)造的線性函數(shù)，這即是二維Hessian的幾何意義。Hessian矩陣已經(jīng)被應(yīng)用于多種檢測和分析，并且還被用于分割和重建醫(yī)學(xué)圖像中的曲線結(jié)構(gòu)。關(guān)于判斷圖像中出現(xiàn)的點是否為角點，即像素密集程度激烈變化的點，可利用Hessian矩陣的特征值來進(jìn)行判斷。Hessian矩陣可表示為：(2-11)X方向上的二階偏微分：(2-12)Y方向上的二階偏微分：(2-13)X，Y方向上的混合偏微分：(2-14)對于一幅圖像I而言，它只有x，y兩個方向，所以其Hessian矩陣是一個二元矩陣，對應(yīng)的有：(2-15)分別對圖像卷積運算，然后構(gòu)成圖像Hessian矩陣：(2-16)(2-17)2.4本章小結(jié)為彌補直方圖均衡化會使灰度級降低，丟失部分圖像細(xì)節(jié)等缺陷，可利用CLAHE方法進(jìn)行處理。該方法極大程度上提高了對比度，但仍然有著缺點，即同時放大了噪聲，且無法精準(zhǔn)識別病灶區(qū)域。圖像中亮、暗及其余細(xì)節(jié)部分的提取，可利用數(shù)學(xué)形態(tài)學(xué)濾波，但該方法處理對象僅為灰度圖，對彩色眼底圖像增強有限。然而，想要實現(xiàn)對視網(wǎng)膜圖像的全方位增強，利用Hessian矩陣顯示是不適用的。首先，傳統(tǒng)的眼底圖增強僅僅是對血管信息的強化，鮮有能夠同時對諸如視覺神經(jīng)、病灶等全方位的信息進(jìn)行全面強化；此外，傳統(tǒng)的增強方法絕大多數(shù)的增強原理是對彩色圖像對灰度圖的轉(zhuǎn)化，極其難以使得處理后的圖像在視覺上的保真性。因此，必須考慮多因素的影響條件，以達(dá)到突出圖像細(xì)節(jié)的基礎(chǔ)上，還能對其動態(tài)范圍及相關(guān)色彩性質(zhì)加以完善。

第三章基于Retinex理論的方法彩色眼底圖像增強在醫(yī)學(xué)領(lǐng)域具有重要的作用，研究發(fā)現(xiàn)可以采用基于Retinex理論的方法來對彩色眼底圖像進(jìn)行增強，例如單尺度Retinex方法、多尺度Retinex方法、帶色彩恢復(fù)的多尺度Retinex方法以及基于迭代計算的Retinex方法。3.1單尺度Retinex方法(SSR)單尺度Retinex方法和多尺度Retinex方法會造成顏色細(xì)節(jié)丟失；帶色彩恢復(fù)的多尺度Retinex方法與MSR相比引入色彩恢復(fù)因子，這雖然起到了抑制光暈的作用，但是會導(dǎo)致圖像顏色失真。而且這種方法雖然處理彩色眼底圖像效果較好，但是計算量卻非常大，在處理上需要耗費較多時間，不能達(dá)到醫(yī)學(xué)上的實時性需求。SSR和MSR方法雖然效率高，但往往由于圖像本身或者處理時對尺度的把控不合理，使得圖像增強后對比度低。為了克服以上的各種問題，眾多學(xué)者不斷進(jìn)行深入的研究。如今，Retinex方法己經(jīng)越來越豐富，越來越完善。如圖3-1所示，其Retinex理論可認(rèn)為是入射光經(jīng)物體反射后形成反射光。圖3-1Retinex理論示意圖光線經(jīng)物體反射后形成的反射光被人眼所接收，經(jīng)大腦處理后形成圖像，用公式可表示為：(3-1)式(3-1)中，L(x,y)表示入射光，決定像素的動態(tài)范圍；R(x,y)表示物體的反射光，表示為圖像的本性，即內(nèi)在屬性；S(x,y)為人眼所能接收到的經(jīng)反射后的圖像。Retinex最核心的思想即消除或降低源于入射光所造成的影響，以此來保留物體本質(zhì)的反射光圖像。其公式為：(3-2)式(3-2)中：i=1，2，3分別代表彩色圖像的三原色R，G，B；*表示卷積運算；G(x,y)是高斯環(huán)繞函數(shù)，可表示為：(3-3)式(3-3)中：c表示高斯環(huán)繞函數(shù)的尺度參數(shù)；K為歸一化因子。高斯環(huán)繞函數(shù)需滿足下式的成立：(3-4)Retinex方法的基本流程如圖3-2所示。圖3-2Retinex方法的基本流程SSR方法的具體實現(xiàn)步驟：(1)讀取輸入圖像數(shù)據(jù)S(x,y)，對其數(shù)據(jù)進(jìn)行類型變換，將整型變換為double型；(2)確定尺度c的大小，并根據(jù)式(3-4)確定歸一化因子K的取值；(3)根據(jù)式(3-2)來獲得圖像R(x,y)；(4)對R(x,y)進(jìn)行線性校正處理(因為R(x,y)的范圍不在0-255內(nèi))，校正后的圖像即為方法增強圖像。彩色眼底圖像的SSR處理示例圖像如圖3-3所示。(b)圖3-3彩色眼底圖像的SSR處理圖像(a)輸入圖像；(b)SSR處理后圖像3.2多尺度Retinex方法(MSR)MSR是在SSR的基礎(chǔ)上發(fā)展而來的。在SSR圖像增強中，由于單尺度對圖像增強影響太大，經(jīng)其處理后的動態(tài)壓縮性、保真性和細(xì)節(jié)均無法達(dá)到最優(yōu)化。為了消除這種增強方式帶來的負(fù)面影響，可結(jié)合不同尺度下經(jīng)SSR處理所得結(jié)果，即采用MSR方法，這樣就能使圖像在顏色和細(xì)節(jié)信息方面達(dá)到平衡。MSR方法是經(jīng)SSR進(jìn)行加權(quán)處理后的結(jié)果，其可表示為：(3-5)式(3-5)中，為MSR在第i個顏色通道的輸出；Wn為不同尺度的加權(quán)求和系數(shù)；N為選擇的尺度個數(shù)。在選擇尺度時，需要選擇一個小尺度、一個中尺度和一個大尺度，用來保證實驗結(jié)果能有較好的增強效果。而選擇尺度有如下規(guī)律：(1)選擇圖像大小的1%~5%，使實驗結(jié)果能夠得到很好的邊緣細(xì)節(jié)，作為小尺度；(2)選擇圖像大小的10%~15%，使實驗結(jié)果能夠得到邊緣細(xì)節(jié)和色彩，作為中尺度；(3)選擇圖像大小的30%~50%，使實驗結(jié)果能夠得到比較均衡的色彩，作為大尺度。多尺度Retinex的基本步驟如下：(1)初始化處理。將S(x,y)分解為R、G、B，轉(zhuǎn)化其數(shù)據(jù)類型；(2)將輸入的數(shù)據(jù)轉(zhuǎn)換至對數(shù)域，由于對數(shù)的特殊性，即無法取0作為其變量，則可在原有數(shù)據(jù)基礎(chǔ)上加上一個修正值，一般可取為1；(3)選擇不同尺寸的參數(shù)，根據(jù)式3-4來確定c值；再根據(jù)式3-3計算高斯環(huán)繞函數(shù)，并對原始對象進(jìn)行卷積計算，得到濾波處理后的圖像I(x,y)；(4)進(jìn)行加權(quán)求和計算，然后經(jīng)過對數(shù)處理；(5)計算步驟(4)與原始圖像之間的相對關(guān)系，可理解為是二者對數(shù)域當(dāng)中的數(shù)值相減；(6)將圖像從對數(shù)域轉(zhuǎn)換到實數(shù)域；(7)通過gain/offset對圖像進(jìn)一步調(diào)整并作線性拉伸，將R、G、B三色圖像重疊后再進(jìn)行輸出。彩色眼底圖像的MSR處理示例如圖3-4所示。(a)(b)圖3-4彩色眼底圖像的MSR處理圖像(a)輸入圖像；(b)MSR處理后圖像3.3帶色彩恢復(fù)的多尺度Retinex方法(MSRCR)盡管對于灰度圖像的處理，MSR方法表現(xiàn)出了較好的效果，但對于彩色圖像而言卻不盡人意，往往會出現(xiàn)失真、發(fā)灰和泛白等現(xiàn)象。在之前的增強過程中，圖像可能在處理時增加了噪聲，使圖像的局部細(xì)節(jié)顏色失真，失去了彩色眼底圖像真正的顏色，整體增強效果較差。為了克服MSR對彩色圖像增強的不足，MSRCR應(yīng)運而生。MSRCR方法利用色彩恢復(fù)因子c，調(diào)整輸入的彩色眼底圖像中三個顏色通道之間的比例關(guān)系，把較暗區(qū)域的信息增強，達(dá)到了消除圖像顏色失真的缺陷。處理后的圖像局部對比度提高，亮度與真實場景相似，在人們視覺感知下，圖像顯得更加逼真。但是MSRCR方法處理圖像后，彩色眼底圖像像素值一般會出現(xiàn)負(fù)值。Jobson等提出了一個利用色彩恢復(fù)函數(shù)與多尺度MSR的輸出結(jié)果相乘的方法，其可表示為：(3-6)式(3-6)中Ci(x,y)稱為彩色恢復(fù)函數(shù)，可以表示為：(3-7)式(3-7)中，β為增益常數(shù)；α為非線性強度控制因子。彩色眼底圖像的MSRCR處理示例如圖3-5所示。(a)(b)圖3-5彩色眼底圖像的MSRCR處理圖像(a)輸入圖像；(b)MSRCR處理圖像3.4基于迭代計算的Retinex方法基于迭代計算的Retinex方法有Frankle-McCannRetinex方法和McCann99Retinex方法。1983年A.Frankle和J.McCann發(fā)明了Frankle-McCannRetinex方法，簡稱McCannRetinex方法，這種方法在采樣上精度更高，選擇的是一條螺旋形結(jié)構(gòu)的迭代路徑，這種路徑選擇包含了整個圖像的全局明暗關(guān)系，F(xiàn)rankle-McCannRetinex方法路徑選擇圖如圖3-6所示。由圖3-6可知，坐標(biāo)零點附近的選取點數(shù)較多，這是由于零點附近的點與中心點的相關(guān)性較遠(yuǎn)處相比，更容易獲得精確的光照估計。圖3-6Frankle-McCannRetinex方法路徑選擇圖McCannRetinex方法首先利用預(yù)先規(guī)定的距離D分離首先處理的像素，然后順時針旋轉(zhuǎn)比較方向90度，則D為初始的一半，如此反復(fù)直至到單位像素的距離。其迭代步數(shù)是人為規(guī)定的。在對彩色眼底圖像處理時的具體步驟如下：將R、G、B三個通道進(jìn)行對數(shù)化處理，將數(shù)據(jù)類型轉(zhuǎn)化為double；(2)確定shift變量，進(jìn)行路徑比較；(3)重新對shift賦值，即shift=1/2shift；(4)重復(fù)(2)、(3)步驟，直到shift<1；(5)設(shè)定迭代次數(shù)n，重復(fù)(2)、(3)和(4)步驟n次；(6)將輸入圖像有對數(shù)域轉(zhuǎn)化到實數(shù)域，顯示圖像。Funt等人提出McCann99Retinex方法，這種方法是多分辨率的，它利用金字塔模型來對圖像進(jìn)行描述，通過從頂部向下逐漸迭代，以此來達(dá)到效果強化，但這種方式對