改進(jìn)的基于暗原色先驗(yàn)的圖像去霧算法

1、第 16卷 第 2期 電路與系統(tǒng)學(xué)報(bào) Vol.16 No.2 2011 年 4月 JOURNAL OF CIRCUITS AND SYSTEMS April , 2011 文章編號(hào):1007-0249 (2011 02-0007-06改進(jìn)的基于暗原色先驗(yàn)的圖像去霧算法 *蔣建國 1,2, 侯天峰 1, 齊美彬 1,2(1. 合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院,安徽 合肥 230009;安全關(guān)鍵工業(yè)測(cè)控技術(shù)教育部工程研究中心,安徽 合肥 230009摘要:分析討論了原暗原色先驗(yàn)去霧算法原理,指出其不足之處并推導(dǎo)出改進(jìn)方法。通過引入一種容差機(jī)制,算 法能更有效地處理不滿足暗原色先驗(yàn)的明亮區(qū)域,糾正了這

2、類區(qū)域錯(cuò)誤估計(jì)的透射率,從而克服原算法在處理這些區(qū) 域時(shí)產(chǎn)生的色彩失真。實(shí)驗(yàn)結(jié)果表明,這樣的修改切實(shí)可行,恢復(fù)圖像消除了色彩失真,視覺效果得以顯著提高。 關(guān)鍵詞:去霧;暗原色先驗(yàn);色彩失真;容差中圖分類號(hào):TN911.73 文獻(xiàn)標(biāo)識(shí)碼:A1 引言在霧天環(huán)境下,由于大氣散射影響使得拍攝出來的景物能見度和對(duì)比度降低,直接影響航空、海 運(yùn)和道路交通的安全,同時(shí)使各種戶外監(jiān)測(cè)系統(tǒng),如視頻監(jiān)控系統(tǒng),在惡劣的天氣下往往無法可靠工 作。因此,簡單有效的圖像去霧對(duì)提高視覺系統(tǒng)的可靠性和魯棒性具有重要意義。當(dāng)前,對(duì)于圖像的去霧算法主要分為兩類:一類是基于圖像增強(qiáng)的方法,如文獻(xiàn) 1,2的基于移動(dòng) 模板的直方圖均衡

3、化技術(shù)。由于圖像的質(zhì)量降低與場景點(diǎn)到成像傳感器的距離成指數(shù)關(guān)系,因此這種 假設(shè)場景景深不變的圖像增強(qiáng)技術(shù)不能很好地對(duì)霧化圖像去霧恢復(fù)。另一類是基于大氣散射物理模型 的方法。這類方法基于大氣散射規(guī)律建立了圖像退化模型,能夠利用先驗(yàn)知識(shí),具有內(nèi)在的優(yōu)越性。 不足的是這類方法一般需要求得場景深度或大氣條件信息。而現(xiàn)實(shí)條件下,獲取的降質(zhì)圖像并沒有附 加任何景深與大氣條件的信息。由于已知信息量不足,因此圖像去霧恢復(fù)是個(gè)不適定的反問題。為了 消除這種不確定性, 許多研究者利用在不同天氣條件下的拍攝的同一場景的圖像 3,4, 或通過用戶交互 提供的附加信息進(jìn)行從一幅圖像的恢復(fù)工作 5,6。 然而, 這些算法

4、對(duì)圖像采集仍然具有較高的要求。 Tan 7觀察到無霧圖像比有霧圖像具有更高的對(duì)比度, 他通過擴(kuò)大復(fù)原圖像的局部對(duì)比度來達(dá)到去霧的目的, 這樣得到的結(jié)果只是在光學(xué)原理上達(dá)到去霧,忽視了透射率,處理結(jié)果的一些色彩經(jīng)常會(huì)出現(xiàn)過度飽 和。文獻(xiàn) 8提出一種基于統(tǒng)計(jì)學(xué)的去霧方法,取得了很好的效果。但該方法需要足夠的顏色信息以及 差異性,當(dāng)霧很濃時(shí),顏色很微薄,差異也不夠明顯,該方法估計(jì)出的透射率就不可靠。近來, He 9等基于對(duì)戶外無霧圖像數(shù)據(jù)庫的統(tǒng)計(jì)規(guī)律,提出一種簡單有效的暗原色先驗(yàn)單一圖像 去霧方法,對(duì)一般戶外圖像取得了很好的去霧效果,但該算法建立在暗原色假設(shè)之上,對(duì)不滿足這個(gè) 假設(shè)的明亮區(qū)域,算法估

5、計(jì)的透射率偏小,恢復(fù)結(jié)果出現(xiàn)色彩失真,影響了圖像的視覺效果。為此, 本文提出了改進(jìn)方法。第 2部分簡單介紹基于暗原色先驗(yàn)的去霧算法原理;第 3部分分析了產(chǎn)生失真 的原因,并導(dǎo)出改進(jìn)算法;第 4部分的實(shí)驗(yàn)結(jié)果表明這樣的改進(jìn)是可行且很有效的。2 暗原色先驗(yàn)去霧算法 92.1 大氣散射模型解決問題之前, 通常要對(duì)所研究的問題建立數(shù)學(xué)模型。 大氣散射模型描述了霧化圖像的退化過程: (xt1AxtxJxI +=(1 (1式中, I 是觀測(cè)圖像的強(qiáng)度, J 是景物光線的強(qiáng)度, A 是無窮遠(yuǎn)處的大氣光, t 稱為透射率。* 收稿日期:2010-08-24 修訂日期 :2010-09-30基金項(xiàng)目:特種顯示技

6、術(shù)教育部重點(diǎn)實(shí)驗(yàn)室開放課題基金項(xiàng)目 (2008HGXJ0350 ; 安徽省信息產(chǎn)業(yè)廳信息產(chǎn)業(yè)發(fā)展基金項(xiàng)目 (20080128 電路與系統(tǒng)學(xué)報(bào) 第 16卷去霧的目標(biāo)就是從 I 中復(fù)原 J 。方程中的第一項(xiàng) ( (x t x J 叫做直接衰減項(xiàng), (1(x t A 是大氣光成分。 2.2 暗原色先驗(yàn)暗原色先驗(yàn)是通過對(duì)大量戶外無霧圖像的統(tǒng)計(jì)觀察得出的:在絕大多數(shù)圖像的局部區(qū)域里,某一 些像素總會(huì)有至少一個(gè)顏色通道具有很低的值。 換言之, 該區(qū)域光強(qiáng)度的最小值是很小的數(shù)。 對(duì)圖像 J , 定義:(min (min (, , y J x J x y c b g r c dark = (2c J 代表 J

7、 的某一個(gè)顏色通道, 而 (x 是以 x 為中心的一塊方形區(qū)域。經(jīng)統(tǒng)計(jì)觀察得出, dark J 的強(qiáng)度總是很低并且趨近于 0。如果 J 是戶外無霧圖像,把 dark J 稱為 J 的暗原色,并且把以上觀察得出的 經(jīng)驗(yàn)性規(guī)律稱為暗原色先驗(yàn)。 2.3 通過暗原色先驗(yàn)去霧首先假設(shè)大氣光 A 是給定的,進(jìn)一步假定在一個(gè)局部區(qū)域的透射率恒定不變。對(duì)方程(1使用取 最小運(yùn)算符,并同除以 A ,得到: (1(min (min(x t x t A y J x y A y I x y +=cc cc (3三個(gè)顏色通道中使用最小運(yùn)算,有:(1(min min (min min ( ( (x t x t A y J

8、 x y A y I x y +=c c c c (4 根據(jù)暗原色先驗(yàn)的規(guī)律,無霧自然圖像的暗原色項(xiàng) dark J 應(yīng)該接近于 0:0 (min min ( (=y J x J x y c c dark (5 由于 c A 總為正數(shù),導(dǎo)出:0min min (=c c A y J x y (6把上式帶入(4 ,可簡單地估算出透射率 t :=c c A y I x y x t (min min 1 ( (7如果徹底地移除霧的存在,圖像會(huì)看起來不真實(shí),并且深度感會(huì)丟失。所以可以通過在方程(7 中引入一個(gè)常數(shù) (0< 1 ,保留一部分覆蓋遙遠(yuǎn)景物的霧:=cc A y I x y x t ( (

9、min min 1 ( (8 由上式估計(jì)出透射率是粗略的,為了提高精度,應(yīng)用一種軟摳圖算法 10來完善透射率分布函數(shù)。 記經(jīng)完善后的透射率函數(shù)為 (x t ,通過求解下面的稀疏線性系統(tǒng)得到:(t t U L =+ (9是一個(gè)修正參數(shù), L 是 Levin 提出的摳圖拉普拉斯矩陣,詳細(xì)定義可參考文獻(xiàn) 10。根據(jù)完善后的透射函數(shù) (x t ,由下式計(jì)算去霧后的圖像 (x J : A x t Ax I x J +=, (max( ( (0t (10大氣光 A 的估計(jì)方法為:先取暗原色 dark J 中 0.1%亮度最大的像素,然后取這些像素對(duì)應(yīng)在原圖 I 中的最大值作為 A 的值。注意 A 不一定是

10、整幅圖像里最亮的點(diǎn)。對(duì)于多數(shù)戶外霧化圖像,上述算法能取得非常好的效果,如圖 1所示,恢復(fù)結(jié)果去霧效果明顯且 色彩自然真實(shí),這是因?yàn)閳D像中的大部分像素點(diǎn)都滿足暗原色先驗(yàn),即 0 (x J dark 。從圖 2的暗原色 直方圖中也可以看出,暗原色像素值分布總體偏低,趨近于 0,暗原色假設(shè)成立,因此恢復(fù)效果很好。3 改進(jìn)算法第 2期 蔣建國等:改進(jìn)的基于暗原色先驗(yàn)的圖像去霧算法 9 通過 大量實(shí)驗(yàn) 得知,對(duì) 另外一些 含 霧 圖 像,基于 暗原色先 驗(yàn)的去霧 結(jié)果出現(xiàn) 色 彩 失 真,如圖 3(b所示,某些 區(qū)域的色彩嚴(yán)重背 離原圖像。根據(jù)觀 察統(tǒng)計(jì),此類圖像中一般包含天空、偏白色物體、水面 等 大

11、 面 積 明 亮 區(qū) 域。實(shí)際上,這些 明亮區(qū)域即使在無 霧的條件下,它們 的像素值也很大,區(qū)域內(nèi)找不到像素值接近于 0的暗原色點(diǎn),所以暗原色假設(shè)在這些區(qū)域是不成立的。圖 3(d的暗原色 直方圖進(jìn)一步說明了這個(gè)問題。為了克服這個(gè)缺點(diǎn),必須改進(jìn)原有算法,擴(kuò)展暗原色先驗(yàn),以應(yīng)對(duì)不 同場景的霧化圖像,提高算法魯棒性。從估計(jì)大氣光 A 的算法出發(fā),當(dāng)圖像存在明亮區(qū)域時(shí), A 基本落在這些明亮部分。利用(8式 求透射率 t 的分布:當(dāng) I 與 A 越接近其 t 值越小,由于明亮區(qū)域與 A 接近,所以其對(duì)應(yīng)的 t 會(huì)趨于很小 的值,圖 3(c所示的透射率分布圖可以直觀地看出這一點(diǎn)。需要注意的是,如此計(jì)算出

12、的 t 的正確性 是建立在暗原色假設(shè)成立的基礎(chǔ)之上,但通過前面的分析得知,這類區(qū)域顯然不滿足暗原色先驗(yàn),故(a 霧化圖像 (b 去霧圖像 (c 透射率 (d 暗原色圖 1 暗原色先驗(yàn)去霧算法效果展示區(qū)域 1 10 電路與系統(tǒng)學(xué)報(bào) 第 16卷此計(jì)算出的透射率是不準(zhǔn)確的。如果不考慮暗原色假設(shè),直接根據(jù)方程(4推導(dǎo)出的準(zhǔn)確透射率函數(shù)應(yīng)該為:=c c cc c actual A y J x y A y I x y x t ( ( ( (min min 1min min 1 ( (11 在明亮區(qū)域, c cc A y J x y ( (min min 不能近似為 0,上式分母小于 1,因此實(shí)際的透射率

13、(x t actual 要大于 根據(jù)暗原色先驗(yàn)估計(jì)的透射率 (x t 。再來看明亮區(qū)域的去霧修復(fù)過程。一般來說,明亮區(qū)域大體偏白色,三個(gè)顏色通道的差異不大, 所以:, , ( (b g r c c c c b g r =, , A x I x (12c 在 本 文 中 稱 為相對(duì)顏色值,因?yàn)榭疾?cI 和 cJ 通道間顏色值的差異,與考察 cc AI 和 ccA J 是等同的, 所 以 為 了 便 于 說 明 和 比 較,此處用相對(duì)顏色值 代替顏色值。經(jīng)前面的 分析知道,明亮區(qū)域?qū)?應(yīng)著錯(cuò)誤估計(jì)的偏小的 透 射 率 t , 所 以 即 便r、 g、 b之間相差只有幾個(gè)像素,除以很 小的 t (

14、盡管原文中取 1. 0min =t 后,通道間顏色值的差異會(huì)被放大 幾倍乃至數(shù)十倍,最終 使(10式計(jì)算結(jié)果與 原圖的色彩有較大的落 差,特別當(dāng) 3通道方向 不一致(有的通道大于 A ,有的通道小于 A 時(shí),落差得到疊加,類似天空這般性質(zhì)的明亮區(qū)域自然會(huì)有偏色不和諧出現(xiàn),即所謂的色彩失真。圖 4展示了去霧處理前后圖 3(a的紅色矩形框區(qū)域各通道間相對(duì)顏色值差異的變化情況。上邊兩 幅圖對(duì)應(yīng)區(qū)域 1, 下面兩幅圖對(duì)應(yīng)區(qū)域 2。 從圖中可以看出原本通道間僅有幾個(gè)像素的差異, 經(jīng)去霧處 理后變得很大,故此才導(dǎo)致偏色的出現(xiàn)。另外需要指出的是,如果三個(gè)通道的像素值均大于 A ,一般不會(huì)出現(xiàn)嚴(yán)重的色彩失真,

15、因?yàn)?A 本 來就靠近 255, (10式的計(jì)算結(jié)果很可能會(huì)被截?cái)嘀磷畲笾?255,從而減小通道差異,緩解了偏色的 出現(xiàn)。綜上所述,若想消除色彩失真,就必須調(diào)整明亮區(qū)域的透射率函數(shù),使估計(jì)的 (x t 更加符合 (x t actual ,同時(shí)最好能夠不破壞暗原色去霧統(tǒng)一框架。基于此,本文引進(jìn)一個(gè)參數(shù) K ,定義為容差,對(duì)(a 原圖像相對(duì)顏色值曲線 (b 去霧圖像相對(duì)顏色值曲線圖 4 RGB通道相對(duì)顏色值曲線圖 含大面積明亮區(qū)域的霧化圖像, 但并沒有脫離暗原色先驗(yàn),而是在其基礎(chǔ)上對(duì)部分區(qū)域的透射率做了修正,仍舊統(tǒng)一于原框架之內(nèi)。它也可以理解成:對(duì)接近 A 的區(qū)域把去 霧 力 度 降低,因?yàn)閺膶?shí)際

16、情形考慮,霧化在接近偏白的場景里是不明顯的, 也就是說可以弱化處理這些明亮區(qū)域。 圖 6為算法改進(jìn)前后去霧效果的對(duì)比。 4 實(shí)驗(yàn)與分析本文所有實(shí)驗(yàn)圖片均來自百度、谷歌、 Flickr 等網(wǎng)站,大小統(tǒng)一剪裁在 400×300左右,使用 11×11的卷積核, 設(shè)置為 0.95。 軟摳圖部分使用文獻(xiàn) 10的算法, 方程 (9 的線性系統(tǒng)求解直接使用 matlab 的矩陣相除運(yùn)算符, matlab 版本為 7.0。在一臺(tái)處理器為 2.0G Intel Pentium 4 Processor、操作系統(tǒng)為 Windows XP SP3的 PC 機(jī)上處理一幅霧化圖像,用時(shí)在 100s 上

17、下。 因?yàn)槿レF后圖像會(huì)整體變暗, 所以 對(duì)結(jié)果很暗的圖像,用 Photoshop 增加其曝光度。第三例實(shí)驗(yàn)中,選取的霧化圖像包含天空、地面等明亮區(qū)域。原算法在處理這些部位時(shí)存在色彩失真,特別天空區(qū)域,出現(xiàn)不規(guī)則的彩色光暈,而改進(jìn)算法則很 圖 5 容差機(jī)制對(duì)透射率的影響曲線(a 原算法 (b 改進(jìn)算法 (c 原算法透射率 (d 改進(jìn)算法透射率圖 6 去霧效果對(duì)比圖(上邊一組圖片稱為實(shí)例 1,下面一組圖片稱為實(shí)例 2 (a 霧化圖像 (b 原算法 (c 改進(jìn)算法 (d 暗原色的直方圖 圖 7 去霧效果對(duì)比圖(上邊一組圖片稱為實(shí)例 3,下面一組稱為實(shí)例 412 電路與系統(tǒng)學(xué)報(bào) 表1 去霧處理相關(guān)參數(shù)

18、 第 16 卷 好地克服了這個(gè)問題，去霧圖像色彩自然真實(shí)，與原圖十分相 符。第四例實(shí)驗(yàn)是針對(duì)道路上拍攝的含霧圖像的處理?；謴?fù)結(jié) 果的天空方位，色彩噪聲嚴(yán)重，引入容差機(jī)制后，有效緩解了 這個(gè)問題，圖像的整體對(duì)比度得以提高?？傊?，從實(shí)驗(yàn)結(jié)果可 以看出，相比原算法，改進(jìn)算法可以有效改善明亮區(qū)域的色彩 失真，使恢復(fù)結(jié)果更加符合實(shí)際情況，視覺效果更佳。表 1 列 出了四組實(shí)例的相關(guān)參數(shù)。 第一例 第二例 第三例 第四例 Ar 203 197 201 230 Ag 209 197 211 224 Ab 219 199 212 224 K 70 50 85 75 運(yùn)行時(shí)間 94s 109s 97s 113s

19、 5 結(jié)束語 本文對(duì)基于暗原色先驗(yàn)的去霧算法進(jìn)行了理論分析和實(shí)驗(yàn)觀察，指出其不足之處并提出利用容差 對(duì)其進(jìn)行改進(jìn)的方法。容差機(jī)制糾正了暗原色先驗(yàn)在明亮區(qū)域估計(jì)偏小的透射率，以使其更靠近實(shí)際 情況，避免在處理這些區(qū)域時(shí)產(chǎn)生色彩失真。多例實(shí)驗(yàn)證明，改進(jìn)算法可以更加有效地處理包含大面 積明亮區(qū)域的霧化圖像。暗原色去霧方法雖然簡單有效，但計(jì)算量很大，特別是摳圖部分占據(jù)了整個(gè) 算法大半的時(shí)間。下一步的工作是發(fā)展一種快速摳圖算法，或是找到一種同樣能夠細(xì)化透射率的其他 簡便算法，以期望實(shí)時(shí)處理霧化視頻圖像。 參考文獻(xiàn)： 1 2 3 4 5 6 7 8 9 Kim J Y, Kim L S, Hwang S

20、H. An advanced contrast enhancement using partially overlapped sub-block histogram equalization J. IEEE Transactions on Circuits and Systems for Video Technology, 2001, 11(4: 475-484. 祝培, 朱虹, 錢學(xué)明, 等. 一種有霧天氣圖像景物影像的清晰化方法J. 中國圖像圖形學(xué)報(bào), 2004, 9(1: 124-128. Narasimhan S G, Nayar S K. Vision and the atmosph

21、ere J. IJCV(S0920-5691, 2002, 48(3: 233-254. Narasimhan S G, Nayar S K. Contrast restoration of weather degraded images J. PAMI(S0162-8828, 2003, 25(6:713-724. Narasimhan S G, Nayar S K. Interactive (DeWeathering of an Image using Physical Models A. IEEE Workshop on Color and Photometric Methods in

22、Computer Vision C. France, 2003. Kopf J, Neubert B, Chen B et al. Deep photo: Model-based photograph enhancement and viewing A. SIGGRAPH Asia C. 2008. Tan R T. Visibility in bad weather from a single image A. CVPR C. 2008. Fattal R. Single image dehazing A. In SIGGRAPH C. 2008. 1-9. He Kaiming, Sun

23、Jian, Tang Xiaoou. Single image haze removal using dark channel prior A. CVPR C. 2009. 1956-1963. 10 Levin A, Lischinski D, Weiss Y. A closed form solution to natural image matting A. CVPR C. 2006, 1: 61-68. 作者簡介：蔣建國（1955-） ，男，教授，博士生導(dǎo)師，主要研究方向?yàn)閿?shù)字圖像處理、DSP技術(shù)應(yīng)用、智能信息處理 等；侯天峰（1985-） ，男，碩士研究生。研究方向?yàn)閿?shù)字圖像超分辨率

24、重建、圖像去霧、圖像復(fù)原；齊美彬（1969-） ，教授，碩士生導(dǎo)師，主要研究領(lǐng)域?yàn)樾盘?hào)與信息處理、DSP技術(shù)及應(yīng)用、數(shù)字圖像分析與處理等。 Improved algorithm on image haze removal using dark channel prior JIANG Jian-guo1,2, HOU Tian-feng1, QI Mei-bin1,2 (1. Department of Computer and Information, Hefei University of Technology, Hefei 230009, China; 2. Engineering Research Center of Safety Critical Industrial Measurement and Control Technology, Ministry of Education, Hef