運動模糊圖像盲復原的變分方法

運動模糊圖像盲復原的變分方法

1運動仿真算法相機成像時的動蕩使圖像模糊。在相機日益流行的今天，這種模糊性到處都是。從模糊圖像恢復清晰圖像的過程被稱為運動模糊退化圖像復原過程。由于事先不能確定模糊核函數(shù),故這種復原又稱為運動模糊圖像盲復原。圖像去模糊技術在刑偵、測量、監(jiān)控及軍事等領域有著重要的應用。由于不能確定模糊核函數(shù),因此是一類病態(tài)問題,需要借助于圖像中的先驗知識進行輔助求解。本文研究的是通過輸入一幅單張模糊退化圖像得到卷積核函數(shù)并計算出清晰圖像,不需要額外的硬件設備,因此應用面更加廣泛。另外本文處理的是圖像的全局模糊,即在圖像中的所有點處的模糊函數(shù)都是統(tǒng)一的。Chan提出用變分方法處理圖像的模糊,不過此方法沒有結(jié)合模糊的先驗知識,直接把卷積核的總變分項引入能量方程進行求解。該方法第一次提出采用變分能量模型來求解點擴展函數(shù)和清晰圖像。實驗證明此方法雖然具有一定的通用性,但實用效果不好。Fergus提出了采用圖像的先驗知識的方法進行輔助求解,通過觀察清晰自然場景圖像的梯度分布符合長拖尾分布,而受到模糊退化后的圖像不符合這一特征,作者采用多高斯概率分布擬合長拖尾分布。另外作者在文中提出了多尺度復原的思路,保證了算法的魯棒性。雖然有若干缺點,但是后期運動圖像盲復原算法,都受此文思路的影響。Shan發(fā)現(xiàn)多高斯概率分布擬合長拖尾分布速度較慢,他提出了分段函數(shù)來擬合這種分布。另外作者引入一階和二階數(shù)據(jù)項,并根據(jù)圖像中的平滑部分來抑制振鈴現(xiàn)象的發(fā)生。Levin在文中沒有提新的運動模糊退化圖像的盲復原算法,而是對比較好的去模糊算法進行了比較,采用變分能量方法直接求解運動去模糊問題會失敗的原因在于圖像在復原過程中能量項的值不一定是減小的,大多數(shù)情況下是增大的,而且圖像中的細節(jié)部分會對整個復原過程產(chǎn)生不利的影響。此文章發(fā)表后很多后期的算法都采用限制圖像中小的梯度,或者直接選擇大梯度進行求解。Hui采用圖像的梯度信息來估計點擴展函數(shù),通過梯度信息計算傅立葉功率譜來估計造成圖像模糊的核矩陣,該方法的好處是對于直線運動引起的運動模糊有很好的效果,但是對于實際的相機運動造成的的模糊效果不好。Cho提出了快速的運動去模糊方法,首先采用雙邊濾波去除圖像中的噪聲信息,然后利用Shock濾波增強圖像的邊緣,對增強后的圖像建立梯度篩選規(guī)則,把梯度超過一定閾值的信息保留下來,并在從粗尺度到細尺度逐漸變化的過程中依次增大梯度的閾值,使得越來越多的圖像信息被用來估計點擴展函數(shù),另外進一步加速求解過程,還利用GPU進行硬件加速,使得整體算法在速度上有了很大提升。但是作者也指出,如果圖像中存在大量的細節(jié)部分時,會影響到算法的效果。Xu分析了前面算法的特點,提出了兩步法去除圖像的運動模糊,首先采用Shock濾波增強圖像的邊緣,考慮到細小的邊緣信息會退化點擴展函數(shù)的效果,提出了有用信息的篩選規(guī)則,只有大的梯度信息用指導點擴展函數(shù)的估計,這樣估計出的點擴展函數(shù)存在一定的誤差,他又提出修正的方法,依據(jù)點擴展函數(shù)是一條連續(xù)的軌跡這一準則采用壓縮感知的方法進行修正。整個算法效果較好,但是過程較復雜。Hong分析了單圖像去模糊算法的主要不足,提出了估計并優(yōu)化點擴展函數(shù)的過程,采用自適應的光滑項來建立變分能量方程。他認為造成運動模糊點擴展函數(shù)的軌跡應該是單像素的,因此他采用這一原則對其進行修正。整個算法實際上是把運動去模糊的變分能量方程中的光滑項用非線性各向同性的光滑項進行了替代,并且在離散化的過程中采用了八鄰域差分來進行實現(xiàn)。從結(jié)果看,他的實驗效果沒有比以前提到的效果有明顯改善。Raskar提出在頻域內(nèi)去除運動模糊的算法,雖然需要特定照相機的幫助,但是其計算點擴展函數(shù)的方法被后來很多基于單圖像進行運動去模糊算法所采用。目前國內(nèi)文獻在利用單幅圖像進行自然場景圖像的盲復原方面多是處理直線運動引起的圖像模糊,且大多數(shù)的算法都是采用合成的圖像進行研究,對自然場景的運動去模糊基本處于空白狀態(tài)。本文提出了新的點擴展函數(shù)的估計方法,考慮自然場景圖像梯度符合長拖尾概率分布,本文所提方法采用歸一化的超拉普拉斯先驗項作為變分能量方程中的光滑項。引入的光滑項更加有利于圖像在去模糊的求解過程中向正確解收斂。相對于前面描述的算法,本文提出的算法不需要預測圖像的梯度信息,也不需要對梯度進行篩選,直接求解該能量方程就能夠得到相應的正確解。另外為了減速并簡化所提能量方程的求解,本文采用分裂方法來進行求解。實驗結(jié)果證明了本文所提算法的有效性。2多尺度估計點擴展函數(shù)運動模糊退化圖像的數(shù)學模型為:式中:f表示運動模糊退化后的圖像,k表示模糊核矩陣即點擴展函數(shù),u表示原始場景信息,n表示成像過程中產(chǎn)生的噪聲。由于相機抖動不能簡單認為是直線運動,因此估算點擴展函數(shù)是個難點。與其它有效的去模糊算法一樣,本文也采用多尺度的方式進行估計。在估計點擴展函數(shù)時,根據(jù)圖像自動計算點擴展函數(shù)的維數(shù)是個難點,當前都是通過人工輸入的方式來確定卷積核的維數(shù)。整個算法的流程圖如圖1所示。圖像金字塔采用降采樣的方式進行,金字塔的層數(shù)由模糊核函數(shù)的大小而定,越大的維數(shù)對應越多的層數(shù),這樣保證恢復的過程也更加精確。尺度的選擇與Fergus的方法相同,初始核函數(shù)大小為3×3,初始方向取水平或垂直不影響最終的結(jié)果。降采樣和插值放大倍數(shù)選擇為1.4。在粗尺度估計出的模糊核函數(shù)和清晰圖像插值放大后作為細尺度上的初始值,整個算法由粗尺度到細尺度依次漸進執(zhí)行。在每一層上點擴展函數(shù)的估計和清晰圖像的恢復采用第3部分所提模型進行求解。通過多尺度框架計算得到的點擴展函數(shù)并由總變分模型求解,得到清晰圖像。多尺度算法保證了點擴展函數(shù)計算的精確性和魯棒性。3基于歸一化超拉普拉斯初步驗證元素的恢復算法3.1基于超拉普拉斯分布的能量方程前面文獻中提到的都不是建立統(tǒng)一的能量方程模型然后進行求解,其原因如Levin所述,即總變分項不能保證在去模糊時能量是下降的,反而有時是上升的,這樣采用梯度降求解時往往得不到希望的解。Hurley對比了歸一化總變分項相對于其它光滑項的好處,在Krishnan中作者通過實驗證明了歸一化的總變分項是有利于模糊圖像向清晰圖像轉(zhuǎn)化的,沒有考慮梯度的分布依然使得算法不能得到更好的結(jié)果。Fergus采用了自然圖像未模糊的梯度概率分布符合長拖尾分布作為先驗知識,Shan把梯度概率分別采用分段的函數(shù)來近似,Krishnan指出自然圖像的長拖尾分布可以用超拉普拉斯分布來近似,并在文中指出了優(yōu)越性。本文將采用梯度的超拉普拉斯分布作為先驗知識引入到能量方程中,為了保證求解時能量是下降的,采用歸一化的超拉普拉斯分布作為光滑項。歸一化的超拉普拉斯項實際上是拉普拉斯項除以圖像的總能量得到的值,由于圖像的總能量在每一步的計算過程中是一個常數(shù),因此不影響圖像梯度的長拖尾分布。在數(shù)據(jù)項的選擇上,本文采用TVL1數(shù)據(jù)項,采用數(shù)據(jù)的高頻信息梯度值作為數(shù)據(jù)項逼近的依據(jù)。本文提出的復原算法的能量方程為:式中:第一項是數(shù)據(jù)項,由于保證恢復的圖像和原圖像的相似度,*為卷積操作。文獻中作者指出在進行圖像處理時利用L1范數(shù)比L2范數(shù)在邊緣保持方面更加有優(yōu)勢,因此本文采用L1范數(shù)的數(shù)據(jù)項。ue065表示梯度操作。第二項是歸一化的超拉普拉斯分布項,當p在0.5至0.8區(qū)間內(nèi)取值時,可以使得恢復的圖像更加符合自然場景特性,也就是梯度符合長拖尾分布,本文參照文獻,p取值為0.66,本文后面的實驗中也對比了p取0.5的情況。造成運動模糊的核函數(shù)有個特點,即核函數(shù)大部分原始為0,只有在運動軌跡上的點不為零,因此卷積核函數(shù)是一個稀疏矩陣,第三項是對卷積核函數(shù)的稀疏限制。λ1和λ2為系數(shù)。式(2)為在每一尺度上估計模糊核函數(shù)和清晰圖像的能量方程。3.2能量方程的求解對于上面的能量方程,本文通過交替迭代的方法來進行求解,為了表示方便x=▽u,y=▽f為了計算采用分裂法求解,令v=k*xy,式(3)能量方程變?yōu)?θ為系數(shù)。固定k求u對v利用小波軟閾值公式求解:其中:max表示取兩個數(shù)中值大的操作,abs表示取絕對值,sign為符號函數(shù)。對于x,式(5)中由于在分母上有x項,因此能量方程非凸并難以直接求解,但是可以采用它的近似值,在迭代的時候用上一步的∫Ω|x|2dx近似當前步的值,因此求式(5)對x的歐拉方程為:其中:k′(x,y)=k(-x,-y),即k′是k的中心對稱矩陣。x不方便求解,為了簡單起見,利用梯度降求解,離散化后:式中:Δt為迭代步長,利用小波軟閾值公式求解公式(9):式中xk+1表示第k+1步的x值,xk表示第k步的x值,通過實驗取p=0.66能夠得到更好的解。固定x,v求k.由于卷積核函數(shù)k的維數(shù)要低于原始圖像的維數(shù),因此對k的求解不能采用歐拉方程的方式求解,本文采用在壓縮感知領域求解的IRLS方法進行求解,內(nèi)部迭代采用共軛梯度法。在每一尺度上,通過上述能量方程的求解,就能夠計算出當前尺度上的模糊核函數(shù)和清晰圖像。在最細尺度計算出核函數(shù)后,本文通過總變分方法來得到原始清晰的圖像。TV方程如式(12)所示:方程(12)同樣通過引入分裂Bregman進行求解。4運動去模糊圖像卷積核仿真結(jié)果為了對比本文提出的算法的有效性,本文選取了6幅運動模糊退化的圖像,進行盲復原實驗,并對比了當前運動模糊退化圖像去除最好的幾種算法。為了表示方便,計算出的運動模糊核放在恢復圖像內(nèi)部的右上角。圖2是選取自文獻中的圖片,圖像尺寸為800×532,估計的卷積核大小為25×25,p取0.66。從結(jié)果看,本文方法能夠很好的恢復圖像中的細節(jié)部分,達到了運動去模糊的效果。圖3是一幅遠程風景的運動模糊圖像,圖像尺寸為1600×1064,估計的卷積核大小為51×51,p取0.66,本文方法很好地恢復了圖像中的細節(jié)部分,估計的卷積核函數(shù)為一條曲線,很好地符合了抖動拍攝時的相機軌跡。圖4是另一幅圖像,圖像大小為1024×1280,恢復出的卷積核大小為27×27,p取0.66,本文所提的算法在圖像的對比度及邊界保持方面達到了很好的效果。圖5是從文獻截取的圖像,圖像大小為858×558,恢復出的卷積核大小為19×19。在實驗中對比了p取不同大小對恢復結(jié)果的影響。從圖中可以看出p取0.66時比p取0.5時恢復的結(jié)果更加符合自然場景圖像梯度分布規(guī)律,另外得到的卷積核函數(shù)更加光滑,也更加符合運動模糊相機軌跡的特征。圖6是另一幅圖像,其大小為535×400,恢復出的卷積核大小為31×31,圖中所示為本文所提的算法p取0.66、0.5時與其它方法對比的結(jié)果。圖7是另一幅圖像,其大小為425×404,恢復出的卷積核大小