數(shù)字圖像圖像復(fù)原

圖像復(fù)原◆5.0概述◆5.1退化模型◆5.2常見退化模型及辨識方法◆5.3圖像的無約束恢復(fù)◆5.4圖像的有約束最小二乘恢復(fù)◆5.5幾何畸變圖像的恢復(fù)5.6超分辨率圖像復(fù)原第5章圖象恢復(fù)降質(zhì)舉例：宇航、衛(wèi)星、航空測繪、遙感、天文學(xué)中所得照片，由于大氣湍流，光學(xué)系統(tǒng)的相差及攝像機(jī)與物體之間的相對運(yùn)動等，會使圖像降質(zhì)。

退化圖像：由于各種原因，使得原清晰圖像變模糊，或者原圖像沒有達(dá)到應(yīng)有的質(zhì)量而形成的降質(zhì)圖像。5.0概述

圖像恢復(fù)（復(fù)原）：使退化圖像恢復(fù)本來面目。

圖像恢復(fù)過程及其關(guān)鍵：根據(jù)圖像降質(zhì)過程的某些先驗知識，建立“退化（降質(zhì)）模型”，運(yùn)用和退化相反的過程，將退化圖像恢復(fù)。

圖像恢復(fù)準(zhǔn)則：要用某一客觀標(biāo)準(zhǔn)來度量，則為某種準(zhǔn)則下的最優(yōu)估計。5.0概述圖像質(zhì)量的客觀評價差值測度第5頁

相關(guān)測度所以有第6頁

數(shù)字圖像的逼真度均方誤差能量歸一化均方誤差第7頁

倒數(shù)為均方信噪比峰值歸一化均方差峰值信噪比第8頁

?圖像恢復(fù)與圖像增強(qiáng)的異同點(diǎn)相同點(diǎn)：圖像增強(qiáng)與圖像恢復(fù)都是改善給定圖像的質(zhì)量。不同點(diǎn)：（1）圖像恢復(fù)是利用退化過程的先驗知識，來建立圖像的退化模型，再采用與退化相反的過程來恢復(fù)圖像，而圖像增強(qiáng)一般無需對圖像降質(zhì)過程建立模型。（2）圖像恢復(fù)是針對圖像整體，以改善圖像的整體質(zhì)量。而圖像增強(qiáng)是針對圖像的局部，以改善圖像的局部特性，如圖像的平滑和銳化。5.0概述?圖像恢復(fù)與圖像增強(qiáng)的異同點(diǎn)（3）圖像恢復(fù)主要是利用圖像退化過程來恢復(fù)圖像的本來面目，它是一個客觀過程，最終的結(jié)果必須要有一個客觀的評價準(zhǔn)則。而圖像增強(qiáng)主要是用各種技術(shù)來改善圖像的視覺效果，以適應(yīng)人的心理、生理需要，而不考慮處理后圖像是否與原圖像相符，也就很少涉及統(tǒng)一的客觀評價準(zhǔn)則。5.0概述基本思路高質(zhì)量圖像退化了的圖像復(fù)原的圖像圖像退化圖像復(fù)原因果關(guān)系研究退化模型第12頁第13頁以后討論中對降質(zhì)模型H作以下假設(shè)：H是線性的H是空間（或移位）不變的對任一個f(x,y)和任一個常數(shù)α

和β都有：

Hf(x-α,y-β)=g(x-α,y-β)

就是說圖像上任一點(diǎn)的運(yùn)算結(jié)果只取決于該點(diǎn)的輸入值，而與坐標(biāo)位置無關(guān)。5.1圖像退化模型5.1圖像退化模型其中*表示卷積運(yùn)算。如果H(·)是一個可分離系統(tǒng)，即則二維運(yùn)算可以分解為列和行兩次一維運(yùn)算來代替5.1圖像退化模型5.1圖像退化模型在加性噪聲情況下，圖像退化模型可以表示為

其中n(x,y)為噪聲圖像5.1圖像退化模型線性位移不變的圖像退化模型則表示為：5.1圖像退化模型重要結(jié)論一個線性系統(tǒng)完全可以由它的點(diǎn)擴(kuò)散函數(shù)h(x,α,y,β)來表征。若系統(tǒng)的PSF已知，則系統(tǒng)在（x，y）點(diǎn)的輸出響應(yīng)可看成是不同坐標(biāo)處輸入函數(shù)所產(chǎn)生的脈沖響應(yīng)在（x，y）處的疊加。而在實(shí)際降質(zhì)過程中，降質(zhì)的另一個復(fù)雜因素是隨機(jī)噪聲，考慮有噪聲的圖像恢復(fù)，必需知道噪聲統(tǒng)計特性以及噪聲和圖像信號的相關(guān)情況，這是非常復(fù)雜的

Hf(x,y)n(x,y)實(shí)際中假設(shè)是白噪聲——頻譜密度為常數(shù)，且與圖像不相關(guān)，（一般只要噪聲帶寬比圖像帶寬大得多時，此假設(shè)成立的），由此得出圖像退化模型。

5.1圖像退化模型離散退化模型

對圖像及其點(diǎn)擴(kuò)散函數(shù)進(jìn)行均勻采樣就可以得到離散退化模型，由于退化過程是卷積過程，線性卷積后點(diǎn)數(shù)變多5.1退化模型w(1)=u(1)*v(1)w(2)=u(1)*v(2)+u(2)*v(1)w(3)=u(1)*v(3)+u(2)*v(2)+u(3)*v(1)...w(n)=u(1)*v(n)+u(2)*v(n-1)+...+u(n)*v(1)...w(2*n-1)=u(n)*v(n)離散退化模型為了方便計算，需要將各函數(shù)進(jìn)行延拓，具體如下所示：5.1退化模型所以線性時不變系統(tǒng)的離散退化模型為：該退化模型也稱為變形退化模型，見圖5.1.3所示，其中表示循環(huán)卷積。5.1退化模型圖5.1.3

離散退化模型還可以用矩陣描述其中，f、g和表示MN×1維的列向量，分別是由M×N維的矩陣、和的各行堆積而成，如下所示：5.1退化模型H為MN*MN的矩陣，對于線性移不變系統(tǒng)具有如下特殊結(jié)構(gòu)：可以看出H是一個分塊循環(huán)矩陣，而其中Hi也是右移循環(huán)陣。這是由于在卷積時利用了矩陣的周期延拓性。

5.1退化模型第26頁例：設(shè)，若忽略噪聲，求退化模型。解：周期延拓M＝4，N＝5

第27頁其中：

H2=H3=0循環(huán)矩陣H的對角化可以證明：任何一個循環(huán)矩陣或者分塊循環(huán)矩陣，總存在非奇異矩陣使其對角化，且這個由循環(huán)矩陣的特征矢量構(gòu)成的非奇異矩陣和循環(huán)矩陣的陣元無關(guān)。

5.1退化模型循環(huán)矩陣H的對角化

根據(jù)Hunt的結(jié)果，可以對H進(jìn)行對角化，即W是一個大小為MN×MN維的矩陣，由M×M個大小為N×N的子塊構(gòu)成：

5.1退化模型從而D是一個對角矩陣由以上各式并結(jié)合：5.1退化模型式中表示對取整，kmodN表示對N除k取余數(shù)。

若，和分別是，和的二維傅立葉變換，則有（5.1.27）

這樣整個的求解過程就得到了簡化。如果系統(tǒng)是線性移不變的，在空間域中建立的退化模型可通過分塊循環(huán)矩陣對角化導(dǎo)出頻域中的恢復(fù)濾波器，將龐大的空域運(yùn)算轉(zhuǎn)化為相對較少的頻域運(yùn)算。上式對應(yīng)于我們即將討論的頻域退化模型。5.1退化模型頻域退化模型

相對于空域退化模型，在頻域可利用DFT的快速算法FFT計算，以加速求解。5.1退化模型圖5.1.4

退化函數(shù)h(m,n)的先驗知識：

(1)h(m,n)是確定性并且非負(fù)的。

(2)h(m,n)具有有限支持域。

(3)退化過程并不損失圖像的能量,即。

5.2常見退化函數(shù)及其辨識方法幾種常見的退化模型

1.線性運(yùn)動退化函數(shù)線性運(yùn)動退化是由于目標(biāo)與成像系統(tǒng)間的相對勻速直線運(yùn)動形成的退化。水平方向的線性運(yùn)動可以用以下退化函數(shù)來表示

其中d表示退化函數(shù)的長度。對于線性移動為其它方向的情況，也可以用類似的方法進(jìn)行定義。

5.2常見退化函數(shù)及其辨識方法2.散焦退化函數(shù)幾何光學(xué)的分析表明，光學(xué)系統(tǒng)散焦造成的圖像退化對應(yīng)的點(diǎn)擴(kuò)散函數(shù)應(yīng)該是一個均勻分布的圓形光斑，如圖5.2.1（f）所能看到的。該退化函數(shù)可以表示為其中R是散焦斑的半徑。在信噪比較高的情況下，在頻域圖上可以觀察到圓形的軌跡。

5.2常見退化函數(shù)及其辨識方法3.高斯退化函數(shù)

高斯退化函數(shù)是許多光學(xué)測量系統(tǒng)和成像系統(tǒng)最常見的退化函數(shù)。在這些系統(tǒng)中，由于決定系統(tǒng)點(diǎn)擴(kuò)散函數(shù)的因素較多，其綜合結(jié)果往往使最終的點(diǎn)擴(kuò)散函數(shù)趨于高斯型。其表達(dá)式為其中K是歸一化常數(shù)，是一個正常數(shù)，C是的圓形支持域。由高斯退化函數(shù)的表達(dá)式可以看出，二維的高斯函數(shù)能夠分解成兩個一維的高斯函數(shù)的乘積，這一性質(zhì)在圖像恢復(fù)中很有意義。

5.2常見退化函數(shù)及其辨識方法5.2常見退化模型及其辨識方法（a）

（b）

（c）

（d）

（e）

（f）

圖5.2.1散焦退化示例

（a）、（c）和（e）分別為原圖像、線性運(yùn)動模糊圖像和散焦模糊圖像；（b）、（d）和（f）分別為相應(yīng)的頻率幅度圖。退化函數(shù)的辨識方法

1.圖像觀察法對于一幅模糊圖像，首先提取包含簡單結(jié)構(gòu)的一小部分圖像，然后根據(jù)這部分圖像中目標(biāo)和背景的灰度級，就可以構(gòu)建一幅不模糊的圖像，該圖像與觀察到的子圖像具有相同的大小和特性。

假設(shè)系統(tǒng)為移不變的，從這一函數(shù)特性我們可以推出針對整幅圖像的，它必然與具有相同的形狀。5.2常見退化模型及其辨識方法2.試驗估計法

可以使用與獲取退化圖像的設(shè)備相似的設(shè)備，那么利用相同的系統(tǒng)設(shè)置，就可以由成像一個脈沖（小亮點(diǎn)）得到退化函數(shù)的沖激響應(yīng)。需要注意的是，這個亮點(diǎn)必須盡可能的亮，以達(dá)到減少噪聲干擾的目的。這樣由于沖激響應(yīng)的傅立葉變換是一個常量，有其中與之前一樣，表示觀察圖像的傅立葉變換；A為常量，表示沖激強(qiáng)度。

5.2常見退化模型及其辨識方法第40頁第4章圖像的灰度變換3.數(shù)學(xué)建模法在圖像退化的多年研究中，對于一些退化環(huán)境已經(jīng)建立了數(shù)學(xué)模型。其中有些是利用引起退化的物理環(huán)境來建立退化模型的，例如Hufnagel和Stanley提出的基于大氣湍流物理特性的退化模型：其中k是常數(shù)，與湍流性質(zhì)有關(guān)。

5.2常見退化模型及其辨識方法第42頁第43頁

假設(shè)理想圖像在被記錄的過程中經(jīng)歷了平面運(yùn)動得到了圖像；其在x和y方向的運(yùn)動分別用時間函數(shù)x0(t)和y0(t)表示。為了孤立地討論運(yùn)動的影響，我們還假設(shè)其他可能引起模糊的因素，如快門開、閉時間，膠片沖洗不理想等等均不存在。那么，若曝光時間為T時，由于運(yùn)動引起的模糊圖像模型便是:上式進(jìn)行傅立葉變換改變積分順序利用傅立葉變換空間位移的性質(zhì)F(u,v)與t無關(guān)，故令：所以這是已知的退化模型的傅立葉變換式，若x0(t)和y0(t)的特性已知，則傳遞函數(shù)H(u,v)可以求出。因此f(x,y)可以恢復(fù)出來。

設(shè)圖像在x方向勻速運(yùn)動，。即在快門開啟時間T內(nèi)移動了a距離，且在T內(nèi)勻速運(yùn)動。則

當(dāng)，H(u,v)=0，無法用逆濾波的方法恢復(fù)。若圖像寬度為L，當(dāng)在區(qū)間0≤x≤L之外，f(x,y)為零或已知時，有可能避免這個問題。并可以對這一區(qū)間模糊圖像g(x,y)的了解，恢復(fù)f(x,y)。

下圖中：(a)模糊圖像；(b)是用位移為31個象素，角度為11度的濾波器恢復(fù)的結(jié)果；

是用位移為62個象素，角度為11度的濾波器恢復(fù)的結(jié)果;(d)是用位移為31個象素，角度為22度的濾波器恢復(fù)的結(jié)果圖像的無約束恢復(fù)第52頁

在這一節(jié)我們要利用線性代數(shù)的方法，根據(jù)退化模型，在假定具備關(guān)于g、H和n的某些知識的情況下，尋求估計原圖像f的某些方法。這種方法應(yīng)在預(yù)先選定的最佳準(zhǔn)則下，具有最優(yōu)的性質(zhì)。

我們將集中討論在均方誤差最小意義下，原圖像f的最佳估計，因為它是各種可能準(zhǔn)則中最簡單易行的（其他準(zhǔn)則例如：圖像g和原圖像f的最大絕對誤差max|f-g|最?。黄骄^對誤差最?。籪和g互相關(guān)為最大等等。由退化模型g=Hf+n，其中f,g為堆疊向量。如果關(guān)于n我們一無所知，那么我們尋找f的一個估計值，使在最小二乘意義上近似于g。在無約束條件下，就是n無條件的小。這一問題等效地看為求準(zhǔn)則函數(shù)：為最小（注①：若a(x),b(x)為m維列向量，X為n維列向量，那么：

注②：）那么：若H已知，則可根據(jù)上式求出。

可以證明，對兩邊分別取傅立葉變換，可以得出：這就是逆濾波法。所以逆濾波法是無約束最小二乘法的頻域解。對取傅立葉反變換，就可求出恢復(fù)后的圖像。

（根據(jù)圖像退化模型：兩邊取傅立葉變換,有由此可得：在噪聲未知和不可分離的情況下，可近似取

)對，若H(u,v)在uv平面上取零或很小，就會帶來計算上的困難。另一方面，噪聲還會帶來更嚴(yán)重的問題。若H(u,v)在uv平面上取零或很小，N(u,v)/H(u,v)就會使恢復(fù)結(jié)果與原圖像有較大的差距。實(shí)際中，H(u,v)隨u，v與原點(diǎn)距離的增加而迅速減小，而噪聲N(u,v)卻一般變化緩慢。在這種情況下，恢復(fù)只能在與原點(diǎn)較近（接近頻域中心）的范圍內(nèi)進(jìn)行。即H(u,v)具有低通濾波的性質(zhì)：換句話說，一般情況下，逆濾波器并不正好是1/H(u,v)，而是u和v的某個函數(shù)，可記為M(u,v)。M(u,v)常稱為恢復(fù)轉(zhuǎn)移函數(shù)。

l第一種常見的方法是取M(u,v)為如下函數(shù)：的選取方法是將H(u,v)為零的點(diǎn)除去。這種方法的缺點(diǎn)是恢復(fù)結(jié)果的振鈴效應(yīng)較為明顯。

l

第二種一種改進(jìn)的方法是取M(u,v)為如下函數(shù)：其中k和d均為小于1的常數(shù)，而且d選的較小為好。

5.3圖像的無約束恢復(fù)-反向濾波法（a）

（d）

（c）

（b）

圖5.3.1不同濾波半徑下反向濾波的結(jié)果比較（a）直接由反向濾波恢復(fù)的圖像；（b）、（c）、（d）分別為半徑30、50、70的二階Butterworth濾波器（代替理想低通濾波器）作用后的結(jié)果。

可以看到，逆濾波的結(jié)果還是不能令人滿意。3.有約束恢復(fù)方法

恢復(fù)問題的病態(tài)性與奇異性由退化模型可知，影響圖像恢復(fù)的因素包括噪聲干擾n，成像系統(tǒng)的傳遞函數(shù)H,后者包含了圖像傳感器中光學(xué)和電子學(xué)的影響。先拋開噪聲，要恢復(fù)原圖像f，需要對矩陣H求逆，即：數(shù)學(xué)上要求這個逆陣存在并且唯一。如果H－1不存在，但還存在和f十分近似的解，這稱為恢復(fù)問題的奇異性。

事實(shí)上，由于在模糊圖像上存在非常小的擾動時，在恢復(fù)結(jié)果的圖像中，都會產(chǎn)生不可忽視的強(qiáng)擾動。用公式表示為：

ε為任意小的擾動，δ>>ε。無論是成像系統(tǒng)還是數(shù)字化器，對采集到的圖像產(chǎn)生一些擾動，幾乎是不可避免的。這就是恢復(fù)問題的病態(tài)性。至于噪聲，由于其隨機(jī)性，造成模糊圖像g有無限的可能情況，也導(dǎo)致了恢復(fù)問題的病態(tài)性。

為克服恢復(fù)問題的病態(tài)性質(zhì)，常常需要在恢復(fù)過程中對運(yùn)算施加某種約束，從而在一族可能結(jié)果中選擇一種，這就是有約束的恢復(fù)?！裼屑s束的最小二乘方復(fù)原●能量約束恢復(fù)●平滑約束恢復(fù)●均方誤差最小濾波（維納濾波）

約束復(fù)原方法

處理過程

拉各朗日系數(shù)

α=1/λ最小二乘方濾波最小二乘濾波也就是維納濾波，它是使原始圖像f(x,y)及其恢復(fù)圖像f^(x,y)之間的均方誤差最小的復(fù)原方法具體的數(shù)學(xué)公式推導(dǎo)過程忽略，直接給出公式Sf(u,v):為

f[x,y]的功率普，Sh(u,v)為n[x,y]的功率普討論一下上式的幾種情況（1）如果s=1，方括號中的項就是維納濾波器（2）如果s是變量，就稱為參數(shù)維納濾波器（3）當(dāng)沒有噪聲時，Sn(u,v)=0，維納濾波器就退化為理想的逆濾波器（4）當(dāng)Sn(u,v)和Sf(u,v)未知時，用常數(shù)K可代替因此必須調(diào)節(jié)s以滿足f^=(HTH+sQTQ)–1HTg逆濾波和維納濾波恢復(fù)比較110100SNR退化圖像

傅立葉功率普逆濾波恢復(fù)維納濾波恢復(fù)光譜圖

原始圖像逆濾波恢復(fù)模糊和增加噪聲約束的最小二乘濾波結(jié)果分析（1）=1時，該濾波器稱為標(biāo)準(zhǔn)維納濾波器，但不能說可以利用上式在約束條件下得到最佳估計；=變量時，稱為變參數(shù)維納濾波器。（2）無噪聲時，即，即變?yōu)槟鏋V波器，即因此，反向濾波器可看作是維納濾波器的一種特殊情況。

（3）在有噪聲存在的情況下，相比于反向濾波器來說，維納濾波器中由于存在項，會對噪聲的放大具有自動抑制作用，同時也不會在H(u,v)為0時出現(xiàn)被0除的情形。

5.4圖像的有約束最小二乘恢復(fù)（4)在實(shí)際應(yīng)用中，和經(jīng)常是未知的，但可用一常數(shù)k來表示噪聲和信號的功率譜密度比，則：5.4圖像的有約束最小二乘恢復(fù)

該式可以使退化圖像得到一定程度的恢復(fù)，但不一定是最佳恢復(fù)。實(shí)際應(yīng)用中，k可通過已知的信噪比來獲得。

5.4圖像的有約束最小二乘恢復(fù)

(b)(c)(d)(e)(f)(g)(h)(i)（a）被高斯噪聲污染的圖像；（b）逆濾波恢復(fù)圖像；（c）維納濾波恢復(fù)的圖像；（d）~（f）為相應(yīng)的由噪聲方差比（a）小1個數(shù)量級的降質(zhì)圖像得到的結(jié)果；（g）~（i）為相應(yīng)的噪聲方差小5個數(shù)量級的圖像得到的結(jié)果。

圖5.4.1維納濾波法和反向濾波法恢復(fù)圖像的效果比較

由于反向濾波器的病態(tài)性質(zhì)，會導(dǎo)致在H(u,v)的零值附近恢復(fù)濾波器的數(shù)值變化劇烈，使恢復(fù)后的圖像產(chǎn)生多余的噪聲和虛假邊緣。而這些噪聲的強(qiáng)弱和虛假邊緣的多少可用圖像的二階導(dǎo)數(shù)來表示。通過選擇合理的Q，并對進(jìn)行優(yōu)化，可將這些噪聲和虛假邊緣降至最小，也就是讓該二階導(dǎo)數(shù)降為最小，即使稱為Laplacian算子。

在離散情況下，可用下面的差分運(yùn)算來實(shí)現(xiàn)?約束最小平方濾波法

5.4圖像的有約束最小二乘恢復(fù)上述運(yùn)算可用f(m,n)與下面的模板（掩模矩陣）進(jìn)行卷積來求解。在離散卷積的過程中，為避免交疊誤差，可將p(m,n)延拓為pe(m,n)再卷積。若f(m,n)的大小為

,則延拓后的M、N應(yīng)為:5.4圖像的有約束最小二乘恢復(fù)可以寫成分塊循環(huán)矩陣：

C中的任一元素Cj是由pe(m,n)的第j行組成的循環(huán)矩陣，即5.4圖像的有約束最小二乘恢復(fù)令Q=C,則有約束恢復(fù)的結(jié)果就變?yōu)?同樣可用W矩陣使C對角化，即:式中P(u,v)是pe(m,n)的傅立葉變換。則恢復(fù)結(jié)果變?yōu)椋海?.4.23）（5.4.26）5.4圖像的有約束最小二乘恢復(fù)上式中的各元素可寫成如下形式（設(shè)M=N）：該濾波器就稱為約束最小平方濾波器。（5.4.26）?約束最小平方濾波法與維納濾波法比較

它與維納濾波法相同的是，兩者都屬于約束恢復(fù)，頻域的恢復(fù)公式類似，但也有本質(zhì)區(qū)別。用約束最小平方濾波器恢復(fù)圖像時，不需要知道圖像和噪聲的自相關(guān)矩陣Rf和Rn。。

約束最小平方濾波法的恢復(fù)效果如下圖5.4.2所示，將其與維納濾波恢復(fù)法的結(jié)果相比較，可以看出，帶有平滑約束的恢復(fù)法能得到更加符合人眼視覺效果的平滑圖像，并且在噪聲較大的情況下比維納濾波法的效果明顯要好。

5.4圖像的有約束最小二乘恢復(fù)（a）、（b）和（c）是分別由圖5.4.1中（a）、（d）和（g）得到的約束最小平方濾波結(jié)果，與維納濾波法恢復(fù)結(jié)果（d,e,f）比較。（a）（d）（f）（c）（e）（b）5.5幾何畸變圖形的恢復(fù)（c）

（b）

（a）

幾何失真舉例（d）

圖5.5.1幾何失真舉例（a）原圖像；（b）比例變換（縮?。唬╟）旋轉(zhuǎn)；（d）扭曲?；冊蛴捎诔上裣到y(tǒng)本身的非線性，圖像獲取視角的變化，拍攝對象表面彎曲等原因，會使獲得的圖像比例失調(diào)、歪斜變形，甚至扭曲。我們把這類圖像失真現(xiàn)象稱為幾何畸變，解決這類失真問題的方法稱為幾何畸變圖像的恢復(fù)，或稱為幾何畸變校正。

恢復(fù)方法

一般分為兩步：第一步是對畸變圖像進(jìn)行空間坐標(biāo)變換，使像素點(diǎn)落在正確的位置上，即恢復(fù)圖像的空間關(guān)系；第二步是重新確定空間坐標(biāo)變換后像素的灰度值，即恢復(fù)圖像的灰度值。5.5幾何畸變圖形的恢復(fù)5.5圖像的幾何校正例：從太空中宇航器拍攝的地球上的等距平行線，圖像會變?yōu)橥嵝被虿坏染?；用光學(xué)和電子掃描儀攝取的圖像常會有桶