圖像復(fù)原第二次課.ppt

圖像的無約束恢復(fù),第1頁,在這一節(jié)我們要利用線性代數(shù)的方法，根據(jù)退化模型 ，在假定具備關(guān)于g、 H和n的某些知識的情況下，尋求估計原圖像f的某些方法。這種方法應(yīng)在預(yù)先選定的最佳準(zhǔn)則下，具有最優(yōu)的性質(zhì)。,由退化模型g=Hf+n，其中f,g為堆疊向量。如果關(guān)于n我們一無所知，那么我們尋找f的一個估計值 ，使 在最小二乘意義上近似于g。在無約束條件下，就是n無條件的小。這一問題等效地看為求準(zhǔn)則函數(shù)： 為最小,（注：若a(x),b(x) 為m維列向量，X為n維列向量，那么： 注： ） 那么： 若H已知，則可根據(jù)上式求出 。,可以證明，對 兩邊分別取傅立葉變換，可以得出： 這就是逆濾波法。所以逆濾波法是無約束最小二乘法的頻域解。 對 取傅立葉反變換，就可求出恢復(fù)后的圖像。,（根據(jù)圖像退化模型： 兩邊取傅立葉變換,有 由此可得： 在噪聲未知和不可分離的情況下，可近似取 ),對 ，若H(u,v)在uv平面上取零或很小，就會帶來計算上的困難。 另一方面，噪聲還會帶來更嚴(yán)重的問題。,若H(u,v)在uv平面上取零或很小，N(u,v)/H(u,v)就會使恢復(fù)結(jié)果與原圖像有較大的差距。實際中，H(u,v)隨u，v與原點距離的增加而迅速減小，而噪聲N(u,v)卻一般變化緩慢。在這種情況下，恢復(fù)只能在與原點較近（接近頻域中心）的范圍內(nèi)進行。即H(u,v)具有低通濾波的性質(zhì)：,換句話說，一般情況下，逆濾波器并不正好是1/H(u,v)，而是u和v的某個函數(shù)，可記為P(u,v)。P(u,v)常稱為恢復(fù)轉(zhuǎn)移函數(shù)。,使用逆濾波法時的注意事項： （1）在 H(u,v)=0 的點不做計算，即 （2）當(dāng)H(u,v)非常小時，N(u,v)/H(u,v) 對復(fù)原結(jié)果起主導(dǎo)作用，而多數(shù)實際應(yīng)用系統(tǒng)中，|H(u,v)|離開原點衰減很快，故復(fù)原應(yīng)局限于離原點不太遠的有限區(qū)域進行。 （3）為避免振鈴影響，一種改進的方法是取恢復(fù)的反向濾波器P(u,v)為: 其中k和d均為小于1的常數(shù)，且d選得較小為好。,5.3 圖像的無約束恢復(fù)-反向濾波法,H1(u,v)表示理想低通濾波器,缺點是會出現(xiàn)振鈴效應(yīng)。,5.3 圖像的無約束恢復(fù)-反向濾波法,圖5.3.1 不同濾波半徑下反向濾波的結(jié)果比較,（a）直接由反向濾波恢復(fù)的圖像； （b）、（c）、（d）分別為半徑30、50、70的二階Butterworth濾波器（代替理想低通濾波器）作用后的結(jié)果。,可以看到，逆濾波的結(jié)果還是不能令人滿意。,3.有約束恢復(fù)方法,恢復(fù)問題的病態(tài)性與奇異性 由退化模型 可知，影響圖像恢復(fù)的因素包括噪聲干擾n，成像系統(tǒng)的傳遞函數(shù)H,后者包含了圖像傳感器中光學(xué)和電子學(xué)的影響。先拋開噪聲，要恢復(fù)原圖像f，需要對矩陣H求逆，即： 數(shù)學(xué)上要求這個逆陣存在并且唯一。如果H1不存在，但還存在和f十分近似的解，這稱為恢復(fù)問題的奇異性。,事實上，由于在模糊圖像上存在非常小的擾動時，在恢復(fù)結(jié)果的圖像中，都會產(chǎn)生不可忽視的強擾動。用公式表示為： 為任意小的擾動，。無論是成像系統(tǒng)還是數(shù)字化器，對采集到的圖像產(chǎn)生一些擾動，幾乎是不可避免的。這就是恢復(fù)問題的病態(tài)性。至于噪聲，由于其隨機性，造成模糊圖像g有無限的可能情況，也導(dǎo)致了恢復(fù)問題的病態(tài)性。,為克服恢復(fù)問題的病態(tài)性質(zhì)，常常需要在恢復(fù)過程中對運算施加某種約束，從而在一族可能結(jié)果中選擇一種，這就是有約束的恢復(fù)。 有約束的最小二乘方復(fù)原 能量約束恢復(fù) 平滑約束恢復(fù) 均方誤差最小濾波（維納濾波）,約束復(fù)原方法,處理過程,拉各朗日系數(shù),=1/,維納濾波復(fù)原法,圖像恢復(fù)準(zhǔn)則：f(x,y)和 的之間的均方誤差e2達到最小，即 尋找點擴散函數(shù)hw(x,y)，使得,最小二乘方濾波,由Andrews和Hunt推導(dǎo)滿足這一要求的傳遞函數(shù)為：,Sf(u,v):為 fx,y的功率普，Sh(u,v)為 nx,y的功率普,討論一下上式的幾種情況,（1）如果s=1，方括號中的項就是維納濾波器 （2）如果s是變量，就稱為參數(shù)維納濾波器 （3）當(dāng)沒有噪聲時，Sn(u,v)=0，維納濾波器就退化為理想的逆濾波器 （4）當(dāng)Sn(u,v)和Sf(u,v)未知時，用常數(shù)K可代替,因此必須調(diào)節(jié)s以滿足,f = (HTH + sQTQ)1 HTg,結(jié)果分析 （1） =1時，該濾波器稱為標(biāo)準(zhǔn)維納濾波器，但不能說可以利用上式在約束條件下得到最佳估計； =變量時，稱為變參數(shù)維納濾波器。 （2）無噪聲時，即 ，即變?yōu)槟鏋V波器，即 因此，反向濾波器可看作是維納濾波器的一種特殊情況。 （3）在有噪聲存在的情況下，相比于反向濾波器來說，維納濾波器中由于存在 項，會對噪聲的放大具有自動抑制作用，同時也不會在H(u,v)為0時出現(xiàn)被0除的情形。,5.4 圖像的有約束最小二乘恢復(fù),（4)在實際應(yīng)用中， 和 經(jīng)常是未知的，但可用一常數(shù)k來表示噪聲和信號的功率譜密度比，則：,5.4 圖像的有約束最小二乘恢復(fù),該式可以使退化圖像得到一定程度的恢復(fù)，但不一定是最佳恢復(fù)。實際應(yīng)用中，k可通過已知的信噪比來獲得。,維納濾波復(fù)原法,采用維納濾波器的復(fù)原過程步驟如下： (1)計算圖像g（x,y）的二維離散傅立葉變換得到G(u,v)。 (2)計算點擴散函數(shù)hw(x,y)的二維離散傅立葉變換。同逆濾波一樣，為了避免混疊效應(yīng)引起的誤差，應(yīng)將尺寸延拓。 (3)估算圖像的功率譜密度Pf和噪聲的譜密度Pn。 (4) 計算圖像的估計值 。 (5)計算 的逆付氏變換，得到恢復(fù)后的圖像 。,5.4 圖像的有約束最小二乘恢復(fù),（a）被高斯噪聲污染的圖像； （b）逆濾波恢復(fù)圖像；（c）維納濾波恢復(fù)的圖像； （d）（f）為相應(yīng)的由噪聲方差比（a）小1個數(shù)量級的降質(zhì)圖像得到的結(jié)果； （g）（i）為相應(yīng)的噪聲方差小5個數(shù)量級的圖像得到的結(jié)果。,圖5.4.1 維納濾波法和反向濾波法恢復(fù)圖像的效果比較,由于反向濾波器的病態(tài)性質(zhì)，會導(dǎo)致在H(u,v)的零值附近恢復(fù)濾波器 的數(shù)值變化劇烈，使恢復(fù)后的圖像產(chǎn)生多余的噪聲和虛假邊緣。而這些噪聲的強弱和虛假邊緣的多少可用圖像的二階導(dǎo)數(shù)來表示。通過選擇合理的Q，并對 進行優(yōu)化，可將這些噪聲和虛假邊緣降至最小，也就是讓該二階導(dǎo)數(shù)降為最小，即使,稱為Laplacian算子。,在離散情況下， 可用下面的差分運算來實現(xiàn),約束最小平方濾波法,5.4 圖像的有約束最小二乘恢復(fù),上述運算可用f(m,n)與下面的模板（掩模矩陣）進行卷積來求解。,在離散卷積的過程中，為避免交疊誤差，可將p(m,n)延拓為pe(m,n)再卷積。,若f(m,n)的大小為 ,則延拓后的M、N應(yīng)為:,5.4 圖像的有約束最小二乘恢復(fù),可以寫成分塊循環(huán)矩陣：,C中的任一元素Cj是由pe(m,n)的第j行組成的 循環(huán)矩陣，即,5.4 圖像的有約束最小二乘恢復(fù),令Q=C,則有約束恢復(fù)的結(jié)果就變?yōu)?,同樣可用W矩陣使C對角化，即:,式中P(u,v)是pe(m,n)的傅立葉變換。則恢復(fù)結(jié)果變?yōu)椋?（5.4.23）,（5.4.26）,5.4 圖像的有約束最小二乘恢復(fù),上式中的各元素可寫成如下形式（設(shè)M=N）：,該濾波器就稱為約束最小平方濾波器 。,（5.4.26）,約束最小平方濾波法與維納濾波法比較 它與維納濾波法相同的是，兩者都屬于約束恢復(fù)，頻域的恢復(fù)公式類似，但也有本質(zhì)區(qū)別。用約束最小平方濾波器恢復(fù)圖像時，不需要知道圖像和噪聲的自相關(guān)矩陣Rf 和Rn 。,。,約束最小平方濾波法的恢復(fù)效果如下圖5.4.2所示，將其與維納濾波恢復(fù)法的結(jié)果相比較，可以看出，帶有平滑約束的恢復(fù)法能得到更加符合人眼視覺效果的平滑圖像，并且在噪聲較大的情況下比維納濾波法的效果明顯要好。,5.4 圖像的有約束最小二乘恢復(fù),（a）、（b）和（c）是分別由圖5.4.1中（a）、（d）和（g）得到的約束最小平方濾波結(jié)果，與維納濾波法恢復(fù)結(jié)果（d,e,f）比較。,5.5 幾何畸變圖形的恢復(fù),（c）,（b）,（a）,幾何失真舉例,（d）,圖5.5.1 幾何失真舉例 （a）原圖像；（b）比例變換（縮?。?；（c）旋轉(zhuǎn)；（d）扭曲。,5.5 圖像的幾何校正,例： 從太空中宇航器拍攝的地球上的等距平行線，圖像會變?yōu)橥嵝被虿坏染?；用光學(xué)和電子掃描儀攝取的圖像常會有桶形畸變和枕形畸變；用普通的光學(xué)攝影與測試?yán)走_拍攝的同一地區(qū)的景物二者在幾何形狀上有較大的差異。 以一副圖像為基準(zhǔn)，去校正另一種方式攝入的圖像，以校正其幾何畸變，就叫做圖像的幾何畸變復(fù)原或者幾何畸變校正。,幾何校正就是一種幾何變換，是圖像的幾何畸變的反運算，與幾何變換類似，幾何校正是由輸出圖像像素坐標(biāo)反算輸入圖像坐標(biāo)，然后通過灰度再采樣求出輸出像素灰度值。 圖像幾何校正的兩個步驟 (1)空間變換：對圖像平面上的像素進行重新排列以 恢復(fù)原空間關(guān)系 (2)灰度插值：對空間變換后的像素賦予相應(yīng)的灰度 值以恢復(fù)原位置的灰度值,5.5 圖像的幾何校正,幾何畸變的描述,幾何基準(zhǔn)圖像的坐標(biāo)系統(tǒng)用(x, y)來表示 需要校正的圖像的坐標(biāo)系統(tǒng)用(x, y)表示,設(shè)兩個圖像坐標(biāo)系統(tǒng)之間的關(guān)系用解析式表示,通常h1(x,y)和h2(x,y)用多項式來表示：,通常用線性畸變來近似較小的幾何畸變 更精確一些可以用二次型來近似 若基準(zhǔn)圖像為f(x,y)，畸變圖像為g(x,y)，對于景物上的同一個點，假定其灰度不變，則,5.5.2 幾何校正,5.5.2 幾何校正,幾何變換 通常用已知的多對對應(yīng)點來確定系數(shù)a, b 線性畸變 可由基準(zhǔn)圖找出三個點(x1, y1), (x2, y2), (x3, y3)與畸變圖像上三 個點(x1, y1), (x2, y2), (x3, y3)一一對應(yīng)。,5.5.2 幾何校正,將對應(yīng)點代入，有： 解聯(lián)立方程組，得出6個系數(shù)。,二次畸變,有12個未知量，需要6對已知對應(yīng)點,5.5.2 幾何校正,5.5.2 幾何校正,代入上式 記作矩陣形式 同樣有 解方程組，得到ai，bi 12個系數(shù)。,f(x,y),g(x, y),5.5.2 幾何校正,內(nèi)插法確定像素的灰度值 幾何變換是由輸出圖像像素坐標(biāo)反算出輸入圖像坐標(biāo)，但該坐標(biāo)并非整數(shù)，需要進行灰度再采樣。 例：,最近鄰插值 雙線性插值 Nearest Neighbor Bilinear,再采樣是通過灰度插值來完成的,5.5.2 幾何校正,(i-1,j-1),(i-1,j+2),(i+2,j-1),(i+2,j+2),(x,y),u,v,3三次內(nèi)插法 該方法利用三