數(shù)字圖像處理第5章

1、數(shù)數(shù) 字字 圖圖 像像 處處 理理 第五章第五章 圖像復(fù)原圖像復(fù)原 圖像復(fù)原 圖像退化模型 退化參數(shù)估計 逆濾波復(fù)原 維納濾波復(fù)原 約束最小平方濾波復(fù)原 等功率譜濾波復(fù)原 圖像幾何復(fù)原 圖像復(fù)原 實際成像過程中，由于各種原因使圖像質(zhì)量下降（圖像退化，圖實際成像過程中，由于各種原因使圖像質(zhì)量下降（圖像退化，圖 像降質(zhì)）像降質(zhì)） 原因：隨機因素（噪聲或其它隨機干擾） 系統(tǒng)誤差（散焦，幾何畸變，相對運動，大氣湍流，等） 圖像復(fù)原將退化圖像恢復(fù)成原圖像（提高逼真度） 要求：對退化機制（物理過程）有足夠的了解建立退化模型， 然后“逆向”進(jìn)行補償。 實際的退化過程很復(fù)雜，退化模型是近似描述復(fù)原后的圖像 只

2、是對原圖像的一個估計，即在某種準(zhǔn)則下的最優(yōu)估計。 圖像復(fù)原一定是在某種準(zhǔn)則（客觀評價標(biāo)準(zhǔn)）下實現(xiàn)的。圖像復(fù)原一定是在某種準(zhǔn)則（客觀評價標(biāo)準(zhǔn)）下實現(xiàn)的。 圖像復(fù)原 一、退化模型 g(x,y) = Hf (x,y) + n(x,y) 退化圖像退化系統(tǒng)算子噪聲 一般情況下，H可以視為線性空不變系統(tǒng)。設(shè)其沖激響應(yīng)為h(x,y)。 則有： g(x,y) = f (x,y)h(x,y) + n(x,y) 圖像f (x,y) 經(jīng)退化系統(tǒng)作用后變?yōu)榻蒂|(zhì)圖像g(x,y)。 G(u,v)=F(u,v)H(u,v) + N(u,v)頻域形式： 點擴散函數(shù) (PSF) 圖像復(fù)原 q 退化模型的離散形式 一維情況 設(shè)f

3、 (x)有A個采樣值，h(x)有B個采樣值。計算離散卷積時，為了避 免交疊誤差，需要將f (x) 和 h(x)擴展為周期是N=A+B1的周期函數(shù)， 即： fe(x) = f (x) 0 x A 0 A x N he(x) = h(x) 0 x B 0 B x N 圖像復(fù)原 不考慮噪聲時，輸出為： ge(x) = f (x)h(x) = n=0 N -1 fe(n) he(x n) ge(x)周期為N 的周期函數(shù)。 上述離散卷積可以表示為矩陣形式： g = H f ge(0) ge(1) ge(2) ge(N1) he(0) he(1) he(2) he(N+1) he(1) he(0) he(

4、1) he(N+2) he(2) he(1) he(0) he(N+3) . he(N1) he(N 2) he(N3) he(0) fe(0) fe(1) fe(2) fe(N1) = 圖像復(fù)原 因he(x)是周期函數(shù)： he(x) = he(N+x)，則有 he(0) he(N1) he(N 2) he(1) he(1) he(0) he(N1) he(2) he(2) he(1) he(0) he(3) . he(N1) he(N 2) he(N3) he(0) H = H矩陣的每一行都是前一行向右循環(huán)移位的結(jié)果循環(huán)矩陣。 圖像復(fù)原 二維情況 推廣到二維: 設(shè) f (x,y)AB; h(

5、x,y)CD; 擴展為 MN 個元素； M=A+C 1； N=B+D 1； fe(x,y) = f (x,y) 0 x A; 0 y B; 0 A x M; B y N; he(x,y) = h(x,y) 0 x C; 0 y D; 0 C x M; D y N; 圖像復(fù)原 ge(x,y) = n=0 N -1 fe(m, n) he(xm, yn) m=0 M -1 矩陣形式 g = H f fe(0,0) fe(0,1) fe(0,N1) fe(1,0) fe(1,1) fe(1,N1) fe(M1,0) fe(M1,1) fe(M1,N1) f = （g 與 f 構(gòu)成形式相同） 圖像復(fù)原

6、 H為 MN MN 維矩陣，包括 M M 個塊，每一塊的大小為N N 。 H0HM-1HM-2H1 H1H0HM-1H2 H2H1H0H3 HM-1HM-2HM-3H0 he(j,0)he(j,N1)he(j,N2)he(j,1) he(j,1)he(j,0)he(j,N1)he(j,2) he(j,N1)he(j,N2)he(j,N3)he(j,0) H = Hj = 圖像復(fù)原 Hj 是循環(huán)矩陣；且H中各分塊的下標(biāo)變化也是右移循環(huán)的。 H分塊循環(huán)矩陣。 離散退化模型的一般形式： g = H f + n (n為噪聲） 圖像復(fù)原已知 H 和 n ，由退化圖像 g 得到原圖像 f 的估計 f 實際

7、的復(fù)原過程是設(shè)計一個濾波器，使其能從降質(zhì)圖像中計算得 到原真實圖像的一個最優(yōu)估計。廣義上講，圖象復(fù)原是一個求逆問題， 逆問題經(jīng)常存在非唯一解，甚至無解。為了得到逆問題的有用解，需 要有先驗知識以及對解附加某些約束條件。 圖像復(fù)原 二、退化參數(shù)的估計 估計退化系統(tǒng)的點擴散函數(shù)（PSF）以及噪聲的統(tǒng)計特性。 （1）已知退化機制 運動模糊的點擴散函數(shù)相機與景物之間有相對運動的情況： 已知(t)，(t) 分別是位移 x 和 y 的分量，T為曝光時間。 則降質(zhì)圖像為g(x,y) = T/2 T/2 f (x(t), y(t) )dt 圖像復(fù)原 做傅立葉變換： exp(j2(ux+vy) dxdy T/2

8、 T/2 f (x(t), y(t) )dtG(u,v) = 令 = x(t); = y(t) ; 有 G(u,v) = expj2(u(t) +v(t) f (,) exp(j2(u +v) dd T/2 T/2 dt = F (u,v)expj2(u(t) +v(t)dt T/2 T/2 = F(u,v) H(u,v) 圖像復(fù)原 H(u,v) = expj2(u(t) +v(t)dt T/2 T/2 設(shè)為直線運動：(t)= at； (t)=bt；則 H(u,v) = expj2(uat+vbt)dt T/2 T/2 expj2Ktdt T/2 T/2 = = sin(KT) K exp(j

9、KT) (令 K=ua+vb) 物理解釋 ？ 圖像復(fù)原 光學(xué)系統(tǒng)散焦模糊的傳遞函數(shù) 散焦情況下，點光源成像為圓斑，其傳遞函數(shù)為 d散焦點擴散函數(shù)的直徑（參數(shù)） J1() 一階貝塞爾函數(shù) J1(d) d H(u,v) = （或者，簡化為高斯函數(shù)）（或者，簡化為高斯函數(shù)） 22 vu 圖像復(fù)原 大氣湍流模糊的傳遞函數(shù) k與湍流性質(zhì)有關(guān)的參數(shù)； （長時間曝光情況下） (a)可忽略的湍流； (b)劇烈湍流；k=0.0025; (c)中等湍流；k=0.001; (d)輕微湍流；k=0.00025; ab cd 圖像復(fù)原 （2）根據(jù)后驗知識估計 利用圖像中的點、線 、邊 用實驗方法獲得退化系統(tǒng)的點擴散函數(shù)

10、的數(shù)值化形式。 對于點或線，直接測量模糊后的灰度分布形式代替點擴散函數(shù)； 對于階躍邊緣，用測量模糊后的灰度分布的導(dǎo)數(shù)代替點擴散函數(shù)； d fgfgfg dt 階躍邊緣的導(dǎo)數(shù)為Dirac函數(shù)；且有 （利用邊線時，測得的結(jié)果是與其垂直方向上的一維點擴散函數(shù)） 圖像復(fù)原 （3）噪聲統(tǒng)計特性的估計 （一般假設(shè)為加性、高斯白噪聲）選取圖像中較大的平坦區(qū)域， 計算局部灰度的各階矩及其功率譜，以此作為對整個圖象噪聲的估計。 或者，由整個圖像功率譜估計噪聲功率譜 由退化模型得到： 退化圖像功率譜原圖像功率譜噪聲功率譜 Sg(u,v) = |H(u,v)|2 Sf(u,v) + Sn(u,v) Sg Sf Sn

11、 信號能量集中在低頻段， 噪聲能量在高頻段突出 可以在功率譜上分開 圖像復(fù)原 三、圖像濾波復(fù)原 尋找濾波器傳遞函數(shù)，在頻域做濾波，然后變換到空域，得到 對原圖像的估計。 （1）逆濾波復(fù)原）逆濾波復(fù)原 由退化模型 G(u,v)=F(u,v)H(u,v) + N(u,v) 若不考慮噪聲，得： G(u,v) H(u,v) F(u,v) = 故逆濾波傳遞函數(shù)為 1 H(u,v) HI(u,v) = （反向濾波器） 圖像復(fù)原 逆濾波結(jié)果： F(u,v) = HI(u,v)G(u,v) = G(u,v) H(u,v) = F(u,v) + N(u,v) H(u,v) 噪聲放大問題 此項嚴(yán)重影響復(fù)原效果。若

12、H(u,v)有零點或很小，導(dǎo)致噪聲放大。 而且，一般在離原點較遠(yuǎn)時衰減很快，但噪聲信號處于高頻范圍。 N(u,v) H(u,v) 因此復(fù)原只能局限于頻域中的有限區(qū)域，且選擇信噪比高的頻率。 F(u,v) N(u,v) H(u,v) F(u,v) N(u,v) H(u,v) 1 0 w = F(u,v) = F(u,v) + N(u,v) H(u,v) w 方法* 圖像復(fù)原 方法* 通過對待復(fù)原圖像進(jìn)行低通濾波限制復(fù)原范圍。 a b c d (a)沒有低通限制的全濾波 (b)截止頻率為40 (c)截止頻率為70 (d)截止頻率為85 （采用10階巴特沃斯低通） 逆濾波對大氣湍流 圖像(b)進(jìn)行復(fù)

13、原 圖像復(fù)原 （2）維納濾波復(fù)原（最小均方誤差濾波）維納濾波復(fù)原（最小均方誤差濾波） 設(shè)原圖像 f 的估計為 f ，均方誤差定義為： e2 = E( f f )2 若：f 與噪聲不相關(guān)，且噪聲均值為零，則使上述誤差函數(shù)最小 的解在頻域的形式為： vuS vuS vuH vuH vuH f n w , , , , , 2 Sn，Sf 分別為噪聲及原圖像的功率譜。 n f S S “信噪比” 圖像復(fù)原 要求知道噪聲與圖像統(tǒng)計特性（功率譜） 避免了逆濾波的噪聲放大問題： 0 f n S S 若H(u,v)=0，但 , 則 Hw(u,v) = 0 若 0 （信噪比高），則 Hw(u,v) f n S

14、S 1 H(u,v) 反之，若信噪比差，則 Hw(u,v) 0。 一般情況下，Sn 與 Sf 難以預(yù)先知道，可以利用下式： 圖像復(fù)原 kvuH vuH vuH w 2 , , ,（k為可調(diào)節(jié)的參數(shù)） 實際上，最小二乘準(zhǔn)則與人的視覺準(zhǔn)則并不匹配（人眼對暗處和 高梯度區(qū)域的誤差比其它區(qū)域具有更大的容忍性）。 （3）約束最小平方濾波復(fù)原）約束最小平方濾波復(fù)原 準(zhǔn)則準(zhǔn)則在滿足約束條件下，使所定義的 平滑函數(shù)最小。 定義平滑函數(shù)： dxdyyxff 2 ),()( 圖像復(fù)原 由退化模型 ),(),(),(),(yxnyxfyxhyxg dxdyyxndxdyyxfyxhyxg),(),(),(),( 2

15、 2 得約束方程 在滿足此約束條件的同時，求在滿足此約束條件的同時，求 f ，使平滑函數(shù)，使平滑函數(shù) (f ) 最小。最小。 此問題的解在頻域的形式為： 2 * ),( ),( ),( vuH vuH vuHc （ 為待定參量，只與噪聲的均方差有關(guān)）為待定參量，只與噪聲的均方差有關(guān)） 圖像復(fù)原 dxdy y f x f f 2 2 2 2 )( 22 * ),(),( ),( ),( vuPvuH vuH vuHc 可以采用其它平滑性度量，如： 則在同樣的約束條件下，使 (f ) 最小的解為： 其中，P(u,v) 是 p(x,y) 的付氏變換，而p(x,y) 的形式為： 010 141 010

16、 p(x,y) = Laplacian變換的掩摸形式 是需調(diào)整的參數(shù)， 以滿足約束方程。無 噪聲時 =0，變?yōu)槟?濾波。 一般需要迭代求解。 圖像復(fù)原 （4）等功率譜濾波復(fù)原）等功率譜濾波復(fù)原 準(zhǔn)則準(zhǔn)則使得復(fù)原圖像的功率譜與原圖像相等，即： ),(),( vuSvuS f f 設(shè) 則 ),(),(),( yxgyxhyxf p ),(),(),( vuGvuHvuF p 根據(jù)準(zhǔn)則，有 ),(),(),( 2 vuSvuGvuH fp ),(),(),( 2 vuSvuSvuH fgp (5-3-4-1) 圖像復(fù)原 由退化模型： g(x,y) = h(x,y) f (x,y)+n(x,y) g

17、g = hf + n hf + n f n = 0 = (hf ) (hf ) + n n + 2(hf ) n 設(shè) f (x,y)與 n(x,y)不相關(guān)，則 兩邊做傅立葉變換： 則 Sg(u,v) = H(u,v)2 Sf(u,v) + Sn(u,v) 代入(5-3-4-1)，得 2 1 2 ),(),(),( ),( ),( vuSvuSvuH vuS vuH nf f p 自相關(guān) 圖像復(fù)原 當(dāng)H(u,v)=0時，Hp(u,v)0 （而維納濾波器的Hw(u,v)=0）； 當(dāng)無噪聲時，轉(zhuǎn)化為逆濾波器； 由于維納濾波器在某些點處的頻率響應(yīng)為零，會導(dǎo)致頻率響應(yīng) 起伏較大 在空域產(chǎn)生虛假的紋理模式

18、。 等功率譜濾波器具有很強的復(fù)原能力，在某些情況下，性能優(yōu) 于維納濾波器。 Hw Hp 圖像復(fù)原 逆濾波復(fù)原和維納濾波復(fù)原的比較 a b c d e (a)原圖；(b)退化圖像 (c)全逆濾波 (d)有限頻域逆濾波 (e)維納濾波 圖像復(fù)原 (a)運動模糊及噪聲污染的 圖像；(b)逆濾波結(jié)果；(c) 維納濾波結(jié)果； (d)-(f)同樣的序列，但噪 聲方差小了一個數(shù)量級； (g)-(i)同樣的序列，但噪 聲方差小了5個數(shù)量級； abc def ghi 圖像復(fù)原 約束最小平方濾波 維納濾波 圖像復(fù)原 四、圖像代數(shù)復(fù)原方法 對于離散圖像，若退化系統(tǒng)為線性空不變，且噪聲為加性， 可以將圖像復(fù)原統(tǒng)一在代

19、數(shù)復(fù)原方法的框架內(nèi)進(jìn)行。準(zhǔn)則為最 小二乘準(zhǔn)則。 （1）非約束復(fù)原）非約束復(fù)原 退化模型 g = Hf + n 定義代價函數(shù)：J (f) = | g Hf |2 (5-4-1) 在沒有任何約束條件下，尋找使 J (f ) 為最小的解f 圖像復(fù)原 由 J (f) = ( g Hf )T (g Hf ) 令 J(f) f = 0 2HTg + 2HTHf = 0 （H為分塊循環(huán)矩陣），設(shè)逆H-1存在，有 = (HTH)-1 HTgf 得 = H-1 (HT)-1 HTg = H-1gf XT代表X的共軛 轉(zhuǎn)置 圖像復(fù)原 H 可表示為 H = WDW-1 D 對角矩陣（其值由H的特征值組成） W 對角

20、化矩陣（其列由H的特征向量組成） 循環(huán)矩陣對角化方法循環(huán)矩陣對角化方法 = H-1g = (WDW-1)-1g = WD-1W-1gf 有 = D-1W-1gW-1f W-1的元素是離散傅 立葉變換核；D的 元素是h(x,y)的離散 傅立葉變換 的離散付氏變換f g 的離散付氏變換 所對應(yīng)的連續(xù)形式為： G(u,v) H(u,v) F(u,v) = （即逆濾波） 圖像復(fù)原 （2）約束復(fù)原）約束復(fù)原 令令Q為為f 的線性算子（則的線性算子（則 Qf 是對圖像是對圖像 f 的濾波運算），在的濾波運算），在 滿足約束的條件下，使?jié)M足約束的條件下，使 | Qf |2 為最小。為最小。 | Qf |2

21、min 濾波作用（去噪） | g Hf |2 = | n |2 約束（依據(jù)復(fù)原要求） 利用拉格朗日乘子法，定義代價函數(shù)： J (f ) = | Qf |2 + L(| g Hf |2 | n |2 )（L為乘子） J(f) f = 0 J(f) L = 0 要求： 圖像復(fù)原 = 2QTQf 2LHT(g Hf) = 0 J(f) f = | g Hf |2 | n |2 = 0 J(f) L (5-4-2) 由(5-4-2)解得： = ( HTH + QTQ )-1 HTgf （ =1/L 待調(diào)節(jié)參量，調(diào)整到滿足約束條件） 問題：如何選擇Q (5-4-3) 圖像復(fù)原 對于維納濾波對于維納濾波

22、QTQ = Rf-1Rn ； 其中 Rf = EffT， Rn= EnnT （Rf 和 Rn 分別對應(yīng)原圖像和噪聲的自相關(guān)矩陣） 由(5-4-3)得： = ( HTH + Rf-1Rn )-1 HTgf 與H對角化相同，將 Rf 和 Rn 對角化： Rf = WDfW-1； Rn = WDnW-1 代入(5-4-4)，得 (5-4-4) 圖像復(fù)原 = ( WD*DW-1 + WDf-1DnW-1 )-1 WD* W-1gf （表示共軛） 兩邊左乘W-1，上式化為： = ( D*D + Df-1Dn )-1D* W-1gf W-1 D 對角陣，元素是H 的傅立葉變換； Df 和 Dn對角陣，元素

23、分別是f 和 n 的自相關(guān)矩陣的 傅立葉變換（自相關(guān)的傅立葉變換為功率譜） 故所對應(yīng)的連續(xù)形式為： Sn(u,v) Sf(u,v) |H(u,v)|2 + H *(u,v) G(u,v)F(u,v) = 圖像復(fù)原 若 = 1，則為前述維納濾波器，但一般不能保證滿足約束條件。 上式稱為參變維納濾波器參變維納濾波器（調(diào)整 使約束條件滿足）。 對于以平滑度為約束對于以平滑度為約束 （1）若要求 | f |2 min ，則Q為單位矩陣，由(5-4-3) 可得 |H(u,v)|2 + H *(u,v) G(u,v)F(u,v) = （2）若要求二階導(dǎo)數(shù)最小，Q可選擇為拉普拉斯算子形式，同 樣 由(5-4

24、-3) ，得到頻域公式。 圖像盲復(fù)原（blind deconvolution） 在許多實際情況下點擴展函數(shù)難以預(yù)先確定，必須從觀察圖像 中以某種方式提取退化信息，實現(xiàn)圖像復(fù)原，即圖像盲復(fù)原方法。 圖像復(fù)原 圖像盲復(fù)原是一個病態(tài)問題，難以保證收斂性; 計算量大; 在某種準(zhǔn)則下，利用原始圖像以及PSF的部分部分先驗知識或約束， 同時對原圖像和PSF進(jìn)行估計，一般需要迭代求解; 圖像復(fù)原 迭代盲解卷積（迭代盲解卷積（IBD） (Ayers and Dainty,1988) 0),( 0 kyxh ),( yxfk ),( yxfk FFT (k=k+1) 空域約束 IFFT 頻域約束 頻域約束 FF

25、T IFFT 空域約束 初始估計初始估計 ),( yxhk ),( yxhk ),( vuFk ),( vuFk),( vuHk ),( vuHk ),(),(),(yxhyxfyxg ),(),(),(vuHvuFvuG 空域約束：空域約束： f 支撐域內(nèi)的像素灰度非負(fù)； h支撐域外為零 迭代過程中能量保持 頻域約束：頻域約束： 滿足),(),(),(vuHvuFvuG 本質(zhì)上是逆濾波 （修正形式） 頻域約束： 2 1 2 1 1 ),( ),( ),( ),( ),( vuHvuF vuFvuG vuH kk k k 2 1 2 1 1 ),( ),( ),( ),( ),( vuFvuH

26、 vuHvuG vuF kk k k 圖像復(fù)原 （為參變量） 改進(jìn)的方法改進(jìn)的方法采用維納濾波形式采用維納濾波形式 PSF是正的，且在有限域內(nèi)有 h Syx yxh , 1),( IBD在頻域具有維納濾波的形式（代表噪聲水平），抗噪性好； 計算復(fù)雜度低； 穩(wěn)健性較差（對初始估計敏感，不能保證收斂）。 圖像復(fù)原 空域約束 原圖像的“有限支撐”（包含原圖像的最小矩形）非負(fù) 迭代中， 將支撐域內(nèi)的負(fù)值像素和支撐域外不為零的像素置零。 非負(fù)支撐約束遞歸逆濾波（非負(fù)支撐約束遞歸逆濾波（NASRIF） 原圖像的背景是均勻的黑、灰或白； 原圖像的像素值是正的，并且已知有限支撐域； 原圖像和PSF是不可約的；

27、 PSF的逆存在，并且PSF及其逆是絕對可和的 約束條件： 基本原理降質(zhì)圖像經(jīng)FIR濾波器u(x,y)產(chǎn)生估計圖像 f ，此估 計圖像再經(jīng)非線性映射（即加以約束）產(chǎn)生對應(yīng)原圖像性質(zhì)的一 個凸集投影 fNL，利用 fNL 與 f 的誤差來更新濾波器 u(x,y) 圖像復(fù)原 g(x,y) u(x,y) NL e(x,y) ),( yxf ),( yxfNL 2 ),( ),( 2 ),( 2 1),( ),( 2 ),( sgn(1 ),( )( supsup yx Dyx B Dyx yxu Lyxf yxf yxfuJ 代價函數(shù)： （Dsup為支撐域，Dsup為非支撐域；第三項為正則項，防止背景全黑時 u(x,y)的系數(shù)全為零，只有當(dāng)LB=0時為非零） 圖像復(fù)原 圖像復(fù)原 （*從非負(fù)性和有限支撐的約束可以外推圖像的高頻成分） 支撐域 模糊圖像邊界 支撐域 原圖像邊界 結(jié)構(gòu)簡單，代價函數(shù)為凸函數(shù)，收斂性好（采用共軛梯度算法） 對噪聲敏感 盲復(fù)原的正則化形式盲復(fù)原的正則化形式 定義代價函數(shù)，求滿足某種約束的 f 和 h,使得代價函數(shù)最小 （通常在MAP優(yōu)化準(zhǔn)則下導(dǎo)出） )()(),( 2211 2 hCfChfghfJ C1()和 C2() 為正則化