超分辨率圖像的總則化重建

超分辨率圖像的總則化重建

0超分辨率重建算法對(duì)于軍事、醫(yī)療、遙感和測(cè)繪等應(yīng)用，圖像分段重建是為了獲得具有高分辨率的圖像，具有重要的應(yīng)用價(jià)值。重建算法的依據(jù)為多幅低分辨率圖像之間存在著像素內(nèi)位移,從而每幅低分辨率圖像含有原始高分辨率圖像的不同信息,重建算法為對(duì)這些信息的融合,以盡可能重建出接近原始高分辨率圖像的超分辨率圖像。超分辨率重建算法主要有頻域法、投影凸集方法、迭代反投影法、概率重建法、Tikhonov正則化法、濾波器重建法以及總變分重建方法;對(duì)于概率重建法、Tikhonov正則化法、濾波器重建法以及總變分最小化,在某種意義上來(lái)說(shuō)均為正則化重建算法,在重建的過(guò)程中均需要加入圖像的先驗(yàn)知識(shí)進(jìn)行病態(tài)的正則化。在圖像的重建過(guò)程中引入正則化后,重建得到的圖像將會(huì)引入兩類(lèi)錯(cuò)誤:1)由于正則化,重建算子將偏離圖像獲取算子的逆算子而引入重建誤差;2)由于噪聲,圖像獲取算子頻譜零點(diǎn)以及正則化引入的重建誤差。這兩類(lèi)誤差均與圖像的局部統(tǒng)計(jì)特性相聯(lián)系。本文的主要工作是在超分辨率重建過(guò)程中引入圖像的局部統(tǒng)計(jì)特性,在圖像的平滑區(qū)域相對(duì)加強(qiáng)正則化減弱重建約束,在圖像的棱邊區(qū)域相對(duì)減弱正則化加強(qiáng)重建約束,從而從整體上減少重建誤差。1求解自適應(yīng)的加權(quán)矩陣超分辨率的觀察模型如下:Y=Hf+n(1)p表示一共有p幅低分辨率圖像參與重建;f為原始高分辨率圖像向量,尺寸為[MN,1];yi為參與重建的第p幅低分辨率圖像向量,尺寸為[MLNL,1];ni為第p幅圖像獲取過(guò)程中的噪聲向量,尺寸為[MLNL,1];Ei為相應(yīng)的圖像運(yùn)動(dòng)算子矩陣,尺寸為[MN,MN];Fi為降晰算子矩陣,尺寸為[MN,MN];D為下采樣算子矩陣,尺寸為[MLNL,MN];水平方向和垂直方向下采樣因子均為L(zhǎng),即M/ML=N/NL=L。根據(jù)文獻(xiàn)中建議的正則化,相應(yīng)的超分辨率重建圖像為以下約束解:{∥yi-Ηif∥≤εi,i=1,?,p∥Cf∥≤E(2)其中:εi的選取決定于獲取低分辨率圖像的噪聲能量;C為正則化算子,E取決于正則化圖像的能量。由于圖像的正則化重建的兩類(lèi)錯(cuò)誤均與圖像的統(tǒng)計(jì)特性有關(guān),故本算法在重建過(guò)程中引入空間自適應(yīng)性。引入加權(quán)矩陣將式(2)進(jìn)行修改如下:{∥yi-Ηif∥Ri≤εi,i=1,?,p∥Cf∥S≤E(3)其中:加權(quán)矩陣Ri的主要作用在于對(duì)圖像中的棱邊區(qū)域,采用較小的rij值,增強(qiáng)圖像的重建約束;加權(quán)矩陣S的主要作用在于對(duì)圖像中的平滑區(qū)域,采用較大的sij值,加強(qiáng)正則化算子的作用。這樣通過(guò)這兩種加權(quán)矩陣,以減少重建圖像的誤差。組合式(3)中的不等式得:JW(f)=p∑i=1(yi-Ηif)ΤRi(yi-Ηif)+α(Cf)ΤS(Cf)≤2p∑i=1ε2i(4)其中,α=(p∑i=1ε2i/E2),最小化式(4)得:(p∑i=1ΗΤiRiΗi+αCΤSC)f=p∑i=1ΗΤiRiyi(5)由于實(shí)際獲取的低分辨率圖像之間存在著旋轉(zhuǎn),以及加權(quán)矩陣的存在,對(duì)于式(5)采用VanCittert方法進(jìn)行迭代:fk+1=fk+β(p∑i=1ΗΤiRiyi-(p∑i=1ΗΤiRiΗi+αCΤSC)fk)(6)本文采用文獻(xiàn)的方法計(jì)算式(6)中的加權(quán)矩陣Ri及S:rij=11+(μmax[0,σ2yi(i,j)-σ2yiw])-1sij=11+μmax[0,σ2f(i,j)-σ2fw](7)其中:μ決定加權(quán)矩陣的變化范圍,通常取為0.5左右;σ2yiw為獲取的低分辨率圖像平滑區(qū)域的方差,也即對(duì)應(yīng)于噪聲方差,σ2yi(i,j)為在點(diǎn)(i,j)的局部方差,這樣rij在獲取低分辨率圖像的平滑區(qū)域取相對(duì)小的值,在棱邊區(qū)域取相對(duì)大的值;σ2fw在本文中取迭代過(guò)程中重建圖像平滑區(qū)域的方差,σ2f(i,j)為迭代過(guò)程中重建圖像在點(diǎn)(i,j)的局部方差,這樣sij在重建圖像的平滑區(qū)域取相對(duì)大的值,在棱邊區(qū)域取相對(duì)小的值。由于圖像的灰度值在一定的區(qū)間內(nèi),故迭代過(guò)程中,還需要將圖像的灰度值投影到灰度凸集上。Ρfk={255,fk>255fk,0≤fk≤2550,fk<0(8)算法總結(jié)如下:1)對(duì)低分辨率圖像進(jìn)行配準(zhǔn);2)計(jì)算矩陣Ri(i=1,…,p);3)上采樣參考低分辨率圖像,作為迭代初始超分辨圖像f0,并選取一個(gè)α;4)迭代處理k=0,…,l①根據(jù)fk計(jì)算矩陣S;②根據(jù)式(6)進(jìn)行迭代更新;③根據(jù)式(8)進(jìn)行投影凸集處理;④If‖fk+1-fk‖2/‖fk‖2<εStop;ElseGoto①;end2實(shí)驗(yàn)結(jié)果及分析實(shí)驗(yàn)采用大小為256×256的Lenna灰度圖像作為原始的高分辨率圖像,將圖像進(jìn)行平移、旋轉(zhuǎn)、下采樣、加高斯噪聲得到相應(yīng)的低分辨率圖像。本實(shí)驗(yàn)中只考慮下采樣帶來(lái)的降晰,首先對(duì)于低分辨率圖像進(jìn)行配準(zhǔn),其算法采用文獻(xiàn)基于泰勒級(jí)數(shù)展開(kāi)的迭代配準(zhǔn)算法,參與重建的低分辨率圖像為4幅,重建過(guò)程中正則化算子采用拉普拉斯算子,局部方差的計(jì)算窗口為5×5,重建圖像質(zhì)量采用峰值信噪比(PeakSignaltoNoiseRatio,PSNR)進(jìn)行評(píng)估,并與雙線性插值、無(wú)空間自適應(yīng)的正則化算法,即S和Ri均為單位矩陣,以及總變分重建模型進(jìn)行參考比對(duì),實(shí)驗(yàn)分以下三部分。實(shí)驗(yàn)1不同噪聲方差,重建中的正則化參數(shù)α通過(guò)實(shí)驗(yàn)方法均選取最優(yōu)值,相應(yīng)的信噪比見(jiàn)圖1。從圖1中可以看出,在不同的噪聲方差下,本文的空間自適應(yīng)正則重建優(yōu)于無(wú)自適應(yīng)正則重建1dB左右,更優(yōu)于傳統(tǒng)的雙線性內(nèi)插,原因在于采用空間自適應(yīng)正則重建算法后減少了重建誤差。實(shí)驗(yàn)2在各種正則化參數(shù)下,相應(yīng)的信噪比見(jiàn)圖2,該圖所采用的噪聲方差為40。最優(yōu)正則化參數(shù)的獲取通常是一個(gè)比較困難的任務(wù),由圖2可以得出,即使在非最優(yōu)的正則化參數(shù)α的情況下,空間自適應(yīng)正則重建效果從統(tǒng)計(jì)上也遠(yuǎn)優(yōu)于非自適應(yīng)的正則化重建,且同雙線性內(nèi)插相比較,均能得到一定程度的改善。實(shí)驗(yàn)3各種典型重建算法的比較。低分辨率圖像的噪聲方差為40,參與重建的低分辨率圖像4幅,分別采用非自適應(yīng)正則化、總變分重建模型,以及本文提出的空間自適應(yīng)算法進(jìn)行超分辨率圖像重建,結(jié)果見(jiàn)圖3。其中非自適應(yīng)正則化重建得到的峰值信噪比為31.0520dB,總變分重建模型得到的峰值信噪比為31.1799dB,本文空間自適應(yīng)重建算法得到的峰值信噪比為31.9973dB,可見(jiàn)本文提出的算法具有更好的信噪比。3正則化權(quán)重在超分辨率重建處理中,本文提出引入圖像的局部空間結(jié)構(gòu)特性來(lái)自適應(yīng)正則化重建,采用圖像的局部方差識(shí)別圖像的棱邊及平滑區(qū)域,針對(duì)不同的圖