圖像處理圖像復(fù)原

圖像處理圖像復(fù)原第1頁，課件共48頁，創(chuàng)作于2023年2月5.1圖像復(fù)原的基本概念

什么是圖像退化?

圖像的質(zhì)量下降叫做退化。退化的形式有模糊、失真、有噪聲等圖像退化的原因無論是由光學(xué)、光電或電子方法獲得的圖像都會有不同程度的退化；退化的形式多種多樣。如傳感器噪聲、攝像機(jī)未聚焦、物體與攝像設(shè)備之間的相對移動、隨機(jī)大氣湍流、光學(xué)系統(tǒng)的相差、成像光源或射線的散射等；如果我們對退化的類型、機(jī)制和過程都十分清楚，那么就可以利用其反過程來復(fù)原圖像。第2頁，課件共48頁，創(chuàng)作于2023年2月

a)被正弦噪聲干擾的圖像b)濾波效果圖用巴特沃思帶阻濾波器復(fù)原受正弦噪聲干擾的圖像5.1

圖像復(fù)原的基本概念第3頁，課件共48頁，創(chuàng)作于2023年2月

a)受大氣湍流的嚴(yán)重影響的圖像b)用維納濾波器恢復(fù)出來的圖像維納濾波器應(yīng)用5.1圖像復(fù)原的基本概念第4頁，課件共48頁，創(chuàng)作于2023年2月5.1圖像復(fù)原的基本概念圖像復(fù)原將降質(zhì)了的圖像恢復(fù)成原來的圖像，針對引起圖像退化的原因，以及降質(zhì)過程某先驗知識，建立退化模型，再針對降質(zhì)過程采取相反的方法，恢復(fù)圖像一般地講，復(fù)原的好壞應(yīng)有一個規(guī)定的客觀標(biāo)準(zhǔn)，以能對復(fù)原的結(jié)果作出某種最佳的估計。第5頁，課件共48頁，創(chuàng)作于2023年2月5.1圖像復(fù)原的基本概念圖像還原與增強(qiáng)的區(qū)別1．圖像退化原因決定還原方法2．評價標(biāo)準(zhǔn)不同： a）突出感興趣的那部分——主觀評估b）利用退化的逆過程恢復(fù)原始圖像，客觀評估：接近原圖像第6頁，課件共48頁，創(chuàng)作于2023年2月

無約束恢復(fù)

技術(shù)有約束恢復(fù)自動方法圖像恢復(fù)策略交互方法根據(jù)是否需要外來干預(yù)空域處理域頻域圖像一般模型：線性移不變系統(tǒng)標(biāo)準(zhǔn)：非線性恢復(fù)、線性恢復(fù)5.1圖像復(fù)原的基本概念第7頁，課件共48頁，創(chuàng)作于2023年2月5.2圖像退化模型降質(zhì)過程可看作對原圖像f(x,y)作線性算。

g(x,y)

＝H·f(x,y)+n(x,y)

降質(zhì)后降質(zhì)模型噪聲Hf(x,y)n(x,y)第8頁，課件共48頁，創(chuàng)作于2023年2月以后討論中對降質(zhì)模型H作以下假設(shè)：H是線性的H是空間（或移位）不變的對任一個f(x,y)和任一個常數(shù)α和β都有：

Hf(x-α,y-β)=g(x-α,y-β)就是說圖像上任一點(diǎn)的運(yùn)算結(jié)果只取決于該點(diǎn)的輸入值，而與坐標(biāo)位置無關(guān)。5.2圖像退化模型第9頁，課件共48頁，創(chuàng)作于2023年2月f(i,j)：原始圖像g(i,,j)：降質(zhì)圖像H(·)：成像系統(tǒng)的作用，則：由于函數(shù)的篩選性質(zhì)（一幅圖像可以看作是由一系列沖激函數(shù)組成的）5.2圖像退化模型第10頁，課件共48頁，創(chuàng)作于2023年2月5.2圖像退化模型第11頁，課件共48頁，創(chuàng)作于2023年2月其中*表示卷積運(yùn)算。如果H(·)是一個可分離系統(tǒng)，即則二維運(yùn)算可以分解為列和行兩次一維運(yùn)算來代替5.2圖像退化模型第12頁，課件共48頁，創(chuàng)作于2023年2月5.2圖像退化模型在加性噪聲情況下，圖像退化模型可以表示為

其中n(x,y)為噪聲圖像第13頁，課件共48頁，創(chuàng)作于2023年2月5.2圖像退化模型線性位移不變的圖像退化模型則表示為：第14頁，課件共48頁，創(chuàng)作于2023年2月5.2圖像退化模型重要結(jié)論一個線性系統(tǒng)完全可以由它的點(diǎn)擴(kuò)散函數(shù)h(x,α,y,β)來表征。若系統(tǒng)的PSF已知，則系統(tǒng)在（x，y）點(diǎn)的輸出響應(yīng)可看成是不同坐標(biāo)處輸入函數(shù)所產(chǎn)生的脈沖響應(yīng)在（x，y）處的疊加而在實際降質(zhì)過程中，降質(zhì)的另一個復(fù)雜因素是隨機(jī)噪聲，考慮有噪聲的圖像恢復(fù)，必需知道噪聲統(tǒng)計特性以及噪聲和圖像信號的相關(guān)情況，這是非常復(fù)雜的

第15頁，課件共48頁，創(chuàng)作于2023年2月Hf(x,y)n(x,y)實際中假設(shè)是白噪聲——頻譜密度為常數(shù)，且與圖像不相關(guān)，（一般只要噪聲帶寬比圖像帶寬大得多時，此假設(shè)成立的），由此得出圖像退化模型。

5.2圖像退化模型第16頁，課件共48頁，創(chuàng)作于2023年2月

討論的前提是假設(shè)H是線性的，下面一些恢復(fù)方法都是對上述模型的近似估計。

兩邊進(jìn)行付氏變換：

討論恢復(fù)問題：

若略去噪音N，得：

反變換,可求

F→f

5.2圖像退化模型第17頁，課件共48頁，創(chuàng)作于2023年2月

若H有零點(diǎn)，G也有零點(diǎn)出現(xiàn)，0/0的不定值，這樣模型不保證所有逆過程都有解由于引起退化的因素眾多，而且性質(zhì)不同，目前又沒有統(tǒng)一的恢復(fù)方法，許多人根據(jù)不同的物理模型，采用不同的退化模型、處理技巧和估計準(zhǔn)則，從而導(dǎo)出了多種恢復(fù)方法有效方法：針對特定條件，用特定模型處理5.2圖像退化模型第18頁，課件共48頁，創(chuàng)作于2023年2月5.2.2離散的退化模型對于圖像降質(zhì)過程進(jìn)行數(shù)學(xué)建模f(i,j)：原始圖像y(i,j)：降質(zhì)圖像h(i,j;k,l)：點(diǎn)擴(kuò)散函數(shù)圖像為M×N維假設(shè)為空間移不變h(i,j;k,l)，則：第19頁，課件共48頁，創(chuàng)作于2023年2月5.3圖像復(fù)原的方法尋找濾波傳遞函數(shù)，通過頻域圖像濾波得到復(fù)原圖像的傅立葉變換，再求反變換，得到復(fù)原圖像非約束還原有約束還原非線性約束還原第20頁，課件共48頁，創(chuàng)作于2023年2月退化模型：逆過程：復(fù)原圖像：當(dāng)H(u,v)為0或很小時，，原點(diǎn)附近：圖像完全被噪聲淹沒，造成噪聲放大5.3.1反向濾波法病態(tài)第21頁，課件共48頁，創(chuàng)作于2023年2月解決方法去除原點(diǎn)、設(shè)置原點(diǎn)值原點(diǎn)、鄰域均不計算

f(x,y)H(u,v)

n(x,y)

g(x,y)M(u,v)恢復(fù)轉(zhuǎn)移函數(shù)5.3.1反向濾波法第22頁，課件共48頁，創(chuàng)作于2023年2月5.3.2約束還原法維納濾波

維納濾波恢復(fù)正是在假定圖像信號可近似看作平穩(wěn)隨機(jī)過程的前提下，按照使原圖像f(x,y)與恢復(fù)后的圖像之間的均方誤差e2達(dá)到最小的準(zhǔn)則，來實現(xiàn)圖像恢復(fù)。即：滿足這一要求的轉(zhuǎn)移函數(shù)為：第23頁，課件共48頁，創(chuàng)作于2023年2月5.3.2約束還原法

現(xiàn)象1）H(u,v)=0，無病態(tài)現(xiàn)象，分母不為02）SNR高時，同反向濾波法3）SNR低時，效果不滿意原因維納濾波是基于平穩(wěn)隨機(jī)過程模型，且假設(shè)退化模型為線性空間不變系統(tǒng)的原因，這與實際情況存在一定差距。另外，最小均方誤差準(zhǔn)則與人的視覺準(zhǔn)則不一定匹配第24頁，課件共48頁，創(chuàng)作于2023年2月最大平滑復(fù)原

準(zhǔn)則：以函數(shù)平滑為基礎(chǔ)1）使函數(shù)的二階導(dǎo)數(shù)為最小。二階導(dǎo)數(shù)是突出圖像邊緣、輪廓約束條件：

約束最小二乘需反復(fù)迭代才能完成5.3.2約束還原法第25頁，課件共48頁，創(chuàng)作于2023年2月2）用內(nèi)積來考察函數(shù)f的平滑性5.3.2約束還原法第26頁，課件共48頁，創(chuàng)作于2023年2月5.4運(yùn)動模糊圖像的復(fù)原退化的原因為已知對退化過程有先驗知識，如希望能確定PSF和噪聲特性即確定：

h(x,y)與n(x,y)

g(x,y)=H·f(x,y)+n(x,y)第27頁，課件共48頁，創(chuàng)作于2023年2月1．根據(jù)導(dǎo)致模糊的物理過程（先驗知識）1）大氣湍流造成的傳遞函數(shù)PSF5.4.1模糊模型c：與湍流性質(zhì)有關(guān)的常數(shù)第28頁，課件共48頁，創(chuàng)作于2023年2月2）光學(xué)系統(tǒng)散焦傳遞函數(shù)

當(dāng)光學(xué)系統(tǒng)散焦時，點(diǎn)光源的像將成圓盤。從公式可看出，散焦系統(tǒng)的傳遞函數(shù)在以原點(diǎn)為中心，d為半徑處存在零點(diǎn)，形成一些同心的暗環(huán)，由散焦圖像的頻譜上估計出這些同心圓的半徑，可得到H（u,v）5.4.1模糊模型第29頁，課件共48頁，創(chuàng)作于2023年2月均勻聚焦不準(zhǔn)——模糊

相機(jī)聚焦不準(zhǔn)確引起，（不聚焦由許多參數(shù)決定：如相機(jī)的焦距、相機(jī)孔的大小、形狀、物體和相機(jī)之間的距離等）在研究中為了簡單起見，用下列函數(shù)表示聚焦不準(zhǔn)引起的模糊：5.4.1模糊模型第30頁，課件共48頁，創(chuàng)作于2023年2月模糊后圖像任意點(diǎn)的值：特點(diǎn)：圖像的頻譜在垂直于該方向上存在暗直線，可估出的大小，運(yùn)動方向也可由圖像的頻譜估計出來已知：設(shè)相機(jī)不動，對象運(yùn)動，運(yùn)動分量x,y分別為x0(t)，y0(t)相機(jī)快門速度是理想的，快門開啟時間（曝光時間）T。3）勻速直線運(yùn)動模糊下的PSF

相機(jī)與景物之間相對運(yùn)動造成圖像降質(zhì)，

H(u,v)

——運(yùn)動模糊：5.4.1模糊模型第31頁，課件共48頁，創(chuàng)作于2023年2月2．由圖像中的點(diǎn)或線估計（后驗知識）1）原始景物中有一清晰的點(diǎn)或點(diǎn)光源。由所成的像得到退化系統(tǒng)的PSF2）原始景物中確定一條線，成像，由直線產(chǎn)生模糊，根據(jù)模糊可以測定在于邊緣垂直方向上的PSF斷面曲線，得出一維PSF，如果PSF對稱，旋轉(zhuǎn)一維PSF得到二維PSF5.4.1模糊模型第32頁，課件共48頁，創(chuàng)作于2023年2月3．由功率譜估計PSF4．噪聲n(x,y)的確定相關(guān)、不相關(guān)兩類。一般假設(shè)：白色噪聲，與圖像無關(guān)。其頻譜密度為常數(shù)。只要噪聲帶寬遠(yuǎn)大于圖像帶寬即可作白噪聲處理從退化圖像大塊平坦區(qū)中估計，一般不具備噪聲先驗知識。不同方法要不同特征參數(shù)——方差，頻譜5.4.1模糊模型第33頁，課件共48頁，創(chuàng)作于2023年2月5.4.2水平勻速直線運(yùn)動引起模糊的復(fù)原如果模糊圖像是由景物在x方向上作均勻直線運(yùn)動造成的，則模糊后圖像任意點(diǎn)的值為

去除由x方向上均勻運(yùn)動造成的圖像模糊后恢復(fù)圖像的表達(dá)式

第34頁，課件共48頁，創(chuàng)作于2023年2月a)原始圖像b)模糊圖像c)復(fù)原圖像運(yùn)動模糊圖像的恢復(fù)處理5.4.2水平勻速直線運(yùn)動引起模糊的復(fù)原第35頁，課件共48頁，創(chuàng)作于2023年2月5.5圖像的幾何校正5.5.1幾何畸變的描述5.5.2幾何校正第36頁，課件共48頁，創(chuàng)作于2023年2月5.5圖像的幾何校正例：從太空中宇航器拍攝的地球上的等距平行線，圖像會變?yōu)橥嵝被虿坏染啵挥霉鈱W(xué)和電子掃描儀攝取的圖像常會有桶形畸變和枕形畸變；用普通的光學(xué)攝影與測試?yán)走_(dá)拍攝的同一地區(qū)的景物二者在幾何形狀上有較大的差異。以一副圖像為基準(zhǔn)，去校正另一種方式攝入的圖像，以校正其幾何畸變，就叫做圖像的幾何畸變復(fù)原或者幾何畸變校正。第37頁，課件共48頁，創(chuàng)作于2023年2月幾何校正就是一種幾何變換，是圖像的幾何畸變的反運(yùn)算，與幾何變換類似，幾何校正是由輸出圖像像素坐標(biāo)反算輸入圖像坐標(biāo)，然后通過灰度再采樣求出輸出像素灰度值。圖像幾何校正的兩個步驟

(1)空間變換：對圖像平面上的像素進(jìn)行重新排列以恢復(fù)原空間關(guān)系(2)灰度插值：對空間變換后的像素賦予相應(yīng)的灰度值以恢復(fù)原位置的灰度值5.5圖像的幾何校正第38頁，課件共48頁，創(chuàng)作于2023年2月5.5.1幾何畸變的描述幾何基準(zhǔn)圖像的坐標(biāo)系統(tǒng)用(x,y)來表示需要校正的圖像的坐標(biāo)系統(tǒng)用(x’,y’)表示設(shè)兩個圖像坐標(biāo)系統(tǒng)之間的關(guān)系用解析式表示通常h1(x,y)和h2(x,y)用多項式來表示：第39頁，課件共48頁，創(chuàng)作于2023年2月通常用線性畸變來近似較小的幾何畸變更精確一些可以用二次型來近似若基準(zhǔn)圖像為f(x,y)，畸變圖像為g(x’,y’)，對于景物上的同一個點(diǎn)，假定其灰度不變，則5.5.2幾何校正第40頁，課件共48頁，創(chuàng)作于2023年2月5.5.2幾何校正幾何變換

通常用已知的多對對應(yīng)點(diǎn)來確定系數(shù)a,b線性畸變可由基準(zhǔn)圖找出三個點(diǎn)(x1,y1),(x2,y2),(x3,y3)與畸變圖像上三個點(diǎn)(x'1,

y'1),

(x'2,y'2),(x'3,y'3)一一對應(yīng)。第41頁，課件共48頁，創(chuàng)作于2023年2月5.5.2幾何校正將對應(yīng)點(diǎn)代入，有：解聯(lián)立方程組，得出6個系數(shù)。第42頁，課件共48頁，創(chuàng)作于2023年2月二次畸變有12個未知量，需要6對已知對應(yīng)點(diǎn)5.5.2

幾何校正第43頁，課件共48頁，創(chuàng)作于2023年2月5.5.2幾何校正代入上式記作矩陣形式同樣有解方程組