數(shù)字圖像處理章圖像復(fù)原

1第五章圖像復(fù)原

ImageRestoration張運(yùn)楚信息與電氣工程學(xué)院

2013-32主要內(nèi)容圖像退化/復(fù)原模型噪聲模型僅存在噪聲時(shí)的圖像復(fù)原—空間濾波方法周期噪聲的衰減--頻域?yàn)V波方法線性、位置（空間）不變退化過程估計(jì)退化函數(shù)逆濾波最小均方誤差濾波（維納濾波）約束最小二乘濾波器幾何變換35.1圖像退化/復(fù)原模型Imageenhancementvs.restorationDegradationmodelGeneralapproaches4一、圖像增強(qiáng)與圖像復(fù)原Imageenhancement:processimagesothattheresultismoresuitableforaspecificapplication,islargelyasubjectiveprocess.圖像增強(qiáng)技術(shù)：基本上是一個(gè)探索性過程，為了人類視覺系統(tǒng)的生理接受特點(diǎn)而設(shè)計(jì)一種改善圖像的方法。Imagerestoration:recoverimagefromdistortionstoitsoriginalimage,islargelyanobjectiveprocess.圖像復(fù)原：試圖利用退化現(xiàn)象的某種先驗(yàn)知識(shí)來重建或復(fù)原被退化的圖像。因而，復(fù)原技術(shù)就是把退化過程模型化，并且采用相反的過程進(jìn)行處理，以便復(fù)原出原圖像。

5二、圖像退化模型引起圖像退化的原因：退化原因光學(xué)系統(tǒng)中的衍射傳感器非線性畸變光學(xué)系統(tǒng)的像差攝影膠片的非線性圖像在成像、數(shù)字化、采集和處理過程中引入的噪聲圖像運(yùn)動(dòng)造成的模糊幾何畸變大氣流的擾動(dòng)效應(yīng)6圖像退化過程模型退化函數(shù)h(x,y)+f(x,y)

(x,y)g(x,y)原始圖像退化圖像加性噪聲Linear,Position-InvariantDegradations7三、圖像復(fù)原的一般方法圖像復(fù)原：給定g(x,y)和關(guān)于退化函數(shù)H的一些知識(shí)以及外加噪聲項(xiàng)

(x,y)

，以獲得關(guān)于原始圖像

f(x,y)的近似估計(jì)。通常希望這一估計(jì)盡可能接近原始圖像f(x,y)

，并且H和

的信息知道得越多，所得到的就會(huì)越接近f(x,y)。85.2噪聲模型噪聲的空間和頻率特性Spatialcharacteristics:independentordependentofspatialcoordinates,correlationwiththeimage(additive,multiplicative)FrequencyProperties:refertothefrequencycontentsofnoiseintheFouriersense一些重要噪聲的概率密度函數(shù)Gaussian，Rayleigh，Gamma(Erlang)，Exponential,Uniform,impulse(salt-and-pepper),Periodicnoise，whitenoise獨(dú)立、不相關(guān)，由概率密度函數(shù)PDF表征的隨機(jī)變量噪聲參數(shù)的估計(jì)9一些重要噪聲的概率密度函數(shù)高斯噪聲(Gaussiannoise)瑞利噪聲(Rayleighnoise)愛爾蘭（伽馬）噪聲Erlang

(Gamma)noise10一些重要噪聲的概率密度函數(shù)（續(xù)）指數(shù)噪聲（Exponentialnoise）均勻噪聲（Uniformnoise）11一些重要噪聲的概率密度函數(shù)（續(xù)）

如果b>a，灰度值b在圖像中將顯示為一個(gè)亮點(diǎn)，相反，a的值將顯示為一個(gè)暗點(diǎn)。若Pa或Pb為零，則脈沖噪聲稱為單極脈沖。如果Pa和Pb均不可為零，尤其是它們近似相等時(shí)，脈沖噪聲值將類似于隨機(jī)分布在圖像上的胡椒和鹽粉微粒，稱為雙極脈沖噪聲--也稱為椒鹽噪聲（也稱為散粒和尖峰噪聲），通常a、b接近飽和值。脈沖（椒鹽）噪聲(impulse(salt-and-pepper)noise)12例5.1樣本噪聲圖像和它們的直方圖噪聲模型的測試圖：由簡單、恒定的區(qū)城所組成，且從黑到接近白僅僅有3個(gè)灰度級(jí)。這方便了對(duì)附加在圖像上的各種噪聲分量特性的視覺分析。131415周期噪聲（Periodicnoise）周期噪聲是在圖像獲取中從電力或機(jī)電干擾中產(chǎn)生的。這是一種空間依賴型噪聲。一個(gè)純正弦的傅里葉變換是位于正弦波共軛頻率處的一對(duì)共軛脈沖。因此，如果在空間域上，正弦波的振幅足夠強(qiáng)，將在圖像譜中看到對(duì)應(yīng)圖像中每個(gè)正弦波的脈沖對(duì)。1617噪聲參數(shù)估計(jì)周期噪聲參數(shù)估計(jì)：典型的周期噪聲參數(shù)可通過檢測圖像的傅里葉頻譜來進(jìn)行估計(jì)。周期噪聲趨向于產(chǎn)生頻率尖峰，這些尖峰甚至通過視覺分析也經(jīng)?？梢詸z側(cè)到。另一種方法是盡可能直接從圖像中推斷噪聲分量的周期性，但這僅僅在非常簡單的情況下才是可能的。傅里葉頻譜被周期噪聲污染的圖像18噪聲參數(shù)估計(jì)（續(xù)）隨機(jī)噪聲概率密度函數(shù)(PDF)的參數(shù)估計(jì)可以從傳感器的技術(shù)說明中得知；Bytestimage:mean,varianceandhistogramshape,ifimagingsystemisavailable。Bysmallpatches,ifonlyimageisavailable：截取一組“平坦”（灰度值相對(duì)恒定）環(huán)境圖像的一小部分估計(jì)PDF的參數(shù)。截取的圖像帶灰度直方圖的形狀揭示了噪聲概型，計(jì)算灰度值的均值和方差可獲得噪聲PDF的參數(shù)。對(duì)脈沖噪聲而言，需截取圖像中一個(gè)相對(duì)恒定的中等灰度區(qū)域是必需的。歸一化直方圖中對(duì)應(yīng)于黑、白像素灰度值的尖峰高度就是Pa和Pb的估計(jì)值。19樣本分析示例GaussianRayleighUniform20脈沖噪聲的PDF的參數(shù)估計(jì)樣本分析示例（續(xù)）21圖像退化過程模型225.3僅存在噪聲時(shí)的圖像復(fù)原—空間濾波方法當(dāng)一幅圖像中唯一存在的退化是加性噪聲時(shí)，退化過程可以模型化為：De-noising：Spatialfiltering(foradditivenoise)Meanfilters（均值濾波器）

Arithmeticmeanfilter,Geometricmeanfilter,Harmonicmeanfilter,ContraharmonicmeanfilterOrder-statisticsfilters（統(tǒng)計(jì)排序?yàn)V波器）

Medianfilter,Maxfilter,Minfilter,MidpointfilterAdaptivefilters（自適應(yīng)濾波器）

Adaptivelocalnoisereductionfilter,Adaptivemedianfilter23Meanfilters（均值濾波器）Arithmeticmeanfilter（算術(shù)均值濾波器）均值簡單地平滑了一幅圖像的局部變化。在模糊了圖像的同時(shí)減少了噪聲。Sxy表示中心在(x,y)點(diǎn)，尺寸為m

n的矩形子圖像窗口（鄰域）的坐標(biāo)集合。Geometricmeanfilter（幾何均值濾波器）幾何均值濾波器所達(dá)到的平滑度接近算術(shù)均值濾波器，但在濾波過程中圖像細(xì)節(jié)丟失更少。24Meanfilters（續(xù)）Harmonicmeanfilter（諧波均值濾波器）對(duì)于“鹽”噪聲效果更好，但是不適用于“胡椒”噪聲。對(duì)高斯噪聲也具有較好的處理效果。Contraharmonicmeanfilter其中Q稱為濾波器的階數(shù)。當(dāng)Q>0，濾波器用于消除“胡椒”噪聲；當(dāng)Q<0，濾波器用于消除“鹽粒”噪聲。但它不能同時(shí)消除這兩種噪聲。當(dāng)Q=0，逆諧波均值濾波器退變?yōu)樗阈g(shù)均值濾波器;當(dāng)Q=-1，逆諧波均值濾波器退變?yōu)橹C波均值濾波器。25EXAMPLE：

ImageRestoration(MeanFilters)De-noising–Gaussiannoise(=0,2=400)OriginalResultof3×3ArithmeticMeanFilterResultof3×3GeometricMeanFilterNoisyimage26De-noising–salt-and-peppernoiseContraharmonicmeanfilterpeppernoisesaltnoiseQ=1.5Q=-1.527小結(jié)：總的來說，算術(shù)均值濾波器和幾何均值濾波器(尤其是后者)更適合于處理高斯或均勻等隨機(jī)噪聲。逆諧波均值濾波器更適合于處理脈沖噪聲，但它還有一個(gè)缺點(diǎn)，就是必須知道噪聲是暗噪聲還是亮噪聲，以便于選擇合適的Q符號(hào)。如果Q的符號(hào)選擇錯(cuò)了可能會(huì)引起災(zāi)難性后果。28Order-statisticsfilters

統(tǒng)計(jì)排序?yàn)V波器是空間域?yàn)V波器，它們的響應(yīng)基于由濾波器包圍的圖像區(qū)域中像素點(diǎn)的排序。MedianfilterGoodforimpulsenoisereductionwithlessblurring.MaxfilterFindthebrightestpoints,goodforpeppernoisereduction.

MinfilterFindthedarkestpoints,goodforsaltnoisereduction.

MidpointfilterCombinesorderstatisticsandaveraging,worksbestforrandomlydistributednoise.Alpha-trimmedmeanfilterSxy表示中心在(x,y)點(diǎn)，尺寸為m

n的矩形子圖像窗口（鄰域）的坐標(biāo)集合。gr(s,t):deletethed/2lowestandthed/2highestintensityvaluesofg(s,t)。29EXAMPLE5.3

ImageRestoration(Order-statisticsfilters)MedianfilterOnepassofmedianfilterTwopassesofmedianfilterThreepassesofmedianfilter重復(fù)地使用中值濾波器處理能改善濾波效果，但也可能會(huì)使圖像模糊化，所以應(yīng)盡可能保持所希望的處理次數(shù)。30Max/Minfilterpeppernoisesaltnoise33maxfilter33minfilterMinfiltermadethelightobjectssmallerandsomeofthedarkobjectslarger.Maxfiltermadethedark

objectssmallerandsomeofthelight

objectslarger.3132AdaptiveFiltersAllowsdifferentfiltersbeingusedatpixelswithvariouslocalimagecharacteristics.Particularlyusefulforheavilycorruptednoisyimages.Typeoffilters:Adaptive,localnoisereductionfilter

Suitableforuniform/GaussiannoisyimagesAdaptivemedianfilterSuitableforsalt-and-peppernoisyimages自適應(yīng)濾波器的行為變化基于由m

n矩形窗口Sxy定義的區(qū)域內(nèi)圖像的統(tǒng)計(jì)特性:均值和方差。作為提高濾波能力的代價(jià)是濾波器的復(fù)雜度。33Adaptive,localnoisereductionfilter濾波器作用于局部區(qū)域Sxy

，Sxy表示中心在(x,y)點(diǎn)、尺寸為m

n的矩形子圖像，濾波器在(x,y)點(diǎn)的響應(yīng)為：（5.3.12）34濾波器行為分析：35EXAMPLE5.4

illustrationofAdaptive,localnoisereductionfilterResultofarithmeticmeanfilterResultofgeometricmeanfilterResultof

Adaptive,localnoisereductionfilter36Adaptivemedianfilter即zmin<zmed<zmax

是否成立，判斷zmed是否是一個(gè)脈沖即zmin<zxy<zmax

是否成立，判斷zxy是否是一個(gè)脈沖主要目的除去“椒鹽”噪聲(脈沖噪聲)；平滑其他非脈沖噪聲；通過不改變“中間灰度級(jí)”的像素，減少諸如物體邊界細(xì)化或粗化等失真。zmed37EXAMPLE5.4

illustrationofAdaptivemedianfilter77medianfilterAdapivemedianfilterwithSmax=7385.4PeriodicNoiseReductionbyFrequency

DomainFilteringBandrejectFiltersBandpassFiltersNotchFilters(陷波濾波器)notchrejectfilternotchpassfilter39BandrejectFiltersIdealbandrejectfilterGaussianbandrejectfilterButterworthbandrejectfilter這里，D(u,v)是到中心化頻率平面原點(diǎn)的距離，W是頻帶的寬度，D0是頻帶的中心半徑。40EXAMPLE5.6

Useofbandrejectfilteringforperiodicnoiseremoval4階的巴特沃思帶阻濾波器，它設(shè)置了適當(dāng)?shù)陌霃胶蛯挾龋耆鼑嗽肼暶}沖。由于通常希望從變換中盡可能小地削減細(xì)節(jié)，因此在帶阻濾波器中，通常要求尖銳、窄的濾波器。41BandpassFiltersBandpassfiltersarenotcommonlyusedforremovingimagenoise,buttoisolatetheeffectonanimageofselectedfrequency.Noisepatternoftherightimageobtainedbybandpassfiltering42NotchFilters陷波濾波器阻止(或通過)定義的中心頻率鄰域內(nèi)的頻率。由于傅里葉變換是對(duì)稱的，要獲得有效結(jié)果，陷波濾波器必須以關(guān)于原點(diǎn)對(duì)稱的形式出現(xiàn)。IdealnotchrejectfilterButterworthnotchrejectfilterGaussiannotchrejectfilter43IdealnotchrejectfilterThetransferfunctionofanidealnotchrejectfilterofradiusD0,withcentersat(u0,v0)and,bysymmetry,at(-u0,-v0),isButterworthnotchrejectfilterGaussiannotchrejectfilterNotchpassfilter44EXAMPLE5.8

Removalofperiodicnoisebynotchfiltering455.5線性、位置（空間）不變的退化過程Manytypesofdegradationcanbeapproximatedbylinear,spaceinvariantprocessesCantakeadvantagesofthematuretechniquesdevelopedforlinearsystemsNon-linearandspacevariantmodelsaremoreaccurateDifficulttosolveUnsolvable46圖像任意位置的響應(yīng)只與在該位置的輸入值有關(guān)，而與位置本身無關(guān)。線性系統(tǒng)：線性系統(tǒng)：可加性、齊次性位置不變：47退化系統(tǒng)響應(yīng)分析Linearity,additivity-->Linearity,homogeneity-->Space-invariant-->(convolutionintegral)Samplingtheorem-->PointSpreadFunction（點(diǎn)擴(kuò)散函數(shù)）:48Linear,space-invariantdegradationmodel:具有加性噪聲的線性空間不變退化系統(tǒng)，可在空間域被模型化為退化函數(shù)(點(diǎn)擴(kuò)散函數(shù))與圖像的卷積，并加上噪聲。由于退化圖像是原圖像與退化函數(shù)卷積的結(jié)果，所以術(shù)語“圖像去卷積”通常用來表示線性圖像復(fù)原。同樣，用于復(fù)原處理的濾波器稱為“去卷積濾波器”。495.6估計(jì)退化函數(shù)主要方法：觀察法(observation)試驗(yàn)法(experimentation)數(shù)學(xué)建模法(mathematicalmodeling)盲目去卷積

(Blinddeconvolution)

使用估計(jì)的退化函數(shù)復(fù)原一幅圖像的過程有時(shí)稱為盲目去卷積，因?yàn)檎嬲耐嘶瘮?shù)很少能完全知曉。50假設(shè)g(x,y)是一幅退化圖像，但沒有提供退化函數(shù)H的知識(shí)，那么估計(jì)該函數(shù)的一個(gè)方法就是收集圖像自身的信息。例如，如果圖像是模糊的，可以觀察包含簡單結(jié)構(gòu)的一小部分圖像，例如某一物體和背景的一部分。為了減少觀察時(shí)的噪聲影響，可以尋找強(qiáng)信號(hào)內(nèi)容區(qū)。使用目標(biāo)和背景的樣品灰度級(jí)，可以構(gòu)建一個(gè)不模糊的圖像，該圖像和看到的子圖像有相同大小和特性。令gs(x,y)表示觀察到的子圖像，用表示對(duì)其復(fù)原的子圖像(原始圖像在該區(qū)域的估計(jì)圖像)。假定噪聲效果可忽略（由于選擇了一強(qiáng)信號(hào)區(qū)）則有：觀察法51如果可以使用與獲取退化圖像的設(shè)備相似的裝置，理論上可以得到一個(gè)準(zhǔn)確的退化估計(jì)。改變系統(tǒng)設(shè)置，使系統(tǒng)處于產(chǎn)生盡可能接近希望復(fù)原的退化圖像的工作狀態(tài)。利用相同的系統(tǒng)設(shè)置，由成像一個(gè)脈沖(小亮點(diǎn))得到退化的沖激響應(yīng)。一個(gè)沖激可由明亮的亮點(diǎn)來模擬，并使它盡可能亮以減少噪聲的干擾。由于沖激的傅里葉變換是一個(gè)常量，系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)(PSF)為：試驗(yàn)估計(jì)52TheimpulseresponseiscommonlyreferredtoasthePSF53示例：基于大氣湍流物理特性的退化模型：

k是常數(shù)，它與湍流的性質(zhì)有關(guān)(劇烈程度）。

k=0.0025

k=0.001

k=0.00025數(shù)學(xué)建模法54示例：運(yùn)動(dòng)模糊的退化模型-motionblurringDuringcameraexposure,objectsaremoving(inmotion).Thiscreates“motionblurring”inimages.假設(shè)圖像f(x,y)進(jìn)行平面運(yùn)動(dòng)，x0(t)和y0(t)分別表示其在x方向和y方向的運(yùn)動(dòng)分量。設(shè)T為曝光時(shí)間，則運(yùn)動(dòng)模糊圖像g(x,y)

可表示為：55得到運(yùn)動(dòng)模糊的退化模型為：56假設(shè)圖像在x方向和y方向按下式做勻速直線運(yùn)動(dòng)

則運(yùn)動(dòng)模糊退化函數(shù)變?yōu)椋?75.7逆濾波所謂直接逆濾波，用退化函數(shù)H(u,v)除退化圖像g(x,y)的傅里葉變換G(u,v)來計(jì)算原始圖像的傅里葉變換估計(jì)：再取逆傅里葉變換得到。但是：58討論：即使知道退化函數(shù)，也不能準(zhǔn)確地復(fù)原未退化的圖像f(x,y)

，因?yàn)镹(u,v)是一個(gè)隨機(jī)函數(shù)，它的傅里葉變換未知。更糟的情況是，如果退化函數(shù)H(u,v)為零或非常小的值，N(u,v)/H(u,v)之比很容易決定估計(jì)值。解決方法：將逆濾波波頻率限制在頻率平面原點(diǎn)附近，即半徑受限的逆濾波。59Inversefiltering-examples大氣湍流退化的逆過程，結(jié)果表明，一般直接逆濾波的性能較差。605.8最小均方誤差濾波（維納濾波-N.Wiener）逆濾波并沒有清楚地說明怎樣處理噪聲，維納濾波綜合了退化函數(shù)和噪聲統(tǒng)計(jì)特征兩個(gè)方面進(jìn)行圖像復(fù)原處理。假定圖像和噪聲均為隨機(jī)過程，目標(biāo)是找一個(gè)未污染圖像f的估計(jì)值，使它們之間的均方誤差最?。?1通常，未退化圖像的功率譜很少是已知。當(dāng)這些值未知或不能估計(jì)時(shí)，經(jīng)常使用下面的近似表達(dá)式:62Wienerfiltering-example全逆濾波結(jié)果半徑受限的逆濾波結(jié)果維納濾波結(jié)果63InverseFilteringvs.WienerFiltering被均值為0和方差為650的加性高斯噪聲嚴(yán)重污染MotionblurLessnoise64Wienerfiltering-problemsThepowerspectraoftheundegradedimageandnoisemustbeknown.Weightsallerrorsequallyregardlessoftheirlocationintheimage,whiletheeyeisconsiderablymoretolerantoferrorsinthedarkareasandhigh-gradientareasintheimage.Inminimizingthemeansquareerror,Wienerfilteralsosmooththeimagemorethantheeyewouldprefer.65Hishighlysensitivetonoise.CentraltothemethodistheissueofthesensitivityofHtonoise.Onewaytoalleviatethenoisesensitivityproblemistobaseoptimalityofrestorationonameasureofsmoothness,suchasthesecondderivativeofanimage.Tobemeaningful,therestorationmustbeconstrainedbytheparametersoftheproblemsathand.Thuswhatisdesiredistofindtheminimumofacriterionfunction,C,definedas5.9約束最小二乘濾波OnlythemeanandvarianceofthenoiseisrequiredThedegradationmodelinvector-matrixform66

where

isaparameterthatmustbeadjustedsothattheconstraintissatisfied.,andP(u,v)istheFouriertransformofthefunction(LapLacianoperator):Thefrequencydomainsolutiontothisoptimizationproblemisgivenbythefollowingexpression67ConstrainedLeastSquaresFiltering-exampleWienerfilterConstrainedLeastSquaresFiltering68小結(jié)：約束最小二乘方意義下的最佳復(fù)原在視覺效果上并不意味著最好。參數(shù)

對(duì)復(fù)原結(jié)果有較大影響，必須適當(dāng)選擇。根據(jù)退化和噪聲的性質(zhì)及大小，算法中交互地確定最佳估計(jì)的其他參數(shù)，在最終結(jié)果中也起到很重要的作用。通常，自動(dòng)確定復(fù)原濾波器相比人為調(diào)整濾波器參數(shù)的復(fù)原結(jié)果要差。特別是約束最小二乘方濾波器完全由單一的標(biāo)量參數(shù)來決定時(shí)更是如此。695.10幾何變換在圖像的獲取或顯示過程中，產(chǎn)生幾何失真，如成像系統(tǒng)有一定的幾何非線性，因此會(huì)造成如圖所示的枕形失真或桶形失真。因此，需對(duì)這些圖像必須加以校正。原始圖像枕形失真桶形失真70(a)原始圖像(b)畸變矯正后的圖像圖像畸變矯正

示例：圖像畸變矯正71

圖像的幾何變換，是指對(duì)原始圖像，按照需要產(chǎn)生大小、形狀和位置的變化。

用f(x0,y0)表示一幅高和寬分別為M、N的原始圖像，g(x,y)表示經(jīng)幾何變換后的輸出圖像。對(duì)圖像f(x0,y0)的幾何變換由兩個(gè)基本運(yùn)算組成：（1）空間變換，又稱像素坐標(biāo)變換（pixelcoordinatetransformation），將輸入原始圖像的像素(x0,y0)映射到輸出圖像的一個(gè)新位置(x,y)?？臻g變換定義了圖像平面上像素的重新安排；（2）灰度插值，確定輸出圖像中像素(x,y)的灰度值。如最近鄰法、雙線性、雙立方插值。72一、空間變換假設(shè)一幅圖像f(x,y),經(jīng)過幾何失真產(chǎn)生了一幅圖像g(x',y')；原圖像f

中像素坐標(biāo)(x,y)在失真圖像g

中對(duì)應(yīng)像素坐標(biāo)(x',y')之間的關(guān)系可表示為:73獲取空間變換關(guān)系的方法—“連接點(diǎn)”(tiepoints)方法“連接點(diǎn)”表達(dá)像素的空間重定位，這些點(diǎn)是像素的子集，它們?cè)谳斎?失真的)和輸出〔校正的)圖像中的位置是精確己知的?！斑B接點(diǎn)”又稱為“控制點(diǎn)”