畢業(yè)論文-基于偏微分方程的圖像修復.doc

I 摘 要 圖像復原領域中的數(shù)字圖像修復技術是近幾年來比較熱門的一個研究課題 它利用圖像中已知的有效信息 按照一定規(guī)則對破損的圖像進行信息填充 得 到連續(xù) 完整 自然的圖像視覺效果 該技術廣泛應用于文物保護 老照片的 修復 圖像中文本信息的去除以及障礙物的去除 影視特技制作以及圖像壓縮 增強等方面 具有很高的實用價值 本文所做的工作主要體現(xiàn)在以下幾個方面 1 在閱讀和查找圖像修復算法的相關文獻時 基于個人理解的基礎上 整理了一些經典的修復模型或算法 詳細介紹和描述這些模型和及其算法原理 如基于偏微分的修復模型包括 BSCB 模型 TV 模型 CDD 模型 調和模型等 基于樣本塊的紋理合成算法如 Crimini 算法 最后且對這些模型的優(yōu)缺點進行 比較 2 在之前的基礎上 結合 TV CDD 模型優(yōu)缺點 針對擴散系數(shù)進行改 進 提出了一個基于偏微分方程的修復模型 它涵蓋了 TV CDD 指數(shù)曲率 模型 對數(shù)曲率模型這些子模型 為了仿真實現(xiàn)方便 繼而給出了該修復模型 及其子模型的離散型模型 通過 MATLAB 實現(xiàn)該算法 證明該修復模型對于 較小區(qū)域的圖像修復和去噪有很好的效果 3 最后總結本論文的創(chuàng)新點和不足點 繼而提出該論文可以后續(xù)研究探 討的內容 關鍵詞 數(shù)字圖像修復 偏微分 紋理合成 II ABSTRACT The digital image inpainting technique in the field of image restoration is a hot reseach topic in recent years using the known valid image information inpainting the missed or damaged image information according to some rules to make the image to the extent that the inpainted image looks continuous intact and natural perceptually Currently image inpainting technique has been abroad applied in image processing field such as digital restoration of ancient paintings for conservations purposes restoration of the old photos text object removalation in images for special effects vision analysis data compression and enlargement and so on which is full of pratical value This paper attempts to research on digital image inpainting techniques base on the ensemble learning techniques The main content of this dissertation is described as follows 1 On the basis of personal understanding of digital image inpainting algorithms got in the process of seaching and reading revelent inferences this paper reorgnizes some typical inpainting models or algorithms introducing and describing these models and their algorithm principles in details like as partial differential equation models including BSCB TV CDD etc and the texture completion exemplar based inpainting method such as Crimini at the last making a comparation between these models 2 According to the previous discussion combining with the advantages and disadvantages of TV CDD coming up with improvement a model based on partial diffrential equation which inlcuds TV model CDD model the exponent curvature function model the logarithm curvature function model To make the algorithm come true easily then discrete models of those models are given Through MATLBA simulink which proves this inpainting method has a good inpainting effect also in image 3 At the end of the paper on the basis of sumrizing up the navigations and disadvantages it has come up with some problems for subsequent research Key words Digital Image Inpainting Partial Differential Equation Texture Synthesis I 目 錄 第一章 緒論 1 1 1 數(shù)字圖像修復技術的背景 目的和意義 1 1 2 數(shù)字圖像修復技術國內外研究現(xiàn)狀 2 第二章 數(shù)字圖像修復算法綜述 4 2 1 圖像的數(shù)學描述 4 2 2 圖像修復的相關理論 6 2 2 1 變分法 6 2 2 2 梯度和散度 8 2 2 3 卷積 9 2 2 4 紋理合成 9 2 3 數(shù)字圖像修復算法 10 2 3 1 BSCB 模型 10 2 3 2 P LAPLACE 圖像修補模型 13 2 3 3 基于樣本的紋理合成算法 20 2 4 各種修復模型算法比較 23 2 5 本章小結 24 第三章 TV 模型改進及其實現(xiàn) 24 II 3 1 預備知識 24 3 2 連續(xù)型模型 26 3 3 離散型模型 27 3 4 模型的仿真 31 3 5 模型的評價 31 3 6 本章小結 32 第四章 展望 32 參考文獻 33 致 謝 40 江西理工大學 2011 屆本科生畢業(yè)設計 論文 1 第一章 緒論 1 1數(shù)字圖像修復技術的背景 目的和意義 一般情況下 一幅完整的圖像是沒有任何破損和雜質的 但在經歷了時間 等外在因素影響 就會導致圖像發(fā)生退化 圖像就會產生破損 對破損區(qū)域的 修復就是需要進行修復和補全 歐洲文藝復興時期 為了恢復美術作品中丟失或缺損的部分 保持作品的 整體效果 人們開始對中世紀美術作品進行修復 主要是填補美術作品上所出 現(xiàn)的裂痕 而這局限于手工修復 手工修復面臨著一個致命的缺點 即直接在 原始作品上修改容易造成的微小失誤會破壞珍貴的原作 隨著美術博物館的數(shù) 字化 作品被掃描到計算機里 通常只需要簡單的人際交互工作就可完成修復 數(shù)字圖像修復技術相應地帶來了極大的自由 比如可避免直接在原作上進行修 復 出現(xiàn)錯誤的時候或逐步增強修補效果的時候 不會破壞珍貴的原畫 毫無 疑問 數(shù)字圖像修復技術為修補古老的藝術作品提供了安全便捷的途徑 數(shù)字技術的發(fā)展帶動了數(shù)字圖像技術在數(shù)字產品中如掃描儀 數(shù)碼相機等 的廣泛應用 而在獲取數(shù)字圖像的過程中 會有諸多因素造成數(shù)字圖像局部范 圍或大塊信息的缺損 1 1 原本有缺損的圖片經過掃描得到的圖像 2 基于某種特殊目的對圖像進行一些處理而留下的空白區(qū) 如移走圖像上 的目標物或文字 信息 3 在數(shù)字圖像的獲取 處理 壓縮 傳輸和解壓過程中 因信息丟失而造 成的信息缺損區(qū) 所謂圖像修復是對根據圖像已有信息對圖像上信息缺損區(qū)域按照一定規(guī)則 進行填充的過程 其目的是為了恢復有缺損的圖像 使其接近或者達到原圖像 的視覺效果 由于沒有足夠的信息可以保證唯一正確地修復破損圖像 因此圖 像修復是個病態(tài)問題 因此人們從視覺心理學的角度出發(fā) 提出各種假設限定 來解決這個問題 隨著科學技術的發(fā)展及待修復作品客觀因素的要求 圖像修 復也從手工修復發(fā)展到如今的數(shù)字圖像修復 隨著數(shù)字圖像技術的發(fā)展 越來越多的領域期望能夠對圖像進行一定的修 改 因此數(shù)字圖像修復技術成為當前計算機圖形學和計算機視覺中的一個研究 熱點 在文物保護 影視特技制作 多余目標物體移除 圖形縮放 圖像的有 損壓縮 視頻通信的錯誤隱匿等方面有重大的應用價值 目前的一些圖像處理 軟件雖有專業(yè)的特效處理和圖像修復處理 但這要求用戶掌握必要的圖像處理 知識 因此簡單 自動 快速的修復算法正被人們熱切期望著 Bertalmio 等在 2000 年的一次學術會議上 首次提出數(shù)字圖像修復技術這 江西理工大學 2011 屆本科生畢業(yè)設計 論文 2 個術語 現(xiàn)在 數(shù)字圖像修復技術正被廣泛研究 基于不同原理提出了各種不 同修復算法 這些算法致力于簡單實用 只要求用戶簡單選擇要修復的區(qū)域 剩下的工作則由計算機自動完成 1 2 數(shù)字圖像修復技術國內外研究現(xiàn)狀 目前存在兩大類圖像修復技術 一類用于修復小尺度缺損的圖像修補技術 image inpainting technique 也可稱為基于變分 PDE 的圖像 inpainting 算法 一類用于填充圖像中大塊丟失信息的圖像補全技術 image completion technique 這一技術包含兩種方法 基于圖像分解 結構部分和紋理部分 的修復技術和基于塊的紋理合成技術 如圖 1 1 所示 Digital image inpainting 數(shù)字圖像修復 Image inpainting 圖像修補 Image completion 圖像補全 Variation and PDE 變分和偏微分 Image division 圖像分解 Texture synthesis based on block 基于 塊的紋理合 成 Total variation 全變分 PDE 偏微分 Structure part 結構部 分 Synthesis part 紋理部 分 圖 1 1 數(shù)字圖像修復方法 Method of digital image inpainting 小尺度破損圖像目前主要使用變分 PDE 方法 其主要思想是利用待修補區(qū) 域的邊緣信息 確定擴散信息和擴散方向 這種基于 PDE 方法的思想首先由 Bertalmio Sapiro Caselles Bellester 2 提出 他們利用帶修補區(qū)域的邊 緣信息 采用一種由粗到精的方法來估計等照度線的方向 并采用傳播機制將 信息傳播到待修補的區(qū)域內 以便得到較好的修補效果 本質上 他是一種基 于偏微分方程 partial differential equation PDE 的 inpainting 算法 該類方法的主要思想是利用物理學中的熱擴散方程將待修補區(qū)域周圍的信息傳 播到修補區(qū)域中 其典型的方法包括 BSCB 2 Bertalmio Sapiro Caselles Bellester 模型用三階 PDE 來模擬平滑傳輸過程及 Chan Shen 提出的用三階 PDE 來模擬 CDD 3 curvature driven diffusion 等 在這類方法中 還有一 種是基于幾何圖像模型的變分修補技術 該類算法的主要思路是模仿修補師手 江西理工大學 2011 屆本科生畢業(yè)設計 論文 3 工修復圖像的過程 該類算法認為修補一幅缺損圖片主要依賴于以下兩個因素 1 如何觀察并讀懂圖片的現(xiàn)存部分 其用數(shù)學語言表達 也就是如何建立圖 像的數(shù)據模型 data model 2 原始圖片 I 屬于哪類圖像 其用數(shù)學語言 表達就是 也就是如何獲得圖像的先驗模型 image prior model 即通過建 立圖像的先驗模型和數(shù)據模型 將修補問題轉化為一個泛函求極值的變分問題 這類算法主要包括全變分 total variation TV 模型 4 Euler s elastica 模型 5 Mumford Shah 模型 6 7 Mumford Shah Euler 模型 8 等 由于偏微分方程與變分法是可以通過變分原理相互等價推出的 因此 可把這 一類方法統(tǒng)稱為基于變分 PDE 的圖像 inpainting 算法 另外一類是用于填充圖像中大塊丟失信息的圖像補全技術 image completion 基于圖像分解的技術將圖像分解為結構部分和紋理部分 其中結 構部分用 inpainting 算法修補 紋理部分用紋理合成方法填充 基于塊的紋理 合成技術填充丟失的信息 該種算法的主要思想 首先從待修補區(qū)域邊界選擇 一個元素 以其為中心 根據圖像紋理特征 選擇大小合適的紋理塊 再在待 修補區(qū)域的周圍尋找與之最相配的紋理塊 來替代該紋理塊 目前的數(shù)字圖像修復算法也可以分為基于非紋理結構的修復算法和基于紋理結 構的圖像修復算法 變分和偏微分方法都屬于非紋理結構性的算法 由于數(shù)字圖像修復技術是近幾年發(fā)展起來的一個課題 國外的研究正處于 初步發(fā)展階段 國內也隨后進行相關的研究 逐漸成為國際的熱點研究課題 1 3 圖像修復算法的客觀評價 一幅的原灰度圖像 為受損圖像 其復原后圖像質NM yxI 0 yxI yxI 量的評價測度有 1 均方差測度 MSE 2 11 1 M x N y yxIyxI MN MSE 2 信噪比測度 SNR 2 11 11 2 lg10 M x N y M x N y yxIyxI yxI SNR 3 峰值信噪比測度 PSNR 江西理工大學 2011 屆本科生畢業(yè)設計 論文 4 2 11 2 1 255 lg10 M x N y yxIyxI MN PSNR 4 改進信噪比測度 ISNR 2 11 11 2 0 lg10 M x N y M x N y yxIyxI yxIyxI ISNR 圖像修復較常用的客觀評價測度為峰值信噪比測度 PSNR 和改進信噪比測度 ISNR 它們的值越大時 表示修復效果越好 本文仿真實驗中用到的是峰值 信噪比測度 PSNR 江西理工大學 2011 屆本科生畢業(yè)設計 論文 5 第二章 數(shù)字圖像修復算法綜述 2 1圖像的數(shù)學描述 數(shù)字圖像修復技術隸屬于圖像復原的研究領域 圖像復原是試圖利用退化 現(xiàn)象的某種先驗知識進行重建或復原被退化的圖像 一般圖像復原的數(shù)學表達 式如下 2 1 0 IKIN 式中 為最初觀察得到的圖像 為原圖像 為退化函數(shù) 為加性白噪 0 IIKN 聲 表示卷積 退化過程即一個退化函數(shù)和一個加性噪聲項 圖像復KN 原的目的是獲得關于原始圖像的近似估計值 后面文章中也同時代表修復 II 后的圖像 圖像退化復原整個過程模型的示意圖見圖 2 圖 2 1 圖像退化 復原過程模型 10 一幅數(shù)字圖像都是二維離散圖像用表示 簡記為 一幅缺損圖片 I x yI 可由兩個因素來描述 數(shù)據模型和圖像先驗模型 也稱圖像模型 數(shù)據模型用 來描述圖像現(xiàn)存部分 圖像模型用來描述原圖的類型 圖 3 是一幅圖像修補示意 圖 表示整個圖像區(qū)域 D 表示息丟失需要修補的區(qū)域 表示已知信息 D 區(qū) 已知 D I 0 待修復區(qū)域 D D 圖 2 2 圖像修復示意圖 江西理工大學 2011 屆本科生畢業(yè)設計 論文 6 對于大多數(shù)圖像修補問題來說 數(shù)據模型可以描述為 2 2 0 DD IKIN 假設圖像只考慮噪聲 即 NIIyxNyxIyxI 00 也可簡記為 其中為具有零均值 方差為的高斯白噪聲 即有 N 2 22 0 NENE 數(shù)據模型的能量函數(shù) E 可常用最小均方誤差定義 9 2 3 00 2 D E IIIIdx 由于待修補區(qū)域無任何可用的數(shù)據 因此 圖像 先驗 模型對圖像修補D 算法來說 比其他傳統(tǒng)的復原問題 如去噪 去降晰 變得更為重要 圖像模型 可以從圖像數(shù)據中經過濾波 參數(shù)或非參數(shù)估計以及熵方法得到 這些統(tǒng)計方 法雖對具有豐富紋理圖像的修補很重要 然而 對大多數(shù)的修補問題來說 修 補區(qū)域常常丟失的是圖像的重要幾何信息 如邊緣 為了重建這些幾何信息 圖像模型要事先解決這些幾何特征 而多數(shù)傳統(tǒng)的概率模型則均缺乏這種特征 幸運的是 在很多文獻中 由幾何信息激發(fā)的 能量 形式的確存在 如 Rudin Osher 和 Fatermi 模型 4 副以及 Mumford Shah 模型 6 7 這就是所謂 的變分法 在變分方法中 圖像修補問題轉化為一個約束最優(yōu)化問題 2 4 02 min E I stE II 其中 為圖像先驗模型的能量形式 表示高斯白噪聲的方差 它可 E I 2 以用適當?shù)慕y(tǒng)計估計器來估計 用 Lagrange 乘子法可將該約束問題轉化為以下 無約束問題 2 5 0 min E IE II 通常 用于均衡匹配項與正則化項 對于正則化項 即圖像 0 E II E I E I 的先驗模型 常由 能量 泛函實現(xiàn) 比如 Sobolev 范數(shù) Rudin 等的全變分模型 4 Mumford shah 模 2 E IId E II d 型 6 7 其中表示 1 維 Hausdroff 測度 21 D E IIdH 1 H 江西理工大學 2011 屆本科生畢業(yè)設計 論文 7 則為圖像的邊緣集 以上積分表達式中的積分實際為二重積分 ddxdy 2 2 圖像修復的相關理論 圖像修復問題就是根據數(shù)據模型和圖像先驗模型 建立和求解能量泛函問 題 其修補后的圖像就是該能量泛函的極值 變分法研究的是一個函數(shù)的極大 值和極小值問題 因此它可看成是一個變分問題 由于變分法和偏微分法可以 相互等價表示 下面先介紹相關的一些概念和定理 2 2 1 變分法 1 泛函 設 y x 為已知的類函數(shù) 如果對于這類函數(shù)的每一個函數(shù) y x 變 量 v 都有一個值和它對應 則變量 v 稱為這類函數(shù) y x 的泛函 記為 v v y x 2 泛函的變分定義 其中為的近似值 0 xy FFF uxuyu y x y x 在泛函極值的曲線上 它的變分 0 v 變分預備定理 設為某平面區(qū)域 它的邊界為 函數(shù) DD f x yC D 以及對任意函數(shù) 且 都有 則 x yC D 0 D x y 0 D f x yx y dxdy 在區(qū)域上 D 0f x y 求解變分問題可以化為微分問題 11 進行求解 泛函 函數(shù)對于都是二次連續(xù)可導 也 1 b a J y xF x y y dx F x y y y 是連續(xù)的 設的增量為 變?yōu)?則泛函的值變化為 y xy y xy 2 6 b a b a J yyJ yF x yy yyF x y ydx FF yydx yy 上式稱為泛函的變分 記為 泛函取極值的必 b a FF J y xyydx yy 江西理工大學 2011 屆本科生畢業(yè)設計 論文 8 要條件是 由分部積分法 0 b a FF J y xyydx yy 2 7 bb aa b b a a b a FF d y dxy dx yy dx FdF yy dx ydxy dF y dx dxy 必要條件成為 2 8 0 b a FdF yy dx ydxy 由變分預定理知 相應的歐拉方程即為 2 9 0 FdF y ydxy 泛函取決于兩個函數(shù)的情況 變分問題 2 y x z x 的歐拉方程為 0 b a JF x y z y zdx 0 0 FdF ydxy FdF zdxz 2 10 泛函取決于及其高階導數(shù)的情況 例如變分問題 3 y x 的歐拉方程為 0 b a JF x y y yydx 2 11 23 23 0 FdFdFdF ydxydxydxy 泛函取決于多元函數(shù)的情況 變分問題 4 u x y 0 xy JF x y u u udxdy 的歐拉方程為 2 12 0 xy FFF ux uy u 附加條件下的變分問題 用歐拉方程解這類問題 可以仿照函數(shù)的條件極值 5 問題 運用 Lagrange 乘子法 江西理工大學 2011 屆本科生畢業(yè)設計 論文 9 2 2 2 梯度和散度 1 方向導數(shù) 設二元數(shù)量函數(shù)在點的某鄰域內有 yxf 000 yxP 2 0 RPU 定義 為從點出發(fā)的射線 為上且含于內的任一點 以表n 0 P yxP n 0 U P 示與兩點之間的距離 若極限存在 則稱此極P 0 P 0 00 limlim n f f Pf P 限為函數(shù)在點沿方向的方向導數(shù) 記作 f 0 Pn 0 0 P n f fP n 定理 若函數(shù)在點可微 則在點處沿任一方向的方向導數(shù)都f 000 yxPf 0 Pn 存在 則有 為方向的方向余弦 coscos 000 PfPfPf yx n cos cosn 有 1coscos 22 2 梯度 若存在對所有自變量的偏導數(shù) 則稱向量為函 yxf 00 PfPf yx 數(shù)在點的梯度 gradient 記作 引進符號f 0 P 00 PfPffgrad yx 稱為哈密頓算符 則 yx grad ff 設為單位向量 則 由梯度和方向導數(shù)的定義和定理知 n cos cos n f f ngrad f n n 3 散度 設空間區(qū)域上的向量函數(shù) 對上每一點V yxQyxPyxF V 定義數(shù)量函數(shù) 稱它為向量函數(shù)在的散度 yx y Q x P yxD F yx divergence 記作 由散度和梯度的定義可知 yxFdivyxD divFF 拉普拉斯算符 數(shù)量函數(shù) 算符的內積常記 yxf 2 2 2 2 y f x f f 作 則有 稱為拉普拉斯算符 ff 江西理工大學 2011 屆本科生畢業(yè)設計 論文 10 2 2 3 卷積 兩個函數(shù) 由這兩個函數(shù)的積分生成第三個函數(shù) f t h t 稱為的卷積 記作 z tfh td f t h t z tfh tdf th tf th t 2 2 4 紋理合成 在一般的計算機圖形圖像的研究中 紋理出現(xiàn)在圖像的邊緣區(qū)域范圍大的 圖像中或圖像的邊緣線有規(guī)律的圖像中 Jain 12 給紋理下的定義如下 紋理一般是指圖像的基本紋理元素 紋元的 重復 而紋元一般是由幾個像素構成 紋元的位置多數(shù)是呈現(xiàn)出周期性的 類 似周期性的或隨機性的 日常研究中 自然紋理常常表現(xiàn)為隨機性的 人造紋 理多為確定性或周期性的 紋理和圖像的區(qū)別在于紋理出現(xiàn)在圖像上 但圖像 不一定都會含有紋理 也就是說紋理圖像是一種特殊的圖像 如圖 2 3 所示 紋理圖像大致可分為三種 13 14 1 結構性紋理圖像 指包含有機構紋理局部特性的最小紋理塊 整個紋理圖 像是由一系列的紋理塊及擺放規(guī)則決定 2 隨機性紋理圖像 指沒有規(guī)則的紋理圖像 3 半結構性紋理圖像 介于結構性紋理和隨機紋理圖像之間 大多數(shù)圖像是 屬于這一類 a 機構性紋理 b 隨機性紋理 c 半結構性紋理 圖 2 3 紋理的表現(xiàn)形式 其中 紋理單位 用 T 表示 是指一幅圖像中具有相似視覺表現(xiàn)的像素或像 素的集合 對于隨機性紋理圖像 具有相同顏色 C 的像素可以看作為同種紋理單位 當 c T 江西理工大學 2011 屆本科生畢業(yè)設計 論文 11 整個紋理由不同顏色構成 則可區(qū)分多種紋理單位 表達為 12 n C CC 紋理合成目標是 生成的圖片要以一個給定樣本紋理為基礎 12 n CCC TTT 形成新的且滿足視覺要求的紋理圖像 由于全局性是紋理的基本特征 通過對 圖像紋理的描述可以了解圖像上全部或局部區(qū)域所對應景物的表面性質 所以 可以得出 圖像的紋理特征所描述的不僅僅是基于單個某個像素點的特征 而 是對含有圖像中的區(qū)域塊進行統(tǒng)計和計算得出的 現(xiàn)有的紋理合成技術主要有三種算法 紋理映射的紋理合成算法 過程紋 理合成算法和基于樣本的紋理合成算法 通常 常用的兩種紋理合成的算法主 要是過程紋理合成算法和基于樣本的紋理合成算法 過程紋理合成直接通過對物理過程的仿真在曲面上生成紋理 屬于物理模 擬過程 如應用在毛發(fā) 云霧 木紋等 這種方法的優(yōu)點是避免了紋理映射的 紋理合成所帶來圖像的失真 同時可以獲得非常逼真的紋理 但是在面對自然 界形形色色的大量紋理時 就會可能無法得到有效的參數(shù) 導致不能有效的進 行紋理合成 基于樣本的紋理合成算法是一給定小塊紋理的基礎上 生成大量相似的紋 理塊 該算法可以有效的克服了過程紋理的缺點 目前的基于紋理合成的算法 多采用基于樣本的紋理合成方法 基于樣本的紋理合成主要依據相似性 從一 小塊紋理來反映整體紋理特點 從而生成在視覺上連續(xù)的大面積紋理圖像 相對于基于變分 PDE 的修復算法 基于紋理合成的圖像修復算法比較簡單 運行速度較快 并且對待修復區(qū)域破損面積較大時有較好的修復效果 2 3 數(shù)字圖像修復算法 以下介紹幾種經典的圖像修復模型和算法 BSCB TV CDD 模型 調和模型 基于樣本的紋理合成算法 2 3 1 BSCB 模型 圖像修復主要依賴于修復人員的主觀感覺 沒有一種標準的方法 一般存 在以下幾種觀點 2 1 圖像的整體決定了如何修復破損處 修復的目的就是為了恢復圖像的完整性 2 修復區(qū)域中的不同區(qū)域是由等照度線來劃分的 各區(qū)域的顏色和邊緣外的顏 色一致 江西理工大學 2011 屆本科生畢業(yè)設計 論文 12 3 通過延伸邊緣處的等照度線進入修復區(qū)域 實現(xiàn)修復區(qū)域和完好區(qū)域邊緣處 的連續(xù) 4 細節(jié)部分必需添加 也即添加紋理 基于以上原則 BSCB 模型就是利用偏微分方程 模擬手工修復的過程 實 現(xiàn)歸數(shù)字圖像的自動修復 其算法主要體現(xiàn)了 2 和 3 原則 算法通過延伸邊 界區(qū)域的等照度線進入修復區(qū)域而實現(xiàn)修復 是各向異性擴散 等照度線是指 圖像中灰度在同一等級上的一系列點所組成的線 如圖 2 4 所示 圖 2 4 圖像修復延伸方向 N 其中 表示待修補區(qū)域 為其邊界 為信息的延伸方向 L 為圖像修復 N 的擴散過程中傳輸?shù)男畔⒘?表示所傳輸信息 L 在方向上的變化 L L N N N 表示圖像在單位時間的變化量 則 BSCB 模型的信息傳輸過程表達式為 I t 2 13 IL L N tN 用來表示待修復的離散的二維圖像 表示修復過程中的離散圖像 0 Ix y I x y 同時也表示圖像灰度函數(shù) 從手工修復技術描述 采用迭代算法 則算法可描 述為 2 14 1 nnn t Ix yIx yt Ix yx y 式中 表示修復迭代次數(shù) 表示像素坐標 表示修復時間步長 n x yt 表示圖像在時間 下的的修復 方程只作用在修補區(qū)域內 當 n t Ix yt n Ix y 增大到一定程度時 有時 有 則算法停止 n 1 nn Ix yIx y 0 n t Ix y 根據公式 2 13 且為的離散表達式 為的離散 n t Ix y I t n L x y L 江西理工大學 2011 屆本科生畢業(yè)設計 論文 13 表達式 稱為離散梯度 有 2 15 n nn t Ix yL x yNx y 圖像修復希望信息平滑延伸 即為信息平滑的估算因子 通過簡單離散 n L x y 拉普拉斯算子可得 2 16 nnnn xxyy L x yIx yIx yIx y 等照度線與平行 的最好選擇就是等照度線的方向 對于某等照度線上任NN 意一點 離散梯度方向表示灰度變化最大的方 x y nn Ix yIx y xy 向 由其旋轉后得到的表示邊界的方向即等照90 nn Ix yIx y yx 度線的切線向量 即有 2 17 n n Nx yIx y 由公式 2 13 2 14 2 15 2 16 2 17 BSCB 模型可表示為 2 18 I II t 表示信息量在方向上的變化量 II I I 該模型為了使修復過程更加清晰 并且能夠保持修復邊界的光滑性和噪聲魯棒 使用各向異性擴散 該方程表示為 2 19 I gx y k x y tI x y tx y t 其中 是修補區(qū)域內的以為半徑的圓域擴展 是光滑函數(shù) gx y 表示等照度線的歐式曲率 其中 k x y t 1 0 x y gx y x y BSCB 模型是將待修復區(qū)域外部的信息沿等照度線方向擴散至修復區(qū)域 該 模型對較小破損區(qū)域可以達到較好的修復效果 如圖 2 5 但是 BSCB 修復模型 的缺點缺乏穩(wěn)定性 當待修復區(qū)域面積較大時 或是圖像背景為紋理圖案時 容易產生模糊的現(xiàn)象 如圖 2 6 江西理工大學 2011 屆本科生畢業(yè)設計 論文 14 a 原圖像 b BSCB 修復結果 圖 2 5 a 原始破壞圖像 b BSCB 修復結果 圖 2 6 2 3 2 p Laplace 圖像修補模型 文獻 15 定義了 p laplace 算子為 相應圖像修復的 p IIdivI p p 2 laplace 方程為定義如下 2 20 上在 內在 0 1 0 0 I pIII p 其中 為含加性噪聲的圖像模型 其相對應的能量泛函方程為NII 0 2 21 D p dIIdI p IJ 20 2 1 對進行討論 可得到幾個比較經典的圖像修復模型 p 1 時 為 TV 模型 1 p Tony Chan 等人于 2002 年提出了整體變分法 16 Total Variation TV TV 模型 4 的主要思想是在保持圖像邊緣的同時 向異向進行擴散 最終達到圖 像信息補全的效果 基于整體變分模型的圖像修復方法 即 TV 模型 其本質是 將圖像看成一個分段平滑函數(shù) 在有界空間上對圖像建立模型 由于該模型能 夠起到延長邊緣的作用 從而很適合圖像破損面積較小的修復 Chan 等人建立 的全變分圖像修復模型為 江西理工大學 2011 屆本科生畢業(yè)設計 論文 15 2 22 2 0 min 2 D J Iu dIId 式中 為拉格朗日乘子 上式為二重積分 的簡寫 ddxdy 根據變分原理 可求得 Euler Lagrange 方程 2 23 0 0 D I x y II I 式中 其中 1 0 DD x yD x yx y x yD 1 1 0 D x yD x y x yD 因此求解泛函 2 36 的最小值 等價于求解偏微分方程式 2 37 相對應的最速下降方程為 2 24 0 D II x y II tI 由上式可以看出 當時 就可以求出能量代價最小的 考慮到可0 I t II 能很小 有可能會接近于 0 所以 2 24 式中的為擴散項 擴散系數(shù) I I 可用代替 其中為一個很小的正數(shù) 它使擴 1 I 2 2 11 I I 散強度在梯度大的地方小 梯度小的地方大 這表明擴散是各項異性的 能按照與 梯度垂直的方向即等照度線方向進行信息擴散 該模型修復時僅依賴于圖像的 幾何特征 具有形態(tài)學不變性 可以在抑制噪聲的同時平滑圖像邊緣 即保持邊 緣和數(shù)值 PDE 實現(xiàn)方便 具有很好的修復效果 如圖 2 7 去除目標物 相對于 BSCB 模型 其穩(wěn)定性和魯棒性也更好 a 原圖b TV 修復圖 圖 2 7 江西理工大學 2011 屆本科生畢業(yè)設計 論文 16 TV 模型的主要缺陷在于它會引入階梯效應 破壞視覺連通性原理 如 圖 2 8 當破損區(qū)域長度 大于待修復物體寬度時不能完成修復 TV 模型修lw 復結果如圖 2 8 b 所示 而滿足連通性原理的修復結果如圖 2 8 c 所示 對 于 a b c d 四個角點處曲率 修復時應使此處曲率減小 等照度線 盡可能平滑拉伸 a 原圖b TV 修復圖c 連通性原理d CDD 修復圖 圖 2 8 為了使 TV 模型更具視覺連通性 文獻 3 對 TV 模型進行了修改 提出了 CDD 模型 將 TV 模型的擴散系數(shù)修改為 其中 1 I g v I 為非遞減函數(shù) 一般可選 00 0 g 大于零的有限數(shù) 此處可選 它可使擴散在大曲率出變強 小曲率處變 1 0 asssg a 1 a 弱 相應的 CDD 模型為 2 25 其 I I g II I Ig t I D 為增函數(shù) 0 修復結果佳于 TV 模型 如上圖 2 8 所示 江西理工大學 2011 屆本科生畢業(yè)設計 論文 17 歐拉在研究外力的作用下 首先提出了曲線的能量概念 17 已知曲線的兩 端點 A 和 B 曲線長度為 則曲線量方程為 Chan 等人d dsdE AB 2 則將彈性能量引入到 TV 模型當中 提出了 TV Euler 模型 6 2 26 002 2 D E I IDI dIId 其中 當時 則返回到 TV 模型 2 I div I 0 1 圖 2 9 c 2 9 d 為 TV Euler 修復結果圖 可見其修復效果較 TV 模型好 其 中 n 為迭代次數(shù) 迭代次數(shù)不同 造成修復結果也不同 a 原圖 b TV 修復圖 c n 2000 d n 5000 圖 2 9 因為 TV 模型破壞了視覺連通性原理 為此 有不少學者提出了一些 TV 改 進模型 如文獻 24 25 26 2 時 為各項同性擴散的調和 harmonic 模型 18 2 p 模型為 用變分法可推導出相應的 Euler dIIdIIJ D 0 2 22 1 方程為 2 27 0 00 IIIIII 3 時 稱為 p harmonic 模型 19 21 p 其中可以根據圖像是否含噪聲 建立相應的能量泛函模型 江西理工大學 2011 屆本科生畢業(yè)設計 論文 18 模型 I 無噪聲模型 dI p IJ p 1 1 2 28 模型 II 含噪聲模型 Dyx Dyx yxyx dIIdI p IJ DD D p 0 1 2 1 0 2 2 29 先討論含噪聲模型 II 該模型的能量泛函為 2 30 dxdy y I x I IyxFdIIIyxFIJ yx 其中 20 2 2 2 20 20 2 1 2 1 2 1 yxIyxI y yxI x yxI p yxIyxIyxI p III p F D p D p D p 該泛函屬于變分理論中的類型 根據公式 2 12 相應的 Euler 方程為 0 yx I I F y F I F x F F 其中 2 31 y I I I F x I I I F IIF p y p x DI 22 0 將上式代入式 2 12 化簡得 2 32 0 0 IIII D p 所對應的最速下降方程為 IIIIIIII t I D p D p 00 2 33 從而 修補后的圖像是以下偏微分方程的解I 江西理工大學 2011 屆本科生畢業(yè)設計 論文 19 2 34 上在 內在 DII DIIII t I D p 0 0 同理模型 I 的的修復圖像 為以下偏微分方程的解I 2 35 上在 內在 DII DII t Ip 0 其和 TV 模型的修復結果見圖 2 10 ISNR 是評價圖像復原質量的改進信噪比測 度 值越大表示修復效果越好 a 原圖b TV 修復圖 ISNR 18 6db c 該算法修復圖 ISNR 19 50db 圖 2 10 4 混合模型 上述討論的 TV 模型 相應的 Euler 方程為 dIIdIIJ D 0 2 用同樣的方法可以推導出擴散項 只0 0 II I I I I I I 在邊緣方向擴散 一般而言 圖像的每個像素點處都有一個梯度方向和邊緣方 向 而在平坦區(qū)域得到的邊緣方向并不真實存在 此時仍僅沿邊緣方向擴散 無疑會導致在平坦區(qū)域的噪聲抑制不充分 甚至產生階梯效應 上述討論的調和模型 用變分法可推導 dIIdIIJ D 0 2 22 1 出其 Euler 方程為 擴散項反應了調和模 0 0 III II 型的去噪性能 令為梯度方向的單位向量 為與垂直即邊緣 I I I I 江西理工大學 2011 屆本科生畢業(yè)設計 論文 20 方向的單位向量 有 計算過程可見 II II y I x I II 2 2 2 2 2 2 2 2 第三章 3 1 節(jié)中的預備知識 因為梯度方向和垂直向量的擴散系數(shù)一樣 即為 同性擴散 因此該模型在去噪的同時也使邊緣模糊了 正確的做法是 在圖像的平坦區(qū)域的邊緣方向和梯度方向的擴散系數(shù)均應 較大 在圖像的邊緣區(qū)域 沿邊緣方向應當具有較大的擴散系數(shù) 而梯度方向 的擴散系數(shù)則較小 因此 根據以上分析 為了克服上述兩種模型的缺點 保 留其優(yōu)勢 可建立如下混合模型 2 36 dIIdIIIJ D 0 2 22 1 其中 是控制參數(shù) 時為調和模型 時為 TV 模型 該混 1 0 0 1 合模型的 Euler 方程為 2 37 01 0 III I I 同樣在坐標下 混合模型的擴散項變?yōu)?I I I 1 顯然 該混合模型沿邊緣方向和梯度方向都有擴散 II I I 1 1 并且邊緣擴散系數(shù)依賴于圖像局部特征 梯度方向擴散系數(shù)較小 含噪圖像中 邊緣處本身含有噪聲 在邊緣處若有個較弱的沿梯度方向擴散 可以消弱階梯 效應的產生 從而 混合模型能夠得到更優(yōu)的濾波效果 如圖 2 11 所示 同樣 PNSR 是評價圖像復原質量的峰值信噪比測度 值越大表示修復效果越好 a 原圖B 加噪圖 PNSR 7 2520 c 0 為調和模型 PNSR 15 3125 d 5 0 PNSR 16 6490 e 1 為 TV 模型 PNSR 15 2058 圖 2 11 江西理工大學 2011 屆本科生畢業(yè)設計 論文 21 2 3 3 基于樣本的紋理合成算法 之前介紹的圖像修補 inPainiing 技術 可以利用待修補區(qū)域的鄰域信息 來填充缺損區(qū)域的像素值 只適合修補小尺度缺損 目前使用最廣泛的紋理合 成算法為基于樣本的紋理合成圖像修復技術 它不但可以填充任意大小的丟失 塊 還可以修復破損部分的細節(jié) 它的基本思想是在圖像丟失塊的邊界上任選 一像素點 以該點為中心 設定一定大小的模板 然后在整個已知區(qū)域內按照 某種準則 尋找一個與該模板最為匹配的塊 最后用最優(yōu)匹配塊填充模板即可 Criminisi 20 等采用一種基于樣本的圖像修補算法 實際上是直接結合結 構傳輸和紋理合成的方法 來去除照片中的大物體 這種紋理合成主要由三部 分組成 優(yōu)先權計算 最優(yōu)塊搜索和復制 計算優(yōu)先權是為了決定填充的次序 以保證在紋理填充之前 圖像的線性結構先被傳播 這樣就可以保證目標邊界 連通 搜索就是根據紋理的相似性在原始區(qū)域找到最為匹配塊 復制就是將所選 擇的最優(yōu)匹配塊復制到目標區(qū)域內的適當位置 1 計算修復塊的優(yōu)先級 優(yōu)先級的計算是整個算法的關鍵和特色所在 圖像中的每個像素 除了修補的 區(qū)域外 都有各自的顏色信息置信度 Confidence 修補的區(qū)塊則根據包含的 像素有不同的優(yōu)先級 Priority 修補區(qū)域的優(yōu)先權決定了以后的修補優(yōu)先順 序 優(yōu)先權越高 越先處理修補區(qū)域 在計算優(yōu)先權大小時 應考慮幾個因素 修補區(qū)域內像素的置信度大小 待修補區(qū)包含的線性結構信息能否與周圍 形成一個連續(xù)的線性結構 即待修補區(qū)的鄰域是否是閉合的 優(yōu)先級計算示意 圖如圖 2 9 所示 圖 2 9 信息擴散方向示意圖 其中為待修補區(qū)域 也稱為目標區(qū)域 為目標區(qū)域的邊緣輪廓線 在填 充過程中 邊緣輪廓線會向待修補目標區(qū)域不斷收縮 因此又稱填充邊緣 代表整幅圖像除去目標區(qū)域以外的部分 提供填充過程中需要的樣本資源 又稱樣本區(qū)域 是以點為中心的待補全塊 為邊緣線上點的 p p p n p 江西理工大學 2011 屆本科生畢業(yè)設計 論文 22 法向量 為點梯度方向的垂直方向 即點的光照線 同色線 方向 p I p 計算待補全塊的優(yōu)先權 為置信度 表示中包 p pDpCpP pC p 含的已知信息量 為數(shù)據項 表示中包含的結構信息量 他們分別定 pD p 義為 2 38 pp p q pD qC pC p nI 其中為補全快的面積 即像素點的個數(shù) 為歸一化因子 的 p p qC 初始化定義如下 q q qC 1 0 2 最優(yōu)匹配塊和復制 找到具有最大優(yōu)先權值的目標模板中心點 尋找一個最優(yōu)匹配塊 p q 匹配度公式為 其中為之間的距離 即 qpq d q minarg qp d qp 這兩個像素塊中對應的已知像素點的顏色值之差的平方 定義為 2 39 qpP p qpqpqpqp PBpBPGpGPRpRd 2 2 2 其中為目標塊中中某未知像素點的三基色值 pBpGpR ppp p pRGB 為匹配塊中中對應像素點的三基色值 最后用 PBPGPR qqqq PRGB 中相應點替代中的未知點 q p 3 更新置信度 最高優(yōu)先權的目標塊修補完成后 塊中原來的邊界點變成已知點 區(qū)域內中的 點變?yōu)橐阎c或者邊界點 這時需重新計算已知點的置信度 以及邊界點的優(yōu) 先權 對于新加入到待修補區(qū)域塊內的像素點 都將它們設為與像素點有相p 同的置信度 設為剛剛填充好的修補塊 則其像素點的置信度更新按公式 p 重復上述 3 個步驟 直至修復所有的破損區(qū)域 p ppCpC 4 圖像補全的整個步驟 江西理工大學 2011 屆本科生畢業(yè)設計 論文 23 用戶選擇需去除并填充的目標區(qū)域 計算塊的優(yōu)先權 尋找和復制最優(yōu)匹配塊 更新優(yōu)先權 得到新的邊緣后 若邊緣上的像素點不為零 則重復步驟 直到整個 目標區(qū)域填充 完畢 a 原圖 b Crimini 修復圖 圖 2 10 Criminisi 給出的大量比較實驗表明 該算法在時間和視覺效果上都優(yōu)于其 它的算法 接著 就有大量的研究者開始研究 Criminisi 等的算法 21 22 23 國 內 浙江大學的唐峰等 21 分析了 criminisi 算法的不足 提出了一種新穎的基 于紋理合成的圖像修復算法 該算法首先縮小了尋找匹配塊的搜索范圍 給出 了一種選擇最優(yōu)匹配塊的準則以避免誤差的傳播 得到了相當好的修復效果 文 獻 22 分析了 Criminisi 算法中的優(yōu)先權計算 發(fā)現(xiàn) 隨著填充過程的進行 置 信度值迅速下降到零 使優(yōu)先權的計算不可靠 導致錯誤的填充次序 進而影 響修補效果 為了克服這一不足 他們給出了一個更合理的優(yōu)先權函數(shù) 來保 證圖像結構和紋理的正確填充 取得了一定的效果 在上述的這些算法中 由 于 Crimlnisi 算法及其改進算法實現(xiàn)簡單 快速 效果好 故得到了廣泛的應 用 但對于基于樣本的紋理合成圖像修復技術 現(xiàn)有的算法在尋找匹配塊時 大多采用的是一種全局搜索方法 這種搜索方法不但容易產生錯誤的匹配 還 很耗時 很少有人研究自然圖像中紋理的特性 由于人眼對邊緣等線結構特征 最為敏感 在對自然圖像進行修復時 圖像中的邊界結構部分修補的好壞 直 接影響到整幅圖像的修補效果 若能對規(guī)則紋理的方向特性進行研究 找到圖 像中紋理的大致走向 然后沿這一走向尋找匹配塊 不但會減少搜索空間 還 會提高修補的視覺效果 因此 對自然圖像中規(guī)則紋理特性的研究 可以減少 修補時間 提高修補質量