數(shù)字圖像處理課件

1、1Ling zhigang zgling_Spring 2011數(shù)字圖像處理Chapter 11Representation &Description2Contentn 基本概念基本概念n 表示方法表示方法 Representationn 描述方法描述方法Descriptionn 邊界描述子邊界描述子n 區(qū)域描述子區(qū)域描述子n 主分量描述主分量描述n 關(guān)系描述子關(guān)系描述子3Contentn 基本概念基本概念n 表示方法表示方法 Representationn 描述方法描述方法Descriptionn 邊界描述子邊界描述子n 區(qū)域描述子區(qū)域描述子n 主分量描述主分量描述n 關(guān)系描述子關(guān)系

2、描述子4n圖像分析系統(tǒng)的構(gòu)成知識庫知識庫表示與描述表示與描述預(yù)處理預(yù)處理分割分割低級處理高級處理中級處理識別識別與與解釋解釋結(jié)果圖像獲取圖像獲取問題基本概念基本概念105基本概念基本概念n 特征表示與描述的定義：把圖像分割后，分割后的圖像一般要進(jìn)行形式化的表達(dá)和描述n 解決形式化表達(dá)問題一般有兩種選擇：1）根據(jù)區(qū)域的外部特征來形式化表示：2）根據(jù)區(qū)域的內(nèi)部特征（比較區(qū)域內(nèi)部的象素值）來形式化表示：6基本概念基本概念n外部特征來進(jìn)行形式化表示舉例： 7基本概念基本概念n選擇表達(dá)方式，要本著使數(shù)據(jù)變得更有利于下一步的計算工作。下一步工作是基于所選的表達(dá)方式描述這個區(qū)域，一般情況下：1）如果關(guān)注的焦

3、點(diǎn)是形狀特性，選擇外部表示方式2）如果關(guān)注的焦點(diǎn)是反射率特性，如顏色、紋理時，選擇內(nèi)部表示方式3）所選表示方式，應(yīng)該對尺寸、變換、旋轉(zhuǎn)等變量盡可能的不敏感8Contentn 基本概念基本概念n 表示方法表示方法n 描述方法描述方法n 邊界描述子邊界描述子n 區(qū)域描述子區(qū)域描述子n 主分量描述主分量描述n 關(guān)系描述子關(guān)系描述子9n表示法設(shè)計n鏈碼n多邊形逼近n外形特征n邊界分段n區(qū)域骨架特征表示法特征表示法10特征表示法特征表示法n鏈碼（Chain Codes)n定義：1）鏈碼是一種邊界的編碼表示法。2）用邊界的方向作為編碼依據(jù)。為簡化邊界的描述。一般描述的是邊界點(diǎn)集。0123014672354

4、-鏈碼8-鏈碼11特征表示法特征表示法n鏈碼舉例：4-鏈碼：00003333332222221111001112n鏈碼n算法：n給每一個線段邊界一個方向編碼。n有4-鏈碼和8-鏈碼兩種編碼方法。n從起點(diǎn)開始，沿邊界編碼，至起點(diǎn)被重新碰到，結(jié)束一個對象的編碼。特征表示法特征表示法13特征表示法特征表示法n鏈碼n問題1：1）鏈碼相當(dāng)長。2）噪音會產(chǎn)生不必要的鏈碼。n改進(jìn)1：1）加大網(wǎng)格空間。2）依據(jù)原始邊界與結(jié)果的接近程度，來確定新點(diǎn)的位置。14n鏈碼舉例：4-鏈碼：003332221101特征表示法特征表示法15特征表示法特征表示法n鏈碼n問題2：1）由于起點(diǎn)的不同，造成編碼的不同2）由于角度的

5、不同，造成編碼的不同n改進(jìn)2：1）從固定位置作為起點(diǎn)(最左最上)開始編碼2）通過使用鏈碼的首差代替碼子本身的方式16特征表示法特征表示法n鏈碼n循環(huán)首差鏈碼：用相鄰鏈碼的差代替鏈碼例如：4-鏈碼 10103322 循環(huán)首差為： 33133030循環(huán)首差：1 - 2 = -1(3) 3 - 0 = 3 0 - 1 = -1(3)3 - 3 = 0 1 - 0 = 12 - 3 = -1(3) 0 - 1 = -1(3)2 - 2 = 017特征表示法特征表示法n鏈碼n應(yīng)用背景：n如果邊界的本身對于旋轉(zhuǎn)和比例修改來說是無變化的，使用鏈碼才是正確的。一般來說這是不可能的，實(shí)際應(yīng)用時還需要改進(jìn)。n用鏈

6、碼后，對象只要用1)起點(diǎn)坐標(biāo)，2)周長（邊界點(diǎn)數(shù)）3)鏈碼，4)對象編號，就可以描述。n鏈碼一般用于一幅圖像中有多個對象的情況，對單個對象不適用。18特征表示法特征表示法n多邊形逼近n基本思想：用最少的多邊形線段，獲取邊界形狀的本質(zhì)。n尋找最小基本多邊形的方法一般有兩種：1）點(diǎn)合成法2）邊分裂法19特征表示法特征表示法n多邊形逼近n點(diǎn)合成算法思想舉例：RR T20特征表示法特征表示法n多邊形逼近n點(diǎn)合成算法：1）沿著邊界選兩個相鄰的點(diǎn)對，計算首尾連接直線段與原始折線段的誤差R。2）如果誤差R小于預(yù)先設(shè)置的閾值T。去掉中間點(diǎn)，選新點(diǎn)對與下一相鄰點(diǎn)對，重復(fù)1）；否則，存儲線段的參數(shù)，置誤差為0，選

7、被存儲線段的終點(diǎn)為起點(diǎn)，重復(fù)1）2）。3）當(dāng)程序的第一個起點(diǎn)被遇到，程序結(jié)束。RR M-1的部分舍去不予計算。由于傅立葉變換中高頻部分對應(yīng)于圖像的細(xì)節(jié)描述，因此M取得越小，細(xì)節(jié)部分丟失得越多。M=4M=61M=62N=64邊界描述子62邊界描述子n傅立葉描述符使用價值1）較少的傅立葉描述子（如4個），就可以獲取邊界本質(zhì)的整體輪廓2）這些帶有邊界信息的描述子，可以用來區(qū)分明顯不同的邊界63邊界描述子n傅立葉描述符優(yōu)點(diǎn)(1)使用復(fù)數(shù)作為描述符，對于旋轉(zhuǎn)、平移、放縮等操作和起始點(diǎn)的選取不十分敏感。(2)幾何變換的描述子可通過對函數(shù)作簡單變換來獲得幾何變換傅立葉描述子原形a(u) 旋轉(zhuǎn)a(u) = a

8、(u) ej平移a(u) = a(u) + xy(u)放縮a(u) = a(u) 起點(diǎn)a(u) = a(u) e-j2k0u/N64邊界描述子n邊界描述子n簡單描述子n形狀數(shù)n傅立葉描述子n矩量65邊界描述子n矩量n基本思想： 將描述形狀的任務(wù)減少至描述一個一維函數(shù)，邊界段和特征的形狀可以用矩量來量化地描述n矩量的定義：n把邊界當(dāng)作直方圖函數(shù)：g(r)rg(r)66邊界描述子n矩量n矩量的定義： L n(r) = (ri- m)ng(ri) i=1 L其中 m = rig(ri) i=1這里L(fēng)是邊界上點(diǎn)的數(shù)目, n(r)是邊界的矩量67邊界描述子n矩量n矩量的優(yōu)點(diǎn)：n實(shí)現(xiàn)是直接的n附帶了一種關(guān)

9、于邊界形狀的“物理”解釋n對于旋轉(zhuǎn)的不敏感性n為了使大小比例不敏感，可以通過伸縮r的范圍來將大小正則化。68Contentn 基本概念基本概念n 表示方法表示方法n 描述方法描述方法n 邊界描述子邊界描述子n 區(qū)域描述子區(qū)域描述子n 主分量描述主分量描述n 關(guān)系描述子關(guān)系描述子69區(qū)域描述子n區(qū)域描述子n簡單描述符n拓?fù)涿枋龇負(fù)涿枋龇鹡紋理70n簡單描述符 區(qū)域面積區(qū)域面積-區(qū)域象素計數(shù)區(qū)域象素計數(shù) 區(qū)域重心區(qū)域重心 區(qū)域灰度特征區(qū)域灰度特征-最大值最大值,最小值最小值,中值中值,均值均值,方差等方差等 區(qū)域灰度統(tǒng)計特征區(qū)域灰度統(tǒng)計特征-直方圖直方圖,各階矩各階矩(均值均值,方差及高階矩方差

10、及高階矩)RyxA,1yx,RyxRyxyAyxAx,11區(qū)域描述子71n 拓?fù)涿枋龇負(fù)涿枋龇?拓?fù)鋵W(xué)研究圖形不受畸變變形（不包括撕裂或粘貼）影響的性質(zhì)拓?fù)湫再|(zhì)：全局性質(zhì)，與距離無關(guān)歐拉數(shù)歐拉數(shù) 1，2，1 ， 0 歐拉數(shù)描述了區(qū)域的連通性 H：區(qū)域內(nèi)的孔數(shù) C：區(qū)域內(nèi)的連通組元個數(shù) HCE區(qū)域描述子72對一幅二值圖象A，可以定義兩個歐拉數(shù)(1)4-連通歐拉數(shù)E4(A)4-連通的目標(biāo)個數(shù)減去8-連通的孔數(shù) (2)8-連通歐拉數(shù)E8(A)8-連通的目標(biāo)個數(shù)減去4-連通的孔數(shù) )()()(844AHACAE)()()(488AHACAE區(qū)域描述子73多邊形網(wǎng)多邊形網(wǎng)全由直線段（包圍）構(gòu)成的區(qū)域集

11、合 歐拉公式歐拉公式 V：頂點(diǎn)數(shù) B：邊線數(shù) F：面數(shù) V=26,Q=33,F=7,C=3,H=3,E=0。HCEFBV孔面邊頂點(diǎn)區(qū)域描述子74n紋理 定義-圖象中表現(xiàn)出的某種局部的不規(guī)則性,而在整體上又 表現(xiàn)出某種規(guī)律性的特性.(即微觀上無規(guī)則,宏觀上 具某種大致規(guī)則的構(gòu)造合理的圖案結(jié)構(gòu)) 圖象中反復(fù)出現(xiàn)的(灰度空間分布的)局部模式及其排 列規(guī)則(紋理基元及其排列規(guī)則). 包含圖象區(qū)域的兩方面信息:象素灰度的空間分布特 性和結(jié)構(gòu)的周期性 定性定性-紋理的粗細(xì)紋理的粗細(xì),紋理的簡單與復(fù)雜紋理的簡單與復(fù)雜,紋理的紋理的 方向等方向等 紋理分析 定量定量-紋理特征紋理特征 紋理分析方法-統(tǒng)計方法統(tǒng)

12、計方法,頻譜法頻譜法,結(jié)構(gòu)法結(jié)構(gòu)法區(qū)域描述子75p統(tǒng)計方法 (a)灰度直方圖及其各階矩灰度直方圖及其各階矩(缺空間位置信息缺空間位置信息) (b)空間自相關(guān)函數(shù)空間自相關(guān)函數(shù) 對給定的偏離對給定的偏離 ,粗紋理區(qū)域的相關(guān)性比細(xì)紋理的高粗紋理區(qū)域的相關(guān)性比細(xì)紋理的高 一種紋理粗細(xì)的定量測度一種紋理粗細(xì)的定量測度(二階矩二階矩) T越大越大,紋理越粗紋理越粗 wjwjmwkwknwjwjmwkwknnmfnmfnmfkjC2, jTkTkjCkjT,22的象素間的相關(guān)性與偏離值為象素點(diǎn)Tkj, 2, 1, 0,區(qū)域描述子76(c)(c)灰度共生矩陣灰度共生矩陣-灰度聯(lián)合概率矩陣灰度聯(lián)合概率矩陣 定

13、義 其中其中,S為圖象區(qū)域中具有特定空間聯(lián)系的象素對的集合為圖象區(qū)域中具有特定空間聯(lián)系的象素對的集合, # 代表數(shù)量代表數(shù)量.上式中上式中P已歸一化已歸一化. 相對距離相對距離 兩象素的特定空間聯(lián)系兩象素的特定空間聯(lián)系 位置算子位置算子 SgyxfgyxfSyxyxggP#,&,#,222111221121 ,dyx或區(qū)域描述子77灰度共生矩陣計算例:0001211011221001102000100的綜合信息變化幅度相鄰間隔灰度分布的關(guān)于方向灰度共生矩陣反映圖象概率中出現(xiàn)的頻數(shù)為這樣的象素對在圖象另一個灰度為其中一個灰度為的象素對圖象中相對距離為,).(,2121ggPggyx 11

14、1213212223313233421232020aaaAaaaaaa區(qū)域描述子78灰度合并032103232103212103210103210303210323210321210321021410621410141062141061062141062621410621421410621410141062141061062141062yx90000100000900008321032101,1xy 0,1xy 32103210000101100001100001001g2g010 42000011420000114210 42000C2 900001 400005 1800001 4C例例區(qū)

15、域描述子79p幾點(diǎn)說明 a.圖象的灰度級數(shù)為圖象的灰度級數(shù)為L,聯(lián)合概率矩陣的尺寸為聯(lián)合概率矩陣的尺寸為 ,實(shí)際應(yīng)用中實(shí)際應(yīng)用中,有時會有時會進(jìn)行灰度分檔合并進(jìn)行灰度分檔合并,減小矩陣維數(shù)減小矩陣維數(shù). b.選擇不同的選擇不同的 可得到不同的矩陣可得到不同的矩陣. c.c.相對距離為相對距離為 時時, ,灰度共生矩陣為對稱矩陣灰度共生矩陣為對稱矩陣. .LL ,dyx或yx ,區(qū)域描述子80p定性分析:如粗如粗(簡單簡單)紋理紋理,主對角線上的元素數(shù)值較大主對角線上的元素數(shù)值較大;細(xì)細(xì)(復(fù)雜復(fù)雜) 紋理紋理,主對角線上的元素數(shù)值較小主對角線上的元素數(shù)值較小,分布分散分布分散,其兩側(cè)的其兩側(cè)的

16、元素數(shù)值增大元素數(shù)值增大p定量分析:從歸一化的從歸一化的 提取的幾個常用的紋理特征提取的幾個常用的紋理特征(紋紋 理描述子理描述子) a.二階矩二階矩 b.熵熵 c.對比度對比度 d.均勻性均勻性21,ggP12221,ggMggPW122121,ggHggkggPW122121,log,ggEggPggPW122121,ggCggPggW區(qū)域描述子81木紋 周期紋理 磚塊 82p頻譜法 圖象功率譜估計圖象功率譜估計 定性分析定性分析(反映紋理的周期性和方向性反映紋理的周期性和方向性) 紋理粗細(xì)紋理粗細(xì)-粗紋理粗紋理, 集中在原點(diǎn)附近集中在原點(diǎn)附近;細(xì)紋理細(xì)紋理, 分散分散,頻譜豐富頻譜豐富

17、紋理方向性紋理方向性-與與 的能量分布傾向垂直的能量分布傾向垂直 定量分析定量分析(計算頻域某窗口的能量及能量分布計算頻域某窗口的能量及能量分布) 能量水平條能量水平條 能量垂直條能量垂直條 用極坐標(biāo)表示用極坐標(biāo)表示 能量環(huán)能量環(huán) 能量扇形能量扇形p結(jié)構(gòu)法-紋理基元及其排列規(guī)則紋理基元及其排列規(guī)則為圖象的傅氏變換vuFvuFvuP,2vuP,vuP,vuP,dvduvuPvvv,dudvvuPuuu,ddP,20uvtgvuPvuP/,1222ddP,0區(qū)域描述子83（a）鵝卵石 （b）沙石 （c）鵝卵石頻譜圖 （d）沙石頻譜圖840)()(rSrS01)()(RrrSS85)(S)(S86,

18、 2 , 1 , 0,),(qpyxfyxmxyqppq, 2 , 1 , 0,),()()(qpyxfyyxxxyqppq00010010,mmymmx87, 2 , 1 , 0,00qppqpq, 4 , 3 , 2,12qpqp88022012112022024)(20321212303)3()3(20321212304)()()()( 3)(3()( 3)()(3(2032121230032103212032121230123012305)(4)()(032112301120321212300220689（a）lena圖 （b）旋轉(zhuǎn)-4 （c）垂直鏡像 （d）縮小二分之一 90 從表從

19、表10.4可以看出，在圖像經(jīng)過旋轉(zhuǎn)、鏡像以及尺度變換之后，可以看出，在圖像經(jīng)過旋轉(zhuǎn)、鏡像以及尺度變換之后，這七個不變矩的值只有十分小的變化，可以看作是基本保持不變這七個不變矩的值只有十分小的變化，可以看作是基本保持不變 91Contentn 基本概念基本概念n 表示方法表示方法n 描述方法描述方法n 邊界描述子邊界描述子n 區(qū)域描述子區(qū)域描述子n 主分量描述主分量描述n 關(guān)系描述子關(guān)系描述子92主分量描述（霍特林變換主分量描述（霍特林變換)變換要點(diǎn)和特點(diǎn)u特征值變換、主分量變換、離散KL變換u基于圖象統(tǒng)計特性變換系數(shù)不固定（沒有基本函數(shù)）u把輸入圖象看作一組隨機(jī)矢量u求取協(xié)方差矩陣的特征矢量進(jìn)

20、行變換u解除原始圖象數(shù)據(jù)間的相關(guān)主分量描述93MkxxxkNkkk.,x21T 21隨機(jī)矢量，均值，協(xié)方差 M個N階NMNNMMxxxxxxxxx212222111211xMkkM11xmxMkkkM1TT 1xxxmmxxCMxxxx21主分量描述94協(xié)方差矩陣 Cx是N N 階實(shí)對稱矩陣Cii是各矢量的第i個分量 組成的矢量xi的方差Cij是矢量xi和矢量xj 之間的協(xié)方差 NNNNNNxCCCCCCCCC212222111211CMkkkM1TT 1xxxmmxxC主分量描述95MkkkM1TT 1xxxmmxxC均值和協(xié)方差計算示例 321xxxx 1001x11131xm0102x0

21、013x211121112911111111119110001000131xCMkkM11xmx主分量描述96基本步驟：(1) 選3個以上點(diǎn)的坐標(biāo)構(gòu)成一組矢量 x(2) 計算x的均值矢量mx x和協(xié)方差矩陣Cx (3) 計算 Cx 的特征值，獲得特征矢量矩陣A(4) 霍特林變換：用A乘以原始矢量和均值矢量的差 y： 均值為零xmxAy0ym主分量描述97近似重建（在均方誤差意義下最優(yōu)） 從 y 重建 x ：A的各行都是正交歸一化矢量，A 1 = AT近似重建：均方誤差： xmyAxTxmyAxTKNjKjNKjjjje111ms主分量描述98Contentn 基本概念基本概念n 表示方法表示方法n 描述方法描述方法n 邊界描述子邊界描述子n 區(qū)域描述子區(qū)域描述子n 主分量描述主分量描述n 關(guān)系描述子關(guān)系描述子99關(guān)系描述子n關(guān)系描述子n基本思想n階梯關(guān)系編碼n骨架關(guān)系編碼n方向關(guān)系編碼n內(nèi)角關(guān)系編碼n樹結(jié)構(gòu)關(guān)系編碼100關(guān)系描述子n基本思想：n通過挖掘各個成分之間的結(jié)構(gòu)關(guān)系來描述邊界n圖像中各個