第二章 圖像采集

1、第二章第二章 圖像采集圖像采集主要內(nèi)容：1.1.圖像的數(shù)學(xué)模型圖像的數(shù)學(xué)模型2.2.圖像的數(shù)字化圖像的數(shù)字化3.3.像素間的基本關(guān)系像素間的基本關(guān)系4.4.圖像坐標(biāo)變換圖像坐標(biāo)變換2/682.0 圖像采集系統(tǒng)圖像采集系統(tǒng)一般地，f(x,y)=T(h(x,y),p(x,y) 特例，f(x,y)=h(x,y)*p(x,y)，*為卷積運算成像系統(tǒng)h(x,y)采樣系統(tǒng)量化器p(x,y,z)景物f(x,y)圖像gs(x,y)采樣圖像gd(x,y), 數(shù)字圖像圖2-1圖像采集過程空間場景空間場景觀察窗觀察窗目標(biāo)投影目標(biāo)投影處的處的“信息屬性信息屬性”2.0 圖像數(shù)字化圖像數(shù)字化2.1 幾何成像模型幾何成像

2、模型2.2 亮度成像模型亮度成像模型2.3 采樣和量化采樣和量化2.4 像素間聯(lián)系像素間聯(lián)系2.5 圖像坐標(biāo)變換圖像坐標(biāo)變換像素兩要素像素兩要素。3/682.1 幾何成像模型幾何成像模型投影成像幾何投影成像幾何投影成像涉及在不同坐標(biāo)系統(tǒng)之間對“反映研究對象的反映研究對象的數(shù)量及其關(guān)系數(shù)量及其關(guān)系” 的坐標(biāo)轉(zhuǎn)換。利用齊次坐標(biāo)可將這些轉(zhuǎn)換線性化。(1)世界坐標(biāo)系統(tǒng) (XYZ)(2)攝像機坐標(biāo)系統(tǒng)(Oxyz)(3)像平面坐標(biāo)系統(tǒng)(Oxy)(4)計算機圖像坐標(biāo)系統(tǒng)(Row,Column)2.0 圖像數(shù)字化圖像數(shù)字化2.1 幾何成像模型幾何成像模型坐標(biāo)系統(tǒng)坐標(biāo)系統(tǒng)齊次坐標(biāo)齊次坐標(biāo)投影變換投影變換2.2

3、亮度成像模型亮度成像模型2.3 采樣和量化采樣和量化2.4 像素間聯(lián)系像素間聯(lián)系2.5 圖像坐標(biāo)變換圖像坐標(biāo)變換攝像機模型4/682.1.1投影成像幾何投影成像幾何攝像機坐標(biāo)系統(tǒng)Oxyz中的圖像平面坐標(biāo)系統(tǒng)Oxy與其xy平面重合， z軸沿光學(xué)軸（由鏡頭中心給出）建立。(不妨使這幾個坐標(biāo)系的原點重合)圖2-2 投影成像變換示意圖5/68齊次坐標(biāo)齊次坐標(biāo)空間一個點的對應(yīng)XYZ的定義為(kX, kY, kZ, k)，其中k是一個任意的非零常數(shù)。將齊次坐標(biāo)變回笛卡爾坐標(biāo)可用第4個坐標(biāo)量去除前3個坐標(biāo)量得到。齊次矢量點線將坐標(biāo)系統(tǒng)用來表達，就可將坐標(biāo)系統(tǒng)之間的轉(zhuǎn)換表示成線性矩陣形式。在2-D空間上，點與

4、直線的表示形式可統(tǒng)一。(a,b,c)(x,y,1)=06/68投影變換投影變換3-D點投影后的圖像平面坐標(biāo)：投影變換矩陣 1000010000100011PXxZYyZ/1 , 1 ,ZZYXZYXPkzyxTT7/68逆投影變換 根據(jù)2-D圖像坐標(biāo)來確定3-D客觀景物的坐標(biāo)逆投影變換矩陣: 要利用逆投影變換將3-D空間點從其圖像中恢復(fù)出來需要知道該點的至少一個世界坐標(biāo)。 1/1000100001000011P)(),(ZyYZxX 1 , 0 ,ZYXkykxk8/68一般模型一般模型Dxx,xy,yzDyXYZfDzDOo,oW X,Y,Z()I(x,y)C x,y,z()攝像機坐標(biāo)系統(tǒng)與

5、世界坐標(biāo)系統(tǒng)分開，但攝像機坐標(biāo)系統(tǒng)與像平面坐標(biāo)系統(tǒng)重合 9/68一般模型一般模型上述模型可通過以下一系列步驟轉(zhuǎn)換為世界坐標(biāo)系統(tǒng)與攝像機坐標(biāo)系統(tǒng)重合時的攝像機模型： 將像平面原點按矢量D移出世界坐標(biāo)系統(tǒng)的原點； 以某個角（繞z軸）掃視x軸； 以某個角將z軸傾斜（繞x軸旋轉(zhuǎn)） 10/682.2 亮度成像模型亮度成像模型 光度學(xué)光度學(xué)(luminous luminous flusflus) )是由光源向各個方向射出的光功率，也是由光源向各個方向射出的光功率，也即每一單位時間射出的光能量，以即每一單位時間射出的光能量，以表示，單位為流明表示，單位為流明(lumen(lumen，簡，簡稱稱 lm)lm)

6、。 (luminous intensity)是光源在單位立體角內(nèi)輻射的光通量，以I表示，單位為坎德拉(candela，簡稱cd)。1坎德拉表示在單位立體角內(nèi)輻射出1流明的光通量。 (illuminance)是從光源照射到單位面積上的光通量，以E表示,照度的單位為勒克斯(Lux，簡稱lx)。 1 lx = 1 lm/m2 。(luminance)是指一個表面的明亮程度，以L表示。 發(fā)光體沿某個方向的是用在該方向上的單位投影面積在單位立體角（其單位是球面度，sr）內(nèi)發(fā)出的光通量來衡量的，單位是cd/m2（坎德拉每平方米），其中cd是發(fā)光強度的單位，1cd = 1 lm/sr。 2.0 圖像數(shù)字化圖

7、像數(shù)字化2.1 幾何成像模型幾何成像模型2.2 亮度成像模型亮度成像模型2.3 采樣和量化采樣和量化2.4 像素間聯(lián)系像素間聯(lián)系2.5 圖像坐標(biāo)變換圖像坐標(biāo)變換http:/ flux)：光源在單位時間內(nèi)發(fā)出的光亮總和稱為光源的光通量。光亮與人眼對光的敏感程度有關(guān)，不僅僅由光的能量決定。 例如：一只40W的普通白織燈的光通量為350-470lm，而一只40W的普通直管形熒光燈的光通量為2800lm左右，為白織燈的6-8倍。13/68一個簡單的圖像亮度成像模型一個簡單的圖像亮度成像模型2-D亮度函數(shù)照度函數(shù) 反射函數(shù) ( , )( , ) ( , )f x yi x y r x y=0( , )f

8、 x y 0( , )i x y 0( , )1r x y單色圖像f()在坐標(biāo)(x, y)處的亮度值稱做圖像在該點的灰度值（不妨設(shè)為g)： GmingGmax 。區(qū)間Gmin,Gmax稱為灰度值范圍。黑天鵝絨不銹鋼粉刷的白墻鍍銀器皿白雪0.010.650.800.900.9314/68xyOzbyaxyxfz, 0, 0),(木星設(shè)C(x,y,t,)為像源的空間輻射能量分布。(x,y)為空間坐標(biāo)，t為時間，為波長，都有界都有界。0)(),(),(dVtyxCtyxYsVs()為相對光效函數(shù)，即人視覺的光譜反應(yīng)。顏色，f(x,y)15/68xyO, 0, 0, 0),(czbyaxyxfz木星u

9、只考慮亮度時的模型只考慮亮度時的模型16/682.3 采樣和量化采樣和量化xyOzbyaxyxfz, 0, 0),(木星2.0 圖像數(shù)字化圖像數(shù)字化2.1 幾何成像模型幾何成像模型2.2 亮度成像模型亮度成像模型2.3 采樣和量化采樣和量化2.4 像素間聯(lián)系像素間聯(lián)系2.5 圖像坐標(biāo)變換圖像坐標(biāo)變換17/68光與電磁波譜光與電磁波譜T圖像采樣量化過程圖像采樣量化過程【岡薩雷斯岡薩雷斯】電子伏特電子伏特(eV)18/68圖像感知和獲取圖像感知和獲取單個傳感器帶狀傳感器傳感器陣列【岡薩雷斯岡薩雷斯】19/68【岡薩雷斯岡薩雷斯】20/68【岡薩雷斯岡薩雷斯】21/68【岡薩雷斯岡薩雷斯】22/68

10、圖像的數(shù)字化圖像的數(shù)字化l數(shù)字化(digitizing-scanning,sampling and quantization)如圖，不妨設(shè)所考慮的圖像是長方形的。為了討論方便起見，在圖像如圖，不妨設(shè)所考慮的圖像是長方形的。為了討論方便起見，在圖像“像場像場”里取一個直角坐標(biāo)原點里取一個直角坐標(biāo)原點O, 建立直角坐標(biāo)系建立直角坐標(biāo)系xOy,則圖像可以用一則圖像可以用一個二元函數(shù)來表示：個二元函數(shù)來表示：z=f(x,y)。 z表示像場里表示像場里(x,y)點的點的“圖像屬性值圖像屬性值”。不妨設(shè)三個變量的取值范圍為： ，對于變量z來說，情況復(fù)雜一些。這主要牽扯到圖像的顏色問題。如果圖像是“只有灰度

11、深淺”的圖像，則可以把z的取值范圍限定在一定的實數(shù)范圍內(nèi)，不失一般性，令 。 ,0,0byax,0cz 23/68xyOzbyaxyxfz, 0, 0),(木星24/68xyO, 0, 0, 0),(czbyaxyxfz木星25/68xyOz=f(x,y) x=0,1, , N-1; y=0,1, , M-1; z=0,1, , L-1對對x,y,z進行離散化，則全部抽樣值共同構(gòu)成一個離散進行離散化，則全部抽樣值共同構(gòu)成一個離散函數(shù)，不妨還用函數(shù)，不妨還用z=f(x,y)來表示。來表示。 l采樣，量化，編碼2022年5月13日12時02分26/68v采樣（等距離采樣）將0,a分成N等份:,)

12、1() 1(,)2() 1(,)2,), 01210aNaNNaNNaNNaiNiaNaNaNaNNi0,b分成M等份:,) 1() 1(,)2() 1(,)2,), 01210bMbMMbMMbMMbjMjbMbMbMbMMj在每個小區(qū)域) 1(,) 1(,MbjMjbNaiNia中取一個代表值（不妨設(shè)為 ），令),(MjbNia1, 1 , 0; 1, 1 , 0),(), (MjNiMjbNiafjif27/68v量化（整量化）,) 1() 1(,)2() 1(,)2,), 01210cLcLLcLLcLLclLlaLcLcLcLLl將0,c分成L等份:令)1(,),(),(LclLlc

13、jifljif若為方便起見，不妨令1, 1 , 0; 1, 1 , 0),(),(MjNijifjif稱f(i,j)是圖像f(x,y)的數(shù)字(化)圖像.v編碼一般，采樣量化以后，需要對所得數(shù)據(jù)先進行PCM編碼（脈碼調(diào)制）28/68采樣定理（采樣定理（Nyquist)q一維采樣定理：若連續(xù)信號f(t)的最高（/截止）頻率為fc ,則采樣頻率必須滿足 時，才能保證采樣信號不失真地表示原信號。csff2dtetfTcjectfTTtTnjnntTnjn2/2/)/2()/2()(11,)(其它0|)()(cfuuFuF最高（/截止）頻率解釋：29/68dtetfTcjectfTTtTnjnntTnj

14、n2/2/)/2()/2()(11,)(Cn是頻率為是頻率為n/T的諧波信號所占的的諧波信號所占的“比重比重”。Cn為為“分分布布”。)()()()(1)(1()()()(,)(1)(2/2/2nnnxjnTnxjnTnxjTnunFenFTenFTxfuFourierxfenFTxfFFFF變換為的則設(shè)30/68t1t2t3t4t5t6f(t)F(u)ufctciiftt2)(11低頻高頻31/68q二維采樣定理：如果二維信號f(x,y)的Fourier頻譜F(u,v)滿足：其它0| ,|),(),(ccVvUuvuFvuF其中，Uc,Vc是相應(yīng)于空間變量x,y的最高截止頻率，則當(dāng)采樣周期

15、滿足yx ,cscsVVyUUx21,21時，采樣信號 能唯一地恢復(fù)原信號f(x,y),且有, 2, 1, 0,),(nmynxmf圖像采樣圖像采樣32/68)()(sin)()(sin),(),(ymyyymyyxmxxxmxxynxmfyxfmn vuyx,適當(dāng)?shù)卣{(diào)整 之間的值的搭配關(guān)系，就能從連續(xù)參數(shù)的Fourier變換公式出發(fā)，通過離散化步驟，得到離散傅立葉變換關(guān)系。一般?。篘vyNuxVyUxcc1,1,21,2133/68放大和收縮數(shù)字圖像放大和收縮數(shù)字圖像放大過采樣收縮欠采樣核心問題：新像素的位置？新位置上的像素灰度值？新像素的位置？新位置上的像素灰度值？）實數(shù)倍與整數(shù)倍放大）最

16、近領(lǐng)域內(nèi)插(0階插值)）像素復(fù)制）雙線性內(nèi)插(1階插值)34/68)1, 1()1 , 1()0 , 1()1, 1 ()1 , 1 ()0 , 1 ()1, 0()1 , 0()0 , 0(),(NMfmfMfnfffNfffyxf（解析表達式，矩陣表達式）（解析表達式，矩陣表達式）采樣點數(shù)和量化級數(shù)的選取采樣點數(shù)和量化級數(shù)的選取(圖像有圖像有MN個像素個像素,每個像素有每個像素有L個灰度級別個灰度級別)u M，N和和L一般取一般取2的整數(shù)次冪；的整數(shù)次冪；u L=2k，若若L=256，則則k=8，此種量化稱為圖像的，此種量化稱為圖像的8bit量化，此時圖像有量化，此時圖像有256級灰度級灰

17、度（被量化為（被量化為256級灰度）。由于存在著量化誤差，直觀上級灰度）。由于存在著量化誤差，直觀上k越大重建圖像失真越小。越大重建圖像失真越小。對于人眼應(yīng)用，一般對于人眼應(yīng)用，一般k取取5-8；對于遙感圖像等應(yīng)用；對于遙感圖像等應(yīng)用k取取8-12；u MN必須滿足奈奎斯特采樣定理，否則會因采樣點數(shù)不夠，在重建圖像時產(chǎn)生必須滿足奈奎斯特采樣定理，否則會因采樣點數(shù)不夠，在重建圖像時產(chǎn)生混淆失真?；煜д妗 b=MNk為存儲數(shù)字圖像需要的比特數(shù)為存儲數(shù)字圖像需要的比特數(shù)*誤差分析*數(shù)字圖像表示數(shù)字圖像表示35/68灰度級灰度級:表示像素明暗程度的整數(shù)量稱為灰度級。層次層次( (灰度級數(shù)灰度級數(shù))

18、:):表示灰度級的數(shù)量。像素像素:(pixel-picture element）圖像的最小信息單 位，通常是一個整數(shù)，其大小稱為像素值。圖幅參數(shù)：圖幅參數(shù)：圖像采樣密度，通常用“行數(shù)列數(shù)”表示空間與灰度級分辨率空間與灰度級分辨率36/681）圖像分辨率：指組成一幅圖像的像素密度，也就是圖幅參數(shù)。對同樣大小的一幅圖，如果組成該圖的圖像像素數(shù)目越多，則說明圖像的分辨率越高，看起來就越逼真。相反，圖像顯得越粗糙。(空間分辨率,灰度級分辨率)2）顯示分辨率：指顯示屏上能夠顯示出的像素數(shù)目。例如，顯示分辨率為640480表示顯示屏分成480行，每行顯示640個像素，整個顯示屏就含有307200個顯像點。

19、3）像素深度：指存儲每個像素所用的位數(shù)，它也是用來度量圖像的分辨率。分辨率分辨率37/68圖像質(zhì)量與采樣圖像質(zhì)量與采樣 38/68圖像質(zhì)量與量化圖像質(zhì)量與量化 39/68某圖的某個局部的數(shù)據(jù)某圖的某個局部的數(shù)據(jù) 114 115 114 113 114 116 117 114 109 107 107 107 107 106 107 108 114 112 109 108 107 108 107 107 108 110 111 110 109 111 110 111 110 110 112 113 109 109 111 114 106 107 107 107 109 110 106 107 10

20、8 111 104 106 106 106 108 109 104 103 104 106 105 106 106 107 109 110 107 105 103 103 102 103 104 104 106 108 112 108 105 104 95 98 103 104 99 92 97 96 95 96 40/68一個一個Matlab程序示例程序示例 如下信息是通過matlab語言，讀出的某圖像的信息 Filename: c:A.jpg FileModDate: 13-Dec-2001 01:56:14 FileSize: 25076 Format: jpg FormatVersio

21、n: Width: 593 Height: 418 BitDepth: 24 ColorType: truecolor FormatSignature: 41/68黑白圖像黑白圖像： 圖像只有明暗程度的變化而沒有色彩的變化， 最簡單的是二值圖像，只有兩種灰度；偽彩色圖像偽彩色圖像：是指經(jīng)過偽彩色處理而形成的彩色圖像。其像素 值是所謂的索引值，是按照灰度值進行彩色指定 的結(jié)果，其色彩并不一定忠實于外界景物的真實色彩；假彩色圖像假彩色圖像：是指遙感多波段圖像合成的彩色圖像；真彩色圖像真彩色圖像：是忠實于外界景色的色彩的圖像，其像素一般是顏色的真實值。靜止圖像靜止圖像：圖像的內(nèi)容不隨時間變化。活動圖

22、像活動圖像：前一幀和后一幀的圖像內(nèi)容隨時間發(fā)生變化。矢量圖像：由描述像素點陣的一組數(shù)據(jù)刻畫的圖像。點陣圖像（位圖）：由像素點陣所組成的圖像。數(shù)字圖像種類數(shù)字圖像種類42/68黑白圖像二值圖像2022年5月13日12時02分43/68偽彩色圖像偽彩色偽彩色偽彩色圖像的含義是，每個像素的顏色不是由每個基色分偽彩色圖像的含義是，每個像素的顏色不是由每個基色分量的數(shù)值直接決定，而是把像素值當(dāng)作彩色查找表量的數(shù)值直接決定，而是把像素值當(dāng)作彩色查找表CLUT(color look-up table)CLUT(color look-up table)的表項入口地址，去查找一個的表項入口地址，去查找一個顯示圖

23、像時使用的顯示圖像時使用的R R、G G、B B強度值，用查找出的強度值，用查找出的R R、G G、B B強強度值產(chǎn)生的彩色稱為偽彩色。度值產(chǎn)生的彩色稱為偽彩色。彩色查找表彩色查找表CLUT(color look up table)CLUT(color look up table)是一個事先做好的是一個事先做好的表，表項入口地址也稱為索引號。例如表，表項入口地址也稱為索引號。例如1616種顏色的查找表種顏色的查找表，0 0號索引對應(yīng)黑色，號索引對應(yīng)黑色，. . ，1515號索引對應(yīng)白色。號索引對應(yīng)白色。44/68假彩色圖像對多光譜圖像進行處理得到的圖像45/68真彩色圖像46/68此圖來源于：

24、清華大學(xué)，計算機科學(xué)與技術(shù)系，智能技術(shù)與系統(tǒng)國家重點實驗室，林福宗 （圖像中的像素值的內(nèi)容不一樣）47/68點陣圖像與矢量圖像48/68活動圖像（以上各種圖像稱做靜止圖像，MPEG格式）此活動圖像來自回歸97網(wǎng) http:/ 5鄰域鄰域OOOO*OOOO4-鄰域鄰域N4(p)8-鄰域鄰域N8(p)33鄰域鄰域=(x+1,y), (x,y+1), (x-1,y), (x,y-1),2.4 像素間聯(lián)系像素間聯(lián)系ND(p)=N8(p)-N4(p):對角鄰域1) 鄰域鄰域51/684鄰接鄰接設(shè)V是用于定義“鄰接性”的像素集合（像素相似性準(zhǔn)則）.qN4(p)8鄰接鄰接qN8(p)m鄰接鄰接(混合鄰接混合

25、鄰接) qN4(p) 或者或者 qND(p)且且N4(p) N4(q)無無V值像素值像素 qN4(p)例：對于二值圖像，可定義V=1為“鄰接灰度集合鄰接灰度集合”前提前提: p,q都取都取V中值（像素是相似的）中值（像素是相似的）常用的三種鄰接性：鄰接鄰接： 相鄰相鄰+像素屬性相似像素屬性相似52/68011010001例.關(guān)于4-，8-，m-鄰接性是8鄰接的但不是m鄰接的兩個圖像子集S1和S2的鄰接性2022年5月13日12時02分53/68l通路(4通路,8通路,m通路,閉合通路,通路長度）lp,q是連通的,連通分支,連通集 (僅有一個連通分支的集合；連通性：是針對一個由像素組成的集合而言

26、)l區(qū)域的邊界(邊緣,輪廓:區(qū)域中的特殊像素的集合)(連通集叫區(qū)域)2) 連通性連通性54/68pabocndemflgkjiha, i是4-連通的：abcdefghi; a, p是8-連通的4-連通分支：a,b,c,d,e,f,g,h,I,j,k, l, m,n,o, p8-連通分支：a,b,p55/68QABPCODNEIJKFHLGM4-連通分支:A,B,C,D,E,F,G,H,I,J,K,L,M,N,O,P,Q8-連通分支:A,B,C,D,E,F,G,H,I,J,K,L,M,N,O,P,Q56/683) 距離距離歐氏距離：De(p,q)=(x-s)2+(y-t)21/2D4距離：D4(p,q)=|x-s|+|y-t|D8距離：D8(p,q)=max|x-s|,|y-t|p=(x,y),q=(s,t)習(xí)題:D8=De=D4?57/6844344323443212344321(x,y)12344321234432344344D4距離，城區(qū)距離58/68唐長安復(fù)原圖59/68唐洛陽復(fù)原圖60/68333333332222233211123321(x,y)123321112332222233333333D8距離，棋盤距離61/68距離計算示例距離計算示例在圖2.4.3中，兩個像素p和q之間的DE距離為5（見圖2.4.3(a)），D4距離為7（見圖2.4.3(b)），D