景物恢復(fù)單圖象.ppt

章毓晉 (TH-EE-IE),第8章 景物恢復(fù)：?jiǎn)螆D象,單目單幅 （2.4.3小節(jié)） 8.1 從陰影恢復(fù)形狀 8.2 紋理與表面朝向 8.3 由焦距確定深度 8.4 根據(jù)三點(diǎn)透視估計(jì)位姿,章毓晉 (TH-EE-IE),陰影：亮度的空間變化 表面亮度的空間變化 表面形狀 8.1.1 陰影與形狀 8.1.2 利用單目圖象求解照度方程,8.1 從陰影恢復(fù)形狀,章毓晉 (TH-EE-IE),層次的變化分布取決于4個(gè)因素： 物體（正對(duì)觀察者）可見表面的幾何形狀 光源的入射強(qiáng)度和方向 觀察者相對(duì)物體的方位和距離 物體表面的反射特性 面元的法向矢量N 光源入射強(qiáng)度和方向矢量I 視線矢量V 表面反射特性r,8.1.1 陰影與形狀,章毓晉 (TH-EE-IE),沿N的反射強(qiáng)度 如果光源來(lái)自觀察者背后且為平行光線，則cosi = cose。再假設(shè)物體具有朗伯散射表面，即表面反射強(qiáng)度不因觀察位置變化而變化，則觀察到的光線強(qiáng)度可寫成,8.1.1 陰影與形狀,章毓晉 (TH-EE-IE),把梯度坐標(biāo)同樣布置在XY平面上 N = p q 1T V = 0 0 1T,8.1.1 陰影與形狀,章毓晉 (TH-EE-IE),一般情況（i e） 圖象照度約束方程,8.1.1 陰影與形狀,章毓晉 (TH-EE-IE),面元朝向變化而導(dǎo)致的圖象灰度變化 一個(gè)3-D表面可表示為： z = f (x, y) 其上的面元法線可表示為： N = p q 1T。 可見3-D空間中的表面從 其取向來(lái)看只是2-D梯度 空間的一個(gè)點(diǎn)G( p, q),8.1.1 陰影與形狀,章毓晉 (TH-EE-IE),梯度空間法：理解由平面相交而形成的結(jié)構(gòu) 兩個(gè)平面S1和S2相交 凸結(jié)構(gòu)/凹結(jié)構(gòu) 交線l的投影l(fā) 與G1和G2間的連線垂直,8.1.1 陰影與形狀,章毓晉 (TH-EE-IE),將兩個(gè)平面和它們法線對(duì)應(yīng)的梯度點(diǎn)都投影到重合的梯度坐標(biāo)與空間坐標(biāo)中 S和G同號(hào)，凸結(jié)構(gòu) S和G異號(hào)，凹結(jié)構(gòu),8.1.1 陰影與形狀,章毓晉 (TH-EE-IE),在圖象上對(duì)一個(gè)單獨(dú)點(diǎn)亮度的測(cè)量只能提供一個(gè)約束，而表面的朝向有兩個(gè)自由度 1. 線性情況,8.1.2 利用單目圖象求解照度方程,章毓晉 (TH-EE-IE),選一個(gè)特定的方向q0，這個(gè)方向上的斜率是 從一個(gè)特定的圖象點(diǎn)開始 先取一個(gè)小步長(zhǎng)ds， 此時(shí)z的變化是dz = mds,8.1.2 利用單目圖象求解照度方程,章毓晉 (TH-EE-IE),先求在表面上一點(diǎn)(x0, y0, z0)處的解，將前面的微分方程對(duì)z積分得到： 當(dāng)反射圖是梯度元素 線性組合的函數(shù)時(shí)， 特征曲線是平行直線,8.1.2 利用單目圖象求解照度方程,章毓晉 (TH-EE-IE),2. 旋轉(zhuǎn)對(duì)稱情況 表面最速上升方向與x軸的夾角是qs，tanqs = p/q 在最速上升方向上的斜率是 取步長(zhǎng)為,8.1.2 利用單目圖象求解照度方程,章毓晉 (TH-EE-IE),2. 旋轉(zhuǎn)對(duì)稱情況 為確定亮度梯度可將圖象照度方程對(duì)x和y求導(dǎo) 在圖象平面取步長(zhǎng)(dx, dy)而帶來(lái)的dp和dq的變化,8.1.2 利用單目圖象求解照度方程,章毓晉 (TH-EE-IE),3. 平滑約束的一般情況 認(rèn)為（在物體輪廓內(nèi)）物體表面是光滑的 轉(zhuǎn)變成最小化如下總誤差問題,8.1.2 利用單目圖象求解照度方程,章毓晉 (TH-EE-IE),對(duì)紋理的描述主要根據(jù)結(jié)構(gòu)法的思想：復(fù)雜的紋理是由一些簡(jiǎn)單的紋理基元（也稱紋理元texel）以一定的有規(guī)律的形式重復(fù)排列組合而成 8.2.1 單目成象和畸變 8.2.2 由紋理變化恢復(fù)朝向 8.2.3 線段紋理消失點(diǎn)的確定,8.2 紋理與表面朝向,章毓晉 (TH-EE-IE),直線的畸變（3-D空間透射投影到2-D象平面上） 一條直線是由其兩端點(diǎn)及中間點(diǎn)組成的，所以一條直線的投影可根據(jù)點(diǎn)的投影來(lái)確定 空間兩點(diǎn)（直線兩端點(diǎn)）W1 = X1 Y1 Z1T，W2 = X2 Y2 Z2T，它們中間的點(diǎn)可表示為（0 p 1）,8.2.1 單目成象和畸變,章毓晉 (TH-EE-IE),投影后,8.2.1 單目成象和畸變,章毓晉 (TH-EE-IE),用p表示的投影結(jié)果就是用q表示的象點(diǎn)坐標(biāo) p 與q是單值關(guān)系，3-D空間中p表示的點(diǎn)在2-D象 平面中對(duì)應(yīng)一個(gè)且只有一個(gè)q 表示的點(diǎn) 3-D空間的一條直線投影到2-D象平面上后，只 要不是垂直投影其結(jié)果仍是一條直線（但長(zhǎng) 度可有變化）,8.2.1 單目成象和畸變,章毓晉 (TH-EE-IE),平行線的畸變 一組平行線的(a, b, c)都相同，只是 (X0, Y0, Z0)不同 直線向兩端無(wú)限延伸時(shí)，k = (3.2.7) (3.2.8),8.2.1 單目成象和畸變,章毓晉 (TH-EE-IE),8.2.2 由紋理變化恢復(fù)朝向,三種典型方法 (a) 紋理元尺寸的變化 透視投影中：近大遠(yuǎn)小 尺寸變化率的極大值可以把紋理元所在平面的取向確定下來(lái)，這就是紋理梯度的方向 紋理梯度的方向取決于紋理元繞攝象機(jī)軸線旋轉(zhuǎn)的角度，而紋理梯度的數(shù)值給出紋理元相對(duì)視線傾斜的傾斜度,章毓晉 (TH-EE-IE),三種典型方法 (b) 紋理元形狀的變化 紋理元形狀在投影成象 后有可能發(fā)生變化 已知原始形狀可推算出表面的朝向 由圓組成的紋理在傾斜的面上會(huì)變成橢圓，這時(shí)橢圓主軸的取向確定了相對(duì)于攝象機(jī)軸線旋轉(zhuǎn)的角度，而長(zhǎng)短軸長(zhǎng)度的比值反映了相對(duì)視線傾斜的傾斜度,8.2.2 由紋理變化恢復(fù)朝向,章毓晉 (TH-EE-IE),三種典型方法 (b) 紋理元形狀的變化 圓形紋理基元所在平面的方程為 圓形可看作平面與球面的交線 將球面投影到平面：橢圓,8.2.2 由紋理變化恢復(fù)朝向,章毓晉 (TH-EE-IE),三種典型方法 (c) 紋理元之間空間關(guān)系的變化 紋理由規(guī)律的紋理元柵格組成， 計(jì)算其消失點(diǎn)來(lái)恢復(fù)表面朝向信息 利用從同一表面紋理元柵格得到的兩個(gè)消失點(diǎn) 就可以確定出表面的取向，此時(shí)連接這兩個(gè) 點(diǎn)直線的方向指示紋理元相對(duì)于攝象機(jī)軸線 旋轉(zhuǎn)的角度，而這條連線與x = 0的交點(diǎn)指示 了紋理元相對(duì)視線的傾斜角,8.2.2 由紋理變化恢復(fù)朝向,章毓晉 (TH-EE-IE),消失點(diǎn)是相交線段集合中各線段的交點(diǎn)。對(duì)一個(gè)透射圖，平面上的消失點(diǎn)是無(wú)窮遠(yuǎn)處紋理元以一定方向投影到圖象平面形成的，或者說是平行線在無(wú)窮遠(yuǎn)處的匯聚點(diǎn),8.2.2 由紋理變化恢復(fù)朝向,章毓晉 (TH-EE-IE),各向同性假設(shè) 在紋理平面發(fā)現(xiàn)一個(gè)紋理基元的概率與該紋理基元的朝向無(wú)關(guān) 討論攝象機(jī)的成象平面與紋理平面的相互朝向 紋理平面的法線與視線 方向（即z軸方向）的 夾角稱為傾斜角s， 投影法線與攝象機(jī)坐標(biāo) 系統(tǒng)y軸間的夾角稱為俯仰角t,8.2.2 由紋理變化恢復(fù)朝向,章毓晉 (TH-EE-IE),各向同性假設(shè) 視角變換（viewing transformation） (1) 根據(jù)俯仰角旋轉(zhuǎn)坐標(biāo)系統(tǒng) (2) 根據(jù)傾斜角的余弦沿一個(gè)坐標(biāo)軸壓縮 反視角變換（inverse viewing transformation） (1) 把圖象上的紋理變成各向同性的紋理 (2) 從該反視角變換中解出傾斜角和俯仰角,8.2.2 由紋理變化恢復(fù)朝向,章毓晉 (TH-EE-IE),均勻性假設(shè) 無(wú)論在圖象中的任何位置選取一個(gè)窗口的紋理， 那么它都與在其他位置所選取窗口的紋理一致 一個(gè)象素值的概率分布只取決于該象素鄰域的性質(zhì)而與象素自身的空間坐標(biāo)無(wú)關(guān) 將用等間隔網(wǎng)格覆蓋的紋理平面進(jìn)行透射投影 一些網(wǎng)格會(huì)被映射成較大的四邊形而另一些網(wǎng)格會(huì)被映射成較小的四邊形。這也就是說，在圖象平面上的紋理就不再均勻了,8.2.2 由紋理變化恢復(fù)朝向,章毓晉 (TH-EE-IE),形狀畸變的情況主要與兩個(gè)因素有關(guān)： 觀察者與物體之間的距離，它影響紋理元畸變后的大?。?物體表面的法線與視線之間的夾角（也稱表面傾角），它影響紋理元畸變后的形狀,8.2.2 由紋理變化恢復(fù)朝向,章毓晉 (TH-EE-IE),紋理立體技術(shù) 將紋理方法和立體視覺方法結(jié)合,8.2.2 由紋理變化恢復(fù)朝向,章毓晉 (TH-EE-IE),紋理立體技術(shù) 根據(jù)從兩幅圖象得到的特征線和特征角可確定表面法向量N = Nx Ny NzT：,8.2.2 由紋理變化恢復(fù)朝向,章毓晉 (TH-EE-IE),圖象空間中的直線可表示為 變換x, y l, q將圖象空間XY中的一條直線映射為參數(shù)空間LQ 中的一個(gè)點(diǎn)，而圖象空間XY中具有相同消失點(diǎn)(xv, yv)的直線集合被投影到參數(shù)空間LQ 中的一個(gè)圓上 將 和q = arctany/x代入,8.2.3 線段紋理消失點(diǎn)的確定,章毓晉 (TH-EE-IE),直角坐標(biāo)系中 這個(gè)圓是所有以(xv, yv)為消失點(diǎn)的線段集合投影到LQ 空間中的軌跡,8.2.3 線段紋理消失點(diǎn)的確定,章毓晉 (TH-EE-IE),兩個(gè)缺點(diǎn)： 圓檢測(cè)比直線困難，計(jì)算量也大； 當(dāng)xv 或yv 時(shí)，有l(wèi) 改用變換x, y k/l, q 在無(wú)窮遠(yuǎn)的消失點(diǎn)就可投影到原點(diǎn)，而且具有相同消失點(diǎn)(xv, yv)的線段所對(duì)應(yīng)的點(diǎn)在 ST空間的軌跡成了一條直線,8.2.3 線段紋理消失點(diǎn)的確定,章毓晉 (TH-EE-IE),空間ST里的直線在空間RW里為一個(gè)點(diǎn)哈夫變換 消失點(diǎn)的坐標(biāo)為,8.2.3 線段紋理消失點(diǎn)的確定,章毓晉 (TH-EE-IE),模糊圓盤的直徑與攝像機(jī)分辨率和景深都有關(guān)系 如果成像單元的間距為D，單位是mm，則攝像機(jī)的分辨力為0.5/D，單位是line/mm,8.3 由焦距確定深度,章毓晉 (TH-EE-IE),薄透鏡成像公式 景物最近點(diǎn) 景物最遠(yuǎn)點(diǎn) 景深（兩個(gè)距離之差 ）,8.3 由焦距確定深度,章毓晉 (TH-EE-IE),已知：點(diǎn)兩兩間距離，3-D景物模型和攝像機(jī)焦距 計(jì)算：3-D景物的幾何形狀和位姿（利用圖像點(diǎn)的坐標(biāo)）,8.4 根據(jù)三點(diǎn)透視估計(jì)位姿,章毓晉 (TH-EE-IE),三點(diǎn)透視問題（perspective 3 points，P3P） Wi的坐標(biāo) 點(diǎn)間的距離 求解：關(guān)于ki的三個(gè)二次方程 化成：三個(gè)（偏微分）線性方程 迭代算法（P.197P.198）,8.4 根據(jù)三