計算機視覺17 91 單幅圖像深度重建

1、第九章第九章 單幅圖像深度重建單幅圖像深度重建 Depthmap Reconstruction Based on Monocular cues 深度圖深度圖 章節(jié)安排章節(jié)安排 基于單眼線索的深度重建基于單眼線索的深度重建 Shape From Shading Shape From Vanishing Point Shape From Defocus Shape From Texture 基于單眼線索的深度重建基于單眼線索的深度重建 除了雙眼視差提供的雙眼對深度的信息外，還有除了雙眼視差提供的雙眼對深度的信息外，還有 許多單眼的信息也有利于深度的分辨許多單眼的信息也有利于深度的分辨. . 人類即

2、使在頭部固定且只使用單目來觀測外部世人類即使在頭部固定且只使用單目來觀測外部世 界時，也可以得到比較準確的深度知覺（界時，也可以得到比較準確的深度知覺（Depth Depth PerceptionPerception）。此時，人類的主要依據是外界環(huán)）。此時，人類的主要依據是外界環(huán) 境及觀察對象的物理特性或現象。這些僅憑一只境及觀察對象的物理特性或現象。這些僅憑一只 眼睛的視覺即可提供的線索就是單眼線索。眼睛的視覺即可提供的線索就是單眼線索。 單眼線索在繪畫及攝影中發(fā)揮著重要的作用，也單眼線索在繪畫及攝影中發(fā)揮著重要的作用，也 被稱之為圖形線索。被稱之為圖形線索。 1 Shape From Sh

3、ading 基于明暗的深度重建基于明暗的深度重建 HornHorn早在早在19771977年就提出年就提出 了了Shape From Shading-Shape From Shading- SFSSFS的方法，的方法， 并且在并且在 19891989年出版了專著年出版了專著11。 19991999年，年，Ruo ZhangRuo Zhang等人等人 在文獻在文獻22中對中對SFSSFS方法方法 作了較全面的綜述。作了較全面的綜述。 1 BKP Horn, MJ Brooks.Shape from shading. Cambridge: MIT Press, 1989 2 R Zhang, PS

4、 Tsai, JE Cryer, etc. Shape from shading: A survey. IEEE Transactions on Pattern Analysis and Machine Intellicence (PAMI), 1999 1.1 1.1 成像物理學成像物理學 描述光在物體表面的反射物理特性，即光描述光在物體表面的反射物理特性，即光 從光源到達物體表面，再從物體表面反射從光源到達物體表面，再從物體表面反射 到圖象平面，形成圖像的過程和行為到圖象平面，形成圖像的過程和行為. . 成像幾何確定場景點在圖像平面上的位置，成像幾何確定場景點在圖像平面上的位置， 成像物理

5、學確定場景點在圖象平面上的亮成像物理學確定場景點在圖象平面上的亮 度度. . 成像物理學成像物理學 成像三要素：成像三要素： 光源、物體、圖光源、物體、圖 像平面像平面 兩個過程：兩個過程： 照明照明-光源發(fā)射光源發(fā)射 光到物體表面光到物體表面 反射反射-物體表面物體表面 反射光到圖象平面反射光到圖象平面 （1 1）表面方向半球）表面方向半球(Hemisphere of (Hemisphere of Directions)Directions) 物體表面接受物體表面接受( (反射反射) )光線的全部方光線的全部方 向向. . 其接受其接受( (反射反射) )的總能量等于半的總能量等于半 球上各

6、個小片的能量之和球上各個小片的能量之和. . 立體角立體角 (solid (solid angle)angle) 單位半球上小片的單位半球上小片的 面積，也表示接受面積，也表示接受 ( (反射反射) )能量的方向能量的方向. . iii dddsin （2 2）透視縮小效應）透視縮小效應(foreshortening)(foreshortening) 表面片接受（反射）光能的有效面表面片接受（反射）光能的有效面 積與該表面片和光源（圖象平面）積與該表面片和光源（圖象平面） 的角度有關的角度有關. . 傾斜于光線傳播方向傾斜于光線傳播方向 的表面片的表面片“看起來看起來” 比實際小比實際小. .

7、 發(fā)生透視縮小效應的大表面片與小發(fā)生透視縮小效應的大表面片與小 表面片接受的光能是相同的表面片接受的光能是相同的. . 透視縮小因子透視縮小因子 ddddAsincoscos （3 3）輻照度與輻射度）輻照度與輻射度 輻射度輻射度(radiance)(radiance)： 單位面積輻射表面在單位時間內向某單位面積輻射表面在單位時間內向某 一方向輻射的能量一方向輻射的能量 輻照度輻照度(irradiance)(irradiance)： 到達單位面積表面的輻射能量到達單位面積表面的輻射能量 光源只有輻射，圖像平面只有輻照，光源只有輻射，圖像平面只有輻照， 物體既有輻照，也有輻射物體既有輻照，也有輻

8、射. . （4 4）雙向反射分布函數）雙向反射分布函數 中心問題中心問題 物體表面接受光能（輻照度）和反射物體表面接受光能（輻照度）和反射 光能（輻射度）的關系光能（輻射度）的關系. . 與接受和反射光能的角度，以及表與接受和反射光能的角度，以及表 面材料有關面材料有關. . 用雙向反射分布函數用雙向反射分布函數(bidirectional (bidirectional reflectance distribution function, reflectance distribution function, BRDF) BRDF) 建模建模. . 雙向反射分布函數雙向反射分布函數 到達表面的輻

9、照度與所引起的輻射度的到達表面的輻照度與所引起的輻射度的 比例比例 輻射度輻射度 BRDFBRDF 輻照度輻照度 dLf LfL iiisrrrii iiirriirrr cos),(),( ),(),(),( , X, X,X, （5 5）表面的輻射度與輻照度）表面的輻射度與輻照度 表面片接受的總輻照度：表面片接受的總輻照度： 表面片的輻射度：表面片的輻射度： 所有輻照在相應方向上形成的輻射度之和所有輻照在相應方向上形成的輻射度之和 2 0 2/ 0 , sincos),( iiiiiisri ddLLX,X 2 0 2/ 0 , sincos),(),( ),( iiiiiisrrrii

10、rrr ddLf L X, X, （6 6）反射率）反射率(reflectance)(reflectance) 從某一方向上接受的輻照度與該輻從某一方向上接受的輻照度與該輻 照度引起的總輻射度的比例，反映照度引起的總輻射度的比例，反映 了表面的光學特性，包括反射特性了表面的光學特性，包括反射特性 和吸光特性和吸光特性. . rrrrii rr iiiisr rrr iiiisr rrrrr ii df d dXL XL dXL dXL cos, cos cos, , cos, cos, , , , （7 7）圖象平面的輻照度）圖象平面的輻照度 圖像平面上一點處的輻照度圖像平面上一點處的輻照度(

11、 (亮度，亮度， intensity)intensity)等于場景對應點在相應方等于場景對應點在相應方 向上的輻射度，或與之成比例向上的輻射度，或與之成比例. . rrrrrr LyxIkLyxI,),( ,),(X,X, 知道了光源、雙向反射分布函數以及知道了光源、雙向反射分布函數以及 圖像平面點與物體點的對應關系，就圖像平面點與物體點的對應關系，就 可以確定圖象平面上點的亮度可以確定圖象平面上點的亮度. . 1.2 1.2 表面模型（表面模型（Surface ModelsSurface Models） LambertianLambertian表面表面( (漫反射表面，漫反射表面， diff

12、use surface)diffuse surface) 鏡面鏡面(Specular Surfaces)(Specular Surfaces) LambertianLambertian表面表面+ +鏡面鏡面 1. 1. LambertianLambertian表面表面 表面反射與反射角度無關，從物體表面反射與反射角度無關，從物體 的各個方向看同一個表面點，都感覺的各個方向看同一個表面點，都感覺 具有同樣的亮度具有同樣的亮度. . 雙向反射分布函數是一個常數雙向反射分布函數是一個常數. . ),( rrii f 例：棉衣、地毯、無光澤的紙和涂料等等例：棉衣、地毯、無光澤的紙和涂料等等 Lambe

13、rtianLambertian表面的反照率表面的反照率(Albedo)(Albedo) LambertianLambertian表面的反射率與入射角表面的反射率與入射角 度無關，稱為漫反射率度無關，稱為漫反射率(diffuse (diffuse reflectance)reflectance)或反照率：或反照率： d rrrr rrrrrriid dd ddf sincos coscos, LambertianLambertian表面的輻射度表面的輻射度 Lambertian Lambertian表面上一點處向各個方向產表面上一點處向各個方向產 生的輻射度：生的輻射度： XX X X i d

14、iiiiiisr d iiiiiisrrrii rrr LddL ddLf L sincos),( sincos),(),( , , , 2. 2. 鏡面鏡面 理想鏡面像理想的鏡子一樣，按一理想鏡面像理想的鏡子一樣，按一 定方向反射入射光定方向反射入射光. . 反射角與入射反射角與入射 角相等，但分別位于表面片法線的角相等，但分別位于表面片法線的 兩側兩側. . ii irir srrii f cossin )()( ),( X ),(),( , rrsrsrrr LLXXX 3 Lamertian3 Lamertian表面表面+ +鏡面鏡面 完美的完美的LamertianLamertian表

15、面或鏡面都是很表面或鏡面都是很 少見的，通常將兩種表面的特性組合少見的，通常將兩種表面的特性組合 在一起來構成用于近似物體表面反射在一起來構成用于近似物體表面反射 特性的模型特性的模型. . 常量常量 控制兩種反射特性的混合程度控制兩種反射特性的混合程度. . ii irir s d rrii f cossin )()( )1 ( ),( X X 常用的光照模型常用的光照模型 PhongPhong鏡面模型：鏡面模型： 輻射度與輻射度與 成比例成比例 sr nn coscos rs n ssrsrrr LLcos),(),(XXX Torrance-Sparrow Torrance-Sparro

16、w鏡面模型：鏡面模型： 假設表面是由方向隨機分布的鏡面小面假設表面是由方向隨機分布的鏡面小面 (facets) (facets) 組成組成. . D D代表任意一種分布函數代表任意一種分布函數, , G G是幾何衰減系數，是幾何衰減系數， F F是菲涅爾是菲涅爾FresnelFresnel衰減系數。衰減系數。 David K. McAllister 的博士論文的博士論文 A GENERALIZED SURFACE APPEARANCE REPRESENTATION FOR COMPUTER GRAPHICS 1.3 1.3 光源光源 (Light Sources)(Light Sources)

17、 1. 1. 點光源點光源 (point sources)(point sources) 2. 2. 線光源線光源 (line sources)(line sources) 3. 3. 面光源面光源 (area sources)(area sources) （1 1）點光源）點光源 點光源是一種最常用的光源，可以點光源是一種最常用的光源，可以 用一個球面來建模用一個球面來建模. . s iiii i sisi iiiiiieeiiee I ddI I ddIfL cos cossin sin )()( cossin),(),(),( 0 0 0 2/ 0 2 0 2/ 0 Lambertian

18、Lambertian余弦定律余弦定律 由點光源照射的由點光源照射的LambertianLambertian表面的感覺表面的感覺 亮度隨表面法線與光源的夾角發(fā)生變化亮度隨表面法線與光源的夾角發(fā)生變化. . 表面法線與光源的夾角表面法線與光源的夾角 想象一個房間，其中只有一個打開的燈泡和一個想象一個房間，其中只有一個打開的燈泡和一個 白色球體，則球體中法線指向燈泡的地方將是最白色球體，則球體中法線指向燈泡的地方將是最 亮的。亮的。 （2 2）線光源）線光源 線光源具有直線的幾何形態(tài)，比如線光源具有直線的幾何形態(tài)，比如 一根熒光燈管一根熒光燈管. . 可以用細圓柱體來可以用細圓柱體來 建模建模. .

19、 （3 3）面光源）面光源 面光源可以建模為平面片面光源可以建模為平面片. . 面光源在面光源在LambertianLambertian表面上表面上 引起的輻射度可以變換為在引起的輻射度可以變換為在 光源平面上的積分：光源平面上的積分： 光源光源 表面片表面片 U UX XXX dA r L dLL si srd isrdr 2 , , coscos cos 1.4 1.4 明暗模型明暗模型(Shading Models)(Shading Models) 局部局部(local)(local)明暗模型明暗模型 僅考慮光源的照射效果僅考慮光源的照射效果 全局全局(global)(global)明暗

20、模型明暗模型 考慮場景內物體反射光所造成的影響考慮場景內物體反射光所造成的影響 （1 1） 環(huán)境光照（環(huán)境光照（ambient illuminationambient illumination） 同一物體不同表面片之間的相互影響同一物體不同表面片之間的相互影響 （2 2） 互反射互反射 (interreflection)(interreflection) 不同表面片，不同物體之間的相互影響不同表面片，不同物體之間的相互影響 1 1 環(huán)境光照環(huán)境光照 同一表面上一個表面片所產生的輻同一表面上一個表面片所產生的輻 射度受其他表面片輻射度的影響射度受其他表面片輻射度的影響. . 當表面片從其他表面片

21、所接受的輻當表面片從其他表面片所接受的輻 照度近似恒定或均勻分布時，可以照度近似恒定或均勻分布時，可以 考慮在每個表面片所產生的輻射度考慮在每個表面片所產生的輻射度 上增加一個環(huán)境光照項上增加一個環(huán)境光照項(ambient (ambient illumination term).illumination term). 兩種增加方法兩種增加方法 1. 1. 常量項（表面片可見范圍一致）常量項（表面片可見范圍一致） 2. 2. 可變項（表面片可見范圍不同）可變項（表面片可見范圍不同） 常量項常量項可變項可變項 2 2 互反射互反射 表面片的輻射度受場景中所有該表面表面片的輻射度受場景中所有該表面

22、片可見的其他表面片輻射度的影響片可見的其他表面片輻射度的影響. . , XXX patchsrsrr LLL 光源引起的輻射光源引起的輻射 其他表面片引起的輻射其他表面片引起的輻射 可將其他表面片看作一個面光源可將其他表面片看作一個面光源 U U UX,UXX UXX X dAK L,p dA r L,p L i i pr ipatch id si pr ipatch id patchsr , 2 , , visible coscos visible 變換為面光源上的積分變換為面光源上的積分 互反射互反射 互反射核函數互反射核函數 (interreflection (interreflecti

23、on kernel)kernel)： 不可見對 可見對 XU XU UX, , 0 , 1 visible 互反射模型：互反射模型： LambertianLambertian表面的有效模型，在計算機圖形學表面的有效模型，在計算機圖形學 中廣泛應用中廣泛應用. . UXUX,visibleK U UUX,UX,dALKXXLXL i i pr ip dsrr, visible 互反射模型互反射模型 表面輻射度的計算表面輻射度的計算 1.1.將場景中的所有表面劃分為許多小的平面將場景中的所有表面劃分為許多小的平面 片，假設平面片上各點的輻射度是恒定的片，假設平面片上各點的輻射度是恒定的. . 第第

24、j j平面片在第平面片在第i i平面片上引起的輻射度：平面片上引起的輻射度： jrij pp d i jr jr pp d i ijr LKdAdAK A L dAdALK A L ij ij , , visible 1 visible 1 UX UX UX,UX,X UX,UX,X 互反射模型互反射模型 2. 2. 計算第計算第i i表面片上的總輻射度：表面片上的總輻射度： jr j ijisr j ijrisrir LKLLLL , 3. 3. 獲得以獲得以NiL ir , 2 , 1, , 為未知量的線性方程組，求解得各表為未知量的線性方程組，求解得各表 面片上的輻射度面片上的輻射度 1

25、.5 1.5 反射圖反射圖(Reflectance Map)(Reflectance Map) 場景照明（光源）、表面反射特性和表面場景照明（光源）、表面反射特性和表面 方向（梯度表示）共同確定表面一點的亮方向（梯度表示）共同確定表面一點的亮 度，三者的組合形成反射圖度，三者的組合形成反射圖. . 假設圖象平面上的輻照度（亮度）等于物假設圖象平面上的輻照度（亮度）等于物 體表面對應點的輻射度，則已知反射圖和體表面對應點的輻射度，則已知反射圖和 以上三個因素，就可以確定圖象上一點的以上三個因素，就可以確定圖象上一點的 亮度亮度. .反之同樣成立反之同樣成立. . 灰度圖象灰度圖象輪廓圖象輪廓圖象

26、 點光源照射的點光源照射的LambertianLambertian表面典型反射圖表面典型反射圖 1.6 1.6 從明暗恢復形狀從明暗恢復形狀 問題：問題： 已知光源亮度和反射圖，求解圖象上每一點已知光源亮度和反射圖，求解圖象上每一點 對應的三維信息對應的三維信息 基本假設基本假設 光源為無限遠處點光源光源為無限遠處點光源; ; 反射模型為朗伯體表面反射模型反射模型為朗伯體表面反射模型(Lambertian (Lambertian Surface Model) ; Surface Model) ; 成象幾何關系為正交投影成象幾何關系為正交投影, , 這樣物體表面點圖這樣物體表面點圖 象亮度象亮度

27、E E 僅由該點光源入射角僅由該點光源入射角的余弦決定的余弦決定. . 從明暗恢復形狀從明暗恢復形狀 若以攝像機坐標系為參照系若以攝像機坐標系為參照系, , 并將物體表并將物體表 面高度表示為面高度表示為z = z (x , y ) , , 則物體表面法則物體表面法 方向可由其表面各點法向量方向可由其表面各點法向量n = (n1, n2, n3 )、 表面梯度表面梯度(p , q) 或表面傾角或表面傾角( (slant) 和偏角和偏角 (tilt) 表示表示. l 為表面點法向量的模為表面點法向量的模 從明暗恢復形狀從明暗恢復形狀 朗伯體表面反射模型就可以表示為朗伯體表面反射模型就可以表示為:

28、 : 或者或者: : E (x , y )為歸一化的圖象亮度為歸一化的圖象亮度, , R (p , q) 為反射函數為反射函數. . n0= (n01, n02, n03) 或或(- p0, - q0, 1) 表示光源方向表示光源方向 從明暗恢復形狀從明暗恢復形狀 一般情況下一般情況下, , 僅由該模型所確定的僅由該模型所確定的SFSSFS問題是病態(tài)問題是病態(tài) 的的( (沒有唯一解沒有唯一解),),因此為消除其病態(tài)性因此為消除其病態(tài)性, ,并建立相應并建立相應 的正則化模型的正則化模型, ,必須對其表面形狀進行約束必須對其表面形狀進行約束. . 現有的現有的SFSSFS算法基本上都假設所研究的

29、對象均為光算法基本上都假設所研究的對象均為光 滑表面物體滑表面物體, , 即認為物體表面高度函數即認為物體表面高度函數C C2 2( (或至少或至少 是是C C1 1) )是連續(xù)的是連續(xù)的, ,實際上實際上, ,通過建立物體的光滑表面通過建立物體的光滑表面 模型這種假設模型這種假設, ,已對其表面形狀進行了約束已對其表面形狀進行了約束. . 將上述物體表面反射模型與物體的光滑表面模型相將上述物體表面反射模型與物體的光滑表面模型相 結合結合, , 再利用一些已知約束再利用一些已知約束, ,就構成了就構成了SFS SFS 問題的問題的 正則化模型正則化模型. . 從明暗恢復形狀從明暗恢復形狀 約束

30、約束 1. 1. 亮度約束亮度約束 dxdyRI 2 2. 2. 光滑性光滑性約束約束 dxdyqqpp yxyx 2222 x p px dxdy yx 2 2 nn 或者，或者， 從明暗恢復形狀從明暗恢復形狀 3. 3. 可積性約束可積性約束 4. 4. 亮度梯度約束亮度梯度約束 dxdyqp xy 2 dxdyIRIR yyxx 22 dxdyqZpZ yx 22 或者，或者， 從明暗恢復形狀從明暗恢復形狀 5. 5. 單位法向量約束單位法向量約束 dxdy 1 2 n 6. 6. 局部形狀約束局部形狀約束 假設表面片的形狀是球面假設表面片的形狀是球面. . 7. 7. 線性約束線性約束

31、 假設反射圖的低階分量是其主要成分假設反射圖的低階分量是其主要成分. . 從明暗恢復形狀從明暗恢復形狀 具體方法具體方法 1. 1. 能量最小化方法能量最小化方法 2. 2. 約束傳播方法約束傳播方法 3. 3. 局部方法局部方法 4. 4. 線性方法線性方法 （1 1）能量最小化方法）能量最小化方法 將約束表示為能量函數，通過在整幅將約束表示為能量函數，通過在整幅 圖像上最小化能量函數求解圖像上最小化能量函數求解. . 例例(Zheng and Chellappa, 1991)(Zheng and Chellappa, 1991)： 亮度約束、亮度梯度約束和可積性約束亮度約束、亮度梯度約束和

32、可積性約束 dxdy qZpZ IRIRRI yx yyxx 22 222 用變分微分法求解用變分微分法求解 （2 2）約束傳播方法）約束傳播方法 從形狀已知或可以確定其形狀的表面點從形狀已知或可以確定其形狀的表面點 （如奇異點（如奇異點(singular points) (singular points) ）開始，）開始， 逐漸將形狀信息傳播到整個圖象逐漸將形狀信息傳播到整個圖象. . 例例(Bichsel and Pentland, 1992)(Bichsel and Pentland, 1992)： 設定初始值，然后采用最小下山策略更新設定初始值，然后采用最小下山策略更新 形狀信息形狀信

33、息. . 在每一次迭代中，只有當點與周在每一次迭代中，只有當點與周 圍鄰接點相比，距離光源較遠時才需要改變圍鄰接點相比，距離光源較遠時才需要改變 其深度（下山），而在傳播路徑上選擇可以其深度（下山），而在傳播路徑上選擇可以 使該點到光源距離最近的路徑（最?。┦乖擖c到光源距離最近的路徑（最?。? . （3 3）局部方法）局部方法 假設表面片的形狀在局部上是球形，根假設表面片的形狀在局部上是球形，根 據圖象亮度以及亮度梯度信息求解據圖象亮度以及亮度梯度信息求解. . 例例(Lee and Rosenfeld, 1985) (Lee and Rosenfeld, 1985) ： ssyssx sxsy II II sincoscoscos sincos arctan 首先計算在光源坐標系中表面的傾斜角和偏轉角，首先計算在光源坐標系中表面的傾斜角和偏轉角， 然后變換到攝像機坐標系然后變換到攝像機坐標系. . 表面偏轉角表面偏轉角光源傾斜角光源傾斜角光源偏轉角光源偏轉角 （4 4）線性方法）線性方法 假設反射圖主要由其低階分量確定，假設反射圖主要由其低階分量確定， 實現反射圖的線性化，將非線性問實現反射圖的線性化，將非線性問 題轉化為線性問題求解題轉