基于多攝像機的物體三維重建方法研究開題報告

1、.基于多攝像機的物體三維重建方法研究二 選題依據(jù)從二維數(shù)字圖像獲取場景三維信息是計算機視覺的基本任務(wù)。近二十多年來，基于被動視覺的立體視覺方法在三維信息的獲取方面取得了很大的成功， 被廣泛應(yīng)用于例如物體三維建模、 自主機器人導(dǎo)航、基于視覺的產(chǎn)品質(zhì)量檢測和醫(yī)療圖像處理等諸多方面。隨著集成電路的快速發(fā)展，當(dāng)今廉價的數(shù)字攝像機可提供與以往高端攝像機相比擬的成像質(zhì)量，加之計算機計算能力的提升，使得使用多個廉價數(shù)字攝像機從不同視點拍攝場景的圖像，之后在可接受的時間內(nèi)，由這些圖像有效地生成場景的三維模型，最后合成新視點的圖像這一過程成為現(xiàn)實。主觀需求和客觀條件的具備使得在計算機圖形學(xué)、機器視覺和圖像處理領(lǐng)

2、域，基于多攝像機的物體三維重建技術(shù)受到了極大的重視，該技術(shù)突破了傳統(tǒng)雙攝像機三維重建技術(shù)的局限性，通過定義適當(dāng)?shù)哪Ｐ?，利用冗余信息獲得了更稠密、更精確的場景三維信息。由多個攝像機重建三維場景的方法主要可分為兩大類：多攝像機立體重建（multiple cameras stereoreconstruction ）和體積方法重建（volumetric reconstruction ）。1多攝像機立體重建是三維重建的經(jīng)典方法1 。 該方法在不同的輸入圖像的子集上執(zhí)行立體對應(yīng)性算法，這些子集通常由 2-6 幅鄰近的圖像組構(gòu)成，由此得到多幅從不同視點觀察到的表示空間 3d 點的視差圖，之后基于多幅這樣的存

3、在噪音的視差圖進行諸如網(wǎng)面數(shù)據(jù)對齊、幾何數(shù)據(jù)融合等操作推斷場景物體的表面。實現(xiàn)該方法的關(guān)鍵在于確定精確的對應(yīng)性。2基于體積的重建方法在離散的3d 空間中重建場景，將待重建的場景包括在一個重建體積中，該重建體積指定重建執(zhí)行的空間區(qū)域。重建體積被分割成體素（voxel ），在真實世界空間中形成了一個體素空間。基于體積的三維重建方法即確定可以精確表示場景物體的體素的集合。對沒有透明物體存在的場景來說，所有的體素處于三種狀態(tài)中的一種：表面體素表示場景中物體的表面，內(nèi)部體素對任何攝像機都不可見，代表重建表面的內(nèi)部體積，空體素代表空的空間。當(dāng)前已有的方法包括體積交集方法（ volumetric inter

4、section ）、體素顏色方法（voxel coloring ）和層次集方法（level set methods ）。體積交集方法使用從參考圖像觀測的物體的輪廓重建表面和內(nèi)部的體素。這些算法首先執(zhí)行圖像分割算法，將輸入圖形分割成為包括前景和背景的二值圖像，前景表示待重建的物體，之后對每幅圖像中的前景區(qū)域進行反投影，由于已知各攝像機的內(nèi)外部參數(shù)，可以求得這些反投影的光線在空間中的交集，形成一個體積，該體積即為場景的三維重建。體積交集方法可以從多攝像機簡單有效地重建場景4 ，但其也存在兩個關(guān)鍵的缺陷：首先，圖像的前景和背景分割作為一個經(jīng)典問題， 始終沒有得到很好的解決， 因此不能對所有的場景自動

5、地完成前景背景分割；其次，由于使用二值圖像進行處理，這類算法舍棄了原圖像中有用的顏色信息，無法處理表面具有孔洞的物體。體素顏色方法確定空體素，將其從體素空間中雕刻去除。該方法假設(shè)點在漫反射的表面上是顏色一致的，意即，同一空間點在所有可視該點的攝像機中的成像像素點都是同一顏色。因此，如果一個體素投影到所有可視該點的攝像機中都是一致的顏色，則該體素被認為是一個表面體素，被賦以它的投射顏色；反之，如果某個體素在投射到多幅圖像中的顏色不一致，則被認作是空體素，應(yīng)該被雕刻去掉。當(dāng)所有的可視體素都各自投射到相應(yīng)圖像平面，并得到相應(yīng)一致的顏色時，體素顏色算法終止，最后得到的體素集是與相應(yīng)圖像顏色一致的場景模

6、型。最近體素顏色方法見 5 。faugeras 和 keriven6 提出使用層次集方法進行多攝像機三維重建。首先基于多攝像機對應(yīng)性;.準(zhǔn)則推導(dǎo)歐拉拉各朗日方程，得到偏微分方程，用于指導(dǎo)初始表面沿內(nèi)部朝向的法向量方向向待三維重建的真實表面運動。層次集方程組在重建的體積上進行計算，與其它基于體積的方法不同，該方法不在立方體體素上，而是在離散的三維網(wǎng)格的每個頂點上評估層次集方程組。層次集方法與體素顏色方法類似，也可自動改變表面拓撲結(jié)構(gòu)，除此之外，還可對任意放置的攝像機進行可視性建模 78 。多攝像機立體重建方法在圖像空間尋找對應(yīng)性，然后這些對應(yīng)性轉(zhuǎn)化到真實世界中的三維點和線段，這種混合圖像和真實世

7、界空間的處理的一個主要的難點在于精確的對應(yīng)性的確定，盡管已經(jīng)提出了眾多的改進方法，但由于存在噪音和各種不可避免的誤差，和僅在二維圖像空間進行匹配本身存在的一些諸如遮擋等病態(tài)問題，對應(yīng)性算法的可靠性依然很低，對三維重建結(jié)果產(chǎn)生也很大的影響。對應(yīng)性算法的缺陷主要歸因于在圖像空間推理遮擋區(qū)域的困難性。與之相比，基于體積的三維重建方法能夠容易地建模遮擋區(qū)域，因而成為近年來研究多攝像機三維重建方法的一個熱點。主要參考文獻：1. p. narayanan, p. rander, and t. kanade, “constructing virtual worlds usingdense stereo ”,

8、proc.international conference on computer vision (iccv), 1998.2. ko nishino and katsushi ikeuchi,“robust simultaneous registration of multiple rangeimages ”, the 5th asian conference on computer vision(accv), january 2002.3.f.dellaert, s.m.seitz, c.e.thorpe and s.thrun, “structure from motionwithout

9、correspondence”,proc. computer vision and pattern recognition (cvpr), vol. 2, pp. 13-15, june. 2000.4. matthew brand, kongbin kang and david b. cooper,“algebraic solution for the visual hull, proc. ”computer vision and pattern recognition (cvpr), vol. 1, pp. 30-35, 2004.5. g.g.slabaugh, w.b.culberts

10、on, t.malzbender, m.r.stevens and r.w.schafer, “methods for volumetric reconstruction of visual scenes ”,international journal of computer vision, vol. 57(3), pp. 179-199, jan. 2004.6. o. faugeras and r. keriven, “complete dense stereovision using level set methods”, ieee transactions on image proce

11、ssing, vol. 7, pp. 336-344, mar. 1998.7. p. pons, g.hermosillo,r.kerivenand o.faugeras ， “howto deal with pointcorrespondencesand tangential velocities in the level set framework”, proc. international conference on computervision (iccv), 2003.8. o.faugeras,j.gomes and r.keriven,“computationalstereoa

12、 variationalmethod”, geometriclevel set methods in imaging, vision and graphics, chapter variational principles in computational stereo. s.osher and n. paragios eds. springer-verlag, 2003.三 研究內(nèi)容;.本課題研究多攝像機三維重建技術(shù)的若干問題，待三維重建的物體表面限定為完全漫反射表面。具體研究如下四個方面內(nèi)容：1多攝像機三維重建系統(tǒng)高精度魯棒標(biāo)定方法作為多攝像機三維重建的基礎(chǔ)工作，研究用于高精度標(biāo)定多攝像機

13、系統(tǒng)的魯棒易用的方法，具體研究非完全會聚配置的多攝像機標(biāo)定。所謂攝像機非完全會聚配置，意即沒有所有攝像機都可視的共同區(qū)域。當(dāng)前的自標(biāo)定技術(shù)一般可靠性較低，難以用于三維建模等對精度要求較高的場合，因此必須考慮使用標(biāo)定物的標(biāo)定方法，然而由于多攝像機非完全會聚配置，標(biāo)定物不能同時在所有攝像機上成像，為將所有攝像機標(biāo)定到同一世界坐標(biāo)系，必須移動標(biāo)定物。研究的重點在于兩方面：在保證易用的前提下，使用何種標(biāo)定物，使能夠魯棒提取標(biāo)定物特征，特別是對于多維標(biāo)定物在圖像中處于半遮擋或具有較大的射影變形的狀態(tài)時的魯棒特征提?。会槍?biāo)定物特征，設(shè)計標(biāo)定算法，使能得到精確的標(biāo)定結(jié)果。2. 基于多攝像機的大范圍三維重建

14、方法研究使用多個攝像機對大范圍場景三維重建的方法。與通常的sfm方法重建城市三維地圖等應(yīng)用不同，本研究內(nèi)容中的大范圍場景是相對于完全會聚配置的攝像機系統(tǒng)具有的公共可視區(qū)域而言，具有的相對較大的場景。本研究方法使用固定位置的多個攝像機，各相鄰攝像機具有公共可視區(qū)域，不相鄰攝像機可能具有公共可視區(qū)域。經(jīng)典的多攝像機立體重建方法和sfm 方法通常采用分別重建具有較大公共可視區(qū)域的各立體圖像對，之后對立體圖像對之間的重疊區(qū)域進行表面數(shù)據(jù)融合，即拼接形成單一的場景表面。 這些方法一般不重建公共區(qū)域小于設(shè)定閾值的立體圖像對。本研究的目標(biāo)是探索一種三維重建方法，使得重建過程在一個統(tǒng)一的框架下進行，無表面拼接

15、過程，所有的圖像信息得以充分地利用，得到場景無孔洞的紋理映射的三維模型。3基于多攝像機的物體完整表面三維重建方法研究多攝像機三維重建多連通結(jié)構(gòu)物體完整表面的方法。通常的多連通結(jié)構(gòu)的物體即相互分離的多個目標(biāo)物體。同時重建多個目標(biāo)物體的完整表面時，多個目標(biāo)物體之間存在嚴重的相互遮擋，傳統(tǒng)的多攝像機立體重建方法僅在立體圖像對內(nèi)部數(shù)幅圖像間求解對應(yīng)性，對目標(biāo)物體表面的某點而言，僅是所有可視該點的攝像機的一個子集對決定該點位置產(chǎn)生影響，其它的攝像機提供的信息則因為不在立體圖像對內(nèi)部而被舍棄 （導(dǎo)致一攝像機的圖像雖然與某立體圖像對中圖像有交集但不在其中的可能原因有重建策略影響或交集太小等因素） ，由此導(dǎo)致

16、了重建精度損失。研究的重點在于如何合理地利用可從圖像得到的所有信息，有效地重建完整表面。4基于多攝像機的三維重建系統(tǒng)實現(xiàn)方法;.四 研究方案針對研究內(nèi)容，本課題擬分別采用如下研究方法和技術(shù)路線：1多攝像機三維重建系統(tǒng)高精度魯棒標(biāo)定方法擬使用平面平行線段模板作為標(biāo)定物， 平行線段線間距恒定且已知。 選擇二維標(biāo)定物的理由如下：第一，當(dāng)前已證明僅使用自由移動的一維標(biāo)定物無法完全標(biāo)定攝像機，必須對一維標(biāo)定物的運動加以限制， 如使用一端固定的線段上的點作為標(biāo)定點等， 但不適用于非完全會聚配置的多攝像機系統(tǒng)。 用于非完全會聚配置的多攝像機系統(tǒng)標(biāo)定的易于操作的一維標(biāo)定物運動約束有待探求；第二，當(dāng)存在較大的射

17、影變形時，三維標(biāo)定物的標(biāo)定特征在圖像中難以提取并確定對應(yīng)性， 且移動三維標(biāo)定物與易用的宗旨不符。 選擇平行線段作為標(biāo)定物特征的理由主要在于該特征便于提取， 在具有較大的射影變形圖像中僅提取線段走向與提取點特征相比相對容易，并且當(dāng)標(biāo)定物部分處于攝像機可視區(qū)域內(nèi)時，仍可自動確定對應(yīng)性。提取特征并正確確定對應(yīng)性后， 對包含所有對應(yīng)性的特征值矩陣使用非線性特征值最小化方法，獲得射影意義下的透視投影矩陣，之后利用平行線段的線間距已知，將射影坐標(biāo)系確定為歐氏坐標(biāo)系。本方案實現(xiàn)的關(guān)鍵在于：魯棒地提取特征并正確確定對應(yīng)性；有效的數(shù)值計算方法。2.基于多攝像機的大范圍三維重建方法擬使用曲面演化的思想多攝像機三維

18、重建大范圍場景。曲面演化方法有別于傳統(tǒng)的三維重建方法，該方法不將三維重建分作立體匹配（matching ）、多網(wǎng)面對齊（registration ）、多網(wǎng)面幾何數(shù)據(jù)融合（ integration ）等步驟，而是將場景中物體表面看作在空間中移動變形，即演化的曲面，演化的目的是讓該曲面盡可能合理地解釋所有視點的圖像。擬將待重建的表面作為所有圖像的函數(shù)，定義合適的相似性測度，求使該相似性測度最大的物體表面的函數(shù)，將三維重建問題轉(zhuǎn)化為求解泛函極值的問題，之后使用變分原理求泛函極值，計算歐拉方程，得到求解極值的必要條件，即一套偏微分方程組，由其推導(dǎo)出曲面演化的方向和速度，隨時間進行多次迭代。通常在空間體

19、素頂點上計算以實現(xiàn)曲面演化，體素頂點所成象素的相似性測度在所有可視該點的攝像機的圖像上評估。伴隨基于體素的大范圍場景重建方法出現(xiàn)的一個問題即算法復(fù)雜度與重建精度相互制約：低空間分辨率 （使用較大的體素）降低算法復(fù)雜度，同時降低重建精度，高空間分辨率雖然能提高重建精度，然而增加了算法復(fù)雜性。擬采用多分辨率空間的策略，隨距離由近至遠， 采用由高至低的分辨率。本方案符合研究的目標(biāo)，即在一個統(tǒng)一的框架下進行重建過程，無須表面拼接過程，所有的圖像信息得以充分地利用。3基于多攝像機的物體完整表面三維重建方法擬使用基于層次集（ level set）曲面演化的方法。層次集方法主要是從界面?zhèn)鞑サ妊芯款I(lǐng)域中逐步發(fā)

20、展起來的， 它是處理封閉運動界面隨時間演化過程中幾何拓撲變化的有效的計;.算工具。 osher 等人于 1988 年首先提出依賴時間的運動曲面的層次集描述，其主要思想是將移動的曲面作為零層次集嵌入高一維的層次集函數(shù)中，由曲面的演化方程得到層次集函數(shù)的演化方程， 而嵌入的曲面總是其零層次集，最終只要確定零層次集即可確定移動曲面演化的結(jié)果。 層次集方法能夠自動處理演化過程中幾何拓撲的變化，因此適用于多連通結(jié)構(gòu)物體的多攝像機三維重建。faugeras 和 keriven8 于 1998 年提出使用層次集方法進行曲面演化多攝像機三維重建。原方法描述為：以基于曲面演化的多攝像機三維重建方法為基礎(chǔ)，使用層

21、次集（levelset）方法處理演化過程， 將由歐拉方程所得的偏微分方程組沿曲面法向方向的分量作為曲面演化速度， 計算層次集函數(shù)的演化速度，使得由層次集函數(shù)的零層次集表示的物體表面的曲面朝著最大化相似性測度的方向移動。原方法使用物體表面的微分幾何屬性驅(qū)動曲面演化，使用交叉相關(guān)性（ cross correlation）作為相似性測度。該方法能獲得相當(dāng)好的重建結(jié)果。該方法認為可視某點的所有攝像機對決定該點位置的影響因子相同，可能會導(dǎo)致重建精度問題（由其演示視頻可看出對存在嚴重遮擋的多連通結(jié)構(gòu)物體（雙環(huán)） 的三維重建結(jié)果部分區(qū)域有較大誤差）。另外算法的收斂性沒有得到證明，即有時可能得不到正確結(jié)果，本

22、研究內(nèi)容擬以faugeras 和 keriven8 的方法為基礎(chǔ)，從考慮可視任一點的所有攝像機對決定該點位置的影響因子出發(fā)， 解決精確重建多連通結(jié)構(gòu)的物體存在的問題； 對該方法的原理，結(jié)合推導(dǎo)步驟作幾何解釋，說明收斂性，若可能，給出收斂條件并證明。4基于多攝像機的三維重建系統(tǒng)實現(xiàn)方法利用 3 套 ieee1394 接口三目圖像采集傳輸板建立 9 個視點的三維重建實驗系統(tǒng)，研究大范圍場景多攝像機三維重建方法。各視點攝像機位置大致呈一字型排列，觀察同一方向。使用本課題研究的標(biāo)定方法標(biāo)定各攝像機的參數(shù)。 所有攝像機同步采集場景圖像， 應(yīng)用基于曲面演化的多攝像機三維重建技術(shù)，生成紋理映射的場景三維模型，并評估重建質(zhì)量。利用 20 套 ieee1394 接口三目圖像采集傳輸板建立60 個視點的三維重建實驗系統(tǒng)，研究獲取多連通結(jié)構(gòu)物體完整稠密表面的多攝像機三維重建方法。20 套三目立體視覺系統(tǒng)位于正十二面體的20 個頂點上，觀察方向一致朝向正十二面體內(nèi)部。使用本課題研究的標(biāo)定方法標(biāo)定各攝像機的參數(shù)。所有攝像機同步采集場景圖像，應(yīng)用基于層次集曲面演化的多攝像機三維重建技術(shù)，生成水密的紋理映射的物體三維模型，并評估重建質(zhì)量。;.五 研究工作進度安排理論研