開題報(bào)告典范

1、開題報(bào)告典范二選題依據(jù)從二維數(shù)字圖像獲取場景三維信息是計(jì)算機(jī)視覺 的基本任務(wù)。近二十多年來，基于被動視覺的立體視 覺方法在三維信息的獲取方面取得了很大的成功，被 廣泛應(yīng)用于例如物體三維建模、自主機(jī)器人導(dǎo)航、基 于視覺的產(chǎn)品質(zhì)量檢測和醫(yī)療圖像處理等諸多方面。 隨著集成電路的快速發(fā)展，當(dāng)今廉價(jià)的數(shù)字?jǐn)z像機(jī)可 提供與以往高端攝像機(jī)相比擬的成像質(zhì)量，加之計(jì)算 機(jī)計(jì)算能力的提升，使得使用多個(gè)廉價(jià)數(shù)字?jǐn)z像機(jī)從 不同視點(diǎn)拍攝場景的圖像，之后在可接受的時(shí)間內(nèi)， 由這些圖像有效地生成場景的三維模型，最后合成新 視點(diǎn)的圖像這一過程成為現(xiàn)實(shí)。主觀需求和客觀條件 的具備使得在計(jì)算機(jī)圖形學(xué)、機(jī)器視覺和圖像處理領(lǐng) 域，基

2、于多攝像機(jī)的物體三維重建技術(shù)受到了極大的 重視，該技術(shù)突破了傳統(tǒng)雙攝像機(jī)三維重建技術(shù)的局 限性，通過定義適當(dāng)?shù)哪Ｐ?，利用冗余信息獲得了更 稠密、更精確的場景三維信息。由多個(gè)攝像機(jī)重建三維場景的方法主要可分為兩大類：多攝像機(jī)立體重建(Multiple Cameras StereoReconstruction ) 和體積方法重建 (Volumetric Reconstruction )。1 多攝像機(jī)立體重建是三維重建的經(jīng)典方法1。該方法在不同的輸入圖像的子集上執(zhí)行立體對應(yīng)性算 法，這些子集通常由2-6幅鄰近的圖像組構(gòu)成，由此得 到多幅從不同視點(diǎn)觀察到的表示空間3D點(diǎn)的視差圖，之后基于多幅這樣的存在

3、噪音的視差圖進(jìn)行諸如網(wǎng)面 數(shù)據(jù)對齊、幾何數(shù)據(jù)融合等操作推斷場景物體的表面。 實(shí)現(xiàn)該方法的關(guān)鍵在于確定精確的對應(yīng)性。2. 基于體積的重建方法在離散的 3D空間中重建 場景，將待重建的場景包括在一個(gè)重建體積中，該重 建體積指定重建執(zhí)行的空間區(qū)域。重建體積被分割成 體素(voxel)，在真實(shí)世界空間中形成了一個(gè)體素空間。 基于體積的三維重建方法即確定可以精確表示場景物 體的體素的集合。對沒有透明物體存在的場景來說， 所有的體素處于三種狀態(tài)中的一種：表面體素表示場 景中物體的表面，內(nèi)部體素對任何攝像機(jī)都不可見， 代表重建表面的內(nèi)部體積，空體素代表空的空間。當(dāng) 前已有的方法包括體積交集方法(Volume

4、tric Intersection )、體素顏色方法(Voxel Coloring)和層次 集方法(Level Set Methods)。體積交集方法使用從參考圖像觀測的物體的輪廓 重建表面和內(nèi)部的體素。這些算法首先執(zhí)行圖像 分割算法，將輸入圖形分割成為包括前景和背景的二值圖像，前景表示待重建的物體，之后對每 幅圖像中的前景區(qū)域進(jìn)行反投影，由于已知各攝 像機(jī)的內(nèi)外部參數(shù)，可以求得這些反投影的光線 在空間中的交集，形成一個(gè)體積，該體積即為場 景的三維重建。體積交集方法可以從多攝像機(jī)簡 單有效地重建場景4，但其也存在兩個(gè)關(guān)鍵的缺 陷：首先，圖像的前景和背景分割作為一個(gè)經(jīng)典 問題，始終沒有得到很好的

5、解決，因此不能對所 有的場景自動地完成前景背景分割；其次，由于 使用二值圖像進(jìn)行處理，這類算法舍棄了原圖像 中有用的顏色信息，無法處理表面具有孔洞的物 體。體素顏色方法確定空體素，將其從體素空間中雕 刻去除。該方法假設(shè)點(diǎn)在漫反射的表面上是顏色 一致的，意即，同一空間點(diǎn)在所有可視該點(diǎn)的攝 像機(jī)中的成像像素點(diǎn)都是同一顏色。因此，如果 一個(gè)體素投影到所有可視該點(diǎn)的攝像機(jī)中都是一 致的顏色，則該體素被認(rèn)為是一個(gè)表面體素，被 賦以它的投射顏色；反之，如果某個(gè)體素在投射 到多幅圖像中的顏色不一致，則被認(rèn)作是空體素， 應(yīng)該被雕刻去掉。當(dāng)所有的可視體素都各自投射 到相應(yīng)圖像平面，并得到相應(yīng)一致的顏色時(shí)，體素顏

6、色算法終止，最后得到的體素集是與相應(yīng)圖 像顏色一致的場景模型。最近體素顏色方法見5Faugeras和Keriven6提出使用層次集方法進(jìn)行 多攝像機(jī)三維重建。首先基于多攝像機(jī)對應(yīng)性準(zhǔn) 則推導(dǎo)歐拉一拉各朗日方程，得到偏微分方程， 用于指導(dǎo)初始表面沿內(nèi)部朝向的法向量方向向待 三維重建的真實(shí)表面運(yùn)動。層次集方程組在重建 的體積上進(jìn)行計(jì)算，與其它基于體積的方法不同， 該方法不在立方體體素上，而是在離散的三維網(wǎng) 格的每個(gè)頂點(diǎn)上評估層次集方程組。層次集方法 與體素顏色方法類似，也可自動改變表面拓?fù)浣Y(jié) 構(gòu)，除此之外，還可對任意放置的攝像機(jī)進(jìn)行可 視性建模78。多攝像機(jī)立體重建方法在圖像空間尋找對應(yīng)性， 然后

7、這些對應(yīng)性轉(zhuǎn)化到真實(shí)世界中的三維點(diǎn)和線段， 這種混合圖像和真實(shí)世界空間的處理的一個(gè)主要的難 點(diǎn)在于精確的對應(yīng)性的確定，盡管已經(jīng)提出了眾多的 改進(jìn)方法，但由于存在噪音和各種不可避免的誤差， 和僅在二維圖像空間進(jìn)行匹配本身存在的一些諸如遮 擋等病態(tài)問題，對應(yīng)性算法的可靠性依然很低，對三 維重建結(jié)果產(chǎn)生也很大的影響。對應(yīng)性算法的缺陷主 要?dú)w因于在圖像空間推理遮擋區(qū)域的困難性。與之相 比，基于體積的三維重建方法能夠容易地建模遮擋區(qū) 域，因而成為近年來研究多攝像機(jī)三維重建方法的一 個(gè)執(zhí)占。I 八、八°主要參考文獻(xiàn)：1. P. Narayanan, P. Rander, and T. Kanad

8、e, “ Con struct ing Virtual Worlds Usi ng Dense Stereo ”Proc. In ter nati onal Conference on Computer Visio n (ICCV), 1998.2. Ko Nishi no and Katsushi Ikeuchi , Robust Simulta neous Registratio n of Multiple Range Images”，The 5th Asian Conference on Computer Visio n(ACCV), Jan uary 2002.3.“ Structur

9、e from Motion without Correspondence / Proc. Computer Visio n and Pattern Recog niti on (CVPR), Vol. 2, pp. 13-15, June. 2000.4. Matthew Brand, Kongbin Kang and David B. Cooper, “ Algebraic solution for the visual hull , Proc. Computer Vision and Pattern Recognition (CVPR), Vol. 1, pp. 30-35, 2004.n

10、se5. “ Methods for Volumetric Rec on structio n of Visual Sce nes ” In ter nati onal Jour nal of Computer Visio n, Vol. 57(3), pp. 179-199, Jan. 2004.6. O. Faugeras and R. Keriven, “Complete D( Stereovision Using Level Set Methods ”， IEEE Tra nsacti ons on Image Process ing, Vol. 7, pp. 336-344, Mar

11、. 1998.7. P. Pons, G.Hermosillo, R.Kerive n and O.Faugeras , How To Deal with Point Corresp onden ces and Tangen tial Velocities in the Level Set Framework”，Proc. International Conference on Computer Visio n (ICCV), 2003.8. O.Faugeras, J.Gomes and R.Kerive n,Computationalstereo a variationalmethod”G

12、eometric Level Set Methods in Imaging, Vision and Graphics, Chapter Variati onalPrin ciples inComputational Stereo. S. Osher and N. Paragios Eds. Sprin ger-Verlag, 2003.研究內(nèi)容本課題研究多攝像機(jī)三維重建技術(shù)的若干問題， 待三維重建的物體表面限定為完全漫反射表面。具體 研究如下四個(gè)方面內(nèi)容：1多攝像機(jī)三維重建系統(tǒng)高精度魯棒標(biāo)定方法 作為多攝像機(jī)三維重建的基礎(chǔ)工作，研究用于高 精度標(biāo)定多攝像機(jī)系統(tǒng)的魯棒易用的方法，具體研究 非完全

13、會聚配置的多攝像機(jī)標(biāo)定。所謂攝像機(jī)非完全 會聚配置，意即沒有所有攝像機(jī)都可視的共同區(qū)域。 當(dāng)前的自標(biāo)定技術(shù)一般可靠性較低，難以用于三維建 模等對精度要求較高的場合，因此必須考慮使用標(biāo)定 物的標(biāo)定方法，然而由于多攝像機(jī)非完全會聚配置， 標(biāo)定物不能同時(shí)在所有攝像機(jī)上成像，為將所有攝像 機(jī)標(biāo)定到同一世界坐標(biāo)系，必須移動標(biāo)定物。研究的 重點(diǎn)在于兩方面：在保證易用的前提下，使用何種標(biāo) 定物，使能夠魯棒提取標(biāo)定物特征，特別是對于多維 標(biāo)定物在圖像中處于半遮擋或具有較大的射影變形的 狀態(tài)時(shí)的魯棒特征提?。会槍?biāo)定物特征，設(shè)計(jì)標(biāo)定 算法，使能得到精確的標(biāo)定結(jié)果。2.基于多攝像機(jī)的大范圍三維重建方法研究使用多個(gè)

14、攝像機(jī)對大范圍場景三維重建的方 法。與通常的SFM方法重建城市三維地圖等應(yīng)用不同, 本研究內(nèi)容中的大范圍場景是相對于完全會聚配置的 攝像機(jī)系統(tǒng)具有的公共可視區(qū)域而言，具有的相對較 大的場景。本研究方法使用固定位置的多個(gè)攝像機(jī)， 各相鄰攝像機(jī)具有公共可視區(qū)域，不相鄰攝像機(jī)可能 具有公共可視區(qū)域。經(jīng)典的多攝像機(jī)立體重建方法和 SFM方法通常采用分別重建具有較大公共可視區(qū)域的 各立體圖像對，之后對立體圖像對之間的重疊區(qū)域進(jìn) 行表面數(shù)據(jù)融合，即拼接形成單一的場景表面。這些 方法一般不重建公共區(qū)域小于設(shè)定閾值的立體圖像 對。本研究的目標(biāo)是探索一種三維重建方法，使得重 建過程在一個(gè)統(tǒng)一的框架下進(jìn)行，無表面

15、拼接過程， 所有的圖像信息得以充分地利用，得到場景無孔洞的 紋理映射的三維模型。3. 基于多攝像機(jī)的物體完整表面三維重建方法 研究多攝像機(jī)三維重建多連通結(jié)構(gòu)物體完整表面 的方法。通常的多連通結(jié)構(gòu)的物體即相互分離的多個(gè) 目標(biāo)物體。同時(shí)重建多個(gè)目標(biāo)物體的完整表面時(shí)，多 個(gè)目標(biāo)物體之間存在嚴(yán)重的相互遮擋，傳統(tǒng)的多攝像 機(jī)立體重建方法僅在立體圖像對內(nèi)部數(shù)幅圖像間求解 對應(yīng)性，對目標(biāo)物體表面的某點(diǎn)而言，僅是所有可視 該點(diǎn)的攝像機(jī)的一個(gè)子集對決定該點(diǎn)位置產(chǎn)生影響， 其它的攝像機(jī)提供的信息則因?yàn)椴辉诹Ⅲw圖像對內(nèi)部 而被舍棄（導(dǎo)致一攝像機(jī)的圖像雖然與某立體圖像對 中圖像有交集但不在其中的可能原因有重建策略影響

16、 或交集太小等因素），由此導(dǎo)致了重建精度損失。研究 的重點(diǎn)在于如何合理地利用可從圖像得到的所有信 息，有效地重建完整表面。4. 基于多攝像機(jī)的三維重建系統(tǒng)實(shí)現(xiàn)方法四研究方案針對研究內(nèi)容，本課題擬分別采用如下研究 方法和技術(shù)路線：1 多攝像機(jī)三維重建系統(tǒng)高精度魯棒標(biāo)定 方法擬使用平面平行線段模板作為標(biāo)定物，平行 線段線間距恒定且已知。選擇二維標(biāo)定物的理由 如下：第一，當(dāng)前已證明僅使用自由移動的一維 標(biāo)定物無法完全標(biāo)定攝像機(jī)，必須對一維標(biāo)定物 的運(yùn)動加以限制，如使用一端固定的線段上的點(diǎn) 作為標(biāo)定點(diǎn)等，但不適用于非完全會聚配置的多 攝像機(jī)系統(tǒng)。用于非完全會聚配置的多攝像機(jī)系 統(tǒng)標(biāo)定的易于操作的一維標(biāo)

17、定物運(yùn)動約束有待 探求；第二，當(dāng)存在較大的射影變形時(shí)，三維標(biāo) 定物的標(biāo)定特征在圖像中難以提取并確定對應(yīng) 性，且移動三維標(biāo)定物與易用的宗旨不符。選擇 平行線段作為標(biāo)定物特征的理由主要在于該特 征便于提取，在具有較大的射影變形圖像中僅提 取線段走向與提取點(diǎn)特征相比相對容易，并且當(dāng)標(biāo)定物部分處于攝像機(jī)可視區(qū)域內(nèi)時(shí)，仍可自動確定對應(yīng)性。提取特征并正確確定對應(yīng)性后，對包含所有 對應(yīng)性的特征值矩陣使用非線性特征值最小化 方法，獲得射影意義下的透視投影矩陣，之后利 用平行線段的線間距已知，將射影坐標(biāo)系確定為 歐氏坐標(biāo)系。本方案實(shí)現(xiàn)的關(guān)鍵在于：魯棒地提 取特征并正確確定對應(yīng)性；有效的數(shù)值計(jì)算方 法。2. 基于

18、多攝像機(jī)的大范圍三維重建方法擬使用曲面演化的思想多攝像機(jī)三維重建 大范圍場景。曲面演化方法有別于傳統(tǒng)的三維重 建方法，該方法不將三維重建分作立體匹配(matchi ng )、多網(wǎng)面對齊(registrati on )、多網(wǎng) 面幾何數(shù)據(jù)融合(integration )等步驟，而是將 場景中物體表面看作在空間中移動變形，即演化 的曲面，演化的目的是讓該曲面盡可能合理地解 釋所有視點(diǎn)的圖像。擬將待重建的表面作為所有圖像的函數(shù)，定 義合適的相似性測度，求使該相似性測度最大的 物體表面的函數(shù)，將三維重建問題轉(zhuǎn)化為求解泛 函極值的問題，之后使用變分原理求泛函極值， 計(jì)算歐拉方程，得到求解極值的必要條件，即

19、一 套偏微分方程組，由其推導(dǎo)出曲面演化的方向和 速度，隨時(shí)間進(jìn)行多次迭代。通常在空間體素頂 點(diǎn)上計(jì)算以實(shí)現(xiàn)曲面演化，體素頂點(diǎn)所成象素的 相似性測度在所有可視該點(diǎn)的攝像機(jī)的圖像上 評估。伴隨基于體素的大范圍場景重建方法出現(xiàn) 的一個(gè)問題即算法復(fù)雜度與重建精度相互制約： 低空間分辨率(使用較大的體素)降低算法復(fù)雜 度，同時(shí)降低重建精度，高空間分辨率雖然能提 高重建精度，然而增加了算法復(fù)雜性。擬采用多 分辨率空間的策略，隨距離由近至遠(yuǎn)，采用由高 至低的分辨率。本方案符合研究的目標(biāo)，即在一個(gè)統(tǒng)一的框 架下進(jìn)行重建過程，無須表面拼接過程，所有的 圖像信息得以充分地利用。3. 基于多攝像機(jī)的物體完整表面三維

20、重建 方法擬使用基于層次集(Level Set)曲面演化的方法。層次集方法主要是從界面?zhèn)鞑サ妊芯款I(lǐng)域 中逐步發(fā)展起來的，它是處理封閉運(yùn)動界面隨時(shí) 間演化過程中幾何拓?fù)渥兓挠行У挠?jì)算工具。 Osher等人于1988年首先提出依賴時(shí)間的運(yùn)動 曲面的層次集描述，其主要思想是將移動的曲面 作為零層次集嵌入高一維的層次集函數(shù)中，由曲面的演化方程得到層次集函數(shù)的演化方程，而嵌 入的曲面總是其零層次集，最終只要確定零層次 集即可確定移動曲面演化的結(jié)果。 層次集方法能 夠自動處理演化過程中幾何拓?fù)涞淖兓?，因此適用于多連通結(jié)構(gòu)物體的多攝像機(jī)三維重建。Faugeras 和 Keriven8于 1998 年提出使

21、用層次集方法進(jìn)行曲面演化多攝像機(jī)三維重建。原方法描述為：以基于曲面演化的多攝像機(jī)三維重 建方法為基礎(chǔ)，使用層次集(level set)方法處 理演化過程，將由歐拉方程所得的偏微分方程組 沿曲面法向方向的分量作為曲面演化速度，計(jì)算層次集函數(shù)的演化速度，使得由層次集函數(shù)的零 層次集表示的物體表面的曲面朝著最大化相似 性測度的方向移動。原方法使用物體表面的微分 幾何屬性驅(qū)動曲面演化，使用交叉相關(guān)性(cross correlation ）作為相似性測度。該方法能獲得 相當(dāng)好的重建結(jié)果。該方法認(rèn)為可視某點(diǎn)的所有 攝像機(jī)對決定該點(diǎn)位置的影響因子相同，可能會 導(dǎo)致重建精度問題（由其演示視頻可看出對存在 嚴(yán)重

22、遮擋的多連通結(jié)構(gòu)物體（雙環(huán)）的三維重建 結(jié)果部分區(qū)域有較大誤差）。另外算法的收斂性 沒有得到證明，即有時(shí)可能得不到正確結(jié)果，本研究內(nèi)容擬以Faugeras和Keriven8的 方法為基礎(chǔ)，從考慮可視任一點(diǎn)的所有攝像機(jī)對 決定該點(diǎn)位置的影響因子出發(fā)，解決精確重建多 連通結(jié)構(gòu)的物體存在的問題；對該方法的原理， 結(jié)合推導(dǎo)步驟作幾何解釋，說明收斂性，若可能， 給出收斂條件并證明。4. 基于多攝像機(jī)的三維重建系統(tǒng)實(shí)現(xiàn)方法利用3套IEEE1394接口三目圖像采集傳輸 板建立9個(gè)視點(diǎn)的三維重建實(shí)驗(yàn)系統(tǒng)，研究大范 圍場景多攝像機(jī)三維重建方法。各視點(diǎn)攝像機(jī)位 置大致呈一字型排列，觀察同一方向。使用本課 題研究的標(biāo)定方法標(biāo)定各攝像機(jī)的參數(shù)。所有攝 像機(jī)同步采集場景圖像，應(yīng)用基于曲面演化的多 攝像機(jī)三維重建技術(shù)，生成紋理映射的場景三維 模型，并評估重建質(zhì)量。利用20套IEEE1394接口三目圖像采集傳輸 板建立60個(gè)視點(diǎn)的三維重建實(shí)驗(yàn)系統(tǒng)，研究獲 取多連通結(jié)構(gòu)物體完整稠密表面的多攝像機(jī)三 維重建方法。20套三目立體視覺系統(tǒng)位于正十二 面體的20個(gè)頂點(diǎn)上，觀察方向一致朝向正十二 面體內(nèi)部。使用本課題研究的標(biāo)定方法標(biāo)定各攝 像機(jī)的參數(shù)。所有攝像機(jī)同步采集場景圖像，應(yīng) 用基于層次集曲面演化的多攝像機(jī)三維重建技 術(shù)，生成水密的紋理映射的物體三維模型，并評 估重建質(zhì)量。五研究工作進(jìn)