國家自然科學(xué)基金重點項目

國家自然科學(xué)基金重點項目目錄項目總報告石教英課題組總結(jié)項目總報告一、項目概況二、項目研究背景、目標與內(nèi)容三、項目成果統(tǒng)計四、四年來研究工作主要成果概述石教英課題組總結(jié)一、基于圖像的建模（IBM）技術(shù)二、基于圖像的繪制（IBR）技術(shù)三、基于預(yù)計算及采樣的實時高真實感圖 像的繪制技術(shù)四、統(tǒng)一數(shù)字幾何處理框架研究一、項目概況項目名稱：

虛擬現(xiàn)實中基于圖像的建模和繪制項目負責人：

石教英，浙江大學(xué)項目承擔單位和學(xué)術(shù)領(lǐng)導(dǎo)人：浙江大學(xué)石教英教授和彭群生教授，中科院自動化所胡占義研究員，軟件研究所吳恩華研究員起止年月：2001年1月至2004年12月資助金額：110.00萬元四年已到款金額：110.00萬元經(jīng)費結(jié)余金額：4萬元二、研究背景，目標與內(nèi)容(1)項目的研究背景虛擬現(xiàn)實(VR)技術(shù)是信息領(lǐng)域的前沿，對視覺建模和繪制的真實感和實時性有很高的要求計算機圖形學(xué)面臨的兩大挑戰(zhàn)：高度真實感，實時性IBMR（基于圖像的建模和繪制）是1990年代初提出的新興研究方向，鮮明特點：具有高度真實感和較好的實時性缺乏幾何信息二、研究背景，目標與內(nèi)容(2)TraditionalComputerGraphicsInput:Geometry,MaterialProperties(Color,Reflectance,…etc.),Lighting.TransformationandRasterization.ComputerVisionmethodstorecovermodels.Transform(&Lighting)Rasterization二、研究背景，目標與內(nèi)容(3)TopLevelSurvey3DGraphicsImage-BasedRendering&ModelingGeometryorSurfaceBasedRendering&ModelingSle-BasedGraphicsVolumeRendering二、研究背景，目標與內(nèi)容(4)二、研究背景，目標與內(nèi)容(5)WhyIBR?Problemsoftriangle-basedgraphics:Alwaysstartsfromscratch.Millionsofsub-pixeltriangles.GeometryIBRModelingDifficultEasyComplexity#triangles#pixelsFidelitySyntheticAcquired二、研究背景，目標與內(nèi)容(6)項目的研究目標采用基于圖像的建模技術(shù)來替代傳統(tǒng)的建模，以及采用圖像空間變換操作來替代傳統(tǒng)的圖形繪制過程，試圖解決VR建模復(fù)雜度，繪制速度及繪制質(zhì)量等相互制約的矛盾研究IBMR的基礎(chǔ)理論和算法二、研究背景，目標與內(nèi)容(7)項目的研究內(nèi)容基于圖像的三維場景表示及漫游基于像素采樣點的光照屬性和表面幾何重建虛擬景物與現(xiàn)實場景畫面的無縫合成IBMR采樣圖像的實時、高效壓縮和存取IBMR場景圖像采樣方法和技術(shù)優(yōu)化實現(xiàn)一個在CAVE環(huán)境下的IBMR實時漫游系統(tǒng)三、項目成果統(tǒng)計(1)四年來已發(fā)表論文統(tǒng)計說明：論文數(shù)量較多，質(zhì)量較高；國際著名期刊論文達13篇（未包括已錄用論文數(shù)）論文的年平均數(shù)也可看出四位學(xué)術(shù)帶頭人的平均產(chǎn)出，達31篇年度國際期刊國際會議國內(nèi)一級學(xué)報小計SCIEIISTP20010515201134200231222374172200369153071592004492538792總計133577125195417年平均3.258.7519.25314.7513.54.75三、項目成果統(tǒng)計(2)2.人才培養(yǎng)統(tǒng)計 畢業(yè)博士生23名年均培養(yǎng)畢業(yè)博士生5.75名 畢業(yè)碩士生14名年均培養(yǎng)畢業(yè)碩士生3.5名 博士生平均發(fā)表論文125篇/23名=5篇四、四年來研究工作主要成果概述(1)1、杰出成果簡介 本項目推動了我國計算機圖形學(xué)與計算機視覺兩個學(xué)科的交叉研究，取得了一批矚目的成果。四、四年來研究工作主要成果概述(2)1、杰出成果簡介（1）在攝像機外參數(shù)標定的PnP問題上糾正了前人一直認為的基于距離的PnP問題和基于變換PnP問題相互等價的錯誤結(jié)論；深入研究了PnP多解的幾何分布問題。在攝像機自標定這一國際研究熱點問題上，證明了對變參數(shù)攝像機僅僅知道平移運動不足以達到仿射重建，糾正了存在于學(xué)術(shù)界長達十余年的錯誤結(jié)論；提出多種基于主動視覺的攝像機自標定理論和算法，包括新的線性攝像機自標定方法和基于射影重建的攝像機自標定方法等。有多篇論文發(fā)表在IEEETrans.PAMI，PatternRecognitionLetters,ImageandVisionComputing及國內(nèi)一級學(xué)報上。四、四年來研究工作主要成果概述(3)1、杰出成果簡介（2）國際上首次解決了基于（深度）圖像自動重建基于點與平面混合表示模型的復(fù)雜虛擬場景的技術(shù)難題，提出一系列創(chuàng)新算法有：能自動地將龐雜輸入數(shù)據(jù)劃分為點與平面模型的像素分類算法；基于Jacobi矩陣的采樣密度比較算法；重建平面的空洞分析和預(yù)填補算法；針對基于點表達的物體的局部重建和重采樣算法以及針對點面混合表達的實時漫游算法等。該項工作作為KluwerAcademic出版社于2004年1月出版的“IntegratedImageandGraphicsTechnologies”專著的一章發(fā)表，是一項國際領(lǐng)先水平的成果。四、四年來研究工作主要成果概述(4)1、杰出成果簡介（3）提出了一個統(tǒng)一的數(shù)字幾何處理框架，解決了將網(wǎng)格模型參數(shù)化到球面（或平面）的全局參數(shù)化的方法。在該框架下，所有成熟的數(shù)字圖象處理技術(shù)都可以運用于3D幾何數(shù)據(jù)處理上。論文也為后續(xù)應(yīng)用研究奠定了理論基礎(chǔ)。該項工作進一步促進了計算機圖形學(xué)和圖像處理兩個學(xué)科在表示和處理層次上的交叉和融合。應(yīng)用統(tǒng)一的數(shù)字幾何處理框架，提出了曲面濾波處理方法，我們的主要貢獻在于提出了兩步法球面參數(shù)化方法。有關(guān)論文發(fā)表在國際著名期刊ComputerAidedDesign以及國內(nèi)計算機學(xué)報英文版等期刊上。四、四年來研究工作主要成果概述(5)1、杰出成果簡介（4）基于預(yù)計算及采樣的實時高真實感圖像的繪制技術(shù)提出了一種球面光輻射傳輸映射的新繪制方法。已有的預(yù)計算光輻射傳輸函數(shù)方法局限于單個物體或靜態(tài)場景的繪制。我們提出一種處理包含動態(tài)場景的預(yù)計算方法,可以高效地繪制環(huán)境光源下動態(tài)場景中的軟陰影和相互反射。另外還提出了一種稱為光照相關(guān)紋理的新繪制方法——光照相關(guān)紋理技術(shù)。這是一種基于采樣的實時高真實感圖像繪制技術(shù)，是基于圖像繪制技術(shù)的新發(fā)展。相關(guān)論文發(fā)表在ComputerGraphicsForum和Computers&Graphics等國際著名期刊上。四、四年來研究工作主要成果概述(6)1、杰出成果簡介（5）提出了基于相關(guān)系數(shù)的多源圖像最優(yōu)融合方法和線性最優(yōu)融合方法，并證明了兩者的等價性，改進了計算的時空復(fù)雜性?？紤]人類視覺對圖像局部區(qū)域的敏感程度，提出了一種新的基于人類視覺系統(tǒng)（HVS）的小波圖像融合新算法，大大改善了圖像融合的結(jié)果。有關(guān)論文發(fā)表在國內(nèi)一級學(xué)報上。四、四年來研究工作主要成果概述(7)1、杰出成果簡介（6）開發(fā)了多個具有較高應(yīng)用前景的基于圖像建模和繪制的原型系統(tǒng)，如基于序列圖像的建筑場景建模原型系統(tǒng)（SIBM），基于圖像繪制的胡雪巖故居及靈隱寺景觀漫游原型系統(tǒng)等。四、四年來研究工作主要成果概述(8)2、完成情況概述1）計劃任務(wù)書上所列6項研究內(nèi)容都作了相關(guān)研究，并取得相應(yīng)的結(jié)果（參見歷年年度進展報告），但是各項內(nèi)容完成質(zhì)量是不平衡的。作為本項目的基礎(chǔ)，即第1，2兩項內(nèi)容取得了較多和較高水平的成果。這部分成果可以看作為本項目的代表性成果。2）完成多個具有重要應(yīng)用前景的IBMR原型系統(tǒng)。3）本項目在完成原定研究計劃外，還新增了幾項與圖象、視頻以及真實感圖形實時繪制等方面相關(guān)的研究內(nèi)容，也取得較高水平的結(jié)果。3、四位學(xué)術(shù)帶頭人總結(jié)報告四、四年來研究工作主要成果概述(9)

石教英課題組總結(jié)報告1、基于圖像的建模（IBM）技術(shù)2、基于圖像的繪制（IBR）技術(shù)3、基于預(yù)計算及采樣的實時高真實感圖像的繪制技術(shù)4、統(tǒng)一數(shù)字幾何處理框架研究1、基于圖像的建模（IBM）技術(shù)主要貢獻論文[文1]提出了一種強壯的特征點匹配算法。論文提出了基于硬幾何約束的“匹配強度”概念，可減少匹配歧義性，同時提出了一種擴展指派算法用于全局優(yōu)化，可達到最終消除匹配歧義問題。論文還改進了Harris特征點提取算法，增強對噪聲的扼制能力。特征點匹配是計算機視覺的一項重要研究內(nèi)容，具有重要應(yīng)用價值，特別在基于圖象建模方向上更是一個基礎(chǔ)性工作，本文算法為下步基于圖象建模工作打下了扎實基礎(chǔ)。四、四年來研究工作主要成果概述(10)

石教英課題組總結(jié)報告四、四年來研究工作主要成果概述(11)

石教英課題組總結(jié)報告四、四年來研究工作主要成果概述(12)

石教英課題組總結(jié)報告四、四年來研究工作主要成果概述(13)

石教英課題組總結(jié)報告1、基于圖像的建模（IBM）技術(shù)主要貢獻論文[文72，73，74]針對建筑物模型的規(guī)則性，提出一種基于平面的建筑物模型重建算法，包括相機定標，基平面提取，平面位置和方向計算等子過程，最后通過交互操作指明場景中各平面之間的相互關(guān)系，遞歸求解各平面位置和法向，達到根據(jù)圖像重建建筑物場景表面模型的目的。四、四年來研究工作主要成果概述(14)

石教英課題組總結(jié)報告基于序列圖像建筑場景建模軟件原型系統(tǒng)（SIBM）SIBM系統(tǒng)功能模塊

采樣圖像重建模型

四、四年來研究工作主要成果概述(15)

石教英課題組總結(jié)報告2、基于圖像的繪制（IBR）技術(shù)主要貢獻提出了一種新的基于圖像的場景表示方法：平面狹縫圖像場，以及一種稱為深度狹縫圖像全景拼圖的新方法，形成一種新的基于圖像的繪制方法，可實時生成具有高真實感的漫游場景。四、四年來研究工作主要成果概述(16)

石教英課題組總結(jié)報告2、基于圖像的繪制（IBR）技術(shù)主要貢獻論文[會28,29]是對著名的“畫中游”(Tourintopicture-TIP)技術(shù)的一種改進，提出了TIP建模中相對深度的新概念，應(yīng)用相對深度概念可以方便地定義參考圖象的位置，從而可以方便地構(gòu)建TIP的模型。論文給出了單滅點TIP和雙滅點TIP相對深度的計算方法。實驗證明本文方法的可行性和正確性。四、四年來研究工作主要成果概述(17)

石教英課題組總結(jié)報告

胡雪巖故居及靈隱景區(qū)漫游系統(tǒng)界面（點擊左圖進入視頻演示）四、四年來研究工作主要成果概述(18)

石教英課題組總結(jié)報告3、基于預(yù)計算及采樣的實時高真實感圖像的繪制技術(shù)主要貢獻論文[文8]提出了一種球面光輻射傳輸映射的新繪制方法。球面光輻射傳輸映射是一種預(yù)計算的光輻射傳輸函數(shù)技術(shù)，該技術(shù)用于實時的全局光照繪制。已有的預(yù)計算的光輻射傳輸函數(shù)方法局限于單個物體或靜態(tài)場景的繪制。我們提出一種處理包含動態(tài)場景的預(yù)計算方法。球面光輻射傳輸映射技術(shù)可以高效地繪制環(huán)境光源下動態(tài)場景中地軟陰影和相互反射。

DEMO1

DEMO2四、四年來研究工作主要成果概述(19)

石教英課題組總結(jié)報告3、基于預(yù)計算及采樣的實時高真實感圖像的繪制技術(shù)主要貢獻論文[文9]提出了一種稱為光照相關(guān)紋理的新繪制方法——光照相關(guān)紋理技術(shù)。利用這一技術(shù)，可以將真實材料表面的三維紋理移植到虛擬模型上，在環(huán)境光的照射下，進行實時繪制。這是一種基于采樣的實時高真實感圖像繪制技術(shù)，是基于圖像繪制技術(shù)的新發(fā)展。

DEMO四、四年來研究工作主要成果概述(20)

石教英課題組總結(jié)報告4、統(tǒng)一數(shù)字幾何處理框架研究主要貢獻論文[文33]提出了一個統(tǒng)一的數(shù)字幾何處理框架，即提出了將網(wǎng)格模型參數(shù)化到球面（或平面）的全局參數(shù)化方法。在論文的框架下，所有成熟的數(shù)字圖象處理技術(shù)都可以運用于3D幾何數(shù)據(jù)處理上。論文也為后續(xù)應(yīng)用研究奠定了理論基礎(chǔ)。四、四年來研究工作主要成果