（模式識別與智能系統(tǒng)專業(yè)論文）基于圖像建模的虛擬漫游技術(shù)研究.pdf

摘要 摘要 隨著信息技術(shù)的不斷發(fā)展，虛擬現(xiàn)實技術(shù)( v r 技術(shù)) 的研究方興未艾，其重 要性也越來越被人們所認識。虛擬現(xiàn)實技術(shù)主要是通過重現(xiàn)真實場景、展現(xiàn)各種 理論原理以及構(gòu)想客觀世界不存在的一些景象等，來使人們達到身臨其境的感 覺。而虛擬現(xiàn)實技術(shù)的關(guān)鍵就是構(gòu)建出真實感強且快速有效的三維虛擬模型，它 的實現(xiàn)方法可以分為以下兩大類：傳統(tǒng)幾何圖形的建模與繪制技術(shù)和基于圖像的 建模與繪制技術(shù)( i b m r ) 。其中基于圖像的建模與繪制技術(shù)和幾何圖形的建模方 法相比較，其建模過程更加簡單和迅速，操作也更加容易，既具有了高效的速度， 又保證了模型的高真實度。本文針對基于圖像的建模與繪制方法中出現(xiàn)的一些關(guān) 鍵技術(shù)如基于圖像的建模過程、紋理的提取、虛擬漫游視頻的矯正以及漫游視頻 的無縫拼接融合等算法進行了深入地研究和改進。 畫中游( t i p ) 方法是當(dāng)前應(yīng)用最為廣泛的一種基于圖像的建模與繪制技術(shù)， 本文基于t i p 方法重建物體和場景的三維模型，得到虛擬漫游的視頻，同時為了 滿足虛擬漫游對真實感的要求，對虛擬漫游視頻進行后續(xù)的處理，包括漫游視頻 的矯正和無縫拼接的融合。其中虛擬漫游視頻的無縫拼接融合問題，由于虛擬漫 游系統(tǒng)在真實感的基礎(chǔ)上對于實時性的要求，因此所采用的算法應(yīng)該在保持拼接 效果的前提下，盡可能提高拼接速度。 本文針對上述兩個問題分別提出改進。對于矯正問題，作者經(jīng)過仔細地研究 和實驗，改進了弧面投影矯正法，這是一種以視點為中心的透視投影法，相比較 其它的矯正法，具有矯正過程簡單，計算量小，操作方便等優(yōu)點。對于無縫拼接 融合問題，作者提出了一種全新的漫游視頻拼接算法基于距離的自適應(yīng)閩值 虛擬漫游視頻拼接算法。該算法總結(jié)了當(dāng)前最主要的兩類拼接算法：基于特征點 的拼接算法和基于圖像特征的拼接算法，通過提取距離特征，并在待匹配的幀圖 像中采用自適應(yīng)閾值序列s s d a ( s e q u e n t i a ls i m i l a r i t yd e t e c t i o na l g o r i t h m s ) 算法 尋找匹配特征，從而確定重合部分的起始列值。實驗結(jié)果表明，該算法能更好地 t 摘要 實現(xiàn)漫游視頻的拼接，且減少了計算量，大幅提高了拼接速度。 關(guān)鍵詞：虛擬現(xiàn)實t i p 弧面投影距離特征匹配s s d a 虛擬漫游視頻拼接 i i a b s t r a c t a b s t r a c t w i t ht h ed e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g y , t h er e s e a r c ho fv i r t u a lr e a l i t y t e c h n o l o g y ( v r ) i sm o r ea n dm o r em a t u r e i tg e t sm o r ea n dm o r ea t t e n t i o n v ri s u s e dt or e p r o d u c er e a l i t ys c e n e ，s h o wt h e o r e t i c a lp r i n c i p l e sa n dc o n c e p ti m a g et h a t t h eo b j e c t i v ew o r l dd o e sn o te x i s ts ot h a tp e o p l ec a na c h i e v ei m m e r s i v ef e e l i n g t h e k e yo fv ri st h a t3 dv i r t u a lm o d e l sw i t ls t r o n gf e e l i n go fr e a l i t yc a nb ec o n s t r u c t e d f a s ta n de f f e c t i v e l y i t sr e a l i z a t i o nc a nb ed i v i d e di n t ot w oc a t e g o r i e s ：t r a d i t i o n a l g e o m e t r y b a s e dm o d e l i n ga n dr e n d e r i n gt e c h n i q u e sa n di m a g e b a s e dm o d e l i n ga n d r e n d e r i n gt e c h n i q u e s ( i b m r ) w i t h t r a d i t i o n a l g e o m e t r y - b a s e dm o d e l i n g a n d r e n d e r i n gt e c h n i q u e s ，t h em o d e l i n gp r o c e s si sm o r es i m p l ea n df a s t e r a n dt h e o p e r a t i o ni sa l s oe a s i e r t h i sa l g o r i t h mn o to n l yh a sh i 曲s p e e d ，b u ta l s oe n s u r e st h a t t h em o d e l sa r eh i g h r e a l i t y t h ek e yt e c h n o l o g i e so fi b m ri nt h i sp a p e ra r ed e e p l y s t u d i e da n di m p r o v e dt h a ta r et h ei m a g e - b a s e dm o d e l i n gp r o c e s s ，t h et e x t u r e e x t r a c t i o n , t h ec o r r e c t i o no fv i r t u a lw a l k t h r o u g hv i d e oa n ds e a m l e s ss p l i c i n g t i pi sat e c h n o l o g yo fi b m rt h a ti su s e de x t e n s i v e l ya tp r e s e n t t h i sp a p e ri s b a s e do nt i et h em e t h o dc a nb eu s e dt or e b u i l dt h e3 dm o d e l s o fo b j e c t sa n ds c e n e s t h e nv i r t u a lw a l k t h r o u g hv i d e oi sr e c e i v e d i no r d e rt om e e tt h er e a l i s t i cr e q u i r e m e n t o fv i r t u a lw a l k t h r o u g h ，t h ef o l l o w - u pt r e a t m e n to nv i r t u a lw a l k t h r o u g hv i d e oi s n e e d e dt h a ti n c l u d et h ec o r r e c t i o no fv i r t u a lw a l k t h r o u g hv i d e oa n ds e a m l e s ss p l i c i n g f o rt h er e a l i s t i ca n dr e a l - t i m er e q u i r e m e n t so fv i r t u a lw a l k t h r o u g hs y s t e mt h e a l g o r i t h mw h a ti su s e dt os e a m l e s ss p l i c ev i r t u a lw a l k t h r o u g hv i d e oi m a g e sm u s t i n c r e a s et h es p l i c i n gs p e e da sh i g ha sp o s s i b l eu n d e rt h ea s s u r a n c eo fs p l i c i n gq u a l i t y t h et w oi s s u e si nt h i sp a p e ra r ei m p r o v e d f o rt h ec o r r e c t i o no fv i r t u a l w a l k t h r o u g hv i d e o ，t h ec o r r e c t i o no fa r cp r o j e c t i o ni si m p r o v e da f t e rs o m ec a r e f u l s t u d ya n de x p e r i m e n t a t i o nw h i c hi sav i e w p o i n t - c e n t e r e dp e r s p e c t i v ep r o j e c t i o n w i t h o t h e rc o r r e c f i o nm e t h o d si t s a d v a n t a g e s i n c l u d e s i m p l ec o r r e c t i o n ，s m a l l c o m p u t a t i o n a la m o u n t ，c o n v e n i e n to p e r a t i o na n ds oo n a na d a p t i v et h r e s h o l dv i d e o s p l i c i n ga l g o r i t h mb a s e do nd i s t a n c ei sp r o v i d e di nt h i sp a p e r t h ea l g o r i t h mw h i c h i s u s e dt os p l i c ev i r t u a lw a l k t h r o u g hv i d e oi m a g e ss u m m a r i z e st h et w ou p p e r m o s t s p l i c i n ga l g o r i t h m sa tp r e s e n tt h a ta r eas p l i c i n ga l g o r i t h mb a s e do nf e a t u r ep o i n t sa n d as p l i c i n ga l g o r i t h mb a s e do ni m a g ef e a t u r e s b ye x t r a c t i n gd i s t a n c ef e a t u r e ，i tu s e s a d a p t i v et h r e s h o l ds s d a ( s e q u e n t i a ls i m i l a r i t yd e t e c t i o na l g o r i t h m s ) a l g o r i t h ma n d i i i a b s t r a c t m a t c h e si ne s t i m a t i n gi m a g e ，t h e ne s t i m a t i n gt h eb e g i n n i n gc o l u m no ft h eo v e r l a p p i n g p a r t e x p e r i m e n t a lr e s u l t ss h o wt h ea l g o r i t h mi sw o n d e r f u la n ds t a b l e i tc a na l s o r e d u c ew o r k l o a da n da c c e l e r a t et h es p l i c i n gs p e e d k e yw o r d s ：v i r t u a lr e a l i t y ；t i p ；a r cp r o j e c t i o n ；d i s t a n c ef e a t u r em a t c h i n g ；s s d a ； v i r t u a lw a l k t h r o u g hv i d e os p l i c i n g i v 中國科學(xué)技術(shù)大學(xué)學(xué)位論文原創(chuàng)性聲明 本人聲明所呈交的學(xué)位論文，是本人在導(dǎo)師指導(dǎo)下進行研究工作所取得的 成果。除已特別加以標注和致謝的地方外，論文中不包含任何他人已經(jīng)發(fā)表或 撰寫過的研究成果。與我一同工作的同志對本研究所做的貢獻均已在論文中作 了明確的說明。 作者簽名：仨樂整扭 中國科學(xué)技術(shù)大學(xué)學(xué)位論文授權(quán)使用聲明 作為申請學(xué)位的條件之一，學(xué)位論文著作權(quán)擁有者授權(quán)中國科學(xué)技術(shù)大學(xué) 擁有學(xué)位論文的部分使用權(quán)，即：學(xué)校有權(quán)按有關(guān)規(guī)定向國家有關(guān)部門或機構(gòu) 送交論文的復(fù)印件和電子版，允許論文被查閱和借閱，可以將學(xué)位論文編入有 關(guān)數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論 文。本人提交的電子文檔的內(nèi)容和紙質(zhì)論文的內(nèi)容相一致。 保密的學(xué)位論文在解密后也遵守此規(guī)定。 回公開口保密(年) 作者簽名：醢紅么 導(dǎo)師簽名：五：量絲 簽字日期： 絲擔(dān)：口l ! q 堅 簽字日期：些! ! ：蘭夠 第一章緒論 1 1 虛擬現(xiàn)實技術(shù)簡介 第一章緒論 虛擬現(xiàn)實技術(shù)( v r 技術(shù)) 是當(dāng)代信息科技發(fā)展的代表，它涉及到機器視覺、 計算機圖形繪制技術(shù)、傳感器技術(shù)、三維仿真技術(shù)以及人工智能等多個信息技術(shù) 分支，是對這些技術(shù)更高層次的集成、滲透與綜合應(yīng)用，位于當(dāng)前科學(xué)技術(shù)研究 領(lǐng)域的前列。虛擬現(xiàn)實技術(shù)的主要原理為利用計算機的相關(guān)技術(shù)模擬出各種三維 虛擬場景，讓用戶能夠身臨其境般，實時地、全面地觀看此三維虛擬場景內(nèi)的物 體。 虛擬現(xiàn)實概念中的虛擬具體指根據(jù)計算機理論中的相關(guān)技術(shù)來完成模擬過 程。至于其中的現(xiàn)實一詞，從廣義上來說，不只包括現(xiàn)實世界中存在的一切，還 包括一些實際并不存在的物體或者不可能發(fā)生的場景等。所以，虛擬現(xiàn)實其實就 是以相關(guān)技術(shù)為基礎(chǔ)來模擬出某些場景與物體，而用戶們則可以借助一些工具和 設(shè)備置身于所構(gòu)建的場景中，且能夠通過一些動作來改變該場景，以完成自己的 要求，使用戶感覺自己可以完全控制這個世界般。它的主要實現(xiàn)原理就是充分利 用計算機領(lǐng)域的軟硬件知識，提供一個具有高度真實感的虛擬世界，用戶可以完 全融入這個虛擬世界，觀看生成的各種虛擬場景和物體，耳邊聽著逼真的聲音， 還可以在虛擬世界里交互的動作，甚至可以嗅到現(xiàn)實世界的氣味。用戶在這個虛 擬世界里，可以克服現(xiàn)實世界的約束，構(gòu)建出一些本來并不可能存在的物體與場 景，從而體驗到現(xiàn)實世界不存在的經(jīng)歷。 虛擬現(xiàn)實技術(shù)中最有代表性的三個特點為構(gòu)想( i m a g i n a t i o n ) 、沉浸 ( i m m e r s i o n ) 以及交互( i n t e r a c t i o n ) ，也就是通常所謂的“3 i ”。3 i 特點最早是由 c o i f f e t 與b u r d e a g 提出的，它是總結(jié)了j a m e s d f o l e y 教授的2 i + b 理論延伸擴 展而來的。其中所謂構(gòu)想( i m a g i n a t i o n ) ，指其擁有非常寬廣的想象空間，從而可 以擴大使用者的認知范疇。簡單來說也就是，v r 技術(shù)不但可以將現(xiàn)實中真實存 第一章緒論 在的場景通過建模的方式重新顯示，還可以虛構(gòu)一些原本并不存在于現(xiàn)實世界的 場景，或者是構(gòu)想一些其實是不可能發(fā)生的場景。沉浸( i m m e r s i o n ) ，是指構(gòu)建 生成的虛擬場景對于用戶的影響。如果虛擬場景構(gòu)建得十分逼真，就可以令用戶 失去判斷能力，完全融入其中，甚至有此為真實世界的錯覺。理想的虛擬場景就 應(yīng)該做到真假難辨，不管是聽覺、觸覺、味覺還是嗅覺，都應(yīng)該模擬得與真實世 界一般，這樣才能使用戶完全投入。交互( i n t e r a c t i o n ) ，即通過v r 技術(shù)構(gòu)建的虛 擬場景可以對使用者的輸入做出相應(yīng)的響應(yīng)，讓使用者有從場景得到反饋的真實 感，例如出現(xiàn)在使用者視線里的物體，能夠被抓住，且能夠因為使用者的動作而 相應(yīng)的動作，此外，如果對物體施加一定的力度，使用者能夠感到握力的反饋。 1 2 虛擬現(xiàn)實技術(shù)的發(fā)展 2 0 世紀八十年代末，虛擬現(xiàn)實( v r ) 這一詞被j a r nl a n i e r 公開提出。在 不久的1 9 9 2 年，美國加利福尼亞州的圣迭哥召開了一場討論虛擬現(xiàn)實技術(shù)理論 的學(xué)術(shù)會議“醫(yī)學(xué)中的虛擬現(xiàn)實技術(shù)”，此次學(xué)術(shù)會議的發(fā)起人為一批要為 醫(yī)學(xué)專家科學(xué)家。也是這一年。法國召開了一次國際會議“真實與虛擬世界 的界面 。次年，第一屆虛擬現(xiàn)實國際學(xué)術(shù)會議由i e e e 組織在美國太平洋西北區(qū) 的西雅圖順利召開，此次會議吸引了大批從事科研工作的人員關(guān)注。這些科研學(xué) 者經(jīng)過研究討論發(fā)表了很多高質(zhì)量的論文，并且在會議之后，由i e e e 的相關(guān)刊 物組織記錄了所有論文。 而在國內(nèi)，對于虛擬現(xiàn)實的研究也漸漸成為人們關(guān)注的焦點。多個大學(xué)與研 究中心都積極參與到對虛擬現(xiàn)實技術(shù)研究的行列，并取得了很好的成果，其中具 有代表性的研究機構(gòu)有清華大學(xué)、西安交通大學(xué)、上海大學(xué)的現(xiàn)代集成制造系統(tǒng) 中心、北京大學(xué)、北京航空航天大學(xué)、浙江大學(xué)的c a d & c g 國家重點實驗室等。 清華大學(xué)的有關(guān)研究單位構(gòu)建出一個虛擬的布達拉宮，完成了對全景的虛擬化。 西安交通大學(xué)主要詳細研究了虛擬現(xiàn)實技術(shù)中的一個重要部分，也就是立體視覺 中的顯示方法。上海大學(xué)的現(xiàn)代集成制造系統(tǒng)中心研發(fā)出一個完整的虛擬現(xiàn)實系 統(tǒng)，主要用來實現(xiàn)對科技園區(qū)的虛擬漫游。北京大學(xué)主要研究了在個人計算機上 2 第一章緒論 使用的虛擬現(xiàn)實系統(tǒng)。北京航空航天大學(xué)關(guān)于虛擬現(xiàn)實技術(shù)的研究方向主要為視 覺接口，且成績顯著。浙江大學(xué)的c a d & c g 國家重點實驗室則主要在虛擬現(xiàn)實系 統(tǒng)的研發(fā)方面取得了良好的成果。除上述單位外，還有哈爾濱工業(yè)大學(xué)的計算機 系等也針對虛擬現(xiàn)實技術(shù)做了一些研究。 1 3 虛擬現(xiàn)實技術(shù)的運用 虛擬現(xiàn)實技術(shù)的運用十分廣泛，在各個領(lǐng)域都有涉獵，譬如城市規(guī)劃建設(shè)、 軍事研究、醫(yī)療研究以及文化娛樂等。 城市規(guī)劃建設(shè)方面，v r 技術(shù)主要用于對一些城市的虛擬再現(xiàn)以及設(shè)計方面。 其中城市虛擬再現(xiàn)方面，世界各國都曾經(jīng)很好地利用v r 技術(shù)來重現(xiàn)了現(xiàn)實世界 的美麗風(fēng)光，比如日本的虛擬東京、中國的虛擬故宮等。虛擬現(xiàn)實技術(shù)其實不僅 僅可以作為一個展示現(xiàn)實世界風(fēng)光的工具，還可以用來完成規(guī)劃與設(shè)計的工作。 它可以通過視覺這種直觀的方式來表述一個規(guī)劃或設(shè)計者的構(gòu)想，將原本虛無縹 緲的想法轉(zhuǎn)變成可以看得見的虛擬場景或者物體等。這種方法既加快了規(guī)劃與設(shè) 計的速度，又使用戶的想法能夠更加容易地被接受。美國就曾使用該方法對l o s a n g e l e s 以及l(fā) a sv e g a s 進行新的城市規(guī)劃。 軍事上，最早將虛擬現(xiàn)實技術(shù)應(yīng)用于此的國家是美國，后來隨著虛擬現(xiàn)實技 術(shù)的發(fā)展，國際上越來越多的國家也意識到v r 技術(shù)在軍事上的用處。它不僅能 夠減少人員的參與，還能夠大大降低所需的各種費用。目前虛擬現(xiàn)實技術(shù)在軍事 上主要應(yīng)用于以下幾個方面：第一，用于對士兵進行模擬訓(xùn)練；第二，用于構(gòu)建 出虛擬戰(zhàn)場環(huán)境；第三，用于多軍兵種的聯(lián)合演習(xí)；第四，用于近戰(zhàn)戰(zhàn)術(shù)的訓(xùn)練 工作。如今在美國，陸軍部門已經(jīng)開發(fā)出性能良好的用于模擬訓(xùn)練的仿真系統(tǒng)。 而在國內(nèi)，多個研究單位相聯(lián)合，共同對虛擬現(xiàn)實技術(shù)在軍事上的應(yīng)用進行深入 研究，且取得了一定的成果。虛擬現(xiàn)實技術(shù)可以克服現(xiàn)實世界的約束，構(gòu)建出一 些難以存在的物體與場景，所以可以用來模擬核試驗，如此既可以進行核研究， 又可以不對環(huán)境造成污染，也減少了對研究人員安全的威脅。 3 第一章緒論 醫(yī)學(xué)上，虛擬現(xiàn)實技術(shù)可以緩解空間帶來的醫(yī)療困難，完成遠程的醫(yī)療救助。 此外，它還可以用來提前模擬一些手術(shù)的過程，有利于手術(shù)的全面規(guī)劃。當(dāng)今世 界有很多這樣的虛擬醫(yī)療手術(shù)系統(tǒng)，其中歐洲的第一個虛擬現(xiàn)實中心就是在2 0 世紀9 0 年代由英國曼斯特皇家醫(yī)院成立的。在同一時期，s a t a r a 和p i e p e r 等依 托虛擬現(xiàn)實技術(shù)利用兩個s g i ( s i l i c o ng r a p h i c s ) 工作站建立了一個模擬外科手 術(shù)的訓(xùn)練器。隨著該技術(shù)的不斷發(fā)展以及應(yīng)用地不斷深入，各種依托它而建立的 訓(xùn)練器將不斷出現(xiàn)。在國內(nèi)，也有多所大學(xué)對模擬人體的結(jié)構(gòu)等方面進行了詳細 地研究。對于醫(yī)學(xué)教育方面，虛擬現(xiàn)實技術(shù)也是十分有用的，它可以模擬出各種 功能強大的培訓(xùn)模型，用于給學(xué)習(xí)者訓(xùn)練使用。 另外，v r 技術(shù)也在游戲娛樂以及影視等方面得到了很好的應(yīng)用，運用該技術(shù) 制作的各種影片和游戲深受人們的歡迎。在游戲方面，使用虛擬現(xiàn)實技術(shù)來構(gòu)建 大型多用戶的娛樂系統(tǒng)已經(jīng)很好地被美國所實現(xiàn)；此外，英國也曾開發(fā)過一種用 來模擬滑雪過程的系統(tǒng)。用戶可以穿上滑雪服，拄著滑雪棍，頭部戴上頭盔顯示 器，腳上踩著滑雪板，手腳皆裝上各種傳感器，然后在房間里做著各種各樣的滑 雪動作，此時可以通過頭盔顯示器，看見白雪皚皚的高山、峽谷等，其感覺就如 同在真實的滑雪場滑雪一般。這個模擬器以其真實感強受到了大家的喜愛和歡 迎。而影視方面，不久前利用v r 技術(shù)制作的電影阿凡達受到了全球人們的 喜愛，其應(yīng)用的成功可見一斑。 總之，v r 技術(shù)在各個領(lǐng)域的應(yīng)用都得到了極大的成功。它把計算機的應(yīng)用提 升到了一個嶄新的層次，應(yīng)用價值之高顯而易見。 1 4 論文結(jié)構(gòu) 本論文的工作可簡述如下： 第二章介紹了虛擬現(xiàn)實技術(shù)的兩類實現(xiàn)方法：傳統(tǒng)幾何圖形的建模與繪制技 術(shù)和基于圖像的建模與繪制技術(shù)，而本文就是基于當(dāng)前應(yīng)用最為廣泛的一種基于 圖像的建模與繪制技術(shù)畫中游( t i p ) 方法。 第三章主要研究了如何采用t i p 方法從一張簡單的二維輸入圖像中構(gòu)造出 4 第一章緒論 三維t i p 模型，并提出了該方法具體的實現(xiàn)過程；最后可以按照自動漫游的需要 設(shè)置好固定的漫游路徑，再將漫游場景錄制下來，形成虛擬漫游的視頻。 第四章對于虛擬漫游視頻投影過程中存在的矯正問題進行了研究，并提出最 為適合的矯正方法一弧面矯正，并詳細介紹了具體的實現(xiàn)過程。 第五章在解決投影矯正問題后，針對虛擬漫游視頻的無縫拼接融合進行詳細 的研究，本章在總結(jié)了其它幾種方法的不足之處后，提出了一種全新的視頻拼接 算法基于距離的自適應(yīng)閾值拼接算法，并具體闡述了算法的思想與實現(xiàn)方 法。 5 第二章基于圖像的建模與繪制技術(shù) 第二章基于圖像的建模與繪制技術(shù) 虛擬現(xiàn)實技術(shù)的關(guān)鍵就是構(gòu)建出真實感強且快速有效的三維虛擬模型，因此 它的實現(xiàn)方法可以分為兩大類：傳統(tǒng)幾何圖形的建模與繪制技術(shù)和基于圖像的建 模與繪制技術(shù)。 2 1 傳統(tǒng)幾何圖形的建模與繪制技術(shù) 按照傳統(tǒng)的幾何圖形的建模與繪制技術(shù)，第一步，需用幾何造型方法構(gòu)建場 景中所有物體的三維模型，并記錄下它們各自的材質(zhì)與紋理、所處位置的光強程 度等；第二步，考慮視點所處的位置對整個場景的影響，完成三維模型的具體繪 制工作；第三步，為了使構(gòu)建的三維模型更加逼真，需要對場景中的所有模型進 行粘貼材質(zhì)與紋理、加合適的光強背景以及陰影處理等操作。 傳統(tǒng)的幾何圖形的建模與繪制技術(shù)的原理有點類似于畫家繪畫，主要的建模 方式有以下三種：線框建模、表面建模、實體建模。 線框建模主要強調(diào)的是一個“線的概念，是通過使用一些點和邊來表示 一個物體，也就是說由線框建模法構(gòu)建得到的三維模型其實就是點和直線以及一 些曲線的組合，主要表示的是物體的外觀特征。從原理上來說，三維線框建模法 是對二維線框建模法的一個深化和擴展，它是指采用三維圖形空間內(nèi)的一些特定 的簡單圖形元素( 也就是點、直線以及曲線) 來表示各種三維物體。線框建模的 過程非常簡單，因此用戶可以很方便地了解與使用，但是由它所構(gòu)建的三維模型 不能全面地表達物體所有的信息，從而會導(dǎo)致觀看者對于物體的外觀有錯誤的認 識。此外線框建模法不具備對三維模型進行填充、渲染等處理的功能，所以極大 限制了其使用的范圍，不適合用來構(gòu)建復(fù)雜物體的三維模型。 表面建模相對于線性建模，采用了“面”的理念，也就是將三維物體看作是 所有表面和各個面之間的邊以及頂點的組合。在表面建模的過程中，我們通?？?以借用一些優(yōu)秀的建模軟件( 如3 d m a x 、r h i n o 等) 來完成。在所有物體中，最 7 第二章基于圖像的建模與繪制技術(shù) 適合使用表面建模法來構(gòu)建三維模型的是曲面物體。因為該方法的根本原理就是 將三維物體的各個面用一些曲面表達式來表示，其中最為常用的幾種曲面可如下 述所列：平面、直紋面、回轉(zhuǎn)面、柱狀面、b e z i e r 曲面、b 樣條曲面、高斯曲面、 圓角面、等距離面等。表面建模方法在表現(xiàn)三維模型平面特征的基礎(chǔ)上，又具備 了進行填充、渲染等處理的功能，應(yīng)用得更加普遍，不論物體的復(fù)雜程度如何， 都可以用來構(gòu)造其三維模型。但是表面建模法不能進行更高程度的細節(jié)操作，因 此廣泛使用時真實度不夠。 實體建模在上述二者的基礎(chǔ)上進一步提出了“體”的想法，不僅考慮到物體 的表面特征，還加入對物體內(nèi)部的構(gòu)建，形成了一個完整的“體 模型。實體建 模主要有以下三種方法：構(gòu)造基本實體形、組合基本實體成復(fù)雜實體、對實體作 圓角、倒角和其它編輯處理。實體建模的特點是信息最完整，靈活方便，能夠構(gòu) 造復(fù)雜的三維模型，但是其占用資源很多，對于有些方面的三維建模如建筑建模 等就并不合適。 雖然傳統(tǒng)的幾何圖形的建模與繪制技術(shù)的確能夠構(gòu)建出很多復(fù)雜的虛擬場 景與物體，也能夠在一定程度上讓使用者發(fā)揮創(chuàng)作的能力，但是這種傳統(tǒng)的建模 與繪制法也存在著明顯的缺點： 首先，傳統(tǒng)幾何圖形的建模與繪制技術(shù)其建模過程復(fù)雜，耗費時間過長，而 且建模的復(fù)雜度會隨著場景復(fù)雜度的增加而增加。也就是說，對于那些規(guī)模巨大 或者復(fù)雜度高的場景，傳統(tǒng)建模與繪制法的速度十分之慢，很難滿足虛擬現(xiàn)實所 要求的實時性。 其次，通過傳統(tǒng)幾何圖形的建模方法繪制出的虛擬場景，顏色相對單一，場 景層次較少，明顯區(qū)別于現(xiàn)實世界中的物體和環(huán)境，從而導(dǎo)致用戶在漫游時真實 感不強。 總之，隨著虛擬現(xiàn)實的應(yīng)用日漸廣泛，用戶對于虛擬場景的實時性與真實性 的要求也在逐步地增長，而傳統(tǒng)的幾何圖形的建模與繪制技術(shù)由于它自身存在的 局限性已經(jīng)逐漸不能滿足這種增長，因此一種新的建模與繪制技術(shù)基于圖像 的建模與繪制技術(shù)從而成為了研究的熱點。 r 第二章基于圖像的建模與繪制技術(shù) 2 2 基于圖像的建模與繪制技術(shù) 由于傳統(tǒng)幾何圖形的建模與繪制技術(shù)的存在很多的缺點，因此經(jīng)過多年的研 究與實驗，出現(xiàn)了一種新的建模與繪制技術(shù)，也就是基于圖像的建模與繪制技術(shù) ( i m a g e b a s e dm o d e l i n ga n dr e n d e r i n g i b m r ) 。它是將機器視覺、計算機圖形學(xué)、 多媒體技術(shù)、三維仿真技術(shù)以及圖像處理等多種技術(shù)綜合運用的一種新技術(shù)?；?于圖像的建模與繪制技術(shù)與幾何圖形的建模方法相比較，其建模過程更加簡單和 迅速，操作也更加容易，既具有了高效的速度，又保證了模型的高真實度。 基于圖像的建模與繪制技術(shù)一開始被用于l i p p m a n 的電影映像系統(tǒng)以及 b l i n n 的環(huán)境位圖中，其中在前者中，主要被用來顯示隨著觀看者視線的變化而 最接近的圖像。而在后者中則是被用來很好地模擬物體表面的環(huán)境反射等。其實， 從本質(zhì)上來說，紋理映射的方法，也算是i b m r 中的一個分支。實際中，物體在 場景中的顯示會隨著觀看者視線的變化而變化，反映在三維模型的繪制中，就是 對物體各個面紋理的重投影變換。在i b m r 技術(shù)研究的初期，由于對全景繪制的 研究沒有取得有效地成果，因此它一直只在局部中使用。后來經(jīng)過深入地研究與 實驗得到了關(guān)于全光函數(shù)的理論，為i b m r 的發(fā)展打下了堅實的基礎(chǔ)。 2 0 世紀9 0 年代，基于圖像的建模與繪制技術(shù)在國際上一經(jīng)提出，就馬上受 到了極大的關(guān)注。而在國內(nèi)，1 9 9 7 年2 月國家自然科學(xué)基金委員會信息科學(xué)部 在昆明召開了“基于圖像建模和繪制技術(shù)研討會 ，拉開了全面研究基于圖像的 建模與繪制技術(shù)的序幕。此后，一個主要研究基于圖像的建模與繪制技術(shù)的國家 自然科學(xué)基金重點項目“虛擬現(xiàn)實中基于圖像的建模與繪制”被發(fā)起。 基于圖像的建模與繪制技術(shù)作為一種以真實二維圖像作為輸入來重現(xiàn)和繪 制虛擬場景的新技術(shù)，有著眾多的優(yōu)點：第一，它的建模速度與漫游場景的復(fù)雜 程度無關(guān)，只取決于輸入圖像的分辨率以及所依賴的視覺特征數(shù)目，因此建模速 度很快：第二，基于圖像的建模與繪制技術(shù)是從現(xiàn)實世界的客觀角度來表示物體 的外觀、材質(zhì)、光照強度等，所以相對于傳統(tǒng)建模與繪制法更加逼真；第三，建 模過程中所需的輸入圖像獲取簡單，一般為普通相機拍得的實景圖像，也可以利 9 第二章基于圖像的建模與繪制技術(shù) 用幾何方法來繪制。 基于圖像的建模與繪制技術(shù)的具體實現(xiàn)眾多，大致可分為以下幾類： ( 1 ) 基于全光函數(shù)的i b m r 方法：基于全光函數(shù)的i b m r 方法將不同的輸入圖像 看作是不同光線的組合，因此全光函數(shù)其實可以表示為三維空間中某一個點 ( x ，y ，z ) 在某一時間( r ) 與某一視角( 仍口) 以及某一波長( 名) 范圍內(nèi)所有的光線， 其具體公式可如下式( 2 1 ) 所示： 另= 尸艮刀礎(chǔ)o 乞巧 圪 秒 矽 允 r ) ( 2 1 ) 根據(jù)上述公式可以確定出全光函數(shù)，那么每當(dāng)視點被改變時，只需選擇出符 合條件的光線即可。事實上，想要得到場景中任一時間以及任一視角的所有光線 是非常困難的，因此我們通常使用離散采樣的方法來重構(gòu)連續(xù)的全光函數(shù)。 ( 2 ) 基于幾何表示方式的i b l v i r 方法：基于幾何表示方式的i b m r 方法所構(gòu) 建的模型都是以基本圖像元素為基礎(chǔ)的，其原理與傳統(tǒng)建模方法類似。在該方法 中，比較常使用的基本圖像元素有簡單幾何體、面以及點等，因此基于幾何表示 方式的1 b m r 方法能夠被分成基于幾何體表示的i b m r 方法、基于面表示的 i b m r 方法以及基于幾何點表示的i b m r 方法。 ( 3 ) 基于圖像表示方式的i b m r 方法：基于圖像表示方式的i b m r 方法的原理與 上一種方法不相同，它首先假設(shè)輸入圖像上的每個像素間都存在著一定地關(guān)聯(lián) 性，接著我們要深入了解這種關(guān)聯(lián)，最后可以根據(jù)它進行二維的變換，從而得出 輸出圖像?；趫D像表示方式的i b m r 方法一般可分成以下三類：第一類，遷移 繪制的方法( t r a n s f e rm e t h o d ) 第二類，視點插值的方法( v i e wi n t e r p o l a t i o n ) ： 以及第三類，圖像變形和視圖變形的方法( i m a g em o r p h i n ga n dv i e wm o r p h i n g ) 。 上述的這幾類i b m r 方法是互相聯(lián)系的，比如第三類在某些時候可表示為第二類 虛盤 號手0 綜上所述，i b m r 方法相對于傳統(tǒng)的方法來說，具有鮮明地優(yōu)勢，本文將對 其中一種方法畫中游( t i p ) 方法進行詳細地介紹和說明。 1 0 第二章基于圖像的建模與繪制技術(shù) 2 3 畫中游方法 t i p ( t o u ri n t ot h ep i c t u r e ) 方法是i b m r 技術(shù)中的一種重要實現(xiàn)方法， 又稱為畫中游方法。2 0 世紀9 0 年代，由美國計算機協(xié)會計算機圖形專業(yè)組( a c b l s i g g r a p h ) 組織的計算機圖形學(xué)年度會議s i g g r a p h 會議順利召開，在此次 會議上h o r r y 等人首次提出了t i p 方法。t i p 方法主要是先在單幅輸入圖像上通 過相應(yīng)的計算求出模型的深度信息，繼而重建場景的相對三維模型，讓使用者可 以在其中進行漫游。其實t i p 方法就是根據(jù)對輸入的二維圖像的深入理解，基于 透視投影的原理來構(gòu)造簡單的三維場景模型，然后再不斷變換視點所在的位置， 從而產(chǎn)生一些視覺上滿意的“漫游場景 ，是i b m r 技術(shù)中的相當(dāng)簡便與實用的實 現(xiàn)方法。 如今，國內(nèi)已經(jīng)有不少關(guān)于t i p 方法的研究和改進，比如n l i 想要通過構(gòu) 建同一幅圖像不同分辨率下的三維模型來進行切換顯示，從而提高漫游的效果， 但該方法目前還只適用于單幅圖像中；來自香港的n e l s o nc h u 則主要研究對于 有多視點的單幅圖像，如何通過使用全景圖的方法來構(gòu)建它的t i p 模型；h y u n g w o ok a n g 的主要研究改進在于他想要在t i p 的交互建模過程中以滅線作為新的 建?；A(chǔ)。這種改進的算法不但簡化了建模的過程，提高了建模的速度，而且可 以與全景圖的方法相融合，具有更廣闊的使用空間；還有s a n g h y u k y o o n 等人提 出可以在場景漫游過程中使用漸入與漸出的方法來完成過渡顯示。實際過程中， 使用該方法通常會導(dǎo)致漫游中間的顯示圖像出現(xiàn)模糊。 2 4 小結(jié) 本章介紹了虛擬現(xiàn)實技術(shù)中的兩類實現(xiàn)方法：基于幾何圖形的建模與繪制技 術(shù)和基于圖像的建模與繪制技術(shù)，而本文采用的方法為當(dāng)前應(yīng)用廣泛的一種基于 圖像的建模與繪制技術(shù)的方法t i p 方法，也就是畫中游方法，本章也簡單介 紹了它的理論基礎(chǔ)。 第三章t i p ( t o u ri n t ot h ep i c t u r e ) 方法 第三章t lp ( t o u rin t ot h epic t u r e ) 方法 3 1tip 流程 t i p 方法是根據(jù)透視投影的理論而提出的，它主要是先在單幅圖像上通過相 應(yīng)的計算求出模型的深度信息，繼而重建場景的相對三維模型，讓使用者可以在 其中進行漫游。由于t i p 方法中原始的輸入信息只是一副簡單的圖像，而一幅圖 像上所包含的信息量是十分有限的，所以重建的相對三維模型一般為由場景中背 景所確定的盒狀模型。具體的實現(xiàn)過程可如下圖3 1 所示： 采用類似手蛛 網(wǎng)的交互建模 重建三維模型 貼紋理，龠 成壢景 圖3 1t i p 方法的實現(xiàn)過程 根據(jù)t i p 方法的流程可知，實現(xiàn)一個場景的漫游，首先需要的是重建該場景 的三維模型，其次是提取出清晰的模型紋理圖像。t i p 中所使用的建模方法是一 種類似于蜘蛛網(wǎng)絡(luò)( 簡稱蛛網(wǎng)) 的交互建模方法，它可以交互式地從圖像中獲取 場景的模型。 圖3 2t i p 方法的蜘蛛網(wǎng)絡(luò) 上圖3 2 表示的是根據(jù)t i p 方法所得到的交互界面，其中的黑色線條( 即為 蛛網(wǎng)) 將原始輸入的二維圖像分成了五個部分。而這五個部分分別對應(yīng)了所需重 建的三維盒狀模型中的五個平面，即上平面、底面、左平面、右平面和背面。因 1 3 第三章t i p ( t o u ri n t ot h ep i c t u r e ) 方法 此，用戶只需交互指定出模型的內(nèi)矩形以及滅點，就可以通過計算得出各個平面 的相對位置。 3 2 建模 3 2 1 交互建立三維模型 通常情況下，第一步應(yīng)該是找出輸入圖像中心點。在t i p 方法中滅點被近似 作為原始輸入圖像的中心點。其中所謂滅點就是指在三維空間中互相平行的一些 直線被投影n - 維像平面上所形成的聚集點，如果有一些互相平行的水平線，但 是它們與畫面并不平行，故向遠處延伸時，就會越遠越互相靠攏，這樣必定會讓 觀看者在視覺上產(chǎn)生縮小，最后縮小將直至一點而消失，這一點就為滅點。但是 在有些二維圖像中，它的滅點數(shù)并不唯一，也就是有多個滅點，此時還使用滅點 作為輸入圖像的中心點就不合適了。通過仔細地研究可知，我們在出現(xiàn)這種情況 時可以考慮使用消失線，因為在所有的圖像中，消失線肯定是唯一的，因此，我 們通常使用它的中點來代替滅點作為輸入圖像的中心點。當(dāng)然，上述的這種方法 也并不是完全無誤的，如果拍攝的原始圖像在垂直方向有旋轉(zhuǎn)，那么就一定會使 所得結(jié)果產(chǎn)生誤差。為了解決這個問題，我們可以采取一些措施來緩和，比如在 輸入的同時對原始圖像進行矯正處理。 t i p 方法采用的是一種被稱為“蜘蛛網(wǎng)絡(luò)”的建模方法，它是一種以基線為 構(gòu)建基礎(chǔ)的建模方法。其中基線主要指輸入圖像中地面與其它之間相交的線。對 于原始輸入的二維圖像，首先要確定圖像中的基線。事實上，標注出的基線由多 條線段組成。接著，就可以根據(jù)標注好的基線來確定出圖像中多個與底面相垂直 的“面”。最后，在現(xiàn)有的基線線段基礎(chǔ)上，按照與地面垂直的方向進行延伸， 從而繪出上平面的位置以及背面的大小。具體的場景交互建模的示意圖如下圖 3 3 。 1 4 第三章t i p ( t o u ri n t ot h ep i c t u r e ) 方法 內(nèi)矩形 5 嫩 2 圖3 3 交互建模過程 由上圖可知，“蜘蛛網(wǎng)絡(luò) 的建模過程主要是通過交互指定內(nèi)部矩形與四條 控制直線的位置來實現(xiàn)的。而要確定它們，只需要確定1 2 個點即可。左上方的 直線由點1 、5 、9 所確定，右上方的直線由點2 、6 、1 0 所確定，左下方的直線 由點3 、7 、1 l 所確定，右下方的直線由點4 、8 、1 2 所確定，而內(nèi)部矩形則由點 1 、2 、3 和4 所確定。由此我們可看出，輸入的二維圖像被劃分成了五塊用來模 擬三維模型的各個墻面，也就是上文提到的上平面( 由點l 、2 、5 、6 確定的部分 所對應(yīng)) 、左平面( 由點1 、3 、5 、7 、9 、1 1 確定的部分所對應(yīng)) 、右平面( 由點 2 、4 、6 、8 、1 0 、1 2 確定的部分所對應(yīng)) 、背面( 由點l 、2 、3 、4 確定的部分 所對應(yīng)) 以及底面( 由點3 、4 、7 、8 、1 1 、1 2 確定的部分所對應(yīng)) 。通過該方法 來模擬三維模型的各個墻面，最后所得的場景模型為一個三維盒狀模型。具體可 如下圖3 4 所示。 圖3 4 三維盒狀模型 3 2 。2 計算三維模型參數(shù) 確定了圖像的滅點( 或消失線中點) 以及各個平面的位置之后，下一步就是 1 5 第三章t i p ( t o u r i m o 廿b p i c t u r e ) 方法 要計算出三維模型的具體參數(shù)，如模型的寬度、高度以及深度等。從數(shù)學(xué)理論的 角度來說，現(xiàn)實世界其實是一個三維空間，空間中的所有點都可以被描述為 似yz ) ，而像平面則是一個二維空問，其上的點則被描述為gy ) 。如下圖 35 所示，點0 既為坐標系的原點，也是視點的位置。取三維空間中的一點 p yz ) ，將其投影在像平面上得到點q 扛y ) 。由圖可知，像平面的位置在 z f由于視點相同所以r 的值可以不用計算出準確結(jié)果，而由使用者給 出即可。 圈3 5 透視投影 由倒35 所不可以看出，在便用者給出7 確定的f 值后，我們就可以根據(jù)上 文建模交互界面所包含的一些數(shù)據(jù)，快速而準確地求出三維模型的所有參數(shù)。首 先我們設(shè)原始圖像的內(nèi)矩形與其底邊的距離為q ，滅點與內(nèi)矩形頂邊的距離為 q ，滅點與內(nèi)矩形左邊的距離為 ，滅點與內(nèi)矩形右邊的距離為屯，火點與圖 像底邊的距離( 也就是視點離地面的距離) 為h ，由透視投影的幾何原理可知三 維模型的各個參數(shù)為： d e e p = 盟 ( 3 1 ) n d - w 砌；盟盟掣 mz ) h e i p h f - + 生：! ! 二生型 ( 33 ) f 第三章t i p ( t o u ri n t ot h ep i c t u r e ) 方法 根據(jù)上述公式( 3 1 ) 、( 3 。2 ) 、( 3 。3 ) 可知，d e e p 表示三維模型的相對深度，w i d t h 表示模型的寬度，h e i g h t 表示模型的高度，因此盒狀模型的五個平面尺寸分別 如下：上平面的尺寸為w i d t h * d e e p ，左平面的尺寸為d e e p * h e i g h t ，右平面的尺 寸為d e e p * h e i g h t ，背面的尺寸為h e i g h t * w i d t h ，底面的尺寸與上平面一樣，同 為w i d t h * d e e p ，至此，三維盒狀模型已經(jīng)被初步確定，但是實際中，滅點的位 置與原始圖像的中心存在著一些偏差，因此通過該方法得到的初步盒狀模型也必 將存在著一些缺損，此時就需要使用一些矯正參數(shù)來做進一步的改善。 ( a ) 俯視圖 i l e i 血 圖3 6 計算三維模型 ( b ) 側(cè)視圖 根據(jù)上圖3 6 所示可知，構(gòu)建三維盒狀模型時需要使用三個校正參數(shù)托1 、刀2 、 刀，其具體的計算方式可如下述公式： 鏟半 鏟羋 鏟掣 ( 3 4 ) ( 3 5 ) ( 3 6 ) 經(jīng)過公式( 3 4 ) 、( 3 5 ) 、( 3 6 ) 可計算得出了校正參數(shù)以t 、刀：、玎3 ，接著就可以 1 7 第三章t i p ( t o u ri n t ot h ep i c t u r e ) 方法 對三維盒狀模型的五個平面尺寸進行修正，具體值可如下：上平面尺寸為 w f 耐敞礦塢) ，左平面尺寸為( d e e p m ) 幸h e i g h t ，右平面尺寸為 ( d e e p - - n 2 ) 牛h e i g h t ，背面與底面不變，仍為w i d t h * h e i g h t 和w i d t h * d e e p 。 3 3 提取紋理 舊 7 ， 根據(jù)( 3 7 ) 公式可知，為了求出口口s 這八個參數(shù)，則至少需要建立八個 x ：! ! ：墨! ! ：! ! ( 3 8 一)x = 二= o( 3 ) l ，：! ! ：莖! ! ! ! 絲 ( 3 9 ) 1 8 第