移動(dòng)增強(qiáng)現(xiàn)實(shí)中視覺(jué)三維注冊(cè)方法的實(shí)現(xiàn)

1、總第 266期 2011年第 12期計(jì)算機(jī)與數(shù)字工程C o m p u t e r &D i g i t a l E n g i n e e r i n gV o l . 39N o . 12 138移動(dòng)增強(qiáng)現(xiàn)實(shí)中視覺(jué)三維注冊(cè)方法的實(shí)現(xiàn) *范利君 童小念(中南民族大學(xué)計(jì)算機(jī)學(xué)院 武漢 430074摘 要 為了提高移動(dòng)增強(qiáng)現(xiàn)實(shí)注冊(cè)技術(shù)的性能 , 采用了一種基于計(jì)算機(jī)視覺(jué)的注冊(cè)算法 。 該方法利用 A R T o o l k i t 中 的標(biāo)識(shí)檢測(cè)法查找相關(guān)的標(biāo)識(shí)和特征點(diǎn) , 然后基 于 視 覺(jué) 三 維 注 冊(cè) 算 法 得 到 模 型 視 圖 矩 陣 , 最 后 在 相 應(yīng) 位 置 繪 制 虛 擬

2、 物 體 。 實(shí)驗(yàn)結(jié)果表明這種注冊(cè)方法在實(shí)時(shí)性 、 穩(wěn)定性 、 抗遮擋性方面效果良好 , 滿足移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)高精度三維注冊(cè)的要求 。 關(guān)鍵詞 增強(qiáng)現(xiàn)實(shí) ; 注冊(cè)技術(shù) ; 移動(dòng)增強(qiáng)現(xiàn)實(shí) ; 三維注冊(cè)中圖分類(lèi)號(hào) T P 391R e a l i z a t i o n o f V i s u a l T h r e e -d i m e n s i o n a l R e g i s t r a t i o n M e t h o d i n M o b i l e A u g m e n t e d R e a l i t yF a n L i j u n T o n g X i a o n

3、i a n(S c h o o l o f C o m p u t e r S c i e n c e , S o u t h -C e n t r a l U n i v e r s i t y f o r N a t i o n a l i t i e s , W u h a n 430074A b s t r a c t I n o r d e r t o i m p r o v e t h e p e r f o r m a n c e o f r e g i s t e r e d t e c h n i c i a n s , u s e s a r e g i s t r a t

4、 i o n a l g o r i t h m b a s e d o n c o m p u t -e r v i s i o n . T h e m e t h o d t a k e t h e u s e o f A R T o o l k i t d e t e c t i o n f u n c t i o n t o d o t h e i d e n t i f i c a t i o n o f t h e s e a r c h -r e l a t e d i d e n t i t y a n dc h a r a c t e r i s t i c s p o i

5、n t s , t h e n u s e t h r e e -d i m e n s i o n a l v i s i o n -b a s e d r e g i s t r a t i o n a l g o r i t h m t o g e t t h e m o d e l -v i e w m a t r i x , a t l a s td r a w t h e v i r t u a l o b j e c t . T h r o u g h e x p e r i m e n t a l r e s u l t s s h o w t h a t t h e r e

6、g i s t r a t i o n m e t h o d i s p r e s e n t e d w e l l i n t e r m s o f r e a l -t i m e , s t a b i l i t y , a n t i -b l o c k i n g e f f e c t , m e e t i n g t h e i n c r e a s e d h i g h -p r e c i s i o n r e q u i r e m e n t s o f t h r e e -d i m e n s i o n a l r e g i s t r a

7、t i o n o f m o b i l e a u g m e n t e d r e a l i t y s y s t e m.K e y W o r d s a u g m e n t e d r e a l i t y , r e g i s t r a t i o n t e c h n o l o g y , m o b i l e a u g m e n t e d r e a l i t y , t h r e e -d i m e n s i o n a l r e g i s t r a t i o n C l a s s N u m b e r T P 3911 引言

8、增強(qiáng)現(xiàn)實(shí) (A u g m e n t e d R e a l i t y , A R 是 虛 擬 現(xiàn) 實(shí)的一個(gè)重要分支 。 增強(qiáng)現(xiàn)實(shí)技術(shù)借助顯示技術(shù) 、 交互技術(shù) 、 多種傳感技術(shù)和計(jì)算機(jī)圖形與多媒體技 術(shù)將計(jì)算機(jī)生成的虛擬環(huán)境 和 使 用 者 周 圍 的 現(xiàn) 實(shí) 環(huán)境融為一體 , 使用戶從感官效果上認(rèn)為虛擬環(huán)境 是周?chē)鎸?shí)環(huán)境的 組 成 部 分 。 增 強(qiáng) 現(xiàn) 實(shí) 具 有 虛 實(shí) 結(jié)合 、 實(shí)時(shí)交互 、 三維注冊(cè)的特點(diǎn) 12。作為一種新型的技 術(shù) , 增強(qiáng)現(xiàn)實(shí)在醫(yī)學(xué) 、 工 業(yè) 制造 、 建 筑 、 教 育 和 娛 樂(lè) 等 領(lǐng) 域 有 廣 泛 的 應(yīng) 用 前 景 34。 隨著移動(dòng)計(jì)算機(jī)設(shè)備

9、和網(wǎng)絡(luò)技術(shù)的發(fā)展 , 增強(qiáng)現(xiàn)實(shí)技術(shù)在網(wǎng)絡(luò)和移動(dòng) 設(shè) 備 上 的 應(yīng) 用 越 來(lái) 越 多 , 移動(dòng)增強(qiáng)現(xiàn)實(shí)就是在這種趨勢(shì)下形成的一項(xiàng)新 技術(shù) , 其目標(biāo)就是將增強(qiáng)現(xiàn)實(shí)技術(shù)運(yùn)用在移動(dòng)設(shè)備 終端 。 增強(qiáng)現(xiàn)實(shí)技術(shù)可配合手機(jī)使用 , 如以相機(jī)來(lái) 掃描辨識(shí)飯店外觀 , 即可進(jìn)行空房查詢 、 訂房 ; 以相 機(jī)掃描尚未裝潢的辦公室 , 則會(huì)出現(xiàn)一系列的裝潢 元素 , 讓操作者選配 。 諸如此類(lèi)的應(yīng)用具有廣泛的 用途 。增強(qiáng)現(xiàn)實(shí)逐漸向移動(dòng)增強(qiáng)現(xiàn)實(shí)發(fā)展 , 而注冊(cè)技 術(shù)依然是其瓶頸技 術(shù) 。 注 冊(cè) 技 術(shù) 所 要 完 成 的 任 務(wù) 是實(shí)時(shí)監(jiān)測(cè)使用者頭部的位置和視線方向 , 計(jì)算機(jī) 根據(jù)這些信息確定所要添加

10、 的 虛 擬 信 息 在 投 影 平 面中的映射位置 , 并將這些信息實(shí)時(shí)的顯示在正確 的位置 。*收稿日期 :2011年 6月 10日 , 修回日期 :2011年 7月 15日作者簡(jiǎn)介 :范利君 , 女 , 碩士研究生 , 研究方向 :增強(qiáng)現(xiàn)實(shí) 。 童小念 , 女 , 教授 , 研究方向 :虛擬現(xiàn)實(shí) , 增強(qiáng)現(xiàn)實(shí) 。2 增強(qiáng)現(xiàn)實(shí)和移動(dòng)增強(qiáng)現(xiàn)實(shí)的體系結(jié)構(gòu) A R 系統(tǒng)不需要顯示完整的場(chǎng) 景 ,但需 要分析 定位數(shù)據(jù)和場(chǎng)景信息以使得 由 計(jì) 算 機(jī) 生 成 的 虛 擬 物體可以 精 確 定 位 在 真 實(shí) 場(chǎng) 景 中 。 A R 系 統(tǒng) 分 為 四個(gè)步驟 :1 獲取真實(shí)場(chǎng)景信息 ; 2 對(duì)真實(shí)場(chǎng)

11、景 和相機(jī)位置信息進(jìn)行分析 ; 3 生 成 虛 擬 場(chǎng) 景 ; 4 虛實(shí)場(chǎng)景融合顯示 。2. 1 傳統(tǒng)增強(qiáng)現(xiàn)實(shí)的體系結(jié)構(gòu)增強(qiáng)現(xiàn)實(shí)的一般結(jié)構(gòu)中 , 由攝像機(jī)獲取周?chē)鎸?shí) 環(huán)境的信息 , 跟蹤注冊(cè)系統(tǒng)則用于跟蹤觀察用戶的頭 部方位和視線方向 , 虛擬場(chǎng)景生成要加入的虛擬圖形 對(duì)象 , 虛實(shí)合成系統(tǒng)則是將虛擬場(chǎng)景和真實(shí)場(chǎng)景定位 配準(zhǔn)的系統(tǒng) 。 增強(qiáng)現(xiàn)實(shí)系統(tǒng)結(jié)構(gòu)圖如圖 1所示。 圖 1 增強(qiáng)現(xiàn)實(shí)系統(tǒng)結(jié)構(gòu)圖2. 2 移動(dòng)增強(qiáng)現(xiàn)實(shí)的體系架構(gòu)移動(dòng)增強(qiáng)現(xiàn)實(shí)的系統(tǒng)架構(gòu)采用客戶端/服務(wù)器的 模式 , 移動(dòng)終端設(shè)備作為客戶端 , 在存儲(chǔ)設(shè)備上存儲(chǔ)虛 擬的三維圖像 。 移動(dòng)終端通過(guò)攝像頭獲取真實(shí)場(chǎng)景 的視頻 , 通過(guò)

12、無(wú)線網(wǎng)絡(luò)傳送給服務(wù)器 , 服務(wù)器端獲取真 實(shí)場(chǎng)景圖像后實(shí)現(xiàn)三維跟蹤注冊(cè) ; 再根據(jù)注冊(cè)的結(jié)果 計(jì)算出虛擬模型的渲染參數(shù) , 通過(guò)無(wú)線網(wǎng)絡(luò)傳給移動(dòng) 終端 ,移動(dòng)終端進(jìn)行虛擬場(chǎng)景渲染并進(jìn)行虛實(shí)融合 , 將 最終的場(chǎng)景圖像顯示在移動(dòng)終端的用戶界面 5。 移動(dòng) 增強(qiáng)現(xiàn)實(shí)系統(tǒng)結(jié)構(gòu)圖如圖 2所示。 圖 2 移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)結(jié)構(gòu)圖3 三維注冊(cè)算法實(shí)現(xiàn)3. 1 注冊(cè)技術(shù)的基本原理一般采用 4個(gè)坐標(biāo)系來(lái)描述注冊(cè)原理 。 例如 , 用 X Y Z 表示世界坐標(biāo)系 , X Y Z 表 示 虛擬空間坐 標(biāo) , 用于對(duì)所疊加的虛擬物體的幾何描述 , X 1Y 1Z 1表示攝像機(jī)坐標(biāo)系 。 由 于 疊 加 到 真 實(shí) 空

13、 間 中 的 虛 擬物體的方位是由增強(qiáng)現(xiàn)實(shí)系統(tǒng)的功能決定的 , 已 知虛擬空間坐標(biāo)系和真實(shí)空間坐標(biāo)系的關(guān)系 , 則三 維虛擬物體在虛擬空間坐標(biāo) 系 的 幾 何 描 述 到 世 界 坐標(biāo)系之間的轉(zhuǎn)換關(guān)系為 x y z 1=x y z 1S , 其中 , S 是虛擬空間坐標(biāo)到世界坐標(biāo)之間的轉(zhuǎn)換矩陣 。 如果再得到世 界 坐 標(biāo) 到 攝 像 機(jī) 坐 標(biāo) 間 的 視 圖轉(zhuǎn)換矩陣 T , 三維虛擬物體在虛擬空間坐標(biāo)系中 的幾何描述 (x , y , z 通過(guò) x 1y 1z 11=x y z 1S T 可變換 到 世 界 坐 標(biāo) 系 中 的 坐 標(biāo) (x 1, y 1, z 1 。 最后 , 將虛擬物體

14、在攝像機(jī)的坐標(biāo)投影到圖像平面 坐標(biāo)系 , 即可實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的注冊(cè) 。 3. 2 檢測(cè)標(biāo)識(shí)和特征點(diǎn)的位置本文 采 用 A R T o o l k i t 6中 的 標(biāo) 識(shí) 檢 測(cè) 法 查 找相關(guān)標(biāo)識(shí)和特征點(diǎn) ,這些特征點(diǎn)是整個(gè)增強(qiáng)現(xiàn)實(shí)過(guò) 程中的參考點(diǎn) 。 在利用 A R T o o l k i t 開(kāi) 發(fā) 增 強(qiáng) 現(xiàn) 實(shí) 系統(tǒng)前 ,必須制作標(biāo) 識(shí) , 系 統(tǒng) 根 據(jù) 這 些 不 同 的 標(biāo) 識(shí) 返回的不 同 I D 值 來(lái) 疊 加 不 同 的 虛 擬 場(chǎng) 景 。 利 用A R T o o l k i t 作為開(kāi)發(fā)平臺(tái) , 首先將采集到的一幀彩 色圖像轉(zhuǎn)換成一幅二值圖像 , 然后對(duì)該二值圖像進(jìn)

15、 行連通域分析 , 找出其中的所有的四邊形區(qū)域作為 候選匹配區(qū)域 , 將每一候選區(qū)域與模板庫(kù)中的模板 進(jìn)行 匹 配 , 如 果 產(chǎn) 生 匹 配 , A R T o o l k i t 即 找 到 了 一 個(gè)標(biāo)識(shí) 。3. 3 基于視覺(jué)三維注冊(cè)的算法推導(dǎo)三維基準(zhǔn)注冊(cè)的過(guò)程就是對(duì)攝像機(jī)的空間定位及其跟蹤 79, 由注冊(cè)技術(shù)基本原理可知 , 關(guān)鍵在于求出矩陣 T 。 本文算法的基本步驟如下 :1 已知標(biāo) 志點(diǎn)在場(chǎng)景中的坐標(biāo) (x i , y i , z i ; 2 測(cè)定標(biāo)志點(diǎn)的 投影坐標(biāo) (u i , v i ; 3 利用透視投影方程建立圖像平 面點(diǎn)與場(chǎng)景點(diǎn)的聯(lián)系 ; 4解出變換矩陣 T 。 虛擬物體

16、幾 何 表 達(dá) 式 與 真 實(shí) 物 體 幾 何 表 達(dá) 式 的關(guān)系如下 :(x , y , z T =R (x , y ,z T+T (1其中 ,R =x x r x y r x z y x r y y r y z z x r z y r z z T =(t x , t y ,t z 從真實(shí)空間 坐 標(biāo) 系 到 觀 察 空 間 坐 標(biāo) 系 的 變 換 如下 :x =r x x x +r x y y +r x z z +t xy =r y x x +r y y y +r y z z +t yz =r z x x +r z y y +r z z z +t z (2 在觀察空間的坐標(biāo)系中 , 場(chǎng)景點(diǎn)

17、的位置是未知 的 , 但是點(diǎn)在圖像平面上的投影可以由透視投影方 程來(lái)確定 :F =z F=z (3其中 , F 為攝像機(jī) 的 焦距 (F 已知為攝 像機(jī) 的 內(nèi) 部 參數(shù) , 由式 (2 和式 (3 可知 , 每個(gè)標(biāo)志點(diǎn)可以確定 如下兩個(gè)獨(dú)立的約束方程 :u (r z x x +r z y y +r z z z +t z -F (r x x x +r x y y +r x z z +t x =0 v (r z x x +r z y y +r z z z +t z -F (r y x x +r y y y +r y z z +t y =0 (4 顯然 , 由 6個(gè)標(biāo)志點(diǎn)可以產(chǎn)生 12個(gè)方程 ,

18、從而 可以解出變換矩陣 T 中的 12個(gè)參數(shù) 。以上算法使用旋轉(zhuǎn)矩陣的規(guī)范化正交約束 , 只 需 4個(gè)標(biāo)志點(diǎn)就可以解出矩陣 T 中 的 12個(gè)參 數(shù) 。 由于標(biāo)志點(diǎn)都在同一個(gè)平面內(nèi) , 4個(gè)標(biāo)志點(diǎn)的絕對(duì) 坐標(biāo)為 (x i , y i , 0 (i =1, 2, 3, 4 , 則式 (4 可 以簡(jiǎn)化 為u (r z x x +r z y y +t z -F (r x x x +r x y y +r x z z +t x =0 v (r z x x +r z y y +t z -F (r y x x +r y y y +r y z z +t y =0 (5 由于 t z 只是各參數(shù)的比例因子 ,

19、設(shè) t z =1, 則式 (5 可以進(jìn)一步簡(jiǎn)化為u (r z x x +r z y y +1 -F (r x x x +r x y y +r x z z +t x =0 v (r z x x +r z y y +1 -F (r y x x +r y y y +r y z z +t y =0 (6 此時(shí) , 式 (6 中只有 8個(gè)參數(shù) , 即只要 4個(gè)標(biāo)志 點(diǎn)就可以得到 8個(gè)方程 , 解此線性方程組可求出 8個(gè)參數(shù) :r x x , r x y , ry x, ry y, rz x, rz y, tx和 t y 。因?yàn)樾D(zhuǎn)矩陣 R 是正交規(guī)范化矩陣 , 所以 R T R =I 一定成 立 , 利

20、 用 這 一 特 性 可 以 計(jì) 算 如 下 幾 個(gè) 參數(shù) :r x z =-r 2x x -r 2x y r y z =-r 2y x -r 2y y r z z = -r z x r x z -r z y r y z如上實(shí)現(xiàn)了攝像機(jī)的跟蹤 , 并計(jì)算出了虛擬空 間坐標(biāo)系和攝像機(jī) 坐 標(biāo) 系 間 的 視 圖 轉(zhuǎn) 換 矩 陣 。 下 一步將虛擬物體在攝像機(jī)坐 標(biāo) 系 中 的 坐 標(biāo) 投 影 到 圖像平面坐標(biāo)系 U V , 則可完成增強(qiáng) 現(xiàn)實(shí)系統(tǒng)的 注 冊(cè) 。圖 3 虛擬物體投影坐標(biāo)變換圖 3中 U V 坐標(biāo)系表示要顯示的圖像平面坐標(biāo) 系 10, d 表示攝像機(jī)中心到視區(qū)的距離 , A 點(diǎn)表示一

21、 個(gè)虛擬物體的圖像點(diǎn) , 它在攝像機(jī)坐標(biāo)系中的坐標(biāo) 為 (x a , y a , z a , 根據(jù)透視投影的原理求出 A 點(diǎn)在顯 示圖像平面中的坐標(biāo) (x a , y a 。 A 2是 A 點(diǎn)在 Y O Z 平 面的正投影 , A 1是 A 點(diǎn)在 X O Z 平面的正投影 。 A 2和 A 1在圖像平面上的投影分別是 y a 和 x a , 由于 o o x a o z a A 1; o o y a o z a A 2則由數(shù)學(xué)中相似定理可知 x ad=x az aad= a z a 由于 x a , y a , z a 為 A 點(diǎn)在攝像機(jī)坐標(biāo)系中的坐 標(biāo) , 而這個(gè)坐標(biāo)通過(guò)攝像機(jī)跟蹤已求出來(lái)了

22、 , 則 :x a =az a; ya =az a至此已完成 了 世 界 坐 標(biāo) 系 和 攝 像 機(jī) 坐 標(biāo) 系 間 的轉(zhuǎn)換 , 即完成了注冊(cè)過(guò)程 。 虛擬物體投影坐標(biāo)變 換如圖 3所示 。由于攝像機(jī)的內(nèi)在參數(shù)是已知的 , 利用計(jì)算出 的視圖轉(zhuǎn)換坐標(biāo) , 可通過(guò) O p e n G L 實(shí)現(xiàn)圖像繪制 。 4 實(shí)驗(yàn)結(jié)果及分析本文利用普通的免驅(qū)動(dòng)的 U S B 接口的攝像頭 獲取圖像 , 采用 O p e n G L 三維圖形庫(kù)繪制三維虛擬 模型 。 其 模 型 如 圖 4所 示 , 在 大 寫(xiě) 字 母 A 中 手 繪 一個(gè)黑色的小矩形 , 虛擬物體被增強(qiáng)到這個(gè)矩形框 上 , 圖中的虛擬物體是一個(gè)

23、彩色的立方體 。圖 4 不同狀態(tài)下的注冊(cè)效果系統(tǒng)實(shí)時(shí)性參數(shù) :1 參考點(diǎn)的檢測(cè)時(shí)間開(kāi)銷(xiāo) 。 實(shí)驗(yàn)中利用 A R T o o l k i t 檢測(cè)參考點(diǎn)的平均 計(jì) 算 時(shí) 間是 0. 0185s ; 2 參 考 點(diǎn) 的 跟 蹤 時(shí) 間 開(kāi) 銷(xiāo) 。 實(shí) 驗(yàn)中的圖 像 大 小 為 640480, 其 跟 蹤 指 定 點(diǎn) 的 時(shí) 間 不超過(guò) 0. 002s ; 3 矩陣參數(shù)的計(jì)算時(shí)間開(kāi)銷(xiāo) 。 實(shí) 驗(yàn)中計(jì)算矩陣參數(shù)的時(shí)間為 0. 0019s 。 因此 , 這種 注冊(cè)方法是快速的 , 能夠滿足實(shí)時(shí)性的要求 。5 結(jié)語(yǔ)本文討論并 實(shí) 現(xiàn) 了 一 種 基 于 視 覺(jué) 的 三 維 注 冊(cè) 算法 。 實(shí)驗(yàn)結(jié)果表明

24、這種算法計(jì)算量小 , 數(shù)值求解 過(guò)程是線性的 , 誤差小 , 實(shí)時(shí)性效果好 。參 考 文 獻(xiàn)1朱淼良 , 姚遠(yuǎn) , 蔣 云 良 . 增 強(qiáng) 現(xiàn) 實(shí) 綜 述 J . 中 國(guó) 圖 象 圖 形學(xué)報(bào) , 2004, 9(7 :7667752A z u m a R , B a i l l o t Y. R e c e n t a d v a n c e s i n a u g m e n t e d r e -a l i t y J . I E E E C o m p u t e r G r a p h i c s a n d A p p l i c a t i o n s , 2001, 21(6 :

25、33483B a r f i e l d W , B a i r d K. A p p l i c a t i o n s o f w e a r a b l e c o m p u t -e r s a n d a u g -m e n t e d r e a l i t y t o m a n u f a c t u r i n g C /F u n -d a m e n t a l s o f W e a r a b l e C o m p u t e r s a n d A u g m e n t e d R e -a l i t y , 2001:696725 4M a c l n

26、t y r e B , L o h s e M. I n t e g r a t i n g 2-D v i d e o a c t o r s i n -t o 3-D a u g -m e n t e d -r e a l i t y s y s t e m s J . P r e s e n c e , 2002, 11(2 :1872015H I L E H , B O R R I E L L O G.I n f o r m a t i o n o v e r l a y f o r c a m e r a p h o n e s i n i n d o o r e n v i r o

27、 n m e n t s J .L e c t u r e N o t e s i n C o m p u t e r S c i e n c e , 2007:68876K a t o H , B i l l i n g h u r s t M.M a r k e r t r a c k i n g a n d HM D c a l i b r a t i o n f o r a v i d e o -b a s e d a u g m e n t e d r e a l i t y c o n f e r -e n c i n g s y s t e m C /P r o c S e c

28、o n d I E E E a n d A C M l n t l W o r k s h o p A u g m e n t e d R e a l i t y , 1999:84977C h e n J i n g , W a n g Y o n g -t i a n , S h i Q i . D y n a m i c R e g i s -t r a t i o n M e t h o d i n A u g m e n t e d R e a l i t y S y s t e m J . J o u r -n a l o f B e i j i n g I n s t i t u t e o f T e c h n o l o g y , 2001, 21(5 :632 6378周雅 , 等 . 一種增強(qiáng)現(xiàn)實(shí)系 統(tǒng) 的 三 維 注 冊(cè) 方 法 J . 中 國(guó) 圖象圖形學(xué)報(bào) , 2000, 5(A 5 :2542569王涌天 , 劉 越 , 胡 曉 明 . 戶 外 增 強(qiáng) 現(xiàn) 實(shí) 系 統(tǒng) 關(guān) 鍵 技 術(shù) 及 其應(yīng)用的研究 J . 系統(tǒng)仿真學(xué)報(bào) , 2003(3 :329334 10周雅 , 閆達(dá)