kinect外文文獻(xiàn)翻譯

1、3D與Kinect揚(yáng)斯米謝克，米哈爾Jancosek和Tomas Pajdla控制論，費(fèi)用，在布拉格捷克技術(shù)大學(xué)的CMP摘要 我們分析的Kinect作為3D測量設(shè)備，實驗調(diào)查深度測量分辨率和誤差性能和使超高動力學(xué)的定量比較精度立體聲重建從單反相機(jī)和一個3D-TOF相機(jī)。我們提出的Kinect幾何模型和它的校準(zhǔn)程序提供精確的校準(zhǔn)Kinect的3D測量和Kinect攝像頭。我們通過整合演示的Kinect校準(zhǔn)的功能它變成一個SFM管道，其中三維測量從運(yùn)動的Kinect被變換成一個共同的坐標(biāo)系統(tǒng)通過從比賽計算相對姿態(tài)彩色攝像機(jī)。1.簡介 Kinect正成為一個重要的三維傳感器。它接收了大量的關(guān)注表示感

2、謝，以人迅速對構(gòu)成三維測量上開發(fā)識別系統(tǒng)。測量的成本低，可靠性承諾使Kinect的主要3D測量室內(nèi)機(jī)器人，三維場景重建設(shè)備，和物體識別。 在本文中，我們提供的幾何分析Kinect的，設(shè)計它的幾何模型，提出了一個校準(zhǔn)過程，并展示其性能。方法建模Kinect的幾何形狀，從而出現(xiàn)近日，為了解一個良好的基礎(chǔ)傳感器。主要有以下幾種最相關(guān)的作品。文獻(xiàn)結(jié)合OpenCV的攝像機(jī)標(biāo)定用Kinect的逆差距的計量模型來獲得基本Kinect的校準(zhǔn)程序。他沒有學(xué)習(xí)Kinect的傳感器的特定功能，并沒有糾正他們。幾乎相同的程序?qū)嵤┗钚匝?，其中該紅外線之間的表觀位移和深度圖像被校正。這種做法的另一個變化出現(xiàn)在，其中的Op

3、enCV校準(zhǔn)替換通過Bouguet的校準(zhǔn)工具箱。我們建立在以前的工作之上，并設(shè)計了一個精確的校準(zhǔn)程序的基礎(chǔ)上考慮的幾何模型，以及作為一個額外的校正程序會計“學(xué)習(xí)”對于剩下的非建模誤差。我們使用全相機(jī)型號和他們的校準(zhǔn)程序為實現(xiàn)在，超高動力學(xué)逆視差之間的關(guān)系和深度如，正確深度和紅外圖像位移如，并添加其他校正訓(xùn)練有素的校準(zhǔn)板的例子。我們證明該校準(zhǔn)超高動力學(xué)可以與結(jié)構(gòu)相結(jié)合運(yùn)動來獲得三維數(shù)據(jù)一致的坐標(biāo)系中，允許通過多視角來構(gòu)建觀測到的景物的表面立體聲。我們的對比表明，Kinect是優(yōu)越在精度SwissRanger SR-40003D-TOF相機(jī)接近中等分辨率單反立體聲鉆機(jī)。我們的研究結(jié)果是根據(jù)10其中

4、兼容觀測關(guān)于Kinect的深度量化被提及。圖1. Kinect的由紅外（IR）投影儀，紅外照相機(jī)和RGB攝像頭。圖2. Kinect的兩尼康D60單反相機(jī)鉆機(jī)。2.作為Kinect的三維測量裝置 Kinect是由一個紅外投影儀的復(fù)合設(shè)備一圖案和IR照相機(jī)，其用于三角測量點(diǎn)在太空中。它可以作為一個深度攝像頭，以及一顏色（RGB）相機(jī)，它可以用來識別圖像內(nèi)容和紋理的3D點(diǎn)，圖1作為測定裝置，超高動力學(xué)提供三種輸出：紅外圖像，RGB圖像，以及（逆向）深度圖像。2.1 紅外圖像 IR（1280×1024像素的57×45度視場，6.1 mm焦距長，5.2m像素大?。z像頭是用來觀察和

5、解碼紅外投射圖案三角3D場景。如果由鹵素?zé)?6，19，同時提供適當(dāng)?shù)恼彰骷t外投影受阻，如圖7（c，d）中，它可以可靠地校正由2使用用于相同的棋盤圖案在RGB攝像頭。相機(jī)表現(xiàn)出不可忽略的徑向和切向變形，標(biāo)簽2。2.2 RGB圖像 RGB（1280×1024像素的63×50度視場，2.9毫米焦距，2.8m像素大?。┫鄼C(jī)提供介質(zhì)質(zhì)量的圖像。它可以由2進(jìn)行校準(zhǔn)和用于跟蹤由SFM系統(tǒng)，例如照相機(jī)運(yùn)動17，7。2.3 深度圖像 超高動力學(xué)的主要原料輸出是對應(yīng)的圖像到的深度在場景中。而不是提供實際深度z，Kinect的返回“逆深度”d圖。圖3（a）?？紤]到深度分辨率達(dá)到的Kinect的（

6、部分2.4），我們通過模型等式。 5建議在3。深度圖像是通過三角測量構(gòu)造從紅外圖像和投影，因此它是由IR圖象，等式“攜帶”。 5。2.4 深度解析圖3（b，c）表示深度分辨率的函數(shù)距離。深度決議通過移動測量Kinect的距離（0.5米，15米）從平面靶足夠精心錄制返回所有值約5視圖圍繞圖像中心領(lǐng)域。量化步驟q的大小，也就是距離兩個連續(xù)的記錄值之間，被發(fā)現(xiàn)是深度z的以下函數(shù)：q(z) = 2.73 z2 + 0.74 z 0.58 mm. (1)以Z米。 q中開始，RESP值。的操作范圍在末端，分別為q(0.50 m) =0.65 mm, resp. q(15.7 m) = 685 mm.(a)

7、 Kinect逆深度作為實際深度的函數(shù)。(b)深入Kinect的量化步長Q（0-15米）。(c)Kinect的深度量化步長（0-5米細(xì)節(jié)）。2.5 紅外圖像和深度圖像之間切換 發(fā)現(xiàn)IR和深度圖像被移位。為了確定移位U0，V0？幾個不同的目標(biāo)被捕獲紅外和深度圖像，圖。圖4（a）。對比目標(biāo)從背景和分割出移是通過使分割的形狀在確定最好對準(zhǔn)，圖圖4（b）。幾個實驗對象不同結(jié)果形狀如表1所示。 1.移估計為平均值在所有實驗。我們的結(jié)果表明，在深度使用尺寸的相關(guān)窗口7×7像素計算處理。這是接近9×9的窗口大小估計在11。 (a)對準(zhǔn)前 （b）對準(zhǔn)后圖4.紅外深度圖像移位和校正。一個目標(biāo)

8、的紅外圖像顯示為黑色。的深度圖像目標(biāo)是通過其白邊表示。表1.紅外深度攝像頭像素位置偏移。3. Kinect的幾何模型 我們建模的Kinect作為由多視圖系統(tǒng)RGB，紅外和深度攝像頭。 RGB的幾何模型和紅外攝像機(jī)，其投射一個三維點(diǎn)X為圖像點(diǎn)U，V?,由2給出的失真參數(shù)K =K1，K2，。 。 。 ，K5，攝像機(jī)標(biāo)定矩陣K，旋轉(zhuǎn)R和攝像機(jī)中心C6。圖5.Kinect的幾何模型。 超高動力學(xué)的深度相機(jī)相關(guān)聯(lián)的幾何紅外相機(jī)。它返回逆深度d沿z軸，圖5，對每個像素U，V的紅外攝像機(jī)作為 其中，U，V是由方程給出。 3，真正的深度z由公式。4，U0，V0按Tab鍵。 1，X代表一個3D的三維坐標(biāo)點(diǎn)，以及

9、C1和C0是模型的參數(shù)。我們聯(lián)想Kinect的坐標(biāo)系與紅外相機(jī)，因此得到RIR=我和CIR=03D點(diǎn)XIR構(gòu)造從測量X，Y，D在深度圖像通過并投射到RGB圖像作為 其中，存款保險計劃是由等式給出的失真函數(shù)。 3，基里巴斯，kRGB是紅外的各自失真參數(shù)和RGB攝像頭，KIR是紅外攝像機(jī)標(biāo)定矩陣KRGB，RRGB，CRGB是校準(zhǔn)矩陣，所述旋轉(zhuǎn)矩陣和中心將RGB攝像頭。4. Kinect的標(biāo)定 我們校正2 Kinect的攝像頭一起通過展示相同的校準(zhǔn)目標(biāo)到IR和RGB照相機(jī)，圖7（c）。以這種方式，兩個照相機(jī)被校準(zhǔn)w.r.t.該相同的3D點(diǎn)和相機(jī)WRT的因此姿勢點(diǎn)可以鏈接給他們的相對姿態(tài)，圖8.以直角

10、坐標(biāo)紅外相機(jī)作為系統(tǒng)Kinect的全球坐標(biāo)系，使相機(jī)相對造成等于RRGB，CRGB。標(biāo)簽。 2，第3顯示內(nèi)部參數(shù)和圖圖6顯示效果在攝像機(jī)的扭曲。我們包括切線畸變，因為它的非忽略增加了整體三維測量的精度。圖。圖7（a）示出了該IR圖像在正常運(yùn)行的Kinect標(biāo)定板當(dāng)它是由其IR發(fā)射照亮。更好的圖像是通過阻斷紅外投影儀和照明獲得由鹵素?zé)魣D偏出。圖7（b）。圖6.既Kinect的攝像頭預(yù)估失真的影響。 紅色數(shù)字表示的尺寸和箭頭的方向像素位移引起的透鏡失真。交叉顯示圖像中心的圓的主點(diǎn)的位置。圖7.在IR，RGB和深度圖像的校準(zhǔn)板。 參數(shù)C0，深度相機(jī)的C1被校準(zhǔn)如下。我們得到了N次測量 ，正從深度圖像

11、全部校準(zhǔn)點(diǎn)，圖7（d）。笛卡爾坐標(biāo)相同XIRi校準(zhǔn)點(diǎn)測量在IR笛卡爾系統(tǒng)通過交叉投影點(diǎn)進(jìn)去紅外圖像的光線用最好的平面裝配到重建的校準(zhǔn)點(diǎn)。參數(shù)C0，C1進(jìn)行了優(yōu)化，以最合適的XDI到使用等式6。表2.Kinect的紅外攝像機(jī)內(nèi)部參數(shù)。表3.Kinect的攝像頭RGB內(nèi)部參數(shù)。圖8.位置和Kinect的IR和RGB攝像頭的方向與單反一對立體聲（左，右）與3D完全校準(zhǔn)重建在平面校準(zhǔn)目標(biāo)點(diǎn)。圖9.平面殘差擬合出的固定模式噪聲從不同的距離的深度圖象。表4.評價的z修正。的標(biāo)準(zhǔn)偏差平面的殘差擬合到平面目標(biāo)的測量已經(jīng)減少。4.1 學(xué)習(xí)復(fù)雜的剩余誤差 它已經(jīng)觀察到超高動力學(xué)校準(zhǔn)與上述程序仍然呈現(xiàn)小而相對復(fù)雜的

12、殘余錯誤近距離測量。圖。 9顯示殘差平面擬合到校準(zhǔn)Kinect的測量后平面靶的跨越視場。目標(biāo)已被抓獲，從18個不同的距離，從0.7至1.3米，高度相關(guān)的殘差進(jìn)行核算。沿250水平深度圖像行殘差圖10（a）。殘值是一貫的積極中心和負(fù)在外圍。為了補(bǔ)償該殘留誤差，我們形成z值的Z校正圖像構(gòu)造為所有的殘余圖像的逐像素平均。的z校正圖像是從z中減去坐標(biāo)XIR的計算等式所。 6。為了評估該修正方法，在z校正圖像從甚至圖像，然后對殘差構(gòu)建施加到奇數(shù)（表的第一行。4）和偶數(shù)（第二行選項卡中。 4）深度圖像。的標(biāo)準(zhǔn)偏差殘差下降。施加的z校正Kinect的測量后從在第5.1節(jié)，平均所描述的實驗的殘留誤差減少了約0

13、.25毫米，圖。圖10（b）。在4410點(diǎn)的殘差進(jìn)行評價跨越視場。5.驗證5.1 Kinect的，SLRStereo和3DTOF的比較 我們比較的平面靶的測定精度通過Kinect的，單反立體聲和3D TOF相機(jī)。 Kinect和單反立體聲（圖像尺寸2304×1536像素）分別為剛性地安裝（圖2）和校準(zhǔn)（圖8）在一起。單反立體聲被重建校準(zhǔn)點(diǎn)完成由2提取并通過線性最小二乘三角三角6。他們測量了同一平面靶中315控制校準(zhǔn)點(diǎn)在每個14的目標(biāo)。 SR-40003D TOF13不同的測量平面靶，但在一個可比的距離范圍0.9 - 從1.4米在每個11的88控制校準(zhǔn)點(diǎn)傳感器校準(zhǔn)目標(biāo)。誤差e，標(biāo)簽。

14、5，對應(yīng)于由傳感器返回的點(diǎn)之間的歐幾里德距離和在校準(zhǔn)的過程中重構(gòu)點(diǎn)的傳感器的相機(jī)。單反立體聲是最準(zhǔn)確的，Kinect的遵循和SR-4000是最準(zhǔn)確的。圖10.糾正復(fù)雜的剩余誤差表5.單反立體三角對比，Kinect和SR-40003D TOF深度傳感。圖11.從超高動力學(xué)的RGB攝像機(jī)和圖像的實施例被用于現(xiàn)場重建了相應(yīng)深度5.2 結(jié)合Kinect和SFM 圖11示出的一對1/2分辨率（640×480）的KinectRGB圖像和沿途經(jīng)過的RGB光線的深度圖像中的像素通過計算等式。 50 7.序列RGB-深度圖像對已獲得的該的RGB相機(jī)的姿勢已經(jīng)計算由SFM管道17，7。使用Kinect的

15、標(biāo)定，真深度圖像已經(jīng)計算并一起注冊。 圖12（a）表示從得到的3D點(diǎn)重建的表面僅僅通過多視點(diǎn)立體9在Kinect的RGB圖像。12（b）表示通過使用所獲得的改善加入注冊的Kinect 3D數(shù)據(jù)后，同樣的方法。圖。 13比較3D表面重建從點(diǎn)云計算飛機(jī)清掃9 70 Kinect的通過的表面reconstruciton處理的3D數(shù)據(jù)9（2304×1536像素）。超高動力學(xué)三維數(shù)據(jù)被登記到一個公共通過SFM坐標(biāo)系17，7應(yīng)用到Kinect的圖像數(shù)據(jù)。我們可以看到，多個測量時，被使用，結(jié)果與Kinect是相當(dāng)類似，以更準(zhǔn)確的多視圖atereo重建。六 結(jié)論我們提供的Kinect3D測量的分析能

16、力和校準(zhǔn)程序，允許合并Kinect的與SFM和多視點(diǎn)立體，這將打開用于超高動力學(xué)應(yīng)用的新領(lǐng)域。有趣的是，觀察到在多視點(diǎn)重建的質(zhì)量，Kinect的overperformed SwissRanger SR-4000和接近3.5米像素單反立體聲。圖12.現(xiàn)場重建，從Kinect的攝像頭的RGB。該圖為重建質(zhì)量時的比較場景采用多視點(diǎn)立體和情況下，只有重建當(dāng)從Kinect的三維數(shù)據(jù)也是可用的。圖13.Kinect的比較多視圖重建參考文獻(xiàn)1 D。Avrahami等。 RGB-D：技術(shù)和用法對于Kinect的深度風(fēng)格的相機(jī)。 HTTP：/ ILS。intel-2 J. Y. Bouguet。攝像機(jī)標(biāo)定工具箱

17、HTTP/WWW/bouguetj/calib_doc/，2010年1月KinectCalibration。4一Dryanovski，W.莫里斯和S. Magnenat。 Kinect的節(jié)點(diǎn)/wiki/kinect_node，2010。5 B.弗里德曼，A Shpunt，M Machline和Y Arieli。深度以投影的圖案繪制，2010年1月6 R.哈特利和A. Zisserman。在多視圖幾何計算機(jī)視覺。劍橋，第二版，2003年3月7 M. Havlena，A鳥居，和T. Pajdla。從高效的結(jié)構(gòu)由圖優(yōu)化運(yùn)動。在EC

18、CV，2010年2月8 D. C.埃雷拉，J. Kannala和J. Heikkila。準(zhǔn)確和深度和彩色攝像機(jī)實際校準(zhǔn)對。 http:/www.ee.oulu.fi/dherrera/Kinect的/ 2011-depth_calibration.pdf，2011年1月9 M。Jancosek和T. Pajdla。多視圖重建preservingpreserving弱支撐面。 2011. 6,710 K. Khoshelham。 Kinect的深度數(shù)據(jù)分析的準(zhǔn)確性。在ISPRS車間激光掃描，體積XXXVIII 2011年1月kinect_calibration /技術(shù)，2011年1月12 K.萊，L.博，十仁和·?？怂埂Ｏ∈柽h(yuǎn)程教育用于對象識別結(jié)合RGB和深度信息。在機(jī)器人上的IEEE國際會議自動化，2011年1月13 MESA成像。 SwissRanger SR-4000。 HTTP：/ WWW。mesa-imaging.ch/，2011年5月14微軟。 Kinect的用于X BOX 360 http:/www.xbox。COM / EN-US / Kinect的，2010年1月15 J.肖頓，菲茨吉本A.，M.庫克，T.夏普，M Finocchio，R.摩爾，A Kipman，和A.布雷克。實時人類姿勢識別在零件從一個單