雙網(wǎng)絡(luò)攝像頭立體視覺系統(tǒng)應(yīng)用研究_圖文

1、大連理工大學(xué)碩士學(xué)位論文雙網(wǎng)絡(luò)攝像頭立體視覺系統(tǒng)應(yīng)用研究姓名：魏燚濰申請學(xué)位級別：碩士專業(yè)：軟件工程指導(dǎo)教師：王秀坤20081205大連理工大學(xué)碩士學(xué)位論文摘要雙目立體視覺是當(dāng)前計算機(jī)視覺領(lǐng)域中的重要研究內(nèi)容，隨著網(wǎng)絡(luò)攝像頭的普及，用兩個網(wǎng)絡(luò)攝像頭構(gòu)造立體視覺系統(tǒng)具有便利的實(shí)現(xiàn)條件，以此為基礎(chǔ)可以搭建適用于家庭和個人的人機(jī)交互系統(tǒng)，可應(yīng)用于操作計算機(jī)以及進(jìn)行互動式游戲等。對這一領(lǐng)域的研究將會使人們在操作計算機(jī)時具有完全不同于現(xiàn)在的體驗(yàn)，它將在一定程度上改變?nèi)藗兊纳睿瑩碛袕V闊的發(fā)展前景，因此具有重要的理論意義和實(shí)用價值。立體視覺系統(tǒng)在實(shí)現(xiàn)時一般采用的方法是用兩個攝像機(jī)從不同角度同時獲取目標(biāo)物體

2、的兩幅數(shù)字圖像，基于視差原理，在己知兩攝像機(jī)內(nèi)外參數(shù)的基礎(chǔ)上，恢復(fù)出目標(biāo)物體的三維空間信息。具體可分為攝像機(jī)標(biāo)定、特征點(diǎn)提取、立體匹配、三維重構(gòu)個部分。本文主要圍繞這幾個方面的內(nèi)容展開研究，通過分析總結(jié)國內(nèi)外立體視覺研究工作的成果，結(jié)合實(shí)際應(yīng)用中的需求，在大量理論推導(dǎo)和實(shí)驗(yàn)的基礎(chǔ)上取得了以下成果：分析對比了攝像機(jī)和網(wǎng)絡(luò)攝像頭的特點(diǎn)，在經(jīng)典的兩步法的基礎(chǔ)上對其進(jìn)行了改進(jìn)，提出了一種新的適用于網(wǎng)絡(luò)攝像頭的標(biāo)定方法，提高了標(biāo)定精度。采用了一種基于模型，應(yīng)用參數(shù)特征值來識別特征物體并獲得其質(zhì)心點(diǎn)坐標(biāo)的方法。該方法不但可以較準(zhǔn)確地提取特征點(diǎn)，而且使用該方法極大地減小了在實(shí)際應(yīng)用中立體匹配的難度。在互動式

3、動漫游產(chǎn)品開發(fā)引擎技術(shù)平臺中成功地應(yīng)用了本文研究的雙網(wǎng)絡(luò)攝像頭立體視覺系統(tǒng)。實(shí)驗(yàn)結(jié)果表明本文采用的攝像機(jī)標(biāo)定方法、特征點(diǎn)提取方法、立體匹配方法以及三維重構(gòu)方法完全可以滿足實(shí)際應(yīng)用的需要。關(guān)鍵詞：攝像機(jī)標(biāo)定；雙目立體視覺；三維重構(gòu)；計算機(jī)視覺；游戲開發(fā)引擎雙網(wǎng)絡(luò)攝像頭立體視覺系統(tǒng)應(yīng)用研究也，訛，百，：面也，如】：；：；大連理工大學(xué)學(xué)位論文獨(dú)創(chuàng)性聲明作者鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師的指導(dǎo)下進(jìn)行研究工作所取得的成果。盡我所知，除文中已經(jīng)注明引用內(nèi)容和致謝的地方外，本論文不包含其他個人或集體已經(jīng)發(fā)表的研究成果，也不包含其他已申請學(xué)位或其他用途使用過的成果。與我一同工作的同志對本研究所做的貢

4、獻(xiàn)均已在論文中做了明確的說明并表示了謝意。若有不實(shí)之處，本人愿意承擔(dān)相關(guān)法律責(zé)任。學(xué)位論文題目：丞圓縫攝速基童述趣鱟丞統(tǒng)應(yīng)用貿(mào)究作者簽名：盤查童縫日期：圣竺！圣年立月日大連理工大學(xué)碩士研究生學(xué)位論文大連理工大學(xué)學(xué)位論文版權(quán)使用授權(quán)書本人完全了解學(xué)校有關(guān)學(xué)位論文知識產(chǎn)權(quán)的規(guī)定，在校攻讀學(xué)位期間論文工作的知識產(chǎn)權(quán)屬于大連理工大學(xué)，允許論文被查閱和借閱。學(xué)校有權(quán)保留論文并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和電子版可以將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印、或掃描等復(fù)制手段保存和匯編本學(xué)位論文。學(xué)位論文題目：丞圈整攝像差童體塑鱟丕統(tǒng)座題盈究作者簽名：絲燮逛日期：蘭！呈

5、年：月日導(dǎo)師簽名：大連理工大學(xué)碩士學(xué)位論文緒論論文所屬研究領(lǐng)域及研究意義隨著計算機(jī)技術(shù)和互聯(lián)網(wǎng)的高速發(fā)展以及人們對生活品質(zhì)要求的提高，網(wǎng)絡(luò)游戲在短短幾年之內(nèi)得到了飛速的發(fā)展。以網(wǎng)絡(luò)游戲?yàn)榇淼挠螒虍a(chǎn)業(yè)已經(jīng)成為與影視、音樂并駕齊驅(qū)的娛樂產(chǎn)業(yè)之一，成為全球業(yè)新的增長點(diǎn)。但是我國的游戲產(chǎn)業(yè)還存在一些問題，主要體現(xiàn)在兩個方面：一是目前國內(nèi)最有影響的幾款網(wǎng)絡(luò)游戲都是國外制作開發(fā)的，國內(nèi)公司以代理為主，而游戲的代理費(fèi)用極其高昂，代理商在支付高額的代理費(fèi)用后還要把運(yùn)營游戲所獲得的利潤與游戲提供商分享，大大降低了自身的實(shí)際利潤。這不利于民族產(chǎn)業(yè)的發(fā)展。二是當(dāng)前存在的數(shù)百款網(wǎng)絡(luò)游戲內(nèi)容和模式都比較相似，一旦玩家

6、熟悉了游戲模式就會逐漸失去熱情，不能從中得到更多的樂趣。解決這兩個問題最重要的途徑就是自主研發(fā)。游戲程序的開發(fā)主要有兩部分內(nèi)容：開發(fā)游戲引擎和用游戲引擎開發(fā)游戲。其中，游戲引擎就是針對某一類特定形式的游戲所定制的二次開發(fā)平臺，它使得游戲設(shè)計者可以較少地關(guān)心程序技術(shù)本身，而專心致力于游戲可玩性的設(shè)計。截止年，國內(nèi)已經(jīng)有多家游戲公司都自主研發(fā)了自己的網(wǎng)絡(luò)游戲產(chǎn)品。但是，國內(nèi)的游戲開發(fā)大多需要使用國外的游戲引擎。國外的引擎開發(fā)商從中國收取了大量的引擎授權(quán)費(fèi)用，遏制了國產(chǎn)游戲的發(fā)展。為了打破這種僵局，我們必須研發(fā)具有自主知識產(chǎn)權(quán)的游戲產(chǎn)品引擎，來適應(yīng)具有我國民族文化特色的動漫游產(chǎn)品生產(chǎn)。正是在這樣的背

7、景下大連市科技計劃及科技攻關(guān)基金資助互動式動漫游產(chǎn)品開發(fā)引擎技術(shù)平臺項(xiàng)目的研究，這也是本論文研究課題的來源?；诨邮絼勇萎a(chǎn)品引擎開發(fā)的游戲?qū)嵏铂F(xiàn)有的游戲模式，游戲玩家通過自己的肢體動作或聲音可以驅(qū)動游戲中的角色做出符合玩家意愿的動作，并帶動游戲情節(jié)向前發(fā)展。這將是一種全新的游戲方式，屬于完全“沉浸式的虛擬現(xiàn)實(shí)，可以極大地增加游戲的趣味性并充分調(diào)動游戲玩家的積極性，這就是“下一代游戲。目前已經(jīng)有很多公司開始了這種類型游戲的開發(fā)，但是還沒有公司研究出已經(jīng)投入實(shí)用的下一代互動式游戲產(chǎn)品引擎?；邮絼勇萎a(chǎn)品引擎，最重要的就是要使得計算機(jī)能夠自動識別人的語音和動作，并將理解的語音和動作轉(zhuǎn)化為對

8、游戲中模型動作行為的控制。可以將這種功能劃分為兩大理論研究部分：語音識別和基于人體姿態(tài)的人機(jī)交互。本文研究的內(nèi)容屬于其中雙網(wǎng)絡(luò)攝像頭立體視覺系統(tǒng)應(yīng)用研究基于人體姿態(tài)的人機(jī)交互部分，研究內(nèi)容屬于計算機(jī)視覺領(lǐng)域，雙目立體視覺系統(tǒng)是本文研究的重點(diǎn)。信號處理理論與計算機(jī)出現(xiàn)后，人們試圖用攝像機(jī)獲取環(huán)境圖像并將其轉(zhuǎn)換成數(shù)字信號，用計算機(jī)實(shí)現(xiàn)對視覺信息處理的全過程，這樣就形成了一門新興的學(xué)科計算機(jī)視覺】。計算機(jī)視覺的研究目標(biāo)是使計算機(jī)具有通過一副或多副圖像認(rèn)知周圍環(huán)境信息的能力。這使計算機(jī)不僅能模擬人眼的功能，而且更重要的是使計算機(jī)完成人眼所不能勝任的工作【。從世紀(jì)年代末開始，計算機(jī)開始被作為實(shí)現(xiàn)人工智能

9、和人類感知的工具。借助計算機(jī)，人類第一次可以像借助機(jī)械實(shí)現(xiàn)對體力的延伸一樣實(shí)現(xiàn)對腦力和感知能力的延伸。當(dāng)時的工作主要集中于對二維圖像的分析、識別和理解上。世紀(jì)年代，將環(huán)境限制在所謂的“積木世界，即周圍的物體都是由多面體組成的，需要識別的物體可以用簡單的點(diǎn)、直線、平面的組合表示。的研究工作開創(chuàng)了以理解三維場景為目的的三維計算機(jī)視覺的研列引。世紀(jì)年代美國麻省理工學(xué)院人工智能實(shí)驗(yàn)室的提出了一種視覺計算理論并應(yīng)用在雙目匹配上，使兩張有視差的平面圖產(chǎn)生有深度的立體圖形，奠定了雙目立體視覺發(fā)展的理論基礎(chǔ)。教授從視覺計算理論出發(fā)，將計算機(jī)視覺系統(tǒng)分為自上而下的三個階段，即將視覺信息從最初的原始數(shù)據(jù)（二維圖像

10、數(shù)據(jù)）到最終對環(huán)境的表達(dá)經(jīng)歷了三個階段的處理。第一階段構(gòu)成所謂“要素圖”或“基元圖”，基元圖由二維圖像中的邊緣點(diǎn)、直線段、曲線、頂點(diǎn)、紋理等基本幾何元素或特征組成；第二階段，為對環(huán)境的維描述，意即部分的、不完整的，用“計算的語言來講，就是重建三維物體在觀察者為中心的坐標(biāo)系下的三維形狀與位置；由于維描述得到的是部分的不完整的三維信息，所以必須對其進(jìn)行進(jìn)步處理以得到物體的完整三維描述，而且必須是物體本身某一固定坐標(biāo)系下的描述，這一階段稱為第三階段，即三維階段。該理論在世紀(jì)年代成為計算機(jī)視覺研究領(lǐng)域中的一個十分重要的理論框架，為以后的計算機(jī)視覺發(fā)展做出了重大貢獻(xiàn)。雙目立體視覺是計算機(jī)視覺的一個重要分

11、支，一般采用的方法是用兩個攝像機(jī)從不同角度同時獲取目標(biāo)物體的兩幅數(shù)字圖像，基于視差原理，在已知兩攝像機(jī)之間的位置關(guān)系和攝像機(jī)本身固有參數(shù)的基礎(chǔ)上，恢復(fù)出目標(biāo)物體的三維空間信息，并進(jìn)一步重建目標(biāo)物體的三維形狀與空間位置。隨著跨學(xué)科基礎(chǔ)研究的不斷深入和計算機(jī)性能的迅速提高，計算機(jī)視覺正在受到廣泛的重視，并已在許多領(lǐng)域中得到應(yīng)用：相比其它類的體視方法【】如透鏡板三維成像、投影式三維顯示、全息照相術(shù)等，雙目立體視覺直接模一一大連理工大學(xué)碩士學(xué)位論文擬人類雙眼處理景物的方式，簡便可靠，在許多領(lǐng)域均極具應(yīng)用價值，如三維測量學(xué)、虛擬現(xiàn)實(shí)、微操作系統(tǒng)的位姿檢測與控制以及機(jī)器人導(dǎo)航等。具體來說，立體視覺的研究對

12、于以下領(lǐng)域的發(fā)展有著重要的理論和實(shí)用價值：（）人機(jī)交互。傳統(tǒng)的人機(jī)交互是通過計算機(jī)的鼠標(biāo)和鍵盤完成的，之后出現(xiàn)了語音識別技術(shù)，人們可以通過自己的聲音控制計算機(jī)的運(yùn)行，而新的交互方式可以是人通過自己的動作與計算機(jī)進(jìn)行交互，這個過程就需要立體視覺的技術(shù)。（）影視娛樂。隨著計算機(jī)技術(shù)的發(fā)展，影視制作出現(xiàn)了越來越多的新方法，電腦三維動畫、圖像處理等早己為人們所熟知，而通過計算機(jī)視覺技術(shù)由人的動作獲得影視作品中非人生物或機(jī)器人的動作將會大幅減少電影制作人員的工作量，從而降低成本，并給觀眾帶來更逼真的視覺享受。（）三維醫(yī)學(xué)圖像重建。醫(yī)生通過觀察病人的一組二維斷層圖像，可以達(dá)到一般的診斷目的，但實(shí)踐證明制定

13、手術(shù)計劃等需要理解復(fù)雜甚至變形的三維結(jié)構(gòu)臨床任務(wù)，僅通過在腦中重建斷層圖像是難以完成的，因此，實(shí)現(xiàn)三維重構(gòu)與三維顯示非常有必要。（）虛擬會議系統(tǒng)。具有真實(shí)感的虛擬環(huán)境合成必須實(shí)現(xiàn)正確的透視比例關(guān)系（即用戶的影像應(yīng)當(dāng)按照正確的空間位置和空間尺寸合成到虛擬環(huán)境中），實(shí)現(xiàn)對實(shí)際環(huán)境中用戶的空間定位。用戶的空間定位目前可以通過攝像機(jī)標(biāo)定、立體視覺技術(shù)進(jìn)行軟件實(shí)現(xiàn)，或直接采用空間傳感器獲取用戶在實(shí)際環(huán)境中的空間位置等信息。（）空間物體三維測量技術(shù)。隨著計算機(jī)視覺和攝影測量學(xué)的發(fā)展和應(yīng)用，借助計算機(jī)視覺方法對場景進(jìn)行測量已引起許多學(xué)者的關(guān)注和興趣。這種方法具有許多優(yōu)點(diǎn)：測量過程方便，測量結(jié)果客觀；所需要的

14、硬件設(shè)備簡單，成本低廉；所獲取的數(shù)字化信息可以重復(fù)使用，而不需要再回到原來的實(shí)際場景。（）逆向工程?？焖佾@取物理模型數(shù)據(jù)是逆向工程的基礎(chǔ)，與傳統(tǒng)的激光掃描、坐標(biāo)測量方法相比較，利用物體的二維圖像來獲取其表面三維數(shù)據(jù)的方法，既方便又快捷，符合人們追求高效率、高質(zhì)量的要求，如汽車制造、文物藝術(shù)品的重建等。（）交通事故現(xiàn)場重建。由于交通事故調(diào)查的局限性，事故報告中不會包含再現(xiàn)現(xiàn)場所需的所有信息，而所有信息大都存在于事故現(xiàn)場和車輛照片中，因此，利用計算機(jī)視覺有關(guān)的三維重構(gòu)技術(shù)，可以方便地再現(xiàn)交通事故現(xiàn)場。綜上所述，立體視覺的研究影響到人類社會生產(chǎn)生活的方方面面，具有重大實(shí)用價值。隨著越來越多的研究人員

15、對這一領(lǐng)域的關(guān)注和投入，立體視覺的研究必將會迎來一個異常繁榮的時代。國內(nèi)外研究現(xiàn)狀立體視覺系統(tǒng)最主要的功能就是完成三維重構(gòu)。國外在基于雙目立體視覺的計算機(jī)三維重構(gòu)方面，主要是分立體匹配和三維重構(gòu)兩個部分進(jìn)行研究。立體匹配部分主要是雙網(wǎng)絡(luò)攝像頭立體視覺系統(tǒng)應(yīng)用研究研究特征點(diǎn)的提取和匹配算法的完善，更加精確的建立匹配點(diǎn)的對應(yīng)關(guān)系；三維重構(gòu)部分主要是研究如何從得到的匹配點(diǎn)中計算出攝像機(jī)的內(nèi)外參數(shù)以及如何計算出匹配點(diǎn)的三維坐標(biāo)。在立體匹配方面，國外的學(xué)者們研究出了一些新的方法和理論。例如英國的【提出了一種直接的基于奇異值分解的立體匹配方法，通過構(gòu)造一個近似的包含特征點(diǎn)的距離信息的強(qiáng)度矩陣（矩陣的維數(shù)由

16、兩幅圖像上特征點(diǎn)的數(shù)目來確定），然后對矩陣進(jìn)行奇異值分解，接著將得到的對角陣的對角元全部替換為，這樣反過來求出一個與矩陣相同維數(shù)的矩陣，通過矩陣中各個元素的值就能判斷出對應(yīng)的特征點(diǎn)是否匹配。由于在整個計算過程中全部是代數(shù)意義下的運(yùn)算，所以匹配的精度有待進(jìn)一步提高。在三維重構(gòu)方面，微軟的張正友【】在應(yīng)用點(diǎn)法求出基礎(chǔ)矩陣的基礎(chǔ)進(jìn)一步提出了應(yīng)用算法最小化圖像點(diǎn)與對應(yīng)的外極線距離的方法，大大提高了基礎(chǔ)矩陣的精度。在利用基礎(chǔ)矩陣求出攝像機(jī)外部參數(shù)方面，提出了一種方法，通過計算四種候選值的景深來唯一確定一組旋轉(zhuǎn)矩陣顯和平移向量。目前國內(nèi)在計算機(jī)雙目立體視覺方面，無論是在攝像機(jī)的標(biāo)定技術(shù)還是在立體圖像對的匹

17、配算法上都進(jìn)行了大量的研究，提出了很多比較完善的理論。而在算法的具體實(shí)現(xiàn)方面，中科院自動化研究所機(jī)器人視覺研究組已經(jīng)取得了很大的成就。機(jī)器人視覺研究組的雷成博士實(shí)現(xiàn)了軟件，該軟件主要完成了特征點(diǎn)的提取、特征點(diǎn)的匹配、相機(jī)的自標(biāo)定、模型的三維顯示的功能。該軟件使用比較方便，能對不同來源的二維圖像進(jìn)行處理，但是它的缺點(diǎn)也比較明顯，首先是由于使用了方程進(jìn)行像機(jī)自標(biāo)定，所以它需要的圖像對的數(shù)目為三幅，盡管它所使用的其它方法和原理都是基于雙目立體視覺的，但這對于類似機(jī)器人視覺的工作環(huán)境顯然是不允許的；其次在實(shí)際的匹配過程中能明顯感覺到效率不高，速度非常慢。另外，機(jī)器人視覺研究組的鐘云德【叫博士利用一種稱

18、為半稠密匹配的方法進(jìn)行立體圖像對的匹配，由于這種方法是對稀疏匹配和稠密匹配的一種折衷，所以在匹配過程中增加了大量的新的匹配點(diǎn)，從而更好的實(shí)現(xiàn)了模型的三維顯示，當(dāng)然這也一定程度上增加了匹配過程所用的時間。此外，天津大學(xué)的陳明舟【】實(shí)現(xiàn)了基于主動光柵投影的雙目立體視覺。在他的研究中，主要是采用主動光柵投影雙目視覺測量來獲得被測自由曲面外形輪廓的方法，實(shí)現(xiàn)自由曲面的高精度檢測。在圖像匹配過程中，他使用了基于外極約束的光柵邊緣匹配方法，并且通過光柵邊緣的兩種編碼技術(shù)和利用樣條擬合的方法來優(yōu)化匹配過程。該方法的主要缺點(diǎn)一方面是圖像匹配過程過渡依賴于外極約束，而對圖像中邊緣本身的拓?fù)潢P(guān)系依賴較少；另一方面

19、方法的實(shí)現(xiàn)對所需要的外部設(shè)備的精度要求較高。除此之外，清華大學(xué)的王磊【大連理工大學(xué)碩士學(xué)位論文也提出了一種基于平面投影變換和遺傳算法的匹配算法。該算法能在未知攝像機(jī)內(nèi)外參數(shù)的情況下自動找到正確的對應(yīng)點(diǎn)，但是由于使用的是平面投影變換，所以在使用中只允許攝像機(jī)有旋轉(zhuǎn)運(yùn)動而不能存在平移，這種約束條件在很多場合是不能滿足的。本文研究工作對生物視覺系統(tǒng)，人們早就注意到，用兩個眼睛同時觀察物體時，會有深淺和遠(yuǎn)近的感覺【】。計算機(jī)立體視覺的基本原理是從兩個或多個視點(diǎn)觀察同一景物，獲取在不同視角下的感知圖像，然后通過計算重建景物的三維信息。這一過程與人類視覺的立體感知過程是類似的，這也是本文采用雙網(wǎng)絡(luò)攝像頭構(gòu)

20、建立體視覺系統(tǒng)的原因之一。一個完整的立體視覺系統(tǒng)通常可分為攝像機(jī)標(biāo)定、特征點(diǎn)提取、立體匹配、三維重構(gòu)個大部分，本文也主要是從這幾個方面展開研究的。在攝像機(jī)標(biāo)定方面，本文對網(wǎng)絡(luò)攝像頭和攝像機(jī)的特點(diǎn)進(jìn)行了分析對比，在經(jīng)典的兩步法基礎(chǔ)上對攝像機(jī)成像模型進(jìn)行了修正，并優(yōu)化了部分?jǐn)z像機(jī)參數(shù)初值，提出了適用于網(wǎng)絡(luò)攝像頭的標(biāo)定方法。實(shí)驗(yàn)結(jié)果表明相對于基于攝像機(jī)的標(biāo)定方法，該方法對網(wǎng)絡(luò)攝像頭的標(biāo)定具有更高的精度。這部分的研究是本文工作中最重要的一部分。在特征點(diǎn)提取方面，本文采用一種基于模型，應(yīng)用、參數(shù)特征值來識別指定顏色屬性物體的方法。在模型中，參數(shù)能較集中的反映被識別物體的顏色種類特性，但當(dāng)值較小時，色調(diào)趨

21、向于不確定，可以通過引入?yún)?shù)改進(jìn)這點(diǎn)不足，從而有效的實(shí)現(xiàn)顏色物體的識別。在項(xiàng)目中主要是通過識別彩色球區(qū)域，并計算其質(zhì)心來確定特征點(diǎn)的。在立體匹配方面，分兩個部分進(jìn)行處理。在攝像機(jī)標(biāo)定時，由于采用的是同種顏色并具有固定結(jié)構(gòu)的若干個小球構(gòu)成的標(biāo)定物，所以可以根據(jù)其結(jié)構(gòu)特點(diǎn)采用相對應(yīng)的搜索算法實(shí)現(xiàn)左右攝像機(jī)拍攝的兩副圖像的匹配。在捕捉人體運(yùn)動時，顏色用來作為匹配的特征。在三維重構(gòu)方面，本文主要使用了最乘法，結(jié)合空間點(diǎn)的三維重構(gòu)理論，首先能守本文提出的改進(jìn)的標(biāo)定方法計算出攝像機(jī)內(nèi)外參數(shù)，在此基礎(chǔ)上進(jìn)行了三維重構(gòu)，然后將圖像平面上的點(diǎn)重新投影到三維空間中。三維重構(gòu)不僅是本文來源項(xiàng)目的重要組成部分，也是本

22、文實(shí)驗(yàn)中用來衡量標(biāo)定結(jié)果精度的工具。三維重構(gòu)是立體視覺系統(tǒng)的最終目的之一，立體視覺系統(tǒng)的應(yīng)用價值正是通過三維重構(gòu)的結(jié)果來體現(xiàn)的。三維重構(gòu)包括點(diǎn)的重構(gòu)，線的重構(gòu)和面的重構(gòu)，攝像機(jī)標(biāo)定、特征點(diǎn)檢測、立體匹配都是三維重構(gòu)的前期基礎(chǔ)工作，本文重點(diǎn)研究了點(diǎn)的重構(gòu)。雙網(wǎng)絡(luò)攝像頭立體視覺系統(tǒng)應(yīng)用研究論文的組織本文基本上是按照研究過程的各個步驟來組織論文結(jié)構(gòu)的，即首先提出論文研究的背景和來源，然后分別介紹了立體視覺的四個主要內(nèi)容：攝像機(jī)標(biāo)定、特征點(diǎn)提取、立體匹配和三維重構(gòu)，最后介紹了本文的究內(nèi)容在實(shí)際項(xiàng)目中的具體應(yīng)用。具體章節(jié)內(nèi)容入下：第一章緒論，介紹了論文的研究背景、研究領(lǐng)域和應(yīng)用價值，論述了與本文相關(guān)的研

23、究內(nèi)容發(fā)展歷史和技術(shù)進(jìn)展?fàn)顩r，并對本文開展研究的重點(diǎn)內(nèi)容做了簡要說明。第二章簡要介紹了提取特征點(diǎn)時采用的方法，對顏色空間和參數(shù)特征值的相關(guān)理論進(jìn)行了闡述。由于攝像機(jī)標(biāo)定部分也要用到圖像特征點(diǎn)的提取，所以把這一部分的介紹放在了攝像機(jī)標(biāo)定之前。第三章詳細(xì)闡述了網(wǎng)絡(luò)攝像頭標(biāo)定的原理、方法和實(shí)現(xiàn)。這一章是本文研究工作最主要的一部分。攝像機(jī)線性成像模型、非線性模型、透視投影矩陣方法、兩步法都在這一章中進(jìn)行了詳細(xì)的介紹。并論述了經(jīng)典兩步法的弊端，提出了改進(jìn)的兩步法。第四章介紹了本文采用的圖像匹配方法和三維重構(gòu)算法，并介紹了立體匹配和三維重構(gòu)的具體實(shí)現(xiàn)方法。第五章給出了雙網(wǎng)絡(luò)攝像頭立體視覺系統(tǒng)的應(yīng)用實(shí)例，即

24、互動式動漫游產(chǎn)品開發(fā)引擎技術(shù)平臺。由于這是一個比較大的項(xiàng)目，本文的研究內(nèi)容只是其中一部分，所以只對其它部分進(jìn)行簡單介紹，而詳細(xì)闡述與本文研究工作相關(guān)的部分。結(jié)論部分對全文的工作做出總結(jié)，并對下一步的工作進(jìn)行了展望。一一太連理工大學(xué)碩士學(xué)位論文圖像特征點(diǎn)的提取課題來源項(xiàng)目中有兩處用到圈像特征點(diǎn)的提取，一處是攝像機(jī)標(biāo)定時用于提取標(biāo)定物上的特征點(diǎn)，另一處是運(yùn)動捕捉時用于提取綁定在人體關(guān)節(jié)點(diǎn)處的標(biāo)記點(diǎn)。標(biāo)定部分在程序?qū)崿F(xiàn)時為了便于保留結(jié)果，將兩個攝像頭捕捉到的圖像提取出特征點(diǎn)后用亮點(diǎn)標(biāo)出，再保存為圖像，如圖所示。運(yùn)動捕捉部分也進(jìn)行了類似的標(biāo)記如圖所示。由于本文的主要研究內(nèi)容是攝像機(jī)標(biāo)定和三維重構(gòu)，因此

25、只對提取標(biāo)定物特征點(diǎn)時的方法和相關(guān)理論進(jìn)行說明，不對運(yùn)動捕提時圖像處理部分的內(nèi)容進(jìn)行詳細(xì)介紹。圖運(yùn)動捕捉時的標(biāo)記雙網(wǎng)絡(luò)攝像頭立體視覺系統(tǒng)應(yīng)用研究位置和面積本章在介紹圖像特征點(diǎn)提取算法之前，先介紹在圖像處理中經(jīng)常用到的關(guān)于區(qū)域的位置與面積的概念及它們的計算方法。圖像中的物體通常不是一個點(diǎn)，因此常用物體的面積中心作為物體的位置。面積中心就是指單位面積質(zhì)量恒定的圖形的質(zhì)心。因圖像質(zhì)量分布是均勻的，故質(zhì)心和形心重厶口。以矩形物體為例，若圖像中物體對應(yīng)的像素位置坐標(biāo)為：，盯）（，一；，），物體的寬度為力，高度為。則可以用下式計算質(zhì)心位置坐標(biāo)【】：；燾去善酚了去善霎蓼（）式（）表達(dá)的意思是：在求圖像中物體

26、質(zhì)心點(diǎn)的坐標(biāo)值時只需將屬于該物體的所有像素點(diǎn)的坐標(biāo)值相加除以點(diǎn)的個數(shù)，同理可求得坐標(biāo)值。面積是物體總尺寸的一個方便的度量。面積只與該物體的邊界有關(guān)，而與其內(nèi)部灰度級的變化無關(guān)。一個形狀簡單的物體可用相對較短的周長來包圍它所占有的面積。通常有以下兩種方法可以計算面積：（）像素計數(shù)面積這是一種最簡單的方法，就是統(tǒng)計邊界內(nèi)部（也包括邊界上）的像素的數(shù)目。在這個定義下面積的計算非常簡單，求出區(qū)域邊界內(nèi)像素點(diǎn)的總和即可。對二值圖像而言，若用表示物體，用表示背景，其面積就是統(tǒng)計圖像中像素值觸，）的像素個數(shù)。（）由邊界行程碼或鏈碼】計算面積由各種封閉邊界區(qū)域的描述來計算面積也很方便，可以是如下情況：已知區(qū)域

27、的行程編碼，只要把值為的行程長度相加，即為區(qū)域面積；若給定封閉邊界的某種表示，則相應(yīng)連通區(qū)域的面積應(yīng)為區(qū)域外邊界包圍的面積與內(nèi)邊界包圍的面積（孔的面積）之差。計算彩色球位置及其顏色屬性一個區(qū)域的位置，在圖像中一般由此區(qū)域的質(zhì)心來給出，本文認(rèn)為彩色球的質(zhì)量是均勻的，則它的質(zhì)心坐標(biāo)可以參考式（）進(jìn)行計算。另外，本文識別彩色球的一個重要依據(jù)是各種顏色在顏色空間中比較穩(wěn)定的值。是對色彩空間中點(diǎn)的表示，它嘗試做出一種比更準(zhǔn)確的對顏色的描大連理工大學(xué)碩士學(xué)位論文述，并仍保持在計算上的簡單。表示（色相）、（飽和度）、（值）。把顏色描述為在圓柱體內(nèi)的點(diǎn)，這個圓柱的中心軸取值為自底部的黑色到頂部的白色而在它們中

28、間的是灰色，繞這個軸的角度對應(yīng)于“色相，到這個軸的距離對應(yīng)于“飽和度”，而點(diǎn)到底面的距離對應(yīng)于“值。是設(shè)備依賴的的簡單變換，（，）三元組定義的顏色依賴于所使用的特定的“加法原色。每個獨(dú)特的設(shè)備都伴隨著一個獨(dú)特的空間。經(jīng)實(shí)驗(yàn)測定：紅色的值為到以及到，綠色值為到，藍(lán)色值為到。識別彩色區(qū)域的顏色屬性的方法是對區(qū)域中的每一個像素的顏色歸屬計數(shù)，根據(jù)該區(qū)域中哪種顏色的像素最多，來判斷該區(qū)域的顏色屬性。因?yàn)楸疚氖褂弥蹬袆e各顏色，要注意的是彩色的值在彩色的飽和度低于的時候（這是很多學(xué)者實(shí)驗(yàn)得到的數(shù)據(jù)），彩色值趨于不穩(wěn)定。因此本文要求獲取圖像時所在的場景處于比較高的亮度，整體亮度大于。圖像采集的實(shí)現(xiàn)在當(dāng)前的平

29、臺上，常用的視頻采集技術(shù)主要有以下種：基于（）技術(shù)的視頻采集，基于技術(shù)的視頻采集和基于視頻采集卡廠商提供的的視頻采集。因?yàn)楸疚牡膶?shí)驗(yàn)系統(tǒng)在硬件配置上并沒有使用視頻采集卡，因此主要考慮使用和兩種方法。函數(shù)在形式上是一組普通函數(shù)、宏函數(shù)和回調(diào)函數(shù)。這種傳統(tǒng)的編程模式在整體上破壞了軟件的體系結(jié)構(gòu)。因此系統(tǒng)存在通用性差、可擴(kuò)張性弱、維護(hù)困難等缺點(diǎn)。為多媒體流的捕捉和回放以及格式轉(zhuǎn)換或編解碼方面提供了強(qiáng)有力的支持。運(yùn)用可以很方便地從支持（）驅(qū)動模型的采集卡獲取視音頻數(shù)據(jù)。另外，廣泛地支持各種媒體格式，包括、等，使得多媒體數(shù)據(jù)的回放及編碼處理變得輕而易舉?；谏鲜鲈?，本課題的圖像采集部分是基于微軟的技術(shù)

30、對雙攝像頭進(jìn)行實(shí)時同步視頻捕捉的。介紹是大家族中的一員。軟件開發(fā)包是由微軟公司提供的一套在操作平臺上開發(fā)高性能圖形、聲音、輸入、輸出和網(wǎng)絡(luò)游戲的編程接口。主要為在平臺上處理各種格式的媒體文件的回放、音視頻采集等高性能要求的多媒體應(yīng)用提供完整的解決方案。雙網(wǎng)絡(luò)攝像頭立體視覺系統(tǒng)應(yīng)用研究提供的多媒體能力包括播放本地文件或服務(wù)器上的多媒體數(shù)據(jù)，以及從視音頻采集卡等硬件設(shè)備中捕獲多媒體流的功能。它是建立在組件對象模型（）基礎(chǔ)上的高效多媒體開發(fā)系統(tǒng)，具備與底層硬件設(shè)備和高層應(yīng)用程序打交道的能力。系統(tǒng)包括視頻采集卡，視頻采集卡、硬件解碼卡、聲卡和顯卡等。能夠高效地支持這些硬件設(shè)備，并在應(yīng)用層上提供統(tǒng)一規(guī)范

31、的接口，這樣就實(shí)現(xiàn)了底層硬件設(shè)備與高層應(yīng)用程序的相互獨(dú)立，從而使應(yīng)用程序只要通過固定的接口就可以獲取多媒體數(shù)據(jù)或回放多媒體數(shù)據(jù)，而不需了解具體的硬件設(shè)備的特性。的核心是過濾器（）。由多個不同功能的過濾器構(gòu)成過濾器虱（）。在過濾器圖中，由多個過濾器按照一定的順序連接成一條功能鏈路，協(xié)同處理一定的數(shù)據(jù)流。然后，通過過濾器圖表管理器（）來管理過濾器圖的創(chuàng)建以及整個數(shù)據(jù)流的處理過程。過濾器（）按照功能，可大致劃分為三類：源過濾器（）、轉(zhuǎn)換過濾器（）和提交過濾器（）。源過濾器主要負(fù)責(zé)獲取數(shù)據(jù)，數(shù)據(jù)源可以是本地計算機(jī)上的多媒體文件、來自因特網(wǎng)的各種多媒體數(shù)據(jù)流、計算機(jī)硬件設(shè)備中的采集卡、數(shù)字?jǐn)z像機(jī)、電視接

32、收器和外掛的攝像頭等。轉(zhuǎn)換過濾器主要負(fù)責(zé)數(shù)據(jù)的格式轉(zhuǎn)換，例如數(shù)據(jù)流的分離合成、解碼編碼等。提交過濾器主要負(fù)責(zé)數(shù)據(jù)的最終去向，比如將數(shù)據(jù)送給顯卡、聲卡進(jìn)行多媒體的演示，或者輸出到文件進(jìn)行存儲。內(nèi)部提供事件通知機(jī)制（），使上層應(yīng)用程序能夠與過濾器圖表管理器之間實(shí)現(xiàn)交互控制。當(dāng)發(fā)生狀態(tài)轉(zhuǎn)換、運(yùn)行時遇到錯誤或要求重畫視頻窗口時，都會發(fā)出一個特定的事件，由過濾器圖表管理器轉(zhuǎn)給應(yīng)用程序，應(yīng)用程序可以根據(jù)需要接收這些事件，并根據(jù)事件類型做出相應(yīng)的處理。應(yīng)用程序可以通過過濾器圖表管理器所提供組組件對象模型接口來訪問過濾器圖表。也可以直接調(diào)用過濾器圖表管理器接口來控制媒體流，獲得過濾器事件。在過濾器圖表中，媒體

33、數(shù)據(jù)往下流動，而其它應(yīng)用程序?qū)^濾器圖表管理器的控制信息可以往上傳遞。圖像采集部分的具體實(shí)現(xiàn)圖像采集部分是整個系統(tǒng)工作的基礎(chǔ)，是游戲中模型動畫的動作數(shù)據(jù)來源。正是由于其重要性以及實(shí)時性，項(xiàng)目中采用了當(dāng)今系統(tǒng)上最為方便、快捷的多媒體編程接口，來負(fù)責(zé)這個部分的主要工作。大連理工大學(xué)碩士學(xué)位論文圖像采集的主要任務(wù)就是實(shí)時快速地進(jìn)行視頻采集，通過接口的網(wǎng)絡(luò)攝像頭捕捉數(shù)字圖像信息，并輸入到計算機(jī)的應(yīng)用程序當(dāng)中。由于系統(tǒng)中采用了雙目立體視覺系統(tǒng)進(jìn)行三維重構(gòu)，因此，這部分必須要同步地采集來自兩個不同位置的攝像頭的圖像。本部分利用技術(shù)，結(jié)合多線程編程，實(shí)現(xiàn)了同步讀取兩個通用串行總線（，）接口數(shù)字?jǐn)z像頭的圖像。

34、該方法實(shí)現(xiàn)簡單，而且利用中模塊化程序開發(fā)的特點(diǎn)，構(gòu)建了一個良好的可作為基于雙目立體視覺的運(yùn)動捕捉系統(tǒng)的研究開發(fā)平臺。系統(tǒng)基于的多線程視頻采集模塊的整體框架結(jié)構(gòu)如圖所示，其中箭頭符號表示視頻數(shù)據(jù)流動的方向。從圖中可以清楚地看到，最初的視頻信號經(jīng)接口的網(wǎng)絡(luò)攝像頭進(jìn)入計算機(jī)，其后的軟件部分通過驅(qū)動程序采集這些視頻數(shù)據(jù)。圖模塊的整體框架模塊在實(shí)現(xiàn)上主要有兩個核心的技術(shù)內(nèi)容：過濾器圖的創(chuàng)建以及模塊中雙線程的同步。（）過濾器圖的創(chuàng)建模塊在實(shí)現(xiàn)上是一個基于的應(yīng)用，應(yīng)用程序利用與視頻采集卡驅(qū)動程序無縫集成的特性，通過直接操作過濾器完成對數(shù)字視頻信號的采集。（）模塊中雙線程的同步由于本系統(tǒng)使用了雙目立體視覺三維

35、重構(gòu)標(biāo)記點(diǎn)，因此選用了相同型號的兩個攝像頭，對于不同型號的攝像頭其方法相同。、在中，接口的攝像頭及視頻采集卡等硬件都通過一個設(shè)備標(biāo)識（）注冊到此捕捉硬件設(shè)備所屬的類型目錄下。通過這個設(shè)備標(biāo)識，可以得到設(shè)備的屬性集，其中包括設(shè)備的顯示名字（），友好名（）等。友好名字形式如“，用于顯示給用戶識別設(shè)備，同種型號的友好名雙網(wǎng)絡(luò)攝像頭立體視覺系統(tǒng)應(yīng)用研究字是一樣的；顯示名字是一串帶有的復(fù)雜字符，用戶很難理解，一般不直接顯示給用戶，但顯示名字唯一地標(biāo)識了每一個設(shè)備。通過提供的接口中方法可以將這個設(shè)備標(biāo)識生成一個源過濾器（）。這兩個攝像頭具有相同的友好名字，因此在項(xiàng)目中，分別根據(jù)兩個攝像頭的顯示名字來構(gòu)建兩

36、個采集過濾器圖表。實(shí)際上，在內(nèi)部，運(yùn)行一個過濾器圖時，就啟動了一個線程。停止一個過濾器圖時，此線程就消亡了。也就是說，一個過濾器圖表管理器在內(nèi)部已經(jīng)有一個線程在進(jìn)行管理。因此，在主線程中不需要再創(chuàng)建兩個額外的線程來控制對兩個攝像頭的圖像采集。另外，由于采用的是普通的接的網(wǎng)絡(luò)攝像頭，對于同步采集視頻，實(shí)際上只能一先一后地完成兩次捕捉。當(dāng)然應(yīng)該是在極短的時間內(nèi)，因?yàn)樵O(shè)置采集過濾器的采集速度為幀每秒。因此，本模塊對于圖像捕捉的解決方案是，一旦進(jìn)入圖像捕捉狀態(tài)，就開啟兩個管理過濾器圖表管理器的線程，之后不停地采集圖像。大連理工大學(xué)碩士學(xué)位論文網(wǎng)絡(luò)攝像頭標(biāo)定的方法研究攝像機(jī)標(biāo)定概述計算機(jī)視覺的基本任務(wù)之

37、一是從攝像機(jī)獲取的二維圖像信息出發(fā)計算三維空間中物體的幾何信息，并由此重建和識別物體，而空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對應(yīng)點(diǎn)之間的相互關(guān)系是由攝像機(jī)成像的幾何模型決定的，這些幾何模型參數(shù)就是攝像機(jī)參數(shù)。在大多數(shù)條件下，這些參數(shù)必須通過實(shí)驗(yàn)與計算才能得到，這個過程被稱為攝像機(jī)標(biāo)定【】【】（或稱為定標(biāo)）。標(biāo)定過程就是確定攝像機(jī)的幾何和光學(xué)參數(shù)以及攝像機(jī)在世界坐標(biāo)系中的方位。標(biāo)定精度的大小，直接影響著計算機(jī)視覺中其它應(yīng)用的精度。迄今為止，對于攝像機(jī)標(biāo)定問題已經(jīng)提出了很多方法，攝像機(jī)標(biāo)定的理論問題已得到較好的解決【，對攝像機(jī)標(biāo)定的研究來說，當(dāng)前的研究工作應(yīng)該集中在如何針對具體的實(shí)際應(yīng)用問題

38、，采用特定的簡便、實(shí)用、快速、準(zhǔn)確的標(biāo)定方法。攝像機(jī)標(biāo)定問題可以分為兩個子問題：建立成像模型和求解攝像機(jī)參數(shù)。這兩個子問題是緊密相連的，因?yàn)椴煌臄z像機(jī)成像模型對應(yīng)于不同的參數(shù)集合；不同的參數(shù)集合又對應(yīng)于不同的求解方法。因此，應(yīng)根據(jù)實(shí)際應(yīng)用場合選擇合適的攝像機(jī)標(biāo)定方法。攝像機(jī)成像模型包括線性模型和非線性模型。線性模型是根據(jù)小孔成像原理，建立像點(diǎn)和對應(yīng)物體表面空間點(diǎn)的幾何位置關(guān)系，描述的是理想情況，即像點(diǎn)、投影中心和空間點(diǎn)三者是共線關(guān)系。實(shí)際應(yīng)用中，由于立體視覺系統(tǒng)多采用非量測攝像機(jī)，其物理構(gòu)造導(dǎo)致產(chǎn)生各種畸變，使得實(shí)際像點(diǎn)位置會偏移理想像點(diǎn)位置，導(dǎo)致像點(diǎn)、投影中心和相應(yīng)的空間點(diǎn)之間的共線關(guān)系受

39、到破壞，所以需要建立畸變校正模型，即非線性模型。一個完整的成像模型應(yīng)當(dāng)包括線性模型和非線性模型。將實(shí)際像點(diǎn)坐標(biāo)值代入畸變校正模型，修正為近似理想像點(diǎn)坐標(biāo)值后，才能代入線性模型求解攝像機(jī)參數(shù)。目前攝像機(jī)標(biāo)定方法主要分為三類：傳統(tǒng)攝像機(jī)標(biāo)定方法、主動視覺攝像機(jī)標(biāo)定方法和攝像機(jī)自標(biāo)定方法【。傳統(tǒng)的攝像機(jī)標(biāo)定是在一定的攝像機(jī)模型下，基于特定的實(shí)驗(yàn)條件，如形狀、尺寸已知的標(biāo)定物，經(jīng)過對其進(jìn)行圖像處理，利用一系列數(shù)學(xué)變換和計算方法，求取攝像機(jī)模型的內(nèi)部參數(shù)和外部參數(shù)。主動視覺標(biāo)定方法是指不依賴于標(biāo)定參照物，讓攝像機(jī)做信息已知的運(yùn)動，從運(yùn)動前后的圖像對比中可獲得有關(guān)信息以進(jìn)行攝像機(jī)參數(shù)的計算。自標(biāo)定方法是指

40、僅利用圖像之間的對應(yīng)關(guān)系對攝像機(jī)進(jìn)行的標(biāo)定。自標(biāo)定方法非常地靈活，但它并不是很成熟，因?yàn)槲粗獏?shù)太多，很難得到穩(wěn)定的結(jié)果。三類方法比較結(jié)果如表所示：雙網(wǎng)絡(luò)攝像頭立體視覺系統(tǒng)應(yīng)用研究表攝像機(jī)標(biāo)定方法的比較攝像機(jī)標(biāo)定原理攝像機(jī)標(biāo)定是計算機(jī)視覺領(lǐng)域中的重要研究內(nèi)容。隨著計算機(jī)視覺在人工智能、機(jī)器人導(dǎo)航、天文觀測和家庭娛樂等領(lǐng)域的廣泛應(yīng)用，攝像機(jī)標(biāo)定作為計算機(jī)視覺中不可缺少的一個中間環(huán)節(jié)，其精度、魯棒性、可操作性和具體應(yīng)用的針對性等問題越來越多地引起了人們的重視。國內(nèi)外許多學(xué)者投入了大量精力對這一問題進(jìn)行了深入的研究，并取得了很多具有理論和實(shí)際應(yīng)用價值的成果，大量新方法、新技術(shù)層出不窮。但是目前關(guān)于攝

41、像機(jī)標(biāo)定的研究主要是基于攝像機(jī)的，這種攝像機(jī)的制作工藝已經(jīng)比較成熟，成本相對較高，應(yīng)用也主要集中在工業(yè)和商業(yè)領(lǐng)域。相比之下，以為感光器件的網(wǎng)絡(luò)攝像頭以其廉價、易用、功耗小等特點(diǎn)已經(jīng)在家庭中廣泛使用，但這種攝像頭在做工、成像效果等方面與攝像機(jī)存在一定差距，同時具體工作方式的不同也決定了基于攝像機(jī)的標(biāo)定和基于網(wǎng)絡(luò)攝像頭的標(biāo)定必然存在不同之處。由于課題來源項(xiàng)目是應(yīng)用于游戲的，采用的是以為感光器件的網(wǎng)絡(luò)攝像頭，直接采用基于攝像機(jī)的標(biāo)定方法會導(dǎo)致標(biāo)定結(jié)果有很大的誤差。此外由于項(xiàng)目本身的需要，從世界坐標(biāo)系到游戲模型坐標(biāo)系的轉(zhuǎn)換要求一種比較便利可行的方法。考慮到這些因素，本文根據(jù)網(wǎng)絡(luò)攝像頭的特點(diǎn)提出了一種新

42、的標(biāo)定方法。以下對有關(guān)的基本原理和方法進(jìn)行說明。大連理工大學(xué)碩士學(xué)位論文攝像機(jī)成像模型空間物體表面的光經(jīng)過透鏡或者透鏡組的作用，投射到成像感應(yīng)器上，轉(zhuǎn)換成電信號和數(shù)字信號，然后以特定的格式存儲起來，這就是攝像機(jī)獲取圖像的過程。而空間物體上的點(diǎn)最終投射到感應(yīng)器的哪個點(diǎn)上是確定的，但是由于無法進(jìn)行直接而精確的測量所以只能用一個數(shù)學(xué)模型來近似地描述這一關(guān)系，這個數(shù)學(xué)模型就是攝像機(jī)成像模型。通過這個模型，只要給定空間點(diǎn)的坐標(biāo)就可以計算出該點(diǎn)在成像平面上的坐標(biāo)。但是這個數(shù)學(xué)模型中的參數(shù)并非全部都是已知的，需要采用一定的方法來計算，計算這些參數(shù)的過程就是攝像機(jī)標(biāo)定。計算機(jī)圖像上每一個像素點(diǎn)的灰度（彩色圖像

43、則是的值）反映了空間物體表面某點(diǎn)的光的強(qiáng)度（或顏色），而該點(diǎn)在圖像上的位置則與空間物體表面對應(yīng)點(diǎn)的幾何位置有關(guān)。這些位置的相互關(guān)系由攝像機(jī)成像系統(tǒng)的幾何投影模型所決定。目前應(yīng)用最廣泛的是針孔模型和在此基礎(chǔ)上引入鏡頭非線性畸變的非線性模型。針子模型。理想的攝像機(jī)成像模型是光學(xué)中的中心投影，也稱為針孔模型。針孔模型假設(shè)物體表面的光都經(jīng)過一個針孔而投影到像平面上，即滿足光的直線傳播條件。針孔模型主要由光心、成像面和光軸組成。小孔成像由于透光量太小，因此需要很長的曝光時間，并且很難得到清晰的圖像，并不實(shí)用，因此實(shí)際攝像機(jī)系統(tǒng)通常都由透鏡或者透鏡組組成。兩種模型具有相同的成像關(guān)系，即像點(diǎn)是物點(diǎn)和光心的連

44、線與圖像平面的交點(diǎn)。因此，可以用針孔模型作為攝像機(jī)成像模型，如圖所示。圖針孔成像模型雙網(wǎng)絡(luò)攝像頭立體視覺系統(tǒng)應(yīng)用研究圖中，橢圓表示鏡頭，中心為點(diǎn)。為成像平面，所成圖像為倒立圖像。為觀察和說明方便常用鏡頭前的平面來表示成像平面，兩者是等效的。尸點(diǎn)為空間中一點(diǎn)，為尸點(diǎn)在成像平面上的像點(diǎn)。尸、尸、三點(diǎn)共線。，之間的距離為鏡頭的有效焦距乒在建立針孔模型的過程中，涉及到三個坐標(biāo)系：世界坐標(biāo)系、攝像機(jī)坐標(biāo)系和圖像坐標(biāo)系。分別介紹如下：（）世界坐標(biāo)系（礦）：也稱真實(shí)或現(xiàn)實(shí)世界坐標(biāo)系，或全局坐標(biāo)系。它是客觀世界的絕對坐標(biāo)，是由用戶任意定義的三維空間坐標(biāo)系。一般的場景都用這個坐標(biāo)系來表示。（）攝像機(jī)坐標(biāo)系（）：

45、以攝像機(jī)模型的聚焦中心為原點(diǎn)，以攝像機(jī)光軸為軸建立的三維直角坐標(biāo)系。（）圖像坐標(biāo)系又分為圖像物理坐標(biāo)系和圖像像素坐標(biāo)系兩種。圖像物理坐標(biāo)系（）：其原點(diǎn)仍為透鏡光軸與成像平面的交點(diǎn)，與軸分別平行于攝像機(jī)坐標(biāo)系的與托軸，是平面直角坐標(biāo)系，單位為毫米。圖像像素坐標(biāo)系（口協(xié)：固定在圖像上的以像素為單位的平面直角坐標(biāo)系，其原點(diǎn)位于圖像左上角。圖像像素坐標(biāo)系的軸、，軸分別平行于圖像物理坐標(biāo)系的軸和軸，也平行于攝像機(jī)坐標(biāo)系的軸和托軸。攝像機(jī)采集到的數(shù)字圖像在計算機(jī)內(nèi)以數(shù)組的形式存儲，行列的圖像中的每一個元素（即像素）的數(shù)值即是圖像點(diǎn)的亮度（彩色圖像由紅、綠、藍(lán)三種顏色的亮度表示）。圖像像素坐標(biāo)系中和，的值就

46、是指該點(diǎn)在這行列中所處的位置。建立成像模型的過程實(shí)際就是確定空間一點(diǎn)尸在圖像像素坐標(biāo)系中的坐標(biāo)值（“，）到該點(diǎn)在世界坐標(biāo)系中的坐標(biāo)值（，加）的轉(zhuǎn)換關(guān)系的過程。，）工，圖圖像物理坐標(biāo)系與圖像像素坐標(biāo)大連理工大學(xué)碩士學(xué)位論文由于（“，）只表示像素位于數(shù)組中的列數(shù)與行數(shù)，并沒有用物理單位表示出該像素在圖像中的位置，因而需要再建立用物理單位（例如毫米）表示的圖像坐標(biāo)系。該坐標(biāo)系以圖像內(nèi)某一點(diǎn)為原點(diǎn)，軸與軸分別與“軸，軸平行，（“，）表示以像素為單位的圖像坐標(biāo)系的坐標(biāo)，力表示以毫米為單位的圖像坐標(biāo)系的坐標(biāo)。在，坐標(biāo)系中，原點(diǎn)，定義在攝像機(jī)光軸與圖像平面的交點(diǎn)，該點(diǎn)般位于圖像中心處，但由于攝像機(jī)制作的原因，會有些偏離。若在材，坐標(biāo)系中的坐標(biāo)為（砌，¨，每一個像素在軸與軸方向上的物理尺寸為出，咖，則圖像中任意個像素在兩個坐標(biāo)系下坐標(biāo)的關(guān)系可以用圖來說明。其數(shù)學(xué)表達(dá)式為：工”一砧出上咖用齊次坐標(biāo)和矩陣形式可以將上式表示為：（）（）其中（砌，）茭，在“，坐標(biāo)系中的坐標(biāo)，凼，咖為每一個像素在軸與軸方向上的物理尺寸。結(jié)合圖由透視