攝像機(jī)標(biāo)定的基本原理、實(shí)現(xiàn)及性能分析--畢業(yè)論文.doc

學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：所呈交的論文是本人在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行研究所取得的研究成果。除了文中特別加以標(biāo)注引用的內(nèi)容外，本論文不包含任何其他個人或集體已經(jīng)發(fā)表或撰寫的成果作品。本人完全意識到本聲明的法律后果由本人承擔(dān)。作者簽名： 年 月 日 學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解學(xué)校有關(guān)保障、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向有關(guān)學(xué)位論文管理部門或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人授權(quán)省級優(yōu)秀學(xué)士學(xué)位論文評選機(jī)構(gòu)將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。本學(xué)位論文屬于1、保密 ，在_年解密后適用本授權(quán)書。2、不保密 。（請在以上相應(yīng)方框內(nèi)打“”）作者簽名： 邵婭 年 月 日 導(dǎo)師簽名： 年 月 日 目 錄摘要1前言21 緒論31.1 攝像機(jī)標(biāo)定的背景31.2 攝像機(jī)標(biāo)定的意義41.3 本文研究的內(nèi)容42 攝像機(jī)標(biāo)定的基本原理52.1攝像機(jī)成像模型52.2坐標(biāo)變換72.3 攝像機(jī)成像公式93 傳統(tǒng)攝像機(jī)標(biāo)定方法123.1 直接線性變換（DLT變換）123.2 Tsai 的 RAC的定標(biāo)算法143.3 張正友的平面標(biāo)定方法173.4 孟曉橋、胡占義的圓標(biāo)定方法194.攝像機(jī)自標(biāo)定方法214.1 基于Kruppa方程的自標(biāo)定方法214.2基于絕對二次曲面、無窮遠(yuǎn)平面的自標(biāo)定方法225基于Matlab的攝像機(jī)標(biāo)定的實(shí)現(xiàn)235.1標(biāo)定實(shí)現(xiàn)標(biāo)定的流程235.2標(biāo)定的實(shí)現(xiàn)235.3 實(shí)驗(yàn)誤差分析276總結(jié)和展望276.1總結(jié)286.2 展望28參考文獻(xiàn)29附錄31 37 37攝像機(jī)標(biāo)定的基本原理、實(shí)現(xiàn)及性能分析摘要：在圖像測量過程以及機(jī)器視覺應(yīng)用中，為確定空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對應(yīng)點(diǎn)之間的相互關(guān)系，必須建立攝像機(jī)成像的幾何模型, 并由此重建和識別物體。這些幾何模型參數(shù)就是攝像機(jī)參數(shù)。在大多數(shù)條件下這些參數(shù)必須通過實(shí)驗(yàn)與計算才能得到，這個求解參數(shù)的過程就稱之為攝像機(jī)標(biāo)定。攝像機(jī)參數(shù)標(biāo)定是光學(xué)非接觸式三維測量的首要步驟，其結(jié)果的精度及算法的穩(wěn)定性直接影響攝像機(jī)工作產(chǎn)生結(jié)果的準(zhǔn)確性。本文首先分析了攝像機(jī)標(biāo)定的基本原理，然后重點(diǎn)討論了攝像機(jī)標(biāo)定的幾種方法以及其實(shí)現(xiàn)的過程。攝像機(jī)標(biāo)定的基本方法可以分為兩個大類：傳統(tǒng)的攝像機(jī)標(biāo)定方法，如直接線性變換方法（DLT方法）、R. Tsai 的 RAC方法、 張正友的平面標(biāo)定方法、 孟曉橋、胡占義的圓標(biāo)定方法、吳毅紅等的平行圓標(biāo)定方法等，以及攝像機(jī)自標(biāo)定方法，如基于Kruppa方程的自標(biāo)定方法、分層逐步標(biāo)定法、基于二次曲面的自標(biāo)定方法等。還有一些方法難以歸類到這兩類中，如主動視覺攝像機(jī)標(biāo)定方法。本文在研究攝像機(jī)成像的幾何模型基礎(chǔ)上，對這些方法的設(shè)計思想進(jìn)行了分析,完成了攝像機(jī)標(biāo)定的過程，并且分析了幾種方法的優(yōu)缺點(diǎn)以及使用領(lǐng)域。這些為像機(jī)標(biāo)定的實(shí)際應(yīng)用提供指導(dǎo)，也為進(jìn)一步選擇更合理的標(biāo)定方法提供理論和實(shí)踐參考。關(guān)鍵字：攝像機(jī)標(biāo)定；內(nèi)參數(shù)；外參數(shù)；畸變；角點(diǎn)檢測Abstract: In the image measurement and machine vision applications, for determining three-dimensional geometry location of one point in the spatial objects surface and its relationship between its corresponding points in the images, we need to build the geometric model of camera imaging and thus reconstruct and recognize objects. The geometric model parameters are camera parameters. In most conditions, these parameters must be obtained by experiment and calculation, and this process of solving the parameters is called camera calibration. Camera parameters calibration is the first step in the optical non-contact 3D measurement, and its results accuracy and stability of the algorithm directly affect the accuracy of the result worked by the cameras. In this paper, the basic principles of camera calibration are first analyzed, and then we focus on several methods of camera calibration and the process of its accomplishment. The basic methods of camera calibration can be divided into two categories: traditional camera calibration methods, such as direct linear transformation method (DLT method), R. Tsai RAC method, Zhang Zhengyou plane calibration, Meng Xiaoqiao and Hu Zhanyi round calibration method, Wu Yihong parallel circular calibration method , as well as the camera self-calibration methods, such as self-calibration based on Kruppa equations method, stratified gradually calibration, self-calibration based on quadric method, etc. Hardly，some ways are not involved in these two types of methods, such as active vision camera calibration method. In the paper, based on the geometric model of camera imaging, the design of these methods is analyzed, the process of camera calibration is completed, and the advantages and disadvantages of several methods with their used field are presented. The camera calibration is provided reference in the practical application, and a more reasonable calibration method which will be further chosen is provided theoretical and practical reference.Keywords: camera calibration; intrinsic parameter; external parameters; distortion; corner detection前言 計算機(jī)視覺的基本任務(wù)之一是從攝像機(jī)獲取的圖像信息出發(fā)計算三維空間中物體的幾何信息。而空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對應(yīng)點(diǎn)之間的相互關(guān)系是由攝像機(jī)成像的幾何模型決定的。攝像機(jī)標(biāo)定是機(jī)器視覺技術(shù)1的基礎(chǔ), 應(yīng)用于三維測量、三維物體重建、機(jī)器導(dǎo)航、視覺監(jiān)控、物體識別、工業(yè)檢測、生物醫(yī)學(xué)、機(jī)器人手眼等諸多領(lǐng)域, 得到了國內(nèi)外學(xué)者的廣泛研究2。它是光學(xué)非接觸式三維測量的首要步驟，是二維圖像獲取三維空間信息的關(guān)鍵和必要步驟。無論是在圖像測量或者機(jī)器視覺應(yīng)用中，攝像機(jī)參數(shù)的標(biāo)定都是非常關(guān)鍵的環(huán)節(jié)，其標(biāo)定結(jié)果的精度及算法的穩(wěn)定性直接影響攝像機(jī)工作產(chǎn)生結(jié)果的準(zhǔn)確性如基于圖像的物體重構(gòu)、基于圖像的測量等。對攝像機(jī)標(biāo)定的研究來說，當(dāng)前的研究工作應(yīng)該集中在如何針對具體的實(shí)際應(yīng)用問題，采用特定的簡便、實(shí)用、快速、準(zhǔn)確的標(biāo)定方法3。攝像機(jī)標(biāo)定的分類根據(jù)是否需要標(biāo)定參照物來看，可分為傳統(tǒng)的攝像機(jī)標(biāo)定方法和攝像機(jī)自標(biāo)定方法4。傳統(tǒng)的攝像機(jī)標(biāo)定是在一定的攝像機(jī)模型下，基于特定的實(shí)驗(yàn)條件，如形狀、尺寸已知的標(biāo)定物，經(jīng)過對其進(jìn)行圖像處理，利用一系列數(shù)學(xué)變換和計算方法，求取攝像機(jī)模型的內(nèi)部參數(shù)和外部參數(shù)5。不依賴于標(biāo)定參照物的攝像機(jī)標(biāo)定方法，僅利用攝像機(jī)在運(yùn)動過程中周圍環(huán)境的圖像與圖像之間的對應(yīng)關(guān)系對攝像機(jī)進(jìn)行的標(biāo)定稱為攝像機(jī)自標(biāo)定方法。自標(biāo)定方法非常地靈活,但它并不是很成熟。因?yàn)槲粗獏?shù)太多,很難得到穩(wěn)定的結(jié)果。一般來說，當(dāng)應(yīng)用場合所要求的精度很高且攝像機(jī)的參數(shù)不經(jīng)常變化時，傳統(tǒng)標(biāo)定方法為首選。而自標(biāo)定方法主要應(yīng)用于精度要求不高的場合，如通訊、虛擬現(xiàn)實(shí)等。然而，不同應(yīng)用領(lǐng)域的問題對攝像機(jī)定標(biāo)的精度要求也不同，也就要求應(yīng)使用不同的定標(biāo)方法來確定攝像機(jī)的參數(shù)。例如，在物體識別應(yīng)用系統(tǒng)中和視覺精密測量中，物體特征的相對位置必須要精確計算，而其絕對位置的定標(biāo)就不要求特別高；而在自主車輛導(dǎo)航系統(tǒng)中，機(jī)器人的空間位置的絕對坐標(biāo)就要高精度測量，并且工作空間中障礙物的位置也要高度測量，這樣才能安全導(dǎo)航本文主要研究的是傳統(tǒng)的標(biāo)定方法。本文對攝像機(jī)標(biāo)定技術(shù)進(jìn)行了全面地研究和總結(jié)，重點(diǎn)討論了幾種典型的攝像機(jī)標(biāo)定的基本原理，以及實(shí)現(xiàn)方法。同時也進(jìn)行使用標(biāo)定工具箱來進(jìn)行攝像機(jī)的標(biāo)定的實(shí)驗(yàn)，并在實(shí)驗(yàn)完成后分析了誤差出現(xiàn)的原因。另外針對Tasi不考慮畸變的標(biāo)定方法，本文采用的是來源于“計算機(jī)視覺”Linda G. Shapiro, George C. Stockman 著. 趙清杰，錢芳等譯. 計算機(jī)視覺M. 北京:機(jī)械工業(yè)出版社.一書中出現(xiàn)的數(shù)據(jù)，進(jìn)行了標(biāo)定，并出現(xiàn)相應(yīng)的結(jié)果。1 緒論 1.1 攝像機(jī)標(biāo)定的背景 近年來，隨著微電子技術(shù)和光學(xué)鏡頭技術(shù)的發(fā)展，廉價的高精度數(shù)碼攝像器材逐漸普及，應(yīng)用也越來越廣泛，機(jī)器視覺技術(shù)日趨成熟，在社會生產(chǎn)生活方面日益發(fā)揮其重要作用。如視覺監(jiān)控，零件自動識別與測量，三維重建，地形匹配，醫(yī)學(xué)影像處理等。攝像機(jī)定標(biāo)是大多數(shù)機(jī)器視覺應(yīng)用必不可少的重要步驟，直接對后續(xù)的工作的精度產(chǎn)生重要影響6。而當(dāng)今機(jī)器視覺界的研究熱點(diǎn)之一就是研究各種方便實(shí)用、靈活和較高精度的相機(jī)標(biāo)定系統(tǒng)。因此，如何最大限度地提高攝像機(jī)定標(biāo)的精度，對于機(jī)器視覺有著重要的理論研究意義和實(shí)際應(yīng)用價值。攝像機(jī)定標(biāo)技術(shù)早就應(yīng)用于攝影測量學(xué)79。攝影測量學(xué)中所使用的方法是數(shù)學(xué)解析分析的方法, 在定標(biāo)過程中通常要利用數(shù)學(xué)方法對從數(shù)字圖像中獲得的數(shù)據(jù)進(jìn)行處理.通過數(shù)學(xué)處理手段, 攝像機(jī)定標(biāo)提供了專業(yè)測量攝像機(jī)與非量測攝像機(jī)的聯(lián)系. 而所謂的非量測攝像機(jī)是指這樣一類攝像機(jī), 其內(nèi)部參數(shù)完全未知、部分未知或者原則上不穩(wěn)定.攝像機(jī)的內(nèi)部參數(shù)指的是攝像機(jī)成像的基本參數(shù), 如主點(diǎn)(圖像中心)、焦距、徑向鏡頭畸變、偏軸鏡頭畸變以及其它系統(tǒng)誤差參數(shù)。 不同的應(yīng)用背景也對定標(biāo)技術(shù)提出了不同的要求.在立體計算機(jī)視覺中,如果系統(tǒng)的任務(wù)是物體識別, 則物體相對于某一個參考坐標(biāo)系的絕對定位顯得并不特別重要,更重要的是物體特征點(diǎn)間相對位置的精度.舉例來說,在一個基于CAD的物體識別系統(tǒng)中, 所研究的物體上的特征的相對位置必須具有足夠高的精度,才能進(jìn)行有效的匹配和識別.如果系統(tǒng)的任務(wù)是物體的定位,相對于某一個參考坐標(biāo)系的絕對定位精度就特別重要.例如, 在一個自主車輛導(dǎo)航系統(tǒng)中.自主式移動機(jī)器人必須準(zhǔn)確地知道其自身的位置、工作空間中障礙物的位置、以及障礙物的運(yùn)動情況,才能有效地、安全地進(jìn)行導(dǎo)航.CCD攝像機(jī)17的上述特點(diǎn)和應(yīng)用問題的要求使得定標(biāo)技術(shù)、精度和實(shí)時性等問題的研究顯得特別重要, 同時也導(dǎo)致了研究成果的多樣性10。1.2 攝像機(jī)標(biāo)定的意義攝像機(jī)定標(biāo)是從攝影測量學(xué)中發(fā)展出來的，傳統(tǒng)的攝影測量學(xué)使用數(shù)學(xué)解析的方法對獲得的圖像數(shù)據(jù)進(jìn)行處理，隨著鏡頭和電子技術(shù)的發(fā)展，各種攝像機(jī)像差表達(dá)式陸續(xù)提出并得到認(rèn)同和采用，攝影測量學(xué)日趨成熟，廉價且精度較高的攝像器材不斷出現(xiàn)，上述的技術(shù)發(fā)展最終產(chǎn)生了攝像機(jī)定標(biāo)這一個新技術(shù)的誕生與發(fā)展，適用于各種工業(yè)及日常使用。目前攝像機(jī)定標(biāo)的方法較多，但能夠具有較好的定標(biāo)精度的方法寥寥無幾。隨著實(shí)際應(yīng)用的發(fā)展，對進(jìn)一步提高攝像機(jī)定標(biāo)的精度有了更高的要求。因此，科學(xué)的發(fā)展呼喚有著更高定標(biāo)精度的定標(biāo)方法。研究提高攝像機(jī)定標(biāo)精度的方法符合機(jī)器視覺發(fā)展的要求。1.3 本文研究的內(nèi)容 本文就目前普遍常用的標(biāo)定方法進(jìn)行了綜合闡述，介紹了攝像機(jī)標(biāo)定的基本原理和幾種比較常見的標(biāo)定方法。最后實(shí)現(xiàn)了基于Matlab使用標(biāo)定工具的半自動獲取標(biāo)定結(jié)果，該方法以棋盤格作為標(biāo)定板圖樣, 對于每一幅標(biāo)定圖像, 需要人工界定4個角點(diǎn),完成標(biāo)定過程,另外在Tasi11的理論基礎(chǔ)上，進(jìn)行了不考慮攝像頭畸變的標(biāo)定簡單實(shí)驗(yàn)，得出了攝像機(jī)的參數(shù)。2 攝像機(jī)標(biāo)定的基本原理 2.1 攝像機(jī)成像模型 三維重建是人類視覺的主要目的，也是計算機(jī)視覺的最主要的研究方向。所謂三維重建就是指從圖像出發(fā)恢復(fù)出空間點(diǎn)三維坐標(biāo)的過程。三維重建的三個關(guān)鍵步驟：圖像對應(yīng)點(diǎn)的確定、攝像機(jī)標(biāo)定、二圖像間攝像機(jī)運(yùn)動參數(shù)的確定。 攝像機(jī)成像模型是攝像機(jī)定標(biāo)的基礎(chǔ)，確定了成像模型，才能確定攝像機(jī)內(nèi)外參數(shù)的個數(shù)和求解的方法。在計算機(jī)視覺中，利用所拍攝的圖像來計算出三維空間中被測物體幾何參數(shù)。圖像是空間物體通過成像系統(tǒng)在像平面上的反映，即空間物體在像平面上的投影。圖像上每一個像素點(diǎn)的灰度反映了空間物體表面某點(diǎn)的反射光的強(qiáng)度，而該點(diǎn)在圖像上的位置則與空間物體表面對應(yīng)點(diǎn)的幾何位置有關(guān)。這些位置的相互關(guān)系，由攝像機(jī)成像系統(tǒng)的幾何投影模型所決定。計算機(jī)視覺研究中，三維空間中的物體到像平面的投影關(guān)系即為成像模型，理想的投影成像模型是光學(xué)中的中心投影，也稱為針孔模型。針孔模型假設(shè)物體表面的反射光都經(jīng)過一個針孔而投影到像平面上，即滿足光的直線傳播條件。針孔模型主要有光心（投影中心）、成像面和光軸組成。小孔成像由于透光量太小，因此需要很長的曝光時間，并且很難得到清晰的圖像。實(shí)際攝像系統(tǒng)通常都由透鏡或者透鏡組組成。兩種模型具有相同的成像關(guān)系，即像點(diǎn)是物點(diǎn)和光心的連線與圖像平面的交點(diǎn)。因此，可以用針孔模型作為攝像機(jī)成像模型。 在推導(dǎo)成像模型的過程中，不可避免的要涉及到空間直角坐標(biāo)系，直角坐標(biāo)系分右手系和左手系兩種。如果把右手的拇指和食指分別指向x 軸和 y 軸的方向，中指指向 z 軸的方向，滿足此種對應(yīng)關(guān)系的就叫做右旋坐標(biāo)系或右手坐標(biāo)系；如果左手的三個手指依次指向 x 軸、y 軸和 z 軸，這樣的坐標(biāo)系叫做左手坐標(biāo)系或者左旋坐標(biāo)系。本文為簡便起見，使用的坐標(biāo)系均為右手坐標(biāo)系。 圖2.1.1 針孔成像對于僅有一塊理想薄凸透鏡的成像系統(tǒng)，要成一縮小實(shí)像，物距u,像距v焦距f必須滿足下式： （2.1.1）當(dāng)u遠(yuǎn)大于 f時，可以認(rèn)為 v 與 f近似相等，若取透鏡中心為三維空間坐標(biāo)系原點(diǎn)，則三維物體成像于透鏡焦點(diǎn)所在的像平面上，如上圖所示。圖中（X,Y,Z）為空間點(diǎn)坐標(biāo)，（x, y,-f）為像點(diǎn)坐標(biāo)，為以透鏡中心即光學(xué)中心為坐標(biāo)原點(diǎn)的三維坐標(biāo)系。成像平面平行于平面，距光心距離為f。則有下列關(guān)系成立： (2.1.2) 上述成像模型即為光學(xué)中的中心投影模型，也稱為針孔模型。針孔模型主要由光心投影中心、成像面和光軸組成。模型假設(shè)物體表面的部分反射光經(jīng)過一個針孔而投影到像平面上，也就是就成像過程滿足光的直線傳播條件，為一個射影變換過程；而相應(yīng)地，像點(diǎn)位置僅與空間點(diǎn)坐標(biāo)和透鏡焦距相關(guān)。由于成像平面位于光心原點(diǎn)的后面，因此稱為后投影模型，此時像點(diǎn)與物點(diǎn)的坐標(biāo)符號相反；為簡便起見，在不改變像點(diǎn)與物點(diǎn)的大小比例關(guān)系的前提下，可以將成像平面從光心后前移至光心前，如下圖所示，此時空間點(diǎn)坐標(biāo)與像點(diǎn)坐標(biāo)之間符號相同，成等比例縮小的關(guān)系，此種模型稱為前投影模型。本文使用前投影模型，在實(shí)際生活中，大部分?jǐn)z像機(jī)都可以用此模型近似模擬其成像過程。 圖2.1.2 針孔成像前投影模型2.2坐標(biāo)變換 在實(shí)際使用攝像機(jī)的過程中，人們?yōu)榱朔奖阌嬎?，常常設(shè)置多個坐標(biāo)系，因此，空間點(diǎn)的成像過程必然涉及到坐標(biāo)系之間的相互轉(zhuǎn)化。 下面將逐步推導(dǎo)坐標(biāo)變換的公式以及坐標(biāo)變換的相關(guān)特性23。 首先考慮相對簡單的二維坐標(biāo)變換，考慮如下圖所示的兩個坐標(biāo)系Oxy 和,其中表示點(diǎn)O點(diǎn)在坐標(biāo)系 Oxy中的坐標(biāo)，兩坐標(biāo)系之間的夾角設(shè)為。則兩坐標(biāo)系之間的變換可以看作是通過兩步完成的：或者是先旋轉(zhuǎn)，再平移；或者是先平移，后旋轉(zhuǎn)。兩種方法得到的最終的表達(dá)式是一致的，在這里選擇第一種。 圖2.2.1 二維坐標(biāo)變換示意圖經(jīng)過簡單的推導(dǎo)，可以得出以下同一點(diǎn)新舊坐標(biāo)之間的關(guān)系式： （2.2.1）將其轉(zhuǎn)化為矩陣的形式，可以推出下式： （2.2.2）為更進(jìn)一步簡化公式，這里引入齊次坐標(biāo)形式。簡單地說，給原有的坐標(biāo)表示添加一個元素，用 1表示該點(diǎn)為非無窮遠(yuǎn)點(diǎn)，0表示該點(diǎn)為無窮遠(yuǎn)點(diǎn)，更深入的內(nèi)容可以參考空間解析幾何的相關(guān)內(nèi)容。引入齊次坐標(biāo)后，上式可以變?yōu)橐韵滦问剑?（2.2.3） 坐標(biāo)變換矩陣由三個列向量組成，前兩個列向量表示旋轉(zhuǎn)，第三個列向量表示平移。可以看出旋轉(zhuǎn)向量滿足正交性，用r1 表示第一列，用 r2 表示第二列，則有下式成立： （2.2.4） 將坐標(biāo)變換從二維擴(kuò)展到三維，情況將稍微復(fù)雜一些，但依然可以將坐標(biāo)變換分解為旋轉(zhuǎn)和平移兩個部分，此時旋轉(zhuǎn)角將是一個空間角而不是一個平面角，平移量是一個三維空間向量而不是一個平面二維向量。對于旋轉(zhuǎn)的空間角，可以將其分解為三個平面旋轉(zhuǎn)角，分別表示繞 x軸，y軸和z 軸旋轉(zhuǎn)的角度。每一種旋轉(zhuǎn)所對應(yīng)的變換矩陣如下所示： (2.2.5） 圖 2.2.2 三維坐標(biāo)變換示意圖 這里設(shè)新坐標(biāo)系的原點(diǎn)O在舊坐標(biāo)系中的坐標(biāo)為，則可以得出最終的、坐標(biāo)變換的齊次坐標(biāo)形式: (2.2.6)類似地，旋轉(zhuǎn)向量滿足正交性，令表示旋轉(zhuǎn)矩陣，其中, , ,令表示平移向量，O=(0,0,0)，則上述公式可以簡化為： （2.2.7）對于旋轉(zhuǎn)向量，有下式成立： （2.2.8） 2.3 攝像機(jī)成像公式 有了前述的相關(guān)知識，現(xiàn)在可以在忽略畸變影響的前提下推導(dǎo)攝像機(jī)成像公式。在攝像機(jī)成像過程中，通常涉及到多個坐標(biāo)系。它們分別是世界坐標(biāo)系、攝像機(jī)坐標(biāo)系和圖像坐標(biāo)系，圖像坐標(biāo)系又分為圖像物理坐標(biāo)系和圖像像素坐標(biāo)系。圖 2.3.1 攝像機(jī)成像模型世界坐標(biāo)系是可由用戶任意定義的三維空間坐標(biāo)系，一般的三維場景都用這個坐標(biāo)系來表示。在攝像機(jī)定標(biāo)中，世界坐標(biāo)系常設(shè)在定標(biāo)物的表面或在與標(biāo)定物有著確定的變換關(guān)系的位置，從而標(biāo)定物上特征點(diǎn)的空間世界坐標(biāo)僅需簡單的推導(dǎo)即可得到。 攝像機(jī)坐標(biāo)系是以攝像機(jī)光心為原點(diǎn)， 以垂直于成像平面的攝像機(jī)光軸為 Z軸建立的三維直角坐標(biāo)系。其中該坐標(biāo)系的X軸和 Y軸一般與圖像物理坐標(biāo)系的相應(yīng)x軸和y軸平行，兩軸所在平面平行于成像平面。 圖像坐標(biāo)系分為圖像物理坐標(biāo)系和圖像像素坐標(biāo)系兩種。 圖像物理坐標(biāo)系的原點(diǎn)為透鏡光軸與成像平面的交點(diǎn)，X與 Y軸分別平行于攝像機(jī)坐標(biāo)系的 x與 y軸，是平面直角坐標(biāo)系，長度單位為毫米。 圖像像素坐標(biāo)系為固定在圖像上的以像素為單位的平面直角坐標(biāo)系， 其原點(diǎn)位于圖像左上角,坐標(biāo)軸平行于圖像物理坐標(biāo)系的X和 Y 軸。對于數(shù)字圖像，圖像像素坐標(biāo)系為直角坐標(biāo)系，長度單位為毫米。圖 2.3.2 成像平面的不垂直性示意圖攝像機(jī)成像可以分為三個階段，第一個階段是空間點(diǎn)坐標(biāo)從世界坐標(biāo)系變換為攝像機(jī)坐標(biāo)系，第二個階段為空間點(diǎn)坐標(biāo)經(jīng)過鏡頭的射影變換轉(zhuǎn)化為像點(diǎn)坐標(biāo)，在這個過程中由于光學(xué)系統(tǒng)的畸變誤差，會使像點(diǎn)坐標(biāo)產(chǎn)生一定的畸變，從而會對最終的圖像造成一定的畸變。為了校正畸變，對應(yīng)不同的校正方法，人們提出了許多不同的校正模型。第三個階段為圖像的形成，通過 CCD 完成。它使用一種高感光度的半導(dǎo)體材料制成，能把光線轉(zhuǎn)變成電荷，通過模數(shù)轉(zhuǎn)換器芯片轉(zhuǎn)換成數(shù)字信號，數(shù)字信號經(jīng)過壓縮以后由相機(jī)內(nèi)部的閃速存儲器或內(nèi)置硬盤卡保存，因而可以輕而易舉地把數(shù)據(jù)傳輸給計算機(jī)，并借助于計算機(jī)的處理手段，根據(jù)需要和想象來修改圖像。CCD 由許多感光單位組成，通常以百萬像素為單位。當(dāng) CCD表面受到光線照射時，每個感光單位會將電荷反映在組件上，所有的感光單位所產(chǎn)生的信號加在一起，就構(gòu)成了一幅完整的畫面。CCD每個像素在 x和 y方向上分別有著確定的物理尺寸和，表示一個像素為多少毫米，這兩個參數(shù)近似相等，但由于制造精度的問題，將會有一定差異。同樣地，CCD的坐標(biāo)軸的夾角接近90度，但不是完全垂直。下面來推導(dǎo)理想情況下的攝像機(jī)成像公式，首先是第一個階段： （2.2.9） 其中，為空間點(diǎn)的世界坐標(biāo)系齊次坐標(biāo)?？臻g點(diǎn)的攝像機(jī)坐標(biāo)系齊次坐標(biāo)，R和 T分別為旋轉(zhuǎn)矩陣和平移向量。在第二個階段，空間點(diǎn)變換為像點(diǎn)： （2.2.10）其中為像點(diǎn)圖像物理坐標(biāo)系齊次坐標(biāo)。 在第三個階段，像點(diǎn)坐標(biāo)將轉(zhuǎn)化為像素坐標(biāo)： （2.2.11）其中 為像點(diǎn)的圖像像素坐標(biāo)系齊次坐標(biāo)。為攝像機(jī)光學(xué)中心在CCD成像平面上的投影位置。 這樣就依靠攝像機(jī)各參數(shù)，建立了空間點(diǎn)與像素點(diǎn)之間的聯(lián)系。因此我們可以根據(jù)檢測到的點(diǎn)坐標(biāo)，進(jìn)而求得攝像機(jī)的焦距f，物理尺寸和，主點(diǎn)位置，縱橫坐標(biāo)軸的夾角?？偟膩碚f，理想前提下，攝像機(jī)的參數(shù)可分為內(nèi)外兩種，用于世界坐標(biāo)系向攝像機(jī)坐標(biāo)轉(zhuǎn)換的三個旋轉(zhuǎn)角和三個平移量參數(shù)為外參數(shù)，總共為六個未知量，攝像機(jī)的焦距f，物理尺寸和，主點(diǎn)位置，縱橫坐標(biāo)軸的夾角，和起來也是六個未知量。但是，將成像第二階段和第三階段的公式中的矩陣合并到一起，通過簡單的變量替換，可以將六個內(nèi)參數(shù)化為五個內(nèi)參數(shù)。 （2.2.12）令 ， ， ，則最后的成像公式可變?yōu)椋?（2.2.13） 因此，理想情況下攝像機(jī)定標(biāo)就是要求解這內(nèi)外總共11個未知量。3 傳統(tǒng)攝像機(jī)標(biāo)定方法 根據(jù)是否需要標(biāo)定參照物來看，可分為傳統(tǒng)的攝像機(jī)標(biāo)定方法和攝像機(jī)自標(biāo)定方法。還有一些方法難以歸類到這兩類中，如主動視覺攝像機(jī)標(biāo)定方法。傳統(tǒng)的攝像機(jī)標(biāo)定方法包括直接線性變換方法（DLT方法）20、R. Tsai 的 RAC方法、張正友的平面標(biāo)定方法22、孟曉橋、胡占義的圓標(biāo)定方法24、吳毅紅等的平行圓標(biāo)定方法等。這些方法的特點(diǎn)是利用已知的景物結(jié)構(gòu)信息。常用到標(biāo)定塊。其優(yōu)點(diǎn)是可以使用于任意的攝像機(jī)模型，標(biāo)定精度高。但也存在不足之處，如標(biāo)定過程復(fù)雜，需要高精度的已知結(jié)構(gòu)信息。在實(shí)際應(yīng)用中很多情況下無法使用標(biāo)定塊。3.1 直接線性變換（DLT變換） 直接線性變換是將像點(diǎn)和物點(diǎn)的成像幾何關(guān)系在齊次坐標(biāo)下寫成透視投影矩陣的形式： （3.1.1）其中為圖像坐標(biāo)系下的點(diǎn)的齊次坐標(biāo)，為世界坐標(biāo)系下的空間點(diǎn)的歐氏坐標(biāo)，P為的透視投影矩陣，S為未知尺度因子。，消去S,可以得到方程組：（3.1.2） 當(dāng)已知N個空間點(diǎn)和對應(yīng)的圖像上的點(diǎn)時，可以得到一個含有2* N個方程的方程組: AL=0 （3.1.3）其中A為的矩陣，L為透視投影矩陣元素組成的向量。像機(jī)定標(biāo)的任務(wù)就是尋找合適的L,使得為最小，即 給出約束： (3.1.4) L為L的前11個元素組成的向量，C為A前11列組成的矩陣，B為A第12列組成的向量. 約束不具有旋轉(zhuǎn)和平移的不變性，解將隨著世界坐標(biāo)系的選取不同而變化。證明如下：世界坐標(biāo)系作剛性坐標(biāo)變換 (3.1.5)則。顯然在一般的情況下，另一個約束具有旋轉(zhuǎn)和平移的不變性圖3.1.1 向量位置關(guān)系向量，是兩兩垂直的單位向量，有。3.2 Tsai 的 RAC的定標(biāo)算法 80年代中期Tsai提出的基于RAC的定標(biāo)方法是計算機(jī)視覺像機(jī)定標(biāo)方面的一項(xiàng)重要工作，該方法的核心是利用徑向一致約束來求解除（像機(jī)光軸方向的平移）外的其它像機(jī)外參數(shù)，然后再求解像機(jī)的其它參數(shù)?；赗AC方法的最大好處是它所使用的大部分方程是線性方程，從而降低了參數(shù)求解的復(fù)雜性，因此其定標(biāo)過程快捷，準(zhǔn)確。RAC的定標(biāo)算法主要內(nèi)容有像機(jī)模型、徑向一致約束、定標(biāo)算法. 像機(jī)模型如下頁圖3.2.1：xyy 圖3.2.1像機(jī)模型世界坐標(biāo)系和攝像機(jī)坐標(biāo)系的關(guān)系: (3.2.1)在Tsai的方法中，K 取作： (3.2.2)理想圖像坐標(biāo)到數(shù)字圖像坐標(biāo)的變換（只考慮徑向偏差18,19），如下頁圖3.2: (u,v)（uc, vc） （x, y） 圖3.2.2 徑向偏差 （3.2.3）(u,v)為一個點(diǎn)的數(shù)字化坐標(biāo)，（x,y）為理想的數(shù)字化坐標(biāo)，為畸變中心。（1）徑向一致約束 在圖像平面上，點(diǎn)，（x,y），（u,v)共線，或者直線 (x,y)與直線（u,v) 平行或斜率相等，則有： （3.2.4）通常把圖像中心取作畸變中心和主點(diǎn)的坐標(biāo)，因此： （3.2.5）（2）定標(biāo)算法定標(biāo)步驟一：求解像機(jī)外參數(shù)旋轉(zhuǎn)矩陣R和向x,y方向上的平移，根據(jù)： （3.2.6） 其中， ， 得到： （3.2.7） 再根據(jù)式（3.2.5）得到： （3.2.8）由至少7組對應(yīng)點(diǎn)，可以求得一組解： （3.2.9）對除以，則得到一組解。由可求出S，從而也可以被解出。 或 根據(jù) det(R)=1,來選擇。定標(biāo)步驟二：求解有效焦距f、z方向上的平移和畸變參數(shù)k； 令k=0作為初始值，則式（3.2.7）為： （3.2.10）由式（3.2.7）中x,y的表達(dá)式，可以將第一步求出 R，的值代入得： （3.2.11） 由此可以解出f, .將求出的f, .以及k=0作為初始值，對下式進(jìn)行線性優(yōu)化： （3.2.12）估出估計，f和k的真實(shí)值。 3.3 張正友的平面標(biāo)定方法 張正友標(biāo)定成像模型基本原理： （3.3.1）在這里假定模板平面在世界坐標(biāo)系Z=0的平面上,其中，K攝像機(jī)的內(nèi)參數(shù)矩陣, 為模板平面上點(diǎn)的齊次坐標(biāo)， 為模板平面上的點(diǎn)投影到圖像平面上對應(yīng)點(diǎn)的齊次坐標(biāo)。和t分別是攝像機(jī)坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量。，根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)，即和，每副圖像可以獲得以下兩個對內(nèi)參數(shù)矩陣的基本約束： （3.3.2）由于攝像機(jī)有5個未知內(nèi)參數(shù)，所以當(dāng)所攝取得的圖像數(shù)目大于等于3時，就可以線性唯一求解出。 張正友方法所用的平面模板如下：圖3.3.2 張正友標(biāo)定模板算法描述為：1. 打印一張模板并貼在一個平面上2. 從不同角度拍攝若干張模板圖像3. 檢測出圖像中的特征點(diǎn)4. 求出攝像機(jī)的內(nèi)參數(shù)和外參數(shù)5. 求出畸變系數(shù)6. 優(yōu)化求精張正友的平面標(biāo)定方法是介于傳統(tǒng)標(biāo)定方法和自標(biāo)定方法之間的一種方法。它既避免了傳統(tǒng)方法設(shè)備要求高，操作繁瑣等缺點(diǎn)，比自標(biāo)定方法精度高，符合辦公、家庭使用的桌面視覺系統(tǒng)(DVS)的標(biāo)定要求。該方法是需要確定模板上點(diǎn)陣的物理坐標(biāo)以及圖像和模板之間的點(diǎn)的匹配，這給不熟悉計算機(jī)視覺的使用者帶來了不便。同時張正友方法對攝像機(jī)的要求相對較高，不允許攝像機(jī)有較大的徑向畸變，否則得到的參數(shù)存在很大的差異，不過這一缺陷可通過畸變校正解決。3.4 孟曉橋、胡占義的圓標(biāo)定方法 孟胡方法所用的模板如下： 圖3.4.1 圓標(biāo)定模板從至少三個不同方位拍攝模板圖像，根據(jù)射影不變性計算出每幅圖像上的圓環(huán)點(diǎn)像的坐標(biāo)，得到關(guān)于內(nèi)參數(shù)矩陣的至少六個方程，即可解出所有內(nèi)參數(shù)。計算圓環(huán)點(diǎn)像的原理：模板平面無窮遠(yuǎn)直線圖3.4.2 圓環(huán)點(diǎn)像的原理圓環(huán)點(diǎn)為無窮遠(yuǎn)點(diǎn)，它是絕對二次曲線上的一對共軛點(diǎn)。(1,i,0,0) (1,-i,0,0) 是一一對圓環(huán)點(diǎn)。，可知， （3.4.1）變換得 （3.4.2） 可解得： （3.4.3） 在圖像上，兩個圓環(huán)點(diǎn)的圖像被計算出， （3.4.4） （3.4.5）由此可見，孟胡的方法與張的方法過程相似；但所用的模版不同，孟胡的方法基于曲線擬合（穩(wěn)定），并且不需要任何匹配，而張的方法基于點(diǎn)，需要匹配模版的點(diǎn)和圖像點(diǎn)。此外，吳毅紅等的平行圓標(biāo)定方法是從平行圓的最小個數(shù)出發(fā)，利用攝像機(jī)成像的準(zhǔn)仿射不變性，分析了所有可能情況的計算圓環(huán)點(diǎn)的方法，計算圖像上二次曲線的交點(diǎn)，得到圓環(huán)點(diǎn)的圖像，進(jìn)而得到式（3.4.4）和式（3.4.5）。該方法和以往的基于圓的標(biāo)定方法相比:計算圓環(huán)點(diǎn)圖像簡單，只需要從擬合的二次曲線出發(fā), 不需要任何匹配, 不需要計算圓心。這種方法應(yīng)用場合廣泛, 不僅僅限于平面的情形，可應(yīng)用基于轉(zhuǎn)盤的重構(gòu)。4.攝像機(jī)自標(biāo)定方法 自標(biāo)定是指不需要標(biāo)定塊，僅僅通過多幅圖像點(diǎn)之間的對應(yīng)關(guān)系對攝像機(jī)進(jìn)行標(biāo)定的過程15,16。這種方法的優(yōu)點(diǎn)是僅需要建立圖像之間的對應(yīng)，靈活性強(qiáng)，主要應(yīng)用場所的轉(zhuǎn)移，潛在應(yīng)用范圍廣。但也存在不足之處，如因?yàn)檫@是非線性標(biāo)定，因而精度不太高，魯棒性不高。4.1 基于Kruppa方程的自標(biāo)定方法 推導(dǎo)Kruppa 方程的示意圖 圖4.1.1 基于Kruppa方程的自標(biāo)定方法模型Kruppa 方程由 ， 得 （4.1.1） x為位于上的任意一點(diǎn),知 ，則 （4.1.2） （4.1.3） （4.1.4）其中的組成形式為 在Kruppa方程中，F(xiàn),e 為已知數(shù)， 有5個獨(dú)立未知變量，每個Kruppa方程最多可以提供2個關(guān)于未知變量的獨(dú)立約束，約束方程為5元二次方程，每對圖像可以得到一個Kruppa方程，故至少需要3對圖像來標(biāo)定攝像機(jī)，且攝像機(jī)的內(nèi)參數(shù)必須保持不變，假定內(nèi)參數(shù)都在變，任意兩幅圖像間有兩個獨(dú)立的Kruppa方程，則 N (=3) 幅圖像之間有N(N-1)個Kruppa方程，其中只有5N-9個方程是獨(dú)立的。4.2基于絕對二次曲面、無窮遠(yuǎn)平面的自標(biāo)定方法將世界坐標(biāo)系取作第一個攝像機(jī)的坐標(biāo)系，則絕對二次曲面13.14是：（4.2.1）其中K1是第一個攝像機(jī)的內(nèi)參數(shù)，a 是無窮遠(yuǎn)平面的法向量。，是射影重建，則絕對二次曲面標(biāo)定方程有：，（4.2.2）第1幅和i幅圖像之間的無窮遠(yuǎn)平面的單應(yīng)矩陣是：，?；跓o窮遠(yuǎn)平面單應(yīng)矩陣的標(biāo)定方程是： ， （4.2.3） 由絕對二次曲面的標(biāo)定方程或無窮遠(yuǎn)平面的標(biāo)定方程可以推出 Kruppa 方程。反之，對Kruppa 方程添加一個方程后，可以推出絕對二次曲面的標(biāo)定方程或無窮遠(yuǎn)平面的標(biāo)定方程。因此，基于絕對二次曲面的標(biāo)定方程與基于無窮遠(yuǎn)平面的標(biāo)定方程完全等價。5基于Matlab的攝像機(jī)標(biāo)定的實(shí)現(xiàn)5.1標(biāo)定實(shí)現(xiàn)的流程讀取圖像角點(diǎn)檢測結(jié)構(gòu)轉(zhuǎn)換誤差分析計算外參計算內(nèi)參結(jié)果輸出釋放內(nèi)存圖 5.1.1 標(biāo)定實(shí)現(xiàn)流程圖本次實(shí)驗(yàn)完成了兩種標(biāo)定方法，第一種基于MATLAB使用了calib_toolbox工具實(shí)現(xiàn)的標(biāo)定，這里所用到的圖片可以是攝像機(jī)拍攝出來的一組對同一物體不同位置和姿勢的圖片。本實(shí)驗(yàn)為了觀察方便，實(shí)現(xiàn)的是黑白相間的棋盤狀網(wǎng)格標(biāo)定，并給出了標(biāo)定參數(shù)。另外一個實(shí)驗(yàn)是根據(jù)Tasi沒有考慮攝像頭畸變的標(biāo)定，CCD 陣列中感光元的橫向間距和縱向間距被認(rèn)為是已知, 其數(shù)值是靠攝像機(jī)廠家提供的，因此角點(diǎn)檢測的結(jié)果已經(jīng)完成。因此第二個實(shí)驗(yàn)只需要的三維空間坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的外參數(shù)旋轉(zhuǎn)矩陣R和平移向量T,以及攝像機(jī)焦距f.5.2標(biāo)定的實(shí)現(xiàn)實(shí)驗(yàn)一：運(yùn)用calib_toolbox工具實(shí)現(xiàn)標(biāo)定運(yùn)行Matlab，并將toolbox_calib文件夾添加到matlab path 環(huán)境中。再運(yùn)行標(biāo)定主函數(shù)calib_gui,調(diào)用函數(shù)calib_gui.m，屏幕將出現(xiàn)下面界面： 圖5.2.1 攝像機(jī)標(biāo)定工具模式菜單選擇其中一種模式，調(diào)用函數(shù)calib_gui_normal.m,將出現(xiàn)：圖5.2.2 標(biāo)定工具個子菜單即可以使用工具箱進(jìn)行標(biāo)定了。讀入圖片，調(diào)用ima_read_calib.m,則會出現(xiàn)以下情況：圖5.2.3 讀入圖片產(chǎn)出的結(jié)果鍵入圖片名，Image,以及圖片格式tif,則完成圖片讀取,調(diào)用的是check_active_images.m.并出現(xiàn)所以標(biāo)定圖片的縮略圖。圖5.2.4 讀入圖像縮略圖進(jìn)行圖像角點(diǎn)提取，調(diào)用了以及click_ calib.m以及click_ima_calib.m對20張圖片都進(jìn)行同樣的操作，可以得到20張類似于下圖的有交角點(diǎn)的圖形。同時也生成帶有角點(diǎn)檢測完成后的圖像中 圖5.2.5 提取角點(diǎn)圖像 圖5.2.6 角點(diǎn)檢測圖像角點(diǎn)提取完成后調(diào)用go_calib_optim.m以及