基于預(yù)檢校的自檢校課件

基于預(yù)檢校的自檢校方法研碩士研究生:謝東海導(dǎo)師江萬壽基于預(yù)檢校的自檢校1研究背景數(shù)碼相機(jī)的普及,基于一般數(shù)碼相機(jī)拍攝相片的幾何三維建模方興未的前提近景攝影測量和計(jì)算機(jī)立體視覺研究的熱點(diǎn)。檢校是三維重建在攝影測量界,經(jīng)典的量測相機(jī)檢校方法已經(jīng)非常完善,檢校的精度程序比較復(fù)非線性最優(yōu)化或者需要部分已知攝像機(jī)運(yùn)動參數(shù),檢校的精度也不夠本文研究針對一般數(shù)碼相機(jī)(GCD相機(jī))的檢校方法,這種相機(jī)價(jià)格:釋花楔經(jīng)參在卻在變硫蔓像機(jī)數(shù)字化圖像分游對這種CCD數(shù)碼相機(jī),用傳統(tǒng)的檢校方法代價(jià)過于昂貴,而且由于相機(jī)參數(shù)的不穩(wěn)定,如果每次量測之前都用控制場的方法來嚴(yán)格檢校,工作如果用自檢校的方法,可以做到實(shí)時(shí)的檢校,不必每次使用控制場,但需要解非線性方程和解找一種既能顧及畸變參數(shù),嘆實(shí)時(shí)靈活的檢校方法就是勢在必行了。研究背景2本文研究的目的傳統(tǒng)的攝影測量檢校方法和自檢校的方法各有所長,那么綜合二者的優(yōu)點(diǎn),就可以在保證精度的同時(shí)兼有靈活性和實(shí)用性本文正是基于這樣的思想,提出基于預(yù)檢校的自檢校的方法,其目的是充分利用已有的檢校結(jié)果,主要是畸變參數(shù)的值,來提高自檢校的精度。由于畸變系數(shù)隨主距變化而變化,所以預(yù)檢校的重點(diǎn)是建立畸變系數(shù)和主距之間的變化規(guī)律。本文研究的目的3自檢校的原理Faugeras[Faugeras1992],Maybank[Maybank1992]FlHartley[Hartley194等人提出自檢校的概念,證明可以直接從多幅圖像中檢校出攝像機(jī)的內(nèi)方位元素,這方面的研究目前已成為計(jì)算機(jī)視覺領(lǐng)域中重要的研究方向。自檢校的方法不需要布設(shè)控制場,只需要從不同角度獲得同一物體的幾張相片,就可以利用相片的相對關(guān)系來恢復(fù)出內(nèi)方位元素所以在一些無法設(shè)置控制場的場合(如高危險(xiǎn)地區(qū)的檢測、星球探測機(jī)器人的自主導(dǎo)航等),自檢校就能發(fā)揮重要的作用。自檢校的原理4基于Kruppa方程的自檢校Manbank[Maybank1992首先利用射影空間中虛圓的不變性推導(dǎo)出關(guān)于內(nèi)部參數(shù)的Kruppa方程,該方法計(jì)算復(fù)雜對噪音敏感。Luong[luong2019]改進(jìn)了以上成果,利用迭代的擴(kuò)展卡爾曼濾波得出較為魯棒的估計(jì)。Hartley提供了一個(gè)基于基本矩陣(FundamentalMatrix)的奇異值分解的Kruppa方程的簡單形式[Hartley2019b大部分的自檢校都是基于Kruppa方程的?；贙ruppa方程的自檢校5Absoluteconic在推導(dǎo)KruppaEquations之前,我們首先要提出AbsoluteConic的概念。如果用符號:回來表示Absoluteconic,那么它的數(shù)學(xué)表達(dá)式為這里我們用奇次坐標(biāo)X,Y,Z,W)來表示空間的可見,AbsoluteConic是位于空間無窮遠(yuǎn)平面上的一條二次曲線,而且點(diǎn)的坐標(biāo)全部為復(fù)數(shù)。設(shè)AbsoluteConic在圖像平面上的投影為:。則投影曲線的代數(shù)表達(dá)式可以如下推導(dǎo):設(shè)x為投影點(diǎn)的坐標(biāo)ALRItI投影曲線表達(dá)式只和內(nèi)方位元素有關(guān)因?yàn)?MM=0,那么:x2AAx=0A為相機(jī)的內(nèi)方位元素矩Absoluteconic6極線幾何在自檢校過程中涉及到一個(gè)重要的概念—基本矩陣基本矩陣(Fundamentalmatrix)是個(gè)3*3的矩陣,它描述了雙攝像機(jī)的極線。利用基本矩陣,我們可以完成射影幾何意義下的三維重建。如果設(shè)u1,u2為空間點(diǎn)M在左右圖像上的成像點(diǎn)m,m的奇次坐標(biāo),那么可以得到關(guān)系式:u1Fu2=0.F就是基本矩陣極線幾何7基本矩陣的性質(zhì)和計(jì)算方法性質(zhì)基本矩陣是一個(gè)3*3的矩陣設(shè)1=(x,y,1)u12=(x,y1:有u,F2=0基本矩陣的秩為2設(shè)左核點(diǎn)右核點(diǎn)則有:Fe=0,Fe=0常用的計(jì)算方法8點(diǎn)算法hartley的改進(jìn)8點(diǎn)算法非線性的優(yōu)化方法基本矩陣的性質(zhì)和計(jì)算方法8KruppaEquations我們使用AC代表Absoluteconic在影像平面上的投影曲線回。由于AC只和相機(jī)的內(nèi)方位元素相關(guān),所以只要我們求出IAC的代數(shù)表達(dá)式,就可以分解出相機(jī)的內(nèi)方位元素。KruppaEquations正是利用了IAC不隨相機(jī)位置變化而改變的這一特性來建立的方程p為左核點(diǎn),為過p并與a相切的樓線y為切點(diǎn),那么=<P,y>,(<,>表示叉積)存在:1K1-0>K從右圖可以看出,y和直線1在同個(gè)平面上由基本矩陣(F)的性質(zhì)可知:1=Fy也和a相切,所以:1.A-0KruppaFKFy=0;(2)Equations當(dāng)基本矩陣已知時(shí),根據(jù)F的性質(zhì)可以求出p的值所以公式(1和(2)中未知的就是K,K為對稱矩陣含有5個(gè)末知數(shù),而給定F,就可以列出兩個(gè)方程,如果可以首先求出三個(gè)F矩陣的值,就可以解出KKruppaEquations9內(nèi)方位元素矩陣Ax)是像主點(diǎn)(principalpoint的在像平面坐標(biāo)系中的坐標(biāo)A=0f,(xy)是相片橫向和縱向的主距值。s則是用來描述cCD數(shù)碼相機(jī)像素不是矩形而造成的傾斜誤差。從內(nèi)方位元素矩陣的形式可以看出,其中沒有引入畸變系數(shù)。只考慮了線性變換的部分,即平移和縮放?；兿禂?shù)代表的非線性變形那部分沒有考慮進(jìn)去內(nèi)方位元素矩陣A10基于預(yù)檢校的自檢校課件11基于預(yù)檢校的自檢校課件12基于預(yù)檢校的自檢校課件13基于預(yù)檢校的自檢校課件14基于預(yù)檢校的自檢校課件15基于預(yù)檢校的自檢校課件16基于預(yù)檢校的自檢校課件17基于預(yù)檢校的自檢校課件18基于預(yù)檢校的自檢校課件19基于預(yù)檢校的自檢校課件20基于預(yù)檢校的自檢校課件21基于預(yù)檢校的自檢校課件22基于預(yù)檢校的自檢校課件23基于預(yù)檢校的自檢校課件24基于預(yù)檢校的自檢校課件25基于預(yù)檢校的自檢校課件26基于預(yù)檢校的自檢校課件27基于預(yù)檢校的自檢校課件28基于預(yù)檢校的自檢校課件29基于預(yù)檢校的自檢校課件30基于預(yù)檢校的自檢校課件31基于預(yù)檢校的自檢校課件32基于預(yù)檢校的自檢校課件33基于預(yù)檢校的自檢校課件34基于預(yù)檢校的自檢校課件35基于預(yù)檢校的自檢校課件36基于預(yù)檢校的自檢校課件37基于預(yù)檢校的自檢校課件38基于預(yù)檢校的自檢校課件39基于預(yù)檢校的自檢校課件40基于預(yù)檢校的自檢校課件41基于預(yù)檢校的自檢校課件42基于預(yù)檢校的自檢校課件43基于預(yù)檢校的自檢校課件44基于預(yù)檢校的自檢校課件45基于預(yù)檢校的自檢校課件46基于預(yù)檢校的自檢校課件47基于預(yù)檢校的自檢校課件48基于預(yù)檢校的自檢校方法研碩士研究生:謝東海導(dǎo)師江萬壽基于預(yù)檢校的自檢校49研究背景數(shù)碼相機(jī)的普及,基于一般數(shù)碼相機(jī)拍攝相片的幾何三維建模方興未的前提近景攝影測量和計(jì)算機(jī)立體視覺研究的熱點(diǎn)。檢校是三維重建在攝影測量界,經(jīng)典的量測相機(jī)檢校方法已經(jīng)非常完善,檢校的精度程序比較復(fù)非線性最優(yōu)化或者需要部分已知攝像機(jī)運(yùn)動參數(shù),檢校的精度也不夠本文研究針對一般數(shù)碼相機(jī)(GCD相機(jī))的檢校方法,這種相機(jī)價(jià)格:釋花楔經(jīng)參在卻在變硫蔓像機(jī)數(shù)字化圖像分游對這種CCD數(shù)碼相機(jī),用傳統(tǒng)的檢校方法代價(jià)過于昂貴,而且由于相機(jī)參數(shù)的不穩(wěn)定,如果每次量測之前都用控制場的方法來嚴(yán)格檢校,工作如果用自檢校的方法,可以做到實(shí)時(shí)的檢校,不必每次使用控制場,但需要解非線性方程和解找一種既能顧及畸變參數(shù),嘆實(shí)時(shí)靈活的檢校方法就是勢在必行了。研究背景50本文研究的目的傳統(tǒng)的攝影測量檢校方法和自檢校的方法各有所長,那么綜合二者的優(yōu)點(diǎn),就可以在保證精度的同時(shí)兼有靈活性和實(shí)用性本文正是基于這樣的思想,提出基于預(yù)檢校的自檢校的方法,其目的是充分利用已有的檢校結(jié)果,主要是畸變參數(shù)的值,來提高自檢校的精度。由于畸變系數(shù)隨主距變化而變化,所以預(yù)檢校的重點(diǎn)是建立畸變系數(shù)和主距之間的變化規(guī)律。本文研究的目的51自檢校的原理Faugeras[Faugeras1992],Maybank[Maybank1992]FlHartley[Hartley194等人提出自檢校的概念,證明可以直接從多幅圖像中檢校出攝像機(jī)的內(nèi)方位元素,這方面的研究目前已成為計(jì)算機(jī)視覺領(lǐng)域中重要的研究方向。自檢校的方法不需要布設(shè)控制場,只需要從不同角度獲得同一物體的幾張相片,就可以利用相片的相對關(guān)系來恢復(fù)出內(nèi)方位元素所以在一些無法設(shè)置控制場的場合(如高危險(xiǎn)地區(qū)的檢測、星球探測機(jī)器人的自主導(dǎo)航等),自檢校就能發(fā)揮重要的作用。自檢校的原理52基于Kruppa方程的自檢校Manbank[Maybank1992首先利用射影空間中虛圓的不變性推導(dǎo)出關(guān)于內(nèi)部參數(shù)的Kruppa方程,該方法計(jì)算復(fù)雜對噪音敏感。Luong[luong2019]改進(jìn)了以上成果,利用迭代的擴(kuò)展卡爾曼濾波得出較為魯棒的估計(jì)。Hartley提供了一個(gè)基于基本矩陣(FundamentalMatrix)的奇異值分解的Kruppa方程的簡單形式[Hartley2019b大部分的自檢校都是基于Kruppa方程的。基于Kruppa方程的自檢校53Absoluteconic在推導(dǎo)KruppaEquations之前,我們首先要提出AbsoluteConic的概念。如果用符號:回來表示Absoluteconic,那么它的數(shù)學(xué)表達(dá)式為這里我們用奇次坐標(biāo)X,Y,Z,W)來表示空間的可見,AbsoluteConic是位于空間無窮遠(yuǎn)平面上的一條二次曲線,而且點(diǎn)的坐標(biāo)全部為復(fù)數(shù)。設(shè)AbsoluteConic在圖像平面上的投影為:。則投影曲線的代數(shù)表達(dá)式可以如下推導(dǎo):設(shè)x為投影點(diǎn)的坐標(biāo)ALRItI投影曲線表達(dá)式只和內(nèi)方位元素有關(guān)因?yàn)?MM=0,那么:x2AAx=0A為相機(jī)的內(nèi)方位元素矩Absoluteconic54極線幾何在自檢校過程中涉及到一個(gè)重要的概念—基本矩陣基本矩陣(Fundamentalmatrix)是個(gè)3*3的矩陣,它描述了雙攝像機(jī)的極線。利用基本矩陣,我們可以完成射影幾何意義下的三維重建。如果設(shè)u1,u2為空間點(diǎn)M在左右圖像上的成像點(diǎn)m,m的奇次坐標(biāo),那么可以得到關(guān)系式:u1Fu2=0.F就是基本矩陣極線幾何55基本矩陣的性質(zhì)和計(jì)算方法性質(zhì)基本矩陣是一個(gè)3*3的矩陣設(shè)1=(x,y,1)u12=(x,y1:有u,F2=0基本矩陣的秩為2設(shè)左核點(diǎn)右核點(diǎn)則有:Fe=0,Fe=0常用的計(jì)算方法8點(diǎn)算法hartley的改進(jìn)8點(diǎn)算法非線性的優(yōu)化方法基本矩陣的性質(zhì)和計(jì)算方法56KruppaEquations我們使用AC代表Absoluteconic在影像平面上的投影曲線回。由于AC只和相機(jī)的內(nèi)方位元素相關(guān),所以只要我們求出IAC的代數(shù)表達(dá)式,就可以分解出相機(jī)的內(nèi)方位元素。KruppaEquations正是利用了IAC不隨相機(jī)位置變化而改變的這一特性來建立的方程p為左核點(diǎn),為過p并與a相切的樓線y為切點(diǎn),那么=<P,y>,(<,>表示叉積)存在:1K1-0>K從右圖可以看出,y和直線1在同個(gè)平面上由基本矩陣(F)的性質(zhì)可知:1=Fy也和a相切,所以:1.A-0KruppaFKFy=0;(2)Equations當(dāng)基本矩陣已知時(shí),根據(jù)F的性質(zhì)可以求出p的值所以公式(1和(2)中未知的就是K,K為對稱矩陣含有5個(gè)末知數(shù),而給定F,就可以列出兩個(gè)方程,如果可以首先求出三個(gè)F矩陣的值,就可以解出KKruppaEquations57內(nèi)方位元素矩陣Ax)是像主點(diǎn)(principalpoint的在像平面坐標(biāo)系中的坐標(biāo)A=0f,(xy)是相片橫向和縱向的主距值。s則是用來描述cCD數(shù)碼相機(jī)像素不是矩形而造成的傾斜誤差。從內(nèi)方位元素矩陣的形式可以看出,其中沒有引入畸變系數(shù)。只考慮了線性變換的部分,即平移和縮放?；兿禂?shù)代表的非線性變形那部分沒有考慮進(jìn)去內(nèi)方位元素矩陣A58基于預(yù)檢校的自檢校課件59基于預(yù)檢校的自檢校課件60基于預(yù)檢校的自檢校課件61基于預(yù)檢校的自檢校課件62基于預(yù)檢校的自檢校課件63基于預(yù)檢校的自檢校課件64基于預(yù)檢校的自檢校課件65基于預(yù)檢校的自檢校課件66基于預(yù)檢校的自檢校課件67基于預(yù)檢校的自檢校課件68基于預(yù)檢校的自檢校課件69基于預(yù)檢校的自檢校課件70基于預(yù)檢校的自檢校課件71基于預(yù)檢校的自檢校課件72基于預(yù)檢校的自檢校課件73基于預(yù)檢校的自檢校課件74基于預(yù)檢校的自檢校課件75基于預(yù)檢校的自檢校課件76基于預(yù)檢校的自檢校課件77