大視場(chǎng)視頻拼接算法的研究

1、 畢業(yè)設(shè)計(jì)（論文）畢 業(yè) 設(shè) 計(jì)（論文）題 目：大視場(chǎng)視頻拼接算法的研究2012年 5月11日摘 要大視場(chǎng)視頻拼接是指，將兩個(gè)或者多個(gè)攝像機(jī)拍攝的視頻通過一定的方法拼接后形成一幅大視角的視頻圖像。視頻是由一幀幀圖像組成的，所以視頻拼接的重點(diǎn)是用圖像配準(zhǔn)的方法將兩幅或者多幀具有重疊區(qū)的數(shù)字圖像拼接成寬視場(chǎng)的全景圖像，然后利用視頻壓縮技術(shù)將圖像壓縮為視頻。近年來，在機(jī)器視覺、衛(wèi)星遙感、海底勘探及無人機(jī)中得到廣泛的應(yīng)用。本課題主要研究通過拼接雙攝像頭采集的具有重疊區(qū)的視頻圖像擴(kuò)大視頻監(jiān)控的視場(chǎng)角的方法。主要研究?jī)?nèi)容包括：攝像頭及光學(xué)系統(tǒng)的定標(biāo)；利用SIFT算法尋找圖像的特征匹配點(diǎn)；使用基于多分辨率分

2、析的圖像融合算法進(jìn)行圖像融合。關(guān)鍵詞：視頻拼接，光學(xué)系統(tǒng)的定標(biāo)，SIFT算法，圖像融合ABSTRACT The video splicing of the large field of view refers to the splicing of two or more video shot by the camera by a certain method to form one large viewing angle of the video image. The video is composed by a frame image, the focus of the video mosa

3、ic image registration method having two or more frames digital images assembled into a wide field of view of the panoramic image of the overlapping area, then the use of video compression technology image compressed video. In recent years, machine vision, satellite remote sensing, seabed exploration

4、 and unmanned aerial vehicles in a wide range of applications. The main subject of research collected by stitching dual cameras with overlapping areas of the video image to expand the field of view of the video surveillance. The research topics include: the camera and the calibration of the optical

5、system; SIFT algorithm to find the characteristics of the image matching points; using image fusion based on multi-resolution analysis of image fusion algorithm.Keywords: video mosaic, the calibration of the optical system, SIFT algorithm, image fusion目 錄第1章 緒論21.1 概述212 課題的背景及研究現(xiàn)狀2121 課題的背景2122 課題的

6、研究現(xiàn)狀313 課題的研究意義414 課題的主要研究?jī)?nèi)容4第2章 攝像機(jī)定標(biāo)52.1 圖像坐標(biāo)系，攝像機(jī)坐標(biāo)系與世界坐標(biāo)系52.2 針孔成像模型72.3 相機(jī)畸變8第3章SIFT特征匹配圖像拼接算法93.1 SIFT算法原理93.1.1 多尺度空間建立93.1.2 精確定位特征點(diǎn)的位置103.1.3 確定特征點(diǎn)的主方向133.1.4 生成 SIFT 特征描述符133.2 生成特征匹配點(diǎn)14第4章 圖像融合174.1 構(gòu)建多分辨率金字塔174.1.1高斯金字塔174.1.2拉普拉斯金字塔184.2 基于拉普拉斯金字塔分解的圖像融合策略194.2.1 基于區(qū)域平均梯度的圖像融合策略194.2.2

7、基于區(qū)域能量的圖像融合策略20第6章 總結(jié)23參考文獻(xiàn)24致 謝25第1章 緒論1.1 概述 大視場(chǎng)視頻拼接是將兩個(gè)或多個(gè)相機(jī)按照一定的規(guī)則放置，將每個(gè)相機(jī)分別獲取的視頻拼接成為一個(gè)具有相對(duì)較大視野的大視場(chǎng)視頻的技術(shù)。其相關(guān)技術(shù)廣泛應(yīng)用在視頻監(jiān)控、多媒體展示、機(jī)器人視覺等方面。本文主要研究?jī)?nèi)容如下:(l)攝像機(jī)與光學(xué)系統(tǒng)的標(biāo)定攝像機(jī)標(biāo)定是指建立攝像機(jī)圖像像素位置與場(chǎng)景點(diǎn)位置之間的關(guān)系，其途徑是根據(jù)攝像機(jī)模型，由已知特征點(diǎn)的圖像坐標(biāo)和世界坐標(biāo)求解攝像機(jī)的模型參數(shù)。(2)圖像配準(zhǔn)使用SIFT算法建立多尺度空間，在不同尺度空間中檢測(cè)特征點(diǎn)。即使兩圖像間存在平移、縮放、拉伸等多種尺度變換，經(jīng)過多尺度變

8、換后同一特征點(diǎn)也將在同一尺度下被檢測(cè)到而得到匹配。與其他算子相比，SIFT算子在旋轉(zhuǎn)變化、光照變化、幾何變形、尺度縮放等情況下均具有最好的效果，這使得SIFT算子具有了尺度不變的特性。 （3）圖像融合 采用多分辨率融合算法進(jìn)行圖像融合。攝像機(jī)在拍攝前未嚴(yán)格進(jìn)行標(biāo)定，雖然采用了魯棒性較高的圖像配準(zhǔn)算法，但一定程度上的配準(zhǔn)誤差和曝光差異是不可避免的，為了消除配準(zhǔn)誤差造成的錯(cuò)位和“鬼影”現(xiàn)象，本文采用了多分辨率圖像融合算法。12 課題的背景及研究現(xiàn)狀121 課題的背景視頻和圖像是對(duì) 現(xiàn)實(shí)世界客觀、形象的描述，對(duì)人類而言是最具體而直觀的信息表達(dá)形式。在當(dāng)今信息化時(shí)代，隨著電子技術(shù)、網(wǎng)絡(luò)和通信技術(shù)的快速

9、發(fā)展及人民生活水平的提高，照相機(jī)、DV等視頻采集設(shè)備己不再只為專業(yè)人士所用，而是走入了廣大群眾的日常生活中。視頻作為一種常用的信息載體，已經(jīng)滲透到工作、學(xué)習(xí)、娛樂等各個(gè)方面，成為我們生活中不可或缺的組成部分。但是，在日常生活中，為了可以獲得完整的圖像，我們只有通過縮放攝像機(jī)鏡頭調(diào)整焦距才可以獲取較大視野的圖像。但是攝像機(jī)的視場(chǎng)角是固定的，所以我們拍攝的視頻的分辨率與場(chǎng)景大小兩者相互制約1，2，3。為了拍攝較大的場(chǎng)景，就必然降低所得視頻圖像的分辨率。相反，為了提高拍攝的場(chǎng)景的分辨率，就不得不通過調(diào)劑相機(jī)焦距來減小拍攝的視野，而這樣又得不到完整的場(chǎng)景圖像。當(dāng)然利用魚眼鏡頭等特殊器材4可以部分解決這

10、個(gè)問題，但這些特殊設(shè)備不僅價(jià)格高而且所拍攝的圖像邊緣會(huì)產(chǎn)生變形，且這種扭曲變形是不可避免的，同時(shí)也是不能為人眼所接受的。122 課題的研究現(xiàn)狀 攝像機(jī)的視場(chǎng)角有限，但在實(shí)際應(yīng)用中我們需要視場(chǎng)角較大且分辨率較高的的視頻圖像。人們?yōu)榱四軌驍U(kuò)大攝像機(jī)所拍攝的視頻圖像的視野范圍且不改變分辨率，從而提出了大視場(chǎng)視頻4，5這個(gè)概念。目前獲取大視場(chǎng)視頻主要有兩種方式： 一種是采 用特殊的大 視場(chǎng)攝像設(shè)備采集視頻，視頻采集后 通過軟件校正在成像過程中引發(fā)的畸變，使之符合人 眼的視覺感受。目前這種大 視場(chǎng)視頻拍攝設(shè)備主要有:魚眼鏡頭和全景環(huán)形透鏡等，其最大優(yōu)點(diǎn)是可以一次成像，可以實(shí)時(shí)獲取大視場(chǎng)視頻，且速度較快，

11、但缺點(diǎn)是獲得視頻圖像出現(xiàn)畸變且分辨率較低。目前，這類攝像器材在一些專業(yè)領(lǐng)域中應(yīng)用較多6。另一種方法是通過多個(gè)攝像機(jī)拍攝一組視頻，兩個(gè)攝像機(jī)之間有一定的重疊區(qū)。將視頻中的幀圖像取出，利用圖像間的相關(guān)性，對(duì)圖像進(jìn)行配準(zhǔn)，對(duì)配準(zhǔn)后的圖像進(jìn)行拼接，然后將拼接后的幀圖像合成視頻，最后得到一個(gè)視場(chǎng)范圍較大的視頻8。目前，對(duì)視頻拼接的研究中，比較有代表性的有國(guó)內(nèi)王一鳴、茅耀斌等在基于雙攝像機(jī)的視頻監(jiān)控系統(tǒng)方面所做的研究工作7。他們基于圖像拼接中配準(zhǔn)技術(shù)進(jìn)行攝像機(jī)配準(zhǔn)并使用運(yùn)動(dòng)檢測(cè)與目標(biāo)跟蹤相結(jié)合的方法來對(duì)目標(biāo)進(jìn)行不間斷的跟蹤，實(shí)現(xiàn)了一種視頻監(jiān)控平臺(tái)的構(gòu)建。但此方法首先未擺脫傳統(tǒng)的視頻拼接需要使用同步觸發(fā)器來

12、啟動(dòng)視頻采集的限制，另外，文中也提到，由于使用了運(yùn)動(dòng)物體檢測(cè)與跟蹤的技術(shù)，此系統(tǒng)在檢測(cè)目標(biāo)的完整性和對(duì)噪聲的處理上尚有待完善。Tom Riley等將來自3個(gè)不同位置，具有部分重疊視場(chǎng)的監(jiān)控?cái)z像頭采集的視頻圖像拼接成一幅動(dòng)態(tài)全景圖，有利于實(shí)時(shí)監(jiān)控場(chǎng)景中的情況變化。 13 課題的研究意義 大視場(chǎng)視頻拼接在監(jiān)控系統(tǒng)廣泛應(yīng)用于電子監(jiān)管視頻監(jiān)控、交通的道路監(jiān)控及公共安全等領(lǐng)域。首先，視頻拼接可廣泛應(yīng)用于視頻監(jiān)控方面，大視場(chǎng)視頻監(jiān)控系統(tǒng)可以在保證視頻圖像分辨率的前提下，增大視頻監(jiān)控的視場(chǎng)角，擴(kuò)大視頻監(jiān)控的區(qū)域及范圍，有利于減小監(jiān)控盲區(qū)，提高視頻監(jiān)控系統(tǒng)的性能。其次，在公共安全方面也有極大的用處，2008年

13、汶川地震時(shí)我們?yōu)榱说谝粫r(shí)間獲得災(zāi)區(qū)的受災(zāi)情況，派出了大量飛機(jī)進(jìn)行航空拍攝，飛機(jī)將拍攝的災(zāi)區(qū)視頻傳回后我們利用視頻拼接技術(shù)第一時(shí)間獲得了較為完整的災(zāi)區(qū)受災(zāi)情況，為我們的抗震救災(zāi)工作提供了寶貴的地圖信息。14 課題的主要研究?jī)?nèi)容 課題旨在研究大視場(chǎng)視頻圖像拼接算法。文中對(duì)于圖像拼接的背景、概念、國(guó)內(nèi)外研究現(xiàn)狀，以及一些基本常用的圖像拼接算法都做了相關(guān)論述。同時(shí)，在研究了相機(jī)標(biāo)定原理的基礎(chǔ)上在Matlab平臺(tái)上完成了攝像機(jī)的定標(biāo)，為后續(xù)實(shí)驗(yàn)奠定基礎(chǔ)，本文選擇SIFT算法作為特征點(diǎn)匹配點(diǎn)算法，該算法在找取特征點(diǎn)及特征點(diǎn)匹配問題上均有較好的魯棒性，同時(shí)本文選用基于多分辨率分析的圖像融合算法，該算法對(duì)待融

14、合圖像進(jìn)行拉普拉斯金字塔分解，在圖像融合過程中對(duì)細(xì)節(jié)及亮度信息保留較好，有效的消除了“鬼影”現(xiàn)象。25 第2章 攝像機(jī)定標(biāo)攝像機(jī)標(biāo)定6是指建立攝像機(jī)圖像像素位置與場(chǎng)景點(diǎn)位置之間的關(guān)系，其途徑是根據(jù)攝像機(jī)模型，由已知特征點(diǎn)的圖像坐標(biāo)和世界坐標(biāo)求解攝像機(jī)的模型參數(shù)。2.1 圖像坐標(biāo)系，攝像機(jī)坐標(biāo)系與世界坐標(biāo)系攝像機(jī)采集的圖像以標(biāo)準(zhǔn)電視信號(hào)的形式經(jīng)高速圖像采集系統(tǒng)變換為數(shù)字圖像，并輸入計(jì)算機(jī)。每幅數(shù)字圖像在計(jì)算機(jī)內(nèi)為M*N數(shù)組，M行N列的圖像中的每一個(gè)元素（稱為像素，pixel）的數(shù)值即是圖像點(diǎn)的亮度（或稱灰度）。如圖2.1所示，在圖像上定義直角坐標(biāo)系u,v ,每一像素為單位的圖像坐標(biāo)系坐標(biāo)。由于（

15、u,v）只表示像素位于數(shù)組中的列數(shù)與行數(shù)，并沒有用物理單位表示出該像素在圖像中的位置，因此，需要再建立以物理單位（如mm）表示的圖像坐標(biāo)系。該坐標(biāo)系以圖像內(nèi)某一點(diǎn)O1為原點(diǎn)，X軸與Y軸分別與u,v軸平行，如圖2-1所示。其中（u,v）表示以像素為單位的圖像坐標(biāo)系的坐標(biāo)，（X,Y）表示以mm為單位的圖像坐標(biāo)系的坐標(biāo)。在X,Y坐標(biāo)系中，原點(diǎn)O1定義在攝像機(jī)光軸與圖像平面的交點(diǎn)，該點(diǎn)一般位于圖像中心處，但由于某些原因，也會(huì)有些偏離，若O1在u,v坐標(biāo)系中坐標(biāo)為（u0,v0）,每一個(gè)像素在X軸與Y軸方向上的物理尺寸為dX,dY,則圖像中任意一個(gè)像素在兩個(gè)坐標(biāo)系下的坐標(biāo)有如下關(guān)系：圖2-1 圖像坐標(biāo)系

16、（2-1以下與此同）為以后使用方便，用其次坐標(biāo)與矩陣形式將上式表示為 (2-2) 攝像機(jī)成像幾何關(guān)系可由圖2-2所示。其中O點(diǎn)稱為攝像機(jī)光心，軸和軸與圖像的X軸與Y軸平行，軸為攝像機(jī)光軸，它與圖像平面垂直。光軸與圖像平面的交點(diǎn)，即為圖像坐標(biāo)系的原點(diǎn)，由點(diǎn)O與x,y,z軸組成的直角坐標(biāo)系稱為攝像機(jī)坐標(biāo)系。OOc為攝像機(jī)焦距。 圖2-2 攝像機(jī)坐標(biāo)系與世界坐標(biāo)系 由于攝像機(jī)可安放在環(huán)境中的任意位置，在環(huán)境中選擇一個(gè)基準(zhǔn)坐標(biāo)系來描述攝像機(jī)的位置，并用它描述環(huán)境中任何物體的位置，該坐標(biāo)系稱為世界坐標(biāo)系。它由Xw,Yw,Zw軸組成。攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系可以用旋轉(zhuǎn)矩陣R與平移向量t來描述。

17、（2-3）2.2 針孔成像模型針孔成像模型又稱為線性攝像機(jī)模型?？臻g任何一點(diǎn)M在圖像中的成像位置可以用針孔成像模型近似表示，即任何點(diǎn)M在圖像中的投影位置m，為光心Oc與M點(diǎn)的連線OcM與圖像平面的交點(diǎn)。這種關(guān)系也稱為重心射影或透視投影。有比例關(guān)系如下： （2-4）其中，(x,y)為m點(diǎn)的圖像坐標(biāo)；（Xc,Yc,Zc）為空間點(diǎn)M在攝像機(jī)坐標(biāo)系下的坐標(biāo)。用齊次坐標(biāo)和矩陣表示上述透視投影關(guān)系為 （2-5）式中，P為透視投影矩陣。將（2-2）和（2-4）代入上式，得到世界坐標(biāo)系與攝像機(jī)像素坐標(biāo)系之間的關(guān)系 （2-5）=f/dx,=f/dy,分別代表以x軸與y軸方向上的像素為單位表示的等效焦距。另外在較

18、高精度的相機(jī)模型中還引入一個(gè)參數(shù)，表示在圖像平面中以像素為單位的坐標(biāo)軸傾斜程度的量度，=tg, 表示相機(jī)CCD陣列v軸的偏斜角度。由上式可見，如果已知攝像機(jī)的內(nèi)外參數(shù)，就知道投影矩陣M，這時(shí)對(duì)任何空間點(diǎn)M，如已知它的坐標(biāo)Xw=（Xw,Yw,Zw,1）T,就可求出它的圖像點(diǎn)m的位置（u,v）.這是因?yàn)樵谝阎狹與Xw時(shí)，式（2-5）給出了三個(gè)方程。在這三個(gè)方程中消去z就可求出（u,v）。反過來，如果已知某空間點(diǎn)M的圖像點(diǎn)m的位置（u,v），即使已知攝像機(jī)的內(nèi)外參數(shù)，Xw也是不能唯一確定的。事實(shí)上，在式（2-5）中，M是3*4不可逆矩陣，當(dāng)已知M與(u,v)時(shí)，由式（2-5）給出的三個(gè)方程中消去z，

19、只可得到關(guān)于Xw,Yw,Zw的兩個(gè)線性方程，由這兩個(gè)線性方程組成的方程組即為射線OP的方程，也就是說，投影點(diǎn)為m的所有點(diǎn)均在該射線上，其物理意義可由圖2-2看出，當(dāng)已知圖像點(diǎn)m時(shí)，由針孔成像模型，任何位于射線OM上的空間點(diǎn)的圖像都是m點(diǎn)，因此，該空間點(diǎn)是不能唯一確定的。2.3 相機(jī)畸變?cè)O(shè)(u,v)為理想的圖像像素坐標(biāo)，相對(duì)應(yīng)的，()為真實(shí)獲得的像素坐標(biāo)。類似的，(x,y)和()分別為理想的圖像物理坐標(biāo)和實(shí)際獲得的圖像物理坐標(biāo)，我們可以得到以下的關(guān)系式： (2-6)其中，k1和k2為畸變系數(shù)。同時(shí)，從和，我們得到以下兩式： (2-7)其中，（u0,v0）在求內(nèi)參時(shí)已求得，(u,v)在圓心提取排序

20、時(shí)也得知，（u,v）可通過求反投影殘差求得。其中參數(shù)包括自定義的標(biāo)志點(diǎn)的三維坐標(biāo)、二維坐標(biāo)、旋轉(zhuǎn)平移向量、內(nèi)參數(shù)求得。（x,y）由公式和v=v0+y可求得。于是兩個(gè)方程，兩個(gè)未知數(shù)k1,k2便可求了。即由 (2-8)設(shè)為：Dk=d.所以，由可求得畸變系數(shù)k1，k2。第3章SIFT特征匹配圖像拼接算法3.1 SIFT算法原理3.1.1 多尺度空間建立尺度空間概念最早出現(xiàn)在計(jì)算機(jī)視覺領(lǐng)域，當(dāng)時(shí)其主要目的是模擬圖像數(shù)據(jù)的多尺度特征。后來Koendetink11通過擴(kuò)散方程 來描述尺度空 間濾波過程，并 證明高斯 核是實(shí)現(xiàn)尺度 變換的唯一變換核。而Lindeberg12等人 通過推 導(dǎo)證明高 斯核實(shí)現(xiàn)

21、尺度變換的唯一的線性核。所以多尺度金字塔的獲得是建立在對(duì)圖像進(jìn)行高斯卷積的基礎(chǔ)上。通過采用不同尺度的高斯卷積核對(duì)圖像進(jìn)行卷積，可獲得不同尺度下的圖像。二維 高斯核定義為 （3-1）一幅二維圖像I(x , y)，不同 尺度下的尺度空間L(x,y,)可由圖像I(x,y)與高斯核的卷積得到：L ( x,y, )=G(x,y,)*I(x,y) ) （3-2）其中，*表示在x和y方向上的卷積，L表示圖像的尺度空間，I(x, y)表示圖像上的點(diǎn)， 稱為尺度坐標(biāo)，它表示高斯正態(tài)分布的方差，反映圖像被平滑的程度，越小圖像被平滑的程度越小，對(duì)應(yīng)的尺度越小。大尺度反應(yīng)圖像的概貌信息，小尺度反映圖像的細(xì)節(jié)信息。選擇

22、合適的尺度因子進(jìn)行平滑處理是建立尺度空間的關(guān)鍵。為了提高在尺度空間檢測(cè)到穩(wěn)定的關(guān)鍵點(diǎn)的效率，提出了高斯差分尺度空間（DOG scale-space）。利用不同尺度的高斯差分核與圖像卷積求尺度空間極值。用D(x，y，)表示： D ( x,y, )=(G(x,y,k)- G(x,y,)*I(x,y) =L ( x,y,k ) - L(x,y,) （3-3） 其中 k 是常數(shù)，文中k值取經(jīng)典的。在實(shí)際 的尺度不變 特征點(diǎn)提 取中，SIFT 8.9 算法將 圖像金 字塔引 入了尺 度空間，本文對(duì)圖像金字塔的構(gòu)建如圖3-1所示：首先采用不同尺度 因子的高斯 核對(duì)圖像進(jìn)行卷積以得到圖像的不同尺度空間，將這

23、 一組圖像作 為金字 塔圖像的第一階。接 著對(duì)其中 的 2 倍尺度圖像（相對(duì)于該階第一幅圖像的2倍尺度）以2 倍像素距離進(jìn) 行下采樣 來得到金字 塔圖像第二階的 第一幅圖像，對(duì)該 圖像采用 不同尺度因子 的高 斯核進(jìn)行卷 積，以獲 得金字塔圖 像第二階的一組 圖像。這樣依 次類推，從而獲得了 高斯金字 塔圖像。每一 階 相鄰 的 高斯圖像 相減，就得到了高斯差分圖像，即DoG圖像。對(duì)DoG尺度空間中每個(gè)點(diǎn) 與相鄰尺 度和相鄰位 置的點(diǎn)逐一進(jìn)行 比較，得到的局 部極值 位置即特征點(diǎn)所 處的位置和對(duì)應(yīng)的尺度。 圖3-1高斯圖像與DoG圖像的構(gòu)造 圖3-2 DoG圖像中的極值檢測(cè)為了檢測(cè)到尺度空間的

24、最大值和最小值，DoG 尺度空間中中間層（如圖 3-1 五角星標(biāo)識(shí)層）的每個(gè)像素點(diǎn)都需要跟同一層的相鄰8個(gè)像素點(diǎn)以及它上一層和下一層的 9個(gè)相鄰像素點(diǎn)總共 26 個(gè)相鄰像素點(diǎn)進(jìn)行比較，以確保在尺度空間和二維圖像空間都檢測(cè)到局部極值，如圖 3-2 所示，標(biāo)記為叉號(hào)的像素若比相鄰 26 個(gè)像素的 DoG值都大或都小，則該點(diǎn)將作為一個(gè)局部極值點(diǎn)，記下它的位置和對(duì)應(yīng)尺度。總之，圖像的高斯濾波保證了特征點(diǎn)不受噪聲影響，DoG 圖像保證了特征點(diǎn)不受亮度差的影響，在高斯差分圖像空間提取極值點(diǎn)保證了尺度不變性。3.1.2 精確定位特征點(diǎn)的位置由于DoG值對(duì)噪聲和邊緣較敏感，因此，在DoG尺度空間中檢測(cè)到局部極

25、值點(diǎn)還要經(jīng)過進(jìn)一步的檢驗(yàn)才能精確定位為特征點(diǎn)。對(duì)檢測(cè)到的極值點(diǎn)還要進(jìn)行三維二次函數(shù)擬和以精確確定特征點(diǎn)的尺度和位置。使用泰勒極數(shù)將尺度空間方程D(x，y，)在局部極值點(diǎn)處展開： （3-4）其中，式（3-6）中的一階導(dǎo)數(shù)與二階導(dǎo)數(shù)均通過附近區(qū)域的差分近似求得，列出其中的幾個(gè)其他的二階導(dǎo)數(shù)均以此類推。對(duì)式(3-4)求導(dǎo)并讓方程等于零，可以得到精確的極值點(diǎn)： （3-5） 在上面確定的特征點(diǎn)中，同時(shí)去掉對(duì)比度低的特征點(diǎn)及不穩(wěn)定的邊緣響應(yīng)點(diǎn)，可以增強(qiáng)匹配穩(wěn)定性，同時(shí)提高抗干擾能力。去掉對(duì)比度低的特征點(diǎn)：把公式(3-5)代入式(3-4)中，取前兩項(xiàng)得到 （3-6）如果，則留下該特征點(diǎn)，否則就舍棄。去掉不穩(wěn)

26、定邊緣響應(yīng)點(diǎn)：DoG函數(shù)的峰值點(diǎn)在橫跨邊沿的方向有較大的主曲率，而在垂直邊緣方向有較小的主曲率。主曲率可以利用一個(gè)2×2的海森矩陣，記作H得到。由于H的特征值與D的主曲率成正比，我們可以借助Harris和Stephens（1988）提出的方法，只用求其特征值之間的比率，而不用具體計(jì)算這些特征值。設(shè) 是H的最大特征值， 為最小的，r 為它們的比值，即。 （3-7） （3-9）在兩個(gè)特征值相等時(shí)達(dá)到最小，隨著r增大而增大，一般r取10。當(dāng)時(shí)，該特征點(diǎn)保留，否則就剔除。 圖3-3 Lean圖像 圖3-3 Lean圖像 圖3-4 gaussian圖像 圖 3-5 DoG圖像 圖 3-5 Do

27、G圖像 圖 3-6 提取特征點(diǎn)根據(jù)高斯圖像的構(gòu)造原理，我們對(duì)圖3-3所示的Lena圖像進(jìn)行高斯圖像構(gòu)造，為了有效的檢測(cè)特征點(diǎn)，我們使用五階高斯構(gòu)造圖像，其中每一階圖像均有六層圖像，如圖3-4所示，每一行即為一階，從左到右分別是第一層、第二層。最后我們得到的DoG圖像如圖3-5所示。如圖3-6所示，是提取的特征點(diǎn)，其中圓心的點(diǎn)表示特征點(diǎn)的位置，圓圈的大小表示空間尺度的大小，圓圈內(nèi)的線段表示特征點(diǎn)的主方向。3.1.3 確定特征點(diǎn)的主方向利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性，我們可以為每個(gè)特征點(diǎn)指定方向參數(shù)，從而使算子對(duì)圖像具備旋轉(zhuǎn)不變性。 ( x , y)處的梯度值和方向分別為： （3-9）L為所

28、用的尺度為每個(gè)特征點(diǎn)各自所在的尺度，要確定是哪一階的哪一層。在實(shí)際計(jì)算過程中，在以特征點(diǎn)為中心的鄰域窗口內(nèi)采樣，并用梯度方向直方圖來統(tǒng)計(jì)鄰域像素的梯度方向。梯度直方圖的范圍是0°360°，其中每10°一個(gè)柱，總共36個(gè)柱。直方圖的峰值則代表了該關(guān)鍵點(diǎn)處鄰域梯度的主方向，即作為該關(guān)鍵點(diǎn)的方向。在梯度方向直方圖中，當(dāng)存在另一個(gè)相當(dāng)于主峰值80%能量的峰值時(shí)，則將這個(gè)方向認(rèn)為是該特征點(diǎn)的輔方向。對(duì)于同一梯度的多個(gè)峰值的關(guān)鍵點(diǎn)位置，在相同的位置和尺度可能會(huì)有多個(gè)關(guān)鍵點(diǎn)被創(chuàng)建但是方向不同，因此一個(gè)特征點(diǎn)可能會(huì)被指定具有多個(gè)方向（一個(gè)主方向，一個(gè)以上輔方向），僅有15%的關(guān)鍵

29、點(diǎn)被賦予多個(gè)方向，輔助方向可以提高特征點(diǎn)的穩(wěn)定性，增強(qiáng)匹配的魯棒性。至此，圖像的關(guān)鍵點(diǎn)已檢測(cè)完畢，每個(gè)關(guān)鍵點(diǎn)有三個(gè)信息：位置、所處尺度、方向。由此可以確定一個(gè)SIFT特征區(qū)域。3.1.4 生成 SIFT 特征描述符首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向，以確保旋轉(zhuǎn)不變性；接下來以關(guān)鍵點(diǎn)為中心取8×8的窗口（特征點(diǎn)所在的行和列不?。Ｔ趫D3-7(a)中，中央的黑點(diǎn)為當(dāng)前關(guān)鍵點(diǎn)的位置，每個(gè)小格代表關(guān)鍵點(diǎn)鄰域所在尺度空間的一個(gè)像素，箭頭方向代表該像素的梯度方向，箭頭長(zhǎng)度代表梯度模值，圖中藍(lán)色的圈代表高斯加權(quán)的范圍（越靠近關(guān)鍵點(diǎn)的像素梯度方向信息貢獻(xiàn)越大）。然后在每4×4的圖像小塊上計(jì)算8

30、個(gè)方向的梯度方向直方圖，繪制每個(gè)梯度方向的累加值，即可形成一個(gè)種子點(diǎn)，如圖3-7（b）所示。此圖中一個(gè)特征點(diǎn)由2×2共4個(gè)種子點(diǎn)組成，每個(gè)種子點(diǎn)有8個(gè)方向向量信息，可產(chǎn)生2×2×8共32個(gè)數(shù)據(jù)，形成32維的SIFT特征向量即特征描述符，所需的圖像數(shù)據(jù)塊為8×8。這種鄰域方向性信息聯(lián)合的思想增強(qiáng)了算法抗噪聲的能力，同時(shí)對(duì)于含有定位誤差的特征匹配也提供了較好的容錯(cuò)性。 （a） 圖像梯度 （b）特征點(diǎn)描述符 圖 3-7 圖像梯度及特征點(diǎn)描述符實(shí)際計(jì)算過程中，為了增強(qiáng)匹配的穩(wěn)健性，Lowe建議對(duì)每個(gè)特征點(diǎn)使用4×4共16個(gè)種子點(diǎn)來描述，這樣對(duì)于一個(gè)特征

31、點(diǎn)就可以產(chǎn)生128個(gè)數(shù)據(jù)，最終形成128維的SIFT特征向量即特征描述符，所需的圖像數(shù)據(jù)塊是16×16。此時(shí)，SIFT特征向量已去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，再繼續(xù)將特征向量的長(zhǎng)度歸一化，則可以進(jìn)一步去除光照變化的影響。3.2 生成特征匹配點(diǎn)當(dāng)兩幅圖像的SIFT特征向量生成后，下一步我們采用關(guān)鍵點(diǎn)特征向量的歐式距離來作為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定度量。取圖像1中的某個(gè)關(guān)鍵點(diǎn)，并找出其與圖像2中歐式距離最近的前兩個(gè)關(guān)鍵點(diǎn)，在這兩個(gè)關(guān)鍵點(diǎn)中，如果最近的距離除以次近的距離少于某個(gè)比例閾值，則接受這一對(duì)匹配點(diǎn)。降低這個(gè)比例閾值，SIFT匹配點(diǎn)數(shù)目會(huì)減少，但更加穩(wěn)定。 假設(shè)特征點(diǎn)

32、對(duì)p和q的特征描述符分別為Desp 和Desq ，則其歐氏距離定義為： （3-10）關(guān)鍵點(diǎn)的匹配可以采用窮舉法來完成，但是這樣耗費(fèi)時(shí)間太多，一般都采用k-d樹的數(shù)據(jù)結(jié)構(gòu)來搜索，搜索的內(nèi)容以目標(biāo)圖像的關(guān)鍵點(diǎn)為基準(zhǔn)，搜索與目標(biāo)圖像的特征點(diǎn)最鄰近的源圖像特征點(diǎn)與次鄰近的原圖像特征點(diǎn)。首先采用優(yōu)先 k-d 樹進(jìn)行優(yōu)先搜索來查找每個(gè)特征點(diǎn)的兩個(gè)近似最近鄰特征點(diǎn)，如找出特征點(diǎn) p 歐氏距離最近和次近的兩個(gè)鄰居特征點(diǎn)q和q，然后計(jì)算 p與q以及 p 與q兩組描述符之間歐氏距離的比值 r，如果比值 r 小于規(guī)定閾值 T，則視為匹配成功，接受點(diǎn)對(duì)（p，q）為圖像序列中的一對(duì)匹配點(diǎn)，否則匹配失敗。 圖 3-8 特

33、征點(diǎn)隨最近鄰域與第二鄰域距離比值的分布概率圖如圖 3-8 所示，是特征點(diǎn)隨最近鄰域與第二鄰域距離比值的分布概率圖，正確匹配的特征點(diǎn)（即“內(nèi)點(diǎn)”，圖中 inliers 曲線表示）最近鄰域距離與第二近鄰域距離的比值比錯(cuò)誤匹配的特征點(diǎn)（即“外點(diǎn)”，圖中 outliers 曲線表示）。兩條曲線相交于最近鄰域距離與第二近鄰域距離的比值為 0.75 時(shí)，這說明小于該閾值時(shí)，檢測(cè)到的特征點(diǎn)為“內(nèi)點(diǎn)”的概率比為“外點(diǎn)”的概率大，反之，為“內(nèi)點(diǎn)”的概率將非常小。一般為了去除更多的“外點(diǎn)”，通常將該閾值取為 0.6。圖3-9標(biāo)準(zhǔn)角點(diǎn)測(cè)試圖像特征點(diǎn)匹配結(jié)果圖圖3-10 實(shí)景圖特征點(diǎn)匹配結(jié)果圖第4章 圖像融合圖像融合

34、主要有像素級(jí)圖像融合、多分辨率圖像融合和基于縫合線的圖像融合。像素級(jí)圖像融合作為最基礎(chǔ)的融合算法,它是多分辨率圖像融合和基于縫合線的圖像融合的基礎(chǔ)。三種圖像融合算法，各有其優(yōu)缺點(diǎn)。像素級(jí)圖像融合算法計(jì)算簡(jiǎn)單、融合速度較快，但是，如果存在配準(zhǔn)出現(xiàn)誤差則容易產(chǎn)生“鬼影”現(xiàn)象，圖像融合后不能達(dá)到令人滿意的效果；基于最佳縫合線的圖像融合方法可以在較大程度上適應(yīng)配準(zhǔn)過程中出現(xiàn)的誤差，并能較好的避免“鬼影”和錯(cuò)位效果，但由于需要進(jìn)行最佳拼接縫尋找和后續(xù)的多分辨率融合兩個(gè)步驟，所以融合速度較慢。相比較而言，多分辨率圖像融合方法一方面可以有效消除“鬼影”現(xiàn)象，另一方面如果恰當(dāng)?shù)倪x擇金字塔層數(shù)，也可以得到較快的

35、融合速度。目前在圖像融合領(lǐng)域中,有著相當(dāng)多的應(yīng)用。下面本文就針對(duì)多分辨率圖像融合算法13.14進(jìn)行論述.4.1 構(gòu)建多分辨率金字塔拉普拉斯金字塔是在高斯金字塔的基礎(chǔ)上構(gòu)建的，因此首先要對(duì)圖像進(jìn)行高斯金字塔分解。4.1.1高斯金字塔設(shè)為原圖像，以為高斯金字塔的最底層，高斯金字塔第一層圖像通過對(duì)對(duì)原圖像進(jìn)行高斯低通濾波，濾波處理后的圖像再進(jìn)行隔行隔列的下采樣。重復(fù)進(jìn)行多次濾波和采樣處理后，即可得到我們需要的高斯金字塔。假設(shè)高斯金字塔的第l層用表示。則， （4-1）式中Rl和Cl 分別代表高斯金字塔第l層的行數(shù)和列數(shù)，代表二維離散高斯卷積核函數(shù)，實(shí)際應(yīng)用是一個(gè)5×5可分離的二維窗口函數(shù)，可

36、表示為： （4-2）由此，我們可以得到構(gòu)成高斯金字塔的各層圖像，其中為原圖像，為金字塔的頂層圖像。由于高斯金字塔的層是對(duì)第層先進(jìn)行高斯低通濾波然后在進(jìn)行降采樣得到的，因此高斯金字塔的當(dāng)前層圖像總是前一層圖像的四分之一。4.1.2拉普拉斯金字塔拉普拉斯金字塔是通過求相鄰圖層的高斯金字塔的圖像差分得到的。但是高斯金字塔各層圖像的分辨率不同，為了能夠在相鄰層次圖像求取差分，所以高層圖像必須進(jìn)行內(nèi)插，以保證相鄰兩圖層的分辨率相同。設(shè)經(jīng)過內(nèi)插后的圖像為，通過與上文中進(jìn)行下采樣相反的方法進(jìn)行內(nèi)插，用如下列公式表示： （4-3）拉普拉斯各層圖像的計(jì)算公式如下： （4-4）上式中，表示拉普拉斯金字塔的第l層圖

37、像，表示金字塔的頂層圖像，通過以上方法可以得到拉普拉斯金字塔的圖像，依次為，金字塔上各層次的圖像分辨率仍不一致。它的每一層圖像是高斯金字塔本層圖像與其上一層圖像經(jīng)過內(nèi)插后圖像的差，這個(gè)過程相當(dāng)于帶通濾波，所以拉普拉斯金字塔又稱為帶通金字塔分解。對(duì)要拼接的兩幅原圖像分別進(jìn)行如上操作，得到兩幅圖像的拉普拉斯金字塔后，在不同層次上按照不同的融合規(guī)則確定拼接圖像的像素值，從而得到擴(kuò)展分辨率的拼接圖像的拉普拉斯金字塔。然后對(duì)拼接圖像的拉普拉斯金字塔從頂層向下逐層遞推即可獲得重建的拼接圖像。重建的過程可表達(dá)如下： （4-5）4.2 基于拉普拉斯金字塔分解的圖像融合策略 圖像的拉普拉斯金字塔分解的目的是將圖

38、像的特征或者細(xì)節(jié)信息反映到金字塔的各層圖像中。這樣在融合的過程中圖像的像素值在選用原圖像的像素時(shí)也可以通過對(duì)圖像中的像素局部特征進(jìn)行分析得到。以達(dá)到突出細(xì)節(jié)與特征的目的，即將來自不同圖像的特征與細(xì)節(jié)融合在一起。目前常用的融合策略有基于區(qū)域平均梯度的圖像融合策略與基于區(qū)域能量的圖像融合策略兩種。4.2.1 基于區(qū)域平均梯度的圖像融合策略設(shè)、分別為原圖像A、B的拉普拉斯金字塔分解得到的第l層圖像，融合后的圖像用LFl（0lN）表示，當(dāng)l =N時(shí)和分別是原圖像A、B經(jīng)過拉普拉斯金字塔分解后得到的頂層圖像。對(duì)于圖像的融合，首先我們?nèi)D像的任意一點(diǎn)，以其為中點(diǎn)取大小為M×N的區(qū)域（M，N為奇數(shù)

39、且大于等于3），該區(qū)域的平均梯度為： （4-6） 其中分別表示該像素點(diǎn)在點(diǎn)在x與y上的梯度值，其定義如下： （4-7） （4-8）圖像的平均梯度反映的是的圖像的微小細(xì)節(jié)、紋理變化特征，一般而言區(qū)域平均梯度越大的區(qū)域,圖像層次越豐富，區(qū)域內(nèi)圖像越清晰。因此對(duì)于頂層圖像中的每一個(gè)像素都可以得到與之相對(duì)應(yīng)的區(qū)域平均梯和，則基于區(qū)域平均梯度的的圖像融合算法可表示為： （4-9）在拉普拉斯金字塔中頂層圖像包含圖像的細(xì)節(jié)信息較為豐富，因此在融合過程中往往對(duì)金字塔頂層的圖像采用基于平均梯度的圖像融合策略。4.2.2 基于區(qū)域能量的圖像融合策略 圖像能量往往反映區(qū)域內(nèi)的圖像亮度信息,多分辨率金字塔圖像在圖像的

40、輪廓特征、邊緣等處亮度較高,所以一般具有較清晰的特征信息的區(qū)域亮度較大。在圖像融合過程中除頂層圖像的其他層次圖像一般采用基于區(qū)域能量的圖像融合策略。因此，當(dāng)0lN時(shí)，對(duì)拉普拉斯金字塔分解的第l層圖像其區(qū)域能量可表示為： （4-10）是計(jì)算區(qū)域能量的系數(shù)模板，一般情況下我們?nèi)∫詾橹行牡?×3模板求得中心點(diǎn)的能量值。在這里我們給出3×3區(qū)域的能量系數(shù)模板： 這里p=1,q=1 所以其他層次的圖像融合結(jié)果為： （4-11）在得到的金字塔的各個(gè)層次的融合圖像后，通過4-5重構(gòu)，便可得到最終的融合圖像?；诶绽菇鹱炙亩喾直媛蕡D像融合方法如圖4-1所示。圖像融合實(shí)驗(yàn)結(jié)果如圖4-1

41、2所示。 圖 4-12 圖像融合算法流程圖 （a） 實(shí)景圖1 （b）實(shí)景圖2 （c）圖像拼接后效果圖 （d）裁剪后效果圖 （e）實(shí)景圖3 （f）實(shí)景圖4 （g）拼接后效果圖 （h）裁剪后效果圖圖4-2 實(shí)驗(yàn)效果圖第6章 總結(jié)視頻拼接技術(shù)，就是將多個(gè)攝像機(jī)采集的分辨率有限的視頻通過計(jì)算機(jī)技術(shù)進(jìn)行拼接后形成一個(gè)高分辨率大視場(chǎng)視頻的過程。視頻拼接技術(shù)需要首先對(duì)待拼接的視頻進(jìn)行視頻的配準(zhǔn)，在配準(zhǔn)完成獲得變換矩陣之后，依據(jù)變換矩陣將兩源視頻拼接為高分辨率的大視場(chǎng)視頻。視頻是由幀圖像構(gòu)成的，所以視頻拼接歸根結(jié)底還是圖像的拼接。正如本文所述，視頻的配準(zhǔn)是基于特定幀圖像的配準(zhǔn)完成的，當(dāng)攝像機(jī)間相對(duì)位置固定時(shí)，

42、幀圖像的變換矩陣即為視頻間的變換矩陣。同樣，視頻最后的拼接工作也是通過將視頻分解為幀圖像，對(duì)相應(yīng)的幀圖像進(jìn)行圖像融合，再將拼接后的幀圖像壓縮為視頻完成的。本論文主要完成以下工作：1. 研究了攝像機(jī)的定標(biāo)問題。通過相機(jī)定標(biāo)，相機(jī)與世界坐標(biāo)系建立聯(lián)系2. 實(shí)現(xiàn)了基于SIFT圖像匹配的視頻拼接功能。對(duì)SIFT圖像拼接方法進(jìn)行了較為深入的研究，理解了其中關(guān)于各種不變特征的生成方法。實(shí)驗(yàn)表明該算法提取出的特征點(diǎn)對(duì)圖像的旋轉(zhuǎn)、縮放及光照、噪聲變化時(shí)表現(xiàn)出較強(qiáng)的魯棒性。3. 使用多分辨率圖像融合算法進(jìn)行圖像融合。多分辨率圖像融合方法一方面可以有效消除/鬼影現(xiàn)象，另一方面如果恰當(dāng)?shù)倪x擇金字塔層數(shù)，也可以得到較

43、快的融合速度。參考文獻(xiàn)1BatharaZitova,JanFhisser.ImageRegistrationMethods:ASurvey.ImageandVision ComPuting, 2003,11(27):977一10002 Hartley R, Zissennan A . Multiple view geometry in computer visionM.London:2 Cambridge University Press,2004:8一113 Hui Chen,BinZhao,YueLin.A video mosaic algorithm for compressed videoC.In:IEEE DMAMH, chongqing,china,2007:370一3774Anat Levin,Assaf Zomet,Shmuel Peleg,et al.Seamless Image Stitching in the Gradient DomainR. The Hebrew University of Jerusalem,Jerusalem,Israel,20045