圖像拼接算法及實(shí)現(xiàn)

1、圖像拼接算法及實(shí)現(xiàn)論文關(guān)鍵詞：圖像拼接圖像配準(zhǔn)圖像融合全景圖論文摘要：圖像拼接(image mosaic)技術(shù)是將一組相互間重疊部分的圖像序列進(jìn)行空間匹配對(duì)準(zhǔn),經(jīng)重采樣合成后形成一幅包含各圖像序列信息的寬視角場(chǎng)景的、完整的、高清晰的新圖像的技術(shù)。圖像拼接在攝影測(cè)量學(xué)、視覺(jué)、遙感圖像處理、圖像分析、計(jì)算機(jī)圖形學(xué)等領(lǐng)域有著廣泛的應(yīng)用價(jià)值。 一般來(lái)說(shuō),圖像拼接的過(guò)程由圖像獲取,圖像配準(zhǔn),圖像合成三步驟組成,其中圖像配準(zhǔn)是整個(gè)圖像拼接的基礎(chǔ)。本文研究了兩種圖像配準(zhǔn)算法:基于特征和基于變換域的圖像配準(zhǔn)算法。 在基于特征的配準(zhǔn)算法的基礎(chǔ)上,提出一種穩(wěn)健的基于特征點(diǎn)的配準(zhǔn)算法。首先改進(jìn)Harris角點(diǎn)檢測(cè)算

2、法,有效提高所提取特征點(diǎn)的速度和精度。然后利用相似測(cè)度NCC(normalized cross correlation歸一化互相關(guān)),通過(guò)用雙向最大相關(guān)系數(shù)匹配的方法提取出初始特征點(diǎn)對(duì),用隨機(jī)采樣法RANSAC(Random Sample Consensus)剔除偽特征點(diǎn)對(duì),實(shí)現(xiàn)特征點(diǎn)對(duì)的精確匹配。最后用正確的特征點(diǎn)匹配對(duì)實(shí)現(xiàn)圖像的配準(zhǔn)。本文提出的算法適應(yīng)性較強(qiáng),在重復(fù)性紋理、旋轉(zhuǎn)角度比較大等較難自動(dòng)匹配場(chǎng)合下仍可以準(zhǔn)確實(shí)現(xiàn)圖像配準(zhǔn)。Abstract：Image mosaic is a technology that carries on the spatial matching to a s

3、eries of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, compute

4、r graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform

5、domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the us

6、e of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature p

7、oints right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this paper, the algorithm adapted, in the repetitive texture, such as relatively large rotation more difficult to automatically match occasi

8、ons can still achieve an accurate image registration.Key words: image mosaic, image registration, image fusion, panorama第一章 緒論 1.1 圖像拼接技術(shù)的研究背景及研究意義 圖像拼接(image mosaic)是一個(gè)日益流行的研究領(lǐng)域，他已經(jīng)成為照相繪圖學(xué)、計(jì)算機(jī)視覺(jué)、圖像處理和計(jì)算機(jī)圖形學(xué)研究中的熱點(diǎn)。圖像拼接解決的問(wèn)題一般式，通過(guò)對(duì)齊一系列空間重疊的圖像，構(gòu)成一個(gè)無(wú)縫的、高清晰的圖像，它具有比單個(gè)圖像更高的分辨率和更大的視野。早期的圖像拼接研究一直用于照相繪圖學(xué)，主要是

9、對(duì)大量航拍或衛(wèi)星的圖像的整合。近年來(lái)隨著圖像拼接技術(shù)的研究和發(fā)展，它使基于圖像的繪制（IBR）成為結(jié)合兩個(gè)互補(bǔ)領(lǐng)域計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)的堅(jiān)決焦點(diǎn)，在計(jì)算機(jī)視覺(jué)領(lǐng)域中，圖像拼接成為對(duì)可視化場(chǎng)景描述（Visual Scene Representaions）的主要研究方法：在計(jì)算機(jī)形學(xué)中，現(xiàn)實(shí)世界的圖像過(guò)去一直用于貼圖，即合成靜態(tài)的背景和增加合成物體真實(shí)感的貼圖，圖像拼接可以使IBR從一系列真是圖像中快速繪制具有真實(shí)感的新視圖。在軍事領(lǐng)域網(wǎng)的夜視成像技術(shù)中，無(wú)論夜視微光還是紅外成像設(shè)備都會(huì)由于攝像器材的限制而無(wú)法拍攝視野寬闊的圖片，更不用說(shuō)360 度的環(huán)形圖片了。但是在實(shí)際應(yīng)用中，很多時(shí)候需要將

10、360 度所拍攝的很多張圖片合成一張圖片，從而可以使觀察者可以觀察到周圍的全部情況。使用圖像拼接技術(shù)，在根據(jù)拍攝設(shè)備和周圍景物的情況進(jìn)行分析后，就可以將通過(guò)轉(zhuǎn)動(dòng)的拍攝器材拍攝的涵蓋周圍360 度景物的多幅圖像進(jìn)行拼接，從而實(shí)時(shí)地得到超大視角甚至是360 度角的全景圖像。這在紅外預(yù)警中起到了很大的作用。微小型履帶式移動(dòng)機(jī)器人項(xiàng)目中，單目視覺(jué)不能滿足機(jī)器人的視覺(jué)導(dǎo)航需要，并且單目視覺(jué)機(jī)器人的視野范圍明顯小于雙目視覺(jué)機(jī)器人的視野。利用圖像拼接技術(shù)，拼接機(jī)器人雙目采集的圖像，可以增大機(jī)器人的視野，給機(jī)器人的視覺(jué)導(dǎo)航提供方便。在虛擬現(xiàn)實(shí)領(lǐng)域中，人們可以利用圖像拼接技術(shù)來(lái)得到寬視角的圖像或360 度全景圖

11、像，用來(lái)虛擬實(shí)際場(chǎng)景。這種基于全景圖的虛擬現(xiàn)實(shí)系統(tǒng)，通過(guò)全景圖的深度信息抽取，恢復(fù)場(chǎng)景的三維信息，進(jìn)而建立三維模型。這個(gè)系統(tǒng)允許用戶在虛擬環(huán)境中的一點(diǎn)作水平環(huán)視以及一定范圍內(nèi)的俯視和仰視，同時(shí)允許在環(huán)視的過(guò)程中動(dòng)態(tài)地改變焦距。這樣的全景圖像相當(dāng)于人站在原地環(huán)顧四周時(shí)看到的情形。在醫(yī)學(xué)圖像處理方面，顯微鏡或超聲波的視野較小，醫(yī)師無(wú)法通過(guò)一幅圖像進(jìn)行診視，同時(shí)對(duì)于大目標(biāo)圖像的數(shù)據(jù)測(cè)量也需要把不完整的圖像拼接為一個(gè)整體。所以把相鄰的各幅圖像拼接起來(lái)是實(shí)現(xiàn)遠(yuǎn)程數(shù)據(jù)測(cè)量和遠(yuǎn)程會(huì)診的關(guān)鍵環(huán)節(jié)圓。在遙感技術(shù)領(lǐng)域中，利用圖像拼接技術(shù)中的圖像配準(zhǔn)技術(shù)可以對(duì)來(lái)自同一區(qū)域的兩幅或多幅圖像進(jìn)行比較，也可以利用圖像拼接

12、技術(shù)將遙感衛(wèi)星拍攝到的有失真地面圖像拼接成比較準(zhǔn)確的完整圖像，作為進(jìn)一步研究的依據(jù)。從以上方面可以看出，圖像拼接技術(shù)的應(yīng)用前景十分廣闊，深入研究圖像拼接技術(shù)有著很重要的意義1.2圖像拼接算法的分類 圖像拼接作為這些年來(lái)圖像研究方面的重點(diǎn)之一，國(guó)內(nèi)外研究人員也提出了很多拼接算法。圖像拼接的質(zhì)量，主要依賴圖像的配準(zhǔn)程度，因此圖像的配準(zhǔn)是拼接算法的核心和關(guān)鍵。根據(jù)圖像匹配方法的不同仁闊，一般可以將圖像拼接算法分為以下兩個(gè)類型：（1) 基于區(qū)域相關(guān)的拼接算法。 這是最為傳統(tǒng)和最普遍的算法?；趨^(qū)域的配準(zhǔn)方法是從待拼接圖像的灰度值出發(fā)，對(duì)待配準(zhǔn)圖像中一塊區(qū)域與參考圖像中的相同尺寸的區(qū)域使用最小二乘法或者

13、其它方法計(jì)算其灰度值的差異，對(duì)此差異比較后來(lái)判斷待拼接圖像重疊區(qū)域的相似程度，由此得到待拼接圖像重疊區(qū)域的范圍和位置，從而實(shí)現(xiàn)圖像拼接。也可以通過(guò)FFT 變換將圖像由時(shí)域變換到頻域，然后再進(jìn)行配準(zhǔn)。對(duì)位移量比較大的圖像，可以先校正圖像的旋轉(zhuǎn)，然后建立兩幅圖像之間的映射關(guān)系。當(dāng)以兩塊區(qū)域像素點(diǎn)灰度值的差別作為判別標(biāo)準(zhǔn)時(shí)，最簡(jiǎn)單的一種方法是直接把各點(diǎn)灰度的差值累計(jì)起來(lái)。這種辦法效果不是很好，常常由于亮度、對(duì)比度的變化及其它原因?qū)е缕唇邮　Ａ硪环N方法是計(jì)算兩塊區(qū)域的對(duì)應(yīng)像素點(diǎn)灰度值的相關(guān)系數(shù)，相關(guān)系數(shù)越大，則兩塊圖像的匹配程度越高。該方法的拼接效果要好一些，成功率有所提高。(2) 基于特征相關(guān)的拼

14、接算法。 基于特征的配準(zhǔn)方法不是直接利用圖像的像素值，而是通過(guò)像素導(dǎo)出圖像的特征，然后以圖像特征為標(biāo)準(zhǔn)，對(duì)圖像重疊部分的對(duì)應(yīng)特征區(qū)域進(jìn)行搜索匹配，該類拼接算法有比較高的健壯性和魯棒性。基于特征的配準(zhǔn)方法有兩個(gè)過(guò)程：特征抽取和特征配準(zhǔn)。首先從兩幅圖像中提取灰度變化明顯的點(diǎn)、線、區(qū)域等特征形成特征集岡。然后在兩幅圖像對(duì)應(yīng)的特征集中利用特征匹配算法盡可能地將存在對(duì)應(yīng)關(guān)系的特征對(duì)選擇出來(lái)。一系列的圖像分割技術(shù)都被用到特征的抽取和邊界檢測(cè)上。如canny 算子、拉普拉斯高斯算子、區(qū)域生長(zhǎng)。抽取出來(lái)的空間特征有閉合的邊界、開(kāi)邊界、交叉線以及其他特征。特征匹配的算法有：交叉相關(guān)、距離變換、動(dòng)態(tài)編程、結(jié)構(gòu)匹配、鏈碼相關(guān)等算法。1.3本文的主要工作和組織結(jié)構(gòu) 本文的主要工作：(1) 了前人在圖像拼接方面的技術(shù)發(fā)展歷程和研究成果。(2) 學(xué)習(xí)和研究了前人的圖像配準(zhǔn)算法。 (3) 學(xué)習(xí)和研究了常用的圖像融合算法。 (4) 用matlab實(shí)現(xiàn)本文中的圖像拼接算法(5) 總結(jié)了圖像拼接中還存在的問(wèn)題，對(duì)圖像拼接的發(fā)展方向和應(yīng)用前景進(jìn)行展望。本文的組織結(jié)構(gòu)：第一章主要對(duì)圖像拼接技術(shù)作了整體的概述，介紹了圖像拼接的研究背景和應(yīng)用前景，以及圖像拼接技術(shù)的大致過(guò)程、圖像拼接算法的分類和其技