全景圖像拼接無(wú)人機(jī)影像序列技術(shù)研究與實(shí)現(xiàn)

ClassifiedIndex:U.D.C:SouthwestofScienceandTechnologyMasterDegreeThesisResearchandRealizationofImageSequenceMosaicforGrade:2012Candidate:PanAcademicDegreeAppliedfor:

Supervisor:Prof.LiLei- 無(wú)人機(jī)遙感技術(shù)已成為災(zāi)后監(jiān)測(cè)、環(huán)境勘測(cè)等領(lǐng)域獲取遙感數(shù)據(jù)的重要，它、準(zhǔn)確的獲取目標(biāo)區(qū)域的高分辨率影像。但受到無(wú)人機(jī)飛行高度、相機(jī)焦距等的影響，單張影像覆蓋的目標(biāo)區(qū)域范圍較小，本文通過(guò)研究無(wú)人機(jī)影像序列拼接技術(shù)來(lái)擴(kuò)大監(jiān)測(cè)范圍。研究SURF算法解決存在平移、旋轉(zhuǎn)、縮放、噪聲等多種變換的無(wú)人機(jī)影像序列特征提取問(wèn)題。通過(guò)對(duì)比分析的方式重點(diǎn)研究SURF算法比SIFT算法快速的原因。通過(guò)分析Harris、SIFT和SURF算法提取特征的實(shí)驗(yàn)效果表明，SURF算法提取的特征點(diǎn)穩(wěn)定且分布均勻合理，該算法魯棒性高且運(yùn)算速度相對(duì)較快。采用最近鄰算法實(shí)現(xiàn)特征粗匹配，分析并選擇變換作為影像拼接的變換模型，提出一種雙4-RANSAC算法計(jì)算變換參數(shù)，同時(shí)剔除誤匹配點(diǎn)對(duì)以實(shí)現(xiàn)特征精匹配。雙4-RANSAC算法是一種改進(jìn)的RANSAC算法，它首先任選4對(duì)匹配點(diǎn)計(jì)算模型參數(shù)，再增加4對(duì)匹配點(diǎn)檢驗(yàn)當(dāng)前模型，若存在一對(duì)為非內(nèi)點(diǎn)則重新選點(diǎn)和計(jì)算模型。理論分析和實(shí)驗(yàn)結(jié)果表明，本文雙4-RANSAC算法提高了RANSAC算法的運(yùn)算效率。研究并改進(jìn)變換實(shí)現(xiàn)兩幀和多幀無(wú)人機(jī)影像序列融合與拼接。首先分析直接平均法和漸入漸出法，接著重點(diǎn)研究變換融合法，提出一種基于NCC（歸一化相關(guān)系數(shù)）的改進(jìn)融合算法實(shí)現(xiàn)低頻系數(shù)融合。該算法首先將像素?cái)U(kuò)展到其mn鄰域，再計(jì)算對(duì)應(yīng)鄰域的NCC值，若該值大于某一設(shè)定閾值則融合系數(shù)為輸入系數(shù)的平均值，若該值小于設(shè)定閾值則融合系數(shù)為輸入系數(shù)的最大值從評(píng)價(jià)和客觀評(píng)價(jià)兩方面分析融合結(jié)果表明，本文基于NCC的改進(jìn)融合算法用于低頻系數(shù)融合效果更優(yōu)，本文改進(jìn)變換的影像融合與拼接效果更好。：影像序列拼接SURF雙4-RANSAC算法變換基于NCC的融合UAVremotesensingtechnologyhas eanimportantaccessfordisastermonitoring,environmentalsurveysandotherfieldstogetremotesensingdata.Itcantimelyandaccurayobtainhigh-resolutionimagesofthetargetarea.Withaffectedbythealtitude,thecamerafocallengthandsoon,asmallertargetareaiscoveredbythescopeofasingleimage.ThispaperexpandsthemonitoringscopebyresearchingtheUAVimagesequencemosaictechnology.ForUAVimagesequenceswithmanydeformationsoftranslation,rotation,scale,noise,etc.,SURFalgorithmisresearchedtosolvetheproblemoffeaturepointsextracting.Bythemethodofcomparativeysis,thispaperfocusonresearchingthereasonswhichtheSURFalgorithmisfasterthantheSIFTalgorithm.ThefeatureextractingexperimentalresultsofHarris,SIFTandSURFindicatethatthefeaturepointswithextractedbySURFisstableandwell-distributedreasonably,andtheSURFalgorithmisrobusthighlyandrelativelyNearestneighboralgorithmisusedforfeaturepointscoarsematching.transformationisysedandchosenasthetransformationmodelofimagemosaic.Dual-4-RANSACalgorithmisproposedtocalculatethehomographyparametersandtoexcludethemismatchingpointsinordertoachieveprecisematching.Dual-4-RANSACalgorithmisakindofimprovedRANSACalgorithm.Itfirstlychooses4pairsofmatchedpointstocalculatethemodelparametersandthenincreases4pairsofmatchedpointstotestthemodel.Ifthereisapairofmatchedpointsisnoninteriorpoint,thealgorithmreselectthepointsandcalculationmodel.ThetheoreticalysisandexperimentalresultsindicatethatDual-4-RANSACalgorithmwithproposedinthispaperisfasterthantheRANSACalgorithm.ImagefusionalgorithmbasedonwavelettransformisresearchedandImprovedfortwoframeandmulti-frameUAVimagesequencefusionandmosaic.Firstly,thedirectaveragemethodandfade-outmethodareysed,andthenthepaperfocusonthewavelettransformfusionmethod.TheimprovedweightedfusionalgorithmbasedonnormalizedCross-Correlationisproposedtofusionthelowfrequencycoefficientsofwavelet positioninthispaper.Thealgorithmexpandsthepixeltoitsm×nneighborhoodfirstly,andthencalculatetheNCCvalueofthecorrespondingneighborhood.IftheNCCvalueisgreaterthanapredeterminedthreshold,thefusioncoefficientistheaveragevalueofinputcoefficients.IftheNCCvalueissmallerthanthepredeterminedthreshold,thefusioncoefficientistheumvalueofinputcoefficients.TheysisoffusioneffectfromthetwoaspectsofsubjectiveevaluationandobjectiveevaluationindicatethattheimprovedweightedfusionalgorithmbasedonNCCisbetterforlowfrequencycoefficientfusionandtheimprovedwavelettransformimagefusionandmosaicisbetterinthispaper.:sequencemosaic;SURF;Dual-4-RANSACalgorithm;Wavelettransform;WeightedfusionalgorithmbasedonNCC 緒論 研究背景與意義 國(guó)內(nèi)外研究現(xiàn)狀 國(guó)外研究現(xiàn)狀 國(guó)內(nèi)研究現(xiàn)狀 主要研究?jī)?nèi)容 組織結(jié)構(gòu) UAV影像序列拼接技術(shù) 系統(tǒng)組成 實(shí)現(xiàn)流程 影像配準(zhǔn)技術(shù) 基于灰度信息的影像配準(zhǔn) 基于變換域的影像配 基于特征的影像配準(zhǔn) 影像融合技術(shù) 影像融合層次 影像融合方法 本章小結(jié) 基于雙4-RANSAC算法的UAV影像序列配準(zhǔn) UAV影像特征提取 Harris算子 SIFT算法 SURF算法 特征提取實(shí)驗(yàn)與結(jié)果分 特征提取算法對(duì)比試 特征提取實(shí)驗(yàn)結(jié)果分 RANSAC算法UAV影像匹配 最近鄰匹配 RANSAC算法 雙4-RANSAC算法UAV影像匹配 雙4-RANSAC算法原理 雙4-RANSAC算法效率分析 特征匹配實(shí)驗(yàn)與結(jié)果分 特征匹配算法對(duì)比試 特征匹配實(shí)驗(yàn)結(jié)果分 本章小結(jié) 基于改進(jìn)變換的UAV影像序列融合與拼 UAV影像序列拼接模型 影像融合質(zhì)量評(píng)價(jià) 基于空間域的UAV影像融合 直接平均法 漸入漸出法 基于變換的UAV影像融合 4.4.1變換 4.4.2變換融合步驟 改進(jìn)融合規(guī)則的變換融合 基于NCC的改進(jìn)融合法的低頻域融合 基于區(qū)域絕對(duì)值最大值法的高頻域融合 本章小結(jié) 影像序列融合與UAV拼接實(shí)驗(yàn) 5.1低頻域融合實(shí)驗(yàn) 影像融合實(shí)驗(yàn) UAV影像序列拼接實(shí)驗(yàn) 本章小結(jié) 參考文獻(xiàn) 攻 期間的與內(nèi)容相關(guān)的學(xué)術(shù)及研究成果 緒論無(wú)人機(jī)（UAV，UnmannedAerialVehicle）是一種獲取航空影像數(shù)據(jù)的重要工具，它具有機(jī)動(dòng)靈活、起降簡(jiǎn)單、操作安全、成本低、時(shí)效性強(qiáng)等諸多優(yōu)點(diǎn)。無(wú)人機(jī)遙感技術(shù)已經(jīng)普遍應(yīng)用到航測(cè)遙感領(lǐng)域，它獲取的影像數(shù)據(jù)是傳統(tǒng)航空遙感和遙感的一個(gè)重要補(bǔ)充[1]。目前，無(wú)人機(jī)技術(shù)已經(jīng)廣泛應(yīng)用于環(huán)境監(jiān)測(cè)土地利用災(zāi)后應(yīng)急響應(yīng)森林病蟲(chóng)害監(jiān)測(cè)等許多領(lǐng)域。無(wú)人機(jī)影像序列拼接技術(shù)就是把不同時(shí)間獲取的相互有區(qū)域的影像序列合成一幅更大視野的無(wú)縫高分辨率影像的過(guò)程2。研究背景與意義我國(guó)的自然發(fā)生頻繁，且具有種類(lèi)多、分布范圍廣等特點(diǎn)，這些不僅造成眾多的人員傷亡以及的經(jīng)濟(jì)損失，還給社會(huì)、經(jīng)濟(jì)、環(huán)境等各方面帶來(lái)了長(zhǎng)期的影響。因此，及時(shí)、準(zhǔn)確、全面的掌握災(zāi)后情況等已成為我國(guó)亟需解決的問(wèn)題。無(wú)人機(jī)遙感具有傳統(tǒng)航空遙感、遙感所不具備的諸多優(yōu)點(diǎn)：無(wú)人機(jī)體積小、適應(yīng)性強(qiáng)、起降簡(jiǎn)單；獲得的影像分辨率高；成本低、簡(jiǎn)單；操作簡(jiǎn)單、安全，所以無(wú)人機(jī)遙感是獲取影像數(shù)據(jù)的一種有效的、必不可少的補(bǔ)充。目前，無(wú)人機(jī)技術(shù)已成為災(zāi)后監(jiān)測(cè)、環(huán)境勘測(cè)等領(lǐng)域獲取遙感數(shù)據(jù)的重要之一，如：2008年的南方雪災(zāi)“5.12”，2010年的玉樹(shù)、舟曲泥石流，2013年的雅安，2014年的康定等。這些引起的山體滑坡、泥石流等會(huì)造成交通道路阻塞，嚴(yán)重影響了抗災(zāi)、救災(zāi)的進(jìn)度。發(fā)生后，為了及時(shí)、準(zhǔn)確的掌握災(zāi)區(qū)情況，無(wú)人機(jī)遙感技術(shù)被廣泛應(yīng)用其中。無(wú)人機(jī)可以越過(guò)地面阻礙，及時(shí)、快速、準(zhǔn)確的獲得災(zāi)區(qū)的高分辨率影像，為抗災(zāi)救災(zāi)提供真實(shí)可靠的信息3。無(wú)人機(jī)在獲取影像時(shí)是處于低空飛行狀態(tài)，目前又受到數(shù)碼相機(jī)焦距及高分辨率的限制，使拍攝得到的單張影像視野很小，若僅通過(guò)一張影像的分析很難掌握整個(gè)受災(zāi)區(qū)域的情況。此時(shí)，就需要依靠無(wú)人機(jī)影像序列拼接技術(shù)來(lái)擴(kuò)大視野。這樣，源影像的細(xì)節(jié)信息得以保留的同時(shí)，可以更方便、更直觀的分析和處理整個(gè)檢測(cè)區(qū)域。因此，研究無(wú)人機(jī)影像序列拼接技術(shù)具有十分重要的意義。國(guó)內(nèi)外研究現(xiàn)狀鑒于影像序列拼接技術(shù)在各領(lǐng)域的廣泛應(yīng)用，國(guó)內(nèi)外許多研究者都對(duì)其進(jìn)行了深入的研究，近幾十年的研究也取得了不少成果，使影像序列拼接技術(shù)趨于成熟。國(guó)外研究現(xiàn)狀1996年，RichardSzeliski基于變換的圖像拼接模型[4]是經(jīng)典的影像拼接算法，該算法能夠求出存在平移、旋轉(zhuǎn)、仿射等變換的影像變換矩陣，但它需要提供一個(gè)合適的初值并且需多次迭代才能求出穩(wěn)定的解。2000年，Peleg在改進(jìn)變換模型的基礎(chǔ)上提出一種自適應(yīng)的圖像拼接模型5。影像序列拼接技術(shù)包括影像配準(zhǔn)和影像融合兩個(gè)關(guān)鍵技術(shù)，影像序列配準(zhǔn)技術(shù)的提高在很大程度上決定了影像拼接技術(shù)的發(fā)展，所以它一直是影像拼接領(lǐng)域的研究重點(diǎn)。通常將影像配準(zhǔn)技術(shù)分為：基于灰度信息的影像配準(zhǔn)、基于變換域的影像配準(zhǔn)和基于特征的影像配準(zhǔn)6?；诨叶刃畔⒌呐錅?zhǔn)方法簡(jiǎn)單直觀，但一般的影像間均會(huì)存在較大的色彩灰度差異，此時(shí)該類(lèi)方法的穩(wěn)定性差、配準(zhǔn)精度低?；谧儞Q域的配準(zhǔn)方法也有較多研究，但是其計(jì)算量大。1975年，Kuglin和Hines相位相關(guān)法[7]首先利用Fourier變換將影像轉(zhuǎn)換到頻率域，然后根據(jù)互功率譜求解影像間的平移量完成配準(zhǔn)，但該算法無(wú)法配準(zhǔn)存在旋轉(zhuǎn)、仿射等變換的影像。1987De.Castro和C.Morandi對(duì)相位相關(guān)法改進(jìn)后提出了擴(kuò)展相位相關(guān)法8，此算法可以配準(zhǔn)存在旋轉(zhuǎn)和平移的影像。1993年，Djamdji等利用變換實(shí)現(xiàn)了圖像的多尺度配準(zhǔn)9。1996年，Reddy和Chatterji采用的快速Fourier變換配準(zhǔn)了存在平移、旋轉(zhuǎn)、縮放等多種變換的圖像[10]。基于特征的配準(zhǔn)方法魯棒性高、計(jì)算速度較快，對(duì)于復(fù)雜變形的影像配準(zhǔn)一般均采用該類(lèi)方法，該配準(zhǔn)方法包括特征提取和特征匹配兩部分。1981年，Moravec角點(diǎn)檢測(cè)算法是特征點(diǎn)提取中的經(jīng)典算法。1988年，Harris和Stephens對(duì)Moravec算法改進(jìn)后提出了Harris角點(diǎn)檢測(cè)算子[11。近年來(lái)尺度不變特征提取算法也被廣泛應(yīng)用于無(wú)人機(jī)影像拼接中，如著名的SIFT（ScaleInvariantFeatureTransform）算法12、SURF（SpeededUpRobostFeature）[13算法等，SIFT算法對(duì)存在平移、旋轉(zhuǎn)、尺度縮放、亮度差異、光照變化等多種變形的影像均具有良好的魯棒性，但它的運(yùn)算效率較低、實(shí)時(shí)性差，SURF算法是一種加速的SIFT算法，它在特殊性、可重復(fù)性和魯棒性上均能跟SIFT比擬，并且該算法大大提高了運(yùn)算效率。另外，RANSAC算法14在影像配準(zhǔn)過(guò)程中常用來(lái)剔除誤匹配點(diǎn)對(duì)。國(guó)內(nèi)研究現(xiàn)狀，國(guó)內(nèi)研究者對(duì)影像拼接技術(shù)方面的研究也取得了一些成果。1997年，王等通過(guò)歸一化相關(guān)系數(shù)和序貫相似度來(lái)度量影像的相似程度，并基于模擬退火算法搜索最佳匹配點(diǎn)，實(shí)現(xiàn)了高精度的影像配準(zhǔn)和影像拼接15。1998年張祖勛等多級(jí)影像整體概率松弛匹配算法[16]實(shí)現(xiàn)了不同傳感器、不同空間分辨率的影像配準(zhǔn)。2001年的漆馳等提出了一種解決圖像拼接過(guò)程中計(jì)算量與拼接精度的方案[17]。同年，華技大學(xué)的陳永強(qiáng)提出，首先模擬出變形圖像之間的變換參數(shù)，其后基于相關(guān)法檢測(cè)特征點(diǎn)，經(jīng)過(guò)幾何校正后完成拼接工作[18]。2002年，杜威、將紋理與全景圖結(jié)合起來(lái)用于構(gòu)造動(dòng)態(tài)場(chǎng)景，擴(kuò)展了圖像拼接的應(yīng)用領(lǐng)域19。2005年，，維、提出一種圖像快速自動(dòng)拼接方法[20]，該方法很好的平衡了圖像拼接過(guò)程中的速度和精度要求。2009年，張劍清等提出利用蟻群算法21實(shí)現(xiàn)避屋、樹(shù)木等地物的鑲嵌線自動(dòng)選擇，實(shí)現(xiàn)了正射影像的無(wú)縫鑲嵌。2011年，等[22]采用SIFT算法提取無(wú)人機(jī)影像特征、利用分塊拼接的方法減小誤差的，達(dá)到了較好的拼接效果。2011年，等[23]提出一種基于拼接線的方法實(shí)現(xiàn)了無(wú)人機(jī)影像序列的拼接。2013年，李勁澎24在影像拼接過(guò)程中采用集群并行計(jì)算技術(shù)實(shí)現(xiàn)了快速拼接和三維點(diǎn)云的生成。主要研究?jī)?nèi)容本文通過(guò)特征匹配的方式實(shí)現(xiàn)影像序列拼接，需要研究的內(nèi)容主要包括特征提取、特征匹配、誤匹配處理、影像間變換模型與矩陣參數(shù)計(jì)算、影像融合等。主要研究?jī)?nèi)容如下：無(wú)人機(jī)影像序列的特征提取技術(shù)針對(duì)無(wú)人機(jī)影像序列間存在平移、旋轉(zhuǎn)、縮放、光照及視角等差異，本課題需要研究一種能適應(yīng)各種變形的、強(qiáng)魯棒性的算法來(lái)提取影像特征。同時(shí)，為了實(shí)現(xiàn)影像序列的快速拼接，也要求特征提取速度較快。本文著重研究了SURF特征提取算法，該算法對(duì)影像間的多種變形均有較好的魯棒性，它能夠?qū)崿F(xiàn)包含平移、旋轉(zhuǎn)、縮放、光照、遮擋及視角等變換的影像特征提取，并且該算法效率較高、時(shí)效性良好。無(wú)人機(jī)影像序列特征匹配與誤匹配處理技術(shù)SURF算法提取后的無(wú)序特征點(diǎn)，研究一種算法來(lái)準(zhǔn)確找出影像特征點(diǎn)間的一一對(duì)應(yīng)關(guān)系。SURF算法提取特征后得到的每一特征點(diǎn)均有一個(gè)唯一的64維特征向量描述符，本課題先采用歐式距離作為度量準(zhǔn)則、基于最近鄰匹配算法實(shí)現(xiàn)特征粗匹配，再采用本文雙4-RANSAC算法提純匹配點(diǎn)對(duì)以達(dá)到特征精匹配。影像間的幾何變換模型與變換矩陣參數(shù)計(jì)算針對(duì)無(wú)人機(jī)影像序列間存在平移、旋轉(zhuǎn)、縮放等各種變換和變形，本課題分析并選擇含有8個(gè)參數(shù)的變換模型來(lái)描述影像間的各種變換關(guān)系，影像間的數(shù)學(xué)關(guān)系采用Homography單應(yīng)性矩陣描述。對(duì)于變換單應(yīng)性矩陣的參數(shù)估計(jì)，本課題在深入研究RANSAC算法的基礎(chǔ)上提出了一種雙4-RANSAC算法對(duì)其進(jìn)行計(jì)算，雙4-RANSAC算法既可以提純粗匹配點(diǎn)對(duì)，又能夠計(jì)算變換的單應(yīng)性矩陣參數(shù)，并且比RANSAC算法效率更好。影像融合與無(wú)人機(jī)影像序列拼接，針對(duì)無(wú)人機(jī)影像序列存在亮度差異、配準(zhǔn)誤差等導(dǎo)致拼接時(shí)出現(xiàn)的重影和結(jié)構(gòu)接縫等問(wèn)題本文研究和發(fā)展了基于變換的融合方法對(duì)已配準(zhǔn)的無(wú)人機(jī)影像序列進(jìn)行融合，該算法可以實(shí)現(xiàn)影像的多分辨率、多尺度融合?；谧儞Q的影像融合規(guī)則分為高頻系數(shù)融合和低頻系數(shù)融合本文提出一種基于NCC的融合法對(duì)低頻系數(shù)融合規(guī)則進(jìn)行改進(jìn)，實(shí)驗(yàn)證明該算法能保留的融合影像信息它可以在較少丟失細(xì)節(jié)信息的基礎(chǔ)上有效的實(shí)現(xiàn)影像間的無(wú)縫連接。對(duì)于融合影像和拼接影像的質(zhì)量評(píng)價(jià)問(wèn)題，本文研究并采用評(píng)價(jià)和客觀評(píng)價(jià)相結(jié)合的方式進(jìn)行分析評(píng)價(jià)是利用人的眼睛、思維等來(lái)判斷，客觀評(píng)價(jià)則是對(duì)亮度信息、標(biāo)準(zhǔn)差、信息熵、清晰度這四個(gè)指標(biāo)的參數(shù)進(jìn)行分析。，組織結(jié)構(gòu)本文各章節(jié)的主要內(nèi)容安排如下：第一章緒論。主要說(shuō)明無(wú)人機(jī)影像序列拼接技術(shù)的研究背景與意義，研究和總結(jié)國(guó)內(nèi)外影像序列拼接相關(guān)技術(shù)的發(fā)展歷史及研究現(xiàn)狀，給出的主要研究?jī)?nèi)容和結(jié)構(gòu)安排。第二章UAV影像序列拼接主要技術(shù)。首先給出本文無(wú)人機(jī)影像序列拼接的系統(tǒng)組成流程然后重點(diǎn)分析影像配準(zhǔn)和影像融合這兩個(gè)最為關(guān)鍵的技術(shù)，具體為依據(jù)處理信息分類(lèi)的三種影像配準(zhǔn)方法和依據(jù)處理層次分類(lèi)的三種影像融合方法。第三章基于雙4-RANSAC算法的UAV影像序列配準(zhǔn)。首先著重研究SIFT算法和SURF算法的實(shí)現(xiàn)步驟，其中SURF算法又是的主要研究方法，通過(guò)對(duì)比說(shuō)明SURF算法在提取特征上的速度優(yōu)勢(shì)；然后利用歐氏距離作為度量準(zhǔn)則、采用最近鄰算法進(jìn)行SURF特征粗匹配；接著提出一種雙4-RANSAC算法代替RANSAC算法實(shí)現(xiàn)基于變換模型的特征精匹配。實(shí)驗(yàn)證明SURF算法既有SIFT算法良好的魯棒性和性也有比SIFT算法更快的運(yùn)算速度，本文雙4-RANSAC算法比RANSAC算法效率更高。第四章基于改進(jìn)變換的UAV影像序列融合與拼接首先分析UAV影像拼接常用的幾何變換模型及影像質(zhì)量評(píng)價(jià)，本文選擇能反映各種變形的變換模型實(shí)現(xiàn)影像坐標(biāo)系的統(tǒng)一。然后研究了直接平均值法、漸入漸出法和基于變換的融合法來(lái)處理拼接接縫并著重研究和改進(jìn)了基于變換影像融合的低頻系數(shù)融合規(guī)則，提出一種基于NCC的改進(jìn)融合算法用于分解的低頻域融合。第五章主要對(duì)直接平均法、漸入漸出法和基于改進(jìn)變換的影像融合算法進(jìn)行試驗(yàn)并通過(guò)評(píng)價(jià)和客觀評(píng)價(jià)相結(jié)合的方式對(duì)融合結(jié)果進(jìn)行分析。最終采用基于改進(jìn)變換的融合方法解決影像拼接時(shí)由于光照、亮度等差異引起的接縫問(wèn)題，實(shí)現(xiàn)兩幀及多幀無(wú)人機(jī)影像序列的無(wú)縫拼接。最后的結(jié)論首先對(duì)前幾章的主要內(nèi)容進(jìn)行總結(jié)再分析了本研究的不足以及對(duì)無(wú)人機(jī)影像序列拼接技術(shù)未來(lái)的研究?jī)?nèi)容和方向做出展望。UAV影像序列拼接技術(shù)無(wú)人機(jī)影像序列拼接技術(shù)涉及到圖像處理、計(jì)算機(jī)圖形學(xué)等領(lǐng)域的綜合應(yīng)用，研究者們已引入多種數(shù)學(xué)工具來(lái)分析處理該項(xiàng)技術(shù)。本章以影像拼接技術(shù)的基本流程為中心，分析其所涉及到的主要技術(shù)，著重研究影像配準(zhǔn)和影像融合這兩大關(guān)鍵技術(shù)。系統(tǒng)組成無(wú)人機(jī)影像序列拼接主要涉及到影像預(yù)處理、影像配準(zhǔn)和影像融合。影像預(yù)處理：由于飛行姿態(tài)、飛行高度等的影像，機(jī)獲取的影像一般會(huì)有畸變、亮度差異等變形。對(duì)待拼接影像序列進(jìn)行直方圖均衡化、平滑濾波、增強(qiáng)變換、幾何畸變校正等基本處理，可為影像拼接的下一步做好準(zhǔn)備。影像配準(zhǔn)(imageregistration)：影像配準(zhǔn)是影像拼接的一個(gè)關(guān)鍵步驟，其基本思想是：首先找出基準(zhǔn)影像與待配準(zhǔn)影像中的感點(diǎn)或感區(qū)域的對(duì)應(yīng)位置，再依據(jù)對(duì)應(yīng)關(guān)系建立影像間的幾何變換模型，最后將待配準(zhǔn)影像通過(guò)插值技術(shù)重采樣轉(zhuǎn)換到基準(zhǔn)影像的坐標(biāo)系中，以此完成影像配準(zhǔn)并找到影像間的區(qū)域精確配準(zhǔn)的關(guān)鍵問(wèn)題之一就是選擇一個(gè)適當(dāng)?shù)臄?shù)學(xué)模型，使其能很好的表達(dá)影像間的變換關(guān)系。影像融合(imagefusion)：影像融合是影像拼接的又一個(gè)關(guān)鍵步驟。兩幅影像在配準(zhǔn)后就確定了它們之間的變換關(guān)系，此時(shí)就可以利用影像融合技術(shù)將統(tǒng)一坐標(biāo)系下的兩幅影像進(jìn)行無(wú)縫地融合，使影像拼接的結(jié)果更加自然。融合算法是對(duì)影像區(qū)域進(jìn)行的處理，該處理是為了消除光照、亮度等差異造成的拼接影像色度的不連續(xù)性。UAV影像序列拼接的系統(tǒng)組成如圖2-1所示?；鶞?zhǔn)基準(zhǔn)影影像融影像配待配準(zhǔn)影拼接影圖2- UAV待配準(zhǔn)影拼接影Fig.2- ThesystemcompositionchartofUAVimagesequence變換模變換模Homography矩實(shí)現(xiàn)流程特征點(diǎn)粗匹SURF特征提待拼接的無(wú)人機(jī)影像序本文設(shè)計(jì)的無(wú)人機(jī)影像序列拼接主要包括特征提取、特征匹配、影像變換模型與參數(shù)計(jì)算、影像融合、融合質(zhì)量評(píng)價(jià)，其具體實(shí)現(xiàn)流程為：首先是無(wú)人機(jī)通過(guò)數(shù)碼相機(jī)得到待拼接的無(wú)人機(jī)影像序列然后就是進(jìn)行以下的處理了；SURF特征提?。菏紫?，利用積分圖像來(lái)構(gòu)建多尺度的空間影像；然后，在尺度空間上利用hessian矩陣快速檢測(cè)極值點(diǎn)并剔除不穩(wěn)定點(diǎn)以精確定位特征點(diǎn)；接著，為每一特征點(diǎn)計(jì)算其主方向以使算法具有旋轉(zhuǎn)不變性；最后，利用每一特征點(diǎn)周?chē)泥徲蛐畔槠渖?4維特征向量描述子，此時(shí)就完成了基于SURF算法的特征提取。特征點(diǎn)匹配：匹配分為粗匹配和精匹配，特征點(diǎn)粗匹配是利用歐氏距離度量、采用最近鄰匹配算法完成的，在特征點(diǎn)粗匹SURF特征提待拼接的無(wú)人機(jī)影像序最最近鄰算歐氏距離度構(gòu)造特征點(diǎn)描述計(jì)算特征點(diǎn)主方檢測(cè)特征構(gòu)造尺度空特征點(diǎn)精匹雙4-RANSAC算影影像融建立幾何變換模影影像質(zhì)量評(píng)拼接影基 變換的融高頻：基于基 變換的融高頻：基于區(qū)域最大值法融低頻：基于NCC的改 融評(píng)客觀評(píng)Fig.2- TherealizationprocesschartofUAVimagesequence：對(duì)以提純匹配對(duì)，并且該算法處理誤匹配的效率比RANSAC算法更高。影像變換模型與參數(shù)計(jì)算本文分析并選擇具有8參數(shù)的變換模型描述影像間的各種變換關(guān)系，影像間的數(shù)學(xué)關(guān)系描述采用33的Homography單應(yīng)性矩陣描述，矩陣參數(shù)的估計(jì)仍采用本文雙4-RANSAC算法實(shí)現(xiàn)?；诟倪M(jìn)變換的影像融合變換是一種多尺度的分解方法，其融合分為高頻系數(shù)融合和低頻系數(shù)融合，本文高頻系數(shù)采用基于區(qū)域的絕對(duì)值最大值法實(shí)現(xiàn)，低頻系數(shù)融合則采用本文基于NCC的改進(jìn)融合法完成該融合算法可以在較少丟失信息的基礎(chǔ)上有效的實(shí)現(xiàn)影像間的無(wú)縫連接。影像融合質(zhì)量評(píng)價(jià)：從和客觀兩方面來(lái)評(píng)價(jià)融合的影像，：評(píng)價(jià)就是利用人眼和思維來(lái)判斷，客觀評(píng)價(jià)則通過(guò)亮度信息、標(biāo)準(zhǔn)差、信息熵、清晰度這四個(gè)指標(biāo)完成。以上處理完成后就可得到影像序列拼接的全景結(jié)果影像，其具體實(shí)現(xiàn)流程如圖2-2所示。影像配準(zhǔn)技術(shù)經(jīng)過(guò)眾多國(guó)內(nèi)外研究者的不斷努力，目前已有多種方法實(shí)現(xiàn)影像配準(zhǔn)。如圖2-3所示，影像配準(zhǔn)按不同的標(biāo)準(zhǔn)可以分為不同的類(lèi)型。本文將無(wú)人機(jī)影像序列的配準(zhǔn)算法分為基于灰度信息的配準(zhǔn)、基于變換域的配準(zhǔn)和基于特征的配準(zhǔn)進(jìn)行分析25。圖圖像配準(zhǔn)算法分按全局與局部劃按配準(zhǔn)的四要素劃從自動(dòng)化的角度劃全點(diǎn)搜索空特征空搜索策相似性度剛性變仿射變點(diǎn)特區(qū)域特…窮盡搜動(dòng)態(tài)規(guī)…互相關(guān)函…手半自圖2- 影像配準(zhǔn)方法分Fig.2- Theclassificationofimage基于灰度信息的影像配準(zhǔn)基于灰度信息的配準(zhǔn)算法主要用于特征不明顯的影像，其基本思想25為：算法認(rèn)為基準(zhǔn)影像和待配準(zhǔn)影像的對(duì)應(yīng)點(diǎn)及該點(diǎn)的周?chē)鷧^(qū)域一般存在相似甚至相同的灰度，選擇適當(dāng)?shù)乃阉鞣椒ㄕ业接跋耖g的最優(yōu)變換參數(shù)，可以使影像間的相似性度量函數(shù)達(dá)到最大值。該類(lèi)配準(zhǔn)算法簡(jiǎn)單直觀、可用于不同并且對(duì)于影像間存在縮放、遮擋等復(fù)雜情況時(shí)該算法不適用，這些缺點(diǎn)限制了其應(yīng)用范圍。下面介紹幾種常用的基于灰度信息的配準(zhǔn)算法：互相關(guān)法Rosenfeld等人互相關(guān)法[26](CC)是根據(jù)特征點(diǎn)鄰域像素灰度值的互相關(guān)系數(shù)作為匹配原則，而不是直接利用特征點(diǎn)鄰域的灰度值進(jìn)行度量，算法思想為：在基本影像和待配準(zhǔn)影像中以特征點(diǎn)為中心，選取一個(gè)大小為(2N+1)×(2N+1)的鄰域相關(guān)窗口，然后以基準(zhǔn)影像中的每一特征點(diǎn)為參考，在待配準(zhǔn)影像中搜索與之對(duì)應(yīng)的匹配點(diǎn)，匹配依據(jù)是計(jì)算相關(guān)窗口間的相關(guān)系數(shù)：CC

[I1(x,y)I2(x,x,

x,x,I(x,21x,I(x,22式中，I1I2分別表示兩影像的特征點(diǎn)在大小為W的相關(guān)窗口區(qū)域內(nèi)的像素灰度值，該參考點(diǎn)的匹配點(diǎn)是相關(guān)系數(shù)CC達(dá)到最大值時(shí)所對(duì)應(yīng)的特征點(diǎn)。歸一化相關(guān)系數(shù)歸一化相關(guān)系數(shù)法[27（NCC）同互相關(guān)法類(lèi)似，也是通過(guò)計(jì)算特征點(diǎn)鄰域像素灰度值的互相關(guān)系數(shù)來(lái)估算變換參數(shù)的，對(duì)其歸一化后可以彌補(bǔ)互相關(guān)法對(duì)光照變化敏感的不足。計(jì)算公式為：[I1(x,y)I1][I2(x,y)I2 [ [I(x,y)I2 [I(x,y)I212x,x,

x,

(2-其中，W表示相關(guān)窗口的大小，I1I2分別代表兩影像中特征點(diǎn)相關(guān)窗口區(qū)域內(nèi)的像素灰度值，I1I2分別表示I1I2特征點(diǎn)相關(guān)窗口區(qū)域內(nèi)的像素灰值。如果選定窗口的相關(guān)系數(shù)達(dá)到最大就認(rèn)為這兩小塊影像，按此方法繼續(xù)搜索其它重合區(qū)域，就可以找到影像的共同區(qū)域以完成拼接。序貫相似檢測(cè)算法Barnea等人序貫相似檢測(cè)算法[28]（SSDA）的最大優(yōu)點(diǎn)是具有較快的運(yùn)算速度，其相似性準(zhǔn)則為：E(u,v)|T(x,y)TI(xu,yv)I(u,v)

(2-其中，uX軸上的步長(zhǎng)，vY軸上的步長(zhǎng)，T(x,y為模板影像T中的像素值，I為影像均值，T為模板均值。該方法先累加計(jì)算兩影像中某一點(diǎn)距離差的絕對(duì)值，認(rèn)為累加時(shí)增長(zhǎng)最慢的點(diǎn)為匹配點(diǎn)，否則就為非匹配點(diǎn)?；バ畔⒎╒iola等人將互信息引入影像配準(zhǔn)領(lǐng)域，后來(lái)王提出了基于互信息的影像配準(zhǔn)29，交互信息I表示為：I(a,b)H(a)H(b)H(a,

(2-其中，H(a)為隨量A的熵，H(b)為隨量B的熵H(abAB的聯(lián)合熵：H(a)p(a)lnH(b)p(b)lnH(a,b)p(a,b)lnp(a,

(2-(2-(2-式中，p(aA的邊緣概率密度函數(shù)，p(bB的邊緣概率密度函數(shù)，p(ab)為A、B的聯(lián)合概率密度分布。當(dāng)兩影像的交互信息值最大時(shí)就認(rèn)為這兩影像是匹配的?；谧儞Q域的影像配準(zhǔn)傅立葉變換傅立葉變換（FourierTransformation是最具代表性的變換域配準(zhǔn)方法，該變換首先對(duì)影像進(jìn)行傅立葉變換，然后再把頻率域中相位差的峰值作為重疊位置，該方法需要較高的度。相位相關(guān)技術(shù)7是傅立葉變換的最基本方法，它用以確定灰度影像f1(x,y

f(x,y的相似度或相異度30

f2x,y

f1(xyxy方向分別2x0、y0后的圖像，即：2f2(x,y)f1(xx0,yy0F1(uvF2uv分別為f1f2的傅立葉變換，則有： F(u,v)F(u,v)ej(ux0vy0

(2-(2-f1(x,y

f2x,y的互功率譜為：F(u,v)F*(u, e |F(u,v)F*(u,v)

j(ux0vy0

(2-2式中，F(xiàn)*表示F2的復(fù)共軛。對(duì)(2-9)式進(jìn)行Fourier反變換就可以在點(diǎn)(x0y0處得到一個(gè)脈沖函數(shù)，該函數(shù)僅在平移量處有峰值1，其它地方的值均為0。2對(duì)數(shù)極坐標(biāo)法相位相關(guān)法僅能配準(zhǔn)具有平移關(guān)系的影像，對(duì)于包含旋轉(zhuǎn)、縮放等復(fù)雜情況下的配準(zhǔn)，Reddy等人10提出了解決方法：算法首先把旋轉(zhuǎn)、尺度變換關(guān)系轉(zhuǎn)換為平移變換關(guān)系，再用相位相關(guān)法求得旋轉(zhuǎn)及尺度變換，最后就是在直角坐標(biāo)系下求解平移量?；诘姆椒ɡ碚撛谟跋衽錅?zhǔn)領(lǐng)域應(yīng)用較多，如文獻(xiàn)[31]中介紹的基于變換的配準(zhǔn)方法，利用變換配準(zhǔn)影像時(shí)，特征點(diǎn)的提取和匹配可以在高分辨率和低分辨率影像中完成，這樣就保證了配準(zhǔn)精度?；谔卣鞯挠跋衽錅?zhǔn)前面分析的兩種配準(zhǔn)算法都要用到影像的所有信息，其實(shí)現(xiàn)過(guò)程計(jì)算量大?；谔卣鞯挠跋衽錅?zhǔn)方法僅需利用影像的顯著特征，這就大大壓縮了影像的信息量從而使得運(yùn)算量明顯降低，且該類(lèi)方法對(duì)旋轉(zhuǎn)、尺度縮放、噪聲等多種變形均有較強(qiáng)的魯棒性?；谔卣鞯挠跋衽錅?zhǔn)流程如圖2-4所示：特征提取常用的特征包括點(diǎn)特征、線特征和面特征，實(shí)際應(yīng)用需要根據(jù)影像的類(lèi)型、應(yīng)用領(lǐng)域等選擇適當(dāng)?shù)奶卣?。①點(diǎn)特征點(diǎn)特征一般為物體輪廓的拐點(diǎn)、多條線段的交叉點(diǎn)等，在無(wú)人機(jī)影像中一般為房屋、道路的交叉口等，這些點(diǎn)含有的大量信息能充分代表影像的局部特征。常用的點(diǎn)特征提取算法如HarrisSIFT算子以及SURF算子。基準(zhǔn)影基準(zhǔn)影變影換像配模變準(zhǔn)型換后參與的數(shù)重影估采像計(jì)樣待配準(zhǔn)影圖待配準(zhǔn)影 TheflowchartofUAVimageregistrationbasedon②線特征線特征包括影像中物體的輪廓線、道路、海岸線等，它能夠充分反映影像的紋理信息、結(jié)構(gòu)信息。線特征的檢測(cè)一般采用Sobel算子、Canny算子等提取邊緣或輪廓信息實(shí)現(xiàn)。由于到的影像序列基本都有噪聲，影像中的邊緣及輪廓等信息一般很難完整提取。此外，由于影像序列獲得的時(shí)間等因素不同，就可能出現(xiàn)線元特征在一幀影像中能檢測(cè)但在相鄰的另一幀卻檢測(cè)不到，此時(shí)無(wú)法進(jìn)行特征匹配，所以線特征用于影像配準(zhǔn)通用性低。③面特征面特征在無(wú)人機(jī)影像中一般選取森林、湖泊、建筑等對(duì)比度較高的封閉區(qū)域，在實(shí)際應(yīng)用中也常選用具有旋轉(zhuǎn)、尺度不變特性的封閉區(qū)域重心。面特征的檢測(cè)通常采用適當(dāng)?shù)姆指钏惴▉?lái)實(shí)現(xiàn)，如區(qū)域生長(zhǎng)法[32]、動(dòng)態(tài)閾值法等[33]。特征匹配特征匹配是指利用松弛法34、Hausdorff距離35及相關(guān)度量方式等方法，在不同的影像序列上找到同一特征在影像空間上的一一對(duì)應(yīng)關(guān)系。變換模型在找到待配準(zhǔn)影像特征集的一一對(duì)應(yīng)關(guān)系后，就可以建立反映影像間存在的平移、旋轉(zhuǎn)、縮放、角度等各種變換的數(shù)學(xué)模型。圖像重采樣在選取適當(dāng)?shù)哪Ｐ筒⑶蟪銎渥儞Q參數(shù)后，就可以對(duì)待配準(zhǔn)影像進(jìn)行重采樣，使它的坐標(biāo)轉(zhuǎn)換到基準(zhǔn)影像的坐標(biāo)系下，以此實(shí)現(xiàn)坐標(biāo)系的統(tǒng)一，也就實(shí)現(xiàn)了影像的最終配準(zhǔn)。在影像配準(zhǔn)、影像融合等重采樣時(shí)，需要用到插值技術(shù)[36]來(lái)解決浮點(diǎn)坐標(biāo)位置的像素灰度級(jí)賦值問(wèn)題，如常用的最近鄰插值[37](nearestneighborinterpolation)、雙線性插值38(bilinearintrpolation)、雙立方插值39(cubicconvolutioninterpolation)等。影像融合技術(shù)無(wú)人機(jī)由于其飛行姿態(tài)不穩(wěn)定獲取的影像一般會(huì)存在差異直接拼接會(huì)因?yàn)轭伾?、亮度差異造成顏色接縫；另外，配準(zhǔn)誤差或者影像形變的存在也會(huì)造成重影和結(jié)構(gòu)接縫。此時(shí)，需要進(jìn)行影像融合消除這些接縫。影像融合[40]是將已配準(zhǔn)影像進(jìn)行無(wú)縫的連接形成一幅視覺(jué)上保持一致的全景影像，這個(gè)融合處理是在待拼接影像的區(qū)域內(nèi)進(jìn)行的。影像融合層次根據(jù)處理階段的不同可將影像融合分為[41]：像素級(jí)融合、特征級(jí)融合和決策級(jí)融合，UAV影像的三個(gè)融合層次如圖2-5所示。影描解提圖2-提Fig.2- ThreelevelsofUAVimage像素級(jí)影像融合應(yīng)用最廣泛、層次最低，它直接處理待融合影像的初始數(shù)據(jù)，得到的融合結(jié)果影像包含了源融合影像中幾乎所有像素點(diǎn)的信息，因此它較少丟失原始數(shù)據(jù)信息。這種融合方法能提供比特征級(jí)和決策級(jí)融合更多、更可靠的信息，它更有利于對(duì)融合結(jié)果影像做進(jìn)一步的分析和處理，如特征提取、目標(biāo)識(shí)別等。像素級(jí)融合使人們更容易觀察影像，它也很適合計(jì)算機(jī)的檢測(cè)和處理。像素級(jí)融合是特征級(jí)融合和決策級(jí)融合的基礎(chǔ)，它也是目前的研究熱點(diǎn)之一，本文用于影像拼接的融合也是基于像素級(jí)的融合方法進(jìn)行的。特征級(jí)影像融合[42]首先從源融合影像中提取各自的特息再綜合的分析和處理這些特息它所處的層次是在像素級(jí)融合之上決策級(jí)融合之下的中間層次。典型的特息包括：點(diǎn)、線、光譜、紋理等。特征級(jí)融合所得到的特征空間包含的數(shù)據(jù)信息量往往比融合前原始影像中包含的數(shù)據(jù)信息量少得多，但信息的大量壓縮也加快了處理速度、實(shí)時(shí)性變好，便于影像融合的實(shí)時(shí)處理。常用的特征級(jí)融合算法有聯(lián)合統(tǒng)計(jì)、帶約束的高斯-馬爾可夫估計(jì)、廣義卡爾曼濾波、神經(jīng)網(wǎng)絡(luò)融合等。決策級(jí)影像融合是最次的融合它是對(duì)來(lái)自待融合影像中得到的數(shù)據(jù)信息進(jìn)行邏輯或統(tǒng)計(jì)推理的過(guò)程，其推理的結(jié)果給控制決策提供了依據(jù)。決策級(jí)融合43過(guò)程為：首先對(duì)每一幀待融合影像的同一物體分別建立初步的并處理這些決策，再通過(guò)決策級(jí)的融合處理獲得最終的聯(lián)合。對(duì)于影像信息的表示形式有較大差異或者涉及到影像的不同區(qū)域時(shí)，往往只能用決策級(jí)融合的方式進(jìn)行融合。決策級(jí)影像融合的數(shù)據(jù)量最少、實(shí)時(shí)性最好。但是，采用決策級(jí)融合方法的代價(jià)也是最高的，因?yàn)樵撊诤戏绞綄?duì)于影像的預(yù)處理和特征提取要求很高，并且影像的信息損失也最多。決策級(jí)融合可以采用統(tǒng)計(jì)方法、邏輯推理方法等，常見(jiàn)的如D-S（Dempster-Shafer）推理、推理、表決法、神經(jīng)網(wǎng)絡(luò)、模糊推理、聚類(lèi)分析等。影像融合方法、像素級(jí)影像融合分為空間域法和頻率域法[44]，基于空間域的影像融合方法是直接對(duì)配準(zhǔn)后的待拼接影像各像素進(jìn)行簡(jiǎn)單的平均平均或像素選擇等操作來(lái)得到全景影像；基于頻率域的影像融合方法是先把待融合影像分成高頻子影像和低頻子影像，再用適當(dāng)?shù)囊?guī)則分別對(duì)兩個(gè)頻段的子影像進(jìn)行融合理，最后反變換得到融合結(jié)果影像。、像素灰度值選取融合法像素灰度值選取融合法是一種空間域融合算法它分為灰度值選和灰度值選小法。設(shè)f代表待融合影像f1、f2的融合結(jié)果，則有像素灰度值 f(x,y)max(f1(x,y),f2(x,像素灰度值選小法：

(2-融合法

F(x,y)min(f1(x,y),f2(x,

(2-融合法是一種簡(jiǎn)單的直接對(duì)像素灰度進(jìn)行操作的空間域融合算法，又被稱(chēng)為羽化或alpha融合，它將配準(zhǔn)影像的每個(gè)像素值分別乘以適當(dāng)?shù)臋?quán)值后相加該算法得到的拼接影像區(qū)域像素灰度值是輸入影像像素灰度值的和。設(shè)f代表待融合影像f1、f2的融合結(jié)果，則融合法的數(shù)學(xué)描述為：f1(x, (x,y)f(x,y)f(x,y)f(x,y)(x,y)

(2-1 2 f2(x, (x,y)f其中，1、2分別是f1f212=1，01<1，02<1。選取不同的權(quán)值又可以將融合法細(xì)分，如直接平均法、漸入漸出等，具體內(nèi)容在第四章有介紹。多分辨率塔式融合法多分辨率塔式融合法是一種多尺度、多分辨率的頻率域融合算法，常用的金字塔有高斯金字塔、金字塔[45]等，其融合的大體步驟為：①對(duì)待融合影像進(jìn)行金字塔分解得到不同尺度、不同分辨率的空間子影像；②運(yùn)用不同的融合規(guī)則融合分解得到的金字塔系數(shù)，把融合得到的系數(shù)作為融合結(jié)果影像的金字塔系數(shù)；③金字塔反變換重構(gòu)融合結(jié)果影像。圖2-6所示為塔式影像融合算法示意圖。分 影分影重金字分金字分

融金字融

融合后的金字

的影圖2- 多分辨率塔式影像融合Fig.2- Multi-resolutionpyramidimagefusion塔式分解融合方法可以保留原始影像的細(xì)節(jié)信息、突出重要信息，對(duì)于影像拼接則可以明顯削弱拼接痕跡，但它是一種冗余分解，并且它的分解是無(wú)方向的，無(wú)法完整提取出影像的結(jié)構(gòu)信息。另外，該分解獲得的各層影像數(shù)據(jù)具有相關(guān)性，數(shù)據(jù)的相關(guān)性在金字塔重建時(shí)很容易引起算法的不穩(wěn)定，使得融合結(jié)果影像高頻信息丟失、邊緣模糊。基于變換的融合法變換46是一種跟金字塔相似的多尺度、多分辨率的頻率域融合算法，但分解不會(huì)像金字塔分解那樣導(dǎo)致數(shù)據(jù)量增大，它的分解是非冗余的?；谧儞Q的影像融合步驟[47]為：①對(duì)已配準(zhǔn)的待融合影像進(jìn)行分解得到高頻子影像和低頻子影像；②運(yùn)用不同的融合規(guī)則融合分解得到的系數(shù)，把融合得到的系數(shù)作為融合結(jié)果影像的系數(shù)；③反變換重構(gòu)融合結(jié)果影像?；谧儞Q的融合法比多分辨塔式融合法更緊湊，數(shù)據(jù)無(wú)冗余也無(wú)相關(guān)性，而且具有方向信息。關(guān)于變換融合法的具體內(nèi)容將在第四章進(jìn)一步討論。本章小結(jié)本章主要分析和研究了UAV影像序列拼接涉及到的主要技術(shù)。首先，給出本文UAV影像序列拼接的系統(tǒng)組成流程。然后，重點(diǎn)分析了影像序列拼接的兩大關(guān)鍵技術(shù)：影像配準(zhǔn)和影像融合。影像配準(zhǔn)算法分為基于灰度信息的配準(zhǔn)、基于變換域的配準(zhǔn)和基于特征的配準(zhǔn)。影像融合分為像素級(jí)融合、特征級(jí)融合和決策級(jí)融合，本章從空間域和頻率域兩方面說(shuō)明了一些常用的像素級(jí)融合方法。對(duì)于無(wú)人機(jī)影像序列拼接，本文采用基于特征的影像配準(zhǔn)算法和基于像素級(jí)的影像融合算法實(shí)現(xiàn)。4-RANSACUAV影像序列配準(zhǔn)基于特征的影像序列配準(zhǔn)算法具有速度快、精度高等諸多優(yōu)點(diǎn)，已成為目前國(guó)內(nèi)外研究者的討論熱點(diǎn)，本章的配準(zhǔn)也是基于特征實(shí)現(xiàn)的。本章首先分析Harris角點(diǎn)檢測(cè)算子，該算法實(shí)現(xiàn)簡(jiǎn)單，但其對(duì)尺度變化非常敏感。因此，本章緊接著研究SIFT算法，該算法對(duì)平移、旋轉(zhuǎn)、縮放、放射、遮擋等變化均具有較好的魯棒性，但它也存在計(jì)算量大、效率低的缺點(diǎn)。針對(duì)該SIFT算法對(duì)比分析的方式，重點(diǎn)研究了SURFSURF算法既能快速提取影像中的海量特息，又能從包含信息量少的影像中提取有效特征完成配準(zhǔn)，且其速度較SIFT算法更優(yōu)。關(guān)于特征點(diǎn)的匹配問(wèn)題：首先利用歐式距離作為度量準(zhǔn)則、采用最近鄰算法實(shí)現(xiàn)粗匹配；再采用本文雙4-RANSAC算法來(lái)剔除誤匹配點(diǎn)對(duì)從而實(shí)現(xiàn)特征點(diǎn)的精確匹配，以保證整個(gè)影像配準(zhǔn)的精度，為實(shí)現(xiàn)影像序列的無(wú)縫拼接做好準(zhǔn)備。本文的4-RANSAC算法是一種改進(jìn)的RANSAC算法，該算法可以提高精匹配階段的效率。UAV影像特征提取Harris算子Harris算子原理Harris算子是C.G.Harris和M.J.Stephens在1988年角點(diǎn)提取算子，它是一種改進(jìn)的Moravec算子，該算子啟發(fā)于信號(hào)處理中的自相關(guān)函數(shù)。設(shè)I為影像在像素點(diǎn)(x,y位置的灰度值，則在(x,y處偏移(uv)后的自相關(guān)函數(shù)可描述為：E(u,v)w(x,y)I(xu,yv)I(x,x,式中，w(x,y)為(uv)處的高斯窗口系數(shù)。對(duì)于局部微小的移動(dòng)量(uv)，可近似描述為：

（3-E(u,v)u,v

vv

（3-其中，M是點(diǎn)(xy的自相關(guān)矩陣，它是一個(gè)22的矩陣，可由影像的導(dǎo)數(shù)求得：I IIMw(x,y)

xI I

（3-x,

y12為矩陣M的特征值，通過(guò)計(jì)算M矩陣的特征值可以確定平坦區(qū)、邊緣和角點(diǎn)。圖3-1為Harris角點(diǎn)判斷示意圖：2>>1和2相當(dāng)1~1>>1,2M的特征如果1和2都很小，圖3- Harris角點(diǎn)判斷示意Fig.3- TheHarriscornerjudgingHarris算子首先計(jì)算每個(gè)像素沿各個(gè)方向灰度變化的平均值，并將最小值作為對(duì)應(yīng)像素點(diǎn)的角點(diǎn)響應(yīng)函數(shù)，其定義為：RdetMktraceM

（3-其中det(M)==I2I2(II

（3-1 x xtr(M)=+=I2+I （3- 式（3-4）k（常取值0.04~0.06）是一個(gè)經(jīng)驗(yàn)值。如果檢測(cè)點(diǎn)(x,y)的R值大于設(shè)定閾值且該像素點(diǎn)是其鄰域最大值時(shí)，就認(rèn)為當(dāng)前檢測(cè)的點(diǎn)(x,y是一個(gè)角點(diǎn)。Harris算子特點(diǎn)Harris算子是一種有效的點(diǎn)特征提取方法，其優(yōu)點(diǎn)在于：①僅利用了灰度一階導(dǎo)數(shù)及濾波，算法簡(jiǎn)單、計(jì)算量??；②在影像存在灰度變化、旋轉(zhuǎn)和噪聲等影響時(shí)，Harris算子仍能保持良好的穩(wěn)定性；③可根據(jù)實(shí)際需求定量提取角點(diǎn)，使用靈活方便；④檢測(cè)到的角點(diǎn)分布均勻，能達(dá)到像素級(jí)的定位精度。但該算法有一個(gè)極大的缺點(diǎn)限制其使用范圍，那就是不具有尺度不變性，對(duì)存在尺度縮放的影像變化敏感。SIFT算法SIFT算子(Scale-InvariantFeatureTransform)BritishColumbia大學(xué)DavidG.Lowe1999年首次提出，并在2004年完善的一種局部特征描述算子[12]，該算法對(duì)尺度、噪聲、光照及視角差異等復(fù)雜變化均有穩(wěn)定的魯棒性，其實(shí)現(xiàn)步驟如圖3-2所示。圖3- SIFT算法特征提取步驟Fig.3- ThefeatureextractionstepsofSIFT尺度空間關(guān)鍵點(diǎn)檢測(cè)Koenderink和Lindeberg的研究成果證明：高斯卷積核是實(shí)現(xiàn)尺度變換的唯一線性變換核。一幅二維影像I(x,y的尺度空間L(x,y,)定義為：L(x,y,)G(x,y,)I(x,式中，*為卷積操作，G(x,y,為高斯函數(shù)：

(3-G(x,y,)

e(x2y2)/2

(3-(x,yI(x,y的空間像素坐標(biāo)，σ是尺度因子。σ的大小決定了影像的平滑程度：尺度越大越平滑，反映影像的全局概貌特征；尺度越小平滑的程度就越弱，反映影像的細(xì)節(jié)特征。高斯差分DOG（Difference-of-Gaussian）是Lowe另一思想，它可以使SIFT算法在尺度空間變換中檢測(cè)到穩(wěn)定的特征點(diǎn)。高斯差分函數(shù)是由兩個(gè)不同尺度的高斯核函數(shù)做差得到，DOG算子的計(jì)算公式為：D(x,y,)(G(x,y,k)G(x,y,))I(x,L(x,y,k)L(x,y,式中，k為尺度變化因子。

(3-3-3展示了SIFT尺度空間及DOG空間的構(gòu)造過(guò)程，圖中的左邊區(qū)域表示高斯金字塔，右邊區(qū)域表示高斯差分金字塔，一般構(gòu)造的高斯金字塔為4組5層。為了能夠檢測(cè)到的關(guān)鍵點(diǎn)，高斯金字塔最底層的影像是將輸入的原始影像放大2倍，對(duì)下面一層的影像進(jìn)行高斯平滑后可得到上一層的影像,上一組影像在xy軸上進(jìn)行降采樣可得到下一組影像。上一組影像的中間層子抽樣可得到下一組影像的第一層。建立高斯金字塔模型后，本組影像的高斯差分金字塔模型可由組內(nèi)相鄰尺度空間的高斯金字塔影像相減得到。圖3- SIFT算法的尺度空間構(gòu)造Fig.3- ThescalespaceofSIFTSIFT算法的關(guān)鍵點(diǎn)[12是DOG影像的局部極值點(diǎn)（極大值或極小值為了使檢測(cè)到的關(guān)鍵點(diǎn)穩(wěn)定，DOG空間的每一像素點(diǎn)不僅要與其所在尺度平面3×3鄰域的8個(gè)像素點(diǎn)比較，也要與其同組相鄰上下層對(duì)應(yīng)的3×3鄰域的18個(gè)像素點(diǎn)比較，若該像素點(diǎn)比這26個(gè)點(diǎn)都大或者都小，才能判定為候選特征點(diǎn)。圖3-4為特征點(diǎn)檢測(cè)過(guò)程，圖中的黑色×為檢測(cè)點(diǎn)，綠色圓點(diǎn)為需要比較的26個(gè)點(diǎn)。圖3- DOG尺度空間極值點(diǎn)檢Fig.3- DetectionextremainDOGscale消除不穩(wěn)定特征點(diǎn)為了精確定位極值點(diǎn)位置以達(dá)到亞像素精度，算法首先利用三維二次函數(shù)來(lái)精確獲得關(guān)鍵點(diǎn)的位置及尺度，同時(shí)過(guò)濾掉候選特征點(diǎn)中的低對(duì)比度點(diǎn)（噪聲敏感區(qū)域內(nèi)的點(diǎn)）和不穩(wěn)定的邊緣響應(yīng)點(diǎn)。如此，就可以進(jìn)一步提高算法的抗噪聲能力和影像匹配的穩(wěn)定性。①刪除低對(duì)比度的候選點(diǎn)設(shè)X代表(x,y,)，將尺度空間函數(shù)D(x,y,)在局部極值點(diǎn)(x0,y0,)處通過(guò) 公式展開(kāi)：D(x,y,)D(x0,y0,)

X1X2

2DXS2

(3-對(duì)（3-10）式兩邊求導(dǎo)并讓其為0，得：2D1X

(3-X2將式(3-11)代入式(3-10)得：D(X)D(X)

(3-若該點(diǎn)的DX)0.03，則認(rèn)為它是低對(duì)比度的極值點(diǎn)，將其舍去。②過(guò)濾不穩(wěn)定的邊緣點(diǎn)由于高斯差分函數(shù)對(duì)邊緣和噪聲響應(yīng)強(qiáng)烈，在影像邊緣和噪聲區(qū)域內(nèi)會(huì)產(chǎn)生大量不穩(wěn)定的極值點(diǎn)，需要對(duì)關(guān)鍵點(diǎn)進(jìn)一步篩選來(lái)去除邊緣效應(yīng)。在DOG函數(shù)中，通常這種極值點(diǎn)在該點(diǎn)切線方向有很大的主曲率而在法線方向有很小的主曲率，算法利用這個(gè)特點(diǎn)來(lái)剔除邊緣極值點(diǎn)，通過(guò)2×2的Hessian矩陣求取DOG算子的主曲率： DxyH D

(3- yyDOG函數(shù)兩個(gè)方向上的主曲率與H矩陣的兩特征值成正比，為了方便計(jì)算提高效率，算法通過(guò)計(jì)算H矩陣的兩特征值之比代替直接求解DOG函數(shù)的主曲率。設(shè)α為矩陣H的最大特征值，β為其最小特征值，則有：Tr(H)DxxDyy

(3-Det(H)DD

)2

(3-xx α=γβ，那么：Tr(H

( ( (3-Det(H

γ=1（α=β）(3-16)可以取得最小值，γ越大則上式的值越大。這樣，可以通過(guò)式(3-11)來(lái)判定該候選點(diǎn)是否為邊緣點(diǎn)：Tr(HDet(H

( (3-式中，γ（一般有γ=10）是一個(gè)經(jīng)驗(yàn)值，若候選點(diǎn)主曲率的比值大于10時(shí)，則認(rèn)為該候選點(diǎn)的邊緣響應(yīng)很強(qiáng)，予以刪除。SIFT算法通過(guò)上面兩步就可精確的定位特征點(diǎn)。確定特征點(diǎn)主方向SIFT算法在高斯空間上利用特征點(diǎn)的局部鄰域像素梯度信息為每一特征點(diǎn)分配一個(gè)主方向，以使算法在特征描述時(shí)具有旋轉(zhuǎn)不變性，從而滿足存在旋轉(zhuǎn)變化時(shí)的影像配準(zhǔn)。梯度表示：gradI(x,y)I,I

(3-xy 梯度幅值：(L(x1,y)L(L(x1,y)L(x1,y))2(L(x,y1)L(x,y梯度方向：L(x,y)L(x (x,y)tan-1L(x,y)L(x L代表該特征點(diǎn)所在高斯金字塔中某一層的尺度。

(3-SIFT算法采用梯度直方圖統(tǒng)計(jì)法來(lái)計(jì)算關(guān)鍵點(diǎn)的主方向[12：首先，根據(jù)公式(3-19)、(3-20)計(jì)算以特征點(diǎn)為中心的鄰域范圍內(nèi)所有像素的梯度信息，再根據(jù)梯度信息統(tǒng)計(jì)創(chuàng)建梯度方向直方圖。將取值范圍0～360分為36柱，對(duì)每10度區(qū)間內(nèi)的所有像素點(diǎn)梯度幅值做高斯處理，把得到的值加到對(duì)應(yīng)柱上形成36個(gè)方向的梯度方向直方圖，示例如圖3-5所示。算法將直方圖中的主峰值（幅度值最大）方向規(guī)定為主方向，高于主峰值80%時(shí)為輔方向。圖3- 統(tǒng)計(jì)梯度直方圖計(jì)算主方Fig.3- Statisticsgradienthistogramtocalculatemain生成特征點(diǎn)描述符上述步驟處理后的特征點(diǎn)已具備了唯一的位置、尺度和方向信息，這些信息使其對(duì)平移、旋轉(zhuǎn)和縮放具有較強(qiáng)的魯棒性，接下來(lái)就可以利用該信息確定一個(gè)局部特征區(qū)域，并描述該區(qū)域以生成一個(gè)不隨光照、視點(diǎn)等因素變化的唯一特征點(diǎn)描述子。生成特征點(diǎn)描述符的步驟[12為：首先，將影像坐標(biāo)軸旋轉(zhuǎn)到該特征點(diǎn)的主方向上以獲得旋轉(zhuǎn)不變性；其次，以紅色的特征點(diǎn)為中心取8×8鄰域的正方形目標(biāo)窗口，每小格表示該特征點(diǎn)所在尺度空間鄰域內(nèi)的一個(gè)像素，黑色箭頭的方向則為該像素點(diǎn)的梯度方向，箭頭的長(zhǎng)度為該像素的梯度模值，如圖3-6左圖所示，紅色圓圈代表高斯作用的范圍，離紅色的特征點(diǎn)距離越近，對(duì)特征點(diǎn)的影響就越大；然后，在4×4的子區(qū)域內(nèi)計(jì)算所有像素點(diǎn)的8個(gè)方向的梯度方向直方圖，再將每個(gè)梯度方向的值累加得到一個(gè)點(diǎn)，一共就生成了16個(gè)點(diǎn)，如圖3-6右圖所示，每個(gè)特征點(diǎn)就得到16×8=128維的向量描述符；最后，將特征向量進(jìn)行歸一化處理，使最終得到的特征描述子具有光照不變性。圖3- SIFT生成特征描述Fig.3- ThefeaturedescriptorofSURF算法SIFT算法雖然魯棒性好，但它構(gòu)造了128維向量描述子，導(dǎo)致其運(yùn)算量非常大，在影像特征提取階段耗時(shí)較長(zhǎng)。針對(duì)該問(wèn)題，HerbertBay等人于2006年底提出了SURF算法13，該算法在保持SIFT算法高魯棒性的同時(shí)明顯加快了檢測(cè)速度。SURF算法和SIFT算法思路相似，但具體的實(shí)施方法有較大差異，表3-1對(duì)兩種算法的關(guān)鍵技術(shù)進(jìn)行了比較分析。表3- SURF與SIFT的關(guān)鍵技術(shù)對(duì)比Tab.3- ThekeytechnologycomparisonbetweenSURFandSURF算 SIFT算法特征檢 用不同的方格濾波器與影像做卷 高斯函數(shù)和不同尺度的圖像做卷積x、yx、y方向響應(yīng)直方圖

計(jì)算點(diǎn)圓（半徑為6鄰域

計(jì)算特征點(diǎn)矩形鄰域內(nèi)的梯度方向描述

20σ×20σ鄰域分4×4的子區(qū)域，計(jì)算每一子區(qū)域5×5個(gè)采樣點(diǎn)的haar響應(yīng)Σdx，Σdy，Σ|dx|，Σ|dy|，4×4×4=64維描述符

16×16像素鄰域分成4×4的子區(qū)域，計(jì)算每一子區(qū)域8個(gè)方向的灰度直方圖8×4×4=128維描述符SURF算法是一種加速的SIFT算法，該算法也對(duì)尺度、噪聲、光照及視角差異等復(fù)雜變化均具有穩(wěn)定的魯棒性，其實(shí)現(xiàn)步驟如圖3-7所示。圖3- SURF算法特征提取步驟Fig.3- ThefeatureextractionstepsofSURFSURF算法比SIFT算法快速的原因之一就是使用了積分圖像48分圖像能明顯提高框狀卷積濾波器的計(jì)算速度，對(duì)于影像I(ij中的點(diǎn)X(x,y)的積分圖像是從圖像原點(diǎn)到該像素點(diǎn)所圍成的矩形區(qū)域內(nèi)所有點(diǎn)的像和，即ixjI(X) I(i,i0

(3-利用積分圖像可以快速的求解出任意矩形區(qū)域的像素和，且其運(yùn)算時(shí)間不受矩形尺寸的影響。如圖3-8中利用積分圖像計(jì)算矩形區(qū)域ABCD內(nèi)的像素值之和，可直接利用頂點(diǎn)A、B、C、D的積分圖像值做3次加/減運(yùn)算得到：=I(A)-I(B)-I(C)+I

(3-DDC圖3- 積分圖像計(jì)算矩形區(qū)域內(nèi)的像素Fig.3- TheIntegralimagetogetallpixelsumofrectangular圖像大小改變但時(shí)間恒定的特點(diǎn)明顯提高了SURF算法速度，對(duì)于大尺寸的影像優(yōu)勢(shì)更突出，SURF算法就是利用該性質(zhì)來(lái)加速了原圖像與盒子濾波的卷積運(yùn)算。構(gòu)造尺度空間 圖3- SIFT和SURF尺度空間構(gòu)造對(duì)比Fig.3- ThescalespacecomparisonbetweenSIFTand為了實(shí)現(xiàn)尺度空間上的特征點(diǎn)檢測(cè)，SURF算法也需要像SIFT算法一樣建立尺度空間，但構(gòu)建尺度空間時(shí)采用的方法不同。SIFT使用二階高斯函數(shù)作為濾波器得到多尺度空間函數(shù)LxxLxyLyySURF使用盒子濾波器得到多尺度空間函數(shù)DxxDxyDyy3-9給出了SIFT算法和算法在尺度空間構(gòu)造上的差異，左圖的SIFT算法通過(guò)保持高斯濾波器的尺度不變、不斷改變圖像的大小來(lái)計(jì)算卷積得到，而右圖的SURF算法則是保持圖像不變、不斷擴(kuò)大框狀濾波器的尺度來(lái)計(jì)算卷積得到。a）x方向b）y方向c）xy圖3- 二階高斯濾波器與盒子濾波器對(duì)比Fig.3- Thecomparisonchartbetweentwo-orderGaussfilterandSURF算法利用了方塊濾波和積分圖像，其計(jì)算耗時(shí)與圖像尺寸無(wú)關(guān)，故在特征檢測(cè)時(shí)SURF算法比SIFT算法效率更高。圖3-10是二階高斯濾波和盒子濾波對(duì)比圖，盒子濾波是經(jīng)過(guò)重的：x、y方向的黑域權(quán)重為-2，白域的權(quán)重為1，其他區(qū)域?yàn)?；xy方向的黑域的權(quán)重為-1，白域的權(quán)重為1，其他區(qū)域?yàn)?。Foreachnew6Boxfilter6Boxfilter 圖3- SURF構(gòu)造尺度空Fig.3- ThescalespaceofSURF尺度空間包含多層，每層的盒子濾波尺寸是成倍變化的。圖3-11以一44層的尺度空間金字塔構(gòu)造為例詳細(xì)說(shuō)明了SURF特征尺度空間的構(gòu)造過(guò)程，第1組空間最下層的濾波器模板尺寸是9×9（=1.2）像素，后續(xù)每向上層依次增加個(gè)像素。后面、、組的濾波器尺寸分別是、、，每組最下層的濾波器尺寸與上一組第二層的一致。每層尺度由下式計(jì)算得到：approx

（3-快速Hessian檢測(cè)極值點(diǎn)對(duì)于在尺度空間下的局部極值點(diǎn)檢測(cè)，SIFT算法通過(guò)判斷Hessian矩陣的行列式det(H值實(shí)現(xiàn)，SURF算法則采用快速Hessian矩陣實(shí)現(xiàn)。用多尺度空間函數(shù)DxxDxyDyy表示簡(jiǎn)化后的Hessian行列式如式(3-24)所示，如果該點(diǎn)行列式的值det(Happrox)為正，就認(rèn)為是局部極值點(diǎn)，否則就不是。式中，為系數(shù)（本文中=0.9

（3-接著，SURF算法還需要像SIFT算法一樣在3×3×3的立體鄰域內(nèi)抑制非極大值，找到候選極值點(diǎn)并記錄其位置和尺寸，同時(shí)還要利用極值點(diǎn)鄰域像素插值找到圖像空間和尺度空間中的亞像素精度特征點(diǎn)，剔除低對(duì)比度的點(diǎn)以最終得到穩(wěn)定的特征點(diǎn)。但框狀濾波器沒(méi)有邊緣響應(yīng)，所以SURF算法比SIFT算法又少了一步剔除邊緣響應(yīng)敏感點(diǎn)的運(yùn)算。確定特征點(diǎn)主方向a）x方向響應(yīng)模板b）y方向響應(yīng)模板圖3-12 HarrFig.3- Harr為了保持特征提取的旋轉(zhuǎn)不變性，SURF算法也需要跟SIFT算法一樣為特征點(diǎn)確定一個(gè)主方向，但是使用的方法上有差異。SURF算法計(jì)算主方向的過(guò)程為：首先，對(duì)以特征點(diǎn)為中心、6（為特征點(diǎn)所在的尺度）為半徑的圓形鄰域內(nèi)的所有像素，用尺寸為4的Haar模板（如圖3-12）所示計(jì)算其在x和y方向上的響應(yīng)，并用高斯模板對(duì)得到的響應(yīng)結(jié)果做處理使其更加符合實(shí)際。圖3- 主方向計(jì)算示Fig.3- Thecalculationexampleofthemain然后，以特征點(diǎn)為中心、圓心角為60度的扇形區(qū)域?yàn)閱挝?，?度為步長(zhǎng)對(duì)響應(yīng)圖像進(jìn)行旋轉(zhuǎn)搜索，同時(shí)在同一坐標(biāo)系下繪制圓域內(nèi)同一像素點(diǎn)的x、y方向的響應(yīng)。在60度扇形區(qū)域內(nèi)累加計(jì)算x方向和y方向上的haar響應(yīng)值生成一個(gè)新的矢量，將獲得最長(zhǎng)矢量的方向定義為主方向，如圖3-13所示。生成特征點(diǎn)描述符在構(gòu)造特征點(diǎn)描述子時(shí)，SURF也需要跟SIFT算法一樣，首先將坐標(biāo)軸旋轉(zhuǎn)至此特征點(diǎn)的主方向上以保持其旋轉(zhuǎn)不變性；然后，沿著主方向選取一個(gè)以特征點(diǎn)為中心、20σ為邊長(zhǎng)的正方形鄰域；之后，將該區(qū)域均勻的分成4×4=16個(gè)子塊在每個(gè)子區(qū)域內(nèi)用2σ的Haar模板以5×5的間隔采樣，分別計(jì)算沿x、y軸方向的響應(yīng)dxdy，此dxdy是經(jīng)過(guò)以特征點(diǎn)為中心、3.3σ為方差的高斯處理的，目的則是提高算法對(duì)幾何變換的魯棒性；最后，分別累加每個(gè)子區(qū)域的dxdy、|dx||dy|，就形成了該子區(qū)域的一個(gè)4維向量描述子vdxdy|dx||dy|，如圖3-14所示。圖3- SURF生成特征描述符Fig.3- Thefeaturedescriptorof這樣，每個(gè)特征點(diǎn)就得到一個(gè)44464維的描述向量，將特征向量歸一化后可使算法具有良好的光照和亮度適應(yīng)性。如果在對(duì)子區(qū)域dxdy|dx||dy|求和時(shí)，分別考慮dy>0dy≤0dx>0dx≤0這四種情況，就可以得到844128維的特征向量描述子。特征提取實(shí)驗(yàn)與結(jié)果分析上述三個(gè)特征提取算法：Harris算子、SURF算法和SIFT算法，前一個(gè)算法與后兩個(gè)算法在處理存在亮度變化、旋轉(zhuǎn)、縮放等影像時(shí)效果有較大差異，后兩個(gè)算法對(duì)平移、旋轉(zhuǎn)、尺度縮放、亮度差異等變形均具有良好的魯棒性。為了驗(yàn)證算法的這些特性，本試驗(yàn)選擇原影像、亮度差異明顯、旋轉(zhuǎn)角度明顯和縮放明顯的四組影像分別進(jìn)行特征提取。SIFT算法和SURF算法的主要差異是時(shí)間效率不同，所以本實(shí)驗(yàn)通過(guò)統(tǒng)計(jì)其檢測(cè)到的特征點(diǎn)數(shù)及各階段的耗時(shí)情況來(lái)對(duì)比分析。在相同的實(shí)驗(yàn)環(huán)境下，通過(guò)比較分析三種算法的效果和效率，找出更適合無(wú)人機(jī)影像序列的特征提取算法。特征提取算法對(duì)比試驗(yàn)為了分析和驗(yàn)證上述三種算法的魯棒性，本試驗(yàn)選擇四組影像進(jìn)行特征提?。旱谝唤M是無(wú)人機(jī)拍攝的原始影像，第二組是具有明顯亮度差異的影像，第三組是具有明顯旋轉(zhuǎn)變化的影像，第四組是具有明顯縮放的影像。原始影像特征提取實(shí)驗(yàn)結(jié)果如圖3-15所示，其中3-15（a、3-15（b）為原影像；3-、3-15（d）Harris角點(diǎn)檢測(cè)的結(jié)果；3-15（e、3-15（f）算法檢測(cè)的結(jié)果；3-15（g、3-15（h）SURF算法檢測(cè)的結(jié)果。a）圖 b）圖圖1-Harris檢 e）圖1-SIFT檢 g）圖1-SURF檢測(cè)圖2-Harris檢測(cè) f）圖2-SIFT檢測(cè) h）圖2-SURF檢測(cè)圖3-15 原始影像特征提取Fig.3- Thefeatureextractionoforiginal亮度變化明顯的影像特征提取實(shí)驗(yàn)結(jié)果如圖3-16所示，其中3-16（a、3-16（b）為亮度變化明顯的影像，它們是分別在原影像3-15（a）3-15（b）的基礎(chǔ)上降低亮度和增加亮度得到；3-16（c、3-16（d）Harris角點(diǎn)檢測(cè)的結(jié)果；3-16（e、3-SIFT算法檢測(cè)的結(jié)果；3-16（g、3-16（h）SURF算法檢測(cè)的結(jié)果。a）圖 b）圖圖1-Harris檢 e）圖1-SIFT檢 g）圖1-SURF檢測(cè)圖2-Harris檢測(cè) f）圖2-SIFT檢測(cè) h）圖2-SURF檢測(cè)圖3-16 亮度變化明顯的影像特征提取Fig.3- Thefeatureextractionofobviousbrightnessdifference旋轉(zhuǎn)變化明顯的影像特征提取a）圖 b）圖圖1-Harris檢 e）圖1-SIFT檢 g）圖1-SURF檢測(cè)圖2-Harris檢測(cè) f）圖2-SIFT檢測(cè) h）圖2-SURF檢測(cè)圖3-17 旋轉(zhuǎn)變化明顯的影像特征提取Fig.3- Thefeatureextractionofobviousrotationdifference實(shí)驗(yàn)結(jié)果如圖3-17所示，其中3-17（a、3-17（b）為明顯旋轉(zhuǎn)的影像；3-17（c、3-17（d）為Harris角點(diǎn)檢測(cè)的結(jié)果；3-17（e、3-17（f）SIFT算法檢測(cè)的結(jié)果；3-17（g、3-17（h）SURF算法檢測(cè)的結(jié)果?？s放變化明顯的影像特征提取實(shí)驗(yàn)結(jié)果如圖3-18所示，其中3-1（a、3-18（b）為明顯縮放的影像，3-18（a）3-15（a，圖3-18（b）3-15（b）縮小到60%得到；3