全景圖像拼接無人機影像序列技術(shù)研究與實現(xiàn)

ClassifiedIndex:U.D.C:SouthwestofScienceandTechnologyMasterDegreeThesisResearchandRealizationofImageSequenceMosaicforGrade:2012Candidate:PanAcademicDegreeAppliedfor:

Supervisor:Prof.LiLei- 無人機遙感技術(shù)已成為災(zāi)后監(jiān)測、環(huán)境勘測等領(lǐng)域獲取遙感數(shù)據(jù)的重要，它、準確的獲取目標(biāo)區(qū)域的高分辨率影像。但受到無人機飛行高度、相機焦距等的影響，單張影像覆蓋的目標(biāo)區(qū)域范圍較小，本文通過研究無人機影像序列拼接技術(shù)來擴大監(jiān)測范圍。研究SURF算法解決存在平移、旋轉(zhuǎn)、縮放、噪聲等多種變換的無人機影像序列特征提取問題。通過對比分析的方式重點研究SURF算法比SIFT算法快速的原因。通過分析Harris、SIFT和SURF算法提取特征的實驗效果表明，SURF算法提取的特征點穩(wěn)定且分布均勻合理，該算法魯棒性高且運算速度相對較快。采用最近鄰算法實現(xiàn)特征粗匹配，分析并選擇變換作為影像拼接的變換模型，提出一種雙4-RANSAC算法計算變換參數(shù)，同時剔除誤匹配點對以實現(xiàn)特征精匹配。雙4-RANSAC算法是一種改進的RANSAC算法，它首先任選4對匹配點計算模型參數(shù)，再增加4對匹配點檢驗當(dāng)前模型，若存在一對為非內(nèi)點則重新選點和計算模型。理論分析和實驗結(jié)果表明，本文雙4-RANSAC算法提高了RANSAC算法的運算效率。研究并改進變換實現(xiàn)兩幀和多幀無人機影像序列融合與拼接。首先分析直接平均法和漸入漸出法，接著重點研究變換融合法，提出一種基于NCC（歸一化相關(guān)系數(shù)）的改進融合算法實現(xiàn)低頻系數(shù)融合。該算法首先將像素擴展到其mn鄰域，再計算對應(yīng)鄰域的NCC值，若該值大于某一設(shè)定閾值則融合系數(shù)為輸入系數(shù)的平均值，若該值小于設(shè)定閾值則融合系數(shù)為輸入系數(shù)的最大值從評價和客觀評價兩方面分析融合結(jié)果表明，本文基于NCC的改進融合算法用于低頻系數(shù)融合效果更優(yōu)，本文改進變換的影像融合與拼接效果更好。：影像序列拼接SURF雙4-RANSAC算法變換基于NCC的融合UAVremotesensingtechnologyhas eanimportantaccessfordisastermonitoring,environmentalsurveysandotherfieldstogetremotesensingdata.Itcantimelyandaccurayobtainhigh-resolutionimagesofthetargetarea.Withaffectedbythealtitude,thecamerafocallengthandsoon,asmallertargetareaiscoveredbythescopeofasingleimage.ThispaperexpandsthemonitoringscopebyresearchingtheUAVimagesequencemosaictechnology.ForUAVimagesequenceswithmanydeformationsoftranslation,rotation,scale,noise,etc.,SURFalgorithmisresearchedtosolvetheproblemoffeaturepointsextracting.Bythemethodofcomparativeysis,thispaperfocusonresearchingthereasonswhichtheSURFalgorithmisfasterthantheSIFTalgorithm.ThefeatureextractingexperimentalresultsofHarris,SIFTandSURFindicatethatthefeaturepointswithextractedbySURFisstableandwell-distributedreasonably,andtheSURFalgorithmisrobusthighlyandrelativelyNearestneighboralgorithmisusedforfeaturepointscoarsematching.transformationisysedandchosenasthetransformationmodelofimagemosaic.Dual-4-RANSACalgorithmisproposedtocalculatethehomographyparametersandtoexcludethemismatchingpointsinordertoachieveprecisematching.Dual-4-RANSACalgorithmisakindofimprovedRANSACalgorithm.Itfirstlychooses4pairsofmatchedpointstocalculatethemodelparametersandthenincreases4pairsofmatchedpointstotestthemodel.Ifthereisapairofmatchedpointsisnoninteriorpoint,thealgorithmreselectthepointsandcalculationmodel.ThetheoreticalysisandexperimentalresultsindicatethatDual-4-RANSACalgorithmwithproposedinthispaperisfasterthantheRANSACalgorithm.ImagefusionalgorithmbasedonwavelettransformisresearchedandImprovedfortwoframeandmulti-frameUAVimagesequencefusionandmosaic.Firstly,thedirectaveragemethodandfade-outmethodareysed,andthenthepaperfocusonthewavelettransformfusionmethod.TheimprovedweightedfusionalgorithmbasedonnormalizedCross-Correlationisproposedtofusionthelowfrequencycoefficientsofwavelet positioninthispaper.Thealgorithmexpandsthepixeltoitsm×nneighborhoodfirstly,andthencalculatetheNCCvalueofthecorrespondingneighborhood.IftheNCCvalueisgreaterthanapredeterminedthreshold,thefusioncoefficientistheaveragevalueofinputcoefficients.IftheNCCvalueissmallerthanthepredeterminedthreshold,thefusioncoefficientistheumvalueofinputcoefficients.TheysisoffusioneffectfromthetwoaspectsofsubjectiveevaluationandobjectiveevaluationindicatethattheimprovedweightedfusionalgorithmbasedonNCCisbetterforlowfrequencycoefficientfusionandtheimprovedwavelettransformimagefusionandmosaicisbetterinthispaper.:sequencemosaic;SURF;Dual-4-RANSACalgorithm;Wavelettransform;WeightedfusionalgorithmbasedonNCC 緒論 研究背景與意義 國內(nèi)外研究現(xiàn)狀 國外研究現(xiàn)狀 國內(nèi)研究現(xiàn)狀 主要研究內(nèi)容 組織結(jié)構(gòu) UAV影像序列拼接技術(shù) 系統(tǒng)組成 實現(xiàn)流程 影像配準技術(shù) 基于灰度信息的影像配準 基于變換域的影像配 基于特征的影像配準 影像融合技術(shù) 影像融合層次 影像融合方法 本章小結(jié) 基于雙4-RANSAC算法的UAV影像序列配準 UAV影像特征提取 Harris算子 SIFT算法 SURF算法 特征提取實驗與結(jié)果分 特征提取算法對比試 特征提取實驗結(jié)果分 RANSAC算法UAV影像匹配 最近鄰匹配 RANSAC算法 雙4-RANSAC算法UAV影像匹配 雙4-RANSAC算法原理 雙4-RANSAC算法效率分析 特征匹配實驗與結(jié)果分 特征匹配算法對比試 特征匹配實驗結(jié)果分 本章小結(jié) 基于改進變換的UAV影像序列融合與拼 UAV影像序列拼接模型 影像融合質(zhì)量評價 基于空間域的UAV影像融合 直接平均法 漸入漸出法 基于變換的UAV影像融合 4.4.1變換 4.4.2變換融合步驟 改進融合規(guī)則的變換融合 基于NCC的改進融合法的低頻域融合 基于區(qū)域絕對值最大值法的高頻域融合 本章小結(jié) 影像序列融合與UAV拼接實驗 5.1低頻域融合實驗 影像融合實驗 UAV影像序列拼接實驗 本章小結(jié) 參考文獻 攻 期間的與內(nèi)容相關(guān)的學(xué)術(shù)及研究成果 緒論無人機（UAV，UnmannedAerialVehicle）是一種獲取航空影像數(shù)據(jù)的重要工具，它具有機動靈活、起降簡單、操作安全、成本低、時效性強等諸多優(yōu)點。無人機遙感技術(shù)已經(jīng)普遍應(yīng)用到航測遙感領(lǐng)域，它獲取的影像數(shù)據(jù)是傳統(tǒng)航空遙感和遙感的一個重要補充[1]。目前，無人機技術(shù)已經(jīng)廣泛應(yīng)用于環(huán)境監(jiān)測土地利用災(zāi)后應(yīng)急響應(yīng)森林病蟲害監(jiān)測等許多領(lǐng)域。無人機影像序列拼接技術(shù)就是把不同時間獲取的相互有區(qū)域的影像序列合成一幅更大視野的無縫高分辨率影像的過程2。研究背景與意義我國的自然發(fā)生頻繁，且具有種類多、分布范圍廣等特點，這些不僅造成眾多的人員傷亡以及的經(jīng)濟損失，還給社會、經(jīng)濟、環(huán)境等各方面帶來了長期的影響。因此，及時、準確、全面的掌握災(zāi)后情況等已成為我國亟需解決的問題。無人機遙感具有傳統(tǒng)航空遙感、遙感所不具備的諸多優(yōu)點：無人機體積小、適應(yīng)性強、起降簡單；獲得的影像分辨率高；成本低、簡單；操作簡單、安全，所以無人機遙感是獲取影像數(shù)據(jù)的一種有效的、必不可少的補充。目前，無人機技術(shù)已成為災(zāi)后監(jiān)測、環(huán)境勘測等領(lǐng)域獲取遙感數(shù)據(jù)的重要之一，如：2008年的南方雪災(zāi)“5.12”，2010年的玉樹、舟曲泥石流，2013年的雅安，2014年的康定等。這些引起的山體滑坡、泥石流等會造成交通道路阻塞，嚴重影響了抗災(zāi)、救災(zāi)的進度。發(fā)生后，為了及時、準確的掌握災(zāi)區(qū)情況，無人機遙感技術(shù)被廣泛應(yīng)用其中。無人機可以越過地面阻礙，及時、快速、準確的獲得災(zāi)區(qū)的高分辨率影像，為抗災(zāi)救災(zāi)提供真實可靠的信息3。無人機在獲取影像時是處于低空飛行狀態(tài)，目前又受到數(shù)碼相機焦距及高分辨率的限制，使拍攝得到的單張影像視野很小，若僅通過一張影像的分析很難掌握整個受災(zāi)區(qū)域的情況。此時，就需要依靠無人機影像序列拼接技術(shù)來擴大視野。這樣，源影像的細節(jié)信息得以保留的同時，可以更方便、更直觀的分析和處理整個檢測區(qū)域。因此，研究無人機影像序列拼接技術(shù)具有十分重要的意義。國內(nèi)外研究現(xiàn)狀鑒于影像序列拼接技術(shù)在各領(lǐng)域的廣泛應(yīng)用，國內(nèi)外許多研究者都對其進行了深入的研究，近幾十年的研究也取得了不少成果，使影像序列拼接技術(shù)趨于成熟。國外研究現(xiàn)狀1996年，RichardSzeliski基于變換的圖像拼接模型[4]是經(jīng)典的影像拼接算法，該算法能夠求出存在平移、旋轉(zhuǎn)、仿射等變換的影像變換矩陣，但它需要提供一個合適的初值并且需多次迭代才能求出穩(wěn)定的解。2000年，Peleg在改進變換模型的基礎(chǔ)上提出一種自適應(yīng)的圖像拼接模型5。影像序列拼接技術(shù)包括影像配準和影像融合兩個關(guān)鍵技術(shù)，影像序列配準技術(shù)的提高在很大程度上決定了影像拼接技術(shù)的發(fā)展，所以它一直是影像拼接領(lǐng)域的研究重點。通常將影像配準技術(shù)分為：基于灰度信息的影像配準、基于變換域的影像配準和基于特征的影像配準6。基于灰度信息的配準方法簡單直觀，但一般的影像間均會存在較大的色彩灰度差異，此時該類方法的穩(wěn)定性差、配準精度低?；谧儞Q域的配準方法也有較多研究，但是其計算量大。1975年，Kuglin和Hines相位相關(guān)法[7]首先利用Fourier變換將影像轉(zhuǎn)換到頻率域，然后根據(jù)互功率譜求解影像間的平移量完成配準，但該算法無法配準存在旋轉(zhuǎn)、仿射等變換的影像。1987De.Castro和C.Morandi對相位相關(guān)法改進后提出了擴展相位相關(guān)法8，此算法可以配準存在旋轉(zhuǎn)和平移的影像。1993年，Djamdji等利用變換實現(xiàn)了圖像的多尺度配準9。1996年，Reddy和Chatterji采用的快速Fourier變換配準了存在平移、旋轉(zhuǎn)、縮放等多種變換的圖像[10]?；谔卣鞯呐錅史椒敯粜愿?、計算速度較快，對于復(fù)雜變形的影像配準一般均采用該類方法，該配準方法包括特征提取和特征匹配兩部分。1981年，Moravec角點檢測算法是特征點提取中的經(jīng)典算法。1988年，Harris和Stephens對Moravec算法改進后提出了Harris角點檢測算子[11。近年來尺度不變特征提取算法也被廣泛應(yīng)用于無人機影像拼接中，如著名的SIFT（ScaleInvariantFeatureTransform）算法12、SURF（SpeededUpRobostFeature）[13算法等，SIFT算法對存在平移、旋轉(zhuǎn)、尺度縮放、亮度差異、光照變化等多種變形的影像均具有良好的魯棒性，但它的運算效率較低、實時性差，SURF算法是一種加速的SIFT算法，它在特殊性、可重復(fù)性和魯棒性上均能跟SIFT比擬，并且該算法大大提高了運算效率。另外，RANSAC算法14在影像配準過程中常用來剔除誤匹配點對。國內(nèi)研究現(xiàn)狀，國內(nèi)研究者對影像拼接技術(shù)方面的研究也取得了一些成果。1997年，王等通過歸一化相關(guān)系數(shù)和序貫相似度來度量影像的相似程度，并基于模擬退火算法搜索最佳匹配點，實現(xiàn)了高精度的影像配準和影像拼接15。1998年張祖勛等多級影像整體概率松弛匹配算法[16]實現(xiàn)了不同傳感器、不同空間分辨率的影像配準。2001年的漆馳等提出了一種解決圖像拼接過程中計算量與拼接精度的方案[17]。同年，華技大學(xué)的陳永強提出，首先模擬出變形圖像之間的變換參數(shù)，其后基于相關(guān)法檢測特征點，經(jīng)過幾何校正后完成拼接工作[18]。2002年，杜威、將紋理與全景圖結(jié)合起來用于構(gòu)造動態(tài)場景，擴展了圖像拼接的應(yīng)用領(lǐng)域19。2005年，，維、提出一種圖像快速自動拼接方法[20]，該方法很好的平衡了圖像拼接過程中的速度和精度要求。2009年，張劍清等提出利用蟻群算法21實現(xiàn)避屋、樹木等地物的鑲嵌線自動選擇，實現(xiàn)了正射影像的無縫鑲嵌。2011年，等[22]采用SIFT算法提取無人機影像特征、利用分塊拼接的方法減小誤差的，達到了較好的拼接效果。2011年，等[23]提出一種基于拼接線的方法實現(xiàn)了無人機影像序列的拼接。2013年，李勁澎24在影像拼接過程中采用集群并行計算技術(shù)實現(xiàn)了快速拼接和三維點云的生成。主要研究內(nèi)容本文通過特征匹配的方式實現(xiàn)影像序列拼接，需要研究的內(nèi)容主要包括特征提取、特征匹配、誤匹配處理、影像間變換模型與矩陣參數(shù)計算、影像融合等。主要研究內(nèi)容如下：無人機影像序列的特征提取技術(shù)針對無人機影像序列間存在平移、旋轉(zhuǎn)、縮放、光照及視角等差異，本課題需要研究一種能適應(yīng)各種變形的、強魯棒性的算法來提取影像特征。同時，為了實現(xiàn)影像序列的快速拼接，也要求特征提取速度較快。本文著重研究了SURF特征提取算法，該算法對影像間的多種變形均有較好的魯棒性，它能夠?qū)崿F(xiàn)包含平移、旋轉(zhuǎn)、縮放、光照、遮擋及視角等變換的影像特征提取，并且該算法效率較高、時效性良好。無人機影像序列特征匹配與誤匹配處理技術(shù)SURF算法提取后的無序特征點，研究一種算法來準確找出影像特征點間的一一對應(yīng)關(guān)系。SURF算法提取特征后得到的每一特征點均有一個唯一的64維特征向量描述符，本課題先采用歐式距離作為度量準則、基于最近鄰匹配算法實現(xiàn)特征粗匹配，再采用本文雙4-RANSAC算法提純匹配點對以達到特征精匹配。影像間的幾何變換模型與變換矩陣參數(shù)計算針對無人機影像序列間存在平移、旋轉(zhuǎn)、縮放等各種變換和變形，本課題分析并選擇含有8個參數(shù)的變換模型來描述影像間的各種變換關(guān)系，影像間的數(shù)學(xué)關(guān)系采用Homography單應(yīng)性矩陣描述。對于變換單應(yīng)性矩陣的參數(shù)估計，本課題在深入研究RANSAC算法的基礎(chǔ)上提出了一種雙4-RANSAC算法對其進行計算，雙4-RANSAC算法既可以提純粗匹配點對，又能夠計算變換的單應(yīng)性矩陣參數(shù)，并且比RANSAC算法效率更好。影像融合與無人機影像序列拼接，針對無人機影像序列存在亮度差異、配準誤差等導(dǎo)致拼接時出現(xiàn)的重影和結(jié)構(gòu)接縫等問題本文研究和發(fā)展了基于變換的融合方法對已配準的無人機影像序列進行融合，該算法可以實現(xiàn)影像的多分辨率、多尺度融合?；谧儞Q的影像融合規(guī)則分為高頻系數(shù)融合和低頻系數(shù)融合本文提出一種基于NCC的融合法對低頻系數(shù)融合規(guī)則進行改進，實驗證明該算法能保留的融合影像信息它可以在較少丟失細節(jié)信息的基礎(chǔ)上有效的實現(xiàn)影像間的無縫連接。對于融合影像和拼接影像的質(zhì)量評價問題，本文研究并采用評價和客觀評價相結(jié)合的方式進行分析評價是利用人的眼睛、思維等來判斷，客觀評價則是對亮度信息、標(biāo)準差、信息熵、清晰度這四個指標(biāo)的參數(shù)進行分析。，組織結(jié)構(gòu)本文各章節(jié)的主要內(nèi)容安排如下：第一章緒論。主要說明無人機影像序列拼接技術(shù)的研究背景與意義，研究和總結(jié)國內(nèi)外影像序列拼接相關(guān)技術(shù)的發(fā)展歷史及研究現(xiàn)狀，給出的主要研究內(nèi)容和結(jié)構(gòu)安排。第二章UAV影像序列拼接主要技術(shù)。首先給出本文無人機影像序列拼接的系統(tǒng)組成流程然后重點分析影像配準和影像融合這兩個最為關(guān)鍵的技術(shù)，具體為依據(jù)處理信息分類的三種影像配準方法和依據(jù)處理層次分類的三種影像融合方法。第三章基于雙4-RANSAC算法的UAV影像序列配準。首先著重研究SIFT算法和SURF算法的實現(xiàn)步驟，其中SURF算法又是的主要研究方法，通過對比說明SURF算法在提取特征上的速度優(yōu)勢；然后利用歐氏距離作為度量準則、采用最近鄰算法進行SURF特征粗匹配；接著提出一種雙4-RANSAC算法代替RANSAC算法實現(xiàn)基于變換模型的特征精匹配。實驗證明SURF算法既有SIFT算法良好的魯棒性和性也有比SIFT算法更快的運算速度，本文雙4-RANSAC算法比RANSAC算法效率更高。第四章基于改進變換的UAV影像序列融合與拼接首先分析UAV影像拼接常用的幾何變換模型及影像質(zhì)量評價，本文選擇能反映各種變形的變換模型實現(xiàn)影像坐標(biāo)系的統(tǒng)一。然后研究了直接平均值法、漸入漸出法和基于變換的融合法來處理拼接接縫并著重研究和改進了基于變換影像融合的低頻系數(shù)融合規(guī)則，提出一種基于NCC的改進融合算法用于分解的低頻域融合。第五章主要對直接平均法、漸入漸出法和基于改進變換的影像融合算法進行試驗并通過評價和客觀評價相結(jié)合的方式對融合結(jié)果進行分析。最終采用基于改進變換的融合方法解決影像拼接時由于光照、亮度等差異引起的接縫問題，實現(xiàn)兩幀及多幀無人機影像序列的無縫拼接。最后的結(jié)論首先對前幾章的主要內(nèi)容進行總結(jié)再分析了本研究的不足以及對無人機影像序列拼接技術(shù)未來的研究內(nèi)容和方向做出展望。UAV影像序列拼接技術(shù)無人機影像序列拼接技術(shù)涉及到圖像處理、計算機圖形學(xué)等領(lǐng)域的綜合應(yīng)用，研究者們已引入多種數(shù)學(xué)工具來分析處理該項技術(shù)。本章以影像拼接技術(shù)的基本流程為中心，分析其所涉及到的主要技術(shù)，著重研究影像配準和影像融合這兩大關(guān)鍵技術(shù)。系統(tǒng)組成無人機影像序列拼接主要涉及到影像預(yù)處理、影像配準和影像融合。影像預(yù)處理：由于飛行姿態(tài)、飛行高度等的影像，機獲取的影像一般會有畸變、亮度差異等變形。對待拼接影像序列進行直方圖均衡化、平滑濾波、增強變換、幾何畸變校正等基本處理，可為影像拼接的下一步做好準備。影像配準(imageregistration)：影像配準是影像拼接的一個關(guān)鍵步驟，其基本思想是：首先找出基準影像與待配準影像中的感點或感區(qū)域的對應(yīng)位置，再依據(jù)對應(yīng)關(guān)系建立影像間的幾何變換模型，最后將待配準影像通過插值技術(shù)重采樣轉(zhuǎn)換到基準影像的坐標(biāo)系中，以此完成影像配準并找到影像間的區(qū)域精確配準的關(guān)鍵問題之一就是選擇一個適當(dāng)?shù)臄?shù)學(xué)模型，使其能很好的表達影像間的變換關(guān)系。影像融合(imagefusion)：影像融合是影像拼接的又一個關(guān)鍵步驟。兩幅影像在配準后就確定了它們之間的變換關(guān)系，此時就可以利用影像融合技術(shù)將統(tǒng)一坐標(biāo)系下的兩幅影像進行無縫地融合，使影像拼接的結(jié)果更加自然。融合算法是對影像區(qū)域進行的處理，該處理是為了消除光照、亮度等差異造成的拼接影像色度的不連續(xù)性。UAV影像序列拼接的系統(tǒng)組成如圖2-1所示?；鶞驶鶞视坝跋袢谟跋衽浯錅视捌唇佑皥D2- UAV待配準影拼接影Fig.2- ThesystemcompositionchartofUAVimagesequence變換模變換模Homography矩實現(xiàn)流程特征點粗匹SURF特征提待拼接的無人機影像序本文設(shè)計的無人機影像序列拼接主要包括特征提取、特征匹配、影像變換模型與參數(shù)計算、影像融合、融合質(zhì)量評價，其具體實現(xiàn)流程為：首先是無人機通過數(shù)碼相機得到待拼接的無人機影像序列然后就是進行以下的處理了；SURF特征提?。菏紫龋梅e分圖像來構(gòu)建多尺度的空間影像；然后，在尺度空間上利用hessian矩陣快速檢測極值點并剔除不穩(wěn)定點以精確定位特征點；接著，為每一特征點計算其主方向以使算法具有旋轉(zhuǎn)不變性；最后，利用每一特征點周圍的鄰域信息為其生成64維特征向量描述子，此時就完成了基于SURF算法的特征提取。特征點匹配：匹配分為粗匹配和精匹配，特征點粗匹配是利用歐氏距離度量、采用最近鄰匹配算法完成的，在特征點粗匹SURF特征提待拼接的無人機影像序最最近鄰算歐氏距離度構(gòu)造特征點描述計算特征點主方檢測特征構(gòu)造尺度空特征點精匹雙4-RANSAC算影影像融建立幾何變換模影影像質(zhì)量評拼接影基 變換的融高頻：基于基 變換的融高頻：基于區(qū)域最大值法融低頻：基于NCC的改 融評客觀評Fig.2- TherealizationprocesschartofUAVimagesequence：對以提純匹配對，并且該算法處理誤匹配的效率比RANSAC算法更高。影像變換模型與參數(shù)計算本文分析并選擇具有8參數(shù)的變換模型描述影像間的各種變換關(guān)系，影像間的數(shù)學(xué)關(guān)系描述采用33的Homography單應(yīng)性矩陣描述，矩陣參數(shù)的估計仍采用本文雙4-RANSAC算法實現(xiàn)?；诟倪M變換的影像融合變換是一種多尺度的分解方法，其融合分為高頻系數(shù)融合和低頻系數(shù)融合，本文高頻系數(shù)采用基于區(qū)域的絕對值最大值法實現(xiàn)，低頻系數(shù)融合則采用本文基于NCC的改進融合法完成該融合算法可以在較少丟失信息的基礎(chǔ)上有效的實現(xiàn)影像間的無縫連接。影像融合質(zhì)量評價：從和客觀兩方面來評價融合的影像，：評價就是利用人眼和思維來判斷，客觀評價則通過亮度信息、標(biāo)準差、信息熵、清晰度這四個指標(biāo)完成。以上處理完成后就可得到影像序列拼接的全景結(jié)果影像，其具體實現(xiàn)流程如圖2-2所示。影像配準技術(shù)經(jīng)過眾多國內(nèi)外研究者的不斷努力，目前已有多種方法實現(xiàn)影像配準。如圖2-3所示，影像配準按不同的標(biāo)準可以分為不同的類型。本文將無人機影像序列的配準算法分為基于灰度信息的配準、基于變換域的配準和基于特征的配準進行分析25。圖圖像配準算法分按全局與局部劃按配準的四要素劃從自動化的角度劃全點搜索空特征空搜索策相似性度剛性變仿射變點特區(qū)域特…窮盡搜動態(tài)規(guī)…互相關(guān)函…手半自圖2- 影像配準方法分Fig.2- Theclassificationofimage基于灰度信息的影像配準基于灰度信息的配準算法主要用于特征不明顯的影像，其基本思想25為：算法認為基準影像和待配準影像的對應(yīng)點及該點的周圍區(qū)域一般存在相似甚至相同的灰度，選擇適當(dāng)?shù)乃阉鞣椒ㄕ业接跋耖g的最優(yōu)變換參數(shù)，可以使影像間的相似性度量函數(shù)達到最大值。該類配準算法簡單直觀、可用于不同并且對于影像間存在縮放、遮擋等復(fù)雜情況時該算法不適用，這些缺點限制了其應(yīng)用范圍。下面介紹幾種常用的基于灰度信息的配準算法：互相關(guān)法Rosenfeld等人互相關(guān)法[26](CC)是根據(jù)特征點鄰域像素灰度值的互相關(guān)系數(shù)作為匹配原則，而不是直接利用特征點鄰域的灰度值進行度量，算法思想為：在基本影像和待配準影像中以特征點為中心，選取一個大小為(2N+1)×(2N+1)的鄰域相關(guān)窗口，然后以基準影像中的每一特征點為參考，在待配準影像中搜索與之對應(yīng)的匹配點，匹配依據(jù)是計算相關(guān)窗口間的相關(guān)系數(shù)：CC

[I1(x,y)I2(x,x,

x,x,I(x,21x,I(x,22式中，I1I2分別表示兩影像的特征點在大小為W的相關(guān)窗口區(qū)域內(nèi)的像素灰度值，該參考點的匹配點是相關(guān)系數(shù)CC達到最大值時所對應(yīng)的特征點。歸一化相關(guān)系數(shù)歸一化相關(guān)系數(shù)法[27（NCC）同互相關(guān)法類似，也是通過計算特征點鄰域像素灰度值的互相關(guān)系數(shù)來估算變換參數(shù)的，對其歸一化后可以彌補互相關(guān)法對光照變化敏感的不足。計算公式為：[I1(x,y)I1][I2(x,y)I2 [ [I(x,y)I2 [I(x,y)I212x,x,

x,

(2-其中，W表示相關(guān)窗口的大小，I1I2分別代表兩影像中特征點相關(guān)窗口區(qū)域內(nèi)的像素灰度值，I1I2分別表示I1I2特征點相關(guān)窗口區(qū)域內(nèi)的像素灰值。如果選定窗口的相關(guān)系數(shù)達到最大就認為這兩小塊影像，按此方法繼續(xù)搜索其它重合區(qū)域，就可以找到影像的共同區(qū)域以完成拼接。序貫相似檢測算法Barnea等人序貫相似檢測算法[28]（SSDA）的最大優(yōu)點是具有較快的運算速度，其相似性準則為：E(u,v)|T(x,y)TI(xu,yv)I(u,v)

(2-其中，uX軸上的步長，vY軸上的步長，T(x,y為模板影像T中的像素值，I為影像均值，T為模板均值。該方法先累加計算兩影像中某一點距離差的絕對值，認為累加時增長最慢的點為匹配點，否則就為非匹配點。互信息法Viola等人將互信息引入影像配準領(lǐng)域，后來王提出了基于互信息的影像配準29，交互信息I表示為：I(a,b)H(a)H(b)H(a,

(2-其中，H(a)為隨量A的熵，H(b)為隨量B的熵H(abAB的聯(lián)合熵：H(a)p(a)lnH(b)p(b)lnH(a,b)p(a,b)lnp(a,

(2-(2-(2-式中，p(aA的邊緣概率密度函數(shù)，p(bB的邊緣概率密度函數(shù)，p(ab)為A、B的聯(lián)合概率密度分布。當(dāng)兩影像的交互信息值最大時就認為這兩影像是匹配的。基于變換域的影像配準傅立葉變換傅立葉變換（FourierTransformation是最具代表性的變換域配準方法，該變換首先對影像進行傅立葉變換，然后再把頻率域中相位差的峰值作為重疊位置，該方法需要較高的度。相位相關(guān)技術(shù)7是傅立葉變換的最基本方法，它用以確定灰度影像f1(x,y

f(x,y的相似度或相異度30

f2x,y

f1(xyxy方向分別2x0、y0后的圖像，即：2f2(x,y)f1(xx0,yy0F1(uvF2uv分別為f1f2的傅立葉變換，則有： F(u,v)F(u,v)ej(ux0vy0

(2-(2-f1(x,y

f2x,y的互功率譜為：F(u,v)F*(u, e |F(u,v)F*(u,v)

j(ux0vy0

(2-2式中，F(xiàn)*表示F2的復(fù)共軛。對(2-9)式進行Fourier反變換就可以在點(x0y0處得到一個脈沖函數(shù)，該函數(shù)僅在平移量處有峰值1，其它地方的值均為0。2對數(shù)極坐標(biāo)法相位相關(guān)法僅能配準具有平移關(guān)系的影像，對于包含旋轉(zhuǎn)、縮放等復(fù)雜情況下的配準，Reddy等人10提出了解決方法：算法首先把旋轉(zhuǎn)、尺度變換關(guān)系轉(zhuǎn)換為平移變換關(guān)系，再用相位相關(guān)法求得旋轉(zhuǎn)及尺度變換，最后就是在直角坐標(biāo)系下求解平移量。基于的方法理論在影像配準領(lǐng)域應(yīng)用較多，如文獻[31]中介紹的基于變換的配準方法，利用變換配準影像時，特征點的提取和匹配可以在高分辨率和低分辨率影像中完成，這樣就保證了配準精度?；谔卣鞯挠跋衽錅是懊娣治龅膬煞N配準算法都要用到影像的所有信息，其實現(xiàn)過程計算量大?；谔卣鞯挠跋衽錅史椒▋H需利用影像的顯著特征，這就大大壓縮了影像的信息量從而使得運算量明顯降低，且該類方法對旋轉(zhuǎn)、尺度縮放、噪聲等多種變形均有較強的魯棒性?；谔卣鞯挠跋衽錅柿鞒倘鐖D2-4所示：特征提取常用的特征包括點特征、線特征和面特征，實際應(yīng)用需要根據(jù)影像的類型、應(yīng)用領(lǐng)域等選擇適當(dāng)?shù)奶卣?。①點特征點特征一般為物體輪廓的拐點、多條線段的交叉點等，在無人機影像中一般為房屋、道路的交叉口等，這些點含有的大量信息能充分代表影像的局部特征。常用的點特征提取算法如HarrisSIFT算子以及SURF算子。基準影基準影變影換像配模變準型換后參與的數(shù)重影估采像計樣待配準影圖待配準影 TheflowchartofUAVimageregistrationbasedon②線特征線特征包括影像中物體的輪廓線、道路、海岸線等，它能夠充分反映影像的紋理信息、結(jié)構(gòu)信息。線特征的檢測一般采用Sobel算子、Canny算子等提取邊緣或輪廓信息實現(xiàn)。由于到的影像序列基本都有噪聲，影像中的邊緣及輪廓等信息一般很難完整提取。此外，由于影像序列獲得的時間等因素不同，就可能出現(xiàn)線元特征在一幀影像中能檢測但在相鄰的另一幀卻檢測不到，此時無法進行特征匹配，所以線特征用于影像配準通用性低。③面特征面特征在無人機影像中一般選取森林、湖泊、建筑等對比度較高的封閉區(qū)域，在實際應(yīng)用中也常選用具有旋轉(zhuǎn)、尺度不變特性的封閉區(qū)域重心。面特征的檢測通常采用適當(dāng)?shù)姆指钏惴▉韺崿F(xiàn)，如區(qū)域生長法[32]、動態(tài)閾值法等[33]。特征匹配特征匹配是指利用松弛法34、Hausdorff距離35及相關(guān)度量方式等方法，在不同的影像序列上找到同一特征在影像空間上的一一對應(yīng)關(guān)系。變換模型在找到待配準影像特征集的一一對應(yīng)關(guān)系后，就可以建立反映影像間存在的平移、旋轉(zhuǎn)、縮放、角度等各種變換的數(shù)學(xué)模型。圖像重采樣在選取適當(dāng)?shù)哪Ｐ筒⑶蟪銎渥儞Q參數(shù)后，就可以對待配準影像進行重采樣，使它的坐標(biāo)轉(zhuǎn)換到基準影像的坐標(biāo)系下，以此實現(xiàn)坐標(biāo)系的統(tǒng)一，也就實現(xiàn)了影像的最終配準。在影像配準、影像融合等重采樣時，需要用到插值技術(shù)[36]來解決浮點坐標(biāo)位置的像素灰度級賦值問題，如常用的最近鄰插值[37](nearestneighborinterpolation)、雙線性插值38(bilinearintrpolation)、雙立方插值39(cubicconvolutioninterpolation)等。影像融合技術(shù)無人機由于其飛行姿態(tài)不穩(wěn)定獲取的影像一般會存在差異直接拼接會因為顏色、亮度差異造成顏色接縫；另外，配準誤差或者影像形變的存在也會造成重影和結(jié)構(gòu)接縫。此時，需要進行影像融合消除這些接縫。影像融合[40]是將已配準影像進行無縫的連接形成一幅視覺上保持一致的全景影像，這個融合處理是在待拼接影像的區(qū)域內(nèi)進行的。影像融合層次根據(jù)處理階段的不同可將影像融合分為[41]：像素級融合、特征級融合和決策級融合，UAV影像的三個融合層次如圖2-5所示。影描解提圖2-提Fig.2- ThreelevelsofUAVimage像素級影像融合應(yīng)用最廣泛、層次最低，它直接處理待融合影像的初始數(shù)據(jù)，得到的融合結(jié)果影像包含了源融合影像中幾乎所有像素點的信息，因此它較少丟失原始數(shù)據(jù)信息。這種融合方法能提供比特征級和決策級融合更多、更可靠的信息，它更有利于對融合結(jié)果影像做進一步的分析和處理，如特征提取、目標(biāo)識別等。像素級融合使人們更容易觀察影像，它也很適合計算機的檢測和處理。像素級融合是特征級融合和決策級融合的基礎(chǔ)，它也是目前的研究熱點之一，本文用于影像拼接的融合也是基于像素級的融合方法進行的。特征級影像融合[42]首先從源融合影像中提取各自的特息再綜合的分析和處理這些特息它所處的層次是在像素級融合之上決策級融合之下的中間層次。典型的特息包括：點、線、光譜、紋理等。特征級融合所得到的特征空間包含的數(shù)據(jù)信息量往往比融合前原始影像中包含的數(shù)據(jù)信息量少得多，但信息的大量壓縮也加快了處理速度、實時性變好，便于影像融合的實時處理。常用的特征級融合算法有聯(lián)合統(tǒng)計、帶約束的高斯-馬爾可夫估計、廣義卡爾曼濾波、神經(jīng)網(wǎng)絡(luò)融合等。決策級影像融合是最次的融合它是對來自待融合影像中得到的數(shù)據(jù)信息進行邏輯或統(tǒng)計推理的過程，其推理的結(jié)果給控制決策提供了依據(jù)。決策級融合43過程為：首先對每一幀待融合影像的同一物體分別建立初步的并處理這些決策，再通過決策級的融合處理獲得最終的聯(lián)合。對于影像信息的表示形式有較大差異或者涉及到影像的不同區(qū)域時，往往只能用決策級融合的方式進行融合。決策級影像融合的數(shù)據(jù)量最少、實時性最好。但是，采用決策級融合方法的代價也是最高的，因為該融合方式對于影像的預(yù)處理和特征提取要求很高，并且影像的信息損失也最多。決策級融合可以采用統(tǒng)計方法、邏輯推理方法等，常見的如D-S（Dempster-Shafer）推理、推理、表決法、神經(jīng)網(wǎng)絡(luò)、模糊推理、聚類分析等。影像融合方法、像素級影像融合分為空間域法和頻率域法[44]，基于空間域的影像融合方法是直接對配準后的待拼接影像各像素進行簡單的平均平均或像素選擇等操作來得到全景影像；基于頻率域的影像融合方法是先把待融合影像分成高頻子影像和低頻子影像，再用適當(dāng)?shù)囊?guī)則分別對兩個頻段的子影像進行融合理，最后反變換得到融合結(jié)果影像。、像素灰度值選取融合法像素灰度值選取融合法是一種空間域融合算法它分為灰度值選和灰度值選小法。設(shè)f代表待融合影像f1、f2的融合結(jié)果，則有像素灰度值 f(x,y)max(f1(x,y),f2(x,像素灰度值選小法：

(2-融合法

F(x,y)min(f1(x,y),f2(x,

(2-融合法是一種簡單的直接對像素灰度進行操作的空間域融合算法，又被稱為羽化或alpha融合，它將配準影像的每個像素值分別乘以適當(dāng)?shù)臋?quán)值后相加該算法得到的拼接影像區(qū)域像素灰度值是輸入影像像素灰度值的和。設(shè)f代表待融合影像f1、f2的融合結(jié)果，則融合法的數(shù)學(xué)描述為：f1(x, (x,y)f(x,y)f(x,y)f(x,y)(x,y)

(2-1 2 f2(x, (x,y)f其中，1、2分別是f1f212=1，01<1，02<1。選取不同的權(quán)值又可以將融合法細分，如直接平均法、漸入漸出等，具體內(nèi)容在第四章有介紹。多分辨率塔式融合法多分辨率塔式融合法是一種多尺度、多分辨率的頻率域融合算法，常用的金字塔有高斯金字塔、金字塔[45]等，其融合的大體步驟為：①對待融合影像進行金字塔分解得到不同尺度、不同分辨率的空間子影像；②運用不同的融合規(guī)則融合分解得到的金字塔系數(shù)，把融合得到的系數(shù)作為融合結(jié)果影像的金字塔系數(shù)；③金字塔反變換重構(gòu)融合結(jié)果影像。圖2-6所示為塔式影像融合算法示意圖。分 影分影重金字分金字分

融金字融

融合后的金字

的影圖2- 多分辨率塔式影像融合Fig.2- Multi-resolutionpyramidimagefusion塔式分解融合方法可以保留原始影像的細節(jié)信息、突出重要信息，對于影像拼接則可以明顯削弱拼接痕跡，但它是一種冗余分解，并且它的分解是無方向的，無法完整提取出影像的結(jié)構(gòu)信息。另外，該分解獲得的各層影像數(shù)據(jù)具有相關(guān)性，數(shù)據(jù)的相關(guān)性在金字塔重建時很容易引起算法的不穩(wěn)定，使得融合結(jié)果影像高頻信息丟失、邊緣模糊?；谧儞Q的融合法變換46是一種跟金字塔相似的多尺度、多分辨率的頻率域融合算法，但分解不會像金字塔分解那樣導(dǎo)致數(shù)據(jù)量增大，它的分解是非冗余的。基于變換的影像融合步驟[47]為：①對已配準的待融合影像進行分解得到高頻子影像和低頻子影像；②運用不同的融合規(guī)則融合分解得到的系數(shù)，把融合得到的系數(shù)作為融合結(jié)果影像的系數(shù)；③反變換重構(gòu)融合結(jié)果影像?；谧儞Q的融合法比多分辨塔式融合法更緊湊，數(shù)據(jù)無冗余也無相關(guān)性，而且具有方向信息。關(guān)于變換融合法的具體內(nèi)容將在第四章進一步討論。本章小結(jié)本章主要分析和研究了UAV影像序列拼接涉及到的主要技術(shù)。首先，給出本文UAV影像序列拼接的系統(tǒng)組成流程。然后，重點分析了影像序列拼接的兩大關(guān)鍵技術(shù)：影像配準和影像融合。影像配準算法分為基于灰度信息的配準、基于變換域的配準和基于特征的配準。影像融合分為像素級融合、特征級融合和決策級融合，本章從空間域和頻率域兩方面說明了一些常用的像素級融合方法。對于無人機影像序列拼接，本文采用基于特征的影像配準算法和基于像素級的影像融合算法實現(xiàn)。4-RANSACUAV影像序列配準基于特征的影像序列配準算法具有速度快、精度高等諸多優(yōu)點，已成為目前國內(nèi)外研究者的討論熱點，本章的配準也是基于特征實現(xiàn)的。本章首先分析Harris角點檢測算子，該算法實現(xiàn)簡單，但其對尺度變化非常敏感。因此，本章緊接著研究SIFT算法，該算法對平移、旋轉(zhuǎn)、縮放、放射、遮擋等變化均具有較好的魯棒性，但它也存在計算量大、效率低的缺點。針對該SIFT算法對比分析的方式，重點研究了SURFSURF算法既能快速提取影像中的海量特息，又能從包含信息量少的影像中提取有效特征完成配準，且其速度較SIFT算法更優(yōu)。關(guān)于特征點的匹配問題：首先利用歐式距離作為度量準則、采用最近鄰算法實現(xiàn)粗匹配；再采用本文雙4-RANSAC算法來剔除誤匹配點對從而實現(xiàn)特征點的精確匹配，以保證整個影像配準的精度，為實現(xiàn)影像序列的無縫拼接做好準備。本文的4-RANSAC算法是一種改進的RANSAC算法，該算法可以提高精匹配階段的效率。UAV影像特征提取Harris算子Harris算子原理Harris算子是C.G.Harris和M.J.Stephens在1988年角點提取算子，它是一種改進的Moravec算子，該算子啟發(fā)于信號處理中的自相關(guān)函數(shù)。設(shè)I為影像在像素點(x,y位置的灰度值，則在(x,y處偏移(uv)后的自相關(guān)函數(shù)可描述為：E(u,v)w(x,y)I(xu,yv)I(x,x,式中，w(x,y)為(uv)處的高斯窗口系數(shù)。對于局部微小的移動量(uv)，可近似描述為：

（3-E(u,v)u,v

vv

（3-其中，M是點(xy的自相關(guān)矩陣，它是一個22的矩陣，可由影像的導(dǎo)數(shù)求得：I IIMw(x,y)

xI I

（3-x,

y12為矩陣M的特征值，通過計算M矩陣的特征值可以確定平坦區(qū)、邊緣和角點。圖3-1為Harris角點判斷示意圖：2>>1和2相當(dāng)1~1>>1,2M的特征如果1和2都很小，圖3- Harris角點判斷示意Fig.3- TheHarriscornerjudgingHarris算子首先計算每個像素沿各個方向灰度變化的平均值，并將最小值作為對應(yīng)像素點的角點響應(yīng)函數(shù)，其定義為：RdetMktraceM

（3-其中det(M)==I2I2(II

（3-1 x xtr(M)=+=I2+I （3- 式（3-4）k（常取值0.04~0.06）是一個經(jīng)驗值。如果檢測點(x,y)的R值大于設(shè)定閾值且該像素點是其鄰域最大值時，就認為當(dāng)前檢測的點(x,y是一個角點。Harris算子特點Harris算子是一種有效的點特征提取方法，其優(yōu)點在于：①僅利用了灰度一階導(dǎo)數(shù)及濾波，算法簡單、計算量??；②在影像存在灰度變化、旋轉(zhuǎn)和噪聲等影響時，Harris算子仍能保持良好的穩(wěn)定性；③可根據(jù)實際需求定量提取角點，使用靈活方便；④檢測到的角點分布均勻，能達到像素級的定位精度。但該算法有一個極大的缺點限制其使用范圍，那就是不具有尺度不變性，對存在尺度縮放的影像變化敏感。SIFT算法SIFT算子(Scale-InvariantFeatureTransform)BritishColumbia大學(xué)DavidG.Lowe1999年首次提出，并在2004年完善的一種局部特征描述算子[12]，該算法對尺度、噪聲、光照及視角差異等復(fù)雜變化均有穩(wěn)定的魯棒性，其實現(xiàn)步驟如圖3-2所示。圖3- SIFT算法特征提取步驟Fig.3- ThefeatureextractionstepsofSIFT尺度空間關(guān)鍵點檢測Koenderink和Lindeberg的研究成果證明：高斯卷積核是實現(xiàn)尺度變換的唯一線性變換核。一幅二維影像I(x,y的尺度空間L(x,y,)定義為：L(x,y,)G(x,y,)I(x,式中，*為卷積操作，G(x,y,為高斯函數(shù)：

(3-G(x,y,)

e(x2y2)/2

(3-(x,yI(x,y的空間像素坐標(biāo)，σ是尺度因子。σ的大小決定了影像的平滑程度：尺度越大越平滑，反映影像的全局概貌特征；尺度越小平滑的程度就越弱，反映影像的細節(jié)特征。高斯差分DOG（Difference-of-Gaussian）是Lowe另一思想，它可以使SIFT算法在尺度空間變換中檢測到穩(wěn)定的特征點。高斯差分函數(shù)是由兩個不同尺度的高斯核函數(shù)做差得到，DOG算子的計算公式為：D(x,y,)(G(x,y,k)G(x,y,))I(x,L(x,y,k)L(x,y,式中，k為尺度變化因子。

(3-3-3展示了SIFT尺度空間及DOG空間的構(gòu)造過程，圖中的左邊區(qū)域表示高斯金字塔，右邊區(qū)域表示高斯差分金字塔，一般構(gòu)造的高斯金字塔為4組5層。為了能夠檢測到的關(guān)鍵點，高斯金字塔最底層的影像是將輸入的原始影像放大2倍，對下面一層的影像進行高斯平滑后可得到上一層的影像,上一組影像在xy軸上進行降采樣可得到下一組影像。上一組影像的中間層子抽樣可得到下一組影像的第一層。建立高斯金字塔模型后，本組影像的高斯差分金字塔模型可由組內(nèi)相鄰尺度空間的高斯金字塔影像相減得到。圖3- SIFT算法的尺度空間構(gòu)造Fig.3- ThescalespaceofSIFTSIFT算法的關(guān)鍵點[12是DOG影像的局部極值點（極大值或極小值為了使檢測到的關(guān)鍵點穩(wěn)定，DOG空間的每一像素點不僅要與其所在尺度平面3×3鄰域的8個像素點比較，也要與其同組相鄰上下層對應(yīng)的3×3鄰域的18個像素點比較，若該像素點比這26個點都大或者都小，才能判定為候選特征點。圖3-4為特征點檢測過程，圖中的黑色×為檢測點，綠色圓點為需要比較的26個點。圖3- DOG尺度空間極值點檢Fig.3- DetectionextremainDOGscale消除不穩(wěn)定特征點為了精確定位極值點位置以達到亞像素精度，算法首先利用三維二次函數(shù)來精確獲得關(guān)鍵點的位置及尺度，同時過濾掉候選特征點中的低對比度點（噪聲敏感區(qū)域內(nèi)的點）和不穩(wěn)定的邊緣響應(yīng)點。如此，就可以進一步提高算法的抗噪聲能力和影像匹配的穩(wěn)定性。①刪除低對比度的候選點設(shè)X代表(x,y,)，將尺度空間函數(shù)D(x,y,)在局部極值點(x0,y0,)處通過 公式展開：D(x,y,)D(x0,y0,)

X1X2

2DXS2

(3-對（3-10）式兩邊求導(dǎo)并讓其為0，得：2D1X

(3-X2將式(3-11)代入式(3-10)得：D(X)D(X)

(3-若該點的DX)0.03，則認為它是低對比度的極值點，將其舍去。②過濾不穩(wěn)定的邊緣點由于高斯差分函數(shù)對邊緣和噪聲響應(yīng)強烈，在影像邊緣和噪聲區(qū)域內(nèi)會產(chǎn)生大量不穩(wěn)定的極值點，需要對關(guān)鍵點進一步篩選來去除邊緣效應(yīng)。在DOG函數(shù)中，通常這種極值點在該點切線方向有很大的主曲率而在法線方向有很小的主曲率，算法利用這個特點來剔除邊緣極值點，通過2×2的Hessian矩陣求取DOG算子的主曲率： DxyH D

(3- yyDOG函數(shù)兩個方向上的主曲率與H矩陣的兩特征值成正比，為了方便計算提高效率，算法通過計算H矩陣的兩特征值之比代替直接求解DOG函數(shù)的主曲率。設(shè)α為矩陣H的最大特征值，β為其最小特征值，則有：Tr(H)DxxDyy

(3-Det(H)DD

)2

(3-xx α=γβ，那么：Tr(H

( ( (3-Det(H

γ=1（α=β）(3-16)可以取得最小值，γ越大則上式的值越大。這樣，可以通過式(3-11)來判定該候選點是否為邊緣點：Tr(HDet(H

( (3-式中，γ（一般有γ=10）是一個經(jīng)驗值，若候選點主曲率的比值大于10時，則認為該候選點的邊緣響應(yīng)很強，予以刪除。SIFT算法通過上面兩步就可精確的定位特征點。確定特征點主方向SIFT算法在高斯空間上利用特征點的局部鄰域像素梯度信息為每一特征點分配一個主方向，以使算法在特征描述時具有旋轉(zhuǎn)不變性，從而滿足存在旋轉(zhuǎn)變化時的影像配準。梯度表示：gradI(x,y)I,I

(3-xy 梯度幅值：(L(x1,y)L(L(x1,y)L(x1,y))2(L(x,y1)L(x,y梯度方向：L(x,y)L(x (x,y)tan-1L(x,y)L(x L代表該特征點所在高斯金字塔中某一層的尺度。

(3-SIFT算法采用梯度直方圖統(tǒng)計法來計算關(guān)鍵點的主方向[12：首先，根據(jù)公式(3-19)、(3-20)計算以特征點為中心的鄰域范圍內(nèi)所有像素的梯度信息，再根據(jù)梯度信息統(tǒng)計創(chuàng)建梯度方向直方圖。將取值范圍0～360分為36柱，對每10度區(qū)間內(nèi)的所有像素點梯度幅值做高斯處理，把得到的值加到對應(yīng)柱上形成36個方向的梯度方向直方圖，示例如圖3-5所示。算法將直方圖中的主峰值（幅度值最大）方向規(guī)定為主方向，高于主峰值80%時為輔方向。圖3- 統(tǒng)計梯度直方圖計算主方Fig.3- Statisticsgradienthistogramtocalculatemain生成特征點描述符上述步驟處理后的特征點已具備了唯一的位置、尺度和方向信息，這些信息使其對平移、旋轉(zhuǎn)和縮放具有較強的魯棒性，接下來就可以利用該信息確定一個局部特征區(qū)域，并描述該區(qū)域以生成一個不隨光照、視點等因素變化的唯一特征點描述子。生成特征點描述符的步驟[12為：首先，將影像坐標(biāo)軸旋轉(zhuǎn)到該特征點的主方向上以獲得旋轉(zhuǎn)不變性；其次，以紅色的特征點為中心取8×8鄰域的正方形目標(biāo)窗口，每小格表示該特征點所在尺度空間鄰域內(nèi)的一個像素，黑色箭頭的方向則為該像素點的梯度方向，箭頭的長度為該像素的梯度模值，如圖3-6左圖所示，紅色圓圈代表高斯作用的范圍，離紅色的特征點距離越近，對特征點的影響就越大；然后，在4×4的子區(qū)域內(nèi)計算所有像素點的8個方向的梯度方向直方圖，再將每個梯度方向的值累加得到一個點，一共就生成了16個點，如圖3-6右圖所示，每個特征點就得到16×8=128維的向量描述符；最后，將特征向量進行歸一化處理，使最終得到的特征描述子具有光照不變性。圖3- SIFT生成特征描述Fig.3- ThefeaturedescriptorofSURF算法SIFT算法雖然魯棒性好，但它構(gòu)造了128維向量描述子，導(dǎo)致其運算量非常大，在影像特征提取階段耗時較長。針對該問題，HerbertBay等人于2006年底提出了SURF算法13，該算法在保持SIFT算法高魯棒性的同時明顯加快了檢測速度。SURF算法和SIFT算法思路相似，但具體的實施方法有較大差異，表3-1對兩種算法的關(guān)鍵技術(shù)進行了比較分析。表3- SURF與SIFT的關(guān)鍵技術(shù)對比Tab.3- ThekeytechnologycomparisonbetweenSURFandSURF算 SIFT算法特征檢 用不同的方格濾波器與影像做卷 高斯函數(shù)和不同尺度的圖像做卷積x、yx、y方向響應(yīng)直方圖

計算點圓（半徑為6鄰域

計算特征點矩形鄰域內(nèi)的梯度方向描述

20σ×20σ鄰域分4×4的子區(qū)域，計算每一子區(qū)域5×5個采樣點的haar響應(yīng)Σdx，Σdy，Σ|dx|，Σ|dy|，4×4×4=64維描述符

16×16像素鄰域分成4×4的子區(qū)域，計算每一子區(qū)域8個方向的灰度直方圖8×4×4=128維描述符SURF算法是一種加速的SIFT算法，該算法也對尺度、噪聲、光照及視角差異等復(fù)雜變化均具有穩(wěn)定的魯棒性，其實現(xiàn)步驟如圖3-7所示。圖3- SURF算法特征提取步驟Fig.3- ThefeatureextractionstepsofSURFSURF算法比SIFT算法快速的原因之一就是使用了積分圖像48分圖像能明顯提高框狀卷積濾波器的計算速度，對于影像I(ij中的點X(x,y)的積分圖像是從圖像原點到該像素點所圍成的矩形區(qū)域內(nèi)所有點的像和，即ixjI(X) I(i,i0

(3-利用積分圖像可以快速的求解出任意矩形區(qū)域的像素和，且其運算時間不受矩形尺寸的影響。如圖3-8中利用積分圖像計算矩形區(qū)域ABCD內(nèi)的像素值之和，可直接利用頂點A、B、C、D的積分圖像值做3次加/減運算得到：=I(A)-I(B)-I(C)+I

(3-DDC圖3- 積分圖像計算矩形區(qū)域內(nèi)的像素Fig.3- TheIntegralimagetogetallpixelsumofrectangular圖像大小改變但時間恒定的特點明顯提高了SURF算法速度，對于大尺寸的影像優(yōu)勢更突出，SURF算法就是利用該性質(zhì)來加速了原圖像與盒子濾波的卷積運算。構(gòu)造尺度空間 圖3- SIFT和SURF尺度空間構(gòu)造對比Fig.3- ThescalespacecomparisonbetweenSIFTand為了實現(xiàn)尺度空間上的特征點檢測，SURF算法也需要像SIFT算法一樣建立尺度空間，但構(gòu)建尺度空間時采用的方法不同。SIFT使用二階高斯函數(shù)作為濾波器得到多尺度空間函數(shù)LxxLxyLyySURF使用盒子濾波器得到多尺度空間函數(shù)DxxDxyDyy3-9給出了SIFT算法和算法在尺度空間構(gòu)造上的差異，左圖的SIFT算法通過保持高斯濾波器的尺度不變、不斷改變圖像的大小來計算卷積得到，而右圖的SURF算法則是保持圖像不變、不斷擴大框狀濾波器的尺度來計算卷積得到。a）x方向b）y方向c）xy圖3- 二階高斯濾波器與盒子濾波器對比Fig.3- Thecomparisonchartbetweentwo-orderGaussfilterandSURF算法利用了方塊濾波和積分圖像，其計算耗時與圖像尺寸無關(guān)，故在特征檢測時SURF算法比SIFT算法效率更高。圖3-10是二階高斯濾波和盒子濾波對比圖，盒子濾波是經(jīng)過重的：x、y方向的黑域權(quán)重為-2，白域的權(quán)重為1，其他區(qū)域為0；xy方向的黑域的權(quán)重為-1，白域的權(quán)重為1，其他區(qū)域為0。Foreachnew6Boxfilter6Boxfilter 圖3- SURF構(gòu)造尺度空Fig.3- ThescalespaceofSURF尺度空間包含多層，每層的盒子濾波尺寸是成倍變化的。圖3-11以一44層的尺度空間金字塔構(gòu)造為例詳細說明了SURF特征尺度空間的構(gòu)造過程，第1組空間最下層的濾波器模板尺寸是9×9（=1.2）像素，后續(xù)每向上層依次增加個像素。后面、、組的濾波器尺寸分別是、、，每組最下層的濾波器尺寸與上一組第二層的一致。每層尺度由下式計算得到：approx

（3-快速Hessian檢測極值點對于在尺度空間下的局部極值點檢測，SIFT算法通過判斷Hessian矩陣的行列式det(H值實現(xiàn)，SURF算法則采用快速Hessian矩陣實現(xiàn)。用多尺度空間函數(shù)DxxDxyDyy表示簡化后的Hessian行列式如式(3-24)所示，如果該點行列式的值det(Happrox)為正，就認為是局部極值點，否則就不是。式中，為系數(shù)（本文中=0.9

（3-接著，SURF算法還需要像SIFT算法一樣在3×3×3的立體鄰域內(nèi)抑制非極大值，找到候選極值點并記錄其位置和尺寸，同時還要利用極值點鄰域像素插值找到圖像空間和尺度空間中的亞像素精度特征點，剔除低對比度的點以最終得到穩(wěn)定的特征點。但框狀濾波器沒有邊緣響應(yīng)，所以SURF算法比SIFT算法又少了一步剔除邊緣響應(yīng)敏感點的運算。確定特征點主方向a）x方向響應(yīng)模板b）y方向響應(yīng)模板圖3-12 HarrFig.3- Harr為了保持特征提取的旋轉(zhuǎn)不變性，SURF算法也需要跟SIFT算法一樣為特征點確定一個主方向，但是使用的方法上有差異。SURF算法計算主方向的過程為：首先，對以特征點為中心、6（為特征點所在的尺度）為半徑的圓形鄰域內(nèi)的所有像素，用尺寸為4的Haar模板（如圖3-12）所示計算其在x和y方向上的響應(yīng)，并用高斯模板對得到的響應(yīng)結(jié)果做處理使其更加符合實際。圖3- 主方向計算示Fig.3- Thecalculationexampleofthemain然后，以特征點為中心、圓心角為60度的扇形區(qū)域為單位，以5度為步長對響應(yīng)圖像進行旋轉(zhuǎn)搜索，同時在同一坐標(biāo)系下繪制圓域內(nèi)同一像素點的x、y方向的響應(yīng)。在60度扇形區(qū)域內(nèi)累加計算x方向和y方向上的haar響應(yīng)值生成一個新的矢量，將獲得最長矢量的方向定義為主方向，如圖3-13所示。生成特征點描述符在構(gòu)造特征點描述子時，SURF也需要跟SIFT算法一樣，首先將坐標(biāo)軸旋轉(zhuǎn)至此特征點的主方向上以保持其旋轉(zhuǎn)不變性；然后，沿著主方向選取一個以特征點為中心、20σ為邊長的正方形鄰域；之后，將該區(qū)域均勻的分成4×4=16個子塊在每個子區(qū)域內(nèi)用2σ的Haar模板以5×5的間隔采樣，分別計算沿x、y軸方向的響應(yīng)dxdy，此dxdy是經(jīng)過以特征點為中心、3.3σ為方差的高斯處理的，目的則是提高算法對幾何變換的魯棒性；最后，分別累加每個子區(qū)域的dxdy、|dx||dy|，就形成了該子區(qū)域的一個4維向量描述子vdxdy|dx||dy|，如圖3-14所示。圖3- SURF生成特征描述符Fig.3- Thefeaturedescriptorof這樣，每個特征點就得到一個44464維的描述向量，將特征向量歸一化后可使算法具有良好的光照和亮度適應(yīng)性。如果在對子區(qū)域dxdy|dx||dy|求和時，分別考慮dy>0dy≤0dx>0dx≤0這四種情況，就可以得到844128維的特征向量描述子。特征提取實驗與結(jié)果分析上述三個特征提取算法：Harris算子、SURF算法和SIFT算法，前一個算法與后兩個算法在處理存在亮度變化、旋轉(zhuǎn)、縮放等影像時效果有較大差異，后兩個算法對平移、旋轉(zhuǎn)、尺度縮放、亮度差異等變形均具有良好的魯棒性。為了驗證算法的這些特性，本試驗選擇原影像、亮度差異明顯、旋轉(zhuǎn)角度明顯和縮放明顯的四組影像分別進行特征提取。SIFT算法和SURF算法的主要差異是時間效率不同，所以本實驗通過統(tǒng)計其檢測到的特征點數(shù)及各階段的耗時情況來對比分析。在相同的實驗環(huán)境下，通過比較分析三種算法的效果和效率，找出更適合無人機影像序列的特征提取算法。特征提取算法對比試驗為了分析和驗證上述三種算法的魯棒性，本試驗選擇四組影像進行特征提取：第一組是無人機拍攝的原始影像，第二組是具有明顯亮度差異的影像，第三組是具有明顯旋轉(zhuǎn)變化的影像，第四組是具有明顯縮放的影像。原始影像特征提取實驗結(jié)果如圖3-15所示，其中3-15（a、3-15（b）為原影像；3-、3-15（d）Harris角點檢測的結(jié)果；3-15（e、3-15（f）算法檢測的結(jié)果；3-15（g、3-15（h）SURF算法檢測的結(jié)果。a）圖 b）圖圖1-Harris檢 e）圖1-SIFT檢 g）圖1-SURF檢測圖2-Harris檢測 f）圖2-SIFT檢測 h）圖2-SURF檢測圖3-15 原始影像特征提取Fig.3- Thefeatureextractionoforiginal亮度變化明顯的影像特征提取實驗結(jié)果如圖3-16所示，其中3-16（a、3-16（b）為亮度變化明顯的影像，它們是分別在原影像3-15（a）3-15（b）的基礎(chǔ)上降低亮度和增加亮度得到；3-16（c、3-16（d）Harris角點檢測的結(jié)果；3-16（e、3-SIFT算法檢測的結(jié)果；3-16（g、3-16（h）SURF算法檢測的結(jié)果。a）圖 b）圖圖1-Harris檢 e）圖1-SIFT檢 g）圖1-SURF檢測圖2-Harris檢測 f）圖2-SIFT檢測 h）圖2-SURF檢測圖3-16 亮度變化明顯的影像特征提取Fig.3- Thefeatureextractionofobviousbrightnessdifference旋轉(zhuǎn)變化明顯的影像特征提取a）圖 b）圖圖1-Harris檢 e）圖1-SIFT檢 g）圖1-SURF檢測圖2-Harris檢測 f）圖2-SIFT檢測 h）圖2-SURF檢測圖3-17 旋轉(zhuǎn)變化明顯的影像特征提取Fig.3- Thefeatureextractionofobviousrotationdifference實驗結(jié)果如圖3-17所示，其中3-17（a、3-17（b）為明顯旋轉(zhuǎn)的影像；3-17（c、3-17（d）為Harris角點檢測的結(jié)果；3-17（e、3-17（f）SIFT算法檢測的結(jié)果；3-17（g、3-17（h）SURF算法檢測的結(jié)果。縮放變化明顯的影像特征提取實驗結(jié)果如圖3-18所示，其中3-1（a、3-18（b）為明顯縮放的影像，3-18（a）3-15（a，圖3-18（b）3-15（b）縮小到60%得到；3