【畢業(yè)學位論文】基于圖像特征的拼接算法研究-計算機應(yīng)用技術(shù)

分類號 密級 編號 中國科學院研究生院 碩士學位論文 基于圖像特征的拼接算法研究 張霖 指導教師 焦建彬 教授 中國科學院研究生院 申請學位級別 工學碩士 學科專業(yè)名稱 計算機應(yīng)用技術(shù) 論文提交日期 2011 年 4 月 論文答辯日期 2011 年 5 月 培養(yǎng)單位 中國科學院研究生院 學位授予單位 中國科學院研究生院 答辯委員會主席 中國科學院研究生院直屬院系 研究生學位論文原創(chuàng)性聲明 本人鄭重聲明： 所呈交的學位論文是本人在導師的指導下獨立進行研究工作所取得的成果。盡我所知，除文中已經(jīng)注明引用的內(nèi)容外，本論文不包含任何其他個人或集體已經(jīng)發(fā)表或撰寫過的研究成果。 對論文所涉及的研究工作做出貢獻的其他個人和集體，均已在文中以明確方式標明或致謝。 作者簽名： 日 期： 中國科學院研究生院直屬院系 學位論文授權(quán)使用聲明 本人完全了解并同意遵守中國科學院有關(guān)保存和使用學位論文的規(guī)定， 即中國科學院有權(quán)保留送交學位論文的副本，允許該論文被查閱，可以公布該論文的全部或部分內(nèi)容，可以采用影印、縮印或其他復制手段保存、匯編本學位論文。 涉密的學位論文在解密后適用本聲明。 作者簽名： 導師簽名： 日 期： 日 期： 摘要 I 摘 要 普通數(shù)碼相機所拍攝的圖像具有大視場圖像分辨率低、 分辨率高的圖像視場小的特點。為了解決視場和分辨率的矛盾，人們提出了圖像拼接技術(shù)，將反映同一場景的多幅有重疊區(qū)域的圖像拼成一幅高分辨率大視野范圍的圖像。 該技術(shù)現(xiàn)已廣泛應(yīng)用在全景監(jiān)控、虛擬現(xiàn)實、遙感圖像處理、醫(yī)學圖像處理等領(lǐng)域。 本文研究基于圖像特征點的自動拼接算法， 該算法可以實現(xiàn)多幅有序圖像的自動拼接，最終得到環(huán)繞全景圖，可用于全景監(jiān)控系統(tǒng)。本文重點研究了基于特征點的全景圖生成的各個階段的技術(shù)，并針對其中的兩個階段提出了改進。 在特征匹配階段，本文提出了改進的最小費用 K 流算法（ 法） 。該算法根據(jù)已有的最小費用 K 流算法的思想，將圖論中的匹配知識同圖像匹配知識相結(jié)合，把圖像特征點匹配建模成最小費用最大流問題，并用改進的對偶算法進行求解，可以自動獲得有較高準確率的圖像特征點匹配集。實驗表明，在不需人工干預的情況下，和基于 最近鄰匹配算法相比，該算法可以提高匹配準確率約 5%。 在變換估計階段，本文提出了基于類內(nèi)散布矩陣的改進的 法，用于對圖像的特征點匹配集進行提純。改進的 法用類內(nèi)散布矩陣進行初選，改變了原 法中匹配點對的隨機選取方式，有效減少了原法的迭代次數(shù)，提高了計算效率 。實驗表明，在保證準確率的條件下，本文算法的計算效率比原算法高出約 20%。 關(guān)鍵詞： 全景圖像拼接， 改進最小費用流， 對偶算法， 類內(nèi)散布矩陣， I In we by of is to a is in In we a a of by or a of in of a In an is in KP to of it as as KP of In an is in In of is in to of by 0 to KP 錄 錄 基于圖像特征的拼接算法研究 .摘 要 . 目錄 . 目錄 . 一章 緒論 .像拼接技術(shù)的研究背景及應(yīng)用領(lǐng)域 .究背景和意義 .用領(lǐng)域 .像拼接技術(shù)的研究現(xiàn)狀 .接方法 .于特征的方法 .文的研究內(nèi)容 .文的組織結(jié)構(gòu) .第二章 圖像拼接的基礎(chǔ)知識 .像獲取 .像特征提取與匹配 .像特征提取 .像特征匹配 .像變換與融合 .像變換模型 .像融合 .考面選取與投影 .面投影模型 .面投影模型 .面投影模型 .結(jié) .第三章 基于改進的最小費用 K 流的特征點匹配算法 .論基礎(chǔ)知識 .和二部圖 .絡(luò)流 .部圖的匹配 .取度量函數(shù) .進的最小費用 K 流匹配算法 .目錄 構(gòu)造最小費用 K 流模型 .用改進對偶算法求解模型 .進的最小費用 K 流匹配算法流程 .驗對比與分析 .結(jié) .第四章 基于改進 圖像拼接算法 .法 .法的基本思想 .于圖像拼接的 法 .法計算量分析 .進 法 .內(nèi)散布矩陣 .用類內(nèi)散布矩陣改進 法 .算時間分析 .驗對比與分析 .確性 .算效率 .幅圖像拼接實驗結(jié)果 .結(jié) .第五章 總結(jié)與展望 .參考文獻 . 附錄 1 . 謝 . 51 圖目錄 V 圖目錄 圖 眼鏡頭拍攝圖像效果 . 拍圖像拼接效果圖 . 網(wǎng)膜拼接圖 . 景拼接圖（約 180 度） . 像拼接流程圖 . 種變換的示例圖 . 合前后對比效果圖 . 面投影示意圖 . 面投影示意圖 . 面投影 . 征示例圖 . 示例 . 部圖和完全二部圖 . 配和最大匹配 . 像對特征點的賦權(quán)完全二部圖 . 量網(wǎng)絡(luò)模型 . 加附加源點的網(wǎng)絡(luò) . 配結(jié)果 . 線擬合示例圖 . 線擬合示例圖 . 進的 法流程 . 驗結(jié)果比較圖 1 . 驗結(jié)果比較圖 2 . 代次數(shù)對比 . 間對比 . 圖像 . 面投影 . 征點提取 . 征點匹配 . 終效果圖 .目錄 目錄 表 種方法的 較 . 機采樣次數(shù)隨內(nèi)點比例變化而變化的情況 .一章 緒論 1 第一章 緒論 像拼接技術(shù)的研究背景及應(yīng)用領(lǐng)域 圖像拼接是計算機圖形學、計算機視覺、圖像處理領(lǐng)域的重要研究內(nèi)容，并且已經(jīng)應(yīng)用于社會生活的各個方面。 圖像拼接技術(shù)研究的是如何對多幅有部分重疊區(qū)域的窄視角圖像進行無縫拼接，得到寬視 角圖像來滿足人們的各種研究需要。這項技術(shù)為視場擴展、圖像降噪、空間解析、模糊消除等提供了方法和可能性，現(xiàn)已應(yīng)用于許多領(lǐng)域，比如：全景圖像的合成、遙感圖像的拼合、基于圖像的繪制技術(shù)、物體的三維重建（虛擬現(xiàn)實技術(shù)、醫(yī)學圖像分析、遙感技術(shù)處理）等等。 究背景和意義 本課題受到下列項目的資助： 1. “天目 360 度智能監(jiān)控系統(tǒng)產(chǎn)業(yè)化開發(fā)” ，哈爾濱產(chǎn)業(yè)技術(shù)創(chuàng)新與育成專項資金項目， 研。 2. “基于多源數(shù)據(jù)的飛行器進近威脅 目標檢測跟蹤及行為預測” ，國家自然科學基金重點項目（課題編號： 61039003） ， 研。 在現(xiàn)實生活中， 人們常常需要用到寬視角的圖像， 比如獲取某城市的地形圖、得到某區(qū)域 360的環(huán)繞全景圖像、對某地的 360 度監(jiān)控圖像等。這些圖像都是超越人眼視野范圍的高分辨率大場景范圍圖像。然而，場景范圍和分辨率存在著矛盾，一般來說場景范圍越大，分辨率越低；分辨率越高，場景范圍越小。在使用普通數(shù)碼相機進行拍攝時，人們必須調(diào)節(jié)相機的焦距才能拍攝較寬場景，這時獲取的圖片的分辨率相對較低，常滿足不了要求。另外，對于一些超大尺寸拍攝目標，由于拍攝距離和普通數(shù)碼相機的視野范圍的限制，沒有辦法用一張照片拍攝出完整目標，這一點在航空圖像拍攝時尤為突出。為了得到滿足要求的大視角范圍的圖像，人們發(fā)明了廣角鏡頭和掃描式相機。這些設(shè)備可以部分解決視角不足這個問題，但是它們價錢昂貴，使用復雜，而且其圖像邊緣常會難以避免的產(chǎn)生扭曲變形（如圖 示） ，在一些場合無法使用。于是為了在保證高質(zhì)量高分辨率的條件下獲取大視野范圍的場景圖像，人們提出了圖像拼接技術(shù)。圖像拼基于圖像特征的自動拼接算法研究 2 接技術(shù)就是將一組重疊的局部圖像拼接合成一幅大型的無縫高分辨率圖像， 它使得人們可以通過手持或者支架固定照相機獲取 圖片，然后對其使用圖像拼接算法，獲得高分辨率大視野范圍的場景圖像。 圖 眼鏡頭拍攝圖像效果 用領(lǐng)域 目前圖像拼接技術(shù)可以廣泛應(yīng)用于諸多領(lǐng)域，歸納起來有以下四個方面： (1)碎片（多源）圖像的組合 在航空航天和宇宙探測、以及地質(zhì)和海洋勘測等領(lǐng)域，圖像拼接技術(shù)將探測器獲取的小范圍高分辨率照片拼接，組成大視野范圍的高分辨率圖像，如圖 樣可以用低精度的普通數(shù)碼相機來獲取高精度的圖片， 以此降低光學設(shè)備的成本和拍攝數(shù)據(jù)傳輸?shù)膹碗s性；在刑偵領(lǐng)域，可將犯罪現(xiàn)場的照片、證物掃描圖片進行拼接，得到完整現(xiàn)場圖片方便破案。 圖 拍圖像拼接效果圖1(2)醫(yī)學圖像處理 在醫(yī)學領(lǐng)域，現(xiàn)有的顯微鏡等醫(yī)療設(shè)備存在視野狹小的問題；另外，一種手段獲得的圖像信息可能會有所缺失，圖像拼接技術(shù)可將 X 射線斷層掃描技術(shù)、第一章 緒論 3 數(shù)字減影血管造影術(shù)、核磁共振、 X 光片等技術(shù)獲得的圖像組合，得到病人的完整信息，提高檢查的準確性；利用圖像拼接中的匹配技術(shù)，可將病人的圖像樣本與解剖圖譜比較，用于安全監(jiān)控來實施對病人的治療情況進行跟蹤；此外在核醫(yī)學領(lǐng)域， 可結(jié)合記錄解剖身體結(jié)構(gòu)的核磁共振圖像和檢測身體功能和代謝活動的正電子發(fā)射斷層掃描技術(shù)獲得的圖片，將多方面圖片拼為一個整體進行研究。如圖 應(yīng)用于視網(wǎng)膜激光手術(shù)領(lǐng)域的完整視網(wǎng)膜拼接圖。 圖 網(wǎng)膜拼接圖2(3)全景圖像的合成 全景攝影一般是指拍攝普通照相機無法拍攝的大視野范圍照片的攝影技術(shù)。一般得到兩種廣角照片：一種是全景照片（ ,也就是 180到 360的照片；另一種是超過普通照片視場范圍的廣角照片。全景圖片可通過全景照相機完成，也可以通過拼接技術(shù)完成。目前許多軟件和數(shù)碼相機都提供了圖像拼接功能，讓拍攝者可以將多幅照片拼成寬視場范圍的照片，用普通鏡頭獲得乃至超過廣角鏡頭所能拍攝照片的視場范圍，同時有著更好的視覺效果。另外，全景拼接可以用在視頻監(jiān)控領(lǐng)域，將多個攝像頭取到的場景拼成一幅全景場景，從而更有效率地進行視頻監(jiān)控。 圖 景拼接圖（約 180 度） (4)虛擬現(xiàn)實 基于圖像特征的自動拼接算法研究 4 傳統(tǒng)的計算機圖形學基于幾何模型， 用戶需要構(gòu)造出場景的幾何模型和光照及表面屬性等的建模來完成場景的繪制，場景復雜時過程非常繁瑣。近年來提出了基于圖像的場景繪制技術(shù) 從拍攝的多幅具有重疊關(guān)系的照片直接繪制場景，使用圖像拼接技術(shù)生成全景圖，用全景圖代替復雜的三維場景建模和繪制，來表示實景。 可以說，圖像拼接技術(shù)涉及計算機視覺、圖像處理、計算機圖形學等多個學科的知識，具有十分廣闊的應(yīng)用前景，深入研究這項技術(shù)有著重要的意義。 像拼接技術(shù)的研究現(xiàn)狀 根據(jù)目前的研究重點， 圖像拼接技術(shù)可以分成圖像配準和圖像融合兩大主要部分。圖像配準是根據(jù)幾何運動模型將同一場景拍攝的不同圖像進行對齊，找出有重疊區(qū)域的兩幅或多幅圖像間的變換關(guān)系。 圖像融合是指將已經(jīng)配準處理的圖像再經(jīng)過一定的處理，提取各自的信息，最后綜合成同一圖像，實現(xiàn)相鄰圖像間的自然過渡。圖像拼接的方法按配準方法的不同，分為直接方法和基于特征的方法。 接方法 直接的方法一般直接利用圖像的信息進行配準，大致分為基于變換域、基于灰度、基于區(qū)域三類?；谧儞Q域的方法提出較早， 在 1970 年就使用快速傅里葉技術(shù)估計圖像間的平移量； 4使用了快速傅里葉變換進行旋轉(zhuǎn)和尺度變化的估計；后來，基于小波的配準方法提出， 5在 1996 年使用小波分解的分量中取得特征點，之后迭代求得旋轉(zhuǎn)參數(shù)；基于灰度的方法方面， 6在 1997 年提出了直接像素亮度差優(yōu)化的方法； 7在 1995年提出引入互信息進行配準，開啟了基于信息理論的配準研究，其中 8在 2000 年結(jié)合梯度信息改善了它的極值性能； 9在 2003 年使用了基于區(qū)域的方法。直接的方法一般直接用圖像本身信息計算，對于光照敏感，且不適于比較復雜的運動模型，計算量也比較大。而基于特征的方法使用的是圖像中的顯著特征，對圖像的噪聲、畸變有一定的魯棒性，因此，隨著特征檢測和匹配技術(shù)的發(fā)展，基于特征的配準方法成為研究的熱點。 于特征的方法 基于特征的方法分為四步10，特征檢測、特征匹配、估計變換模型及圖像融第一章 緒論 5 合。 特征檢測方面， 1在 1981 年發(fā)表的一篇關(guān)于立體圖像的利用角點進行配準的論文 , 是基于特征的圖像配準的技術(shù)的起源。 2對其進行了改進，在 1992 提出了 點檢測，并將其應(yīng)用于運動物體跟蹤和三維重建，從此 點檢測在圖像配準的其它方面得到了廣泛應(yīng)用。在此基礎(chǔ)上 3在 1992 年研究出 征檢測，具有仿射不變的特性。趙向陽14在 2004 年將 點檢測運用到圖像拼接中，取得了不錯的效果。一些檢測算法將將特征檢測推廣到多尺度空間， 15在 1999 年將圖像 間中的極值點，并進一步得到了具有尺度不變性和旋轉(zhuǎn)不變性的 征點 . 16在2003 發(fā)表了一篇關(guān)于將 征檢測技術(shù)應(yīng)用于全景圖像自動拼接的論文，實驗中所采用的圖片是用同一架相機在等焦距上 圍繞固定軸旋轉(zhuǎn)一圈所拍攝的圖片的配準和拼接。 對特征檢測后，可以直接進行特征匹配， 17直接用特征周圍像素的相似性進行比較，但這種方法不能保證穩(wěn)定，因此比較好的做法是對每個特征要賦予一定的描述字。 18在 1997 年采用高斯微分不變量，對 點構(gòu)造了了基于尺度空間和不變量理論的圖像特征描述算子 術(shù)，并將其應(yīng)用于圖像檢索。 1920使用在特征的領(lǐng)域內(nèi)進行方向直方圖的統(tǒng)計來抽取特征的方向作為特征的描述。 21在 2004 年用 間中的極值點作為特征點，對特征點的鄰域?qū)ふ姨荻戎狈綀D的峰值，構(gòu)造了基于尺度和旋轉(zhuǎn)不變的描述算子 將其用于目標識別。 22在 2005 年對 10 種通用的具有代表性的描述子，針對不同的場景、不同的形變、不同的光照變化、不同的模糊程度和不同分辨率等情況， 采用正確匹配率作為評價標準進行了性能評價，實驗結(jié)果表明：在以上各種情況下，基于 述子的性能最好，具有較高的辨析力，且不依賴于具體的特征檢測手段。 進行特征檢測并對特征進行描述后，便可進行兩幅圖特征集間的特征匹配。對于高維的描述子，不易直接計算出最相近的描述子。因此匹配時需要使用不同的索引策略，其中很多方法是基于在高維空間找到最近鄰。 23在 1989年提出了 構(gòu)； 24在 1993 年提出使用優(yōu)先搜索 (行 的搜索，該算法在執(zhí)行過程中利用一個優(yōu)先隊列保存搜索過程中遇到的次近鄰兄弟節(jié)點，在搜索到葉子結(jié)點后先從優(yōu)先隊列里的節(jié)點出發(fā)繼續(xù)搜索，基于圖像特征的自動拼接算法研究 6 另外，作者還提出增量距離計算的思想進行加速搜索。 25在 1997 年提出了 法，給 法使用了改良的搜索順序； 26在 2006 年使用了 是對在每個等級的每個水平的少數(shù)的原型比較其特征描述符。何新英等27在 2009 年提出了基于網(wǎng)絡(luò)流的特征優(yōu)化匹配算法，即最小費用 K 流算法，將特征點匹配問題轉(zhuǎn)化成為圖論中的 K 匹配的賦權(quán)圖問題，用圖論中的經(jīng)典算法最小費用 K 流求解，在精度方面取得不錯的匹配效果，但其 K 值需要手動選取，不適合自動圖像拼接算法。 找到初始匹配集之后，就要選取合 適的模型來估計模型的參數(shù)。 8在 1996 年提出將正交投影變換模型用于拼接，這個模型有 8 個參數(shù)，可以表征平移旋轉(zhuǎn)縮放等相機的多種運動，適用于許多情況，成為了經(jīng)典算法。對于估計參數(shù)方面，由經(jīng)過了匹配后仍可能存在錯誤點，于是需要使用從含有錯誤數(shù)據(jù)的集合中擬合模型的方法， 9在 1999 年將 0在 1984 年提出的法運用到圖像拼接中 ,這個方法是將這個問題作為最小化問題，采用多次迭代，比較殘差的中值，選有最小均值的對應(yīng)矩陣作為運動估計； 31在 1981 年提出了 法 選取初始匹配集中的一個子集來計算運動估計，再計算所有匹配的剩余殘差，迭代多次，最后選取有最多相符合的內(nèi)點對的集合來最后估計模型參數(shù)，與法相比， 估計模型參數(shù)的同時，可以取得最終的匹配內(nèi)點集。 有許多改進版本， 2005 年提出了 2,初始化就添加更有可能的匹配對，因此能夠加速找到最優(yōu)內(nèi)點集的過程； 出了 3，同樣采用有引導的采樣，減少迭代次數(shù)。本文將根據(jù)圖像拼接自身的特點，提出一種新的用于拼接的改進 方法，可以有效減少迭代次數(shù)，提高計算效率。 求出圖像間的變換矩陣，下一步就可以對圖像進行變換。變換即將圖像投影到同一坐標系下，在計算過程中，很可能遇到算出的坐標非整數(shù)的情況，使得圖像出現(xiàn)空洞，這是需要采用灰度級插補技術(shù)34來避免這種失真。 分析現(xiàn)有圖像技術(shù)， 我們可以發(fā)現(xiàn)圖像拼接相對于其他的圖像處理技術(shù)有其自身的特點，首先源圖像的獲取條件不同決定了有些拼接算法的針對性很強，一些特定條件下的算法可能完全不適合其他場景； 其次圖像內(nèi)容的多樣性和多變化性使得拼接技術(shù)多樣；最后拼接技術(shù)有多個環(huán)節(jié)，具有復雜性的特點。這些特點使得目前還很難出現(xiàn)一種拼接技術(shù)可以適用于所有場景， 現(xiàn)有的兩種拼接方法各第一章 緒論 7 有不足： 直接的方法中比較典型的是基于頻域的方法，它利用互相關(guān)函數(shù)對兩幅圖像進行相似性計算。這種方法很難處理存在小比例縮放和小角度旋轉(zhuǎn)的圖像，通常計算復雜性較高，同時對噪聲也比較敏感； 基于特征的方法需要提取圖像的幾何或內(nèi)容特征，它依賴于圖像特征，若特征選取有誤，或特征間的匹配有誤，得到的結(jié)果會受較大影響； 總的來說，基于特征的方法更有效一些，而對于基于特征的方法來說，其研究方向是要找到更優(yōu)的特征檢測及描述方法，更準確的特征點匹配方法，更優(yōu)化的變化估計方法， 來減少拼接系統(tǒng)的處理時間， 使得系統(tǒng)具有自動性和自適應(yīng)性，使其可處理更復雜的照相機模型，本文主要研究基于特征的方法。 文的研究內(nèi)容 論文主要研究了基于圖像特征點的拼接算法， 基于特征點的圖像拼接主要包括特征提取、特征匹配、變換估計、圖像融合四個部分，其基本流程如圖 示。 本文主要針對其中兩個部分： 特征匹配和變換模型參數(shù)估計做了創(chuàng)新與改進。 特征匹配方面，針對最小費用 K 流算法（ 法）的局限性與不足，我們提出了改進的最小費用 K 流算法。此算法將 征點作為圖像的興趣點，采用新的度量函數(shù)來度量匹配度，建立最小費用 K 流模型，通過改進的對偶算法求解最小費用 K 流，自動求出有較小錯誤率的匹配點集。改進 法實現(xiàn)了匹配個數(shù)的自動選取， 改進了原 法中的匹配個數(shù)需要手動選取的缺點，提高了 法在圖像拼接上的可用性，而且能獲得比常用匹配算法更高的準確率。 變換估計方面，提出了一種針對圖像拼接的改進 法。該算法利用了圖像拼接中的特征點的分布情況 對隨機樣本集進行預處理，改進了法中點對選取的隨機性，在獲得 同樣的計算精度的條件下，有效減少了變換估計的迭代次數(shù)，提高了變換參數(shù)的計算速度。 基于圖像特征的自動拼接算法研究 8 圖 像拼接流程圖 文的組織結(jié)構(gòu) 第一章，緒論。主要論述了圖像拼接算法的研究背景和意義，分析了國內(nèi)外的研究現(xiàn)狀和現(xiàn)有算法的不足，總結(jié)了研究的難點和論文的研究方向，介紹了本文的主要研究內(nèi)容和貢獻。 第二章，圖像拼接基礎(chǔ)知識介紹。按照圖像拼接的基本步驟分別介紹了圖像獲取，特征點的提取與匹配，圖像變換與融合，全景圖像投影模型幾個方面的基礎(chǔ)知識。 第三章，基于最小費用最大流的特征點匹配算法。據(jù)已有的最小費用 K 流算法的思想，將圖論中的匹配知識同圖像匹配知識相結(jié)合，把圖像特征點匹配建模成最小費用最大流問題，并用改進的對偶算法進行求解。將該算法在公共測試集合上進行了測試和比較，實驗表明這種改進方法是可行的、有效的，在不需人+ 圖像投影與融合 變換模型參數(shù)估計 特征點匹配 特征點提取 圖像獲取及預處理 第一章 緒論 9 工干預的情況下，和基于 最近鄰匹配算法相比，該算法可以提高匹配準確率約 5%。 第四章，基于改進 圖像拼接算法。先介紹了 法和類內(nèi)散布矩陣，然后提出了基于類內(nèi)散度矩陣的改進 法，對圖像的特征點匹配集提純之后進行拼接。將該算法在公共測試集合上進行了測試和比較，用實驗表明改進 法在保證拼接效果不變的情況下，提高了圖像拼接的速度約 20%；最后給出了應(yīng)用本文拼接算法的多幅圖像拼接效果圖。 基于圖像特征的自動拼接算法研究 10 第二章 圖像拼接的基礎(chǔ)知識 圖像拼接技術(shù)是將有部分重疊區(qū)域的窄視角圖像進行無縫拼接， 得到一幅寬視角圖像。基于特征點的圖像拼接技術(shù)因其較好的效果和魯棒性，現(xiàn)已成為拼接領(lǐng)域中的熱門技術(shù)?；谔卣鼽c的圖像拼接通常由這幾個階段組成：圖像獲取、特征點提取與匹配、圖像變換估計與融合。如果是多幅圖像或全景圖像拼接，有時還要加入?yún)⒖计矫孢x取與投影這一步。 本章將對各階段涉及的基本知識進行介紹。 像獲取 拼接的第一步是獲取圖像， 現(xiàn)在用于拼接的圖像基本上是用數(shù)碼設(shè)備直接獲取的數(shù)碼照片或視頻圖片，一般來 說，圖像獲取的設(shè)備分兩類35，一類是數(shù)碼相機，一類是視頻采集卡和攝像頭的組合。 1) 照相機拍攝 一般來說使用照相機進行圖像獲取的方式有三種情況： 旋轉(zhuǎn)照相機：這種情況是指將三腳 架固定在一個位置。拍攝時相機繞三腳架的垂直軸旋轉(zhuǎn)，每次旋轉(zhuǎn)一 定的角度拍一張照片，要求相鄰照片間有一定比例的重疊區(qū)域。這種 拍攝方法不需要更多相機參數(shù)，但是采集的圖片不在一個平面上，需 要投影到同一平面才能進行拼接，這個平面通常是柱面或球面。 平移照相機：這種拍攝一般是將三 腳架固定在某個滑軌的滑車上，讓相機平行于成像平面移動拍攝。 手持照相機：這是最簡單的一種圖 像的獲取方式，但是也是最難拼接的，因為在這種情況下的拍攝過程 中，相機的運動情況最復雜，一般是平移運動、鏡頭縮放、水平掃動 、垂直掃動、旋轉(zhuǎn)運動等的綜合。但是目前基本上是要求獲取圖像時 站在原地繞轉(zhuǎn)拍攝或者沿照相機的光軸垂直方向走動拍攝，這樣可以 使獲得的圖像基本符合變換模型，從而可以實現(xiàn)拼接。 第二章 圖像拼接的基礎(chǔ)知識 11 2) 采集卡獲取 是指用在現(xiàn)實的工程應(yīng)用中，使用采集卡和攝像頭配合來采集視頻圖像。這種采集方式大致分兩種情況，一種是多個攝像機位置固定，每個攝像機的采集場景相對位置不變，這種可以僅在初始化時計算變換模型參數(shù)，給后面的視頻幀直接使用，但是在攝像頭安裝時需要其光軸交匯，否則拼接效果一般，對硬件擺放有較高要求；第二種是攝像機位置變化，隨監(jiān)控目標移動，這種需要進行實時變換參數(shù)計算，對于匹配的速度要求很高。 在圖像采集后，由于圖像采集過程中的各種不可控因素，使得圖像中的屬性發(fā)生變化，可能有失真、變形、對比度降低等畸變，有時會在拼接前加一步預處理，來完成待拼接圖像的畸變校正的工作，提高預處理提高圖像的質(zhì)量，有助于拼接過程的進行。 像特征提取與匹配 由于待拼接的兩幅圖片存在空間變換和灰度變換，在將它們拼接起來之前，要先對他們進行空間位置的對準，找到它們重疊部分的相應(yīng)位置，確定它們之間的變換關(guān)系?；谔卣鞯膱D像拼接方法中，首先就是要對圖像進行特征提取和匹配，通過得到特征點匹配點集，估計兩幅圖像間的變換關(guān)系。 像特征提取 特征點的提取一般分為特征檢測和特征描述。 征檢測 通常來說，我們希望用于拼接的圖像特征有如下特性36： 在兩幅圖中都出現(xiàn)，而且具備豐富的信息可用于后續(xù)匹配。 有較高的定位精度，可以比較均勻地分布在圖像的各個部分。 希望特征易于檢測，而且檢測算法對圖像的噪聲、幾何形變、灰度變化具有一定的適應(yīng)性和不變性。 有一定的物理意義，在圖中清晰可辨。 圖中常見的特征如點、線、面可部分滿足上面 的要求。現(xiàn)有常用檢測子有測子、 測子、 測子、 測子等，其中被廣泛應(yīng)用的是 測子，本文中也采用了這種檢測子，第三章會詳細的介紹它的提取過程。 基于圖像特征的自動拼接算法研究 12 特征描述 特征描述是用特征描述子來表達圖像特征。得到表達圖像特征的描述子后，可使用算法尋找這些描述子之間的匹配關(guān)系，從而求