全景視頻拼接關(guān)鍵技術(shù)

1、全景視頻拼接關(guān)鍵技術(shù)一、原理介紹        圖像拼接(Image Stitching)是一種利用實(shí)景圖像組成全景空間的技術(shù)，它將多幅圖像拼接成一幅大尺度圖像或360度全景圖，圖像拼接技術(shù)涉及到計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)、數(shù)字圖像處理以及一些數(shù)學(xué)工具等技術(shù)。圖像拼接其基本步驟主要包括以下幾個(gè)方面：攝相機(jī)的標(biāo)定、傳感器圖像畸變校正、圖像的投影變換、匹配點(diǎn)選取、全景圖像拼接（融合），以及亮度與顏色的均衡處理等，以下對(duì)各個(gè)步驟進(jìn)行分析。攝相機(jī)標(biāo)定        由于安裝設(shè)計(jì)，以及攝相機(jī)之間的差異，會(huì)造成視頻圖像之間有縮放

2、（鏡頭焦距不一致造成）、傾斜（垂直旋轉(zhuǎn)）、方位角差異（水平旋轉(zhuǎn)），因此物理的差異需要預(yù)先校準(zhǔn)，得到一致性好的圖像，便于后續(xù)圖像拼接。相機(jī)的運(yùn)動(dòng)方式與成像結(jié)果之間的關(guān)系見(jiàn)下圖。圖1：相機(jī)的運(yùn)動(dòng)方式與成像結(jié)果之間的關(guān)系圖像坐標(biāo)變換        在實(shí)際應(yīng)用中，全景圖像的獲得往往需要攝像機(jī)以不同的位置排列和不同的傾角拍攝。例如由于機(jī)載或車(chē)載特性，相機(jī)的排列方式不盡相同，不能保證相機(jī)在同一面上，如柱面投影不一定在同一個(gè)柱面上，平面投影不一定在同一平面上；另外為了避免出現(xiàn)盲區(qū)，相機(jī)拍攝的時(shí)候往往會(huì)向下傾斜一定角度。這些情況比較常見(jiàn)，而且容易被忽略，直接投影再拼接效

3、果較差。因而有必要在所有圖像投影到某個(gè)柱面（或平面）之前，需要根據(jù)相機(jī)的位置信息和角度信息來(lái)獲得坐標(biāo)變換后的圖像。理論上只要滿(mǎn)足靜止三維圖像或者平面場(chǎng)景的兩個(gè)條件中的任何一個(gè)，兩幅圖像的對(duì)應(yīng)關(guān)系就可以用投影變換矩陣表示，換句話(huà)說(shuō)只要滿(mǎn)足這其中任何一個(gè)條件，一個(gè)相機(jī)拍攝的圖像可以通過(guò)坐標(biāo)變換表示為另一個(gè)虛擬相機(jī)拍攝的圖像。        一般情況下8參數(shù)的透視投影變換最適合描述圖像之間的坐標(biāo)關(guān)系，其中8參數(shù)的矩陣為m0,m1,m2;m3,m4,m5; m6,m7,1；各參數(shù)對(duì)應(yīng)的相機(jī)運(yùn)動(dòng)表示如下：        如圖

4、2顯示的是相機(jī)向下傾斜一定角度拍攝圖像，這個(gè)角度與m6和m7具有對(duì)應(yīng)關(guān)系，如果要獲得校正圖像，只需要對(duì)8參數(shù)矩陣求逆后進(jìn)行坐標(biāo)變換。(a) 原始圖像圖2：(a) 原始圖像；(b)x方向形變效果；(c)傾斜校正后效果圖像畸變校正         由于制造、安裝、工藝等原因，鏡頭存在著各種畸變。為了提高攝像機(jī)拼接的精度，在進(jìn)行圖像拼接的時(shí)候必須考慮成像鏡頭的畸變。一般畸變分為內(nèi)部畸變和外部畸變，內(nèi)部畸變是由于攝影本身的構(gòu)造為起因的畸變，外部畸變?yōu)橥队胺绞降膸缀我蛩仄鹨虻幕儭ｇR頭畸變屬于內(nèi)部畸變，由鏡頭產(chǎn)生的畸變一般可分為徑向畸變和切向畸變兩類(lèi)。徑

5、向畸變就是集合光學(xué)中的畸變像差，主要是由于鏡頭的徑向曲率不同而造成的，有桶形畸變和枕型畸變兩種。切向畸變通常被人為是由于鏡頭透鏡組的光學(xué)中心不共線(xiàn)引起的，包括有各種生成誤差和裝配誤差等。一般人為，光學(xué)系統(tǒng)成像過(guò)程當(dāng)中，徑向畸變是導(dǎo)致圖像畸變的主要因素。徑向畸變導(dǎo)致圖像內(nèi)直線(xiàn)成彎曲的像，且越靠近邊緣這種效果越明顯。根據(jù)徑向畸變產(chǎn)生的機(jī)理，對(duì)視頻圖像進(jìn)行校正。效果如圖3(b)所示，經(jīng)過(guò)校正的圖像，其有效像素區(qū)域縮小，一般可通過(guò)電子放大的方式進(jìn)行校正，如圖3(c)所示。圖3：(a)為原始采集圖像；(b)為經(jīng)過(guò)徑向失真校正的圖像；(c)為經(jīng)過(guò)放大的圖像 圖像投影變換   

6、     由于每幅圖像是相機(jī)在不同角度下拍攝得到的，所以他們并不在同一投影平面上，如果對(duì)重疊的圖像直接進(jìn)行無(wú)縫拼接，會(huì)破壞實(shí)際景物的視覺(jué)一致性。所以需要先對(duì)圖像進(jìn)行投影變換，再進(jìn)行拼接。一般有平面投影、柱面投影、立方體投影和球面投影等。        平面投影就是以序列圖像中的一幅圖像的坐標(biāo)系為基準(zhǔn)，將其圖像都投影變換到這個(gè)基準(zhǔn)坐標(biāo)系中，使相鄰圖像的重疊區(qū)對(duì)齊，稱(chēng)由此形成的拼接為平面投影拼接；柱面投影是指采集到的圖像數(shù)據(jù)重投影到一個(gè)以相機(jī)焦距為半徑的柱面，在柱面上進(jìn)行全景圖的投影拼接；球面投影是模擬人眼觀察的特性，將圖像信息通過(guò)透視變

7、換投影到眼球部分，構(gòu)造成一個(gè)觀察的球面；立方體投影是為了解決球面影射中存在的數(shù)據(jù)不宜存儲(chǔ)的缺點(diǎn)，而發(fā)展出來(lái)的一種投影拼接方式，它適合于計(jì)算機(jī)生成圖像，但對(duì)實(shí)景拍攝的圖像則比較困難。如下圖4所示，圖像拼接處理流程示意圖。圖4：圖像拼接處理流程示意圖匹配點(diǎn)選取與標(biāo)定        由于特征點(diǎn)的方法較容易處理圖像之間旋轉(zhuǎn)、仿射、透視等變換關(guān)系，因而經(jīng)常被使用，特征點(diǎn)包括圖像的角點(diǎn)以及相對(duì)于其領(lǐng)域表現(xiàn)出某種奇異性的興趣點(diǎn)。Harris等提出了一種角點(diǎn)檢測(cè)算法，該算法是公認(rèn)的比較好的角點(diǎn)檢測(cè)算法，具有剛性變換不變性，并在一定程度上具有仿射變換不變性，但該算法不具有

8、縮放變換不變性。針對(duì)這樣的缺點(diǎn)，Lowe提出了具有縮放不變性的SIFT特征點(diǎn)。圖5 兩幅圖像中標(biāo)定的匹配特征點(diǎn)        如上圖5所示，圖像的拼接需要在圖像序列中找到有效的特征匹配點(diǎn)。圖像的特征點(diǎn)尋找直接影響圖像拼接的精度和效率。對(duì)于圖像序列，如果特征點(diǎn)個(gè)數(shù)4個(gè)，則很容易自動(dòng)標(biāo)定圖像匹配點(diǎn)；如果特征點(diǎn)很少，圖像拼接往往不能取得較為理想的效果。 圖像拼接融合        圖像拼接的關(guān)鍵兩步是：配準(zhǔn)(registration)和融合(blending)。配準(zhǔn)的目的是根據(jù)幾何運(yùn)動(dòng)模型，將圖像注冊(cè)到同一個(gè)坐

9、標(biāo)系中；融合則是將配準(zhǔn)后的圖像合成為一張大的拼接圖像。        在多幅圖像配準(zhǔn)的過(guò)程中，采用的幾何運(yùn)動(dòng)模型主要有：平移模型、相似性模型、仿射模型和透視模型。        圖像的平移模型是指圖像僅在兩維空間發(fā)生了 方向和 方向的位移，如果攝像機(jī)僅僅發(fā)生了平移運(yùn)動(dòng)，則可以采用平移模型。圖像的相似性模型是指攝像機(jī)本身除了平移運(yùn)動(dòng)外還可能發(fā)生旋轉(zhuǎn)運(yùn)動(dòng)，同時(shí)，在存在場(chǎng)景的縮放時(shí)，還可以利用縮放因子 多縮放運(yùn)動(dòng)進(jìn)行描述，因此，當(dāng)圖像可能發(fā)生平移、旋轉(zhuǎn)、縮放運(yùn)動(dòng)時(shí)，可以采用相似性模型。圖像的仿射模型是一個(gè)6參數(shù)的變換模型

10、，即具有平行線(xiàn)變換成平行線(xiàn)，有限點(diǎn)映射到有限點(diǎn)的一般特性，具體表現(xiàn)可以是各個(gè)方向尺度變換系數(shù)一致的均勻尺度變換或變換系數(shù)不一致的非均與尺度變換及剪切變換等，可以描述平移運(yùn)動(dòng)、旋轉(zhuǎn)運(yùn)動(dòng)以及小范圍的縮放和變形。圖像的透視模型是具有8個(gè)參數(shù)的變換模型，可以完美地表述各種表?yè)Q，是一種最為精確變換模型。        圖像融合技術(shù)一般可分為非多分辨率技術(shù)和多分辨率技術(shù)兩類(lèi)。在非多分辨率技術(shù)中主要有平均值法、帽子函數(shù)法、加權(quán)平均法和中值濾波法等。多分辨率技術(shù)主要有高斯金字塔、拉普拉斯金字塔、對(duì)比度金字塔，梯度金字塔和小波等。圖6 柱面全景圖像拼接(a)-(d)為四幅

11、不同視角的圖像，(e)為最終拼接得到的柱面全景圖像  亮度與顏色的均衡處理        因?yàn)橄鄼C(jī)和光照強(qiáng)度的差異，會(huì)造成一幅圖像內(nèi)部，以及圖像之間亮度的不均勻，拼接后的圖像會(huì)出現(xiàn)明暗交替，這樣給觀察造成極大的不便。        亮度與顏色均衡處理，通常的處理方式是通過(guò)相機(jī)的光照模型，校正一幅圖像內(nèi)部的光照不均勻性，然后通過(guò)相鄰兩幅圖像重疊區(qū)域之間的關(guān)系，建立相鄰兩幅圖像之間直方圖映射表，通過(guò)映射表對(duì)兩幅圖像做整體的映射變換，最終達(dá)到整體的亮度和顏色的一致性。二、國(guó)內(nèi)外現(xiàn)狀 

12、60;     全景拼接偵察系統(tǒng)在國(guó)外已經(jīng)有了較早的研究，早在1992年，劍橋大學(xué)的L.G.Brown就對(duì)圖像拼接的核心技術(shù)進(jìn)行總結(jié)，1996年微軟研究院的Richard Szeliski提出基于運(yùn)動(dòng)的全景拼接模型。Szeliski后來(lái)又相繼發(fā)表了若干這方面論文，2000年Shmuel Peleg提出改進(jìn)方法，根據(jù)相機(jī)的運(yùn)動(dòng)方式自適應(yīng)選擇拼接模型，2003年M.Brown發(fā)表了SIFT特征進(jìn)行圖像拼接的方法，但計(jì)算量很大，2007年Seong Jong Ha提出移動(dòng)相機(jī)系統(tǒng)的全景拼接方法，不僅保證效果，而且運(yùn)算速度也不錯(cuò)。       

13、; 在國(guó)內(nèi)方面，也有不少高?？蒲袡C(jī)構(gòu)對(duì)視頻拼接技術(shù)及應(yīng)用進(jìn)行研究，其中，上海凱視力成信息科技有限公司研發(fā)的“全景視覺(jué)態(tài)勢(shì)感知系統(tǒng)” 最具代表性，該系統(tǒng)功能完善、技術(shù)先進(jìn)、性能可靠，并已成功應(yīng)用于多種車(chē)型。        上海凱視力成信息科技有限公司全景視覺(jué)態(tài)勢(shì)感知系統(tǒng)PVS9112型是實(shí)時(shí)的全固態(tài)無(wú)機(jī)械運(yùn)動(dòng)的高清360度凝視視頻系統(tǒng)，系統(tǒng)提供實(shí)時(shí)的連續(xù)覆蓋整個(gè)戰(zhàn)場(chǎng)的全運(yùn)動(dòng)視頻，人機(jī)交互界面直觀快捷。系統(tǒng)適應(yīng)于惡劣環(huán)境，支持彩色和紅外傳感器，可以黑天和白天全天候工作，實(shí)時(shí)地圖像處理和高清視頻的顯示，顯示界面同時(shí)提供360度全景窗口和感興趣區(qū)域的高清畫(huà)面。系

14、統(tǒng)提供開(kāi)發(fā)式結(jié)構(gòu)，便于同其它系統(tǒng)如雷達(dá)等集成到一起，以獲得一個(gè)完整的態(tài)勢(shì)理解。 傳感頭：  圖8  幾種傳感頭圖形界面：圖9  PVS9112圖形界面特點(diǎn):· 實(shí)時(shí)的360度視頻全景顯示，便于對(duì)態(tài)勢(shì)的感知理解、安全監(jiān)視、目標(biāo)探測(cè)。從而提高平臺(tái)的攻擊能力和安全防護(hù)性。· 支持高清彩色和紅外傳感器。日夜均可工作。· 顯示全局拼接畫(huà)面、局部感興趣。· 圖形交互界面。并支持多種人機(jī)交互接口，支持觸摸屏、鼠標(biāo)、鍵盤(pán)、自定義按鍵、操縱搖桿等，可無(wú)縫接入已有系統(tǒng)。· 無(wú)運(yùn)動(dòng)部件，高可靠性。· 適應(yīng)車(chē)

15、船飛機(jī)等惡劣的工作環(huán)境?？蛇x特征:· 目標(biāo)檢測(cè)與告警· 自動(dòng)多目標(biāo)跟蹤· 視頻記錄和回放· 可選支持PTZ長(zhǎng)距離光電探測(cè)系統(tǒng)，在全景視頻上可以通過(guò)觸摸的方式控制PTZ的快速轉(zhuǎn)動(dòng)到指定的位置，克服了傳統(tǒng)操控PTZ方式的缺陷，使得PTZ攝像機(jī)的功效大大提高。· 圖像透霧增強(qiáng)算法· 電子穩(wěn)像算法開(kāi)放式體形架構(gòu)： 二、應(yīng)用        從圖像拼接的實(shí)際應(yīng)用來(lái)看，主要有大型航空照片，衛(wèi)星圖像拼接，車(chē)載系統(tǒng)監(jiān)控，虛擬場(chǎng)景實(shí)現(xiàn)，視頻壓縮；很多資料上都提及車(chē)載系統(tǒng)的拼接，這種拼接偵查系統(tǒng)可以用于不同

16、車(chē)輛，如反恐、安全監(jiān)視、偵察、巡邏和警車(chē)等；系統(tǒng)給操作者提供車(chē)輛周?chē)膶?shí)時(shí)全景圖像，使之能夠感知全面而豐富的態(tài)勢(shì)，操縱車(chē)輛的同時(shí)還可以有效將自己保護(hù)在車(chē)內(nèi)，不用通過(guò)車(chē)輛的擋風(fēng)玻璃就可以實(shí)時(shí)操控。全景圖像極大地增強(qiáng)了用戶(hù)的視覺(jué)感知系統(tǒng)，使其在特種車(chē)輛、軍用以及民用方面都擁有廣闊的市場(chǎng)前景。與傳統(tǒng)的多畫(huà)面監(jiān)控相比，全景拼接畫(huà)面更符合人眼觀察，極大地提高了偵察的準(zhǔn)確性。但很少提及機(jī)載系統(tǒng)，因此，機(jī)載方面只要設(shè)計(jì)合理，應(yīng)用前景是巨大的。應(yīng)用實(shí)例：        方式一：基本模式        攝像機(jī)組 + 一或兩個(gè)終端，支持記錄或不記錄，每個(gè)終端所顯示內(nèi)容可以不同。        方式二：增強(qiáng)模式