一種多通道fod自動檢測系統(tǒng)的設(shè)計

一種多通道fod自動檢測系統(tǒng)的設(shè)計

1機場跑道異物檢測系統(tǒng)的研發(fā)fod是指任何不屬于機場的東西，但可能對機場造成損失或飛機損壞的第三方。典型的FOD目標(biāo)有:混凝土瀝青碎塊、金屬器件、橡膠碎片、塑料制品、動植物。目前,國內(nèi)機場跑道監(jiān)察工作主要靠道面巡查人員每天四次步行檢查完成,在道面巡查時將關(guān)閉跑道,這使得航班通行能力大大降低。隨著實時視頻監(jiān)控技術(shù)和計算機視覺目標(biāo)識別技術(shù)日益成熟,開發(fā)自動化的機場跑道異物檢測系統(tǒng)已經(jīng)成為可能。為了快速檢測并清除機場跑道異物,文中提出了一種全天時、全天候、全自動、高檢測率的機場跑道異物檢測系統(tǒng)。系統(tǒng)包括由毫米波雷達(dá)、可見光攝像機、紅外熱成像攝像機組成的探測傳感器和在機場現(xiàn)有網(wǎng)絡(luò)下構(gòu)建的數(shù)據(jù)通訊網(wǎng)及FOD實時告警系統(tǒng),采用毫米波雷達(dá)信息,可見光、紅外圖像信息多源數(shù)據(jù)融合的目標(biāo)識別分類處理算法。2自動檢測設(shè)備主要用于型地面采空車2000年7月,法航協(xié)和號飛機失事后,各國開始了對FOD探測系統(tǒng)的研制,比較典型的有英國開發(fā)的TarsierRadar系統(tǒng)、以色列開發(fā)的FODetect系統(tǒng)、美國開發(fā)的FODFinder系統(tǒng)和新加坡開發(fā)的iFerret系統(tǒng)。各系統(tǒng)的特點如表1所示。美國的FODFinder系統(tǒng)主打車載式移動探測平臺,這種方式?jīng)]有根本改變需要人為參加FOD檢測的模式,而僅僅是使得檢測清理過程機械化,這一系統(tǒng)比較適合小型機場。以色列的FODetect系統(tǒng),產(chǎn)品體積較小,安裝在跑道邊燈,由120套子探測器覆蓋整個機場跑道,這種模式可以有效的避免跑道邊燈對探測系統(tǒng)的影響,但其工作環(huán)境緊鄰飛機,受強風(fēng),油污侵蝕嚴(yán)重。同時子探測器規(guī)模龐大,系統(tǒng)的開發(fā),維護成本較高。新加坡的iFerret智能檢測系統(tǒng)使用了星光級攝像設(shè)備,攝像系統(tǒng)24h對機場跑道進行拍攝以獲取目標(biāo),這種工作模式圖像處理數(shù)據(jù)量大,過程復(fù)雜,致命的缺點是可見光攝像機受光照影響很大,在跑道積水和黑夜的條件下檢測效率低。英國的TarsierRadar系統(tǒng)是目前較成熟的FOD檢測系統(tǒng),在多個國家的機場安裝,其第一代產(chǎn)品只有毫米波雷達(dá),安裝在跑道一側(cè),其后產(chǎn)品又加入了可見光及紅外燈光學(xué)攝像設(shè)備。TarsierRadar系統(tǒng)雖然加裝了光學(xué)攝像機,但其僅只是方便工作人員對FOD進行人工識別,TarsierRadar系統(tǒng)仍然沒有脫離需要人工判斷FOD這種模式。隨著可見光、紅外圖像融合識別技術(shù)的發(fā)展和紅外熱成像設(shè)備成本的降低,使用可見光攝像機與紅外熱成像攝像機對FOD目標(biāo)采集圖像并進行圖像融合檢測與識別,可實現(xiàn)FOD檢測系統(tǒng)的全天候、全天時與全自動。3系統(tǒng)的設(shè)計和研究3.1監(jiān)視與測量系統(tǒng)根據(jù)2009年FAA咨詢公告中給出的參考,提出了FOD系統(tǒng)應(yīng)具備的基本功能要求:①在各種環(huán)境條件下24h對跑道進行監(jiān)視;②同時對多個FOD目標(biāo)進行檢測與識別并給出不同級別的告警信號;③建立FOD數(shù)據(jù)庫記錄詳細(xì)的FOD信息以便后期調(diào)查分析。相應(yīng)的系統(tǒng)基本性能指標(biāo):①1.2km外能探測到直徑3cm的未經(jīng)涂色的球體;②可以分辨出相距3m的兩個FOD;③在4min以內(nèi)完成從FOD發(fā)現(xiàn)到識別與告警。3.2基于式監(jiān)控的機場異物檢測系統(tǒng)方案b機場跑道異物檢測系統(tǒng)方案:由毫米波雷達(dá)實時掃描跑道檢測FOD目標(biāo),光學(xué)攝像機拍攝FOD目標(biāo),使用終端數(shù)據(jù)處理計算機對毫米波雷達(dá)信息,可見光、紅外圖像信息進行綜合處理,通過機場現(xiàn)有網(wǎng)絡(luò)發(fā)出FOD威脅告警并將識別結(jié)果及其他信息告知監(jiān)控中心和清理站,再完成處理后FOD數(shù)據(jù)庫記錄目標(biāo)信息。毫米波雷達(dá)作為現(xiàn)代雷達(dá)技術(shù)發(fā)展的一個重要組成部分,其高分辨率的探測能力可以精確的檢測到跑道道面上的微小異物。為了能快速地提取FOD目標(biāo)的各種特征,判斷其對機場跑道的威脅等級,及時報警,加入可見光攝像機系統(tǒng)對FOD目標(biāo)拍照分析。而可見光視頻系統(tǒng)受光照,天氣等因素的影響較大,因此引入紅外熱成像攝像機系統(tǒng)輔助對跑道異物目標(biāo)進行檢測和識別。系統(tǒng)由3個工作平臺構(gòu)成:監(jiān)控塔,監(jiān)控中心,FOD清理工作站。三個工作平臺通過機場現(xiàn)有網(wǎng)絡(luò)進行數(shù)據(jù)交換與通訊。探測傳感器安裝于監(jiān)控塔上,監(jiān)控塔安裝在距跑道200m處,高度7m。傳感器塔架安裝模式有很多優(yōu)點,單一的塔架上空間充足,可以配置體積稍大的探測器提高其性能,可以配置探測器保護裝置保護設(shè)備,同時各傳感器安裝比較集中,可使用同一個終端信息計算機及時分析處理與傳輸數(shù)據(jù)。系統(tǒng)的物理分布方案如圖1所示,圖中包含監(jiān)控塔、監(jiān)控中心、FOD清理工作站3個主要的工作平臺。表2為3個系統(tǒng)所對應(yīng)的機場設(shè)施以及各個機場設(shè)施包含的硬件。檢測系統(tǒng)的主要工作流程如下:Step1系統(tǒng)啟動,工作人員就位,硬件系統(tǒng)啟動,軟件系統(tǒng)自檢。Step2監(jiān)控塔毫米波雷達(dá)開始對機場跑道進行不間斷掃描。Step3當(dāng)雷達(dá)檢測到異物時,啟動實時警報,并將FOD目標(biāo)距離位置信息發(fā)給光學(xué)攝像機。光學(xué)攝像機對FOD進行拍照,根據(jù)光學(xué)圖像對FOD目標(biāo)進行識別并給出威脅等級。Step4監(jiān)控塔將FOD完成識別的數(shù)據(jù)傳送給監(jiān)控中心,監(jiān)控中心做出決定是否需要清理,如果光學(xué)相機未能完成FOD識別,則監(jiān)控中心可手動操控雷達(dá)和光學(xué)相機對FOD目標(biāo)進行人工驗證與確認(rèn)。Step5收到監(jiān)控中心清除FOD指令后,清理工作站派出工作人員回收FOD,并把清理信息與FOD現(xiàn)場數(shù)據(jù)上傳監(jiān)控中心,監(jiān)控中心整理數(shù)據(jù)并保存。系統(tǒng)工作流程圖如圖2所示。根據(jù)智能機場異物檢測系統(tǒng)設(shè)施及設(shè)備表,設(shè)計了該系統(tǒng)的網(wǎng)絡(luò)拓?fù)鋱D,整個網(wǎng)絡(luò)采用星型網(wǎng)絡(luò)拓?fù)?。網(wǎng)絡(luò)傳輸?shù)慕橘|(zhì)根據(jù)監(jiān)控塔與機場塔臺控制中心的距離遠(yuǎn)近,使用光纖或是其他傳輸介質(zhì)。數(shù)據(jù)處理終端處理雷達(dá)、可見光、紅外圖像和視頻信息,并將FOD自動識別的結(jié)果進行集成發(fā)送給FOD數(shù)據(jù)處理中心。FOD數(shù)據(jù)處理中心接收數(shù)據(jù)信息及時顯示,并進行數(shù)據(jù)二次處理并存儲,同時系統(tǒng)服務(wù)器提供傳感器的控制功能,方便機場監(jiān)控人員控制各個傳感器或監(jiān)視其的工作狀態(tài)。數(shù)據(jù)備份服務(wù)器用于實時存儲當(dāng)前的機場跑道路FOD信息,監(jiān)控中心將FOD信息傳送給跑道清理人員,指導(dǎo)清理人員快速清理FOD。整個系統(tǒng)架構(gòu)如圖3所示。3.3勘探系統(tǒng)3.3.1低分辨率散射面積的fod目標(biāo)毫米波雷達(dá)相對于微波雷達(dá)天線和微波元器件較小,很適合安裝在機場跑道附近。毫米波雷達(dá)主要功能是在自動巡視狀態(tài)下全天不間斷的對跑道進行掃描,檢測到FOD時觸發(fā)警告,繪制FOD機場位置圖,將FOD的距離和坐標(biāo)信息發(fā)送給光學(xué)攝像機。在手動操作時,響應(yīng)FOD監(jiān)控中心進行遠(yuǎn)程操控。毫米波雷達(dá)測量的距離分辨率和測量距離的兩個重要性能指標(biāo)。雷達(dá)的距離分辨率正比于匹配濾波后的接受脈沖寬度,反比于帶寬,公式為:ΔR=cΔτ2(1)ΔR=c2B(2)ΔR=cΔτ2(1)ΔR=c2B(2)式中,ΔR為距離單元長度;c為光速;Δτ為匹配接受的脈沖寬度;B=1/Δτ為發(fā)射信號的帶寬。實際雷達(dá)需要的距離分辨率的高低是相對于目標(biāo)的。當(dāng)FOD目標(biāo)沿雷達(dá)視線方向的尺寸L大于等于ΔR時,雷達(dá)即可分辨,并將其視為一個點目標(biāo)或面目標(biāo)。毫米波雷達(dá)系統(tǒng)采用收發(fā)公用一臺天線,下式為雷達(dá)的探測距離的估算公式:Rmax=[ΡtA2rσ4πλ2Simin]14(3)Rmax=[ΡtG2rλ2σ(4π)3Simin]14(4)Rmax=[PtA2rσ4πλ2Simin]14(3)Rmax=[PtG2rλ2σ(4π)3Simin]14(4)式中,Rmax為雷達(dá)探測的最遠(yuǎn)距離;σ為目標(biāo)散射面積(RCS);Pt為雷達(dá)發(fā)射功率;At為接受天線的有效面積;G為天線增益;Simin為雷達(dá)可檢測到的最小回收信號功率。兩公式可通過天線增益和有效面積之間的關(guān)系G=4πA/λ2來轉(zhuǎn)換,而且公式未考慮設(shè)備的實際損耗,環(huán)境噪聲等因素,方程中目標(biāo)有效散射面積σ和最小可檢測信號Simin可通過大量現(xiàn)場實驗求得經(jīng)驗數(shù)據(jù)。式(3)、式(4)中除了σ散射面積其他參數(shù)均與雷達(dá)有關(guān),FOD目標(biāo)種類繁多,不同屬性的FOD目標(biāo),其散射面積σ計算方法不同而且比較復(fù)雜,但典型的FOD目標(biāo)是厘米級的物體,尺寸遠(yuǎn)大于毫米波雷達(dá)的波長,處在光學(xué)區(qū),其散射面積就是其幾何光學(xué)投影面積。毫米波雷達(dá)根據(jù)自身探測性能和探測的目標(biāo)需要配備相應(yīng)的轉(zhuǎn)動平臺。處在自動工作模式時,毫米波雷達(dá)全天對跑道進行掃描檢測,為了保證飛機在跑道上的安全,毫米波雷達(dá)對整個跑道的掃描時間應(yīng)該低于兩架次飛機通過跑道的時間。根據(jù)不同機場航班起降的頻繁程度可調(diào)整雷達(dá)轉(zhuǎn)動平臺的轉(zhuǎn)動速度。雷達(dá)掃描速度的公式為:轉(zhuǎn)動掃描速度=航班起降間隔時間180°(5)=航班起降間隔時間180°(5)3.3.2外熱成像攝像機fod目標(biāo)識別光學(xué)攝像機系統(tǒng)由可見光攝像機與紅外攝像機組成,主要功能是在接收到毫米波雷達(dá)系統(tǒng)給出的FOD目標(biāo)距離坐標(biāo)信號后對FOD目標(biāo)進行拍攝?？梢姽鈹z像機主要用于光照和天氣條件較好的環(huán)境下拍攝。FOD目標(biāo)環(huán)境圖像、FOD目標(biāo)精確圖像對后期FOD目標(biāo)的檢測和識別有很重要的作用,因此可見光攝像機具備同時拍攝廣角整體場景圖像和窄角局部精細(xì)圖像的能力,選用變焦能力較強的鏡頭即可滿足要求。鏡頭焦距與鏡頭視場角的關(guān)系為:鏡頭焦距越長,其鏡頭的視場角就越小。在鏡頭焦距一定的情況下,鏡頭規(guī)格與鏡頭視場角的關(guān)系為:鏡頭規(guī)格越大,其鏡頭的視場角也越大。因此在鏡頭物距一定的情況下,隨著鏡頭焦距的變大,拍攝到的畫面范圍就越小,但畫面細(xì)節(jié)越來越清晰,反之亦然。根據(jù)機場跑道背景相對簡單的特點,根據(jù)經(jīng)驗信息要實現(xiàn)FOD目標(biāo)3cm×3cm大小物體在可見光圖像中的檢測,一般來說需要4×4像素,而要達(dá)到目標(biāo)識別,需要15×15像素?？臻g分辨率是一個相機所能分辨的最小角尺度,它對相機的探測能力極為重要,可以通過下式得出空間分辨率:α=df(6)α=df(6)式中,α為相機某一方向上的空間分辨率(mrad);d為探測器與α同一方向上的像元尺寸(μm);f為相機鏡頭的焦距(mm)。而相機某一方向上的像元尺寸又與所選相機的成像CCD靶面尺寸和相機成像像素有關(guān):d=WΝ1(7)d=ΗΝ2(8)式中,d為探測器與α同一方向上的像元尺寸(μm);W,H為相機CCD靶面尺寸(μm);N1,N2為相機成像的像素。根據(jù)相機常用的探測和識別能力判定準(zhǔn)則,在目標(biāo)圖像有足夠?qū)Ρ榷鹊那闆r下,可以由下式得出相機對特定目標(biāo)的探測和識別距離。L=√abαβn1n2(9)式中,L為相機的作用距離(km);a,b為目標(biāo)的水平、垂直尺寸(m);α,β為相機的水平、垂直空間分辨率(mrad);n1,n2為目標(biāo)的水平、垂直像素數(shù)。由式(9)可以得出FOD目標(biāo)成像像素數(shù)與攝像機參數(shù),目標(biāo)自身參數(shù)的公式:n1n2=Ν1Ν2f2WΗ?abL2(10)公式的右邊第一項是攝像機相關(guān)參數(shù),右邊第二項是目標(biāo)相關(guān)參數(shù)。例如采用2000mm焦距鏡頭,4.8mm×3.6mm成像CCD,1600×1200像素的光學(xué)攝像機在1.2km外檢測3cm×3cm大小的FOD目標(biāo)成像像素為277,可以達(dá)到FOD的檢測與識別。紅外熱成像攝像機是被動接受目標(biāo)自身的紅外熱輻射,與氣候條件無關(guān),無論白天黑夜均可以正常工作,紅外線的波長較長,克服雨、雪、霧的能力較高。在完全無光時對物體成像,也可以在濃厚的煙幕、云霧中探測FOD目標(biāo)。在可見光圖像中類似瀝青碎塊等FOD目標(biāo)與背景跑道幾乎沒有差別,單一可見光探測器將會很難完成檢測和識別任務(wù),而在熱成像攝像機中分辨的是FOD目標(biāo)與跑道的熱輻射差異,因此紅外圖像中很容易從跑道背景檢測出目標(biāo)。熱成像相機中依然要考慮鏡頭、CCD尺寸、成像像素等因素,選擇的依據(jù)與可見光相機的相同,一般情況,熱成像相機的CCD像元較大。對于單一的熱成像紅外圖像,目標(biāo)成像2×2像素以上即可判為可以檢測,成像5×5像素即可判為可以識別。光學(xué)攝像機配備特制的轉(zhuǎn)動平臺,攝像機在毫米波雷達(dá)檢測到FOD目標(biāo)后對其瞄準(zhǔn)拍照。為了后期的FOD目標(biāo)識別算法及信息綜合處理能有充裕時間,需加速光學(xué)攝像機云臺的轉(zhuǎn)動速度。毫米波雷達(dá)可以精確的測量FOD目標(biāo)的距離和坐標(biāo)信息,因此預(yù)先在系統(tǒng)中建立一個雷達(dá)位置坐標(biāo)(X,Y)與光學(xué)攝像機轉(zhuǎn)臺俯仰水平角度(θ,φ)的函數(shù)表,同時也建立一個雷達(dá)探測距離l與相機焦距f的函數(shù)表,使用查找法快速瞄準(zhǔn)和聚焦拍攝FOD。同時考慮到在一次雷達(dá)掃描過程中,可能檢測到多個FOD,光學(xué)攝像機將對這些目標(biāo)進行逐一拍攝,然而跑道上不同位置的FOD其威脅等級也是不同的。對于處在高威脅區(qū)域的FOD應(yīng)該優(yōu)先處理。光學(xué)攝像機云臺控制系統(tǒng)建立一個待拍攝FOD的隊列,每次有新的拍攝任務(wù)時,預(yù)先對新FOD的位置信息進行預(yù)判,如果位置威脅等級高,則插入到隊列頭,光學(xué)攝像機中斷當(dāng)前拍攝優(yōu)先拍攝高威脅區(qū)域的FOD。3.4數(shù)據(jù)處理系統(tǒng)3.4.1融合識別算法目標(biāo)檢測與識別算法是機場跑道異物檢測系統(tǒng)數(shù)據(jù)處理的核心,在總體方案設(shè)計時為了能在各種光照和天氣條件下檢測和識別目標(biāo),使用了可見光攝像機和熱成像相機兩套獨立的傳感器。然而機場跑道異物檢測系統(tǒng)有明確的時間性能要求,因此融合識別的算法必需綜合考慮算法識別概率與算法識別速度,現(xiàn)提出融合算法策略如圖4所示。白天使用可見光圖像信息識別,黑夜使用紅外圖像信息識別,當(dāng)單傳感器信息拒絕給出識別結(jié)果時,使用融合識別。其中單傳感器的識別算法使用有監(jiān)督的機器學(xué)習(xí)機制的神經(jīng)網(wǎng)絡(luò)算法。利用大量的FOD目標(biāo)樣本圖像對識別算法進行訓(xùn)練,還可將在應(yīng)用過程中出現(xiàn)的FOD目標(biāo)對分類器進行再學(xué)習(xí)?？梢姽?、紅外圖像融合使用決策級的融合算法。這一識別算法策略的優(yōu)勢是通過大量的先驗信息來加快算法的識別速度。3.4.2fod目標(biāo)預(yù)警與預(yù)警機制系統(tǒng)根據(jù)FOD目標(biāo)識別的結(jié)果給出相對應(yīng)的告警等級,輔助工作人員做出決策。FOD目標(biāo)的種類和大小決定其威脅程度,中國民航總局機場司民航局安全技術(shù)中心給出了常見FOD目標(biāo)的威脅等級,現(xiàn)再根據(jù)FOD目標(biāo)在跑道的位置,給出系統(tǒng)的參考告警等級與處理策略,如表3所示。安裝在FOD監(jiān)控中心的遠(yuǎn)程監(jiān)控顯示系統(tǒng)根據(jù)接收到的數(shù)據(jù)等級做出適當(dāng)?shù)娘@示與警告,如表4所示。FOD目標(biāo)顯示高中低不同威脅等級時,界面用紅黃綠三種燈告警,使用不同頻率聲音告警。監(jiān)控中心根據(jù)計算機提供的自動告警信息與建議處理措施,可以立即做出決策通知清理目標(biāo),也可調(diào)用光學(xué)攝像機提供實時畫面,進一步確認(rèn)后做出決策。3.4.3視頻采集和視頻壓縮編碼當(dāng)終端計算機完成對FOD目標(biāo)的分析識別后,將把FOD目標(biāo)的圖像與識別結(jié)果信息發(fā)送給監(jiān)控中心,監(jiān)控中心根據(jù)識別結(jié)果向雷達(dá)或攝像機系統(tǒng)發(fā)送指令,這些信息數(shù)據(jù)量不大,現(xiàn)有局域網(wǎng)帶寬可以滿足要求。然而機場跑道系統(tǒng)的一個重要功能是為監(jiān)控中心的管理人員提供實時的跑道異物視頻,攝像機采集的每幀數(shù)據(jù)為752×582×24位,每秒25幀,及每秒采集的數(shù)據(jù)量在30M字節(jié)左右,普通的10/100M局域網(wǎng)帶寬不能滿足需求。為了獲得高壓縮率和高質(zhì)量的FOD監(jiān)控視頻,系統(tǒng)采用DivxMPEG-4對采集視頻壓縮編碼。MPEG-4是基于第二代壓縮編碼技術(shù)制定的國際標(biāo)準(zhǔn)。它以視聽媒體對象為基本單元,采用基于內(nèi)容的壓縮編碼。以實現(xiàn)數(shù)字視音頻、圖形合成應(yīng)用及交互式多媒體的集成。MPEG-4標(biāo)準(zhǔn)帶寬的適應(yīng)能力強,編碼效率高,具有良好的兼容性、伸縮性和可靠性。3.4.4fod數(shù)據(jù)庫的建立FOD數(shù)據(jù)信息是整個系統(tǒng)工作的基礎(chǔ),建立完善可靠的FOD數(shù)據(jù)庫是為準(zhǔn)確發(fā)現(xiàn)威脅源提供了數(shù)據(jù)保障,通過查詢分析歷史數(shù)據(jù)采取針對性措施可預(yù)防FOD的損傷危險。目標(biāo)識別與分類算法中選取適當(dāng)?shù)挠嬎銠C視覺特征和閾值系數(shù)可以有效地對FOD進行分類,在監(jiān)控塔的處理終端上建立FOD視覺特征數(shù)據(jù)庫,預(yù)先根據(jù)實驗樣本建立基礎(chǔ)數(shù)據(jù)庫,每發(fā)現(xiàn)一個FOD可更新一次數(shù)據(jù)庫使得目標(biāo)識別算法不斷完善更加有效。監(jiān)控中心的FOD數(shù)據(jù)處理中心上建立FOD基礎(chǔ)信息數(shù)據(jù)庫和FOD處理結(jié)果數(shù)據(jù)庫。基本信息包含每個FOD目標(biāo)的詳細(xì)信息,包括時間、位置、大小、類別等。FOD