一種多通道fod自動檢測系統(tǒng)的設計

一種多通道fod自動檢測系統(tǒng)的設計

1機場跑道異物檢測系統(tǒng)的研發(fā)fod是指任何不屬于機場的東西，但可能對機場造成損失或飛機損壞的第三方。典型的FOD目標有:混凝土瀝青碎塊、金屬器件、橡膠碎片、塑料制品、動植物。目前,國內機場跑道監(jiān)察工作主要靠道面巡查人員每天四次步行檢查完成,在道面巡查時將關閉跑道,這使得航班通行能力大大降低。隨著實時視頻監(jiān)控技術和計算機視覺目標識別技術日益成熟,開發(fā)自動化的機場跑道異物檢測系統(tǒng)已經成為可能。為了快速檢測并清除機場跑道異物,文中提出了一種全天時、全天候、全自動、高檢測率的機場跑道異物檢測系統(tǒng)。系統(tǒng)包括由毫米波雷達、可見光攝像機、紅外熱成像攝像機組成的探測傳感器和在機場現有網絡下構建的數據通訊網及FOD實時告警系統(tǒng),采用毫米波雷達信息,可見光、紅外圖像信息多源數據融合的目標識別分類處理算法。2自動檢測設備主要用于型地面采空車2000年7月,法航協和號飛機失事后,各國開始了對FOD探測系統(tǒng)的研制,比較典型的有英國開發(fā)的TarsierRadar系統(tǒng)、以色列開發(fā)的FODetect系統(tǒng)、美國開發(fā)的FODFinder系統(tǒng)和新加坡開發(fā)的iFerret系統(tǒng)。各系統(tǒng)的特點如表1所示。美國的FODFinder系統(tǒng)主打車載式移動探測平臺,這種方式沒有根本改變需要人為參加FOD檢測的模式,而僅僅是使得檢測清理過程機械化,這一系統(tǒng)比較適合小型機場。以色列的FODetect系統(tǒng),產品體積較小,安裝在跑道邊燈,由120套子探測器覆蓋整個機場跑道,這種模式可以有效的避免跑道邊燈對探測系統(tǒng)的影響,但其工作環(huán)境緊鄰飛機,受強風,油污侵蝕嚴重。同時子探測器規(guī)模龐大,系統(tǒng)的開發(fā),維護成本較高。新加坡的iFerret智能檢測系統(tǒng)使用了星光級攝像設備,攝像系統(tǒng)24h對機場跑道進行拍攝以獲取目標,這種工作模式圖像處理數據量大,過程復雜,致命的缺點是可見光攝像機受光照影響很大,在跑道積水和黑夜的條件下檢測效率低。英國的TarsierRadar系統(tǒng)是目前較成熟的FOD檢測系統(tǒng),在多個國家的機場安裝,其第一代產品只有毫米波雷達,安裝在跑道一側,其后產品又加入了可見光及紅外燈光學攝像設備。TarsierRadar系統(tǒng)雖然加裝了光學攝像機,但其僅只是方便工作人員對FOD進行人工識別,TarsierRadar系統(tǒng)仍然沒有脫離需要人工判斷FOD這種模式。隨著可見光、紅外圖像融合識別技術的發(fā)展和紅外熱成像設備成本的降低,使用可見光攝像機與紅外熱成像攝像機對FOD目標采集圖像并進行圖像融合檢測與識別,可實現FOD檢測系統(tǒng)的全天候、全天時與全自動。3系統(tǒng)的設計和研究3.1監(jiān)視與測量系統(tǒng)根據2009年FAA咨詢公告中給出的參考,提出了FOD系統(tǒng)應具備的基本功能要求:①在各種環(huán)境條件下24h對跑道進行監(jiān)視;②同時對多個FOD目標進行檢測與識別并給出不同級別的告警信號;③建立FOD數據庫記錄詳細的FOD信息以便后期調查分析。相應的系統(tǒng)基本性能指標:①1.2km外能探測到直徑3cm的未經涂色的球體;②可以分辨出相距3m的兩個FOD;③在4min以內完成從FOD發(fā)現到識別與告警。3.2基于式監(jiān)控的機場異物檢測系統(tǒng)方案b機場跑道異物檢測系統(tǒng)方案:由毫米波雷達實時掃描跑道檢測FOD目標,光學攝像機拍攝FOD目標,使用終端數據處理計算機對毫米波雷達信息,可見光、紅外圖像信息進行綜合處理,通過機場現有網絡發(fā)出FOD威脅告警并將識別結果及其他信息告知監(jiān)控中心和清理站,再完成處理后FOD數據庫記錄目標信息。毫米波雷達作為現代雷達技術發(fā)展的一個重要組成部分,其高分辨率的探測能力可以精確的檢測到跑道道面上的微小異物。為了能快速地提取FOD目標的各種特征,判斷其對機場跑道的威脅等級,及時報警,加入可見光攝像機系統(tǒng)對FOD目標拍照分析。而可見光視頻系統(tǒng)受光照,天氣等因素的影響較大,因此引入紅外熱成像攝像機系統(tǒng)輔助對跑道異物目標進行檢測和識別。系統(tǒng)由3個工作平臺構成:監(jiān)控塔,監(jiān)控中心,FOD清理工作站。三個工作平臺通過機場現有網絡進行數據交換與通訊。探測傳感器安裝于監(jiān)控塔上,監(jiān)控塔安裝在距跑道200m處,高度7m。傳感器塔架安裝模式有很多優(yōu)點,單一的塔架上空間充足,可以配置體積稍大的探測器提高其性能,可以配置探測器保護裝置保護設備,同時各傳感器安裝比較集中,可使用同一個終端信息計算機及時分析處理與傳輸數據。系統(tǒng)的物理分布方案如圖1所示,圖中包含監(jiān)控塔、監(jiān)控中心、FOD清理工作站3個主要的工作平臺。表2為3個系統(tǒng)所對應的機場設施以及各個機場設施包含的硬件。檢測系統(tǒng)的主要工作流程如下:Step1系統(tǒng)啟動,工作人員就位,硬件系統(tǒng)啟動,軟件系統(tǒng)自檢。Step2監(jiān)控塔毫米波雷達開始對機場跑道進行不間斷掃描。Step3當雷達檢測到異物時,啟動實時警報,并將FOD目標距離位置信息發(fā)給光學攝像機。光學攝像機對FOD進行拍照,根據光學圖像對FOD目標進行識別并給出威脅等級。Step4監(jiān)控塔將FOD完成識別的數據傳送給監(jiān)控中心,監(jiān)控中心做出決定是否需要清理,如果光學相機未能完成FOD識別,則監(jiān)控中心可手動操控雷達和光學相機對FOD目標進行人工驗證與確認。Step5收到監(jiān)控中心清除FOD指令后,清理工作站派出工作人員回收FOD,并把清理信息與FOD現場數據上傳監(jiān)控中心,監(jiān)控中心整理數據并保存。系統(tǒng)工作流程圖如圖2所示。根據智能機場異物檢測系統(tǒng)設施及設備表,設計了該系統(tǒng)的網絡拓撲圖,整個網絡采用星型網絡拓撲。網絡傳輸的介質根據監(jiān)控塔與機場塔臺控制中心的距離遠近,使用光纖或是其他傳輸介質。數據處理終端處理雷達、可見光、紅外圖像和視頻信息,并將FOD自動識別的結果進行集成發(fā)送給FOD數據處理中心。FOD數據處理中心接收數據信息及時顯示,并進行數據二次處理并存儲,同時系統(tǒng)服務器提供傳感器的控制功能,方便機場監(jiān)控人員控制各個傳感器或監(jiān)視其的工作狀態(tài)。數據備份服務器用于實時存儲當前的機場跑道路FOD信息,監(jiān)控中心將FOD信息傳送給跑道清理人員,指導清理人員快速清理FOD。整個系統(tǒng)架構如圖3所示。3.3勘探系統(tǒng)3.3.1低分辨率散射面積的fod目標毫米波雷達相對于微波雷達天線和微波元器件較小,很適合安裝在機場跑道附近。毫米波雷達主要功能是在自動巡視狀態(tài)下全天不間斷的對跑道進行掃描,檢測到FOD時觸發(fā)警告,繪制FOD機場位置圖,將FOD的距離和坐標信息發(fā)送給光學攝像機。在手動操作時,響應FOD監(jiān)控中心進行遠程操控。毫米波雷達測量的距離分辨率和測量距離的兩個重要性能指標。雷達的距離分辨率正比于匹配濾波后的接受脈沖寬度,反比于帶寬,公式為:ΔR=cΔτ2(1)ΔR=c2B(2)ΔR=cΔτ2(1)ΔR=c2B(2)式中,ΔR為距離單元長度;c為光速;Δτ為匹配接受的脈沖寬度;B=1/Δτ為發(fā)射信號的帶寬。實際雷達需要的距離分辨率的高低是相對于目標的。當FOD目標沿雷達視線方向的尺寸L大于等于ΔR時,雷達即可分辨,并將其視為一個點目標或面目標。毫米波雷達系統(tǒng)采用收發(fā)公用一臺天線,下式為雷達的探測距離的估算公式:Rmax=[ΡtA2rσ4πλ2Simin]14(3)Rmax=[ΡtG2rλ2σ(4π)3Simin]14(4)Rmax=[PtA2rσ4πλ2Simin]14(3)Rmax=[PtG2rλ2σ(4π)3Simin]14(4)式中,Rmax為雷達探測的最遠距離;σ為目標散射面積(RCS);Pt為雷達發(fā)射功率;At為接受天線的有效面積;G為天線增益;Simin為雷達可檢測到的最小回收信號功率。兩公式可通過天線增益和有效面積之間的關系G=4πA/λ2來轉換,而且公式未考慮設備的實際損耗,環(huán)境噪聲等因素,方程中目標有效散射面積σ和最小可檢測信號Simin可通過大量現場實驗求得經驗數據。式(3)、式(4)中除了σ散射面積其他參數均與雷達有關,FOD目標種類繁多,不同屬性的FOD目標,其散射面積σ計算方法不同而且比較復雜,但典型的FOD目標是厘米級的物體,尺寸遠大于毫米波雷達的波長,處在光學區(qū),其散射面積就是其幾何光學投影面積。毫米波雷達根據自身探測性能和探測的目標需要配備相應的轉動平臺。處在自動工作模式時,毫米波雷達全天對跑道進行掃描檢測,為了保證飛機在跑道上的安全,毫米波雷達對整個跑道的掃描時間應該低于兩架次飛機通過跑道的時間。根據不同機場航班起降的頻繁程度可調整雷達轉動平臺的轉動速度。雷達掃描速度的公式為:轉動掃描速度=航班起降間隔時間180°(5)=航班起降間隔時間180°(5)3.3.2外熱成像攝像機fod目標識別光學攝像機系統(tǒng)由可見光攝像機與紅外攝像機組成,主要功能是在接收到毫米波雷達系統(tǒng)給出的FOD目標距離坐標信號后對FOD目標進行拍攝?？梢姽鈹z像機主要用于光照和天氣條件較好的環(huán)境下拍攝。FOD目標環(huán)境圖像、FOD目標精確圖像對后期FOD目標的檢測和識別有很重要的作用,因此可見光攝像機具備同時拍攝廣角整體場景圖像和窄角局部精細圖像的能力,選用變焦能力較強的鏡頭即可滿足要求。鏡頭焦距與鏡頭視場角的關系為:鏡頭焦距越長,其鏡頭的視場角就越小。在鏡頭焦距一定的情況下,鏡頭規(guī)格與鏡頭視場角的關系為:鏡頭規(guī)格越大,其鏡頭的視場角也越大。因此在鏡頭物距一定的情況下,隨著鏡頭焦距的變大,拍攝到的畫面范圍就越小,但畫面細節(jié)越來越清晰,反之亦然。根據機場跑道背景相對簡單的特點,根據經驗信息要實現FOD目標3cm×3cm大小物體在可見光圖像中的檢測,一般來說需要4×4像素,而要達到目標識別,需要15×15像素。空間分辨率是一個相機所能分辨的最小角尺度,它對相機的探測能力極為重要,可以通過下式得出空間分辨率:α=df(6)α=df(6)式中,α為相機某一方向上的空間分辨率(mrad);d為探測器與α同一方向上的像元尺寸(μm);f為相機鏡頭的焦距(mm)。而相機某一方向上的像元尺寸又與所選相機的成像CCD靶面尺寸和相機成像像素有關:d=WΝ1(7)d=ΗΝ2(8)式中,d為探測器與α同一方向上的像元尺寸(μm);W,H為相機CCD靶面尺寸(μm);N1,N2為相機成像的像素。根據相機常用的探測和識別能力判定準則,在目標圖像有足夠對比度的情況下,可以由下式得出相機對特定目標的探測和識別距離。L=√abαβn1n2(9)式中,L為相機的作用距離(km);a,b為目標的水平、垂直尺寸(m);α,β為相機的水平、垂直空間分辨率(mrad);n1,n2為目標的水平、垂直像素數。由式(9)可以得出FOD目標成像像素數與攝像機參數,目標自身參數的公式:n1n2=Ν1Ν2f2WΗ?abL2(10)公式的右邊第一項是攝像機相關參數,右邊第二項是目標相關參數。例如采用2000mm焦距鏡頭,4.8mm×3.6mm成像CCD,1600×1200像素的光學攝像機在1.2km外檢測3cm×3cm大小的FOD目標成像像素為277,可以達到FOD的檢測與識別。紅外熱成像攝像機是被動接受目標自身的紅外熱輻射,與氣候條件無關,無論白天黑夜均可以正常工作,紅外線的波長較長,克服雨、雪、霧的能力較高。在完全無光時對物體成像,也可以在濃厚的煙幕、云霧中探測FOD目標。在可見光圖像中類似瀝青碎塊等FOD目標與背景跑道幾乎沒有差別,單一可見光探測器將會很難完成檢測和識別任務,而在熱成像攝像機中分辨的是FOD目標與跑道的熱輻射差異,因此紅外圖像中很容易從跑道背景檢測出目標。熱成像相機中依然要考慮鏡頭、CCD尺寸、成像像素等因素,選擇的依據與可見光相機的相同,一般情況,熱成像相機的CCD像元較大。對于單一的熱成像紅外圖像,目標成像2×2像素以上即可判為可以檢測,成像5×5像素即可判為可以識別。光學攝像機配備特制的轉動平臺,攝像機在毫米波雷達檢測到FOD目標后對其瞄準拍照。為了后期的FOD目標識別算法及信息綜合處理能有充裕時間,需加速光學攝像機云臺的轉動速度。毫米波雷達可以精確的測量FOD目標的距離和坐標信息,因此預先在系統(tǒng)中建立一個雷達位置坐標(X,Y)與光學攝像機轉臺俯仰水平角度(θ,φ)的函數表,同時也建立一個雷達探測距離l與相機焦距f的函數表,使用查找法快速瞄準和聚焦拍攝FOD。同時考慮到在一次雷達掃描過程中,可能檢測到多個FOD,光學攝像機將對這些目標進行逐一拍攝,然而跑道上不同位置的FOD其威脅等級也是不同的。對于處在高威脅區(qū)域的FOD應該優(yōu)先處理。光學攝像機云臺控制系統(tǒng)建立一個待拍攝FOD的隊列,每次有新的拍攝任務時,預先對新FOD的位置信息進行預判,如果位置威脅等級高,則插入到隊列頭,光學攝像機中斷當前拍攝優(yōu)先拍攝高威脅區(qū)域的FOD。3.4數據處理系統(tǒng)3.4.1融合識別算法目標檢測與識別算法是機場跑道異物檢測系統(tǒng)數據處理的核心,在總體方案設計時為了能在各種光照和天氣條件下檢測和識別目標,使用了可見光攝像機和熱成像相機兩套獨立的傳感器。然而機場跑道異物檢測系統(tǒng)有明確的時間性能要求,因此融合識別的算法必需綜合考慮算法識別概率與算法識別速度,現提出融合算法策略如圖4所示。白天使用可見光圖像信息識別,黑夜使用紅外圖像信息識別,當單傳感器信息拒絕給出識別結果時,使用融合識別。其中單傳感器的識別算法使用有監(jiān)督的機器學習機制的神經網絡算法。利用大量的FOD目標樣本圖像對識別算法進行訓練,還可將在應用過程中出現的FOD目標對分類器進行再學習?？梢姽?、紅外圖像融合使用決策級的融合算法。這一識別算法策略的優(yōu)勢是通過大量的先驗信息來加快算法的識別速度。3.4.2fod目標預警與預警機制系統(tǒng)根據FOD目標識別的結果給出相對應的告警等級,輔助工作人員做出決策。FOD目標的種類和大小決定其威脅程度,中國民航總局機場司民航局安全技術中心給出了常見FOD目標的威脅等級,現再根據FOD目標在跑道的位置,給出系統(tǒng)的參考告警等級與處理策略,如表3所示。安裝在FOD監(jiān)控中心的遠程監(jiān)控顯示系統(tǒng)根據接收到的數據等級做出適當的顯示與警告,如表4所示。FOD目標顯示高中低不同威脅等級時,界面用紅黃綠三種燈告警,使用不同頻率聲音告警。監(jiān)控中心根據計算機提供的自動告警信息與建議處理措施,可以立即做出決策通知清理目標,也可調用光學攝像機提供實時畫面,進一步確認后做出決策。3.4.3視頻采集和視頻壓縮編碼當終端計算機完成對FOD目標的分析識別后,將把FOD目標的圖像與識別結果信息發(fā)送給監(jiān)控中心,監(jiān)控中心根據識別結果向雷達或攝像機系統(tǒng)發(fā)送指令,這些信息數據量不大,現有局域網帶寬可以滿足要求。然而機場跑道系統(tǒng)的一個重要功能是為監(jiān)控中心的管理人員提供實時的跑道異物視頻,攝像機采集的每幀數據為752×582×24位,每秒25幀,及每秒采集的數據量在30M字節(jié)左右,普通的10/100M局域網帶寬不能滿足需求。為了獲得高壓縮率和高質量的FOD監(jiān)控視頻,系統(tǒng)采用DivxMPEG-4對采集視頻壓縮編碼。MPEG-4是基于第二代壓縮編碼技術制定的國際標準。它以視聽媒體對象為基本單元,采用基于內容的壓縮編碼。以實現數字視音頻、圖形合成應用及交互式多媒體的集成。MPEG-4標準帶寬的適應能力強,編碼效率高,具有良好的兼容性、伸縮性和可靠性。3.4.4fod數據庫的建立FOD數據信息是整個系統(tǒng)工作的基礎,建立完善可靠的FOD數據庫是為準確發(fā)現威脅源提供了數據保障,通過查詢分析歷史數據采取針對性措施可預防FOD的損傷危險。目標識別與分類算法中選取適當的計算機視覺特征和閾值系數可以有效地對FOD進行分類,在監(jiān)控塔的處理終端上建立FOD視覺特征數據庫,預先根據實驗樣本建立基礎數據庫,每發(fā)現一個FOD可更新一次數據庫使得目標識別算法不斷完善更加有效。監(jiān)控中心的FOD數據處理中心上建立FOD基礎信息數據庫和FOD處理結果數據庫?；拘畔總€FOD目標的詳細信息,包括時間、位置、大小、類別等。FOD