第七章 多傳感器信息融合技術(shù)

第七章多傳感器信息融合技術(shù)第一頁，共二十六頁，2022年，8月28日第一節(jié)概述傳感器信息融合又稱數(shù)據(jù)融合，是對多種信息的獲取、表示及其內(nèi)在聯(lián)系進(jìn)行綜合處理和優(yōu)化的技術(shù)。傳感器信息融合技術(shù)從多信息的視角進(jìn)行處理及綜合，得到各種信息的內(nèi)在聯(lián)系和規(guī)律，從而剔除無用的和錯誤的信息，保留正確的和有用的成分，最終實(shí)現(xiàn)信息的優(yōu)化。它也為智能信息處理技術(shù)的研究提供了新的觀念。定義：將經(jīng)過集成處理的多傳感器信息進(jìn)行合成，形成一種對外部環(huán)境或被測對象某一特征的表達(dá)方式。單一傳感器只能獲得環(huán)境或被測對象的部分信息段，而多傳感器信息經(jīng)過融合后能夠完善地、準(zhǔn)確地反映環(huán)境的特征。經(jīng)過融合后的傳感器信息具有以下特征：信息冗余性、信息互補(bǔ)性、信息實(shí)時性、信息獲取的低成本性。一、概念第二頁，共二十六頁，2022年，8月28日二、意義及應(yīng)用信息融合技術(shù)的實(shí)現(xiàn)和發(fā)展以信息電子學(xué)的原理、方法、技術(shù)為基礎(chǔ)。信息融合系統(tǒng)要采用多種傳感器收集各種信息，包括聲、光、電、運(yùn)動、視覺、觸覺、力覺以及語言文字等。信息融合技術(shù)中的分布式信息處理結(jié)構(gòu)通過無線網(wǎng)絡(luò)、有線網(wǎng)絡(luò)，智能網(wǎng)絡(luò)，寬帶智能綜合數(shù)字網(wǎng)絡(luò)等匯集信息，傳給融合中心進(jìn)行融合。除了自然(物理)信息外，信息融合技術(shù)還融合社會類信息，以語言文字為代表，涉及到大規(guī)模漢語資料庫、語言知識的獲取理論與方法、機(jī)器翻譯、自然語言解釋與處理技術(shù)等，信息融合采用分形、混沌、模糊推理、人工神經(jīng)網(wǎng)絡(luò)等數(shù)學(xué)和物理的理論及方法。它的發(fā)展方向是對非線性、復(fù)雜環(huán)境因素的不同性質(zhì)的信息進(jìn)行綜合、相關(guān)，從各個不同的角度去觀察、探測世界。1、在信息電子學(xué)領(lǐng)域

第三頁，共二十六頁，2022年，8月28日2、在計算機(jī)科學(xué)領(lǐng)域在計算機(jī)科學(xué)中，目前正開展著并行數(shù)據(jù)庫、主動數(shù)據(jù)庫、多數(shù)據(jù)庫的研究。信息融合要求系統(tǒng)能適應(yīng)變化的外部世界，因此，空間、時間數(shù)據(jù)庫的概念應(yīng)運(yùn)而生，為數(shù)據(jù)融合提供了保障。空間意味著不同種類的數(shù)據(jù)來自于不同的空間地點(diǎn)，時間意味著數(shù)據(jù)庫能隨時間的變化適應(yīng)客觀環(huán)境的相應(yīng)變化。信息融合處理過程要求有相應(yīng)的數(shù)據(jù)庫原理和結(jié)構(gòu)，以便融合隨時間、空間變化了的數(shù)據(jù)。在信息融合的思想下，提出的空間、時間數(shù)據(jù)庫，是計算機(jī)科學(xué)的一個重要的研究方向。第四頁，共二十六頁，2022年，8月28日3、在自動化領(lǐng)域以各種控制理論為基礎(chǔ)，信息融合技術(shù)采用模糊控制、智能控制、進(jìn)化計算等系統(tǒng)理論，結(jié)合生物、經(jīng)濟(jì)、社會、軍事等領(lǐng)域的知識，進(jìn)行定性、定量分析。按照人腦的功能和原理進(jìn)行視覺、聽覺、觸覺、力覺、知覺、注意、記憶、學(xué)習(xí)和更高級的認(rèn)識過程，將空間、時間的信息進(jìn)行融合，對數(shù)據(jù)和信息進(jìn)行自動解釋，對環(huán)境和態(tài)勢給予判定。目前的控制技術(shù)，已從程序控制進(jìn)入了建立在信息融合基礎(chǔ)上的智能控制。智能控制系統(tǒng)不僅用于軍事，還應(yīng)用于工廠企業(yè)的生產(chǎn)過程控制和產(chǎn)供銷管理、城市建設(shè)規(guī)劃、道路交通管理、商業(yè)管理、金融管理與預(yù)測、地質(zhì)礦產(chǎn)資源管理、環(huán)境監(jiān)測與保護(hù)、糧食作物生長監(jiān)測、災(zāi)害性天氣預(yù)報及防治等涉及宏觀、微觀和社會的各行各業(yè)。第五頁，共二十六頁，2022年，8月28日三、優(yōu)點(diǎn)增加了系統(tǒng)的生存能力擴(kuò)展了空間覆蓋范圍擴(kuò)展了時間覆蓋范圍提高了可信度降低了信息的模糊度改善了探測性能提高了空間分辨率增加了測量空間的維數(shù)第六頁，共二十六頁，2022年，8月28日第二節(jié)傳感器信息融合分類和結(jié)構(gòu)1、組合：由多個傳感器組合成平行或互補(bǔ)方式來獲得多組數(shù)據(jù)輸出的一種處理方法，是一種最基本的方式，涉及的問題有輸出方式的協(xié)調(diào)、綜合以及傳感器的選擇。在硬件這一級上應(yīng)用。2、綜合：信息優(yōu)化處理中的一種獲得明確信息的有效方法。例：在虛擬現(xiàn)實(shí)技術(shù)中，使用兩個分開設(shè)置的攝像機(jī)同時拍攝到一個物體的不同側(cè)面的兩幅圖像，綜合這兩幅圖像可以復(fù)原出一個準(zhǔn)確的有立體感的物體的圖像。3、融合：當(dāng)將傳感器數(shù)據(jù)組之間進(jìn)行相關(guān)或?qū)鞲衅鲾?shù)據(jù)與系統(tǒng)內(nèi)部的知識模型進(jìn)行相關(guān)，而產(chǎn)生信息的一個新的表達(dá)式。4、相關(guān)：通過處理傳感器信息獲得某些結(jié)果，不僅需要單項(xiàng)信息處理，而且需要通過相關(guān)來進(jìn)行處理，獲悉傳感器數(shù)據(jù)組之間的關(guān)系，從而得到正確信息，剔除無用和錯誤的信息。相關(guān)處理的目的：對識別、預(yù)測、學(xué)習(xí)和記憶等過程的信息進(jìn)行綜合和優(yōu)化。一、傳感器信息融合分類第七頁，共二十六頁，2022年，8月28日二、信息融合的結(jié)構(gòu)信息融合的結(jié)構(gòu)分為串聯(lián)和并聯(lián)兩種SnS2S1Y1Y2YnC1C2CnYSC1C2Cn(a)串聯(lián)(b)并聯(lián)C1，C2，…，Cn表示n個傳感器S1,S2,…，Sn表示來自各個傳感器信息融合中心的數(shù)據(jù)y1，y2，…，yn表示融合中心?！诎隧?，共二十六頁，2022年，8月28日三、信息融合系統(tǒng)結(jié)構(gòu)的實(shí)例一種雷達(dá)測量的信息融合結(jié)構(gòu)局部處理器局部處理器

外部邏輯中央處理器傳感器信號傳感器信號先驗(yàn)信息修正信息先驗(yàn)信息修正信息傳感器故障檢測系統(tǒng)第九頁，共二十六頁，2022年，8月28日第三節(jié)傳感器信息融合的一般方法

由多種傳感器所獲得的客觀環(huán)境(即被測對象)的多組數(shù)據(jù)就是客觀環(huán)境按照某種映射關(guān)系形成的像，信息融合就是通過像求解原像，即對客觀環(huán)境加以了解。用數(shù)學(xué)語言描述就是，所有傳感器的全部信息，也只能描述環(huán)境的某些方面的特征，而具有這些特征的環(huán)境卻有很多，要使一組數(shù)據(jù)對應(yīng)惟一的環(huán)境(即上述映射為一一映射)，就必須對映射的原像和映射本身加約束條件，使問題能有惟一的解。嵌入約束法最基本的方法：Bayes估計和卡爾曼濾波嵌入約束法、證據(jù)組合法、人工神經(jīng)網(wǎng)絡(luò)法一、嵌入約束法第十頁，共二十六頁，2022年，8月28日1.Bayes估計是融合靜態(tài)環(huán)境中多傳感器低層數(shù)據(jù)的一種常用方法。其信息描述為概率分布，適用于具有可加高斯噪聲的不確定性信息。假定完成任務(wù)所需的有關(guān)環(huán)境的特征物用向量f表示，通過傳感器獲得的數(shù)據(jù)信息用向量d來表示，d和f都可看作是隨機(jī)向量。信息融合的任務(wù)就是由數(shù)據(jù)d推導(dǎo)和估計環(huán)境f。假設(shè)p(f，d)為隨機(jī)向量f和d的聯(lián)合概率分布密度函數(shù)，則p(f|d)表示在已知d的條件下，f關(guān)于d的條件概率密度函數(shù)p(f|d)表示在已知f的條件下，d關(guān)于f的條件概率密度函數(shù)p(d)和p(f)分別表示d和f的邊緣分布密度函數(shù)已知d時，要推斷f，只須掌握p(f|d)即可，即上式為概率論中的Bayes公式，是嵌入約束法的核心。第十一頁，共二十六頁，2022年，8月28日信息融合通過數(shù)據(jù)信息d做出對環(huán)境f的推斷，即求解p(f|d)。由Bayes公式知，只須知道p(f|d)和p(f)即可。因?yàn)閜(d)可看作是使p(f|d)?p(f)成為概率密度函數(shù)的歸一化常數(shù)，p(d|f)是在已知客觀環(huán)境變量f的情況下，傳感器得到的d關(guān)于f的條件密度。當(dāng)環(huán)境情況和傳感器性能已知時，p(f|d)由決定環(huán)境和傳感器原理的物理規(guī)律完全確定。而p(f)可通過先驗(yàn)知識的獲取和積累，逐步漸近準(zhǔn)確地得到，因此，一般總能對p(f)有較好的近似描述。在嵌入約束法中，反映客觀環(huán)境和傳感器性能與原理的各種約束條件主要體現(xiàn)在p(f|d)

中，而反映主觀經(jīng)驗(yàn)知識的各種約束條件主要體現(xiàn)在p(f)中。在傳感器信息融合的實(shí)際應(yīng)用過程中，通常的情況是在某一時刻從多種傳感器得到一組數(shù)據(jù)信息d，由這一組數(shù)據(jù)給出當(dāng)前環(huán)境的一個估計f。因此,實(shí)際中應(yīng)用較多的方法是尋找最大后驗(yàn)估計g，即第十二頁，共二十六頁，2022年，8月28日即最大后驗(yàn)估計是在已知數(shù)據(jù)為d的條件下，使后驗(yàn)概率密度p(f)取得最大值得點(diǎn)g，根據(jù)概率論，最大后驗(yàn)估計g滿足當(dāng)p(f)為均勻分布時，最大后驗(yàn)估計g滿足

此時，最大后驗(yàn)概率也稱為極大似然估計。當(dāng)傳感器組的觀測坐標(biāo)一致時，可以用直接法對傳感器測量數(shù)據(jù)進(jìn)行融合。在大多數(shù)情況下，多傳感器從不同的坐標(biāo)框架對環(huán)境中同一物體進(jìn)行描述，這時傳感器測量數(shù)據(jù)要以間接的方式采用Bayes估計進(jìn)行數(shù)據(jù)融合。間接法要解決的問題是求出與多個傳感器讀數(shù)相一致的旋轉(zhuǎn)矩陣R和平移矢量H。第十三頁，共二十六頁，2022年，8月28日在傳感器數(shù)據(jù)進(jìn)行融合之前，必須確保測量數(shù)據(jù)代表同一實(shí)物，即要對傳感器測量進(jìn)行一致性檢驗(yàn)。常用以下距離公式來判斷傳感器測量信息的一致：式中x1和x2為兩個傳感器測量信號，C為與兩個傳感器相關(guān)聯(lián)的方差陣，當(dāng)距離T小于某個閾值時，兩個傳感器測量值具有一致性。這種方法的實(shí)質(zhì)是剔除處于誤差狀態(tài)的傳感器信息而保留“一致傳感器”數(shù)據(jù)計算融合值。

第十四頁，共二十六頁，2022年，8月28日2.卡爾曼濾波(KF)用于實(shí)時融合動態(tài)的低層次冗余傳感器數(shù)據(jù)，該方法用測量模型的統(tǒng)計特性，遞推決定統(tǒng)計意義下最優(yōu)融合數(shù)據(jù)合計。如果系統(tǒng)具有線性動力學(xué)模型，且系統(tǒng)噪聲和傳感器噪聲可用高斯分布的白噪聲模型來表示，KF為融合數(shù)據(jù)提供惟一的統(tǒng)計意義下的最優(yōu)估計，KF的遞推特性使系統(tǒng)數(shù)據(jù)處理不需大量的數(shù)據(jù)存儲和計算。KF分為分散卡爾曼濾波(DKF)和擴(kuò)展卡爾曼濾波(EKF)。DKF可實(shí)現(xiàn)多傳感器數(shù)據(jù)融合完全分散化，其優(yōu)點(diǎn)：每個傳感器節(jié)點(diǎn)失效不會導(dǎo)致整個系統(tǒng)失效。而EKF的優(yōu)點(diǎn)：可有效克服數(shù)據(jù)處理不穩(wěn)定性或系統(tǒng)模型線性程度的誤差對融合過程產(chǎn)生的影響。嵌入約束法傳感器信息融合的最基本方法之一，其缺點(diǎn)：需要對多源數(shù)據(jù)的整體物理規(guī)律有較好的了解，才能準(zhǔn)確地獲得p(d|f)，但需要預(yù)知先驗(yàn)分布p(f)。第十五頁，共二十六頁，2022年，8月28日二、證據(jù)組合法證據(jù)組合法認(rèn)為完成某項(xiàng)智能任務(wù)是依據(jù)有關(guān)環(huán)境某方面的信息做出幾種可能的決策，而多傳感器數(shù)據(jù)信息在一定程度上反映環(huán)境這方面的情況。因此，分析每一數(shù)據(jù)作為支持某種決策證據(jù)的支持程度，并將不同傳感器數(shù)據(jù)的支持程度進(jìn)行組合，即證據(jù)組合，分析得出現(xiàn)有組合證據(jù)支持程度最大的決策作為信息融合的結(jié)果。證據(jù)組合法是對完成某一任務(wù)的需要而處理多種傳感器的數(shù)據(jù)信息，完成某項(xiàng)智能任務(wù)，實(shí)際是做出某項(xiàng)行動決策。它先對單個傳感器數(shù)據(jù)信息每種可能決策的支持程度給出度量(即數(shù)據(jù)信息作為證據(jù)對決策的支持程度)，再尋找一種證據(jù)組合方法或規(guī)則，在已知兩個不同傳感器數(shù)據(jù)(即證據(jù))對決策的分別支持程度時，通過反復(fù)運(yùn)用組合規(guī)則，最終得出全體數(shù)據(jù)信息的聯(lián)合體對某決策總的支持程度。得到最大證據(jù)支持決策，即信息融合的結(jié)果。第十六頁，共二十六頁，2022年，8月28日證據(jù)組合法較嵌入約束法優(yōu)點(diǎn)：

(1)對多種傳感器數(shù)據(jù)間的物理關(guān)系不必準(zhǔn)確了解，即無須準(zhǔn)確地建立多種傳感器數(shù)據(jù)體的模型；

(2)通用性好，可以建立一種獨(dú)立于各類具體信息融合問題背景形式的證據(jù)組合方法，有利于設(shè)計通用的信息融合軟、硬件產(chǎn)品；

(3)人為的先驗(yàn)知識可以視同數(shù)據(jù)信息一樣，賦予對決策的支持程度，參與證據(jù)組合運(yùn)算。常用證據(jù)組合方法：概率統(tǒng)計方法

Dempster-Shafer證據(jù)推理利用證據(jù)組合進(jìn)行數(shù)據(jù)融合的關(guān)鍵在于：選擇合適的數(shù)學(xué)方法描述證據(jù)、決策和支持程度等概念建立快速、可靠并且便于實(shí)現(xiàn)的通用證據(jù)組合算法結(jié)構(gòu)第十七頁，共二十六頁，2022年，8月28日1.概率統(tǒng)計方法假設(shè)一組隨機(jī)向量x1，x2，…，xn分別表示n個不同傳感器得到的數(shù)據(jù)信息，根據(jù)每一個數(shù)據(jù)xi可對所完成的任務(wù)做出一決策di。xi的概率分布為pai(xi)，ai為該分布函數(shù)中的未知參數(shù)，若參數(shù)已知時，則xi的概率分布就完全確定了。用非負(fù)函數(shù)L(ai，di)表示當(dāng)分布參數(shù)確定為ai時，第i個信息源采取決策dj時所造成的損失函數(shù)。在實(shí)際問題中，ai是未知的，因此，當(dāng)?shù)玫絰i時，并不能直接從損失函數(shù)中定出最優(yōu)決策。先由xi做出ai的一個估計，記為ai(xi)，再由損失函數(shù)L[ai(xi),di]決定出損失最小的決策。其中利用xi估計ai的估計量ai(xi)有很多種方法。概率統(tǒng)計方法適用于分布式傳感器目標(biāo)識別和跟蹤信息融合問題第十八頁，共二十六頁，2022年，8月28日2.Dempster-Shafer證據(jù)推理(簡稱D-S推理)假設(shè)F為所有可能證據(jù)所構(gòu)成的有限集，為集合F中的某個元素即某個證據(jù)，首先引入信任函數(shù)B(f)∈[0，1]表示每個證據(jù)的信任程度：從上式可知，信任函數(shù)是概率概念的推廣，因?yàn)閺母怕收摰闹R出發(fā)，上式應(yīng)取等號。

引入基礎(chǔ)概率分配函數(shù)m(f)∈[0，1]

由基礎(chǔ)概率分配函數(shù)定義與之相對應(yīng)的信任函數(shù)：第十九頁，共二十六頁，2022年，8月28日當(dāng)利用N個傳感器檢測環(huán)境M個特征時，每一個特征為F中的—個元素。第i個傳感器在第k-1時刻所獲得的包括k—1時刻前關(guān)于第j個特征的所有證據(jù)，用基礎(chǔ)概率分配函數(shù)表示，其中i=1，2，…，m。第i個傳感器在第k時刻所獲得的關(guān)于第j個特征的新證據(jù)用基礎(chǔ)概率分配函數(shù)表示。由和可獲得第i個傳感器在第k時刻關(guān)于第j個特征的聯(lián)合證據(jù)。類似地，利用證據(jù)組合算法，由和可獲得在k時刻關(guān)于第j個特征的第i個傳感器和第i+1個傳感器的聯(lián)合證據(jù)。如此遞推下去，可獲得所有N個傳感器在k時刻對j特征的信任函數(shù)，信任度最大的即為信息融合過程最終判定的環(huán)境特征。D-S證據(jù)推理優(yōu)點(diǎn)：算法確定后，無論是靜態(tài)還是時變的動態(tài)證據(jù)組合，其具體的證據(jù)組合算法都有一共同的算法結(jié)構(gòu)。但其缺點(diǎn)：當(dāng)對象或環(huán)境的識別特征數(shù)增加時，證據(jù)組合的計算量會以指數(shù)速度增長。第二十頁，共二十六頁，2022年，8月28日三、人工神經(jīng)網(wǎng)絡(luò)法通過模仿人腦的結(jié)構(gòu)和工作原理，設(shè)計和建立相應(yīng)的機(jī)器和模型并完成一定的智能任務(wù)。神經(jīng)網(wǎng)絡(luò)根據(jù)當(dāng)前系統(tǒng)所接收到的樣本的相似性，確定分類標(biāo)準(zhǔn)。這種確定方法主要表現(xiàn)在網(wǎng)絡(luò)權(quán)值分布上，同時可采用神經(jīng)網(wǎng)絡(luò)特定的學(xué)習(xí)算法來獲取知識，得到不確定性推理機(jī)制。神經(jīng)網(wǎng)絡(luò)多傳感器信息融合的實(shí)現(xiàn)，分三個重要步驟：根據(jù)智能系統(tǒng)要求及傳感器信息融合的形式，選擇其拓?fù)浣Y(jié)構(gòu)；各傳感器的輸入信息綜合處理為一總體輸入函數(shù)，并將此函數(shù)映射定義為相關(guān)單元的映射函數(shù),通過神經(jīng)網(wǎng)絡(luò)與環(huán)境的交互作用把環(huán)境的統(tǒng)計規(guī)律反映網(wǎng)絡(luò)本身結(jié)構(gòu)；對傳感器輸出信息進(jìn)行學(xué)習(xí)、理解，確定權(quán)值的分配，完成知識獲取信息融合，進(jìn)而對輸入模式做出解釋，將輸入數(shù)據(jù)向量轉(zhuǎn)換成高層邏輯(符號)概念。第二十一頁，共二十六頁，2022年，8月28日基于神經(jīng)網(wǎng)絡(luò)的傳感器信息融合特點(diǎn)：具有統(tǒng)一的內(nèi)部知識表示形式，通過學(xué)習(xí)算法可