多傳感器數(shù)據(jù)融合1

參考資料科學(xué)出版社：信息融合（2007）電子工業(yè)出版社：多傳感器信息融合及其應(yīng)用（2010）清華大學(xué)出版社：多源信息融合（第二版）（2010）方崇智、蕭德云編著，《過程辨識》，清華大學(xué)出版社，北京，1988相關(guān)論文（GoogleScholar）第一章概述多傳感器問題的引入1數(shù)據(jù)融合的定義2數(shù)據(jù)融合的應(yīng)用3數(shù)據(jù)融合技術(shù)發(fā)展4多傳感器數(shù)據(jù)融合研究現(xiàn)狀5多傳感器數(shù)據(jù)融合方法及研究方向6多傳感器數(shù)據(jù)融合？一個(gè)例子Thesixthsense？Makesdecisionsaboutherorhisimmediatepresentandnearfutureactions！自然界其他動(dòng)物對客觀事物的認(rèn)知過程數(shù)據(jù)融合能力不斷演化多傳感器數(shù)據(jù)融合問題的引入智能信息處理技術(shù)44人與傳感器人的感覺器官與對應(yīng)的傳感器：眼———

耳———

鼻———

舌———

皮膚——光敏傳感器聲敏傳感器氣敏傳感器味覺傳感器壓敏、熱敏、濕敏傳感器智能信息處理技術(shù)5定義傳感器就是能感知外界信息并能按一定規(guī)律將這些信息轉(zhuǎn)換成可用信號的器件或裝置。如下圖所示:非電信息電信號智能信息處理技術(shù)6

傳感器的組成

敏感器件的作用是感受被測物理量；轉(zhuǎn)換元件是對信號進(jìn)行轉(zhuǎn)換輸出。輔助器件則是對輸出的電信號進(jìn)行放大、阻抗匹配，以便于后續(xù)儀表接入。

敏感元件被測信息轉(zhuǎn)換元件信號調(diào)節(jié)電路輔助電路輸出信息

傳感器組成框圖7應(yīng)變式壓力傳感器

由半導(dǎo)體材料制成的物性性傳感器基本是敏感元件與轉(zhuǎn)換元件二合一。直接能將被測量轉(zhuǎn)換為電量輸出。壓電傳感器、光電池、熱敏電阻等。彈性膜片電阻應(yīng)變片壓力應(yīng)變電阻變化量敏感元件轉(zhuǎn)換元件8傳感器的普遍性9傳感器的主要應(yīng)用信息處理電信電話科技測試設(shè)備控制交通控制輸電系統(tǒng)機(jī)床機(jī)器人家用電器照相機(jī)汽車飛機(jī)船舶氣象海洋環(huán)境污染醫(yī)療防火光能利用熱能利用土木建筑農(nóng)林機(jī)械能利用貨幣金融食品111551101034736598161277834313147111707693612621242014需要量電子警察10膠片式“電子警察”、數(shù)碼式“電子警察”、視頻式“電子警察”；壓力或磁電傳感器，兩個(gè)脈沖信號，觸發(fā)拍照系統(tǒng)進(jìn)行拍照11全自動(dòng)洗衣機(jī)中的傳感器：衣物重量傳感器，衣質(zhì)傳感器，水溫傳感器，水質(zhì)傳感器，透光率光傳感器(洗凈度)液位傳感器，電阻傳感器(衣物烘干檢測)。12鼠標(biāo):光電位移傳感器攝象頭:CCD傳感器PC機(jī)中的測試技術(shù)應(yīng)用響尾蛇捕食：visualandinfrared(IR)information紅外制導(dǎo)武器(導(dǎo)彈的彈頭感知敵武器的紅外熱源)：噴氣機(jī)的發(fā)動(dòng)機(jī)尾噴口，高速飛行時(shí)飛機(jī)的機(jī)頭與空氣劇烈摩擦產(chǎn)生的熱空氣團(tuán)，海軍艦艇的煙囪和陸軍車輛的發(fā)動(dòng)機(jī)。紅外線感知視覺感知多傳感器問題的引入13.1多傳感器數(shù)據(jù)融合概述應(yīng)用簡例

多傳感器系統(tǒng)可以用于地球環(huán)境監(jiān)測。主要應(yīng)用于對地面的監(jiān)視、以便識別和監(jiān)視地貌、氣象模式、礦產(chǎn)資源，植物生長、環(huán)境條件和威脅情況(如原油泄漏、輻射泄漏等)如右圖所示

圖源：D.L.HallandJ.Llinas,‘‘Anintroductiontomultisensordatafusion’’

近幾十年，科學(xué)工程技術(shù)領(lǐng)域：目標(biāo)跟蹤例子(視頻監(jiān)控)Sensorfusionmeansthecombinationofsensorydataordataderivedfromsensorydata,suchthattheresultinginformationisbetterthanitwouldbeifthesesensorswereusedindividually多傳感器問題的引入多傳感器問題的引入非關(guān)聯(lián)測量項(xiàng)目測量不同目標(biāo)或?qū)ν荒繕?biāo)的不同參數(shù)進(jìn)行獨(dú)立測量。多傳感器融合系統(tǒng)關(guān)聯(lián)的測量項(xiàng)目利用多個(gè)傳感器對同一目標(biāo)的相同或不同項(xiàng)目進(jìn)行測量，綜合測量結(jié)果用于分析目標(biāo)特性。當(dāng)檢測對象為多目標(biāo)或快速機(jī)動(dòng)目標(biāo)時(shí)，單一傳感器測量困難。復(fù)雜的電磁環(huán)境使檢測的目標(biāo)信號淹沒在大量噪聲及不相關(guān)信號與雜波中。當(dāng)單一傳感器失效或傳感器的可靠性有待提高時(shí)采用多傳感器系統(tǒng)。多傳感器問題的引入環(huán)境復(fù)雜目標(biāo)復(fù)雜可靠性為什么要采用多個(gè)傳感器測量同一目標(biāo)參數(shù)？數(shù)據(jù)融合的定義數(shù)據(jù)融合技術(shù)，包括對各種信息源給出的有用信息的采集、傳輸、綜合(integration)、過濾、相關(guān)(dataassociation)及合成(generation)，以便輔助人們進(jìn)行態(tài)勢/環(huán)境判定、規(guī)劃、探測、驗(yàn)證、診斷數(shù)據(jù)融合(信息融合)的基本原理是：充分利用傳感器資源．通過對各種傳感器及人工觀測信息的合理支配與使用．將各種傳感器在空間和時(shí)間上的互補(bǔ)與冗余信息，依據(jù)某種優(yōu)化準(zhǔn)則或算法組合，產(chǎn)生對觀測對象的一致性解釋和描述。其目標(biāo)是基于各傳感器檢測信息分解人工觀測信息．通過對信息的優(yōu)化組合來導(dǎo)出更多的有效信息。多傳感器數(shù)據(jù)融合的定義功能定義：將來自多個(gè)傳感器和信息源的數(shù)據(jù)和信息加以聯(lián)合、相關(guān)、組合，以獲得對目標(biāo)精確的位置估計(jì)、身份估計(jì)、以及對戰(zhàn)場情況和威脅及其重要程度進(jìn)行適時(shí)的完整評價(jià)。該定義的重點(diǎn)：該定義是軍事應(yīng)用方面的功能性定義；多個(gè)傳感器對同一目標(biāo)進(jìn)行測量；重點(diǎn)是融合：聯(lián)合、相關(guān)、組合；目的：狀態(tài)估計(jì)、身份估計(jì)、態(tài)勢估計(jì)、威脅估計(jì)。數(shù)據(jù)融合的定義技術(shù)定義：充分利用不同時(shí)間與空間的多傳感器數(shù)據(jù)資源，采用計(jì)算機(jī)技術(shù)按時(shí)間序列獲得多傳感器的觀測數(shù)據(jù)，在一定準(zhǔn)則下進(jìn)行分析、綜合、支配和使用。獲得對被測對象的一致性解釋與描述，進(jìn)而實(shí)現(xiàn)相應(yīng)的決策和估計(jì)，使系統(tǒng)獲得比它各組成部分更為充分的信息。該定義的重點(diǎn)：方法：分析、綜合、支配、使用；目的：一致性解釋與描述、更為充分的信息。數(shù)據(jù)融合技術(shù)的應(yīng)用（軍事應(yīng)用）軍事上，數(shù)據(jù)融合技術(shù)為先進(jìn)的作戰(zhàn)管理系統(tǒng)提供了重要的數(shù)據(jù)處理技術(shù)基礎(chǔ)。數(shù)據(jù)融合在多信息源、多平臺和多用戶系統(tǒng)內(nèi)起著重要的處理和協(xié)調(diào)作用，保證了數(shù)據(jù)處理系統(tǒng)各單元與匯集中心間的連通性與及時(shí)通信，而且使原來由軍事操作人員和情報(bào)分析人員完成的許多功能均由數(shù)據(jù)處理系統(tǒng)快速、準(zhǔn)確、有效地自動(dòng)完成。大量新的作戰(zhàn)技術(shù)的發(fā)展迫切需要數(shù)據(jù)融合技術(shù)的應(yīng)用和支持。如現(xiàn)代作戰(zhàn)原則強(qiáng)調(diào)縱深攻擊和遮斷能力，要求能描述目標(biāo)位置、運(yùn)動(dòng)及其企圖的信息，這已超過了使用的常規(guī)傳感器的性能水平。不少數(shù)據(jù)融合技術(shù)的研究成果和實(shí)用系統(tǒng)已在1991年的海灣戰(zhàn)爭中得到實(shí)戰(zhàn)驗(yàn)證數(shù)據(jù)融合技術(shù)的應(yīng)用（民用）在自動(dòng)化領(lǐng)域，自動(dòng)化制造過程中的實(shí)時(shí)過程控制、傳感器控制元件、工作站以及機(jī)器人和操作裝置控制等均離不開數(shù)據(jù)融合技術(shù)的應(yīng)用。故障診斷系統(tǒng)中使用多傳感器技術(shù)進(jìn)行多種特征量的監(jiān)測(如振動(dòng)、溫度、壓力、流量等)，并對這些傳感器的信息進(jìn)行融合，以提高故障定位的準(zhǔn)確性和可靠性。對于來自無源電子支援測量、紅外、聲學(xué)、運(yùn)動(dòng)控測器、火與水探測器等各種信息源的數(shù)據(jù)融合，可以用于商店和家庭的防盜防火。軍事應(yīng)用領(lǐng)域開發(fā)的一些復(fù)雜的數(shù)據(jù)融合應(yīng)用同樣可以應(yīng)用于民用部門的城市規(guī)劃、資源管理、污染監(jiān)測和分析以及氣候、作物和地質(zhì)分析，以保證在不同機(jī)關(guān)和部門之間實(shí)現(xiàn)有效的信息共享我國“八五”規(guī)劃亦已把數(shù)據(jù)融合技術(shù)列為發(fā)展計(jì)算機(jī)技術(shù)的關(guān)鍵技術(shù)之一一些數(shù)據(jù)融合技術(shù)的應(yīng)用例子1、軍用系統(tǒng):航跡預(yù)測、導(dǎo)彈制導(dǎo)、無人機(jī)/車偵察與攻擊等2、非軍事領(lǐng)域：

智能機(jī)器人、水下物體探測、收割機(jī)械的自動(dòng)化、工業(yè)裝配線、信息高速公路系統(tǒng)、多媒體技術(shù)和虛擬現(xiàn)實(shí)技術(shù)、輔助醫(yī)療檢測和診斷等領(lǐng)域。1）移動(dòng)機(jī)器人：多傳感器測量自身位姿、速度、障礙物位置、地面變化等。通過分布式融合方式，提高系統(tǒng)可靠性和模塊化。

NASA火星車：火星表面建圖與導(dǎo)航，巖石監(jiān)測。5個(gè)激光雷達(dá)，

2個(gè)CCD(Charge-coupleddevice)相機(jī)檢測巖石，加速度

計(jì)等組成2）工業(yè)應(yīng)用：基于神經(jīng)網(wǎng)絡(luò)的傳感器融合方案估計(jì)、預(yù)測和控制在線表面拋光；刀具磨損檢測：融合聲音、振動(dòng)和電機(jī)電流傳感器信息，將磨損數(shù)據(jù)分成無-低-中-高磨損，模糊邏輯規(guī)則+最小近鄰算法->決策混凝土結(jié)構(gòu)的無損探傷：結(jié)合超聲波和沖擊回波測試3）其他方面：身份驗(yàn)證、燃?xì)廨啓C(jī)動(dòng)力裝置、風(fēng)洞流量測量、礦產(chǎn)探測、軍事方面等數(shù)據(jù)融合技術(shù)發(fā)展位置估計(jì)和身份識別目前1995年海灣戰(zhàn)爭20世紀(jì)70年代1973年美國聲納信息融合研究現(xiàn)代化戰(zhàn)爭的警鐘我國首次數(shù)據(jù)融合技術(shù)專題會議在無人駕駛汽車上的應(yīng)用WHOWILLMAKEAVs?Carmanufacturers:GM(通用汽車公司)FordVW-AudiVolvoNissanToyotaDaimlerAG(戴姆勒股份公司)TeslaSAICMotors(ShanghaiAuto.Ind.Corp.)上汽集團(tuán)BatesCareyLLP28WHOWILLMAKEAVs?TechnologicalandIdeaInnovators:GoogleAmazonUberAppleAlibaba/BaiduBatesCareyLLP29WHOWILLMAKEAVs?Componentsmanufacturers:Bosch博世Continental德國大陸集團(tuán)Delphi德爾菲法BatesCareyLLP30WHOWILLMAKEAVs?

CarnegieMellonandCadillacSRX(Pittsburgh,PA)SAICandAlibaba(China)NASAandNissan(CA)Ford/StateFarm/UniversityofMichigan

Partnerships:BatesCareyLLP31Googledriver-freecarsGOOGLESELF-DRIVINGCARSHOWDOESITWORK?Ultra-preciseGPSfixesScannerGoogletranslateLanedeparturewarningLanekeepassistBlindspotdetectionAutonomousVehiclesDefined

Vehiclethatgetfromonepointtoanotherpointwithouthumaninteraction.Implementanumberofwellplacedsensorsthatdetectdifferentthingssuchasothervehicles,people,trafficlights,andmovementofothervehiclesTheTechnologyoftheCar Anti-LockBrakesElectronicStabilitycontrolAdaptivecruisecontrolLane-departurewarningsystemSelfparkingAutomatedguidedvehiclesystemsLidar-Systems(withgooglecars)orCruiseAutomatedSystems(Audi)Infraredcameras.TypesofAlgorithmsThecombinationof:3-Dimagingwithmultiple1064nmlasers.Edge-DetectionAlgorithmMotion-DetectionalgorithmTrackingalgorithmSingaporeASTARWHATISANAUTONOMOUSVEHICLE?Carthatdrivesitself.Perceivestheenvironmentandmoveswheresafeanddesirable.“Robots.”Nohumansupervisionrequired.EveryoneinAVisapassenger,oritcantravelwithnooccupantsatall.Goal:ubiquitous,safeandhackerproof.BatesCareyLLP38FirstGoogleAV(Prius)BatesCareyLLP39LatestGoogleAVBatesCareyLLP40MercedesAVBatesCareyLLP41MercedesAVBatesCareyLLP42ToyotaAVBatesCareyLLP43Apple’sPrototypeBatesCareyLLP44NissanConventionalNissantaxisabove;NissanandNASAarecollaboratingtodevelopafleetofelectricautonomouscabs.BatesCareyLLP45DutchEZ-10AutonomousShuttleOFLigierGroup2/9/15,“NetherlandsFirsttoOperateaSelf-DrivingShuttleinPublicTraffic?,”.BatesCareyLLP46Delphi/AudiSQ5BatesCareyLLP47TeslaModelSBatesCareyLLP48

TeslaModelXInteriorSeats7AdultsBatesCareyLLP49HOWWILLAVsBEUSED?

Nissan/NASAdevelopingfleetofelectricautonomouscabs.Nissan’s“TaxiofTomorrow”isplannedtoreplaceNYC’straditionalFordCrownVictoriacabs.Nissan’sall-electricAVtaxiisalreadyonsaleinEurope.

Fleets/TaxisBatesCareyLLP50ProsSafety: 90%of5.5millioncrashesinU.S.causedbydrivererror.Autocrashdeathsare8thleadingcauseofdeathintheworld.1.2millionpeopleperyearworld-wide;33,000inU.S.–equivalentof5Boeingjetscrashingeveryweek.Productivity/PersonalSavings:50minutesperpersonperday=economicvalueof$100billionto$1trillion.DeclineinCarOwnership:Carsnowcostdrivers18%ofannualincomeforanassettheyuseonly5%ofthetime.

BatesCareyLLP51Pros(cont.)ReducedTrafficCongestion25%ofcongestionduetoaccidentsavertedbyAVs.AVswillrespondbettertotrafficconditions.NetworkedAVscommunicate,eliminatingneedtoanticipateactionsofothercars.EnvironmentalBenefitsGoalisforAVstobeelectricorhybrid.Carsaccountfor20%ofallgreenhousegasemissionsand60%ofpetroleumuse.Fuelefficiencywillimproveby10%to40%.

BatesCareyLLP52Pros(cont.)Newtrillion-dollarindustrywillprovidecountlessopportunitiesforentrepreneurstodevelopnewtechnologiesandservices.

BatesCareyLLP53ConsJoblossintraditionalindustries: Trucking(3.5million) Taxis CouriersLossofRevenuetoMunicipalBudgets: Fromspeedingorparking tickets Lessneedforlaw enforcementtomonitor roadwaysandaccidents Reduceduseofpublic transportationDisruptiontoCurrentLandUse Peoplemaymoveto suburbsfromcitiessince theycanbeproductive duringcommute.

BatesCareyLLP54多傳感器數(shù)據(jù)融合？一個(gè)例子多傳感器數(shù)據(jù)融合研究現(xiàn)狀

自20世紀(jì)70年代末以來，MSDF受到了各國學(xué)術(shù)界、工業(yè)界和軍屆的廣泛關(guān)注，成為研究熱點(diǎn)美國將MSDF技術(shù)列為90年代重點(diǎn)研發(fā)的二十項(xiàng)關(guān)鍵技術(shù)之一，A類，發(fā)展C4I系統(tǒng)，經(jīng)費(fèi)投資數(shù)億美元學(xué)術(shù)方面：87年起，美三軍每年召開一次數(shù)據(jù)融合學(xué)術(shù)會議，出版SPIE專集IEEE94年首次舉辦智能系統(tǒng)多傳感器融合與集成會議MFI94，MFI96，MFI99，MFI01（德國）IEEE系統(tǒng)和控制論會議IEEE航空航天與電子系統(tǒng)會議IEEE自動(dòng)控制會議IEEEC3MIS會議多傳感器數(shù)據(jù)融合？一個(gè)例子多傳感器數(shù)據(jù)融合研究現(xiàn)狀1998在美國成立了國際信息融合學(xué)會ISIF，每年舉行一次學(xué)術(shù)會議專著LLINAS&HALL:multi-sensordatafusionHALL:mathematicaltechniquesinmulti-sensordatafusion學(xué)術(shù)期刊IEEEsensorsjournalIEEEsystem,manandcyberneticsInform