吳功宜-物聯(lián)網(wǎng)工程導(dǎo)論-第8章數(shù)據(jù)處理

吳功宜吳英編著《物聯(lián)網(wǎng)工程導(dǎo)論》1現(xiàn)在是1頁\一共有40頁\編輯于星期六第8章

物聯(lián)網(wǎng)數(shù)據(jù)處理技術(shù)2現(xiàn)在是2頁\一共有40頁\編輯于星期六第

8章知識(shí)點(diǎn)結(jié)構(gòu)3現(xiàn)在是3頁\一共有40頁\編輯于星期六8.1物聯(lián)網(wǎng)數(shù)據(jù)處理技術(shù)的基本概念

8.1.1物聯(lián)網(wǎng)數(shù)據(jù)的特點(diǎn)海量物聯(lián)網(wǎng)節(jié)點(diǎn)的數(shù)量是非常多的，它們所產(chǎn)生的數(shù)據(jù)量一定是海量多態(tài)多種傳感器去觀測(cè)的不同數(shù)據(jù)在數(shù)值范圍、格式、單位與精度動(dòng)態(tài)各種數(shù)據(jù)都將隨時(shí)間不斷變化的關(guān)聯(lián)物聯(lián)網(wǎng)中的數(shù)據(jù)之間在空間、時(shí)間維度上存在著緊密的關(guān)聯(lián)性4現(xiàn)在是4頁\一共有40頁\編輯于星期六VigilNet網(wǎng)絡(luò)拓?fù)渑c數(shù)據(jù)處理研究的示意圖5現(xiàn)在是5頁\一共有40頁\編輯于星期六8.1.2物聯(lián)網(wǎng)數(shù)據(jù)處理關(guān)鍵技術(shù)海量數(shù)據(jù)存儲(chǔ)數(shù)據(jù)融合數(shù)據(jù)查詢、搜索與數(shù)據(jù)挖掘智能決策6現(xiàn)在是6頁\一共有40頁\編輯于星期六海量數(shù)據(jù)存儲(chǔ)物聯(lián)網(wǎng)數(shù)據(jù)具有海量、多態(tài)、動(dòng)態(tài)與關(guān)聯(lián)的特征海量數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)影響著物聯(lián)網(wǎng)系統(tǒng)的可靠性與效率如何利用數(shù)據(jù)中心與云計(jì)算平臺(tái)存儲(chǔ)物聯(lián)網(wǎng)的海量數(shù)據(jù)，如何充分地利用好物聯(lián)網(wǎng)信息，同時(shí)又要實(shí)現(xiàn)對(duì)隱私的保護(hù)，這是物聯(lián)網(wǎng)數(shù)據(jù)處理技術(shù)首先要面對(duì)的一個(gè)重要問題7現(xiàn)在是7頁\一共有40頁\編輯于星期六無線傳感器網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)示意圖8現(xiàn)在是8頁\一共有40頁\編輯于星期六數(shù)據(jù)融合20世紀(jì)70年代“數(shù)據(jù)融合（DataFusion）”術(shù)語才正式出現(xiàn)針對(duì)物聯(lián)網(wǎng)數(shù)據(jù)的多態(tài)性，需要研究基于多種傳感器的數(shù)據(jù)聚合技術(shù)，綜合分析各種傳感器的數(shù)據(jù)，從中提取有用的信息數(shù)據(jù)融合已經(jīng)發(fā)展成數(shù)據(jù)處理一個(gè)新的和重要的分支在物聯(lián)網(wǎng)中智能交通、工業(yè)控制、環(huán)境監(jiān)控、精準(zhǔn)農(nóng)業(yè)、突發(fā)事件處置、智慧城市、智能電網(wǎng)等物聯(lián)網(wǎng)應(yīng)用系統(tǒng)中，必然會(huì)應(yīng)用多種傳感器去綜合感知多種物理世界的信息，從中提取對(duì)于我們智慧處理物理世界問題有用的信息和知識(shí)數(shù)據(jù)融合技術(shù)是物聯(lián)網(wǎng)數(shù)據(jù)處理研究的重要內(nèi)容之一9現(xiàn)在是9頁\一共有40頁\編輯于星期六

數(shù)據(jù)查詢、搜索與數(shù)據(jù)挖掘物聯(lián)網(wǎng)環(huán)境中感知數(shù)據(jù)具有實(shí)時(shí)性、周期性與不確定性等特點(diǎn)物聯(lián)網(wǎng)環(huán)境中，由于各種感知手段獲取的信息與傳統(tǒng)的互聯(lián)網(wǎng)信息共存，搜索引擎需要與各種智能的和非智能的物理對(duì)象密切結(jié)合，主動(dòng)識(shí)別物理對(duì)象，獲取有用的信息，這對(duì)于傳統(tǒng)的搜索引擎技術(shù)是一個(gè)挑戰(zhàn)數(shù)據(jù)挖掘是物聯(lián)網(wǎng)數(shù)據(jù)處理中一個(gè)重要的方法10現(xiàn)在是10頁\一共有40頁\編輯于星期六智能決策發(fā)展物聯(lián)網(wǎng)的最終目標(biāo)不是簡單地將物與物互聯(lián)，而是要催生很多具有“計(jì)算、通信、控制、協(xié)同和自治”特征的智能設(shè)備與系統(tǒng)，實(shí)現(xiàn)實(shí)時(shí)感知、動(dòng)態(tài)控制和智能服務(wù)智能決策是物聯(lián)網(wǎng)信息處理技術(shù)中追求的最重要的目標(biāo)11現(xiàn)在是11頁\一共有40頁\編輯于星期六8.2海量數(shù)據(jù)存儲(chǔ)技術(shù)

8.2.1物聯(lián)網(wǎng)對(duì)海量數(shù)據(jù)存儲(chǔ)的需求物聯(lián)網(wǎng)的海量數(shù)據(jù)除了來自傳感器節(jié)點(diǎn)、RFID節(jié)點(diǎn)以及其他各種智能終端設(shè)備每時(shí)每刻所產(chǎn)生的數(shù)據(jù)之外，各種物理對(duì)象在參與物聯(lián)網(wǎng)事務(wù)處理的過程中也會(huì)產(chǎn)生大量的數(shù)據(jù)物聯(lián)網(wǎng)的海量數(shù)據(jù)的存儲(chǔ)需要數(shù)據(jù)庫、數(shù)據(jù)倉庫、網(wǎng)絡(luò)存儲(chǔ)、數(shù)據(jù)中心與云存儲(chǔ)技術(shù)的支持12現(xiàn)在是12頁\一共有40頁\編輯于星期六8.2.2數(shù)據(jù)庫技術(shù)數(shù)據(jù)庫技術(shù)是計(jì)算機(jī)科學(xué)技術(shù)中發(fā)展最快、應(yīng)用最廣泛的領(lǐng)域之一。數(shù)據(jù)庫技術(shù)經(jīng)過幾十年的發(fā)展，其應(yīng)用已遍及各個(gè)領(lǐng)域，成為21世紀(jì)信息化社會(huì)的核心技術(shù)之一物聯(lián)網(wǎng)的數(shù)據(jù)存儲(chǔ)與管理需要使用數(shù)據(jù)庫技術(shù)，物聯(lián)網(wǎng)的海量數(shù)據(jù)存儲(chǔ)與管理也會(huì)促進(jìn)數(shù)據(jù)庫技術(shù)的發(fā)展數(shù)據(jù)庫管理系統(tǒng)可分為層次數(shù)據(jù)庫、網(wǎng)狀數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫以及面向?qū)ο髷?shù)據(jù)庫隨著數(shù)據(jù)庫技術(shù)的發(fā)展，數(shù)據(jù)庫用戶界面變得更加簡單，功能更加強(qiáng)大和更加智能，未來的數(shù)據(jù)庫技術(shù)必然會(huì)與人工智能技術(shù)相互交叉融合13現(xiàn)在是13頁\一共有40頁\編輯于星期六8.2.3物聯(lián)網(wǎng)數(shù)據(jù)管理技術(shù)關(guān)系數(shù)據(jù)庫為物聯(lián)網(wǎng)海量數(shù)據(jù)的管理提供了重要的理論、工具與方法物聯(lián)網(wǎng)中有兩大類重要的應(yīng)用，一是基于RFID標(biāo)簽自動(dòng)識(shí)別技術(shù)的應(yīng)用，另一類是基于無線傳感器網(wǎng)絡(luò)的應(yīng)用設(shè)計(jì)一個(gè)基于RFID標(biāo)簽自動(dòng)識(shí)別技術(shù)的零售業(yè)或物流業(yè)應(yīng)用時(shí)，對(duì)于由RFID所產(chǎn)生的數(shù)據(jù)的管理與處理方法與傳統(tǒng)的互聯(lián)網(wǎng)應(yīng)用有很多相似之處基于無線傳感器網(wǎng)絡(luò)的物聯(lián)網(wǎng)應(yīng)用有它的特殊性，需要研究針對(duì)無線傳感器網(wǎng)絡(luò)的數(shù)據(jù)管理與處理方法14現(xiàn)在是14頁\一共有40頁\編輯于星期六無線傳感器網(wǎng)絡(luò)數(shù)據(jù)管理系統(tǒng)結(jié)構(gòu)無線傳感器網(wǎng)絡(luò)數(shù)據(jù)管理系統(tǒng)結(jié)構(gòu)主要有：集中式結(jié)構(gòu)半分布式結(jié)構(gòu)分布式結(jié)構(gòu)層次式結(jié)構(gòu)無線傳感器網(wǎng)絡(luò)數(shù)據(jù)管理系統(tǒng)層次結(jié)構(gòu)15現(xiàn)在是15頁\一共有40頁\編輯于星期六TinyDB系統(tǒng)的結(jié)構(gòu)16現(xiàn)在是16頁\一共有40頁\編輯于星期六

TinyDB關(guān)系表結(jié)構(gòu)17現(xiàn)在是17頁\一共有40頁\編輯于星期六8.3物聯(lián)網(wǎng)海量數(shù)據(jù)存儲(chǔ)與云計(jì)算*

8.3.1數(shù)據(jù)存儲(chǔ)技術(shù)的研究與發(fā)展存儲(chǔ)技術(shù)的研究與發(fā)展數(shù)據(jù)存儲(chǔ)技術(shù)從單機(jī)封閉系統(tǒng)存儲(chǔ)向開放系統(tǒng)的存儲(chǔ)方向發(fā)展開放系統(tǒng)的存儲(chǔ)進(jìn)一步分為：

—直接附加存儲(chǔ)（DAS）

—網(wǎng)絡(luò)接入存儲(chǔ)（NAS）

—存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN）18現(xiàn)在是18頁\一共有40頁\編輯于星期六服務(wù)器技術(shù)的發(fā)展各種類型的服務(wù)器與機(jī)房中的服務(wù)器19現(xiàn)在是19頁\一共有40頁\編輯于星期六典型的機(jī)架式服務(wù)器20現(xiàn)在是20頁\一共有40頁\編輯于星期六刀片服務(wù)器21現(xiàn)在是21頁\一共有40頁\編輯于星期六8.3.2IDC的基本概念隨著互聯(lián)網(wǎng)應(yīng)用規(guī)模的不斷擴(kuò)大，大規(guī)模的在線網(wǎng)絡(luò)服務(wù)促進(jìn)了“互聯(lián)網(wǎng)數(shù)據(jù)中心（IDC）”的出現(xiàn)隨著業(yè)務(wù)的擴(kuò)展，一些企業(yè)網(wǎng)、校園網(wǎng)、政務(wù)網(wǎng)、商務(wù)網(wǎng)也在考慮建設(shè)自己的數(shù)據(jù)中心（DataCenter）數(shù)據(jù)中心的成本是由4部分組成：服務(wù)器成本、網(wǎng)絡(luò)設(shè)備成本、基礎(chǔ)設(shè)施成本與能源成本在推動(dòng)物聯(lián)網(wǎng)應(yīng)用發(fā)展的同時(shí)，必須研究適合即能夠快速部署物聯(lián)網(wǎng)應(yīng)用，存儲(chǔ)海量數(shù)據(jù)，又能夠節(jié)省資金與日常維護(hù)費(fèi)用，符合環(huán)保節(jié)能的原則的數(shù)據(jù)中心技術(shù)數(shù)據(jù)中心的概念正在經(jīng)歷了從中小型企業(yè)網(wǎng)、校園網(wǎng)中的計(jì)算與存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)中心，向云計(jì)算平臺(tái)的發(fā)展的趨勢(shì)22現(xiàn)在是22頁\一共有40頁\編輯于星期六8.3.3云計(jì)算的基本概念云計(jì)算的特點(diǎn)彈性服務(wù)資源池化按需服務(wù)服務(wù)可計(jì)費(fèi)泛在接入云計(jì)算數(shù)據(jù)中心特點(diǎn)自治性規(guī)模經(jīng)濟(jì)規(guī)模可擴(kuò)展23現(xiàn)在是23頁\一共有40頁\編輯于星期六8.3.4云計(jì)算系統(tǒng)組成云計(jì)算系統(tǒng)組成：云平臺(tái)云終端云存儲(chǔ)云安全24現(xiàn)在是24頁\一共有40頁\編輯于星期六公有云與私有云的概念公有云：第三方提供商為用戶提供服務(wù)的云平臺(tái)，用戶可以把通過互聯(lián)網(wǎng)訪問作為一個(gè)支撐平臺(tái)，可以通過提供免費(fèi)或用很低費(fèi)用的服務(wù)，去吸引大量的用戶，整合上游的增值業(yè)務(wù)和廣告服務(wù)，打造新的產(chǎn)業(yè)鏈目前公有云主要分為四類：

—由傳統(tǒng)電信基礎(chǔ)設(shè)施運(yùn)營商組建的公有云

—政府主導(dǎo)下組建的各省市公有云

—大型互聯(lián)網(wǎng)公司組建的公有云

—由IDC運(yùn)營商組建的公有云25現(xiàn)在是25頁\一共有40頁\編輯于星期六私有云：移動(dòng)通信公司、銀行、政府、公安、交通、電力、有線電視等部門與機(jī)構(gòu)單獨(dú)使用而組建這些部門與機(jī)構(gòu)的數(shù)據(jù)存儲(chǔ)量、處理量和安全性要求高，而私有云能夠滿足他們對(duì)數(shù)據(jù)倉儲(chǔ)與處理，以及安全性和服務(wù)質(zhì)量的要求私有云可部署在企業(yè)或部門數(shù)據(jù)中心的防火墻內(nèi)，也可以將它們部署在一個(gè)安全的主機(jī)托管場(chǎng)所26現(xiàn)在是26頁\一共有40頁\編輯于星期六IaaS、PaaS、SaaS的概念基礎(chǔ)設(shè)施即服務(wù)IaaSIaaS平臺(tái)向用戶提供虛擬化的計(jì)算資源、存儲(chǔ)資源與網(wǎng)絡(luò)資源，根據(jù)用戶需求進(jìn)行動(dòng)態(tài)分配和調(diào)整平臺(tái)即服務(wù)PaaSPaaS平臺(tái)向軟件開發(fā)人員提供類似中間件的服務(wù)，包括數(shù)據(jù)庫、數(shù)據(jù)處理與軟件開發(fā)環(huán)境等軟件即服務(wù)SaaSSaaS平臺(tái)向最終用戶提供定制的軟件服務(wù)，用戶不用通過安裝軟件副本，就可以通過網(wǎng)絡(luò)使用軟件27現(xiàn)在是27頁\一共有40頁\編輯于星期六云終端云終端使用虛擬化技術(shù)，使得只要聯(lián)入到互聯(lián)網(wǎng)或物聯(lián)網(wǎng)的終端設(shè)備都可以訪問云計(jì)算平臺(tái)云終端三種類型：

—基于程序資源遠(yuǎn)程執(zhí)行的云終端

—基于WebOS云終端

—基于虛擬機(jī)的云終端28現(xiàn)在是28頁\一共有40頁\編輯于星期六云存儲(chǔ)計(jì)算與存儲(chǔ)是計(jì)算機(jī)科學(xué)發(fā)展中兩個(gè)密不可分的關(guān)鍵技術(shù)云計(jì)算概念包括計(jì)算與存儲(chǔ)兩個(gè)方面的內(nèi)容云存儲(chǔ)基于云平臺(tái)，結(jié)合傳統(tǒng)的大規(guī)模、可擴(kuò)展的海量存儲(chǔ)、計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)據(jù)網(wǎng)格、虛擬化、文件系統(tǒng)的概念與技術(shù)，面向大規(guī)模、高效、可擴(kuò)展、可定制的應(yīng)用系統(tǒng)的用戶，提供安全、廉價(jià)、按需使用的專業(yè)化倉儲(chǔ)服務(wù)用戶不必關(guān)心云存儲(chǔ)服務(wù)使用什么樣的主機(jī)、數(shù)據(jù)庫、存儲(chǔ)設(shè)備，只需要根據(jù)自身應(yīng)用系統(tǒng)數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)量、安全性要求，以定購的方式使用云存儲(chǔ)服務(wù)提供商提供的存儲(chǔ)資源29現(xiàn)在是29頁\一共有40頁\編輯于星期六云安全云安全提供可靠、可信的云環(huán)境，以保護(hù)用戶數(shù)據(jù)的安全能不能夠保證用戶使用的安全性是制約云計(jì)算應(yīng)用能否發(fā)展的主要因素目前云安全研究：

—云計(jì)算的安全控制

—云計(jì)算的可信執(zhí)行環(huán)境

—虛擬機(jī)的安全監(jiān)控

—云計(jì)算服務(wù)訪問的通信安全

—云計(jì)算安全評(píng)估方法30現(xiàn)在是30頁\一共有40頁\編輯于星期六8.3.5云計(jì)算在物聯(lián)網(wǎng)中的應(yīng)用物聯(lián)網(wǎng)數(shù)據(jù)中心的特征：部署快捷運(yùn)行可靠可擴(kuò)展安全節(jié)能31現(xiàn)在是31頁\一共有40頁\編輯于星期六應(yīng)用于物聯(lián)網(wǎng)的云計(jì)算系統(tǒng)結(jié)構(gòu)模型32現(xiàn)在是32頁\一共有40頁\編輯于星期六物聯(lián)網(wǎng)數(shù)據(jù)

中心的設(shè)計(jì)33現(xiàn)在是33頁\一共有40頁\編輯于星期六8.4物聯(lián)網(wǎng)數(shù)據(jù)融合技術(shù)*

8.4.1無線傳感器網(wǎng)絡(luò)數(shù)據(jù)融合技術(shù)無線傳感器網(wǎng)絡(luò)的基本功能是收集并返回傳感器節(jié)點(diǎn)所在監(jiān)測(cè)區(qū)域的信息傳感器節(jié)點(diǎn)受到能量與易失效性的約束因此減少數(shù)據(jù)傳輸量以有效地節(jié)省能量，利用節(jié)點(diǎn)的本地計(jì)算和存儲(chǔ)能力處理數(shù)據(jù)的融合以除去冗余信息通過數(shù)據(jù)融合達(dá)到數(shù)據(jù)備份與提高信息準(zhǔn)確性，已經(jīng)成為無線傳感器網(wǎng)絡(luò)研究的一個(gè)重要課題34現(xiàn)在是34頁\一共有40頁\編輯于星期六8.4.2數(shù)據(jù)融合的分類根據(jù)數(shù)據(jù)進(jìn)行融合操作前后的信息含量的分類無損失融合有損失融合根據(jù)數(shù)據(jù)融合與應(yīng)用層數(shù)據(jù)語義之間關(guān)系的分類依賴于應(yīng)用的數(shù)據(jù)融合（ADDA）獨(dú)立于應(yīng)用的數(shù)據(jù)融合（AIDA）兩種技術(shù)結(jié)合的數(shù)據(jù)融合35現(xiàn)在是35頁\一共有40頁\編輯于星期六根據(jù)融合操作級(jí)別的分類:數(shù)據(jù)級(jí)融合特征級(jí)融合決策級(jí)融合36現(xiàn)在是36頁\一共有40頁\編輯于星期六數(shù)據(jù)融合技術(shù)類型37現(xiàn)在是37頁\一共有40頁\編輯于星期六8.5物聯(lián)網(wǎng)中的智能決策

8.5.1數(shù)據(jù)挖掘的基本概念數(shù)據(jù)挖