吳功宜_物聯網工程導論_第8章：數據處理

1、Nankai University1物聯網工程導論物聯網工程導論Nankai University第第8章章 物聯網數據處理技術物聯網數據處理技術2Nankai University第第 8章章知知識識點點結結構構3Nankai University8.1 物聯網數據處理技術的基本概念物聯網數據處理技術的基本概念8.1.1 物聯網數據的特點物聯網數據的特點海量海量 物聯網節(jié)點的數量是非常多的，它們所產生的數據量物聯網節(jié)點的數量是非常多的，它們所產生的數據量一定是海量一定是海量多態(tài)多態(tài) 多種傳感器去觀測的不同數據多種傳感器去觀測的不同數據在在數值范圍、格式、單數值范圍、格式、單位位與與精度精度動

2、態(tài)動態(tài) 各種各種數據數據都將隨時間不斷變化的都將隨時間不斷變化的關聯關聯 物聯網中的數據之間在空間、時間維度上存在著緊密物聯網中的數據之間在空間、時間維度上存在著緊密的關聯性的關聯性4Nankai University VigilNet網絡拓撲與數據處理研究的示意圖網絡拓撲與數據處理研究的示意圖5Nankai University8.1.2 物聯網數據處理關鍵技術物聯網數據處理關鍵技術 海量數據存儲海量數據存儲 數據融合數據融合 數據查詢、搜索與數據挖掘數據查詢、搜索與數據挖掘 智能決策智能決策6Nankai University海量數據存儲海量數據存儲 物聯網數據具有海量、多態(tài)、動態(tài)與關物聯

3、網數據具有海量、多態(tài)、動態(tài)與關聯的特征聯的特征 海量數據的存儲結構影響著物聯網系統(tǒng)海量數據的存儲結構影響著物聯網系統(tǒng)的可靠性與效率的可靠性與效率 如何利用數據中心與云計算平臺存儲物如何利用數據中心與云計算平臺存儲物聯網的海量數據，如何充分地利用好物聯網的海量數據，如何充分地利用好物聯網信息，同時又要實現對隱私的保護，聯網信息，同時又要實現對隱私的保護，這是物聯網數據處理技術首先要面對的這是物聯網數據處理技術首先要面對的一個重要問題一個重要問題7Nankai University 無線傳感器網絡數據存儲結構示意圖無線傳感器網絡數據存儲結構示意圖8Nankai University數據融合數據融合

4、 20世紀世紀70年代年代 “數據融合（數據融合（Data Fusion）” 術語才正術語才正式出現式出現 針對物聯網數據的多態(tài)性，需要研究基于多種傳感器針對物聯網數據的多態(tài)性，需要研究基于多種傳感器的數據聚合技術，綜合分析各種傳感器的數據，從中的數據聚合技術，綜合分析各種傳感器的數據，從中提取有用的信息提取有用的信息 數據融合已經發(fā)展成數據處理一個新的和重要的分支數據融合已經發(fā)展成數據處理一個新的和重要的分支 在物聯網中智能交通、工業(yè)控制、環(huán)境監(jiān)控、精準農在物聯網中智能交通、工業(yè)控制、環(huán)境監(jiān)控、精準農業(yè)、突發(fā)事件處置、智慧城市、智能電網等物聯網應業(yè)、突發(fā)事件處置、智慧城市、智能電網等物聯網應

5、用系統(tǒng)中，必然會應用多種傳感器去綜合感知多種物用系統(tǒng)中，必然會應用多種傳感器去綜合感知多種物理世界的信息，從中提取對于我們智慧處理物理世界理世界的信息，從中提取對于我們智慧處理物理世界問題有用的信息和知識問題有用的信息和知識 數據融合技術是物聯網數據處理研究的重要內容之一數據融合技術是物聯網數據處理研究的重要內容之一9Nankai University 數據查詢、搜索與數據挖掘數據查詢、搜索與數據挖掘 物聯網環(huán)境中感知數據具有實時性、周期性與物聯網環(huán)境中感知數據具有實時性、周期性與不確定性等特點不確定性等特點 物聯網環(huán)境中，由于各種感知手段獲取的信息物聯網環(huán)境中，由于各種感知手段獲取的信息與傳

6、統(tǒng)的互聯網信息共存，搜索引擎需要與各與傳統(tǒng)的互聯網信息共存，搜索引擎需要與各種智能的和非智能的物理對象密切結合，主動種智能的和非智能的物理對象密切結合，主動識別物理對象，獲取有用的信息，這對于傳統(tǒng)識別物理對象，獲取有用的信息，這對于傳統(tǒng)的搜索引擎技術是一個挑戰(zhàn)的搜索引擎技術是一個挑戰(zhàn) 數據挖掘是物聯網數據處理中一個重要的方法數據挖掘是物聯網數據處理中一個重要的方法10Nankai University智能決策智能決策 發(fā)展物聯網的最終目標不是簡單地將物發(fā)展物聯網的最終目標不是簡單地將物與物互聯，而是要催生很多具有與物互聯，而是要催生很多具有“計算、計算、通信、控制、協(xié)同和自治通信、控制、協(xié)同和

7、自治”特征的智能特征的智能設備與系統(tǒng)，實現實時感知、動態(tài)控制設備與系統(tǒng)，實現實時感知、動態(tài)控制和智能服務和智能服務 智能決策是物聯網信息處理技術中追求智能決策是物聯網信息處理技術中追求的最重要的目標的最重要的目標11Nankai University8.2 海量數據存儲技術海量數據存儲技術8.2.1 物聯網對海量數據存儲的需求物聯網對海量數據存儲的需求 物聯網的海量數據除了來自傳感器節(jié)點、物聯網的海量數據除了來自傳感器節(jié)點、RFID節(jié)點以及其他各種智能終端設備每節(jié)點以及其他各種智能終端設備每時每刻所產生的數據之外，各種物理對時每刻所產生的數據之外，各種物理對象在參與物聯網事務處理的過程中也會象

8、在參與物聯網事務處理的過程中也會產生大量的數據產生大量的數據 物聯網的海量數據的存儲需要數據庫、物聯網的海量數據的存儲需要數據庫、數據倉庫、網絡存儲、數據中心與云存數據倉庫、網絡存儲、數據中心與云存儲技術的支持儲技術的支持12Nankai University8.2.2 數據庫技術數據庫技術 數據庫技術是計算機科學技術中發(fā)展最快、應用最廣數據庫技術是計算機科學技術中發(fā)展最快、應用最廣泛的領域之一。數據庫技術經過幾十年的發(fā)展，其應泛的領域之一。數據庫技術經過幾十年的發(fā)展，其應用已遍及各個領域，成為用已遍及各個領域，成為21世紀信息化社會的核心技世紀信息化社會的核心技術之一術之一 物聯網的數據存儲

9、與管理需要使用數據庫技術，物聯物聯網的數據存儲與管理需要使用數據庫技術，物聯網的海量數據存儲與管理也會促進數據庫技術的發(fā)展網的海量數據存儲與管理也會促進數據庫技術的發(fā)展 數據庫管理系統(tǒng)可分數據庫管理系統(tǒng)可分為為層次數據庫、網狀數據庫、關層次數據庫、網狀數據庫、關系數據庫以及面向對象數據庫系數據庫以及面向對象數據庫 隨著數據庫技術的發(fā)展，數據庫用戶界面變得更加簡隨著數據庫技術的發(fā)展，數據庫用戶界面變得更加簡單，功能更加強大和更加智能單，功能更加強大和更加智能，未來的數據庫技術必未來的數據庫技術必然會與人工智能技術相互交叉融合然會與人工智能技術相互交叉融合13Nankai University8.

10、2.3 物聯網數據管理技術物聯網數據管理技術 關系數據庫為物聯網海量數據的管理提供了重要的理關系數據庫為物聯網海量數據的管理提供了重要的理論、工具與方法論、工具與方法 物聯網中有兩大類重要的應用，一是基于物聯網中有兩大類重要的應用，一是基于RFID標簽自標簽自動識別技術的應用，另一類是基于無線傳感器網絡的動識別技術的應用，另一類是基于無線傳感器網絡的應用應用 設計一個基于設計一個基于RFID標簽自動識別技術的零售業(yè)或物流標簽自動識別技術的零售業(yè)或物流業(yè)應用時，對于由業(yè)應用時，對于由RFID所產生的數據的管理與處理方所產生的數據的管理與處理方法與傳統(tǒng)的互聯網應用有很多相似之處法與傳統(tǒng)的互聯網應用

11、有很多相似之處 基于無線傳感器網絡的物聯網應用有它的特殊性，需基于無線傳感器網絡的物聯網應用有它的特殊性，需要研究針對無線傳感器網絡的數據管理與處理方法要研究針對無線傳感器網絡的數據管理與處理方法14Nankai University無線傳感器網絡數據管理系統(tǒng)結構無線傳感器網絡數據管理系統(tǒng)結構無線傳感器網絡數據管理系統(tǒng)結構主要有無線傳感器網絡數據管理系統(tǒng)結構主要有： 集中式結構集中式結構 半分布式結構半分布式結構 分布式結構分布式結構 層次式結構層次式結構無線傳感器網絡無線傳感器網絡數據管理系統(tǒng)層次結構數據管理系統(tǒng)層次結構15Nankai University TinyDB系統(tǒng)的結構系統(tǒng)的結構

12、16Nankai University17 TinyDB關系表結構關系表結構Nankai University8.3 物聯網海量數據存儲與云計算物聯網海量數據存儲與云計算*8.3.1 數據存儲技術的研究與發(fā)展數據存儲技術的研究與發(fā)展存儲技術的研究與發(fā)展存儲技術的研究與發(fā)展 數據存儲技術從單機封閉系統(tǒng)存儲向開放系統(tǒng)數據存儲技術從單機封閉系統(tǒng)存儲向開放系統(tǒng)的存儲方向發(fā)展的存儲方向發(fā)展 開放系統(tǒng)的存儲進一步分為開放系統(tǒng)的存儲進一步分為： 直接附加存儲（直接附加存儲（DAS） 網絡接入存儲（網絡接入存儲（NAS） 存儲區(qū)域網絡（存儲區(qū)域網絡（SAN）18Nankai University服務器技術的發(fā)

13、展服務器技術的發(fā)展 各種類型的服務器與機房中的服務器各種類型的服務器與機房中的服務器19Nankai University 典型的機架式服務器典型的機架式服務器20Nankai University 刀片服務器刀片服務器21Nankai University8.3.2 IDC的基本概念的基本概念 隨著互聯網應用規(guī)模的不斷擴大，大規(guī)模的在線網絡隨著互聯網應用規(guī)模的不斷擴大，大規(guī)模的在線網絡服務促進了服務促進了“互聯網數據中心（互聯網數據中心（IDC）”的出現的出現 隨著業(yè)務的擴展，一些企業(yè)網、校園網、政務網、商隨著業(yè)務的擴展，一些企業(yè)網、校園網、政務網、商務網也在考慮建設自己的數據中心（務網也在

14、考慮建設自己的數據中心（Data Center） 數據中心的成本是由數據中心的成本是由4部分組成：服務器成本、網絡設部分組成：服務器成本、網絡設備成本、基礎設施成本與能源成本備成本、基礎設施成本與能源成本 在推動物聯網應用發(fā)展的同時，必須研究適合即能夠在推動物聯網應用發(fā)展的同時，必須研究適合即能夠快速部署物聯網應用，存儲海量數據，又能夠節(jié)省資快速部署物聯網應用，存儲海量數據，又能夠節(jié)省資金與日常維護費用，符合環(huán)保節(jié)能的原則的數據中心金與日常維護費用，符合環(huán)保節(jié)能的原則的數據中心技術技術 數據中心的概念正在經歷了從中小型企業(yè)網、校園網數據中心的概念正在經歷了從中小型企業(yè)網、校園網中的計算與存儲數

15、據的數據中心，向云計算平臺的發(fā)中的計算與存儲數據的數據中心，向云計算平臺的發(fā)展的趨勢展的趨勢22Nankai University8.3.3 云計算的基本概念云計算的基本概念云計算的特點云計算的特點 彈性服務彈性服務 資源池化資源池化 按需服務按需服務 服務可計費服務可計費 泛在接入泛在接入云計算數據中心特點云計算數據中心特點 自治性自治性 規(guī)模經濟規(guī)模經濟 規(guī)模可擴展規(guī)?？蓴U展23Nankai University8.3.4 云計算系統(tǒng)組成云計算系統(tǒng)組成云計算云計算系統(tǒng)組成系統(tǒng)組成： 云平臺云平臺 云終端云終端 云存儲云存儲 云安全云安全24Nankai University公有云與私有云的

16、概念公有云與私有云的概念公有云公有云： 第三方提供商為用戶提供服務的云平臺，用戶可以把第三方提供商為用戶提供服務的云平臺，用戶可以把通過互聯網訪問通過互聯網訪問 作為一個支撐平臺，可以通過提供免費或用很低費用作為一個支撐平臺，可以通過提供免費或用很低費用的服務，去吸引大量的用戶，整合上游的增值業(yè)務和的服務，去吸引大量的用戶，整合上游的增值業(yè)務和廣告服務，打造新的產業(yè)鏈廣告服務，打造新的產業(yè)鏈 目前公有云主要分為四類目前公有云主要分為四類： 由傳統(tǒng)電信基礎設施運營商組建的公有云由傳統(tǒng)電信基礎設施運營商組建的公有云 政府主導下組建的各省市公有云政府主導下組建的各省市公有云 大型互聯網公司組建的公有

17、云大型互聯網公司組建的公有云 由由IDC運營商組建的公有云運營商組建的公有云25Nankai University私有云私有云： 移動通信公司、銀行、政府、公安、交移動通信公司、銀行、政府、公安、交通、電力、有線電視等部門與機構單獨通、電力、有線電視等部門與機構單獨使用而組建使用而組建 這些部門與機構的數據存儲量、處理量這些部門與機構的數據存儲量、處理量和安全性要求高，而私有云能夠滿足他和安全性要求高，而私有云能夠滿足他們對們對數據數據倉儲與處理，以及安全性和服倉儲與處理，以及安全性和服務質量的要求務質量的要求 私有云可部署在企業(yè)或部門數據中心的私有云可部署在企業(yè)或部門數據中心的防火墻防火墻內

18、，也可以將它們部署在一個安內，也可以將它們部署在一個安全的主機托管場所全的主機托管場所26Nankai UniversityIaaS、PaaS、SaaS的概念的概念基礎設施即服務基礎設施即服務IaaS IaaS平臺向用戶提供虛擬化的計算資源、存儲資源與平臺向用戶提供虛擬化的計算資源、存儲資源與網絡資源，根據用戶需求進行動態(tài)分配和調整網絡資源，根據用戶需求進行動態(tài)分配和調整平臺即服務平臺即服務PaaS PaaS平臺向軟件開發(fā)人員提供類似中間件的服務，包平臺向軟件開發(fā)人員提供類似中間件的服務，包括數據庫、數據處理與軟件開發(fā)環(huán)境等括數據庫、數據處理與軟件開發(fā)環(huán)境等軟件即服務軟件即服務SaaS Saa

19、S平臺向最終用戶提供定制的軟件服務，用戶不用平臺向最終用戶提供定制的軟件服務，用戶不用通過安裝軟件副本，就可以通過網絡使用軟件通過安裝軟件副本，就可以通過網絡使用軟件27Nankai University云終端云終端 云終端使用虛擬化技術，使得只要聯入云終端使用虛擬化技術，使得只要聯入到互聯網或物聯網的終端設備都可以訪到互聯網或物聯網的終端設備都可以訪問云計算平臺問云計算平臺 云終端三種云終端三種類型類型： 基于程序資源遠程執(zhí)行的云終端基于程序資源遠程執(zhí)行的云終端 基于基于WebOS云終端云終端 基于虛擬機的云終端基于虛擬機的云終端28Nankai University云存儲云存儲 計算與存儲

20、是計算機科學發(fā)展中兩個密不可分的關鍵計算與存儲是計算機科學發(fā)展中兩個密不可分的關鍵技術技術 云計算概念包括計算與存儲兩個方面的內容云計算概念包括計算與存儲兩個方面的內容 云存儲基于云平臺，結合傳統(tǒng)的大規(guī)模、可擴展的海云存儲基于云平臺，結合傳統(tǒng)的大規(guī)模、可擴展的海量存儲、計算機網絡、數據網格、虛擬化、文件系統(tǒng)量存儲、計算機網絡、數據網格、虛擬化、文件系統(tǒng)的概念與技術，面向大規(guī)模、高效、可擴展、可定制的概念與技術，面向大規(guī)模、高效、可擴展、可定制的應用系統(tǒng)的用戶，提供安全、廉價、按需使用的專的應用系統(tǒng)的用戶，提供安全、廉價、按需使用的專業(yè)化倉儲服務業(yè)化倉儲服務 用戶不必關心云存儲服務使用什么樣的主

21、機、數據庫、用戶不必關心云存儲服務使用什么樣的主機、數據庫、存儲設備，只需要根據自身應用系統(tǒng)數據存儲的數據存儲設備，只需要根據自身應用系統(tǒng)數據存儲的數據量、安全性要求，以定購的方式使用云存儲服務提供量、安全性要求，以定購的方式使用云存儲服務提供商提供的存儲資源商提供的存儲資源29Nankai University云安全云安全 云安全提供可靠、可信的云環(huán)境，以保護用戶云安全提供可靠、可信的云環(huán)境，以保護用戶數據的安全數據的安全 能不能夠保證用戶使用的安全性是制約云計算能不能夠保證用戶使用的安全性是制約云計算應用能否發(fā)展的主要因素應用能否發(fā)展的主要因素 目前目前云云安全研究：安全研究： 云計算的安

22、全控制云計算的安全控制 云計算的可信執(zhí)行環(huán)境云計算的可信執(zhí)行環(huán)境 虛擬機的安全監(jiān)控虛擬機的安全監(jiān)控 云計算服務訪問的通信安全云計算服務訪問的通信安全 云計算安全評估方法云計算安全評估方法30Nankai University8.3.5 云計算在物聯網中的應用云計算在物聯網中的應用物聯網數據中心的特征物聯網數據中心的特征： 部署快捷部署快捷 運行可靠運行可靠 可擴展可擴展 安全安全 節(jié)能節(jié)能31Nankai University 應用于物聯網的云計算系統(tǒng)結構模型應用于物聯網的云計算系統(tǒng)結構模型32Nankai University 物聯網數據物聯網數據 中心的設計中心的設計33Nankai Un

23、iversity8.4 物聯網數據融合技術物聯網數據融合技術*8.4.1 無線傳感器網絡數據融合技術無線傳感器網絡數據融合技術 無線傳感器網絡的基本功能是收集并返無線傳感器網絡的基本功能是收集并返回傳感器節(jié)點所在監(jiān)測區(qū)域的信息回傳感器節(jié)點所在監(jiān)測區(qū)域的信息 傳感器節(jié)點受到能量與易失效性的約束傳感器節(jié)點受到能量與易失效性的約束 因此減少數據傳輸量以有效地節(jié)省能量，因此減少數據傳輸量以有效地節(jié)省能量，利用節(jié)點的本地計算和存儲能力處理數利用節(jié)點的本地計算和存儲能力處理數據的融合以除去冗余信息據的融合以除去冗余信息 通過數據融合達到數據備份與通過數據融合達到數據備份與提高提高信息信息準確性，準確性，已經已經成為無線傳感器網絡研究成為無線傳感器網絡研究的一個重要課題的一個