大數(shù)據(jù)與云計算和物聯(lián)網(wǎng)的關系

大數(shù)據(jù)與云計算和物聯(lián)網(wǎng)的關系大數(shù)據(jù)時期的到來，是全世界知名咨詢公司麥肯錫最先提出的，麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到現(xiàn)今每一個行業(yè)和業(yè)務職能領域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預示著新一波生產(chǎn)率增加和消費者盈余浪潮的到來?！薄痘ヂ?lián)網(wǎng)進化論》一書中提出“互聯(lián)網(wǎng)的未來功能和結構將于人類大腦高度相似，也將具有互聯(lián)網(wǎng)虛擬感覺，虛擬運動，虛擬中樞，虛擬記憶神經(jīng)系統(tǒng)”，并繪制了一幅互聯(lián)網(wǎng)虛擬大腦結構圖。物聯(lián)網(wǎng)Z\斤頻來宦器耗敬迅黃罄$蘆訊采東阱I；傳統(tǒng)互聯(lián)網(wǎng)互郎音1物聯(lián)網(wǎng)Z\斤頻來宦器耗敬迅黃罄$蘆訊采東阱I；傳統(tǒng)互聯(lián)網(wǎng)互郎音1眉（範據(jù)海洋｝虛報翟寬亂紙聽聯(lián)闞核作戦層虛擬感啦另締丿&J按照這一觀點，咱們嘗試分析目前互聯(lián)網(wǎng)最流行的四個概念————-大數(shù)據(jù)，云計算，物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)與傳統(tǒng)互聯(lián)網(wǎng)之間的關系。從這幅圖中咱們能夠看出：物聯(lián)網(wǎng)對應了互聯(lián)網(wǎng)的感覺和運動神經(jīng)系統(tǒng)。云計算是互聯(lián)網(wǎng)的核心硬件層和核心軟件層的集合，也是互聯(lián)網(wǎng)中樞神經(jīng)系統(tǒng)萌芽。大數(shù)據(jù)代表了互聯(lián)網(wǎng)的信息層（數(shù)據(jù)海洋），是互聯(lián)網(wǎng)智慧和意識產(chǎn)生的基礎。包括物聯(lián)網(wǎng)，傳統(tǒng)互聯(lián)網(wǎng)，移動互聯(lián)網(wǎng)在源源不斷的向互聯(lián)網(wǎng)大數(shù)據(jù)層匯聚數(shù)據(jù)和同意數(shù)據(jù)。大數(shù)據(jù)時期的到來，是全世界知名咨詢公司麥肯錫最先提出的，麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到現(xiàn)今每一個行業(yè)和業(yè)務職能領域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預示著新一波生產(chǎn)率增加和消費者盈余的到來?！苯鼛啄甏髷?shù)據(jù)一詞的持續(xù)升溫也帶來了大數(shù)據(jù)泡沫的疑慮，大數(shù)據(jù)的前景與目前、、移動等是分不開的，下面就來了解一下大數(shù)據(jù)與這些熱點的關系。大數(shù)據(jù)市場格局從嚴格意義上來講，早在20世紀90年代“數(shù)據(jù)倉庫之父”的BillInmon便提出了“大數(shù)據(jù)”的概念。大數(shù)據(jù)之所以在最近走紅，主要歸結于互聯(lián)網(wǎng)、移動設備、物聯(lián)網(wǎng)和云計算等快速崛起，全世界數(shù)據(jù)量大大提升。能夠說，移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和云計算等熱點崛起在專門大程度上是大數(shù)據(jù)產(chǎn)生的原因。咱們能夠通過如此一張圖片，形象的明白大數(shù)據(jù)與移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和傳統(tǒng)互聯(lián)網(wǎng)的關系。物聯(lián)網(wǎng)，移動互聯(lián)網(wǎng)再加上傳統(tǒng)互聯(lián)網(wǎng)，天天都在產(chǎn)生海量數(shù)據(jù)，而大數(shù)據(jù)又通過云計算的形式，將這些數(shù)據(jù)挑選處置分析，提前出有效的信息，這就是大數(shù)據(jù)分析。大數(shù)據(jù)與移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和傳統(tǒng)互聯(lián)網(wǎng)作為巨頭，EMC的大數(shù)據(jù)理念是，第一從“大”入手，“大”肯定是指大型數(shù)據(jù)集，一般在10TB規(guī)模左右。很多用戶把多個數(shù)據(jù)集放在一路，形成PB級的數(shù)據(jù)量。同時從數(shù)據(jù)源來談，大數(shù)據(jù)是指這些數(shù)據(jù)來自多種數(shù)據(jù)源，以實時、迭代的方式來實現(xiàn)。大數(shù)據(jù)來源咱們看到，各類行業(yè)都出現(xiàn)了大數(shù)據(jù)趨勢，有些可能是零售業(yè)商戶，要對零售業(yè)數(shù)據(jù)進行分析，或是一些有關全世界天氣預報模型的數(shù)據(jù)，還有油氣行業(yè)一些地理信息數(shù)據(jù)，比如基因?qū)W分析，醫(yī)學中也有成像類的大數(shù)據(jù)，乃至電影、娛樂行業(yè)還有效于渲染的大型數(shù)據(jù)存在。大數(shù)據(jù)與現(xiàn)實生活大數(shù)據(jù)能帶來什么轉(zhuǎn)變呢？里克?斯莫蘭的“大數(shù)據(jù)人類面孔”項目講述了許多故事：海象通過頭頂?shù)挠|角探索海洋;借助衛(wèi)星擊準蚊子;加納用短信系統(tǒng)避免假藥銷售;智能電話能夠預測誰正在變抑郁;信用卡在利用者離婚前兩年就可以預測離婚;藥片直接將信息從人的身體傳給醫(yī)生。通過對衛(wèi)星和全世界數(shù)億傳感器、RFID標簽、帶GPS的相機和智能電話實時搜集的數(shù)據(jù)做可視化處置，人類就可以夠感知、測量、理解和影響人類的生存方式，實現(xiàn)先輩們遙不可及的夢想。2012年3月，里克?斯莫蘭和JenniferErwitt發(fā)動全世界各地100多位攝影師、編輯和作家來探索大數(shù)據(jù)的世界，以驗證它是不是象許多業(yè)界人士所說：代表了一種從未出現(xiàn)過的工具，能夠幫忙人類面對最大的挑戰(zhàn)。大數(shù)據(jù)人類面孔-通過計步器記錄數(shù)據(jù)分析身體狀況2012年9月25日到10月2日，邀請全世界各地參與者通過“大數(shù)據(jù)人類面孔”這一應用（五種語言的iOS和安卓版本免費下載）來“測量咱們的世界”。這一應用能夠讓人們用電話作為傳感器參與一系列活動，他們同時能夠比較全世界參與者對一些值得沉思的問題給出了什么答案。參與者能夠繪制出自己天天的路徑，分享那些帶給他們好運的物品和儀式，了解其他人想要在一生中經(jīng)歷的特別體驗，發(fā)覺自己身旁以前沒成心識到的秘密。參與者還能夠得出自己的“數(shù)字身影”。2012年10月2日，邀請媒體出席在紐約、倫敦和新加坡舉行的“指揮控制中心”大型活動，所有參與者的數(shù)據(jù)將在活動中加以分析、視覺化處置和詮釋。大數(shù)據(jù)領域的專家們和創(chuàng)新者們將通過互動的“大數(shù)據(jù)實驗室”分享他們的工作功效。全世界各地的觀眾能夠?qū)崟r在線觀看活動直播。麥肯錫全世界研究機構在發(fā)布的《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個前沿領域》中表示，充分利用大數(shù)據(jù)可幫忙全世界個人定位服務提供商增加1000億美元收入、幫忙歐洲公共部門的管理每一年提升2500億美元產(chǎn)值、幫忙美國醫(yī)療保健行業(yè)每一年提升3000億美元產(chǎn)值，并可幫忙美國零售業(yè)取得60%以上的凈利潤增加......若是感覺此數(shù)據(jù)太過空泛，那么咱們能夠通過安防監(jiān)控在大數(shù)據(jù)方面的應用來進行詳細的了解。很多讀者應該都看過電影《全民公敵》，威爾史密斯扮演的律師出此刻各地任意位置的攝像頭都會在第一時刻被發(fā)覺，這即是大數(shù)據(jù)的作用。從技術角度來看，從傳統(tǒng)的海量存儲監(jiān)控，到實現(xiàn)聯(lián)網(wǎng)智能化監(jiān)控即是大數(shù)據(jù)專門好的應用。在國際多數(shù)市中，每一年行駛的車輛數(shù)據(jù)可能會達到百億級，從這些海量信息提取車牌、車身顏色，就可以夠?qū)ｉT快查出軌跡、違章等，而接下來的關聯(lián)分析就是基于大數(shù)據(jù)的基礎展開。再比如大家常常利用的淘寶為例。天貓副總裁王文彬曾表示“咱們能夠取得買家的訪問量、固定頻率、偏好商品等淺層分析。未來將有更多，不僅能看到商家銷量的高低，乃至還能夠看出其原因?！鄙碳疫€能夠通過對點擊量、跨店鋪點擊，定單流轉(zhuǎn)量乃至旺旺聊天信息等消費者購買行為的分析，進而有針對性的進行提高，達到提高銷量的目的。從人類文明出現(xiàn)到2003年，人類總共才產(chǎn)生了5EB(ExaBytes)的數(shù)據(jù)，可是當前的人類兩天內(nèi)就創(chuàng)造出了相同的數(shù)據(jù)量，全世界90%的數(shù)據(jù)都是在過去兩年中生成的，到2020年全世界數(shù)據(jù)利用量將可能需要376億個1TB的硬盤進行存儲。大數(shù)據(jù)固然，大數(shù)據(jù)并非等同于目前的海量數(shù)據(jù)。目前全世界均比較認可IDC對“大數(shù)據(jù)”的概念：為了更經(jīng)濟地從高頻率獲取的、大容量的、不同結構和類型的數(shù)據(jù)中獲取價值，而設計的新一代架構和技術。此概念也能夠歸納為四個特點，即高容量(volume)、多樣性(variety),速度(velocity),和價值(value)四個V,包括基礎架構、數(shù)據(jù)管理、分析挖掘和決策支持四個層面。固然,也有其他不同的觀點,對于大數(shù)據(jù)的概念即是規(guī)模性(Volume)、多樣性(Variety)、高速性(Velocity)和真實性(Veracity)的“4V理論”,NetApp大中華區(qū)總領導陳文所理解的大數(shù)據(jù)包括A、B、C三個要素：大分析(Analytic)，高帶寬(Bandwidth)和大內(nèi)容(Content)。大數(shù)據(jù)與云計算物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等是大數(shù)據(jù)的來源,而大數(shù)據(jù)分析則是為物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)提供有效的分析,獲取價值。云計算又與大數(shù)據(jù)有什么關系呢?那個問題其實早在2011年,就有人分析,例如EMCWorld2011的大會主題就是“當云計算遇見大數(shù)據(jù)”。云計算與大數(shù)據(jù)二者之間有很多的交集,業(yè)界主要做云的公司有谷歌、亞馬遜等都擁有大量大數(shù)據(jù)。EMC總裁基辛格強調(diào)大數(shù)據(jù)應用必需在云設施上跑,這就是二者的關系——大數(shù)據(jù)離不開云。同時,支撐大數(shù)據(jù)和云計算的底層原則是一樣的,即規(guī)?；?、自動化、資源配置、自愈性,這些都是底層的技術原則。因此基辛格以為大數(shù)據(jù)和云之間存在很多合力的地方。另一方面,隨著互聯(lián)網(wǎng)信息量的激增,用戶單個數(shù)據(jù)集達到數(shù)以TB計，有的客戶乃至已達到Pera級(1000Tera)了，用現(xiàn)有的存儲系統(tǒng)結構處置數(shù)據(jù)量級較小,而且只能處置單一數(shù)據(jù)源數(shù)據(jù),面對大數(shù)據(jù)的壓力。在處置大量級和多數(shù)據(jù)源的數(shù)據(jù)能力超級弱。這也就是為何EMC收購Greenplum,支持開源的Hadoop計劃的目的所在?；粮窈苊靼祝髷?shù)據(jù)的挑戰(zhàn)不單單在于存儲和保護，數(shù)據(jù)分析能力的強弱，將成為那個時期的關鍵點：咱們已經(jīng)解決了數(shù)據(jù)存儲和保護的問