企業(yè)的大數(shù)據(jù)戰(zhàn)略

企業(yè)的大數(shù)據(jù)戰(zhàn)略目錄\h01每個人都身處一個大數(shù)據(jù)時代\h20世紀，大數(shù)據(jù)的序幕\h21世紀，數(shù)據(jù)大爆發(fā)\h02你必須知道的大數(shù)據(jù)7大特征和8大事實\h大數(shù)據(jù)的“7V”特征\h你早該知道的大數(shù)據(jù)的8個事實\h大數(shù)據(jù)對社會的影響\h03大數(shù)據(jù)的7大發(fā)展趨勢\h趨勢1，移動大數(shù)據(jù)\h趨勢2，實時大數(shù)據(jù)\h趨勢3，物聯(lián)網(wǎng)\h趨勢4，量化自我\h趨勢5，社交大數(shù)據(jù)\h趨勢6，公共大數(shù)據(jù)\h趨勢7，游戲化\h04你應(yīng)該了解的大數(shù)據(jù)技術(shù)\hHadoopHDFS和MapReduce\h開源工具\h大數(shù)據(jù)工具和分析類型\h05如何布局企業(yè)大數(shù)據(jù)戰(zhàn)略\h以信息為中心的企業(yè)的主要特征\h大數(shù)據(jù)的8大用途\h大數(shù)據(jù)和投資回報\h資產(chǎn)負債表中的大數(shù)據(jù)\h企業(yè)內(nèi)部大數(shù)據(jù)的3大影響力\h大數(shù)據(jù)企業(yè)落地路線圖\h7種最重要的大數(shù)據(jù)員工\h中小型企業(yè)的大數(shù)據(jù)機會\h管理大數(shù)據(jù)\h06大數(shù)據(jù)落地的18個行業(yè)\h農(nóng)業(yè)\h汽車業(yè)\h消費品業(yè)\h教育\h能源\h金融服務(wù)業(yè)\h游戲業(yè)\h醫(yī)療\h法律\h制造業(yè)\h非營利組織\h傳媒和娛樂產(chǎn)業(yè)\h石油和天然氣產(chǎn)業(yè)\h公共部門\h零售業(yè)\h電信業(yè)\h交通運輸業(yè)\h旅游與休閑業(yè)\h07大數(shù)據(jù)的隱私、道德和安全\h大數(shù)據(jù)隱私\h大數(shù)據(jù)道德\h大數(shù)據(jù)安全\h08大數(shù)據(jù)的未來\h商業(yè)分析的未來\h邁入波字節(jié)時代01每個人都身處一個大數(shù)據(jù)時代在人類史冊記載的所有數(shù)據(jù)中，90%是在近兩年創(chuàng)造的。然而，利用和解析大數(shù)據(jù)的需求卻由來已久。事實上，早在7000年前就曾出現(xiàn)過利用數(shù)據(jù)追蹤和控制生產(chǎn)的情況——這也是最早的相關(guān)案例。當時，美索不達米亞人利用基礎(chǔ)的會計準則記錄農(nóng)作物的生長情況。之后，會計準則被不斷完善。1663年，約翰·格朗特（JohnGraunt）記錄并觀察了有關(guān)倫敦地區(qū)居民死亡情況的所有信息，并為了研究肆虐歐洲的黑死病，建立了警示系統(tǒng)。在首次有記載的統(tǒng)計學數(shù)據(jù)分析案例中，他將自己的研究成果匯集到了《關(guān)于死亡表的自然觀察與政治觀察》（NaturalandPoliticalObservationsMadeupontheBillsofMortality）一書中。此書對揭示17世紀人們的死因有巨大的啟示作用，格朗特因此被譽為“人口統(tǒng)計學之父”。19世紀見證了信息時代的開端。1887年，現(xiàn)代數(shù)據(jù)首次被采集。當時，赫爾曼·霍爾瑞斯（HermanHollerith）發(fā)明了一種計算機，可以通過穿孔卡片來管理人口普查數(shù)據(jù)。20世紀，大數(shù)據(jù)的序幕1937年，富蘭克林·羅斯福當政期間，美國推行了第一個大型數(shù)據(jù)項目——在新頒布的《社會保障法》（SocialSecurityAct）的規(guī)定下，政府要記錄300多萬個用人單位和2600多萬員工的財政貢獻。IBM有幸得到了這個項目，為這個龐大的統(tǒng)計工程開發(fā)穿孔卡片讀卡機。1943年，英國人開發(fā)出了首臺數(shù)據(jù)處理機器“巨人”（Colossus）計算機，用以在第二次世界大戰(zhàn)期間破譯納粹密碼。它能以每秒5000字的速度破解截獲情報中暗含的信息，極大地縮短了破譯納粹密碼所需的時間，是一個巨大的進步。1952年，美國國家安全局成立。短短10年間，它就簽下了12000多名密碼專家?！袄鋺?zhàn)”期間，這些專家開始采用自動收集和處理情報信號的方式，信息超載的難題擺在了他們面前。1965年，美國政府決定設(shè)立首個數(shù)據(jù)中心，來存儲收集到的超過7.42億張納稅申報單和1.75億枚指紋。數(shù)據(jù)中心的員工將這些記錄全部轉(zhuǎn)移到計算機磁帶上，集中存放在一個地方。不過后來，迫于他國反對，該項目沒有繼續(xù)推進，但是它揭開了電子數(shù)據(jù)存儲時代的序幕。1989年，英國計算機科學家蒂姆·伯納斯-李（TimBerners-Lee）發(fā)明了萬維網(wǎng)（WorldWideWeb），希望借助一個“超文本”環(huán)境促進信息共享。當時，他肯定沒有料到，這項發(fā)明會對全人類產(chǎn)生這么重大的影響。從20世紀90年代開始，隨著越來越多的設(shè)備連上互聯(lián)網(wǎng)，數(shù)據(jù)以一種前所未有的速度被創(chuàng)造出來。1995年，第一臺超級計算機誕生。過去，一個人用計算器需要花費3萬年才能完成的工作，現(xiàn)在，計算機能在1秒鐘之內(nèi)解決。21世紀，數(shù)據(jù)大爆發(fā)2005年，奧萊利出版社（O’ReillyMedia）的羅格·馬古拉斯（RogerMougalas）創(chuàng)造了“大數(shù)據(jù)”一詞（此前一年，該出版公司曾提出“Web2.0”一詞），用來指代使用傳統(tǒng)商業(yè)智能工具難以實現(xiàn)分析、管理的大量數(shù)據(jù)的集合。同年，雅虎在谷歌MapReduce的基礎(chǔ)上創(chuàng)造了Hadoop，目的在于為整個萬維網(wǎng)編寫索引。如今，世界上許多企業(yè)都在使用Hadoop這個開源大數(shù)據(jù)平臺來處理大規(guī)模數(shù)據(jù)集。隨著越來越多的社交媒體的涌現(xiàn)以及Web2.0的蓬勃發(fā)展，每天都有越來越多的數(shù)據(jù)誕生。創(chuàng)新型企業(yè)開始慢慢地挖掘這些海量數(shù)據(jù)，政府也開始推進大數(shù)據(jù)項目。2009年，印度政府開始對全國12億人口進行虹膜掃描以及指紋、照片采集，然后將這些數(shù)據(jù)存儲在一個全球最大的生物識別數(shù)據(jù)庫中。2010年，谷歌CEO埃里克·施密特（EricSchmidt）在加利福尼亞州太浩湖（LakeTahoe）舉行的科技經(jīng)濟論壇上這樣描述信息革命：“現(xiàn)在，我們每兩天創(chuàng)造出來的數(shù)據(jù)量，相當于從文明伊始到2003年創(chuàng)造的所有數(shù)據(jù)量的總和……差不多有5艾字節(jié)（ExaByte）\h[1]……”2011年，麥肯錫發(fā)布了一篇備受好評的報告，題為《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個前沿》（BigData：TheNextFrontierforInnovation,Competition,andProductivity）。該報告得出結(jié)論稱，到2018年為止，美國將面臨14萬名數(shù)據(jù)科學家和150萬名數(shù)據(jù)管理員的巨大缺口，數(shù)據(jù)科學家也被認為是21世紀最令人向往的職業(yè)。在過去幾年間，大數(shù)據(jù)初創(chuàng)公司如雨后春筍般涌現(xiàn)，都在試圖幫助企業(yè)理解和利用此次大數(shù)據(jù)爆炸。就像1993年人們開始慢慢接受互聯(lián)網(wǎng)一樣，如今越來越多的公司開始采用大數(shù)據(jù)，未來我們勢必會見證更多改變。事實上，數(shù)據(jù)量爆炸式地增長讓我們跨過了十進制系統(tǒng)時代。如今，美國的國家安全局和聯(lián)邦調(diào)查局在計算其數(shù)據(jù)存儲量的時候，使用的單位是堯字節(jié)（YottaByte）\h[2]。在不久的將來，我們將采用波字節(jié)（BrontoByte）\h[3]作為傳感器數(shù)據(jù)的單位。因此，人們已經(jīng)創(chuàng)造了新術(shù)語來形容在未來幾年內(nèi)有望被創(chuàng)造出的數(shù)據(jù)量（詳見圖1-1）。圖1-1波字節(jié)資訊圖大數(shù)據(jù)將徹底改變?nèi)蚱髽I(yè)和人類社會，而當前可用的全球數(shù)據(jù)量有望每兩年實現(xiàn)翻番。那么，大數(shù)據(jù)到底是什么？接下來，讓我們走進大數(shù)據(jù)，一探究竟。02你必須知道的大數(shù)據(jù)7大特征和8大事實眾所周知，數(shù)字化的一切皆為數(shù)據(jù)。如今，現(xiàn)有的軟硬件設(shè)備已經(jīng)不能滿足高速增長的各種各樣海量數(shù)據(jù)的處理需求了。大數(shù)據(jù)太復(fù)雜且太多樣，使用傳統(tǒng)工具已經(jīng)不能再對它進行處理、存儲、分析和管理了。而且，大數(shù)據(jù)的量也非常大，以至于我們無法找出癥結(jié)來對癥下藥。幸運的是，依靠現(xiàn)在開發(fā)的硬件、工具和算法，所有的數(shù)據(jù)都能夠轉(zhuǎn)換為有價值的信息，而且，這些信息所揭示的洞見可用于完善企業(yè)決策、提升企業(yè)效率、降低企業(yè)成本和增加企業(yè)收入。大數(shù)據(jù)革命意蘊豐富，勢必會影響到各行各業(yè)的所有企業(yè)。大數(shù)據(jù)的“7V”特征人們通常用3個“V”來解讀大數(shù)據(jù)，即高速度（Velocity）、多樣性（Variety）和大體量（Volume）。然而，我想再補充4個“V”，以便更好地體現(xiàn)經(jīng)過周密思考而擬定的大數(shù)據(jù)戰(zhàn)略所帶來的影響和啟示：真實性（Veracity）、可變性（Variability）、可視化（Visualization）和高價值（Value）。高速度高速度是指創(chuàng)造、存儲、分析和可視化數(shù)據(jù)的速度。過去，在人們還習慣對數(shù)據(jù)進行批處理的時候，通常每周或者每晚都會更新數(shù)據(jù)庫。如此一來，計算機和服務(wù)器就需要花費大量的時間進行數(shù)據(jù)處理和數(shù)據(jù)庫更新。然而，在大數(shù)據(jù)時代，數(shù)據(jù)是被實時或者說幾乎是實時創(chuàng)造出來的。隨著無線或者有線等網(wǎng)絡(luò)連接設(shè)備的普及，機器可以實現(xiàn)數(shù)據(jù)的實時傳輸。當前，數(shù)據(jù)產(chǎn)生的速度幾乎讓人不敢置信。人們每分鐘會上傳100個小時的視頻到Y(jié)ouTube上；每分鐘會發(fā)送超過2億條短信；每分鐘在Flickr上查看差不多2000萬張照片，并有3萬張新照片被上傳到網(wǎng)站上；每分鐘會發(fā)布30萬條推文；另外，每分鐘會進行差不多250萬次谷歌搜索。因此，企業(yè)需要應(yīng)對的挑戰(zhàn)就是數(shù)據(jù)產(chǎn)生的高速度，以及對數(shù)據(jù)進行實時利用的需求。在本書第3章中，我們將詳解實時大數(shù)據(jù)。多樣性過去，所有的數(shù)據(jù)都是以行列的形式進行整齊排列的結(jié)構(gòu)化數(shù)據(jù)，不過，這已經(jīng)成為歷史。如今，90%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)?，F(xiàn)在，數(shù)據(jù)的形式多種多樣，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，甚至還有復(fù)雜結(jié)構(gòu)化數(shù)據(jù)。每種數(shù)據(jù)對數(shù)據(jù)分析方式和闡釋工具的需求也有所不同。像Facebook和Twitter這樣的社交媒體網(wǎng)站提供的數(shù)據(jù)，有助于揭示消費者對你的企業(yè)品牌、服務(wù)和產(chǎn)品的看法，而傳感器數(shù)據(jù)提供的則是你的產(chǎn)品或設(shè)備如何被利用等信息，以及你該如何完善產(chǎn)品等洞見。本書第4章闡釋了針對不同的數(shù)據(jù)類型可采用的多種分析方法和工具。結(jié)構(gòu)化數(shù)據(jù)·記錄形式的平面文件（Flatfilesinrecordformat）平面文件是一個簡單的文本文件，通常一行表示一條記錄。不過，單個字段可以由逗號隔開。比如，A.CSV文件就是一種平面文件?！さ乩矶ㄎ粩?shù)據(jù)（GEOlocationdata）地理定位數(shù)據(jù)指的是物體在現(xiàn)實世界中的地理位置?！TML5微數(shù)據(jù)（HTML5microdata）微數(shù)據(jù)可以對現(xiàn)有內(nèi)容添加新的語義，以實現(xiàn)更豐富的瀏覽體驗。該數(shù)據(jù)可以通過搜索引擎、網(wǎng)絡(luò)爬蟲和瀏覽器提取?！みz留數(shù)據(jù)（Legacydata）遺留數(shù)據(jù)是指以陳舊或過時的格式存儲的信息，或存儲在計算機系統(tǒng)中的信息。訪問或處理該信息時難度較大?！と罩疚募↙ogfiles）日志文件記錄標準格式操作。它能夠很好地提示用戶當前進行的操作?！の⒏袷剑∕icroformats）微格式可以重新使用HTML/XHTML標簽傳遞元數(shù)據(jù)和其他屬性?！鞲衅鲾?shù)據(jù)（Sensordata）傳感器數(shù)據(jù)是由傳感器監(jiān)視設(shè)備或產(chǎn)品收集到的數(shù)據(jù)。傳感器可包括存儲和發(fā)送信息的無線射頻識別（RFID）標簽?！る娮颖砀瘢⊿preadsheets）電子表格包括表格格式中的數(shù)據(jù)，表示表和標題。半結(jié)構(gòu)化數(shù)據(jù)·包含元數(shù)據(jù)標簽的文檔（Documentscontainingmetadatatags）元數(shù)據(jù)包括作者和創(chuàng)作時間之類的信息，可以被輕松存入關(guān)系數(shù)據(jù)庫管理系統(tǒng)（RelationalDatabaseManagementSystem，簡稱RDBMS）中。·電子數(shù)據(jù)交換文檔（ElectronicDataInterchangedocuments）電子數(shù)據(jù)交換（EDI）文檔指的是計算機系統(tǒng)之間的一系列信息的傳遞與交換，信息采用預(yù)定義格式。·豐富站點摘要訂閱（RichSiteSummaryfeeds）豐富站點摘要（RSS）訂閱為完整或匯總文檔，包含元數(shù)據(jù)，用于頻繁發(fā)布、更新作品，比如博客。它采用標準化XML文件格式，信息只需發(fā)布一次，用戶可通過許多不同的程序查看?！た蓴U展標記語言對象（ExtendedMarkupLanguageobjects）可擴展標記語言（XML）對象由一套規(guī)則定義而成，這套規(guī)則使人類和機器都能更容易地閱讀文檔。非結(jié)構(gòu)化數(shù)據(jù)·二進制大對象（BinaryLargeObjects）二進制大對象（BLOB）包括以單個文件形式存儲在數(shù)據(jù)庫管理系統(tǒng)中的二進制數(shù)據(jù)。它可以是圖片、音頻材料或其他任何多媒體對象?！ば枰刂频臉I(yè)務(wù)記錄（Businessrecordsrequiringcontrol）需要控制的業(yè)務(wù)記錄指的是與業(yè)務(wù)相關(guān)的文檔、書面文件或電子文件，根據(jù)法律法規(guī)或行業(yè)要求，或出于支持訴訟和證據(jù)開示需求，決定存儲、保留、處理或刪除。·內(nèi)容管理數(shù)據(jù)（Contentmanagementdata）內(nèi)容管理數(shù)據(jù)是指與在線平臺的內(nèi)容管理系統(tǒng)相關(guān)的數(shù)據(jù)。Wordpress和Joombla都是內(nèi)容管理系統(tǒng)?！?shù)字資產(chǎn)（Digitalassets）數(shù)字資產(chǎn)是指需要專門存儲和傳輸以保證合同履行的文檔，因為數(shù)字資產(chǎn)包含了大型和/或特殊編碼文件?！討B(tài)內(nèi)容（多用戶）[Dynamiccontent（multipleusers）]動態(tài)內(nèi)容是指可能由多人或多個群體創(chuàng)建、編輯、評審和認可的內(nèi)容。谷歌文檔就是不錯的例子，它允許多位用戶同時編輯相同的文檔?！る娮余]件、短信、聊天信息（Email,textmessages,chat）它們表示個人之間、企業(yè)和個人之間、機器和個人之間的通信或其他溝通過程的數(shù)據(jù)?！ぶR產(chǎn)權(quán)數(shù)據(jù)（Intellectualpropertydata）知識產(chǎn)權(quán)數(shù)據(jù)是指與知識產(chǎn)權(quán)相關(guān)的數(shù)據(jù)。我們必須嚴格控制知識產(chǎn)權(quán)數(shù)據(jù)的獲取，而且必須對知識產(chǎn)權(quán)進行管理，以避免違反材料使用相關(guān)的合同或授權(quán)條款。·社交數(shù)據(jù)（Socialdata）社交數(shù)據(jù)是指在Facebook、Twitter、YouTube、LinkedIn等社交媒體上共享的所有數(shù)據(jù)?！ｉT化內(nèi)容（Web數(shù)據(jù)）（Specializedcontent[Webdata]）專門化內(nèi)容需要特殊的訪問、控制、內(nèi)容項、呈現(xiàn)以及其他功能，而在線平臺就是一個非常典型的例子。·靜態(tài)文檔（Staticdocuments）一次只能由一個用戶進行編輯的Word、PowerPoint或Excel文檔?！し诸惙椒?本體模型（Taxonomies/ontologies）本體模型將知識表現(xiàn)為不同的概念（事物、關(guān)系或事件），并呈現(xiàn)出概念間的關(guān)系?！ふZ音識別數(shù)據(jù)（Voicerecognitiondata）語音識別數(shù)據(jù)就是由語音轉(zhuǎn)換成的計算機可識別的文本或數(shù)據(jù)。語音識別數(shù)據(jù)包括語音助手（Siri）、播客（Podcast）、語音到文本處理，以及語音控制系統(tǒng)上的數(shù)據(jù)。復(fù)雜結(jié)構(gòu)化數(shù)據(jù)·層次結(jié)構(gòu)數(shù)據(jù)（基于XML的MISMO）XML數(shù)據(jù)集與復(fù)雜的金融產(chǎn)品相關(guān)。大體量按照現(xiàn)有的數(shù)據(jù)產(chǎn)生速度，每兩年數(shù)據(jù)量就會翻番。2011年，我們創(chuàng)造了1.8澤字節(jié)的數(shù)據(jù)，簡直令人瞠目結(jié)舌?；ヂ?lián)網(wǎng)數(shù)據(jù)中心（IDC）在2011年發(fā)布的一項研究表明，到2020年，全球數(shù)據(jù)量將是目前的50倍。這無疑是一個巨大的體量，當然，這很大程度上要歸功于“物聯(lián)網(wǎng)”給這個持續(xù)膨脹的數(shù)字世界所做的貢獻，因為物聯(lián)網(wǎng)讓搭載在各種各樣設(shè)備上的傳感器遍布全球，時時刻刻都在生成數(shù)據(jù)。接下來，讓我們來看一些實例。安裝在飛機引擎上的傳感器每年約產(chǎn)生25億太字節(jié)的數(shù)據(jù)。農(nóng)業(yè)產(chǎn)業(yè)通過安裝在拖拉機上的傳感器產(chǎn)生和收集了大量數(shù)據(jù)。約翰迪爾（JohnDeere）農(nóng)業(yè)機械有限公司使用傳感器上的數(shù)據(jù)來監(jiān)控機械，控制耕機數(shù)量，并幫助農(nóng)民更好地制定決策。殼牌（Shell）石油公司采用超靈敏傳感器來發(fā)現(xiàn)油井中更多的石油。如果該公司在1萬個油井里全部安裝上這些傳感器，那么，每年將會收集約10艾字節(jié)的數(shù)據(jù)。不過，與平方公里陣列望遠鏡項目（SquareKilometerArrayTelescope）相比，這些都是小巫見大巫，該項目每天都會生成1艾字節(jié)的數(shù)據(jù)。過去，如此巨量的數(shù)據(jù)會帶來嚴重的問題。而如今，伴隨著存儲成本的大幅下降、更好的存儲方案（如Hadoop），以及挖掘數(shù)據(jù)價值的算法的出現(xiàn)，數(shù)據(jù)存儲不再是什么大不了的問題了。真實性如果數(shù)據(jù)是錯誤的，那么，高速生成和收集海量數(shù)據(jù)也就毫無意義可言。錯誤的數(shù)據(jù)會給企業(yè)和客戶帶來不小的麻煩。倘若你想讓企業(yè)實現(xiàn)以信息為中心，你就需要確保你的數(shù)據(jù)和所進行的數(shù)據(jù)分析沒有錯誤。對自動決策而言，這一點尤其重要，因為自動決策不再涉及人類意志。但是，令人震驚的是，有1/3的企業(yè)領(lǐng)導(dǎo)者都不信任他們在決策制定過程中所采用的數(shù)據(jù)。因此，如果你想制定大數(shù)據(jù)戰(zhàn)略，就必須高度重視數(shù)據(jù)的正確性以及分析的精確度。我將在本書第5章深度剖析這一重要內(nèi)容?？勺冃源髷?shù)據(jù)變化無常。弗雷斯特（Forrester）研究公司首席分析師布賴恩·霍普金斯（BrianHopkins）將大數(shù)據(jù)可變性定義為“意義的變換”。他提到了在益智問答節(jié)目《危險邊緣》（Jeopardy）中打敗人腦的超級計算機沃森（Watson）。沃森需要“仔細分析答案的意義，然后……找出正確答案”。這是非常困難的，因為詞語在不同的語境下表達的意思可能千差萬別。因此，要找出正確答案，沃森需要理解語境。事實上，可變性和多樣性經(jīng)常被混淆。舉個簡單的例子，如果一個面包店供應(yīng)十種不同的面包，那是多樣性；而同一種面包的香味和口感每天都不一樣，那就是可變性。因此，可變性對進行情感分析具有重要意義。可變性意味著定義在不斷（快速）地變化中。即使是在相似的推文中，同一個詞也可能有截然相反的意思。要進行正確的情感分析，算法需要根據(jù)詞匯所處的語境，對它的意義進行精確分析。同樣，這極具挑戰(zhàn)性。可視化這是大數(shù)據(jù)的難點?？梢暬褪菍⒋罅靠衫斫獾臄?shù)據(jù)用易讀和易理解的方式呈現(xiàn)。有了正確的可視化之后，原始數(shù)據(jù)就能投入使用了。當然，可視化采用的不是普通的曲線圖或餅圖。它采用的是既能表現(xiàn)數(shù)據(jù)變化，又能保證易讀性和易理解性的復(fù)雜圖表?？梢暬苍S不是最大的技術(shù)難題，但肯定是最具挑戰(zhàn)性的技術(shù)難題。用一個圖表來述說復(fù)雜的故事異常困難，但也至關(guān)重要。幸運的是，越來越多的大數(shù)據(jù)初創(chuàng)公司開始著力應(yīng)對這一挑戰(zhàn)了。總之，可視化意義重大。高價值現(xiàn)有的所有數(shù)據(jù)將會為企業(yè)、社會和消費者創(chuàng)造出巨大價值。大數(shù)據(jù)意味著大生意，各行各業(yè)都將從中獲利。麥肯錫宣稱，對美國醫(yī)療行業(yè)而言，大數(shù)據(jù)具有3000億美元的潛在年產(chǎn)值，相當于西班牙每年醫(yī)療支出費用總和的兩倍多。該報告還指出，對歐洲的公共部門管理而言，大數(shù)據(jù)具有2500億歐元的潛在年產(chǎn)值。另外，麥肯錫在其2011年那份備受推崇的大數(shù)據(jù)報告中還指出，2020年，全球使用個人位置信息的潛在消費過剩可能高達6000億美元。顯然，大數(shù)據(jù)價值連城。當然，數(shù)據(jù)自身并不具有價值。真正有價值的是在數(shù)據(jù)基礎(chǔ)上所做的分析，以及數(shù)據(jù)被轉(zhuǎn)換成的信息，甚至是知識和智慧。數(shù)據(jù)的價值在于企業(yè)如何利用數(shù)據(jù)打造一個以信息為中心的企業(yè)，并將企業(yè)的決策制定立足于數(shù)據(jù)分析所釋放的洞見的基礎(chǔ)之上。你早該知道的大數(shù)據(jù)的8個事實既然我們已經(jīng)定義了大數(shù)據(jù)，接下來就需要了解一下企業(yè)發(fā)展大數(shù)據(jù)戰(zhàn)略時應(yīng)該知道的有關(guān)大數(shù)據(jù)的最重要的知識。使用大數(shù)據(jù)確實需要轉(zhuǎn)變思維模式，清楚這些事實將有助于你的公司向前推進。因為它們非常重要，所以先在此進行簡單的介紹，在后面的章節(jié)中還會有更為詳細的討論。大數(shù)據(jù)需要以信息為中心的企業(yè)文化為了真正利用大數(shù)據(jù)，你的公司需要轉(zhuǎn)變?yōu)橐患乙孕畔橹行牡墓?。這種文化變革將會催生出更多數(shù)據(jù)驅(qū)動型決策，也將會為你的員工提供機會，讓他們能夠基于真實的數(shù)據(jù)（而非計算估值）制訂新的業(yè)務(wù)、戰(zhàn)術(shù)和戰(zhàn)略計劃。大數(shù)據(jù)文化鼓勵員工在和顧客的每次接觸中都要收集數(shù)據(jù)。他們需要提出恰當?shù)膯栴}，并用準確的數(shù)據(jù)加以解答。當然，轉(zhuǎn)變公司的文化困難重重，不過本書將提供一個指導(dǎo)路線圖，幫助企業(yè)創(chuàng)建以信息為中心的文化。大數(shù)據(jù)背后的真正推手是公司內(nèi)部人員盡管文化變革對于充分利用大數(shù)據(jù)的潛力有重要意義，但是大數(shù)據(jù)戰(zhàn)略的發(fā)展卻取決于公司內(nèi)部人員。尤其是管理人員應(yīng)該清楚大數(shù)據(jù)是什么，以及如何將它運用到公司中去。明白大數(shù)據(jù)對公司的好處的決策者越多，發(fā)展和實施成功的大數(shù)據(jù)戰(zhàn)略的可能性就越大。需要記住的最重要的一點是，IT部門不應(yīng)負責大數(shù)據(jù)戰(zhàn)略。IT部門只是實現(xiàn)大數(shù)據(jù)戰(zhàn)略的一種手段，不應(yīng)該由它來負責整體的戰(zhàn)略規(guī)劃。這里不妨和早年的社交媒介比較一下。幾年前，人們都認為社交媒介是營銷的圣杯，如今，實事求是地說，它只是一種實現(xiàn)公司營銷和戰(zhàn)略目標的手段。這也應(yīng)該是我們看待大數(shù)據(jù)的方式，即將它看作是董事會或管理層所制定的整體戰(zhàn)略中的一個重要組成部分。要成功開始發(fā)展大數(shù)據(jù)，首先要在公司內(nèi)部找到合適的發(fā)起人，尤其是在前期回報不能確定，而成本又可能較高時。最好選擇一名高管或董事，因為這些人有能力支持這個項目，即使初期產(chǎn)生的是消極結(jié)果。大數(shù)據(jù)無處不在任何數(shù)字化的事物皆為數(shù)據(jù)。越來越多的事物被數(shù)字化，并與互聯(lián)網(wǎng)產(chǎn)生聯(lián)系，這意味著你的公司正在接收全新領(lǐng)域的數(shù)據(jù)。物聯(lián)網(wǎng)運動表明，任何產(chǎn)品或設(shè)備都能與互聯(lián)網(wǎng)相連，因此都能提供數(shù)據(jù)。公司應(yīng)該利用這種信息，并敢于將產(chǎn)品數(shù)字化。大數(shù)據(jù)見者有份——你只需拓寬視野去發(fā)現(xiàn)在哪里能找到它，以及如何分析和使用它。物聯(lián)網(wǎng)甚至能讓一杯咖啡轉(zhuǎn)化成數(shù)據(jù)。只要在杯子上安裝一些傳感器，你就能分析某人喝咖啡的時間、速度、地點、持續(xù)時間、啜飲次數(shù)、咖啡溫度，以及咖啡粉和水的用量等。如果你能夠收集員工喝咖啡的數(shù)據(jù)并加以適當分析，就能將它轉(zhuǎn)化為信息，用來了解員工喝咖啡的習慣。當然，這只是一個玩笑，我懷疑是否有管理者會對這樣的信息感興趣，但是它表明，要想將大數(shù)據(jù)真正地融入你的公司，你應(yīng)該打破常規(guī)思維。除此之外，你也應(yīng)該開始關(guān)注一下公開數(shù)據(jù)市場，它們正大量涌現(xiàn)。這些數(shù)據(jù)市場同時收集全世界免費和付費的公開數(shù)據(jù)集。如果將你自己的數(shù)據(jù)和這些新數(shù)據(jù)集結(jié)合起來，你就能獲得全新的見解和信息。大數(shù)據(jù)工程師將是稀缺資源麥肯錫發(fā)布的一份報告預(yù)計，2018年，僅美國的大數(shù)據(jù)工程師缺額就約為14萬到19萬人。該報告還預(yù)測，負責管理大數(shù)據(jù)工程師，并將大數(shù)據(jù)的IT方面和戰(zhàn)略方面聯(lián)系在一起的大數(shù)據(jù)經(jīng)理缺額為150萬人。因此，未來大數(shù)據(jù)員工需求將出現(xiàn)巨大的缺口。然而，你招聘的人員并不應(yīng)僅限于大數(shù)據(jù)工程師和經(jīng)理，還應(yīng)包括大數(shù)據(jù)分析師、大數(shù)據(jù)解決方案架構(gòu)師。當然，大數(shù)據(jù)科學家也應(yīng)包含在內(nèi)。特別是大數(shù)據(jù)科學家很難找到，因此要價也高，經(jīng)常被稱為“21世紀最令人心動的職業(yè)”?，F(xiàn)在，全世界只有少數(shù)幾個人能真正稱得上是大數(shù)據(jù)科學家。如果公司不想錯過未來的發(fā)展，那就應(yīng)該開始為IT人員培訓(xùn)大數(shù)據(jù)技術(shù)，尤其是想要自行開發(fā)大數(shù)據(jù)解決方案的公司。很多大學也已經(jīng)在開設(shè)大數(shù)據(jù)工程課程，為接收未來的學生做準備。實際上，越來越多的大學已經(jīng)在提供大數(shù)據(jù)學習項目，以及在在線平臺上開設(shè)課程，比如Coursera。大數(shù)據(jù)需要重大安保措施收集有巨大價值的數(shù)據(jù)集的公司需要保護這些信息，避免犯罪分子盜竊和利用這些數(shù)據(jù)。近年來，許多互聯(lián)網(wǎng)企業(yè)和政府機構(gòu)都遭受過黑客入侵，包括LinkedIn、印象筆記（Evernote），甚至Bitcoin。因此，保護搜集到的所有數(shù)據(jù)，意義非常重大。保護數(shù)據(jù)的方式有多種，最常見的是對信息進行適當?shù)募用芴幚怼．斎?，還有很多方法可以保護數(shù)據(jù)，所以，安保應(yīng)該始終是你大數(shù)據(jù)團隊工作內(nèi)容的一部分。然而，每個公司也應(yīng)該設(shè)定一個危機預(yù)案，以防萬一。令人驚訝的是，許多公司在面對與計算機有關(guān)的安全漏洞時，仍然不知所措。這樣一個漏洞可能會帶來災(zāi)難性的后果。更為糟糕的是，有些公司甚至缺乏發(fā)現(xiàn)黑客入侵的安保機制。因此，公司應(yīng)該為可能的入侵早作打算，要么制訂內(nèi)部方案，要么使用相關(guān)專業(yè)機構(gòu)的服務(wù)。無法保護你的公司和顧客的數(shù)據(jù)安全，很可能意味著你的公司將走到盡頭。關(guān)于隱私的公開討論將不可避免伴隨大數(shù)據(jù)而來的是重大隱私問題。在大數(shù)據(jù)時代，無論是線上還是線下，“老大哥”將會監(jiān)視每一個人。2013年，愛德華·斯諾登（EdwardSnowden）曝光的“棱鏡門”事件表明，個人隱私能并且會在這個數(shù)字時代受到影響。另外，如果不對數(shù)據(jù)進行適當?shù)哪涿幚?，就會存在被重新識別的風險。盡管重新識別難以實現(xiàn)且代價高昂，但是并非不可能。確保數(shù)據(jù)來源可靠，從而保證數(shù)據(jù)的所有權(quán)不受侵害，這一點也非常重要。你需要正確對待數(shù)據(jù)。互聯(lián)網(wǎng)上有大量展示大數(shù)據(jù)負面的電影。隨著越來越多的消費者覺察到大數(shù)據(jù)對他們隱私的影響，關(guān)于企業(yè)收集個人信息的限度的公開討論將不斷升級。所有企業(yè)需要為此建立明確的指導(dǎo)原則。消費者們逐漸意識到了企業(yè)每天都在收集他們的各種數(shù)據(jù)。他們發(fā)現(xiàn)，這些企業(yè)通常會將這些數(shù)據(jù)保存很長時間，一般是兩年或更久，而且如果它們愿意，還可以出售這些數(shù)據(jù)。而且，企業(yè)都會盡可能地讓這些數(shù)據(jù)的用途最大化。例如，2013年支付服務(wù)提供商Equens就曾試圖將交易數(shù)據(jù)出售給荷蘭的零售商，這立即引發(fā)了荷蘭民眾和議會的轟動。幾天后，這家公司不得不取消這個計劃。各國政府正在大力發(fā)展大數(shù)據(jù)戰(zhàn)略和企業(yè)一樣，政府產(chǎn)生的數(shù)據(jù)也在不斷增加。許多政府都正在變得越來越數(shù)字化。例如，荷蘭政府希望到2017年年底徹底實現(xiàn)數(shù)字化辦公，不再使用紙質(zhì)產(chǎn)品。想象一下，這個有1700萬公民的國家將會產(chǎn)生多少數(shù)據(jù)！其他政府也在發(fā)展國家大數(shù)據(jù)戰(zhàn)略。2012年，美國政府為大數(shù)據(jù)領(lǐng)域的研發(fā)工作提供了2億美元。為了存儲未來產(chǎn)生的所有數(shù)據(jù)，美國國家安全局正在猶他州建立一個大型大數(shù)據(jù)倉庫，據(jù)說能夠存儲12艾字節(jié)的數(shù)據(jù)。歐盟競爭事務(wù)專員尼莉·克羅斯（NeelieKroes）是大數(shù)據(jù)的支持者，她希望歐洲能走在這個領(lǐng)域的前沿。她看到了這個機會，竭力主張歐盟各國能與公眾分享它們的數(shù)據(jù)集，以開發(fā)解決問題的應(yīng)用程序。在這些措施的作用下，公開數(shù)據(jù)集已為越來越多的企業(yè)使用，這不僅推動了創(chuàng)新，也為世界性問題找到了新的解決方案。越來越多的私人機構(gòu)也發(fā)展起來，為企業(yè)收集公開和私人數(shù)據(jù)集。訪客可以購買或免費下載這些數(shù)據(jù)集。在一些網(wǎng)站上，企業(yè)也可以出售它們的數(shù)據(jù)集。另外，谷歌和亞馬遜都在發(fā)展大數(shù)據(jù)市場，不過規(guī)模仍然相對較小。前面還有很長一段路要走，不過顯然，政府也能從大數(shù)據(jù)提供的機會中獲得很多好處。大數(shù)據(jù)并不只體現(xiàn)在數(shù)據(jù)量上人們一般認為，“大數(shù)據(jù)”一詞表示大量數(shù)據(jù)。所以，很多人覺得只有在擁有幾個拍字節(jié)或艾字節(jié)數(shù)據(jù)時，才可能實現(xiàn)大數(shù)據(jù)戰(zhàn)略。這種觀點是錯誤的。大數(shù)據(jù)并不僅僅體現(xiàn)在所收集的數(shù)據(jù)量上，也不僅僅是指在不同時刻將不同來源、不同類型的數(shù)據(jù)集合并，而是特指將不同數(shù)據(jù)集合并，并進行后續(xù)的分析，由此產(chǎn)生新的、有價值的見解。這意味著大數(shù)據(jù)戰(zhàn)略對于中小型企業(yè)也是有可能實現(xiàn)的。即使你的公司沒有拍字節(jié)的數(shù)據(jù)，當它和公開數(shù)據(jù)集或社交數(shù)據(jù)結(jié)合時，也能獲得更多的見解。另外，大數(shù)據(jù)也指實時分析可用數(shù)據(jù)和使用算法去預(yù)測行為。實時解析對企業(yè)來說非常有價值，因為從中可以知曉顧客即將做的事情。這就是大數(shù)據(jù)的一部分。即使數(shù)據(jù)量沒有達到艾字節(jié)，也可以做這樣的分析。切勿被擁有大量數(shù)據(jù)的公司嚇倒。盡管更多的數(shù)據(jù)意味著更多的見解，但不一定表示能從中得出更好的見解。迪士尼，邂逅大數(shù)據(jù)，打造更為魔幻的用戶體驗\h[4]迪士尼是世界上最為人仰慕的公司之一。每年，迪士尼樂園會接待全世界大約1億名游客。這些游客產(chǎn)生了大量數(shù)據(jù)，那正是迪士尼想要收集的。2013年，這家公司聲稱發(fā)明了無線跟蹤器“MagicBand”，即一個手環(huán)，能讓游客的奧蘭多迪士尼世界之旅增添更多的魔幻氣息。作為回報，它能記錄下游客完整的數(shù)據(jù)鏈。MagicBand與一張信用卡相關(guān)聯(lián)，其作用相當于樂園的通行證。這些功能是新型MyMagic+系統(tǒng)的一部分。其中，會員擁有許多優(yōu)勢，比如不用排隊，可進行游樂設(shè)施預(yù)約，并可通過智能手機變更預(yù)約，等等。同時，MyMagic+系統(tǒng)能讓迪士尼公司收集顧客大量的敏感數(shù)據(jù)和有價值的數(shù)據(jù)，包括實時位置、購買歷史、游玩模式，等等。同樣，迪士尼也圍繞游客在樂園中的一舉一動建立了一個巨大的數(shù)據(jù)庫。所有這些數(shù)據(jù)都在等待迪士尼去分析和使用，由此做出更好的決策，從而提升服務(wù)水平，調(diào)整營銷信息。盡管迪士尼正在收集海量數(shù)據(jù)，但也尊重游客的隱私。這家公司讓游客完全掌控被收集、存儲、分享或完全不能接觸的數(shù)據(jù)的類型和數(shù)量。游客可通過一個特殊的菜單，選擇迪士尼是否可以在他們待在樂園的時段或回家期間向他們發(fā)送個性化的服務(wù)。必須等到游客做出選擇之后，樂園才能使用MagicBand中存儲的個人信息。然而，即使經(jīng)過最嚴格的選擇，MagicBand依然記錄了游客在樂園中的普遍活動信息。為了發(fā)揮MyMagic+系統(tǒng)的最大功效，迪士尼使盡渾身解數(shù)：培訓(xùn)了6萬名員工使用該系統(tǒng)；在奧蘭多124平方千米的樂園中安裝免費Wi-Fi。免費Wi-Fi能讓游客在園內(nèi)更頻繁地使用智能手機，從而增加收集到的數(shù)據(jù)量。分析人員預(yù)計，建設(shè)整個項目的花費將近8億美元。為了存儲、處理、分析和可視化處理MyMagic+系統(tǒng)生成的所有數(shù)據(jù)，迪士尼創(chuàng)建了基于Hadoop、Cassandra和MongoDB的大數(shù)據(jù)平臺。平臺由一整套具有特定用途的其他工具來實施。早在2009年，迪士尼就從關(guān)系型數(shù)據(jù)庫管理系統(tǒng)升級到了擁有第一個Hadoop集群，此后不久就能建成一個數(shù)據(jù)管理平臺。然而，迪士尼并未急于求成，而是從小處著手，像創(chuàng)業(yè)團隊建立公司一樣打造大數(shù)據(jù)平臺。它從小型靈活的團隊入手，及早發(fā)現(xiàn)錯誤，及早處理，并一直在不斷改進。一開始，迪士尼使用了開源工具以節(jié)省成本，但是隨著數(shù)據(jù)量的增長，開源工具不再管用。因此，它又選擇了付費工具，這些工具在處理迪士尼的大量數(shù)據(jù)方面更可靠?，F(xiàn)在，迪士尼通過分析收集到的所有數(shù)據(jù)來獲得有價值的見解。它用到的分析技術(shù)有多種，包括但不限于受眾分析、分類分析、推薦分析以及園內(nèi)交通流量分析。迪士尼利用大數(shù)據(jù)的機會有很多。這家公司已經(jīng)體驗到了MyMagic+系統(tǒng)給奧蘭多市迪士尼樂園帶來的巨大成果，因此，預(yù)計會向世界上其他迪士尼樂園推廣該系統(tǒng)。由此收集到的巨量數(shù)據(jù)將為迪士尼提供富有價值的見解，從而打造更為魔幻的用戶體驗。大數(shù)據(jù)對社會的影響自從麥肯錫著名的2011年報告發(fā)布以來，發(fā)生了許多事情。雖然在該報告中，大數(shù)據(jù)被稱為創(chuàng)新、競爭和生產(chǎn)力的下一個前沿，但是前面仍然有很長一段路要走。2013年，塔塔咨詢服務(wù)公司（TataConsultancyServices）的研究顯示，2012年接受調(diào)查的643家公司中，47%的公司沒有使用大數(shù)據(jù)。另外，賽仕軟件研究所（SASInstituteInc.）同一年發(fā)布的大數(shù)據(jù)研究報告顯示，2012年接受調(diào)查的339家公司中，21%對大數(shù)據(jù)了解不足，15%不知道大數(shù)據(jù)能給自己帶來何種好處。所以，雖然有越來越多的公司在實施大數(shù)據(jù)戰(zhàn)略，但是仍有許多公司不了解其重要性。既然有一些公司不了解大數(shù)據(jù)，大量消費者也就可能同樣不清楚它的影響。這不禁讓人感到驚悚，因為大數(shù)據(jù)將會對社會和企業(yè)的管理和運作方式以及政府的組織方式產(chǎn)生巨大影響，最終還會波及全球經(jīng)濟運行的方式。高德納（Gartner）公司預(yù)測，大數(shù)據(jù)的發(fā)展將會推動IT開支上漲，到2016年年底將達到2320億美元。大數(shù)據(jù)擁有提供巨額收益的潛力，但是這只有等到所有企業(yè)和政府都開始全面使用大數(shù)據(jù)并從中獲益的時候才會顯現(xiàn)出來。顯然，影響經(jīng)濟，就會影響社會。大數(shù)據(jù)將會為消費者帶來許多好處，比如更優(yōu)質(zhì)且更個性化的產(chǎn)品和服務(wù)、更少的能源費用，以及更高的透明度。由于量化自我（Quantified-self）運動的出現(xiàn)，消費者能夠跟蹤和監(jiān)視自己的一舉一動，從而更加了解自己的生活（見第3章）。但是，大數(shù)據(jù)也會影響消費者的隱私。隨著社會越來越公開和透明，消費者也會感覺好像有人在不斷監(jiān)視自己。企業(yè)不尊重消費者的隱私權(quán)或不清楚如何處理收集到的數(shù)據(jù)的例子比比皆是。例如，2012年，Path承認未經(jīng)人們許可收集數(shù)據(jù)；Twitter向大數(shù)據(jù)經(jīng)紀人出售了價值幾十億美元的信息檔案；WhatsApp遭遇加拿大和荷蘭數(shù)據(jù)保護部門的聯(lián)合調(diào)查。未來，如果再發(fā)生這種事情，這些企業(yè)可能不僅會受到政府和法律的懲罰，更重要的是，也會受到消費者抵制。如果有更好的選擇，消費者可能會拋棄這些公司。漸漸地，消費者意識到新技術(shù)的出現(xiàn)會讓他們的隱私遭受侵犯，這可能導(dǎo)致新法規(guī)的建立，進而改變這一技術(shù)產(chǎn)業(yè)。如果政府不推進這些改革，消費者可能會要求企業(yè)改變政策、產(chǎn)品和它們使用的技術(shù)。因此，本書第7章提出了四項道德準則，幫助企業(yè)妥善處理數(shù)據(jù)。值得慶幸的是，社會也可能成為新技術(shù)背后的推手。這里有一個很好的例子，就是社交媒體分析的崛起，因為消費者已經(jīng)開始使用社交網(wǎng)絡(luò)來聯(lián)系彼此。所以，和其他所有具有顛覆性的技術(shù)一樣，大數(shù)據(jù)將會影響企業(yè)的發(fā)展。創(chuàng)新者和早期采用者已經(jīng)投身于發(fā)展大數(shù)據(jù)戰(zhàn)略，大數(shù)據(jù)戰(zhàn)略將改變企業(yè)管理和運作的方式。實施大數(shù)據(jù)戰(zhàn)略的企業(yè)已經(jīng)在財務(wù)上超出同行20%。這些企業(yè)享受到了大數(shù)據(jù)帶來的好處，并對全球經(jīng)濟產(chǎn)生了影響。因此，大數(shù)據(jù)影響著社會的許多方面；反過來，社會也能影響技術(shù)。這種“技術(shù)影響循環(huán)”是持續(xù)進行的（見圖2-1）。除了對大數(shù)據(jù)的影響外，它也能用于討論其他新技術(shù)對企業(yè)、經(jīng)濟和社會的影響。一般來說，技術(shù)影響循環(huán)完成一次需要幾年時間。所以，雖然奧萊利出版社早在2005年就首度提出了“大數(shù)據(jù)”這個術(shù)語，但我們直到現(xiàn)在才開始理解它對全世界的巨大影響。然而，社會將如何影響大數(shù)據(jù)仍有待明確。圖2-1技術(shù)影響循環(huán)本章小結(jié)大數(shù)據(jù)時代已經(jīng)來臨。企業(yè)需要了解大數(shù)據(jù)是什么，以及如何使用大數(shù)據(jù)。其優(yōu)勢和好處非同小可，不容企業(yè)忽視。人們通常使用3個“V”來說明大數(shù)據(jù)：高速度（Velocity）、多樣性（Variety）和大體量（Volume）。然而，為了更加完整，還需要加上另外4個“V”：真實性（Veracity）、可變性（Variability）、可視化（Visualization）、高價值（Value）。大數(shù)據(jù)包含不同數(shù)據(jù)集中的各種數(shù)據(jù)，這些數(shù)據(jù)集結(jié)合起來可提供有價值的見解，其中包括更好的顧客細分、效率更高的供應(yīng)鏈，或降低風險的手段。不同數(shù)據(jù)集結(jié)合在一起，比如企業(yè)數(shù)據(jù)、公開數(shù)據(jù)和社交數(shù)據(jù)，將會提供更多的見解。03大數(shù)據(jù)的7大發(fā)展趨勢大數(shù)據(jù)的許多方面都影響著企業(yè)的大數(shù)據(jù)戰(zhàn)略及實施該戰(zhàn)略的方式。正如第2章所討論的，每種類型的數(shù)據(jù)都會對你進行的分析和使用的工具產(chǎn)生影響。這些因素大多涉及大數(shù)據(jù)的技術(shù)方面，但是，有些趨勢也會對你的戰(zhàn)略，甚至整個公司都將產(chǎn)生影響。因此，密切關(guān)注這些趨勢非常重要。第一，我們將看到移動革命將會對大數(shù)據(jù)產(chǎn)生重大影響。隨著移動設(shè)備使用得越來越頻繁，智能手機的銷量也在不斷上升。Canalys研究機構(gòu)預(yù)測，2017年售出的15億部手機將全部是智能手機。另外，平板電腦銷量也在猛增。移動設(shè)備處理大數(shù)據(jù)時，將需要使用一種不同的方法。第二，我們將發(fā)現(xiàn)實時大數(shù)據(jù)能讓公司產(chǎn)生最大的價值。分析多個來源的數(shù)以億兆的數(shù)據(jù)不僅有趣，還能得到很多洞見，而在這些數(shù)據(jù)產(chǎn)生之初即對其加以分析，能獲得更大的可能性。將數(shù)據(jù)實時處理、存儲、分析和可視化，能讓一個公司隨時了解它在世界各個地方的流程、產(chǎn)品、機器、員工和客戶的狀況。如果你能夠?qū)Τ霈F(xiàn)的事件實時做出反應(yīng)，得到積極結(jié)果的可能性就更大。第三，物聯(lián)網(wǎng)可能是大數(shù)據(jù)潮流中最為顯著的趨勢。在未來幾年里，裝有傳感器的設(shè)備的數(shù)量可能會超過1萬億臺。當我們連接上過去未聯(lián)通的事物，就會出現(xiàn)前所未有的全新的可能。在這樣一個互聯(lián)的世界里，即使最微小的事物也將產(chǎn)生巨大影響。有關(guān)物聯(lián)網(wǎng)的一個很好的例子是松島新城。該城市里有很多智能創(chuàng)新，比如可自動根據(jù)行人流量調(diào)整的街燈；所有房屋都配備傳感器，這也被稱為住宅自動化（Domotics）。智慧城市將會給日常產(chǎn)生的數(shù)據(jù)量帶來重大影響。物聯(lián)網(wǎng)將會創(chuàng)造出一個完全互聯(lián)的社會。到21世紀20年代，數(shù)萬億臺設(shè)備與互聯(lián)網(wǎng)連接，將會產(chǎn)生數(shù)波字節(jié)數(shù)據(jù)。所有這些數(shù)據(jù)都需要處理、存儲、分析和可視化，以幫助制定更明智的決策。這將會改變我們的社會以及企業(yè)的運作和管理方式。第四，量化自我運動的興起，也是一個主要趨勢。量化自我運動之于消費者，正如大數(shù)據(jù)之于企業(yè)。不僅企業(yè)想知道正在發(fā)生什么，消費者也想知道自己在做什么，以及如何改善自己的行為。答案是：首先要記錄和了解你現(xiàn)在的行為方式。量化自我已經(jīng)催生出一些應(yīng)用，幫助消費者衡量他們生活中的一切——從睡眠質(zhì)量到食物攝入量，再到卡路里的消耗量。所有這些數(shù)據(jù)都存儲在云中，給予公司有價值的見解，讓它們知道如何提升自己的產(chǎn)品。耐克就是一個充分理解量化自我潛力的公司，它能夠?qū)⒑唵蔚膫€人運動轉(zhuǎn)變?yōu)樯缃贿\動，借此產(chǎn)生大量數(shù)據(jù)。第五，我們也將鉆研社交大數(shù)據(jù)，也就是社交網(wǎng)絡(luò)產(chǎn)生的大量數(shù)據(jù)。目前已有數(shù)百家社交網(wǎng)站，它們的注冊用戶在不斷增長。所有用戶共同產(chǎn)生了海量數(shù)據(jù)，這些數(shù)據(jù)經(jīng)過分析后，能為企業(yè)提供更多的見解。顯然，最大的幾家社交網(wǎng)絡(luò)平臺正處于大數(shù)據(jù)技術(shù)的前沿，它們發(fā)明了一些能獲得有價值的見解的算法。比如，當某上市公司所有高管突然更新他們的資料時，LinkedIn就會看出發(fā)生了一些事情。當然，這種敏感性數(shù)據(jù)可以說非常有價值。第六，公開數(shù)據(jù)的利用是一個不能低估的趨勢。各國政府看到了大數(shù)據(jù)的優(yōu)勢，它們正在開放利用公共資金收集的數(shù)據(jù)集。有時，它們會免費或以成本價提供收集到的數(shù)據(jù)集。企業(yè)可以利用這些數(shù)據(jù)集獲得更多的洞見，并發(fā)現(xiàn)新市場或目標群體。如果企業(yè)要找免費或便宜的數(shù)據(jù)集，可以去即將面世的在線數(shù)據(jù)市場或數(shù)據(jù)超市。第七，我們將研究游戲化的潛力，看看它能如何幫助企業(yè)在方便用戶且令人愉快的環(huán)境中產(chǎn)生大量數(shù)據(jù)。通常來說，小趨勢只能持續(xù)幾年，而大數(shù)據(jù)是大趨勢，這七個趨勢也構(gòu)成了企業(yè)應(yīng)對大數(shù)據(jù)挑戰(zhàn)的重要戰(zhàn)略組成部分。在接下來的十年里，它們將繼續(xù)存在，企業(yè)在制定任何大數(shù)據(jù)戰(zhàn)略時應(yīng)加以重點考慮。趨勢1，移動大數(shù)據(jù)移動設(shè)備在近幾年內(nèi)迅速崛起，將對大數(shù)據(jù)產(chǎn)生重大影響，尤其是在可視化方面。2013年，超過20%的網(wǎng)站訪問來自移動設(shè)備端。移動設(shè)備不僅指手機，還包括平板電腦。盡管仍然有很大一部分手機不是智能手機，但人們預(yù)計這一局面將在接下來的幾年里發(fā)生改變。2013年年底，全球正在使用中的智能手機已達到14億臺。高德納公司預(yù)測，2017年，平板電腦的銷量將達到個人電腦的1.75倍。智能手機市場增長的主陣地已不再是西方國家，75%的新型手機銷量將集中在非洲和亞洲市場。移動大數(shù)據(jù)可能會對一些產(chǎn)業(yè)產(chǎn)生開拓性的影響，比如醫(yī)療保健。如果醫(yī)生的智能手機或平板電腦中攜帶有患者所有重要的大數(shù)據(jù)信息，他就能在患者病床旁或手術(shù)室中利用這些信息。無疑，這將改變醫(yī)療保健產(chǎn)業(yè)的運作方式。移動時代已經(jīng)來臨，這需要公司改變運作方式。它會對大數(shù)據(jù)產(chǎn)生什么影響？移動大數(shù)據(jù)又如何能讓你的公司提升價值呢？移動革命隨著移動設(shè)備上網(wǎng)速度越來越快，消費者對等待網(wǎng)絡(luò)連接也變得越來越不耐煩。現(xiàn)在，人們希望的網(wǎng)絡(luò)連接時間僅為3秒，而且最多愿意等待5秒，如果超過5秒，74%的消費者會選擇斷開連接。更具挑戰(zhàn)性的是，71%的消費者甚至希望移動瀏覽器加載網(wǎng)頁的速度能和臺式電腦一樣快，甚至更快。無論用戶使用3G還是Wi-Fi，情形都相同。幸運的是，電信網(wǎng)絡(luò)在不斷升級，在少數(shù)國家，4G/LTE網(wǎng)絡(luò)已經(jīng)建成。然而，要像3G網(wǎng)絡(luò)那樣普及，尚需時日。另外，5G時代也即將到來。2013年，歐盟競爭事務(wù)專員尼莉·克羅斯為歐洲在2020年步入5G時代爭取到了5000萬歐元。然而，4G/LTE網(wǎng)絡(luò)的資費還是比較昂貴，再加上5G為時尚早，消費者仍不得不忍受較慢的3G。不過，有一點十分清楚：未來移動設(shè)備上的數(shù)據(jù)使用量將不斷增長。愛立信預(yù)測，2018年，每部智能手機平均每月的數(shù)據(jù)使用量將增至1.9GB，而2012年僅為450MB。\h[5]每臺平板電腦的數(shù)據(jù)使用量將由2012年的600MB增至2.7GB。到2017年，我們將擁有15億部新智能手機和11億臺新平板電腦，這大約會產(chǎn)生6艾字節(jié)的新移動數(shù)據(jù)使用量。移動大數(shù)據(jù)是什么那么，移動大數(shù)據(jù)到底是什么呢？從根本上說，就是在移動設(shè)備上提供大數(shù)據(jù)分析的結(jié)果。分析本身不能在移動設(shè)備上完成，所以移動大數(shù)據(jù)只能為消費者或企業(yè)提供在移動設(shè)備上訪問可視化分析結(jié)果的路徑。雖然這聽起來簡單，但是其中涉及很多挑戰(zhàn)。移動大數(shù)據(jù)的挑戰(zhàn)第一，即將到來的“自帶設(shè)備”趨勢對IT部門將是一個挑戰(zhàn)。這意味著員工上班需攜帶自己的移動設(shè)備，而不再是使用公司提供的設(shè)備。越來越多的公司不再為員工提供手機、平板電腦和筆記本電腦，而是讓員工自帶設(shè)備。這樣，公司將需要仔細審視自己的信息安全規(guī)定。在“金磚四國”中的巴西、印度和俄羅斯，約有75%的公司職員上班自帶設(shè)備。雖然IT部門不愿意為不受它們管理和控制的設(shè)備提供支持，但是，由于這樣做不僅降低了公司成本，還方便了員工，所以這一趨勢不可阻擋。不過，相比公司的個人計算機、筆記本電腦或智能手機，私人移動設(shè)備通常安全性和約束性更差。微軟、IBM等多個公司正通過開發(fā)公司平臺來提供幫助，公司職員可以使用這些平臺安全下載必要的應(yīng)用，并確保這些個人設(shè)備所傳輸?shù)臄?shù)據(jù)安全。2012年，IBM宣布推出“基于風險的移動用戶身份識別控制，將訪問管理集成到移動應(yīng)用的開發(fā)、部署以及移動設(shè)備的強化控制中”。如果公司想要從員工個人的移動設(shè)備所提供的大數(shù)據(jù)分析中得出公司層面的決策，就必須確保高度安全性。為了實現(xiàn)這一點，公司必須迅速開展工作，因為有很多事情要做。它們應(yīng)該：◎確定哪些員工擁有通過個人移動設(shè)備訪問公司數(shù)據(jù)的權(quán)限。特別是，公司的敏感數(shù)據(jù)不應(yīng)向所有員工開放訪問。◎規(guī)定哪些數(shù)據(jù)能通過3G/4G網(wǎng)絡(luò)瀏覽，哪些數(shù)據(jù)只能通過安全的Wi-Fi瀏覽。歸根到底，公用的3G/4G網(wǎng)絡(luò)始終比公司內(nèi)部的Wi-Fi風險更大?！蚺嘤?xùn)員工如何確保個人移動設(shè)備上的數(shù)據(jù)安全。正如公司應(yīng)該培訓(xùn)員工如何對待公司設(shè)備上的數(shù)據(jù)一樣，它們也應(yīng)該培訓(xùn)員工如何對待私人設(shè)備中公司的敏感數(shù)據(jù)?！蚓腿绾翁幚韨€人設(shè)備上的敏感數(shù)據(jù)和如何應(yīng)對危機，制定策略，記錄下來，并開展溝通?！蜃孖T部門為與各種設(shè)備相關(guān)的許多問題做準備。第二，屏幕尺寸變小需要調(diào)整可視化水平。移動設(shè)備可能會采用視網(wǎng)膜顯示屏或全高清顯示屏，但它仍然是并將永遠是小屏幕（當然，平板電腦除外），這樣才能隨時隨地使用。而對于智能手表（屏幕規(guī)格為128×128像素）和谷歌眼鏡（顯示分辨率為640×360像素）來說，這個挑戰(zhàn)甚至更為艱巨。不過，這不是大問題，只要換一種方式就行了。畢竟，小屏幕每次只能顯示少量信息，所以程序員將必須掙脫臺式電腦框架的束縛。大數(shù)據(jù)創(chuàng)業(yè)公司Zoomdata非常清楚這一點，認為移動設(shè)備是更為理想的選擇，因為它擁有直觀的觸摸屏。Zoomdata支持用戶在平板電腦上瀏覽它的互動圖，同時也融合利用了平板電腦所有的優(yōu)點。第三，移動設(shè)備都帶有鍵盤（智能手表和谷歌眼鏡除外），但是上面的按鍵對于許多人來說都是一個麻煩。在移動大數(shù)據(jù)控制面板上輸入查詢，既麻煩又費時，而且還容易出錯，最終會導(dǎo)致不必要的查詢和數(shù)據(jù)傳輸。移動大數(shù)據(jù)的優(yōu)勢雖然面對著如此多的挑戰(zhàn)，但是移動大數(shù)據(jù)的優(yōu)勢證明了投入大量時間和金錢去克服這些挑戰(zhàn)是值得的。那么，它的優(yōu)勢是什么呢？第一，大量傳感器為收集數(shù)據(jù)創(chuàng)造了許多機會。例如，iPhone就擁有以下各種傳感器，在未來，傳感器的數(shù)量只可能上升：◎近距離傳感器，測定iPhone和人臉的距離。◎運動傳感器/加速計，能讓iPhone在橫屏模式和豎屏模式之間自動轉(zhuǎn)換?！颦h(huán)境光傳感器，測定空間內(nèi)可用光的量。◎濕度傳感器，監(jiān)測iPhone是否進水?！蛉S陀螺儀，提升對iPhone移動狀態(tài)的感應(yīng)能力?！虼帕τ嫞瑴y量iPhone附近的磁場強度和/或方向?！騁PS傳感器，確定地理位置。這些傳感器能夠提升移動設(shè)備可視化的效果。它們所提供的工具和產(chǎn)生的影響都與臺式計算機不同，因此可以增強我們對大數(shù)據(jù)的洞見。無論是創(chuàng)立大數(shù)據(jù)企業(yè)還是發(fā)展大數(shù)據(jù)戰(zhàn)略，將移動大數(shù)據(jù)考慮在內(nèi)，以及充分利用當前移動設(shè)備中的傳感器都是明智的選擇。這樣，企業(yè)就能提供更好的用戶體驗，反過來也會提升應(yīng)用程序的用戶量。第二，移動設(shè)備讓隨時隨地訪問你的所有數(shù)據(jù)成為可能。這將提高員工的生產(chǎn)力。例如，數(shù)據(jù)倉庫的員工在他的平板電腦中有了所有必要的數(shù)據(jù)，就不必為獲得必要信息而到處找臺式電腦了。第三，推送消息的利用能讓實時數(shù)據(jù)分析產(chǎn)生的影響最大化。只要數(shù)據(jù)分析觸發(fā)了一個事件，無論何時，都可以通過移動設(shè)備向用戶推送。這能帶來及時響應(yīng)，否則用戶就需要坐在臺式電腦面前才能獲得信息。如果移動設(shè)備也允許用戶立即回應(yīng)，效率以及顧客滿意度都將得到極大的提升。公司使用移動大數(shù)據(jù)時應(yīng)遵守的四項準則為了成功使用移動大數(shù)據(jù)，企業(yè)應(yīng)遵守以下準則。這些準則將幫助企業(yè)充分利用移動大數(shù)據(jù)戰(zhàn)略。準則1，使用簡單、智能的可視化盡管移動設(shè)備的小屏幕需要換一種可視化方式，但是大量傳感器都支持極其智能的可視化。企業(yè)應(yīng)該記住：小屏幕上應(yīng)該只顯示最重要的信息，因為太多的信息會讓用戶感到困惑。對于微小型屏幕，這一點尤其突出，比如智能手表或谷歌眼鏡。首先向用戶展示重要信息，然后如有需要，再提供深入了解的機會。記住，要簡化用戶找到更多信息所需的步驟；使用小屏幕不適宜太多的操作。準則2，支持聲音識別功能移動大數(shù)據(jù)鍵盤應(yīng)能識別聲音輸入。谷歌眼鏡和智能手表就沒有鍵盤，它們幾乎完全依靠聲音或簡單的觸摸手勢來感應(yīng)。即使是智能手機和平板電腦，使用鍵盤來輸入（長串）查詢通常都不方便。準則3，確?？梢暬焖偌虞d用戶希望移動設(shè)備的運轉(zhuǎn)速度快如閃電。復(fù)雜的數(shù)據(jù)分析都是在云端完成的，而分析結(jié)果則被發(fā)回移動設(shè)備。當用戶通過3G/4G網(wǎng)絡(luò)在移動設(shè)備上訪問大數(shù)據(jù)可視化時，就要考慮到這一點。數(shù)據(jù)密集型任務(wù)可能輕易就會耗完每月的數(shù)據(jù)流量包，而用戶則會為此懊惱不已。在3G/4G網(wǎng)絡(luò)下，要側(cè)重于用戶需要執(zhí)行的最重要的分析，僅當用戶使用Wi-Fi時，才允許加載其他的分析和可視化。準則4，確保數(shù)據(jù)傳輸安全移動大數(shù)據(jù)要求授予移動設(shè)備訪問（敏感）數(shù)據(jù)結(jié)果的權(quán)限，但是僅有4%的智能手機受到安全軟件的保護。因此，你需要確定哪些數(shù)據(jù)是敏感數(shù)據(jù)，并確保僅當特定用戶連接經(jīng)過安全認可的Wi-Fi時才能訪問該數(shù)據(jù)。特別是，醫(yī)療機構(gòu)不宜通過公共Wi-Fi或3G/4G網(wǎng)絡(luò)發(fā)送敏感數(shù)據(jù)。移動大數(shù)據(jù)的未來我們正處在移動革命的邊緣，因此無法看清移動大數(shù)據(jù)的未來。PandoDaily網(wǎng)站的一位作者納撒尼爾·莫特（NathanielMott）曾宣稱，計算機的未來將圍繞頭腦和手腕之爭，而不是臺式和移動之爭。在不久的將來，我們的周圍可能會充斥著未知的新型移動設(shè)備，所有這些設(shè)備都需要一種應(yīng)用移動大數(shù)據(jù)的不同方式。企業(yè)必須及時進行調(diào)整，以滿足移動未來的需求。趨勢2，實時大數(shù)據(jù)有了如此之多的可用數(shù)據(jù)，你就會想要在數(shù)據(jù)生成之初即對其加以使用。未來，實時分析將會獲得迅猛發(fā)展，因為它具有許多優(yōu)勢。分析網(wǎng)站訪客的特征，并能讓訪客在一毫秒內(nèi)返回一個個性化的主頁，這種能力將會提升你的訪客轉(zhuǎn)化率。在高速信息時代，能否使用實時大數(shù)據(jù)分析將是你的公司和競爭者之間的重要區(qū)別。因此，越來越多的公司將期待基于實時信息做出日常業(yè)務(wù)決策。所以，數(shù)據(jù)的積累是一回事；實時存儲、分析數(shù)據(jù)，并將它可視化處理完全是另外一回事。實時見解能讓你完全了解公司內(nèi)部和外部正在發(fā)生的情況。問題是：實時大數(shù)據(jù)的優(yōu)勢是什么，挑戰(zhàn)是什么，以及哪些工具可用于大數(shù)據(jù)的實時處理？實時大數(shù)據(jù)的優(yōu)勢1.立即發(fā)現(xiàn)公司內(nèi)部的錯誤。實時故障分析能幫助公司迅速反應(yīng)，減輕操作問題造成的影響，這樣就能避免該操作拖后腿或?qū)е氯蝿?wù)完全失敗。它也能防止顧客因為故障而停止使用產(chǎn)品。有了實時的見解，問題就能迅速得到解決。2.迅速了解競爭中出現(xiàn)的新戰(zhàn)略。有了實時大數(shù)據(jù)，你就能在競爭中保持領(lǐng)先位置。另外，當競爭對手改變戰(zhàn)略或降低價格時，你能立即獲知該消息。而在大數(shù)據(jù)時代之前，這可能需要大量的時間。3.服務(wù)得到大幅提升，也會帶來更高的顧客轉(zhuǎn)化率和額外的收入。如果企業(yè)對顧客所使用的產(chǎn)品進行監(jiān)控，就能提前反應(yīng)，避免發(fā)生故障。例如，配備實時傳感器的汽車能在意外發(fā)生之前，提醒駕駛員存在問題。傳感器會通知駕駛員維修車輛，更理想的情況是，能夠預(yù)測出是哪個部件出了故障。傳感器實時識別問題，判斷是否需要采取相應(yīng)的行動。如果需要，則通過查看你的日程和識別你的位置，來搜索最近的汽車修理廠。修理人員到來之前就已經(jīng)接收到了鑒定該問題所得出的數(shù)據(jù)分析，所以不必再花時間檢查，可以立即進行修理。4.在詐騙發(fā)生之初即能偵查到，并且可以采取適當措施控制損失。金融領(lǐng)域?qū)Ψ缸锓肿拥奈Ψ浅４蟆Ｓ辛藢崟r安全防護系統(tǒng)，就能立即得知非法侵入公司的行為，IT安保部門就能迅速采取相應(yīng)行動。在金融行業(yè)中，跟蹤大量信用卡交易早已成為慣例。只要出現(xiàn)了可疑交易，相應(yīng)銀行就會得到示警以采取行動。當前技術(shù)的缺陷是銀行也許要到詐騙行為完成之后才能得知。有了強大的實時大數(shù)據(jù)分析之后，就能在詐騙交易發(fā)生之前發(fā)覺，而銀行就不會授權(quán)完成該交易。5.節(jié)約成本，提高收益。進行實時大數(shù)據(jù)分析也許需要高昂的成本，但是，最終它將會為你節(jié)省一大筆錢。有了實時分析，企業(yè)領(lǐng)導(dǎo)者就能立即獲知企業(yè)的整體狀況。如有必要，能立即采取行動，從而節(jié)省開支或提高收益。股市尤其能從實時分析中獲益。在競價前的一毫秒內(nèi)能夠分析和識別出一支有價值的股票，確實能大幅提高收益。6.能提供更優(yōu)秀的銷售見解，從而帶來額外收益。實時分析能讓你了解到當前銷售的確切情況。如果一位互聯(lián)網(wǎng)零售商發(fā)現(xiàn)某產(chǎn)品的銷量非常好，它就能采取措施以防止錯過商機或營收下降，比如，根據(jù)特定地理位置的實時需要來調(diào)整庫存水平或價格。7.緊跟顧客趨勢。對競爭性產(chǎn)品、促銷活動和顧客行為進行分析，能為了解顧客趨勢提供有價值的信息。實時分析能讓企業(yè)更快地制定出更符合當前顧客要求的決策。實時大數(shù)據(jù)的挑戰(zhàn)當然，實時分析所呈現(xiàn)的并不全是積極的方面，它也提出了一些挑戰(zhàn)。實時分析需要特殊的計算能力，當前標準版本的Hadoop還不適用于實時分析，所以，需要購買和使用新工具。不過，有一些工具能勝任這一任務(wù)。使用實時見解需要你的公司換一種運營方式。如果你的公司通常一周僅接收一次見解（這在許多公司中很常見），那么要每秒都能接收，就需要運用新的運營方式和方法。接收見解之后，就要采取行動。需要實時做出反應(yīng)，而不是每周一次。這將對公司文化產(chǎn)生重大影響，而你的目標也應(yīng)該是讓公司實現(xiàn)以信息為中心的轉(zhuǎn)型。實時大數(shù)據(jù)工具越來越多的工具讓實時大數(shù)據(jù)處理成為可能。在Hadoop提供實時分析之前，可以使用以下產(chǎn)品：◎Storm現(xiàn)為Twitter所擁有，是一個實時分布式計算系統(tǒng)。它使用一套一般基元來執(zhí)行實時分析。Storm使用方便，適用于任意程序語言，而且具有很強的擴展性和容錯能力?！駽louderaEnterpriseRTQ工具提供針對HBase或HDFS所存儲數(shù)據(jù)的實時、交互式分析查詢。它是Cloudera的開源工具ClouderaImpala的重要組成部分。有了ClouderaImpala，也可以在Hadoop上執(zhí)行實時特殊查詢?！騁ridGain是一種使用Java的企業(yè)開源網(wǎng)格計算。它與HadoopDFS兼容，是Hadoop的MapReduce的替代品。GridGain提供了一個分布式、內(nèi)存、實時且可擴展的數(shù)據(jù)網(wǎng)格，讓數(shù)據(jù)源和不同應(yīng)用聯(lián)系起來?！騍paceCurve是正在開發(fā)的一款能夠發(fā)現(xiàn)多維地理數(shù)據(jù)基本模式的工具。地理數(shù)據(jù)與一般數(shù)據(jù)不同，因為移動設(shè)備迅速生成新數(shù)據(jù)，其方式與傳統(tǒng)數(shù)據(jù)庫相異。SpaceCurve提供一個大數(shù)據(jù)平臺，2013年2月12日，它的工具每秒能運行數(shù)億字節(jié)的復(fù)雜查詢，由此創(chuàng)造了一項新的世界紀錄。當然，還有更多可用的實時工具，不便在此一一列舉。實際上，實時大數(shù)據(jù)是一種趨勢，將在未來幾年內(nèi)發(fā)展壯大，從而對所有企業(yè)產(chǎn)生重大影響。實時大數(shù)據(jù)可能會是大數(shù)據(jù)的終極用途。阿提哈德航空公司，使用大數(shù)據(jù)實現(xiàn)目標阿提哈德航空（EtihadAirways）公司是阿聯(lián)酋的國家航空公司，創(chuàng)立于2003年，至今不過11年，總部設(shè)在阿布扎比。它開設(shè)了通往全世界55個國家、89個目的地的航線，每周接待航班超過1200架次，每年輸送乘客達1000萬人。該公司的目標是成為一個真正的21世紀全球航空公司，挑戰(zhàn)和改變航空服務(wù)業(yè)的既定慣例。為了實現(xiàn)這一目標，阿提哈德航空公司求助于大數(shù)據(jù)。它將大數(shù)據(jù)用于多個方面，比如，通過優(yōu)化價格策略以最大限度地提高收入機會，預(yù)測維護，以及提升乘客機上體驗。阿提哈德航空公司開發(fā)的最有趣的大數(shù)據(jù)應(yīng)用之一是連接工業(yè)互聯(lián)網(wǎng)。實際上，這是機器和工業(yè)設(shè)備（比如飛機）的物聯(lián)網(wǎng)。它使用復(fù)雜的算法收集和分析每架飛機上的傳感器實時生成的大量數(shù)據(jù)。阿提哈德航空公司還使用了Taleris（通用電氣公司和埃森哲公司成立的合資公司）提供的工具，來對所有空客和波音飛機進行實時控制。傳感器幫助阿提哈德航空公司實時監(jiān)控飛機，并且在飛機飛行時管理和預(yù)測維修，提早發(fā)現(xiàn)問題，降低油耗，以及縮短在機場的周轉(zhuǎn)時間。這樣一來，阿提哈德航空公司的飛機就能把更多的時間花在飛行上，在地面上的時間則會減少，因此將能夠省下大量資金。傳感器提供的數(shù)據(jù)經(jīng)過分析后能夠轉(zhuǎn)化為有價值的信息。阿提哈德航空公司負責技術(shù)方面的高級副總裁沃納·羅騰貝歇爾（WernerRothenbaecher）在博客上表示，阿提哈德航空公司可以使用這些信息“迅速做出維修決策，同時在運行狀況的判斷和預(yù)測方面獲得領(lǐng)先地位……能夠預(yù)測未來的故障，采取預(yù)防性措施來減少對公司全球業(yè)務(wù)的意外干擾”。2013年6月20日，阿提哈德航空公司總裁賀國?。↗amesHogan）在國際航空電信協(xié)會（SocietyInternationalDeTelecommunicationsAeronautiques，簡稱SITA）舉辦的航空運輸峰會上說，這個應(yīng)用廣泛的工具將讓乘坐阿提哈德航班的旅客獲益，因為航班延誤將會減少，可靠度將會提高。為了更進一步提升乘客體驗，阿提哈德航空公司也采用了國際航空電信協(xié)會的CrewTablet工具，它能讓全體機組成員通過平板電腦訪問任意工作數(shù)據(jù)或乘客數(shù)據(jù)，也是移動大數(shù)據(jù)的一個很好的實例。趨勢3，物聯(lián)網(wǎng)再過幾年，我們討論傳感器生成的數(shù)據(jù)時，就要用到波字節(jié)去衡量了。物聯(lián)網(wǎng)是指可以通過一個IP地址進行識別的物品，且它們都與互聯(lián)網(wǎng)連接。物品（可以是任何東西，一輛汽車、一把椅子或一瓶蘇打水）添加識別標志后，就可以通過計算機和算法來管理和清點。這些物品都安裝著傳感器，這些傳感器收集的數(shù)據(jù)再與一個類似互聯(lián)網(wǎng)的結(jié)構(gòu)共享。物聯(lián)網(wǎng)，或者說機器到機器（Machine-to-Machine，簡稱M2M）的通信將讓數(shù)十億或數(shù)萬億臺設(shè)備相互連接在一起，由此產(chǎn)生難以估量的數(shù)據(jù)。到2020年，全世界40%的數(shù)據(jù)將是M2M數(shù)據(jù)。當然，這種數(shù)據(jù)必須經(jīng)過處理、存儲、分析和可視化之后才會有意義，才能推動你的事業(yè)發(fā)展。傳感器數(shù)據(jù)，或者說M2M數(shù)據(jù)是機器傳感器所得讀數(shù)轉(zhuǎn)化而來的數(shù)據(jù)。這些傳感器會定期或?qū)崟r測量各項條件，它們可能是無線射頻識別標簽，或者是能使設(shè)備變得智能或者支持其他傳感器的軟件。收集到的數(shù)據(jù)包括日志數(shù)據(jù)（特別是電信公司的）、地理位置數(shù)據(jù)、故障診斷（在需要維修時向你發(fā)出警報）、CPU利用率、溫度、規(guī)則，等等。這些數(shù)據(jù)可以與關(guān)鍵績效指標（KeyPerformanceIndicator，簡稱KPI）聯(lián)系起來。當超過閾值和需要采取措施時，KPI會發(fā)出警報。物聯(lián)網(wǎng)不僅能讓當前的商業(yè)模式得到改進，也能開辟全新的商業(yè)模式。它早已遍布我們周圍，而且腳步不可阻擋。以下幾個產(chǎn)品示例顯示了這些可能性：◎Progressive公司在美國推出了根據(jù)車輛使用情況定價的保險。該公司使用了一個叫Snapshot的小設(shè)備，用戶將這個設(shè)備與汽車相連，就可以記錄自己的行車記錄。你的駕駛情況越好，保險費用就越低?！騁lowcaps將處方藥瓶變?yōu)樽詣犹嵝延脩舫运幍脑O(shè)備。當藥瓶打開時，瓶蓋中的一個芯片就會進行監(jiān)控；而如果用戶忘記吃藥，芯片就會加以提醒。家庭成員可以在網(wǎng)上查看報告，從而跟蹤家中老人是否已吃藥?！駼eam科技公司發(fā)明的藍牙牙刷能追蹤用戶的刷牙情況，包括哪片區(qū)域刷到了，哪片區(qū)域遺漏了。物聯(lián)網(wǎng)追蹤地球狀況所有傳感器都將收集大量數(shù)據(jù)。只需看看飛機、各種機器和移動設(shè)備產(chǎn)生的數(shù)據(jù)就知道了。有關(guān)物聯(lián)網(wǎng)的一個極端例子是惠普實驗室和殼牌公司開發(fā)的“地球的中樞神經(jīng)系統(tǒng)”（CentralNervousSystemoftheEarth，簡稱CeNSE），旨在讓地球上的生命更安全、更舒適。安裝在所有設(shè)備和機器上的數(shù)以億計的低成本自供電納米傳感器，將能夠監(jiān)測地球的狀況和人類對她的影響?；萜諏嶒炇翌A(yù)測，到2020年將需要一萬億個傳感器來執(zhí)行這一任務(wù)，相當于人均150個傳感器。當然，如此多的可用數(shù)據(jù)既帶來了挑戰(zhàn)，也有一些好處。例如，傳感器可以在機器真正損壞之前，提醒你機器需要維修，從而降低了維修成本。這不僅節(jié)省了維修費用，還能將機器的停工時間降至最小，同時也提高了顧客的滿意度。傳感器數(shù)據(jù)也可以將符合特定標準的觀測與其他數(shù)據(jù)集聯(lián)系起來，得到新的洞見。這種數(shù)據(jù)的結(jié)合能得出與特定情況相關(guān)的見解。SenSorGrid4Env公司就使用環(huán)境傳感器數(shù)據(jù)來管理和了解環(huán)境，它還將這些信息提供給應(yīng)急響應(yīng)工作隊，以防災(zāi)難發(fā)生。越來越多的系統(tǒng)實現(xiàn)了互聯(lián)，挑戰(zhàn)就在于將這許多的數(shù)據(jù)集處理、存儲、分析和可視化，最好是能實時操作。管理所有引入的數(shù)據(jù)確實需要不低的軟件和硬件成本，但是你能從中獲得更高的收益。好處之一就是，在許多情況下，傳感器都能提供大體量、高速度的數(shù)據(jù)，這些數(shù)據(jù)結(jié)構(gòu)一致，易于管理。這樣，企業(yè)就能將不同傳感器數(shù)據(jù)與業(yè)務(wù)或公開數(shù)據(jù)相結(jié)合，從而發(fā)現(xiàn)新模式、趨勢或市場。啟動傳感器數(shù)據(jù)應(yīng)從小處做起，因為它輕易就能發(fā)展壯大。先選擇一個藍本，然后在此基礎(chǔ)上逐步擴大。項目范圍靈活且適度發(fā)展的企業(yè)最有可能取得成功。然而，規(guī)劃應(yīng)涵蓋從開始到最后能夠支持非常大的數(shù)據(jù)集的所有內(nèi)容，避免項目以后出現(xiàn)不愉快的意外。我將會在第5章介紹一個啟動大數(shù)據(jù)和發(fā)展一個成功大數(shù)據(jù)戰(zhàn)略的路線圖?；ヂ?lián)網(wǎng)的興起帶來了無限的可能性。地球?qū)⒊蔀橹腔坌乔?，這里的一切事物都會實現(xiàn)隨時物聯(lián)化、智能化、互聯(lián)化、在線化。它的潛力巨大，潛在用途廣闊。為了在競爭中領(lǐng)先，也為了讓顧客滿意，不妨仔細思考一下，物聯(lián)網(wǎng)和收集傳感器數(shù)據(jù)能為你的公司做什么，思考你所擁有的產(chǎn)品，以及怎樣才能將這些產(chǎn)品轉(zhuǎn)化為數(shù)據(jù)。正如第2章中所討論的，一杯咖啡或者一杯啤酒都能產(chǎn)生數(shù)據(jù)。喜力智能啤酒瓶，隨音樂閃爍起舞關(guān)于物聯(lián)網(wǎng)的一個極好的例子就是喜力（Heinenken）在2013年米蘭設(shè)計周上推出的智能啤酒瓶。喜力引入Ignite數(shù)據(jù)庫緩存系統(tǒng)，使用LED燈和無線傳感器為顧客打造全新的體驗。運用現(xiàn)代技術(shù)開發(fā)的這種智能啤酒瓶，旨在提升喝啤酒的社交互動效果。據(jù)喜力發(fā)布的一篇文章稱，它采用了8個LED燈、一個8-bit微處理器、一個加速器、一個陀螺儀，以及一個帶天線的無線網(wǎng)絡(luò)收發(fā)器。它還擁有50個共同協(xié)作的獨立電子元件，可以安裝在一個普通的啤酒瓶底部。當眾人祝酒碰杯時，每個啤酒瓶都會發(fā)光。當你小口啜飲時，LED燈光會快速閃爍，而如果把啤酒瓶放置在吧臺上不動，它就會進入休眠模式，逐漸熄滅，直到再次被拿起。此外，這些傳感器也能接受遠程控制，與音樂節(jié)拍保持同步，將派對引向一個全新的高潮。一些機構(gòu)預(yù)測，傳感器的數(shù)量最終將會達到數(shù)萬億，但是關(guān)于何時實現(xiàn)以及這些傳感器能夠收集多少數(shù)據(jù)量，這些機構(gòu)的意見不統(tǒng)一。無線世界研究組織（WirelessWorldResearchOrganization）預(yù)測，到2017年，傳感器將達到7萬億個。CeNSE則預(yù)測，到2020年，將有1萬億個傳感器，它們每年將催生50澤字節(jié)的數(shù)據(jù)?；ヂ?lián)網(wǎng)數(shù)據(jù)中心則稱，到2020年，這些傳感器將收集到40澤字節(jié)的數(shù)據(jù)。IBM預(yù)測，2015年用于情境感知計算的傳感器將達到1萬億個。盡管這些預(yù)測存在著差異，但是，顯然未來聯(lián)網(wǎng)設(shè)備的數(shù)量將非常巨大，這種增長也將創(chuàng)造一個遍布全球、價值上萬億美元的業(yè)務(wù)。思科公司認為，到2020年，物聯(lián)網(wǎng)將會催生出一個價值14萬億美元的全球業(yè)務(wù)，而這個業(yè)務(wù)將對所有行業(yè)產(chǎn)生影響。如果我們考慮到當前全球IT開銷約為3.5萬億美元這一事實，那么顯然我們正步入一個非常有趣的時代。計算機行業(yè)2012年，在第7屆“5in5”\h[6]會議期間，IBM展示了能改變?nèi)藗兾磥?年工作、生活和互動的方式的5項創(chuàng)新，這些創(chuàng)新與人類的5種感官相對應(yīng)，分別是：◎觸覺：人們能夠通過觸摸屏操作手機◎視覺：一像素將抵得上一千個文字◎聽覺：計算機將能聽到重要事件◎味覺：數(shù)字味蕾將幫助你更為智能地進食◎嗅覺：計算機將擁有嗅覺“5in5”是基于全世界的市場、技術(shù)和社會趨勢制定的，而這些趨勢能夠使這些變革成為可能。計算機設(shè)備中的傳感器將能夠模仿我們的各種感覺，從而改變消費者對待聯(lián)網(wǎng)設(shè)備的方式。醫(yī)療行業(yè)傳感器時代將對醫(yī)療行業(yè)產(chǎn)生意義深遠的影響，其范圍將包括個性化醫(yī)藥、營養(yǎng)、疾病預(yù)防，以及對患者進行實時健康監(jiān)測。到2020年，人們到醫(yī)院就診的頻率將會減少，因為醫(yī)生將可能從患者穿戴設(shè)備上的傳感器接收到所需的全部信息。而且，通過在患者的藥物中添加納米傳感器，醫(yī)生也能實時監(jiān)控藥效。一些公司正鼓勵開發(fā)能夠立即診斷疾病的傳感器。例如，2011年，美國高通公司（Qualcomm）懸賞1000萬美元，希望獲得第一個能夠捕捉主要健康指標和診斷15種疾病的三錄儀。報名開始后，2013年，16歲的杰克·安德拉達（JackAndrada）聲稱已經(jīng)制造出一個基本滿足這些要求的三錄儀。然而，他不是唯一一個想要獲得這次懸賞的人，躍躍欲試者還有很多。傳感器進入醫(yī)療行業(yè)意義十分重大。如果設(shè)備能夠?qū)崟r測量與患者相關(guān)的各項數(shù)據(jù)，那么消費者的醫(yī)療保健水平將會得到大幅提升，而且支出也將會減少。松島新城，完全互聯(lián)的智慧城市智慧城市松島是世界上第一個“盒子里的城市”。它的最初設(shè)計開始于1996年，到2015年完工。松島選址在韓國一片607.5公頃的人造陸地上，可以說是一場城市設(shè)計的革命。它距離首爾不到65公里，距離仁川國際機場10公里，擁有商業(yè)辦公區(qū)、零售店、住宅、酒店以及市政、文化設(shè)施。這坐城市由思科（Cisco）、3M、浦項建設(shè)（PoscoE&C）以及聯(lián)合技術(shù)公司（UnitedTechnology）合作共同開發(fā)。松島將成為一個完全互聯(lián)的城市，城市里幾乎所有的設(shè)備、建筑物和街道都將配備無線傳感器或微芯片。這將催生出一些智能發(fā)明，比如根據(jù)人行道上的行人數(shù)自動調(diào)節(jié)的街燈。所有房屋都將配置傳感器（也被稱為住宅自動化），這些傳感器能夠通過客廳中的大屏幕進行控制。同樣，這些遠程監(jiān)控屏幕也將應(yīng)用于所有辦公室、醫(yī)院、學校和購物中心。松島項目開始于2000年，預(yù)計成本為350億美元，代價高昂。思科早前曾保證，這座智慧城市將實現(xiàn)光纖寬帶全覆蓋。當時預(yù)計到2016年，將有65000人在這里定居，另外將有30萬人每天往返于這座城市。這些人都將使用眾多聯(lián)網(wǎng)設(shè)備和服務(wù)，因此會產(chǎn)生大量數(shù)據(jù)，然后這些數(shù)據(jù)被發(fā)送給計算機處理器，以保持松島正常運作。此外，交通狀況將通過汽車上的無線射頻識別標簽來監(jiān)測。傳感器將向中央監(jiān)控單元發(fā)送地理位置數(shù)據(jù)，然后中央監(jiān)控單元針對事故多發(fā)路段或擁擠地區(qū)發(fā)出提示。由于公共交通全部聯(lián)網(wǎng)，所以隨時能掌握所有駕駛者的位置。傳感器甚至能追蹤到市民將垃圾扔入垃圾箱的行為，所以在松島，即使是垃圾也能產(chǎn)生數(shù)據(jù)。氣候、能源損耗、休閑活動以及用水都是如此。松島還會設(shè)置特殊攝像機負責安保監(jiān)控，小孩也會佩戴裝有傳感器的手鏈，這樣他們就能隨時被定位。另外，智能能源網(wǎng)將確保能源適應(yīng)供需要求。中央監(jiān)控中心將實時收集、分析和監(jiān)控所有數(shù)據(jù)。有這么多的市民和工作者使用聯(lián)網(wǎng)設(shè)備和服務(wù)，松島因此將會成為一個大數(shù)據(jù)的創(chuàng)造者，能把大數(shù)據(jù)引向一個新的水平。數(shù)據(jù)將會為人們在智慧城市中工作、生活和思考提供有價值的見解。這些信息也能用于改善這座城市。松島并非目前正在開發(fā)的唯一智慧城市，阿布扎比的馬斯達也是一個真正互聯(lián)的城市。雖然我們無法確定人們的行為是否會因為居住在智慧城市中而有所改變，不過有一點很明確，那就是智慧城市將對每天生成的數(shù)據(jù)量產(chǎn)生重大影響，也將改變城市運作和管理的方式。家庭數(shù)據(jù)松島使用的住宅自動化方案在全球許多家庭得到了廣泛應(yīng)用。家居自動化也受到普遍支持，它將讓我們的生活變得更方便。想想家庭自動化系統(tǒng)：它整合了所有電氣設(shè)備，讓用戶能夠在任何地方通過智能手機或平板電腦訪問這些設(shè)備。通過一個應(yīng)用程序就能打開和關(guān)閉電燈；起床鬧鈴一響，就自動開始沖咖啡；冰箱能顯示庫存。當你不在家時，使用一個應(yīng)用程序就能給予其他人進入你家的權(quán)限。過去數(shù)十年，這樣的“未來家庭”還是新奇事物，現(xiàn)在卻已經(jīng)得到了廣泛的普及。最終，傳感器將成為家庭中所有電氣設(shè)備的一部分，無論是廚房設(shè)備、浴室用具，還是家庭安保設(shè)備。零售市場在美國，平均每家雜貨店擁有5萬多種產(chǎn)品。無線射頻識別標簽將改變超市的運作方式，讓跟蹤產(chǎn)品變得更為便捷。RealFutureStore作為德國的一家概念店，正是這種新型傳感器方案的運動場。使用無線射頻識別標簽，超市就能向顧客提供更多信息。無線射頻識別標簽?zāi)軌虬a(chǎn)品制造商、規(guī)格和價格等信息。借助無線射頻識別標簽，系統(tǒng)就能自動為即將過期的產(chǎn)品打折。購物者也無須將商品放在傳送帶上等待收銀員掃描，因為所有的無線射頻識別標簽都將在顧客離開超市時直接被掃描。不過，需要掃描的標簽數(shù)量將十分巨大，僅美國就有超過35000家超市，每天需要掃描的無線射頻識別標簽達17.5億個。企業(yè)應(yīng)該如何準備傳感器時代生成的這數(shù)波字節(jié)的數(shù)據(jù)將影響到所有行業(yè)。你的公司應(yīng)該如何為大傳感器時代做準備呢？首先，企業(yè)應(yīng)該識別那些能夠利用傳感器進行改進的