《大數(shù)據(jù)通識教程》 課件 第14章 大數(shù)據(jù)的未來

數(shù)字文明與數(shù)字治理大數(shù)據(jù)通識教程第14章楊武劍周蘇主編大數(shù)據(jù)的未來01連接開放數(shù)據(jù)02大數(shù)據(jù)資產(chǎn)的崛起03大數(shù)據(jù)發(fā)展趨勢04大數(shù)據(jù)技術(shù)展望目錄/CONTENTSPART01連接開放數(shù)據(jù)曾提出萬維網(wǎng)方案、被譽(yù)為“WWW之父”的英國計算機(jī)科學(xué)家蒂姆·伯納斯-李（1955-）爵士說，當(dāng)初他創(chuàng)建世界上第一個網(wǎng)絡(luò)瀏覽器以及服務(wù)器的時候，動力在于一種挫折感。那時他跟一班優(yōu)秀的科學(xué)家一起工作，可是不同的人用不同的機(jī)器，他們所使用的文件格式也不完全一樣。要想在這樣的數(shù)據(jù)之上有所創(chuàng)建，就需要不斷的轉(zhuǎn)換格式，唯有如此才能挖掘出數(shù)據(jù)底層的無限潛力。蒂姆說，當(dāng)時他給自己的老板寫了份備忘介紹互聯(lián)網(wǎng)的構(gòu)想，可是，蒂姆的老板給他的答復(fù)是“想法還很模糊，但是很讓人興奮”。14.1連接開放數(shù)據(jù)盡管今日的互聯(lián)網(wǎng)無限風(fēng)光，但是蒂姆依然對于不能高效地在網(wǎng)絡(luò)上獲取數(shù)據(jù)而耿耿于懷。盡管我們都知道網(wǎng)絡(luò)上有海量的數(shù)據(jù)，但是我們不懂得怎么去利用。14.1連接開放數(shù)據(jù)在2009年2月美國加利福尼亞州長灘市舉行的科技娛樂設(shè)計大會上，蒂姆面對會場中眾多的聽眾，喊出了“馬上給我原始數(shù)據(jù)！”這句話。蒂姆提出的將數(shù)據(jù)公開并連接起來以對社會產(chǎn)生巨大價值為目的進(jìn)行共享的主張，被稱為LOD（連接開放數(shù)據(jù)。LOD倡導(dǎo)將國家及地方政府等公職機(jī)構(gòu)所擁有的統(tǒng)計數(shù)據(jù)、地理信息數(shù)據(jù)、生命科學(xué)等科學(xué)數(shù)據(jù)開放出來并相互連接，以為社會整體帶來巨大價值為目的進(jìn)行共享。LOD與倡導(dǎo)積極公開政府信息及公民參與行政的“政府公開”運(yùn)動緊密相連，正不斷在世界各國政府中推廣開來。14.1.1LOD運(yùn)動針對政府機(jī)構(gòu)抱著數(shù)據(jù)不放而拒絕公開的狀況，蒂姆·伯納斯-李強(qiáng)烈呼吁：“請把未經(jīng)任何加工的原始數(shù)據(jù)交給我們。我們想要的正是這些數(shù)據(jù)。希望公開原始數(shù)據(jù)。”隨即，他在演講中繼續(xù)談道：“從工作到娛樂，數(shù)據(jù)存在于我們生活的各個角落。然而，數(shù)據(jù)產(chǎn)生地的數(shù)量并不重要，更重要的是將數(shù)據(jù)連接起來。通過將數(shù)據(jù)相互連接，就可以獲得在傳統(tǒng)文檔網(wǎng)絡(luò)中所無法獲得的力量。這其中會產(chǎn)生出巨大的力量。如果你們認(rèn)為這個構(gòu)想很不錯，那么現(xiàn)在正是開始行動的時候了?！?4.1.1LOD運(yùn)動所謂“傳統(tǒng)文檔網(wǎng)絡(luò)中所無法獲得的”，意思是說，傳統(tǒng)的Web是以人類參與為前提的，而通過計算機(jī)進(jìn)行自動化信息處理還相對落后。例如，HTML中所描述的信息，對人類是容易理解的，但對于計算機(jī)來說，處理起來就比較費(fèi)力。LOD的前提是，利用Web的現(xiàn)有架構(gòu)，采用計算機(jī)容易處理的機(jī)器可讀格式來進(jìn)行信息的共享。蒂姆·伯納斯-李的設(shè)想是，“如果任何數(shù)據(jù)都可以在Web上公開，人們便可以使用這些數(shù)據(jù)實現(xiàn)過去所未曾想象過的壯舉”。14.1.1LOD運(yùn)動例如，英國政府官員在官方博客中寫道：“我們有自行車事故發(fā)生地點(diǎn)的原始統(tǒng)計數(shù)據(jù)?！彪S后僅僅過了兩天，《泰晤士報》就在其在線版“時代在線”上，利用這些原始數(shù)據(jù)和地圖數(shù)據(jù)相結(jié)合開發(fā)了相應(yīng)的服務(wù)并公開發(fā)布。蒂姆指出，互聯(lián)網(wǎng)上的數(shù)據(jù)都是地下的，我們要把它們帶到地上，讓整個世界通過相互連接的數(shù)據(jù)而變得更有意義。蒂姆的做法是：（1）以類似于html的格式來標(biāo)示數(shù)據(jù)。（2）獲取有價值的數(shù)據(jù)。（3）揭示數(shù)據(jù)間的關(guān)系。14.1.1LOD運(yùn)動蒂姆說：我們需要獲得這樣的數(shù)據(jù)，因為這樣會有助于催生新的科學(xué)發(fā)現(xiàn)，“相互連接的數(shù)據(jù)越多，數(shù)據(jù)的價值也越大?！蔽覀兛梢宰寣W(xué)生去分析這樣的數(shù)據(jù)，理解政府運(yùn)作的新機(jī)理。而要治療癌癥、老年癡呆癥、金融危機(jī)以至于氣候變暖的問題，我們都需要實現(xiàn)數(shù)據(jù)共享，而不是關(guān)起門來，各搞各的。應(yīng)當(dāng)撕開社交型網(wǎng)站間的商業(yè)屏障，開放政府的數(shù)據(jù)。14.1.1LOD運(yùn)動某氣象服務(wù)公司的業(yè)務(wù)是向農(nóng)民銷售綜合氣候保險。所謂綜合氣候保險，是農(nóng)民為了預(yù)防惡劣氣候所造成的農(nóng)作物減產(chǎn)而購買的一種保險。該公司通過農(nóng)業(yè)部公開的過去60年的農(nóng)作物收獲量數(shù)據(jù)，與數(shù)據(jù)量達(dá)到14TB的土壤數(shù)據(jù)，以及政府在全國100萬個地點(diǎn)安裝的多普勒雷達(dá)所掃描的氣候信息相結(jié)合，對玉米、大豆、冬小麥的收獲量進(jìn)行預(yù)測。14.1.2利用開放數(shù)據(jù)的創(chuàng)業(yè)型公司所有這些數(shù)據(jù)都是可以免費(fèi)獲取的，因此是否能夠從這些數(shù)據(jù)中催生出有魅力的商品和服務(wù)才是關(guān)鍵。該公司的兩位創(chuàng)始人，其中一位曾負(fù)責(zé)過分布式計算。此外，該公司60名員工中，有12名擁有環(huán)境科學(xué)和應(yīng)用數(shù)據(jù)方面的博士學(xué)位，聚集了一大批能夠用數(shù)據(jù)來解決現(xiàn)實問題的人才。此外，該公司還自稱“世界上屈指可數(shù)的MapReduce駕馭者”，他們利用云計算服務(wù)來處理政府公開的龐大數(shù)據(jù)。14.1.2利用開放數(shù)據(jù)的創(chuàng)業(yè)型公司有用的數(shù)據(jù)、具備高超技術(shù)的人才，再加上能夠廉價完成龐大數(shù)據(jù)處理的計算環(huán)境，該公司將這些條件結(jié)合起來，對土壤、水體、氣溫等條件對農(nóng)作物收成產(chǎn)生的影響進(jìn)行分析，從而催生出了氣候保險這一商品。該公司的CEO認(rèn)為：“只要能夠長期獲取高質(zhì)量的數(shù)據(jù)，無論是加拿大還是巴西，在任何地方都能夠提供我們的服務(wù)?！?4.1.2利用開放數(shù)據(jù)的創(chuàng)業(yè)型公司PART02大數(shù)據(jù)資產(chǎn)的崛起企業(yè)自身收集的大量數(shù)據(jù)稱為“大數(shù)據(jù)資產(chǎn)”，將數(shù)據(jù)轉(zhuǎn)化為優(yōu)勢的企業(yè)將有能力降低成本、提升價格、區(qū)分優(yōu)劣、吸引更多顧客并最終留住更多顧客。這主要包含兩層意思：（1）對初創(chuàng)公司來說，現(xiàn)在有大量的機(jī)會能夠使企業(yè)通過創(chuàng)建應(yīng)用來實現(xiàn)這種競爭優(yōu)勢，且這種方法一經(jīng)創(chuàng)建能立即被使用。企業(yè)無須自行創(chuàng)建這些可能性，它們能通過應(yīng)用程序獲取可能性。（2）將數(shù)據(jù)和依靠數(shù)據(jù)辦事的能力作為核心資產(chǎn)的企業(yè)（不管是初創(chuàng)還是大型公司）會擁有極大的競爭優(yōu)勢。14.2大數(shù)據(jù)資產(chǎn)的崛起在國家、地方政府等公職機(jī)關(guān)不斷努力強(qiáng)化開放數(shù)據(jù)的同時，民間組織為了促進(jìn)數(shù)據(jù)的順利流通，也設(shè)立了數(shù)據(jù)的交易場所——數(shù)據(jù)市場。所謂數(shù)據(jù)市場，就是將人口統(tǒng)計、環(huán)境、金融、零售、天氣、體育等數(shù)據(jù)集中到一起，使其能夠進(jìn)行交易的機(jī)制。換句話說，就是數(shù)據(jù)的一站式商店。14.2.1數(shù)據(jù)市場的興起數(shù)據(jù)市場的基本功能包括收費(fèi)、認(rèn)證、數(shù)據(jù)格式管理、服務(wù)管理等，在所涉獵的數(shù)據(jù)對象、數(shù)據(jù)豐富程度、收費(fèi)模式、數(shù)據(jù)模型、查詢語言、數(shù)據(jù)工具等方面則各有不同。14.2.1數(shù)據(jù)市場的興起各家運(yùn)營數(shù)據(jù)市場的公司并沒有確立一個明確的商業(yè)模式，不過這些公司都設(shè)計了各自不同的收益模型，試圖建立依靠數(shù)據(jù)集本身來獲得收益的商業(yè)模式，他們所提供的數(shù)據(jù)除了從合作伙伴企業(yè)征集外，自己也會通過網(wǎng)頁抓取來收集。14.2.2不同的商業(yè)模式另一方面，IT大廠則不期望通過數(shù)據(jù)使用費(fèi)本身來獲得收益。由于這兩家類公司都是在各自運(yùn)營的云計算平臺上提供數(shù)據(jù)的，因此在云端工作的應(yīng)用程序可以很容易地集成數(shù)據(jù)市場中的數(shù)據(jù)，從而提升應(yīng)用價值，并通過收取云計算平臺的使用費(fèi)來獲得收益。他們所提供的數(shù)據(jù)是由合作伙伴企業(yè)提供的。從數(shù)據(jù)市場的性質(zhì)上看，其數(shù)據(jù)量必然隨著時間的推移而不斷增長。因此，作為支撐的基礎(chǔ)架構(gòu)必須擁有足夠的可擴(kuò)放性。當(dāng)數(shù)據(jù)調(diào)用集中時，需要足夠承受大量訪問的可用性。微軟和亞馬遜通過運(yùn)用云計算來平穩(wěn)運(yùn)營數(shù)據(jù)市場的服務(wù)，展現(xiàn)了自身云計算平臺的堅固性。14.2.2不同的商業(yè)模式未來的發(fā)展趨勢，應(yīng)該是將連接開放數(shù)據(jù)與數(shù)據(jù)市場的思路進(jìn)行融合，從而確保數(shù)據(jù)市場之間的兼容性。14.2.2不同的商業(yè)模式無論是與其他公司結(jié)成聯(lián)盟，還是利用數(shù)據(jù)聚合商，如果自己的公司擁有原創(chuàng)數(shù)據(jù)的話，接下來就可以通過與其他公司的數(shù)據(jù)進(jìn)行整合，來催生出新的附加價值，從而升華成為增值數(shù)據(jù)，這樣能夠產(chǎn)生相乘的放大效果，這也是大數(shù)據(jù)運(yùn)用的真正價值之一。14.2.3將原創(chuàng)數(shù)據(jù)變?yōu)樵鲋禂?shù)據(jù)選擇什么公司的數(shù)據(jù)與自己公司的原創(chuàng)數(shù)據(jù)整合，這需要想象力。在自己公司內(nèi)部認(rèn)為已經(jīng)沒什么用的數(shù)據(jù)，對于其他公司來說很可能就是求之不得的寶貝。例如，體育公司提供了一款面向智能手機(jī)的慢跑應(yīng)用APP，它可以通過使用北斗導(dǎo)航全球定位系統(tǒng)在地圖上記錄跑步的路線，將這些數(shù)據(jù)匿名化并進(jìn)行統(tǒng)計，就可以找出跑步者最喜歡的路線。在體育用品店看來，這樣的數(shù)據(jù)在討論門店選址計劃上是非常有效的。此外，在考慮具備淋浴、儲物柜功能的收費(fèi)休息區(qū)以及自動售貨機(jī)的設(shè)置地點(diǎn)、售貨品種時，這樣的數(shù)據(jù)也是非常有用的。14.2.3將原創(chuàng)數(shù)據(jù)變?yōu)樵鲋禂?shù)據(jù)對于擁有原創(chuàng)數(shù)據(jù)的企業(yè)和數(shù)據(jù)聚合商來說，不應(yīng)該將目光局限在自己的行業(yè)中，而應(yīng)該以更加開闊的視野來制定數(shù)據(jù)運(yùn)用的戰(zhàn)略。14.2.3將原創(chuàng)數(shù)據(jù)變?yōu)樵鲋禂?shù)據(jù)我們已經(jīng)見證了一系列大數(shù)據(jù)新應(yīng)用程序的誕生，而這些僅僅只是冰山一角。現(xiàn)在，很多應(yīng)用程序都聚集在業(yè)務(wù)問題上，但是將來會出現(xiàn)更多的打破整個大環(huán)境和產(chǎn)業(yè)現(xiàn)狀的應(yīng)用程序。以加利福尼亞州圣克魯斯市的警局為例，他們通過分析歷史犯罪記錄，預(yù)測犯罪即將發(fā)生的地點(diǎn)。然后，他們派警員到有可能發(fā)生犯罪的地方。事實證明，這有利于降低犯罪率。也就是說，只要在一天中適當(dāng)?shù)臅r間或者一周中適當(dāng)?shù)囊惶欤ㄟ@取決于歷史數(shù)據(jù)分析），將警員安插在適當(dāng)?shù)牡胤?，就能減少犯罪。一家數(shù)據(jù)公司為警方提供協(xié)助——該公司通過分析處理犯罪活動這種類型的大數(shù)據(jù)，以使其能在這種特定用途上發(fā)揮效用。14.2.4大數(shù)據(jù)催生新的應(yīng)用程序大數(shù)據(jù)催生一系列新應(yīng)用程序，這也意味著大數(shù)據(jù)不只為大公司所用，大數(shù)據(jù)將影響各種規(guī)模的公司，同時還會影響到我們的個人生活——從如何生活、如何相愛到如何學(xué)習(xí)。大數(shù)據(jù)再也不是有著大量數(shù)據(jù)分析師和數(shù)據(jù)工程師的大企業(yè)的專利。14.2.4大數(shù)據(jù)催生新的應(yīng)用程序分析大數(shù)據(jù)的基礎(chǔ)架構(gòu)已經(jīng)具備（至少對企業(yè)來說），這些基礎(chǔ)架構(gòu)中的大部分都能在“云”中找到。起先實施起來是很容易的。有大量的公共數(shù)據(jù)可以利用，如此一來，企業(yè)家們將會創(chuàng)建大量的大數(shù)據(jù)應(yīng)用程序。企業(yè)家和投資者所面臨的挑戰(zhàn)就是找到有意義的數(shù)據(jù)組合，包括公開的和私人的數(shù)據(jù)，然后將其在具體的應(yīng)用中結(jié)合起來——這些應(yīng)用將在未來幾年內(nèi)為很多人帶來真正的好處。14.2.4大數(shù)據(jù)催生新的應(yīng)用程序大數(shù)據(jù)為創(chuàng)業(yè)和投資開辟了一些新的領(lǐng)域。你不需要是統(tǒng)計學(xué)家、工程師或者數(shù)據(jù)分析師，就可以輕松獲取數(shù)據(jù)，然后憑借分析和洞察力開發(fā)可行的產(chǎn)品。這是一個充滿機(jī)遇的主要領(lǐng)域。就像臉書讓照片分享變得更容易一樣，新產(chǎn)品不僅能使分析變得更簡單，還能將分析結(jié)果與人分享，并從這種協(xié)作中學(xué)到一些東西。14.2.5在大數(shù)據(jù)“空白”中提取最大價值將眾多內(nèi)部數(shù)據(jù)聚合到一個地方，或者將公共數(shù)據(jù)和個人數(shù)據(jù)源相結(jié)合，也能開辟出產(chǎn)品開發(fā)和投資的新機(jī)遇。新數(shù)據(jù)組合能帶來更優(yōu)的信用評級、更好的城市規(guī)劃，公司將有能力比競爭對手更快速、敏捷地發(fā)現(xiàn)市場變化并做出反應(yīng)。大數(shù)據(jù)也將會有新的信息和數(shù)據(jù)服務(wù)業(yè)務(wù)。雖然如今網(wǎng)上有大量數(shù)據(jù)——從學(xué)校的成績指標(biāo)、天氣信息到美國人口普查，數(shù)據(jù)應(yīng)有盡有，但是很多這些數(shù)據(jù)的原始數(shù)據(jù)依然很難獲取。14.2.5在大數(shù)據(jù)“空白”中提取最大價值收集數(shù)據(jù)、將數(shù)據(jù)標(biāo)準(zhǔn)化，并且要以一種能輕易獲取數(shù)據(jù)的方式呈現(xiàn)數(shù)據(jù)可不容易。信息服務(wù)的范圍已經(jīng)到了不得不細(xì)分的時刻，因為處理這些數(shù)據(jù)太難了。新數(shù)據(jù)服務(wù)也會因為我們生成的新數(shù)據(jù)而涌現(xiàn)。因為智能手機(jī)配備有全球定位系統(tǒng)、動力感應(yīng)和內(nèi)置聯(lián)網(wǎng)功能，它們就成為了生成低成本具體位置數(shù)據(jù)的完美選擇。研發(fā)者也已經(jīng)開始創(chuàng)建應(yīng)用程序來檢測路面異常情況，比方說基于震動來檢測路面坑洞。這需要大數(shù)據(jù)應(yīng)用程序中的最基本的應(yīng)用程序——如智能手機(jī)采用的這一類低成本傳感器來收集新數(shù)據(jù)。14.2.5在大數(shù)據(jù)“空白”中提取最大價值要從這樣的空白機(jī)遇里提煉出最大的價值，不僅需要金融市場理解大數(shù)據(jù)業(yè)務(wù)，還需要其訂閱大數(shù)據(jù)業(yè)務(wù)。在大數(shù)據(jù)、云計算、移動應(yīng)用以及社會因素等因素的影響下，不難想象，信息技術(shù)在未來20年的發(fā)展一定比過去更精彩。14.2.5在大數(shù)據(jù)“空白”中提取最大價值PART03大數(shù)據(jù)發(fā)展趨勢大數(shù)據(jù)是繼云計算、移動互聯(lián)網(wǎng)之后信息技術(shù)領(lǐng)域的又一大熱門話題。根據(jù)預(yù)測，大數(shù)據(jù)將繼續(xù)以每年40％的速度持續(xù)增加，而大數(shù)據(jù)所帶來的市場規(guī)模也將以每年翻一番的速度增長。有關(guān)大數(shù)據(jù)的話題也逐漸從討論大數(shù)據(jù)相關(guān)的概念，轉(zhuǎn)移到研究從業(yè)務(wù)和應(yīng)用出發(fā)如何讓大數(shù)據(jù)真正實現(xiàn)其所蘊(yùn)含的價值。大數(shù)據(jù)無疑給眾多的IT企業(yè)帶來了新的成長機(jī)會，同時也帶來了前所未有的挑戰(zhàn)。14.3大數(shù)據(jù)發(fā)展趨勢隨著數(shù)據(jù)量的持續(xù)增大，學(xué)術(shù)界和工業(yè)界都在關(guān)注著大數(shù)據(jù)的發(fā)展，探索新的大數(shù)據(jù)技術(shù)、開發(fā)新的工具和服務(wù)，努力將“信息過載”轉(zhuǎn)換成“信息優(yōu)勢”。大數(shù)據(jù)將跟移動計算和云計算一起成為信息領(lǐng)域企業(yè)所“必須有”的競爭力。如何應(yīng)對大數(shù)據(jù)所帶來的挑戰(zhàn)，如何抓住機(jī)會真正實現(xiàn)大數(shù)據(jù)的價值，將是未來信息領(lǐng)域持續(xù)關(guān)注的課題，并同時會帶來信息領(lǐng)域里諸多方面的突破性發(fā)展。14.3.1信息領(lǐng)域的突破性發(fā)展（1）物聯(lián)網(wǎng)。是把所有物品通過信息傳感設(shè)備與互聯(lián)網(wǎng)連接起來，進(jìn)行信息交換，即物物相息，以實現(xiàn)智能化識別和管理。物聯(lián)網(wǎng)是新一代信息技術(shù)的重要組成部分，也是“信息化”時代的重要發(fā)展階段。物聯(lián)網(wǎng)的核心和基礎(chǔ)仍然是互聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)基礎(chǔ)上的延伸和擴(kuò)展的網(wǎng)絡(luò)；其用戶端延伸和擴(kuò)展到了任何物品與物品之間，進(jìn)行信息交換和通信，也就是物物相息。14.3.1信息領(lǐng)域的突破性發(fā)展（2）智慧城市。是運(yùn)用信息和通信技術(shù)手段感測、分析、整合城市運(yùn)行核心系統(tǒng)的各項關(guān)鍵信息，對包括民生、環(huán)保、公共安全、城市服務(wù)、工商業(yè)活動在內(nèi)的各種需求做出智能響應(yīng)。智慧城市的實質(zhì)是利用先進(jìn)的信息技術(shù)，實現(xiàn)城市智慧式管理和運(yùn)行，進(jìn)而為城市中的人創(chuàng)造更美好的生活，促進(jìn)城市的和諧、可持續(xù)成長。這個趨勢的成敗取決于數(shù)據(jù)量跟數(shù)據(jù)是否足夠，這有賴于政府部門與民營企業(yè)的合作。此外，發(fā)展中的5G網(wǎng)絡(luò)是全世界通用的規(guī)格，如果產(chǎn)品被一個智慧城市采用，將可以應(yīng)用在全世界的智慧城市。14.3.1信息領(lǐng)域的突破性發(fā)展（3）虛擬現(xiàn)實（VR）、增強(qiáng)現(xiàn)實（AR）與混合現(xiàn)實（MR）。虛擬現(xiàn)實技術(shù)是一種創(chuàng)建和體驗虛擬世界的計算機(jī)仿真系統(tǒng)，它利用計算機(jī)生成一種模擬環(huán)境；增強(qiáng)現(xiàn)實技術(shù)是一種多源信息融合的、交互式的三維動態(tài)視景和實體行為的系統(tǒng)仿真，使用戶沉浸到該環(huán)境中。14.3.1信息領(lǐng)域的突破性發(fā)展混合現(xiàn)實（MR）是虛擬現(xiàn)實技術(shù)的進(jìn)一步發(fā)展，該技術(shù)通過在現(xiàn)實場景呈現(xiàn)虛擬場景信息，在現(xiàn)實世界、虛擬世界和用戶之間搭起一個交互反饋的信息回路，以增強(qiáng)用戶體驗的真實感。

圖14-4混合現(xiàn)實14.3.1信息領(lǐng)域的突破性發(fā)展混合現(xiàn)實是一組技術(shù)組合，不僅提供新的觀看方法，還提供新的輸入方法，而且所有方法相互結(jié)合，從而推動創(chuàng)新。輸入和輸出的結(jié)合對中小型企業(yè)而言是關(guān)鍵的差異化優(yōu)勢。這樣，混合現(xiàn)實就可以直接影響你的工作流程，幫助企業(yè)提高工作效率和創(chuàng)新能力。14.3.1信息領(lǐng)域的突破性發(fā)展（4）區(qū)塊鏈技術(shù)。區(qū)塊鏈?zhǔn)欠植际綌?shù)據(jù)存儲、點(diǎn)對點(diǎn)傳輸、共識機(jī)制、加密算法等計算機(jī)技術(shù)的新型應(yīng)用模式。所謂共識機(jī)制是區(qū)塊鏈系統(tǒng)中實現(xiàn)不同節(jié)點(diǎn)之間建立信任、獲取權(quán)益的數(shù)學(xué)算法。區(qū)塊鏈技術(shù)是指一種全民參與記賬的方式。所有的系統(tǒng)背后都有一個數(shù)據(jù)庫，你可以把數(shù)據(jù)庫看成是就是一個大賬本。區(qū)塊鏈有很多不同應(yīng)用方式，最常見的應(yīng)用是虛擬幣交易。14.3.1信息領(lǐng)域的突破性發(fā)展（5）語音識別技術(shù)。所涉及的領(lǐng)域包括：信號處理、模式識別、概率論和信息論、發(fā)聲機(jī)理和聽覺機(jī)理、人工智能等。人們預(yù)計，語音識別技術(shù)將進(jìn)入工業(yè)、家電、通信、汽車電子、醫(yī)療、家庭服務(wù)、消費(fèi)電子產(chǎn)品等各個領(lǐng)域，是信息技術(shù)領(lǐng)域重要的科技發(fā)展技術(shù)之一。（6）人工智能（AI）。是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門技術(shù)科學(xué)。AI需要匯入很多信息才能進(jìn)化，進(jìn)而產(chǎn)生一些意想不到的結(jié)果，它對經(jīng)濟(jì)發(fā)展會產(chǎn)生劇烈影響。14.3.1信息領(lǐng)域的突破性發(fā)展（7）數(shù)字匯流。在不同的使用情境之下，人們會需要不一樣的數(shù)字裝置——光是屏幕大小就有好多種選項，音響效果、攝影機(jī)等都需要不同的配套。所有的裝置會存取同一個遠(yuǎn)端資料庫，讓人們的數(shù)字生活可以完全同步，隨時、無縫的切換使用情境。除了設(shè)備的匯流，人們更應(yīng)關(guān)心的是數(shù)字匯流，這是一個網(wǎng)絡(luò)商業(yè)模式的匯流，或者更明確的說，它是“內(nèi)容”與“電子商務(wù)”的匯流。14.3.1信息領(lǐng)域的突破性發(fā)展專家對大數(shù)據(jù)發(fā)展趨勢的一些預(yù)測是值得企業(yè)關(guān)注的。很多人都認(rèn)為大數(shù)據(jù)是一種流行技術(shù)，很多新興技術(shù)正在迅速發(fā)展。（1）更加關(guān)注數(shù)據(jù)治理。隨著企業(yè)不斷收集大量數(shù)據(jù)，濫用這些數(shù)據(jù)的風(fēng)險也隨之增加。這就是許多專家期望重新強(qiáng)調(diào)數(shù)據(jù)治理的原因。數(shù)據(jù)治理將回到最前沿，“隨著分析和診斷平臺的擴(kuò)展，來自數(shù)據(jù)的衍生事實將在業(yè)務(wù)中更加無縫地共享，因為數(shù)據(jù)治理工具將有助于確保數(shù)據(jù)的機(jī)密性、正確使用和完整性?！?4.3.2未來發(fā)展趨勢的專家預(yù)測（2）增強(qiáng)分析將加速制定決策。高德納公司分析師認(rèn)為，增強(qiáng)分析會影響大數(shù)據(jù)的未來趨勢。它涉及將人工智能、機(jī)器學(xué)習(xí)和自然語言處理等技術(shù)應(yīng)用于大數(shù)據(jù)平臺，這有助于企業(yè)更快地做出決策，并更有效地識別趨勢?！斑@種趨勢確實是使分析民主化……這實際上是在短時間內(nèi)采用更少的技能獲得洞察力。”14.3.2未來發(fā)展趨勢的專家預(yù)測（3）大數(shù)據(jù)將補(bǔ)充而不是取代研究人員的工作。如今許多大數(shù)據(jù)平臺是如此先進(jìn)，以至于人們開始期待不久之后可以取代人類的辛勤工作，這是可以理解的。但是，有專家認(rèn)為，這一結(jié)果不太可能實現(xiàn)，尤其是在使用大數(shù)據(jù)協(xié)助市場研究等應(yīng)用領(lǐng)域。14.3.2未來發(fā)展趨勢的專家預(yù)測數(shù)據(jù)科學(xué)有助于識別相關(guān)性。因此，數(shù)據(jù)科學(xué)家可以提供以前未曾知道的模式、網(wǎng)絡(luò)、依賴性。但是，要使數(shù)據(jù)科學(xué)真正增加附加值，需要研究人員了解信息的場景，并解釋其原因?！笆袌鲅芯繉嶋H上是在理解人類的行為和動機(jī)。數(shù)據(jù)科學(xué)無法獨(dú)立滲透?！崩纾逞芯科髽I(yè)在其全球團(tuán)隊中擁有1000多名數(shù)據(jù)科學(xué)家，但還雇用了其他專業(yè)人員，包括民族專家和行為科學(xué)家。14.3.2未來發(fā)展趨勢的專家預(yù)測（4）云計算數(shù)據(jù)將塑造客戶體驗。當(dāng)人們權(quán)衡大數(shù)據(jù)趨勢時，云計算成為一個主要的討論話題。知情人士希望從中了解一些當(dāng)前情況以及當(dāng)用戶將大數(shù)據(jù)與云計算結(jié)合在一起時可能會發(fā)生的情況。大數(shù)據(jù)分析的未來趨勢之一是使用信息來增強(qiáng)客戶體驗。擁有云優(yōu)先的心態(tài)將會有所幫助，“越來越多的品牌互動是通過數(shù)字服務(wù)進(jìn)行的，因此，企業(yè)必須找到改進(jìn)更新的方法，并以前所未有的速度提供新產(chǎn)品和服務(wù)?！?4.3.2未來發(fā)展趨勢的專家預(yù)測那么云計算技術(shù)如何融入其中？有專家預(yù)測：“考慮到速度，企業(yè)將采用現(xiàn)代的云原生模式，該模式通過使用最新方法來開發(fā)和管理的現(xiàn)代微服務(wù)架構(gòu)來促進(jìn)容器化部署。”14.3.2未來發(fā)展趨勢的專家預(yù)測（5）公共云和私有云的共存性不斷提高。如今，許多公司已經(jīng)考慮或正在使用云計算技術(shù)，企業(yè)認(rèn)識到可以同時選擇公共云和私有云的元年，而不是只能選擇其中之一?！肮苍坪退接性瓶梢怨泊娴南敕▽⒊蔀楝F(xiàn)實。在混合云架構(gòu)的支持下，多云IT戰(zhàn)略將在確保企業(yè)具有更好的數(shù)據(jù)管理和可見性，同時確保其數(shù)據(jù)保持可訪問性和安全性方面發(fā)揮關(guān)鍵作用。”

圖14-5私有云14.3.2未來發(fā)展趨勢的專家預(yù)測人們期待私有云在未來不僅存在于數(shù)據(jù)中心，還將出現(xiàn)在邊緣?！半S著5G和邊緣部署的繼續(xù)推出，私有混合云將出現(xiàn)在邊緣，以確保實時監(jiān)控和管理數(shù)據(jù)。這意味著企業(yè)將期望更多的云計算服務(wù)提供商確保他們能夠在所有環(huán)境中支持其混合云需求?！?4.3.2未來發(fā)展趨勢的專家預(yù)測（6）云計算技術(shù)將使大數(shù)據(jù)更易于訪問。云計算的主要優(yōu)點(diǎn)之一是，它使人們可以從任何地方訪問應(yīng)用程序。在這個時代，大多數(shù)員工都會知道如何使用自助式大數(shù)據(jù)應(yīng)用程序。“大數(shù)據(jù)分析可能會在企業(yè)的應(yīng)用更加廣泛。企業(yè)IT團(tuán)隊經(jīng)理和IT人員都被認(rèn)為具有勝任大數(shù)據(jù)工作的能力，就像當(dāng)今大多數(shù)員工都被認(rèn)為了解電子表格和演示文稿一樣。大型數(shù)據(jù)集的分析將成為幾乎每個業(yè)務(wù)決策的前提，就像現(xiàn)在的成本和收益分析一樣。”14.3.2未來發(fā)展趨勢的專家預(yù)測但“這并不意味著每個人都必須成為數(shù)據(jù)科學(xué)家。自助服務(wù)工具將使大數(shù)據(jù)分析更容易實現(xiàn)。管理者將使用簡化的、類似電子表格的界面來利用云計算的計算能力，并從任何設(shè)備運(yùn)行高級分析?！?4.3.2未來發(fā)展趨勢的專家預(yù)測大數(shù)據(jù)是時代發(fā)展一個必然的產(chǎn)物，而且大數(shù)據(jù)正在加速滲透到我們的日常生活中，從衣食住行各個層面均有體現(xiàn)。大數(shù)據(jù)時代，一切可量化、可分析。大數(shù)據(jù)未來的發(fā)展趨勢，一定是以多種技術(shù)為依托且相互結(jié)合，才能釋放大數(shù)據(jù)的“洪荒之力”。14.3.2未來發(fā)展趨勢的專家預(yù)測PART04大數(shù)據(jù)技術(shù)展望如今，人們尋求獲得更多的數(shù)據(jù)有著充分的理由，因為數(shù)據(jù)分析推動了數(shù)字創(chuàng)新。然而，將這些龐大的數(shù)據(jù)集轉(zhuǎn)化為可操作的洞察力仍然是一個難題。而那些獲得應(yīng)對強(qiáng)大數(shù)據(jù)挑戰(zhàn)的解決方案的組織將能夠更好地從數(shù)字創(chuàng)新的成果中獲得經(jīng)濟(jì)利益。14.4大數(shù)據(jù)技術(shù)展望大數(shù)據(jù)分析有著相當(dāng)明確的重要思想：找到隱藏在大量數(shù)據(jù)中的信息模式，訓(xùn)練機(jī)器學(xué)習(xí)模型以發(fā)現(xiàn)這些模式，并將這些模型實施到生產(chǎn)中以自動對其進(jìn)行操作。需要清理數(shù)據(jù)，并在必要時進(jìn)行重復(fù)。然而，將這些數(shù)據(jù)投入生產(chǎn)的現(xiàn)實要比看上去困難得多。對于初學(xué)者來說，收集來自不同孤島的數(shù)據(jù)很困難，需要提取、轉(zhuǎn)換和加載（ETL）和數(shù)據(jù)庫技能。清理和標(biāo)記機(jī)器學(xué)習(xí)培訓(xùn)的數(shù)據(jù)也需要花費(fèi)大量的時間和費(fèi)用，特別是在使用深度學(xué)習(xí)技術(shù)時。此外，以安全可靠的方式將這樣的系統(tǒng)大規(guī)模投入生產(chǎn)需要另外一套技能。14.4.1數(shù)據(jù)管理仍然很難有些人將數(shù)據(jù)稱之為“新石油”，也被稱為“新貨幣”。無論怎樣比喻，大家都認(rèn)為數(shù)據(jù)具有價值，并且如果對此不重視將會帶來更大的風(fēng)險。歐盟通過頒布GDPR法規(guī)闡明了數(shù)據(jù)治理不善的財務(wù)后果。美國公司也必須遵守由美國聯(lián)邦、各州等創(chuàng)建的80個不同的數(shù)據(jù)制授權(quán)法規(guī)。數(shù)據(jù)泄露正在引發(fā)問題。大多數(shù)組織已經(jīng)意識到無序發(fā)展的大數(shù)據(jù)時代即將結(jié)束，社會對數(shù)據(jù)濫用或隱私泄露行為不再容忍。出于這些原因，數(shù)據(jù)管理仍然是一個巨大的挑戰(zhàn)，數(shù)據(jù)工程師將繼續(xù)成為大數(shù)據(jù)團(tuán)隊中最受歡迎的角色之一。14.4.1數(shù)據(jù)管理仍然很難在最初Hadoop的開發(fā)熱潮中，人們認(rèn)為可以將所有數(shù)據(jù)（包括分析和事務(wù)工作負(fù)載）整合到一個平臺上。但由于各種原因，這個想法從未真正實現(xiàn)過。其面臨的最大挑戰(zhàn)是不同的數(shù)據(jù)類型具有不同的存儲要求，關(guān)系數(shù)據(jù)庫、圖形數(shù)據(jù)庫、時間序列數(shù)據(jù)庫、HDF（用于存儲和分發(fā)科學(xué)數(shù)據(jù)的一種自我描述、多對象文件格式）和對象存儲都有各自的優(yōu)缺點(diǎn)。如果開發(fā)人員將所有數(shù)據(jù)塞進(jìn)一個適合所有數(shù)據(jù)的數(shù)據(jù)湖中，他們就無法最大限度地發(fā)揮其優(yōu)勢。14.4.2數(shù)據(jù)孤島繼續(xù)激增在某些情況下，將大量數(shù)據(jù)集中到一個地方確實有意義。例如，云數(shù)據(jù)存儲庫為企業(yè)提供了靈活且經(jīng)濟(jì)高效的存儲，而Hadoop仍然是非結(jié)構(gòu)化數(shù)據(jù)存儲和分析的經(jīng)濟(jì)高效的存儲。但對于大多數(shù)公司而言，這些只是必須管理的額外的重要孤島，但它們不是唯一的。在缺乏強(qiáng)大集權(quán)的情況下，數(shù)據(jù)倉庫將會繼續(xù)激增。14.4.2數(shù)據(jù)孤島繼續(xù)激增組織處理新數(shù)據(jù)越快，業(yè)務(wù)發(fā)展就會越好。這是實時分析或流式分析背后的推動力。但組織一直面臨的挑戰(zhàn)是要真正做到這一點(diǎn)非常困難，而且成本也很高，但隨著組織的分析團(tuán)隊的成熟和技術(shù)的進(jìn)步，這種情況正在發(fā)生變化。NewSQL數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)網(wǎng)格和專用流分析平臺圍繞通用功能進(jìn)行融合，這需要對輸入數(shù)據(jù)進(jìn)行超快處理，通常使用機(jī)器學(xué)習(xí)模型來自動化決策。將流媒體分析與Spark等開源流式框架中的SQL功能相結(jié)合，組織就可以獲得真正的進(jìn)步。14.4.3流媒體分析的突破人力資源通常是大數(shù)據(jù)項目中的最大成本，因為工作人員最終構(gòu)建并運(yùn)行大數(shù)據(jù)項目，并使其發(fā)揮作用。無論使用何種技術(shù)，找到具有合適技能的人員對于將數(shù)據(jù)轉(zhuǎn)化為洞察力至關(guān)重要。而隨著技術(shù)的進(jìn)步，技能組合也是如此。未來，人們會看到企業(yè)對于神經(jīng)網(wǎng)絡(luò)專業(yè)人才的巨大需求。在數(shù)據(jù)科學(xué)家（而不是人工智能專家）的技能中，Python仍然在語言中占主導(dǎo)地位，盡管對于R、SAS、MATLAB、Scala、Java和C等語言還有很多工作要做。14.4.4技術(shù)發(fā)展帶來技能轉(zhuǎn)變隨著數(shù)據(jù)治理計劃的啟動，對數(shù)據(jù)管理人員的需求將會增加。能夠使用核心工具（數(shù)據(jù)庫、Spark、Airflow等）的數(shù)據(jù)工程師將繼續(xù)看到他們的機(jī)會增長。人們還可以看到企業(yè)對機(jī)器學(xué)習(xí)工程師的需求加速增長。然而，由于自動化數(shù)據(jù)科學(xué)平臺的進(jìn)步和發(fā)展，組織的一些工作可以通過數(shù)據(jù)分析師或“公民數(shù)據(jù)科學(xué)家”來完成，因為眾所周知，數(shù)據(jù)和業(yè)務(wù)的知識和技能可能會讓組織在大數(shù)據(jù)道路上走得更遠(yuǎn)，而不是統(tǒng)計和編程。14.4.4技術(shù)發(fā)展帶來技能轉(zhuǎn)變機(jī)器學(xué)習(xí)會得到蓬勃發(fā)展，將在大數(shù)據(jù)中發(fā)揮著巨大作用，其全球市場的復(fù)合年增長率為44%，這是由不同類型數(shù)據(jù)的可用性和該領(lǐng)域的技術(shù)進(jìn)步推動的。英特爾副總裁兼總經(jīng)理魏磊說道：“機(jī)器學(xué)習(xí)日趨復(fù)雜。而且，除了自動駕駛汽車，欺詐設(shè)備檢測或零售趨勢分析之外，我們還沒有看到它的全部潛力。”伯納德·馬爾則說：“讓我著迷的是將大數(shù)據(jù)與機(jī)器學(xué)習(xí)，尤其是自然語言處理相結(jié)合，計算機(jī)自行進(jìn)行分析以發(fā)現(xiàn)新的疾病模式，然后在數(shù)據(jù)中找到它們。”14.4.4技術(shù)發(fā)展帶來技能轉(zhuǎn)變一些專家認(rèn)為，大數(shù)據(jù)已經(jīng)過時，“快速數(shù)據(jù)”將很快取代它。與大數(shù)據(jù)（通常依靠Hadoop和NoSQL數(shù)據(jù)庫以批處理模式分析信息）不同，快速數(shù)據(jù)允許實時流處理信息。由于流處理，數(shù)據(jù)可以在1ms內(nèi)迅速分析和預(yù)測任何事件。這無疑更有價