大數(shù)據(jù)的10大發(fā)展趨勢(shì)

1、20*年大數(shù)據(jù)的10大開(kāi)展趨勢(shì)如今，人們尋求獲得更多的數(shù)據(jù)有著充分的理由，因?yàn)?數(shù)據(jù)分析推動(dòng)了數(shù)字創(chuàng)新。然而，將這些龐大的數(shù)據(jù)集轉(zhuǎn)化 為可操作的洞察力仍然是一個(gè)難題。而那些獲得應(yīng)對(duì)強(qiáng)大數(shù) 據(jù)挑戰(zhàn)的解決方案的組織將能夠更好地從數(shù)字創(chuàng)新的成果 中獲得經(jīng)濟(jì)利益?？紤]到這個(gè)基本前提，以下是組織在20*年應(yīng)該關(guān)注的 大數(shù)據(jù)的10個(gè)開(kāi)展趨勢(shì)：.數(shù)據(jù)管理仍然很難大數(shù)據(jù)分析有著相當(dāng)明確的重要思想：找到隱藏在大量 數(shù)據(jù)中的信息模式，訓(xùn)練機(jī)器學(xué)習(xí)模型以發(fā)現(xiàn)這些模式，并 將這些模型實(shí)施到生產(chǎn)中以自動(dòng)對(duì)其開(kāi)展操作。需要清理數(shù) 據(jù)，并在必要時(shí)開(kāi)展重復(fù)。然而，將這些數(shù)據(jù)投入生產(chǎn)的現(xiàn)實(shí)要比看上去困難得多。 對(duì)于初學(xué)者來(lái)說(shuō)，

2、收集來(lái)自不同孤島的數(shù)據(jù)很困難，需要提 取、轉(zhuǎn)換和加載(ETL)和數(shù)據(jù)庫(kù)技能。清理和標(biāo)記機(jī)器學(xué)習(xí) 培訓(xùn)的數(shù)據(jù)也需要花費(fèi)大量的時(shí)間和費(fèi)用，特別是在使用深 度學(xué)習(xí)技術(shù)時(shí)。此外，以平安可靠的方式將這樣的系統(tǒng)大規(guī) 模投入生產(chǎn)需要另外一套技能。出于這些原因，數(shù)據(jù)管理仍然是一個(gè)巨大的挑戰(zhàn)，數(shù)據(jù) 工程師將繼續(xù)成為大數(shù)據(jù)團(tuán)隊(duì)中受歡迎的角色之一。.數(shù)據(jù)孤島繼續(xù)激增這個(gè)預(yù)測(cè)并不困難。在五年前的hadoop開(kāi)發(fā)熱潮中，人們認(rèn)為可以將所有數(shù)據(jù)（包括分析和事務(wù)工作負(fù)載）整合 到一個(gè)平臺(tái)上。出于各種原因，這個(gè)想法從未真正實(shí)現(xiàn)過(guò)。其面臨的挑 戰(zhàn)是不同的數(shù)據(jù)類型具有不同的存儲(chǔ)要求。關(guān)系數(shù)據(jù)庫(kù)、圖 形數(shù)據(jù)庫(kù)、時(shí)間序列數(shù)據(jù)庫(kù)、HD

3、F和對(duì)象存儲(chǔ)都有各自的優(yōu) 缺點(diǎn)。如果開(kāi)發(fā)人員將所有數(shù)據(jù)塞進(jìn)一個(gè)適合所有數(shù)據(jù)的數(shù) 據(jù)湖中，他們就無(wú)法大限度地發(fā)揮其優(yōu)勢(shì)。在某些情況下，將大量數(shù)據(jù)集中到一個(gè)地方確實(shí)有意義。 例如，像S3這樣的云數(shù)據(jù)存儲(chǔ)庫(kù)為企業(yè)提供了靈活且經(jīng)濟(jì) 高效的存儲(chǔ)，而Hadoop仍然是非構(gòu)造化數(shù)據(jù)存儲(chǔ)和分析的 經(jīng)濟(jì)高效的存儲(chǔ)。但對(duì)于大多數(shù)公司而言，這些只是必須管 理的額外孤島。當(dāng)然，它們是重要的孤島，但它們不是唯一 的。而在缺乏強(qiáng)大集權(quán)的情況下，數(shù)據(jù)倉(cāng)庫(kù)將會(huì)繼續(xù)激增。.流媒體分析的突破性的一年組織處理新數(shù)據(jù)越快，業(yè)務(wù)開(kāi)展就會(huì)越好。這是實(shí)時(shí)分 析或流式分析背后的推動(dòng)力。但組織一直面臨的挑戰(zhàn)是要真 正做到這一點(diǎn)非常困難，而且本

4、錢也很高，但隨著組織的分 析團(tuán)隊(duì)的成熟和技術(shù)的進(jìn)步，這種情況正在發(fā)生變化。NewSQL數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)網(wǎng)格和專用流分析平臺(tái)圍繞通 用功能開(kāi)展融合，這需要對(duì)輸入數(shù)據(jù)開(kāi)展超快處理，通常使 用機(jī)器學(xué)習(xí)模型來(lái)自動(dòng)化決策。將它與Kafka. Spark和Fl ink等開(kāi)源流式框架中的SQL 功能相結(jié)合，組織就可以在20*年獲得真正的進(jìn)步。.數(shù)據(jù)治理不善將帶來(lái)風(fēng)險(xiǎn)有些人將數(shù)據(jù)稱之為“新石油”，也被稱為“新貨幣”。 無(wú)論是什么樣的比喻，大家都認(rèn)為數(shù)據(jù)具有價(jià)值，并且如果 對(duì)此不重視將會(huì)帶來(lái)更大的風(fēng)險(xiǎn)。歐盟通過(guò)去年公布的GDPR法規(guī)說(shuō)明了數(shù)據(jù)治理不善的 財(cái)務(wù)后果。雖然美國(guó)還沒(méi)有類似的法律，但美國(guó)公司仍然必 須遵

5、守由美國(guó)聯(lián)邦、各州等創(chuàng)立的80個(gè)不同的數(shù)據(jù)制授權(quán) 法規(guī)。數(shù)據(jù)泄露正在引發(fā)問(wèn)題。根據(jù)Harris Poll公司開(kāi)展的 一項(xiàng)在線調(diào)查，20*年有近6000萬(wàn)美國(guó)人受到身份盜竊的 影響。這比20*年增長(zhǎng)了 300%,當(dāng)時(shí)只有1500萬(wàn)人表示受 到了影響。大多數(shù)組織已經(jīng)意識(shí)到無(wú)序開(kāi)展的大數(shù)據(jù)時(shí)代即將完 畢。而很多國(guó)家和地區(qū)的政府對(duì)數(shù)據(jù)濫用或隱私泄露行為不 再容忍。.隨著技術(shù)的開(kāi)展，技能也在轉(zhuǎn)變?nèi)肆Y源通常是大數(shù)據(jù)工程中的較大本錢，因?yàn)楣ぷ魅?員最終構(gòu)建并運(yùn)行大數(shù)據(jù)工程，并使其發(fā)揮作用。無(wú)論使用 何種技術(shù)，找到具有合適技能的人員對(duì)于將數(shù)據(jù)轉(zhuǎn)化為洞察 力很重要。而隨著技術(shù)的進(jìn)步，技能組合也是如此。在20*

6、年，人 們可以看到企業(yè)對(duì)于神經(jīng)網(wǎng)絡(luò)專業(yè)人才的巨大需求。在數(shù)據(jù) 科學(xué)家（而不是人工智能專家）的技能中，Python仍然在語(yǔ)言 中占主導(dǎo)地位，盡管對(duì)于R、SAS、Matlab、Scala、Java和C等語(yǔ)言還有很多工作要做。隨著數(shù)據(jù)治理計(jì)劃的啟動(dòng)，對(duì)數(shù)據(jù)管理人員的需求將會(huì) 增加。能夠使用核心工具(數(shù)據(jù)庫(kù)、Spark Airflow等)的數(shù) 據(jù)工程師將繼續(xù)看到他們的時(shí)機(jī)增長(zhǎng)。人們還可以看到企業(yè) 對(duì)機(jī)器學(xué)習(xí)工程師的需求加速增長(zhǎng)。然而，由于自動(dòng)化數(shù)據(jù)科學(xué)平臺(tái)的進(jìn)步和開(kāi)展，組織的 一些工作可以通過(guò)數(shù)據(jù)分析師或“公民數(shù)據(jù)科學(xué)家”來(lái)完成， 因?yàn)楸娝苤瑪?shù)據(jù)和業(yè)務(wù)的知識(shí)和技能可能會(huì)讓組織在大 數(shù)據(jù)道路上走得更

7、遠(yuǎn)，而不是統(tǒng)計(jì)和編程。.深度學(xué)習(xí)變得更加深入深度學(xué)習(xí)的開(kāi)展為人工智能的應(yīng)用提供了更多的動(dòng)力， 在20*年沒(méi)有任何減緩的跡象。組織將繼續(xù)嘗試深度學(xué)習(xí)框 架，如 TensorFlow、Caffe、Keras、PyTorch 和 MXnet,以 期將大量數(shù)據(jù)集實(shí)現(xiàn)貨幣化。組織將擴(kuò)展深度學(xué)習(xí)，超越其最初的用例，如計(jì)算機(jī)視 覺(jué)和自然語(yǔ)言處理(NLP),并找到實(shí)現(xiàn)強(qiáng)大技術(shù)的新的和創(chuàng) 造性的方法。大型金融機(jī)構(gòu)已經(jīng)發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)算法比“傳統(tǒng)” 機(jī)器學(xué)習(xí)方法更能發(fā)現(xiàn)欺詐行為，并且將在20*年繼續(xù)探索 新的用例。這也將支持對(duì)GPU的需求，GPU是培訓(xùn)深度學(xué)習(xí)模型的 首選處理器。目前還不清楚是否有新的處理器類型，包括

8、 ASIC、TPU和FPGA。但是，顯然還需要更快的培訓(xùn)和推理。然而，深度學(xué)習(xí)生態(tài)系統(tǒng)將保持相對(duì)年輕，缺乏通用平 臺(tái)將使其成為真正專家的領(lǐng)域。. “Special K” 擴(kuò)大 了足跡軟件需要運(yùn)行一些東西。用于提供通用根底的操作系統(tǒng), 但現(xiàn)在開(kāi)發(fā)人員的目標(biāo)要低一點(diǎn)：KubernetesoKubernetes由Google公司開(kāi)發(fā)，用于管理和協(xié)調(diào)云中 的虛擬化Linux容器，在IT行業(yè)中，它已成為大數(shù)據(jù)生態(tài) 系統(tǒng)中熱門(mén)的技術(shù)之一。隨著多云和混合部署變得越來(lái)越普 遍，Kubernetes就是將它們整合在一起的粘合劑。以前編寫(xiě)Hadoop上運(yùn)行的軟件的大數(shù)據(jù)軟件供給商現(xiàn) 在正在編寫(xiě)Kubernetes

9、上運(yùn)行的軟件，這至少讓他們進(jìn)入 了前臺(tái)。支持Kubernetes軟件已經(jīng)成為軟件供給商（包括 Hadoop供給商）的需求。.難以忽略的云計(jì)算云計(jì)算的規(guī)模越來(lái)越大。20*年，全球三大公共云供給 商的業(yè)務(wù)增長(zhǎng)率接近50%o云計(jì)算供給商提供了一系列大數(shù) 據(jù)工具和技術(shù)，更不用說(shuō)用于存儲(chǔ)所有數(shù)據(jù)的廉價(jià)存儲(chǔ)，因 此用戶很難抵御云計(jì)算的誘惑。20*年，小型企業(yè)和初創(chuàng)企業(yè)將被主要的公共云提供商 提供的服務(wù)所吸引，這些云計(jì)算提供商正在投入巨資建設(shè)隨 時(shí)可運(yùn)行的大數(shù)據(jù)平臺(tái)，提供自動(dòng)化機(jī)器學(xué)習(xí)、分析數(shù)據(jù)庫(kù) 和實(shí)時(shí)流分析服務(wù)。即使本錢方面并不那么吸引人，大型企業(yè)也難以抗拒云 計(jì)算所帶來(lái)的好處。然而，將業(yè)務(wù)鎖定在單一云

10、計(jì)算供給商， 這讓大型企業(yè)擔(dān)憂面臨將所有雞蛋放在一個(gè)籃子中的風(fēng)險(xiǎn)。.新技術(shù)將會(huì)出現(xiàn)當(dāng)今推動(dòng)創(chuàng)新的許多主要大數(shù)據(jù)框架和數(shù)據(jù)庫(kù)都是由 全球網(wǎng)絡(luò)巨頭創(chuàng)立的，并作為開(kāi)源應(yīng)用發(fā)布。好消息是可能 將加快技術(shù)創(chuàng)新。在20*年，大數(shù)據(jù)從業(yè)者在他們的創(chuàng)作中會(huì)盡可能保持 靈活性。雖然出于性能原因，將應(yīng)用程序綁定到某項(xiàng)技術(shù)可 能會(huì)很有誘惑力，但是當(dāng)更好、更快地出現(xiàn)這種情況時(shí)，這 可能會(huì)讓組織感到困擾。盡可能多地保持應(yīng)用程序“松散耦合但嚴(yán)密集成“，因 為最終必須將其拆分并重新構(gòu)建。.智能設(shè)備無(wú)處不在如今，智能設(shè)備無(wú)處不在，并且不斷收集數(shù)據(jù)。而在消 費(fèi)者需求的推動(dòng)下，智能設(shè)備正以驚人的速度增長(zhǎng)。智能設(shè) 備生態(tài)系統(tǒng)正在亞馬遜Alexa和谷歌智能助理兩大領(lǐng)先平臺(tái) 上嶄露頭角，為消費(fèi)者提供了將遠(yuǎn)程訪