中國(guó)大數(shù)據(jù)技術(shù)大會(huì)：大數(shù)據(jù)基礎(chǔ)技術(shù)的演進(jìn)趨勢(shì)

1、 介紹中國(guó)大數(shù)據(jù)技術(shù)大會(huì)前身是Hadoop中國(guó)云計(jì)算大會(huì)描繪大數(shù)據(jù)領(lǐng)域內(nèi)的技術(shù)熱點(diǎn)，沉淀行業(yè)實(shí)戰(zhàn)經(jīng)驗(yàn)，見(jiàn)證整個(gè)大數(shù)據(jù)生態(tài)圈技術(shù)的發(fā)展與演變提出學(xué)習(xí)的方法：找個(gè)平臺(tái)看看我們能做什么，而不是悶頭看書技術(shù)熱點(diǎn)：Spark、機(jī)器學(xué)習(xí)（尤其是大數(shù)據(jù)平臺(tái)上的深度學(xué)習(xí)）、流數(shù)據(jù)處理和實(shí)時(shí)快速分析以及在Hadoop上的快速SQL接口大多數(shù)在講公司的平臺(tái)架構(gòu)和一些公司用的開源項(xiàng)目2015年大數(shù)據(jù)基礎(chǔ)技術(shù)的演進(jìn)趨勢(shì)星環(huán)科技CTO孫元浩的演講主題是“2015年大數(shù)據(jù)基礎(chǔ)技術(shù)的演進(jìn)趨勢(shì)”。期間，他一共總結(jié)了四大趨勢(shì)：SQL on Hadoop技術(shù)對(duì)SQL支持的完整度和性能大幅提升，混合架構(gòu)將逐漸消失從In-Memor

2、y Computing 轉(zhuǎn)向 On-SSD Computing，固態(tài)盤將替代內(nèi)存作為緩存數(shù)據(jù)產(chǎn)生的速度以及處理的速度要求都在快速提高，實(shí)時(shí)大數(shù)據(jù)技術(shù)得到關(guān)注虛擬化技術(shù)的快速演化與Hadoop技術(shù)的日益平臺(tái)化，云計(jì)算與大數(shù)據(jù)終得融合期間，他分享了Spark的一個(gè)數(shù)據(jù)：全球已有近50家企業(yè)圍繞Spark提供產(chǎn)品和服務(wù)，11家提供商業(yè)Spark版本。一、混合架構(gòu)逐漸消失混合架構(gòu)1、Hadoop離線處理非結(jié)構(gòu)化的數(shù)據(jù)，對(duì)于結(jié)構(gòu)化的數(shù)據(jù)用關(guān)系型數(shù)據(jù)庫(kù)協(xié)助2、數(shù)據(jù)量小的時(shí)候，大家發(fā)現(xiàn)Hadoop的性能不如傳統(tǒng)的MPP數(shù)據(jù)庫(kù)一、混合架構(gòu)逐漸消失Impala-類似于MPP的引擎Tez-吸收了Spark的一些設(shè)

3、計(jì)思想。TranswarpInceptor-基于Spark開發(fā)的SQL引擎，目前支持SQL2003，支持函數(shù)、游標(biāo)等功能SparkSQL和DrillSpark會(huì)成為一個(gè)主流一、混合架構(gòu)逐漸消失Hadoop的SQL支持程度已經(jīng)接近MPP數(shù)據(jù)庫(kù)現(xiàn)在Hadoop性能可以超過(guò)MPP若干倍傳統(tǒng)的BI廠商都已經(jīng)轉(zhuǎn)向Hadoop，Hadoop系統(tǒng)的BI工具也越來(lái)越豐富，還有一些新興的創(chuàng)業(yè)公司在Hadoop上開發(fā)全新的BI工具，這些工具原生支持Hadoop，從這個(gè)角度來(lái)講Hadoop的生態(tài)系統(tǒng)將很快超越傳統(tǒng)MPP數(shù)據(jù)庫(kù)?，F(xiàn)狀：SQL支持仍然不夠完整，而通過(guò)Spark可以快速并行化SQL，SQL支持的完整程度可

4、以快速提高。同時(shí)，通過(guò)Spark引擎我們證明新引擎性能可以超過(guò)MPP數(shù)據(jù)庫(kù)。我們發(fā)現(xiàn)一個(gè)事實(shí)現(xiàn)在Spark成為最受歡迎的計(jì)算引擎二、內(nèi)存可以被大容量的SSD取代做緩存SSD 價(jià)格便宜，速度也很快，相對(duì)于內(nèi)存，性價(jià)比還是很高的現(xiàn)有的TXT和行列混合等文件格式不足以利用SSD的高性能如果使用SSD，還需要為SSD設(shè)計(jì)專有的數(shù)據(jù)格式兩個(gè)趨勢(shì)：基于磁盤的Hadoop借鑒內(nèi)存數(shù)據(jù)庫(kù)的經(jīng)驗(yàn)設(shè)計(jì)新格式為SSD優(yōu)化現(xiàn)有的內(nèi)存數(shù)據(jù)庫(kù)為SSD優(yōu)化三、實(shí)時(shí)大數(shù)據(jù)的技術(shù)得到更多關(guān)注三、實(shí)時(shí)大數(shù)據(jù)的技術(shù)得到更多關(guān)注隨著現(xiàn)在傳感器網(wǎng)絡(luò)、物聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)產(chǎn)生的速度越來(lái)越快，當(dāng)然在互聯(lián)網(wǎng)里面早就有實(shí)時(shí)數(shù)據(jù)產(chǎn)生，使得實(shí)時(shí)大數(shù)

5、據(jù)的技術(shù)慢慢開始得到更多的關(guān)注，我們預(yù)計(jì)明年有更多的應(yīng)用。Hadoop Storm 融合架構(gòu)Lambda Architecture（沒(méi)有實(shí)戰(zhàn)經(jīng)驗(yàn)，所以好多理解不了各種問(wèn)題、優(yōu)缺點(diǎn)）四、云計(jì)算和大數(shù)據(jù)終于可以融合起來(lái)讓Hadoop成為一種服務(wù)（東西太多）虛擬機(jī)幫助快速部署已經(jīng)得到了時(shí)間的驗(yàn)證，這種方式把一臺(tái)機(jī)器拆分到很多小機(jī)器，每臺(tái)機(jī)器給用戶使用。大數(shù)據(jù)覺(jué)得一臺(tái)機(jī)器不夠，我需要上千臺(tái)、幾百臺(tái)機(jī)器組成一臺(tái)機(jī)器處理。這個(gè)怎么融合起來(lái)，是不是我把虛擬機(jī)替代物理機(jī)做成了一個(gè)集群？這個(gè)嘗試基本上都是失敗的，因?yàn)镮O的瓶頸是非常嚴(yán)重的，特別是在虛擬機(jī)跑大數(shù)據(jù)應(yīng)用，CPU利用往往達(dá)到99%，很少有人在虛擬機(jī)上

6、把CPU用到99%，這樣對(duì)hypervisor是很大的考驗(yàn)，穩(wěn)定性成為一個(gè)大問(wèn)題。最近一兩年虛擬化技術(shù)在快速發(fā)展，不亞于一場(chǎng)新的技術(shù)革命。首先輕量級(jí)的Linuxcontainer技術(shù)出現(xiàn)，container之間可以做資源隔離，這使得虛擬機(jī)變得非常輕量級(jí)。很快一家公司叫做Docker發(fā)現(xiàn)應(yīng)用打包遷移安裝還是不方便，所以做了一個(gè)工具，使得你做應(yīng)用打包遷移非常容易。大家發(fā)現(xiàn)還不大夠，因?yàn)槲乙獎(jiǎng)?chuàng)立單個(gè)container或者單個(gè)應(yīng)用比較容易，但是多個(gè)container應(yīng)用就很麻煩。谷歌開發(fā)一個(gè)開源項(xiàng)目叫做Kubernetes，簡(jiǎn)化了創(chuàng)建container集群的任務(wù)，你可以非常方便的創(chuàng)建Hadoop集群，

7、也可以創(chuàng)建傳統(tǒng)的應(yīng)用，提供多container集群的部署同時(shí)也提供一些基礎(chǔ)服務(wù)，比如說(shuō)一些調(diào)度服務(wù)，這開始具備分布式操作系統(tǒng)的雛形。另外一個(gè)方向像大數(shù)據(jù)領(lǐng)域去年推出Hadoop2.0資源管理的框架YARN，這個(gè)確實(shí)是革命性的，因?yàn)榘奄Y源管理放在最底層，在上面可以跑多種計(jì)算框架，我們覺(jué)得可以一統(tǒng)天下了。隨后大家發(fā)現(xiàn)YARN資源隔離做得不夠好，內(nèi)存磁盤IO沒(méi)有管好。因此Hortonworks嘗試把GoogleKubernetes作為YARN的一個(gè)ApplicationManager,內(nèi)部用Docker進(jìn)行資源調(diào)度。而另一家公司mesosphere異軍突起，以mesos為資源調(diào)度核心，以docker

8、作為container的管理基礎(chǔ)工具，開發(fā)了一套分布式資源管理的框架，提出了數(shù)據(jù)中心操作系統(tǒng)的概念。這家公司最近融資了數(shù)千萬(wàn)美元。盡管底層技術(shù)在快速變化，但不妨礙一些公司已經(jīng)提供HadoopasaService的服務(wù)，例如AltiScale，BlueData，Xplenty等。大家看到在這個(gè)領(lǐng)域過(guò)去一兩年發(fā)生了革命，從底層虛擬化技術(shù)到上層都在發(fā)生非常大的變化。逐漸引出了數(shù)據(jù)中心操作系統(tǒng)的概念。我們把數(shù)據(jù)中心操作系統(tǒng)分成三層，最底層就跟操作系統(tǒng)內(nèi)核是一樣的，可以方便的創(chuàng)建方便銷毀計(jì)算資源，包括對(duì)CPU網(wǎng)絡(luò)內(nèi)存存儲(chǔ)進(jìn)行處理。同時(shí)我們還需要多個(gè)服務(wù)之間能夠發(fā)現(xiàn)這種機(jī)制，這種機(jī)制是目前還是缺乏的，我們

9、需要在這一層繼續(xù)往上加一些基礎(chǔ)服務(wù)。再往上是平臺(tái)服務(wù)，我們可以創(chuàng)建Hadoop、Spark等我們可以部署這樣傳統(tǒng)應(yīng)用。這種架構(gòu)提出來(lái)我們發(fā)現(xiàn)現(xiàn)在市場(chǎng)上有幾種，兩個(gè)技術(shù)方向，我們不知道哪一種會(huì)獲勝。一個(gè)方向是把YARN作為資源調(diào)度的基礎(chǔ)，Kubernetes作為運(yùn)行在YARN上的某一個(gè)應(yīng)用框架，但實(shí)際上Kubernetes是和YARN并列在同一層的。另外一個(gè)技術(shù)方向是把調(diào)度器抽象出來(lái)作為plugin，例如YARN和mesos都可以作為Kubernetes的調(diào)度器，當(dāng)然也可以實(shí)現(xiàn)自己的調(diào)度程序；使用docker或者coreOS進(jìn)行container的管理，而hadoop等分布式服務(wù)運(yùn)行在Kuber

10、netes之上。對(duì)下能夠提供資源隔離和管理，對(duì)上面能夠提供各種服務(wù)，包括Hadoop生態(tài)系統(tǒng)的各種服務(wù)，這個(gè)可能是明年的主流趨勢(shì)，現(xiàn)在還很難判斷誰(shuí)會(huì)獲勝，但是我更傾向于第二種，我們可以首先嘗試這兩種方案，看哪種方案更有生命力。ML on Big Data-大數(shù)據(jù)機(jī)器學(xué)習(xí)深度學(xué)習(xí)-余凱深度學(xué)習(xí)適合大數(shù)據(jù)第一方面，深度學(xué)習(xí)模擬了大腦的行為。一開始做深度學(xué)習(xí)這幫人，他們的想法受到卷積神經(jīng)系統(tǒng)網(wǎng)絡(luò)的影響，在80年代受到了神經(jīng)科學(xué)家對(duì)于視覺(jué)神經(jīng)系統(tǒng)理解的影響第二，從統(tǒng)計(jì)和計(jì)算的角度來(lái)看，深度學(xué)習(xí)特別適合大數(shù)據(jù)第三，深度學(xué)習(xí)是End-to-end學(xué)習(xí)第四，深度學(xué)習(xí)提供一套建模語(yǔ)言大數(shù)據(jù)時(shí)代傳統(tǒng)深度學(xué)習(xí)的誤

11、區(qū)統(tǒng)計(jì)分析機(jī)器學(xué)習(xí)系統(tǒng)效果A-數(shù)學(xué)模型不完美E-數(shù)據(jù)不完美O-算法不完美大數(shù)據(jù)時(shí)代傳統(tǒng)深度學(xué)習(xí)的誤區(qū)隨著數(shù)據(jù)規(guī)模的擴(kuò)大，從推廣誤差的角度來(lái)說(shuō)，傳統(tǒng)的深度學(xué)習(xí)研究中存在著一些誤區(qū)：從Approximation error的角度來(lái)說(shuō)，過(guò)去我們認(rèn)為簡(jiǎn)單的模型就是好的，但實(shí)際上簡(jiǎn)單的模型是不夠好的，隨著機(jī)器的增多，參數(shù)越來(lái)越多，模型越來(lái)越復(fù)雜，是大趨勢(shì)，過(guò)去認(rèn)為簡(jiǎn)單的模型是好的這是錯(cuò)誤的觀念從Estimation error的角度來(lái)說(shuō)，為了保證數(shù)據(jù)的精確，應(yīng)該收集充分的數(shù)據(jù)從Optimization error的角度來(lái)說(shuō)，通常是學(xué)術(shù)界的觀點(diǎn)是，開發(fā)研究非常精致的優(yōu)化算法，但是這些算法存在一個(gè)大問(wèn)題：不

12、能覆蓋大數(shù)據(jù)。比如，SVM的復(fù)雜度是在數(shù)據(jù)二次方到三次方之間的復(fù)雜度，今天處理一萬(wàn)個(gè)訓(xùn)練樣本沒(méi)問(wèn)題，但是如果變成十萬(wàn)個(gè)訓(xùn)練樣本，你需要一百倍到一千倍的計(jì)算資源，這是災(zāi)難性的問(wèn)題，所以在大數(shù)據(jù)的時(shí)代，工業(yè)界反而要倡導(dǎo)的是desgin “an OK algorithm”Experience-Centric Software Defined Infrastructure Platform網(wǎng)絡(luò)的延遲一直是互聯(lián)網(wǎng)面臨的難題，沒(méi)有一個(gè)很好的辦法來(lái)解決。但是隨著以下三項(xiàng)互聯(lián)網(wǎng)技術(shù)的發(fā)展，使得改善用戶的互聯(lián)網(wǎng)體驗(yàn)成為了現(xiàn)實(shí)：企業(yè)可以從用戶端提取細(xì)顆粒信息軟件定義的迅速發(fā)展大數(shù)據(jù)的實(shí)時(shí)技術(shù)發(fā)展。Experien

13、ce-Centric Software Defined Infrastructure Platform（方向？）網(wǎng)絡(luò)的延遲一直是互聯(lián)網(wǎng)面臨的難題，沒(méi)有一個(gè)很好的辦法來(lái)解決。但是隨著以下三項(xiàng)互聯(lián)網(wǎng)技術(shù)的發(fā)展，使得改善用戶的互聯(lián)網(wǎng)體驗(yàn)成為了現(xiàn)實(shí)：企業(yè)可以從用戶端提取細(xì)顆粒信息軟件定義的迅速發(fā)展大數(shù)據(jù)的實(shí)時(shí)技術(shù)發(fā)展。提取細(xì)顆粒信息我們知道現(xiàn)在從網(wǎng)上看視頻，或者下載一個(gè)APP看視頻，這個(gè)過(guò)程中我們?yōu)g覽的視頻，下載的視頻都會(huì)被收集起來(lái)。服務(wù)商可以通過(guò)在軟件植入代碼來(lái)實(shí)現(xiàn)。這樣就可以獲得用戶的一些基礎(chǔ)信息。軟件定義根據(jù)用戶客戶端數(shù)據(jù)的反饋（卡斷率、失敗率等），實(shí)時(shí)分析出合適的碼流路徑，使得視頻流暢不同參數(shù)

14、質(zhì)量好壞對(duì)于一個(gè)服務(wù)器來(lái)講在不同時(shí)間是不一樣的，所以沒(méi)有一個(gè)固定路徑是最好，而且沒(méi)有一個(gè)固定的指標(biāo)是一個(gè)路徑比另外一個(gè)路徑絕對(duì)好引進(jìn)冗余實(shí)時(shí)的大數(shù)據(jù)技術(shù)和算法這個(gè)算法就是概念上是一個(gè)很簡(jiǎn)單的概念，做起來(lái)稍微復(fù)雜一點(diǎn)。概念是什么概念？如果我們把每一個(gè)網(wǎng)上的視頻都在采樣，就像我們?cè)诒本┟枯v車上都裝一個(gè)攝象頭，知道他車速是什么情況？我車越多，但是我路上沒(méi)有攝象頭，車越多我的路況了解就越多，我要知道北京所有車的速度怎么樣，我就基本上知道北京路況是怎么樣。但是卡車和出租車走的速度是不一樣，也許你騎摩托車和坐卡車的速度不一樣。細(xì)分起來(lái)找一個(gè)概念是這樣的，比如說(shuō)這個(gè)會(huì)場(chǎng)里面大家看一個(gè)直播的視頻，現(xiàn)在有一個(gè)新

15、的人來(lái)看，用哪一條新的路徑去選？算法我就不深入去講了，但是我想說(shuō)一兩個(gè)，你觀察數(shù)量越多，觀察顆粒越細(xì)，采集數(shù)量點(diǎn)越大，你最后達(dá)到預(yù)測(cè)的效果越好。Experience-Centric Software Defined Infrastructure Platform觀察數(shù)據(jù)越多，粒度越細(xì)，效果越好（車輛越多，觀察的東西越多，越能知道路況）實(shí)時(shí)才能控制，不實(shí)時(shí)只能分析（Spark做實(shí)時(shí)處理）大數(shù)據(jù)技術(shù)核心大數(shù)據(jù)系統(tǒng)面臨的嚴(yán)重挑戰(zhàn)大數(shù)據(jù)系統(tǒng)核心技術(shù)簡(jiǎn)介 數(shù)據(jù)流與大數(shù)據(jù)引擎的創(chuàng)新（從系統(tǒng)軟件的角度講，理解不了）大數(shù)據(jù)系統(tǒng)引擎面臨挑戰(zhàn)大數(shù)據(jù)系統(tǒng)核心技術(shù)簡(jiǎn)介數(shù)據(jù)流與大數(shù)據(jù)引擎的創(chuàng)新以堵為主？還是以疏為主？數(shù)

16、據(jù)流關(guān)鍵技術(shù)之一數(shù)據(jù)流關(guān)鍵技術(shù)之二流水線并行Watson大數(shù)據(jù)與分析平臺(tái)Watson得名于IBM創(chuàng)始人Thomas J. Watson，在2011年IBM 100周年之際，Watson參加了Jeopardy危險(xiǎn)邊緣電視游戲節(jié)目，在經(jīng)歷了三輪的比賽后，最終贏得了冠軍。Watson并不是一臺(tái)機(jī)器，是一個(gè)集群，一共有2880個(gè)節(jié)點(diǎn)。設(shè)計(jì)目標(biāo)是能解答人類語(yǔ)言自然表達(dá)的提問(wèn)，懂得分析大量非結(jié)構(gòu)性數(shù)據(jù)，擁有自我學(xué)習(xí)能力, 并能實(shí)時(shí)回應(yīng)的計(jì)算機(jī)。目前在醫(yī)療、金融、跨行業(yè)應(yīng)用和云端服務(wù)中都有所應(yīng)用BM Watson 大數(shù)據(jù)與分析技術(shù): DeepQABM Watson 大數(shù)據(jù)與分析技術(shù): DeepQA分析提問(wèn)：

17、UIMA， 分析大量結(jié)構(gòu)化數(shù)據(jù)，雙關(guān)語(yǔ)、隱含信息等從大量結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)中獲取信息結(jié)果評(píng)分，給出答案BM Watson 大數(shù)據(jù)與分析技術(shù): DeepQABM Watson 大數(shù)據(jù)與分析技術(shù): DeepQABM Watson 大數(shù)據(jù)與分析技術(shù): DeepQASpark是Hadoop生態(tài)中新的處理引擎和分析引擎在戴金權(quán)看來(lái)，Hadoop將MapReduce分布式計(jì)算和大數(shù)據(jù)技術(shù)帶入主流應(yīng)用。但隨著大數(shù)據(jù)需求和使用模式的推廣，Hadoop已經(jīng)暴露諸多局限性。特別是越來(lái)越多的數(shù)據(jù)應(yīng)用，如需要對(duì)數(shù)據(jù)進(jìn)行準(zhǔn)實(shí)時(shí)的深度挖掘和分析時(shí)，業(yè)內(nèi)需要超越MapReduce的全新大數(shù)據(jù)分析模式。也正是看準(zhǔn)了Spar

18、k的發(fā)展趨勢(shì)，英特爾早在2-3年前就已經(jīng)和UC Berkeley一起緊密合作，圍繞Apache Spark做出大量貢獻(xiàn)。Next-Gen Big Data Analytics using the Spark stack相比MapReduce，Spark在這些需求中極有優(yōu)勢(shì)：對(duì)不同來(lái)源、不間斷輸入數(shù)據(jù)進(jìn)行準(zhǔn)實(shí)時(shí)的流式處理；對(duì)海量數(shù)據(jù)，使用大規(guī)模、復(fù)雜的機(jī)器學(xué)習(xí)和圖計(jì)算，進(jìn)行深度挖掘和分析；使用分布式高速內(nèi)存數(shù)據(jù)緩存，以支持交互式、迭代計(jì)算和數(shù)據(jù)分析。Next-Gen Big Data Analytics using the Spark stackSQL Processing on Spark: Hive on SparkSpark as a new execution engine for HiveSmooth migration for existing Hive usersCombine the strength of Hive and Spark Support full Hive feature set Utilize Spark as the powerful ex