淺談大數(shù)據(jù)開源平臺的演變過去與現(xiàn)在

大數(shù)據(jù)計(jì)算平臺主講教師：賀寧《大數(shù)據(jù)導(dǎo)論》課程Introductiontobigdata淺談大數(shù)據(jù)開源平臺的演變開源大數(shù)據(jù)的過去現(xiàn)在大數(shù)據(jù)處理模型01021開源大數(shù)據(jù)的過去2003年，谷歌發(fā)布了一篇GoogleGFS論文，論文介紹了如何將GFS系統(tǒng)用于大型的、分布式的、對大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用。2004年，谷歌公布了另外一篇關(guān)于MapReduce的介紹,這是一種用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算編程模型，即MapReduce編程模型。HadoopHadoop的歷史2005年初，雅虎啟動(dòng)了Nutch項(xiàng)目，同時(shí)，Nutch項(xiàng)目的開發(fā)者在Nutch上有了一個(gè)可工作的MapReduce應(yīng)用，到當(dāng)年年中，所有主要的Nutch算法被移植到使用MapReduce和HDFS來運(yùn)行。在2006年2月，他們從Nutch轉(zhuǎn)移出來成為一個(gè)獨(dú)立的Lucene子項(xiàng)目，稱為Hadoop。大約在同一時(shí)間，DougCutting加入雅虎。Yahoo提供一個(gè)專門的團(tuán)隊(duì)和資源將Hadoop發(fā)展成一個(gè)可在網(wǎng)絡(luò)上運(yùn)行的系統(tǒng)。2008年1月，Hadoop已成為Apache頂級項(xiàng)目，證明它是成功的，是一個(gè)多樣化、活躍的社區(qū)。通過這次機(jī)會(huì)，Hadoop成功地被雅虎之外的很多公司應(yīng)用。HadoopHadoop的歷史早期的應(yīng)用都是直接現(xiàn)將數(shù)據(jù)存儲到數(shù)據(jù)庫中，應(yīng)用/用戶

直接/間接

從數(shù)據(jù)庫中獲取所需數(shù)據(jù)。

早期的開源堆棧

數(shù)據(jù)

Data

數(shù)據(jù)庫

Database

應(yīng)用/用戶

ApplicationsUsers隨著數(shù)據(jù)量的增大，人們開始關(guān)注

Hadoop

進(jìn)一步替代他們使用的傳統(tǒng)方法。Hadoop有兩個(gè)重要的組成部分，一個(gè)是存儲引擎，這都是以谷歌

HDFS作為依據(jù)，一個(gè)是數(shù)據(jù)處理模型

MapReduce。Hadoop

是一套很靈活的解決方案，它也是最常用的一種數(shù)據(jù)處理方式。但是它在某些方面表現(xiàn)的比較乏力。Hadoop開源大數(shù)據(jù)框架的發(fā)展

數(shù)據(jù)

Data

應(yīng)用/用戶

ApplicationsUsersHDFSMapReduce快速查詢事件傳遞流處理內(nèi)存計(jì)算01030204快速查詢流處理流式事件的傳遞內(nèi)存計(jì)算開源大數(shù)據(jù)框架的不足2當(dāng)今大數(shù)據(jù)處理模型的形態(tài)傳輸數(shù)據(jù)加工數(shù)據(jù)存儲數(shù)據(jù)問詢或分析數(shù)據(jù)現(xiàn)今的開源堆棧謝謝觀看數(shù)大義之方，論萬物之據(jù)。受益終身!傳輸數(shù)據(jù)第一類技術(shù)是數(shù)據(jù)傳輸系統(tǒng)，數(shù)據(jù)傳輸系統(tǒng)主要負(fù)責(zé)把事件從一個(gè)位置進(jìn)一步運(yùn)輸?shù)搅硗庖粋€(gè)位置，數(shù)據(jù)傳輸系統(tǒng)會(huì)專注于短期儲存，這些系統(tǒng)通常會(huì)和數(shù)據(jù)流來打交道。這些系統(tǒng)可以分為不同的類別，每個(gè)系統(tǒng)都有不同的框架和不同的關(guān)鍵點(diǎn)傳輸數(shù)據(jù)。現(xiàn)在Kafka逐步變成了這個(gè)領(lǐng)域的標(biāo)準(zhǔn)。Kafka

數(shù)據(jù)產(chǎn)生者

數(shù)據(jù)傳輸數(shù)據(jù)使用者分布式數(shù)據(jù)存儲系統(tǒng)數(shù)據(jù)提供系統(tǒng)通常把數(shù)據(jù)提供到其它地方進(jìn)行進(jìn)一步的處理，首先可以把數(shù)據(jù)提供到存儲的機(jī)制當(dāng)中，存儲機(jī)制只是數(shù)據(jù)庫，會(huì)存儲數(shù)據(jù)，也可以從這里調(diào)用數(shù)據(jù)。然而現(xiàn)在更普遍的情況是一種專門的儲存數(shù)據(jù)庫，可以看到很多的專門的存儲數(shù)據(jù)的系統(tǒng)。現(xiàn)在最普遍的存儲方式是分布式數(shù)據(jù)存儲系統(tǒng)，也就是說把這些數(shù)據(jù)無限制地放到

HDFS系統(tǒng)當(dāng)中，隨時(shí)進(jìn)行提取數(shù)據(jù)。

數(shù)據(jù)

數(shù)據(jù)傳輸數(shù)據(jù)存儲數(shù)據(jù)處理數(shù)據(jù)處理過程是把數(shù)據(jù)進(jìn)行變形，輸出的數(shù)據(jù)和輸入的數(shù)據(jù)量是一樣大的，查詢系統(tǒng)的輸出數(shù)據(jù)比輸入數(shù)據(jù)比較小一些，這在很多的系統(tǒng)里都是這樣的。在大數(shù)據(jù)系統(tǒng)方面可以看到某些系統(tǒng)會(huì)不斷增強(qiáng)處理的性能。流處理流處理是一種重要的大數(shù)據(jù)處理手段，其主要特點(diǎn)是其處理的數(shù)據(jù)是源源不斷且實(shí)時(shí)到來的。分布式流處理是一種面向動(dòng)態(tài)數(shù)據(jù)的細(xì)粒度處理模式，基于分布式內(nèi)存，對不斷產(chǎn)生的動(dòng)態(tài)數(shù)據(jù)進(jìn)行處理。其對數(shù)據(jù)處理的快速，高效，低延遲等特性，在大數(shù)據(jù)處理中發(fā)揮越來越重要的作用。分布式隊(duì)列消息流式處理系統(tǒng)流處理結(jié)果批處理

數(shù)據(jù)

數(shù)據(jù)傳輸數(shù)據(jù)存儲

批處理

批處理方式在流處理方面當(dāng)中不是一種真正的流處理的方式，它只是以批的方式來收集數(shù)據(jù)，然后把它放到一種特定的構(gòu)架下面，然后來進(jìn)行批處理。問詢

數(shù)據(jù)

Data

應(yīng)用/用戶

ApplicationsUsers傳輸數(shù)據(jù)加工數(shù)據(jù)問詢/分析

數(shù)據(jù)

Data

應(yīng)用/用戶

ApplicationsUsers傳輸數(shù)據(jù)加工數(shù)據(jù)問詢/分析存儲數(shù)據(jù)SQLonHadoop數(shù)據(jù)的操作語言是SQL，因此很多工具的開發(fā)目標(biāo)自然就是能夠在Hadoop上使用SQL。這些工具有些只是在MapReduce之上做了簡單的包裝，有些則是在HDFS之上實(shí)現(xiàn)了完整的數(shù)據(jù)倉庫，而有些則介于這兩者之間。SQL-on-Hadoop

工作的原理就是從某些地方提取數(shù)據(jù)，提取數(shù)據(jù)可能是分布式處理，把數(shù)據(jù)放到自己引擎當(dāng)中，這樣就可以控制數(shù)據(jù)，改變數(shù)據(jù)，并且創(chuàng)造數(shù)據(jù)。所以SQL是非常靈活的一種過程，這是它的主要的特點(diǎn)。例如Hive是原始的SQL-on-Hadoop解決方案。它是一個(gè)開源的Java項(xiàng)目，能夠?qū)QL轉(zhuǎn)換成一系列可以在標(biāo)準(zhǔn)的HadoopTaskTrackers上運(yùn)行的MapReduce任務(wù)。Hive通過一個(gè)metastore（本身就是一個(gè)數(shù)據(jù)庫）存儲表模式、分區(qū)和位置以期提供像MySQL一樣的功能。它支持大部分MySQL語法，同時(shí)使用相似的database/table/view約定組織數(shù)據(jù)集。鍵值對存儲鍵值數(shù)據(jù)庫是一種非關(guān)系數(shù)據(jù)庫，它使用簡單的鍵值方法來存儲數(shù)據(jù)。鍵值數(shù)據(jù)庫將數(shù)據(jù)存儲為鍵值對集合，其中鍵作為唯一標(biāo)識符。鍵和值都可以是從簡單對象到復(fù)雜復(fù)合對象的任何內(nèi)容。鍵值數(shù)據(jù)庫是高度可分區(qū)的，并且允許以其他類型的數(shù)據(jù)庫無法實(shí)現(xiàn)的規(guī)模進(jìn)行水平擴(kuò)展。例如，如果現(xiàn)有分區(qū)填滿了容量，并且需要更多的存儲空間，AmazonDynamoDB就會(huì)將額外的分區(qū)分配給表。產(chǎn)品客戶供應(yīng)商倉庫地點(diǎn)XXXXXXXXXXXXXXXXXXXXXXXX鍵值鍵值數(shù)據(jù)庫列存儲隨著企業(yè)數(shù)據(jù)量急速增長，為了滿足業(yè)務(wù)需求，大數(shù)據(jù)統(tǒng)計(jì)早已成為迫切的需求。在引擎排行榜上MySQL已經(jīng)長期處于第二，但大數(shù)據(jù)統(tǒng)計(jì)并沒有明顯突破。MySQL解決方案包括Infobright、Greenplum、Spark*等，與之更為密切的是Infobright，但是多表連接場景下，性能會(huì)大幅下降（且特殊功能需要付費(fèi)）。而列存儲的出現(xiàn)則彌補(bǔ)了此處的空缺，是MariaDB在OLAP領(lǐng)域解決方案的突破。列存儲是InfiniDB與MariaDB10.1的結(jié)合體，目前已經(jīng)GA，擁有計(jì)算能力及存儲線性擴(kuò)展、高壓縮比、MySQL協(xié)議兼容、自動(dòng)水平和垂直分區(qū)、擴(kuò)展窗口函數(shù)等特點(diǎn)。謝謝觀看數(shù)大義之方，論