淺談大數(shù)據(jù)生態(tài)圈

淺談大數(shù)據(jù)生態(tài)體系Talkingaboutbigdataecosystem何為大數(shù)據(jù)大數(shù)據(jù)是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)的特點：一是數(shù)據(jù)體量巨大。至少是PB級別以上量級的數(shù)據(jù)二是數(shù)據(jù)類型多樣?，F(xiàn)在的數(shù)據(jù)類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數(shù)據(jù)，個性化數(shù)據(jù)占絕對多數(shù)。三是處理速度快。數(shù)據(jù)處理遵循“1秒定律”，可從各種類型的數(shù)據(jù)中快速獲得高價值的信息。四是價值密度低。以視頻為例，一小時的視頻，在不間斷的監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。大數(shù)據(jù)，首先你要能存的下大數(shù)據(jù)傳統(tǒng)的文件系統(tǒng)是單機的，不能橫跨不同的機器。HDFS（HadoopDistributedFileSystem）的設(shè)計本質(zhì)上是為了大量的數(shù)據(jù)能橫跨成百上千臺機器，但是你看到的是一個文件系統(tǒng)而不是很多文件系統(tǒng)。比如你說我要獲取/hdfs/tmp/file1的數(shù)據(jù)，你引用的是一個文件路徑，但是實際的數(shù)據(jù)存放在很多不同的機器上。你作為用戶，不需要知道這些，就好比在單機上你不關(guān)心文件分散在什么磁道什么扇區(qū)一樣。HDFS為你管理這些數(shù)據(jù)。那什么是HDFS（HadoopDistributedFileSystem）？一個分布式存儲系統(tǒng)GoogleGFS的開源實現(xiàn)數(shù)據(jù)存儲采用master/slave架構(gòu)模式，主要由Client、NameNode、SecondaryNameNode和DataNode組成HDFS：體系結(jié)構(gòu)示意圖NameNode管理文件系統(tǒng)的命名空間和客戶端對文件的訪問操作。DataNode負責處理文件系統(tǒng)客戶端的文件讀寫請求，并在NameNode的統(tǒng)一調(diào)度下進行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制工作。ClientNameNodeDataNodeblockblockblockblockblock.......DataNodeblockblockblockblockblock..............DataNodeblockblockblockblockblock.......數(shù)據(jù)請求讀寫文件相關(guān)操作處理數(shù)據(jù)存的下數(shù)據(jù)之后，你就開始考慮怎么處理數(shù)據(jù)雖然HDFS可以為你整體管理不同機器上的數(shù)據(jù)，但是這些數(shù)據(jù)太大了。一臺機器讀取成TB或者PB量級的數(shù)據(jù)，一臺機器慢慢跑也許需要好幾天甚至好幾周。對于很多公司來說，單機處理是不可忍受的，比如微博要更新24小時熱博，它必須在24小時之內(nèi)跑完這些處理。那么我如果要用很多臺機器處理，我就面臨了如何分配工作，如果一臺機器掛了如何重新啟動相應(yīng)的任務(wù)，機器之間如何互相通信交換數(shù)據(jù)以完成復(fù)雜的計算等等。為了解決以上可能出現(xiàn)的問題，人們正式提出了MapReduce/Tez/Spark等等框架。MapReduce是第一代計算編程模型，Tez和Spark是第二代。MapReduce的設(shè)計，采用了極簡化的計算模型，只有Map和Reduce兩個計算過程，通過這個模型，已經(jīng)可以處理大數(shù)據(jù)領(lǐng)域很大一部分問題了。Hadoop概述Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺。以Hadoop分布式文件系統(tǒng)（HDFS，HadoopDistributedFileSystem）和MapReduce（GoogleMapReduce的開源實現(xiàn)）為核心的Hadoop，為用戶提供了系統(tǒng)底層細節(jié)透明的分布式基礎(chǔ)架構(gòu)。HDFS的高容錯性、高伸縮性等優(yōu)點允許用戶將Hadoop部署在低廉的硬件上，形成分布式系統(tǒng)；MapReduce分布式編程模型允許用戶在不了解分布式系統(tǒng)底層細節(jié)的情況下開發(fā)并行應(yīng)用程序。所以，用戶可以利用Hadoop輕松地組織計算機資源，從而搭建自己的分布式計算平臺，并且可以充分利用集群的計算和存儲能力，完成海量數(shù)據(jù)的處理什么是MapReduce？找出一倉庫黃豆中最大的n個黃豆如何解決？一倉庫黃豆一桶黃豆一桶黃豆一桶黃豆一桶黃豆……篩子篩子篩子篩子黃豆黃豆黃豆黃豆一桶黃豆篩子黃豆找N個人一起篩黃豆，最后把每個人篩出的K個黃豆放在一起（總共N*K個黃豆），再交由一個人篩出N*K個黃豆里最大的K個（分布式計算）MAPReduceMapReduce模型概述一個MapReduce作業(yè)（job）通常會把輸入的數(shù)據(jù)集切分為若干獨立的數(shù)據(jù)塊，由map任務(wù)（task）以完全并行的方式處理它們?？蚣軙ap的輸出先進行排序，然后把結(jié)果輸入給reduce任務(wù)。通常作業(yè)的輸入和輸出都會被存儲在文件系統(tǒng)中。整個框架負責任務(wù)的調(diào)度和監(jiān)控，以及重新執(zhí)行已經(jīng)失敗的任務(wù)。Map-Reduce流程MapReduce模型首先將用戶的原始數(shù)據(jù)源進行分塊，然后分別交給不同的Map任務(wù)區(qū)處理。Map任務(wù)從輸入中解析出Key/Value對集合，然后對這些集合執(zhí)行用戶自行定義的Map函數(shù)得到中間結(jié)果，并將該結(jié)果寫入本地硬盤。Reduce任務(wù)從硬盤上讀取數(shù)據(jù)之后，會根據(jù)key值進行排序，將具有相同key值的組織在一起。最后用戶自定義的Reduce函數(shù)會作用于這些排好序的結(jié)果并輸出最終結(jié)果。MapReduce的缺點Hadoop的一個最主要缺陷：MapReduce計算模型延遲過高，無法勝任實時、快速計算的需求，因而只適用于離線批處理的應(yīng)用場景。1、表達能力有限：計算都必須要轉(zhuǎn)化為Map和Reduce兩個操作，但這并不是適合所有的情況，難以描述復(fù)雜的數(shù)據(jù)處理過程；2、磁盤IO開銷大：每次執(zhí)行時都需要從磁盤讀取數(shù)據(jù)，并且在計算完成后需要將中間結(jié)果寫入磁盤，IO開銷較大；3、延遲高：一次計算可能需要分解成一系列按順序執(zhí)行的MapReduce任務(wù)，任務(wù)之間的銜接由于涉及到IO開銷，會產(chǎn)生較高的延遲。而且在前一任務(wù)執(zhí)行完成之前，其他任務(wù)無法開始，因此難以勝任復(fù)雜、多階段的計算任務(wù)。第二代計算框架—Spark盡管MapReduce極大的簡化了大數(shù)據(jù)分析，但是隨著大數(shù)據(jù)需求和使用模式的擴大，用戶的需求也越來越多，MapReduce顯得力不從心1.更復(fù)雜的多重處理需求（比如迭代計算,機器學習（ML），圖算法Graph）；2.低延遲的交互式查詢需求而MapReduce計算模型的架構(gòu)導致上述兩類應(yīng)用先天緩慢，用戶迫切需要一種更快的計算模型，來補充MapReduce的先天不足。于是，Spark就出現(xiàn)了Spark架構(gòu)Spark的優(yōu)點（1）運行速度快：Spark使用先進的DAG執(zhí)行引擎，以支持循環(huán)數(shù)據(jù)流和內(nèi)存計算，基于內(nèi)存的執(zhí)行速度可比HadoopMapReduce快上百倍，基于磁盤的執(zhí)行速度也能快十倍；（2）易使用：Spark支持使用Scala、Java、Python和R語言進行編程，簡潔的API設(shè)計有助于用戶輕松構(gòu)建并行程序。（3）通用性：Spark提供了完整而強大的技術(shù)棧，包括SQL查詢（SparkSQL）、流式計算（SparkStreaming）、機器學習（MLlib）和圖算法（GraphX）組件；（4）運行模式多樣：Spark可以運行于獨立的集群模式中，或運行于Hadoop中，也可以運行于AmazonEC2等云環(huán)境中，并且可以訪問HDFS、HBase、Hive等多種數(shù)據(jù)源；HBase數(shù)據(jù)庫HBase的特點？大：一個表可以有上億行，上百萬列；面向列：面向列(族)的存儲和權(quán)限控制，列(族)獨立檢索；稀疏：對于為空(null)的列，并不占用存儲空間，因此，表可以設(shè)計得非常稀疏。HBase的是啥？HBase建立在HDFS之上，提供高可靠性、高性能、列存儲、可伸縮、實時讀寫的數(shù)據(jù)庫系統(tǒng)。它介于NoSQL和RDBMS之間，僅能通過行鍵(rowkey)和行鍵序列來檢索數(shù)據(jù)，僅支持單行事務(wù)(可通過Hive支持來實現(xiàn)多表聯(lián)合等復(fù)雜操作)。主要用來存儲非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)。與Hadoop一樣，HBase目標主要依靠橫向擴展，通過不斷增加廉價的商用服務(wù)器，來增加計算和存儲能力。Hbase的架構(gòu)Hive介紹Hive是一個數(shù)據(jù)倉庫基礎(chǔ)工具在Hadoop中用來處理結(jié)構(gòu)化數(shù)據(jù)。它架構(gòu)在Hadoop之上，總歸為大數(shù)據(jù)，并使得查詢和分析方便。并提供簡單的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進行運行。Hive和Hbase區(qū)別Hive：Hive是Hadoop數(shù)據(jù)倉庫，嚴格來說，不是數(shù)據(jù)庫，主要是讓開發(fā)人員能夠通過SQL來計算和處理HDFS上的結(jié)構(gòu)化數(shù)據(jù)，適用于離線的批量數(shù)據(jù)計算。通過Hive可以使用HQL語言查詢存放在HDFS上的數(shù)據(jù)。HQL是一種類SQL語言，這種語言最終被轉(zhuǎn)化為Map/Reduce。應(yīng)用場景：Hive適合用來對一段時間內(nèi)的數(shù)據(jù)進行分析查詢，例如，用來計算趨勢或者網(wǎng)站的日志。Hive不應(yīng)該用來進行實時的查詢。因為它需要很長時間才可以返回結(jié)果。Hbase非常適合用來進行大數(shù)據(jù)的實時查詢。Facebook用Hbase進行消息和實時的分析。它也可以用來統(tǒng)計Facebook的連接數(shù)。Hive是一個數(shù)據(jù)倉庫，那么Hive和傳統(tǒng)意義上的數(shù)據(jù)庫有什么不一樣的呢？1.hive和關(guān)系數(shù)據(jù)庫存儲文件的系統(tǒng)不同，hive使用的是hadoop的HDFS（hadoop的分布式文件系統(tǒng)），關(guān)系數(shù)據(jù)庫則是服務(wù)器本地的文件系統(tǒng).2.hive使用的計算模型是mapreduce，而關(guān)系數(shù)據(jù)庫則是自己設(shè)計的計算模型.3.關(guān)系數(shù)據(jù)庫都是為實時查詢的業(yè)務(wù)進行設(shè)計的，而hive則是基于hadoop的，是為海量數(shù)據(jù)做數(shù)據(jù)挖掘設(shè)計的，實時性很差；實時性的區(qū)別導致hive的應(yīng)用場景和關(guān)系數(shù)據(jù)庫有很大的不同。4.Hive很容易擴展自己的存儲能力和計算能力，這個是繼承hadoop的，而關(guān)系數(shù)據(jù)庫在這個方面要比數(shù)據(jù)庫差很多。1.低延遲和高性能2.可擴展3.高可靠性4.高容錯性5.編程模型簡單6.支持多種編程語言7.支持本地模式