多圖技術(shù)貼：深入淺出解析大數(shù)據(jù)平臺(tái)架構(gòu)

目錄：什么是大數(shù)據(jù)Hadoop介紹-HDFS、MR、Hbase大數(shù)據(jù)平臺(tái)應(yīng)用舉例-騰訊公司的大數(shù)據(jù)平臺(tái)架構(gòu)“就像望遠(yuǎn)鏡讓我們能夠感受宇宙，顯微鏡讓我們能夠觀測(cè)微生物一樣，大數(shù)據(jù)正在改變我們的生活以及理解世界的方式……”。大數(shù)據(jù)的4V特征-來(lái)源公司的“大數(shù)據(jù)”隨著公司業(yè)務(wù)的增長(zhǎng)，大量和流程、規(guī)則相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)也爆發(fā)式增長(zhǎng)。比如：1、業(yè)務(wù)系統(tǒng)現(xiàn)在平均每天存儲(chǔ)20萬(wàn)張圖片，磁盤空間每天消耗100G；2、平均每天產(chǎn)生簽約視頻文件6000個(gè)，每個(gè)平均250M，磁盤空間每天消耗1T;……三國(guó)里的“大數(shù)據(jù)”“草船借箭”和大數(shù)據(jù)有什么關(guān)系呢？對(duì)天象的觀察是基于一種對(duì)風(fēng)、云、溫度、濕度、光照和所處節(jié)氣的綜合分析這些數(shù)據(jù)來(lái)源于多元化的“非結(jié)構(gòu)”類型，并且數(shù)據(jù)量較大，只不過(guò)這些數(shù)據(jù)輸入到的不是電腦，而是人腦并最終通過(guò)計(jì)算分析得出結(jié)論。Google分布式計(jì)算的三駕馬車GoogleFileSystem用來(lái)解決數(shù)據(jù)存儲(chǔ)的問(wèn)題，采用N多臺(tái)廉價(jià)的電腦，使用冗余（也就是一份文件保存多份在不同的電腦之上）的方式，來(lái)取得讀寫速度與數(shù)據(jù)安全并存的結(jié)果。Map-Reduce說(shuō)穿了就是函數(shù)式編程，把所有的操作都分成兩類，map與reduce，map用來(lái)將數(shù)據(jù)分成多份，分開(kāi)處理，reduce將處理后的結(jié)果進(jìn)行歸并，得到最終的結(jié)果。BigTable是在分布式系統(tǒng)上存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)的一個(gè)解決方案，解決了巨大的Table的管理、負(fù)載均衡的問(wèn)題。Hadoop體系架構(gòu)Hbase——分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)

Client：使用HBaseRPC機(jī)制與HMaster和HRegionServer進(jìn)行通信Zookeeper：協(xié)同服務(wù)管理，HMaster通過(guò)Zookeepe可以隨時(shí)感知各個(gè)HRegionServer的健康狀況HMaster:

管理用戶對(duì)表的增刪改查操作HRegionServer：HBase中最核心的模塊，主要負(fù)責(zé)響應(yīng)用戶I/O請(qǐng)求，向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)HRegion:Hbase中分布式存儲(chǔ)的最小單元，可以理解成一個(gè)TableHStore：HBase存儲(chǔ)的核心。由MemStore和StoreFile組成。HLog：每次用戶操作寫入Memstore的同時(shí)，也會(huì)寫一份數(shù)據(jù)到HLog文件還有哪些NoSQL產(chǎn)品？

為什么要使用NoSQL？一個(gè)高并發(fā)網(wǎng)站的DB進(jìn)化史關(guān)系模型>聚合數(shù)據(jù)模型的轉(zhuǎn)換-基本變換

關(guān)系模型>聚合數(shù)據(jù)模型的轉(zhuǎn)換-內(nèi)嵌變換

關(guān)系模型>聚合數(shù)據(jù)模型的轉(zhuǎn)換-分割變換

關(guān)系模型>聚合數(shù)據(jù)模型的轉(zhuǎn)換-內(nèi)聯(lián)變換

Hadoop2.0MapReduce：

JobTracker：協(xié)調(diào)作業(yè)的運(yùn)行。

TaskTracker：運(yùn)行作業(yè)劃分后的任務(wù)。大數(shù)據(jù)的技術(shù)領(lǐng)域騰訊大數(shù)據(jù)現(xiàn)狀（資料來(lái)自2014.4.11騰訊分享日大會(huì)）

騰訊大數(shù)據(jù)平臺(tái)產(chǎn)品架構(gòu)騰訊大數(shù)據(jù)平臺(tái)與業(yè)務(wù)平臺(tái)的關(guān)系公司數(shù)據(jù)處理平臺(tái)的基礎(chǔ)架構(gòu)公司