大數(shù)據(jù)應(yīng)用技術(shù)介紹

大數(shù)據(jù)應(yīng)用技術(shù)介紹2014年2月當(dāng)前1頁(yè)，總共37頁(yè)。Hadoop生態(tài)系統(tǒng)當(dāng)前2頁(yè)，總共37頁(yè)。Hadoop生態(tài)系統(tǒng)SubProject描述common分布式文件系統(tǒng)和通用I/O的組件與接口（序列化，JavaRPC和持久化數(shù)據(jù)結(jié)構(gòu)）Avro支持高效的跨語(yǔ)言RPC和持久數(shù)據(jù)存儲(chǔ)的序列化系統(tǒng)MapReduce分布式數(shù)據(jù)處理模型和執(zhí)行環(huán)境，運(yùn)行在大型商用機(jī)集群HDFS分布式文件系統(tǒng)，用于大型商用機(jī)集群PIGPig是SQL-like語(yǔ)言，是在MapReduce上構(gòu)建的一種高級(jí)查詢語(yǔ)言，把一些運(yùn)算編譯進(jìn)MapReduce模型的Map和Reduce中，并且用戶可以定義自己的功能。Hive分布式、按列存儲(chǔ)的數(shù)據(jù)倉(cāng)庫(kù)。Hive管理HDFS中存儲(chǔ)的數(shù)據(jù)，并提供基于SQL的查詢語(yǔ)言（由運(yùn)行時(shí)引擎翻譯成MapReduce作業(yè)）Hbase分布式、按列存儲(chǔ)的數(shù)據(jù)庫(kù)。HBase使用HDFS作為底層存儲(chǔ)，同時(shí)支持MapReduce的批量式計(jì)算和點(diǎn)查詢（隨機(jī)讀?。㈱ooKeeper分布式、可用性高的協(xié)調(diào)服務(wù)。提供類似分布式鎖的基礎(chǔ)服務(wù)。Sqoop在數(shù)據(jù)庫(kù)和HDFS之間高效傳輸數(shù)據(jù)的工具Flume分布式、可靠、和高可用的海量日志聚合的系統(tǒng)。ChukwaChukwa是基于Hadoop的大集群監(jiān)控系統(tǒng)，由yahoo貢獻(xiàn)。當(dāng)前3頁(yè)，總共37頁(yè)。Hadoop介紹HDFSMapReduce當(dāng)前4頁(yè)，總共37頁(yè)。HDFS特點(diǎn)存儲(chǔ)大文件百兆以上級(jí)別文件百萬(wàn)級(jí)文件由于億級(jí)別文件流式處理數(shù)據(jù)一次寫多次多模式支持追加操作廉價(jià)的硬件環(huán)境普通pcserver組成集群環(huán)境當(dāng)前5頁(yè)，總共37頁(yè)。HDFS缺點(diǎn)低延時(shí)讀操作高吞吐量而非低延時(shí)Hbase解決了這個(gè)問(wèn)題大量小數(shù)據(jù)文件最好每個(gè)文件大于100M多次寫只支持一次寫只支持在文件尾部添加，不支持隨機(jī)寫當(dāng)前6頁(yè)，總共37頁(yè)。HDFS部署結(jié)構(gòu)當(dāng)前7頁(yè)，總共37頁(yè)。HDFS讀寫過(guò)程當(dāng)前8頁(yè)，總共37頁(yè)。MapReduce部署結(jié)構(gòu)JobTracker管理集群資源和Job調(diào)度TaskTracker管理Task運(yùn)行當(dāng)前9頁(yè)，總共37頁(yè)。MapReduce計(jì)算模型Inputk1,v1Mapk2,v2Reducek3,v3Output當(dāng)前10頁(yè)，總共37頁(yè)。MapReduce擴(kuò)展接口InputFormatMapperPartitionerReducerOutputFormat當(dāng)前11頁(yè)，總共37頁(yè)。Map當(dāng)前12頁(yè)，總共37頁(yè)。Reduce當(dāng)前13頁(yè)，總共37頁(yè)。MapReduce實(shí)例當(dāng)前14頁(yè)，總共37頁(yè)。MapReduce內(nèi)部結(jié)構(gòu)當(dāng)前15頁(yè)，總共37頁(yè)。Hadoop2.0引入一個(gè)新的資源管理系統(tǒng)YARNHDFS單點(diǎn)故障得以解決HDFSFederationHDFS快照通過(guò)NFS訪問(wèn)HDFS支持Window系統(tǒng)當(dāng)前16頁(yè)，總共37頁(yè)。Hadoop1VSHadoop2當(dāng)前17頁(yè)，總共37頁(yè)。集群資源管理Hadoop介紹當(dāng)前18頁(yè)，總共37頁(yè)。Yarn運(yùn)行原理圖當(dāng)前19頁(yè)，總共37頁(yè)。Hbase介紹1高可靠性2高效性3面向列4可伸縮5可在廉價(jià)PCServer搭建大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群當(dāng)前20頁(yè)，總共37頁(yè)。Hbase體系結(jié)構(gòu)當(dāng)前21頁(yè)，總共37頁(yè)。HBase系統(tǒng)架構(gòu)圖當(dāng)前22頁(yè)，總共37頁(yè)。HBase部件說(shuō)明Client：

使用HBaseRPC機(jī)制與HMaster和HRegionServer進(jìn)行通信

Client與HMaster進(jìn)行通信進(jìn)行管理類操作

Client與HRegionServer進(jìn)行數(shù)據(jù)讀寫類操作

Zookeeper：

ZookeeperQuorum存儲(chǔ)-ROOT-表地址、HMaster地址

HRegionServer把自己以Ephedral方式注冊(cè)到Zookeeper中，HMaster隨時(shí)感知各個(gè)HRegionServer的健康狀況

Zookeeper避免HMaster單點(diǎn)問(wèn)題

HMaster：

HMaster沒(méi)有單點(diǎn)問(wèn)題，HBase中可以啟動(dòng)多個(gè)HMaster，通過(guò)Zookeeper的MasterElection機(jī)制保證總有一個(gè)Master在運(yùn)行

主要負(fù)責(zé)Table和Region的管理工作：

1管理用戶對(duì)表的增刪改查操作

2管理HRegionServer的負(fù)載均衡，調(diào)整Region分布

3RegionSplit后，負(fù)責(zé)新Region的分布

4在HRegionServer停機(jī)后，負(fù)責(zé)失效HRegionServer上Region遷移

當(dāng)前23頁(yè)，總共37頁(yè)。Table&RegionTable隨著記錄增多不斷變大，會(huì)自動(dòng)分裂成多份Splits，成為Regions一個(gè)region由[startkey，endkey)表示不同region會(huì)被Master分配給相應(yīng)的RegionServer進(jìn)行管理當(dāng)前24頁(yè)，總共37頁(yè)。HregionServer當(dāng)前25頁(yè)，總共37頁(yè)。-ROOT-&.META..META.記錄用戶表的Region信息，同時(shí)，.META.也可以有多region-ROOT-記錄.META.表的Region信息，但是，-ROOT-只有一個(gè)regionZookeeper中記錄了-ROOT-表的location客戶端訪問(wèn)數(shù)據(jù)的流程：

Client->Zookeeper->-ROOT-->.META.->用戶數(shù)據(jù)表多次網(wǎng)絡(luò)操作，不過(guò)client端有cache緩存當(dāng)前26頁(yè)，總共37頁(yè)。HBase數(shù)據(jù)模型RowKey：Table主鍵，Table中記錄按照RowKey排序

Timestamp：

每次對(duì)數(shù)據(jù)操作對(duì)應(yīng)的時(shí)間戳，也即數(shù)據(jù)的versionnumber

ColumnFamily：列簇，一個(gè)table在水平方向有一個(gè)或者多個(gè)列簇，列簇可由任

意多個(gè)Column組成，列簇支持動(dòng)態(tài)擴(kuò)展，無(wú)須預(yù)定義數(shù)量及

類型，二進(jìn)制存儲(chǔ)，用戶需自行進(jìn)行類型轉(zhuǎn)換當(dāng)前27頁(yè)，總共37頁(yè)。HbaseShell當(dāng)前28頁(yè)，總共37頁(yè)。Hbaseshell當(dāng)前29頁(yè)，總共37頁(yè)。Hbase與RDBMS數(shù)據(jù)類型：Hbase只有簡(jiǎn)單的字符串類型。數(shù)據(jù)操作：Hbase只有很簡(jiǎn)單的插入、查詢、刪除、清空操作，沒(méi)有復(fù)雜的表和表之間的關(guān)系。存儲(chǔ)模式：Hbase是基于列式存儲(chǔ)，每個(gè)列族由幾個(gè)文件保存，不同列族的文件是分離的。數(shù)據(jù)維護(hù)：更新操作是替換版本，刪除只是邏輯標(biāo)記可伸縮性：當(dāng)前30頁(yè)，總共37頁(yè)。參考資料當(dāng)前31頁(yè)，總共37頁(yè)。Lucene搜索結(jié)構(gòu)當(dāng)前32頁(yè)，總共37頁(yè)。基于文檔的搜索Tika是一個(gè)內(nèi)容抽取的工具集合。支持work，ppt，execl，PDF等當(dāng)前33頁(yè)，總共37頁(yè)。大數(shù)據(jù)統(tǒng)計(jì)Elasticsearch：開源的分布式實(shí)時(shí)搜索系統(tǒng)，結(jié)合Hbase實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)和檢索，同時(shí)提供索引數(shù)據(jù)統(tǒng)計(jì)功能，滿足海量數(shù)據(jù)的實(shí)時(shí)統(tǒng)計(jì)要求。ya主要功能特點(diǎn)realtimedistributedhighavailabilitydocumentorientedschemafreerestfulapi索引數(shù)據(jù)統(tǒng)計(jì)min、ma