HBase培訓(xùn)PPT課件

1、回顧一下傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)回顧一下傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)事務(wù)的保障，事務(wù)的保障，acid豐富的數(shù)據(jù)類型和豐富的數(shù)據(jù)類型和sql操作操作嚴(yán)格的數(shù)據(jù)模型嚴(yán)格的數(shù)據(jù)模型,行式存儲(chǔ)行式存儲(chǔ)互聯(lián)網(wǎng)的需求互聯(lián)網(wǎng)的需求對(duì)數(shù)據(jù)高并發(fā)讀寫(xiě)的要求對(duì)數(shù)據(jù)高并發(fā)讀寫(xiě)的要求對(duì)海量數(shù)據(jù)的存儲(chǔ)和訪問(wèn)對(duì)海量數(shù)據(jù)的存儲(chǔ)和訪問(wèn)伸縮性，可用性，可靠性方面的需求伸縮性，可用性，可靠性方面的需求關(guān)系型數(shù)據(jù)庫(kù)的解決方案關(guān)系型數(shù)據(jù)庫(kù)的解決方案高并發(fā)高并發(fā) 措施：讀寫(xiě)分離，分庫(kù)分表 帶來(lái)數(shù)據(jù)一致性問(wèn)題海量數(shù)據(jù)海量數(shù)據(jù) 措施：分庫(kù)分表 實(shí)現(xiàn)復(fù)雜，后期遷移維護(hù)復(fù)雜， 路由規(guī)則（dht，自定義）高可用，可靠，伸縮高可用，可靠，伸縮 措施：主備，主從，多主

2、 本身擴(kuò)展性差，增加和節(jié)點(diǎn)宕機(jī)需要進(jìn)行數(shù)據(jù)的遷移 nosql-capcapbasenosql一致性一致性強(qiáng)一致強(qiáng)一致 2pc w+rn paxos弱一致弱一致 gossip 向量時(shí)鐘 時(shí)間戳 merkle treehbase在在hadoop體系中位置體系中位置分布式數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)hbase的特點(diǎn)的特點(diǎn)基于列式的高效存儲(chǔ)基于列式的高效存儲(chǔ)強(qiáng)一致的數(shù)據(jù)訪問(wèn)強(qiáng)一致的數(shù)據(jù)訪問(wèn)高可靠高可靠高性能高性能可可伸縮伸縮，自動(dòng)切分，遷移，自動(dòng)切分，遷移schema free邏輯數(shù)據(jù)模型邏輯數(shù)據(jù)模型tableregioncolumnfamilyrowcolumnvaluetimestamphbase的體系組成

3、的體系組成體系結(jié)構(gòu)組成體系結(jié)構(gòu)組成體系結(jié)構(gòu)組成體系結(jié)構(gòu)組成hbase各對(duì)象職責(zé)各對(duì)象職責(zé)client hbase的訪問(wèn)接口，維護(hù)cache加快hbase的訪問(wèn)zookeeper 監(jiān)控master，保證只有一個(gè)master 存儲(chǔ)region的入口地址 監(jiān)控regionserver上下線，并告知master 存儲(chǔ)hbase shcema和table 的元數(shù)據(jù)master 分配region到regionserver regionsever的負(fù)載均衡 發(fā)現(xiàn)失效的regionserver并重新分配其上的region 管理用戶對(duì)table的增刪改查操作regionserver 維護(hù)region，處理對(duì)這些

4、region的io split&compactregion的定位的定位-root-.metaregion的定位的定位lsm-treebtree（索引讀）（索引讀） mysql,oracle hash（key value） redis,mongodb 無(wú)法范圍查詢 無(wú)法避免表掃描 無(wú)法避免數(shù)據(jù)排序 lsm-tree（寫(xiě)）（寫(xiě)） hbasebooleamfilter 快速定位數(shù)據(jù)是否位于某集合 少量的錯(cuò)判率lsm-treebitmapput/get操作操作存儲(chǔ)分布存儲(chǔ)分布hfilehlogregionserver宕機(jī)恢復(fù)宕機(jī)恢復(fù)(可靠性可靠性)冗余冗余節(jié)點(diǎn)宕機(jī)節(jié)點(diǎn)宕機(jī),內(nèi)存中的數(shù)據(jù)還未內(nèi)存

5、中的數(shù)據(jù)還未flush到文件中到文件中 region server1masterzookeeperregion1storeshdfsregion2stores store1 store2wal.logs/rs1/xxxxx1.logs/rs1/xxxxx2region1 .splitlogsregion2 .splitlogsseqnum checkregion server2split logassign regionopen regionrelay logsplit&compact（可用性）（可用性）為什么要分裂為什么要分裂 避免單個(gè)region訪問(wèn)過(guò)于頻繁 單機(jī)壓力過(guò)大，均衡壓力

6、 為什么要為什么要compact 減少hfile文件的個(gè)數(shù) 提高性能 清除過(guò)期和刪除數(shù)據(jù) 分裂過(guò)程分裂過(guò)程 觸發(fā)split region zookeeper創(chuàng)建split點(diǎn) hdfs創(chuàng)建臨時(shí)分裂目錄 region下線 分裂兩個(gè)子region 更新meta表 打開(kāi)region 更新meta表關(guān)于子region的位置信息 更新zookeeper分裂狀態(tài)完成 *建議禁止自動(dòng)split，系統(tǒng)不忙的時(shí)候手動(dòng)進(jìn)行 split&compact（可用性）（可用性）compact minor compact major compact region所有的hfile合并成一個(gè)，垃圾清理 建議定時(shí)或者手工進(jìn)行 memstorehfilecompact threadflush, snapshotcompact queuehfilehfilehfile應(yīng)用方式應(yīng)用方式rowkey設(shè)計(jì)設(shè)計(jì) usernum$2013