第4章-HBase介紹和應(yīng)用

介紹與應(yīng)用HBASE定位HBASE是存儲(chǔ)基于HDFS實(shí)時(shí)隨機(jī)讀寫(xiě)HBASE特性線性擴(kuò)展行操作的強(qiáng)一致性自動(dòng)分表支持MapReduceJava,Thrift,REST-ful接口HBASE基本性能參數(shù)3臺(tái)RegionServer.每臺(tái)8G內(nèi)存，8核1億行Row/sMB/sRow/sPernodeBigTable

Row/s

pernode隨機(jī)寫(xiě)1478914.78949308850隨機(jī)寫(xiě)(noLog)2218022機(jī)讀19961.9966651212順序讀1067810.67835594425目錄HBASE模型架構(gòu)設(shè)計(jì)使用技巧運(yùn)維技巧測(cè)試分析HBASE模型

Hbase數(shù)據(jù)模型TableRegionColumnFamilyRowColumnVersionValueCELLHBASE操作PutDelete原子操作WALScanGetFilterCache/Batch批量操作行鎖Hbase架構(gòu)設(shè)計(jì)

總體結(jié)構(gòu)MasterRegion之上的操作Put/Get不經(jīng)過(guò)MasterRegionServerRegion之下的操作HDFSHFileHLogZooKeeper狀態(tài)信息RegionServer結(jié)構(gòu)HFile結(jié)構(gòu)DataBlock存儲(chǔ)Key-ValueMetaBlock(可選)存儲(chǔ)BloomFilterDataBlockIndexKey到BlockOffsetRead占用內(nèi)存，加載緩慢Write存儲(chǔ)分布尋找RegionServerZooKeeper-ROOT-(單Region).META.用戶表Put/Get操作PUTDELETEGETSCANRegion操作FlushMemStoreCompactMajorCompactSplit使用技巧Schema設(shè)計(jì)ColumnFamily的數(shù)量最好為1Key的設(shè)計(jì)避免單調(diào)遞增最小化最小化ColumnSchema設(shè)計(jì)ColumnFamily的數(shù)量最好為1Key的設(shè)計(jì)避免單調(diào)遞增最小化最小化ColumnSchema設(shè)計(jì)ColumnFamily的數(shù)量最好為1Key的設(shè)計(jì)避免單調(diào)遞增最小化最小化ColumnMapReduce結(jié)合MapperRegion數(shù)=Mapper數(shù)ReducerRegion數(shù)=Reducer數(shù)Reducer寫(xiě)Hfile,再BulkLoadHive/Pig建立索引單列索引組合索引Join?Key<=>Kind:IDIndexKeyColumn:ValueKey…IndexKeyColumn:Value/Column:ValueKey…單列索引組合索引開(kāi)發(fā)調(diào)優(yōu)Table屬性BlockSizeBloomFilterBlockCacheInMemory盡可能使用BulkLoadPut使用客戶端CacheScan使用Cache/Batch運(yùn)維技巧HBASE部署Hadoop版本Hadoop0.20.xAppend補(bǔ)丁ZooKeeperMetric內(nèi)存RegionServer12GBMemStore<=40%HFileDataIndexBlockCache<=20%Master4GBZooKeeper1GBRegion管理預(yù)創(chuàng)建RegionRegion的大小hbase.hregion.max.filesize=256MB,1GB,4GB手動(dòng)Split,交錯(cuò)負(fù)載Region合并pactionThreshold=3hbase.hstore.blockingStoreFiles=7(阻塞,超時(shí))paction.max=10hbase.hregion.majorcompaction=86400,0MemStoreFlushhbase.regionserver.global.memstore.upperLimithbase.regionserver.global.memstore.lowerLimit運(yùn)維調(diào)優(yōu)JavaGCJVMGC調(diào)整(ParNewGC+CMS)FullGC-10s/GBMemStore本地分配(2MB,減少碎片)LZO壓縮壓縮單位為Block提高性能并發(fā)數(shù)調(diào)整hbase.regionserver.handler.countCache設(shè)置hfile.block.cache.