第2章 HBase部署搭建及架構(gòu)

Hbase部署搭建第2章學(xué)習(xí)目標(biāo)1.學(xué)會(huì)HBase安裝部署2.了解HBase的主要的配置文件3.了解HBase的邏輯結(jié)構(gòu)HBaseContents目錄HBase部署搭建1HBase基本架構(gòu)22.1HBase部署搭建HBase依托hadoop存儲(chǔ)數(shù)據(jù)，zookeeper存儲(chǔ)元數(shù)據(jù)，因此，在安裝之前，需要先確保二者都已經(jīng)安裝完成并啟動(dòng)。版本選擇：jdk1.8.0hadoop2.7.6zookeeper3.4.6HBase1.4.6首先啟動(dòng)Hadoop平臺(tái)和Zookeeper

集群：//啟動(dòng)hadoop平臺(tái)，并驗(yàn)證http://master:50070start-all.sh2.1HBase部署搭建//啟動(dòng)Zookeeper（每一臺(tái)服務(wù)器都需要啟動(dòng)）zkServer.shstart//查看Zookeeper啟動(dòng)情況zkServer.shstatus2.1HBase部署搭建解壓Hbase到指定目錄：tar-zxvfhbase-1.4.6-bin.tar.gz-C/usr/local/soft/2.1HBase部署搭建修改HBase對(duì)應(yīng)的配置文件。1.hbase-env.sh修改內(nèi)容：vimhbase-1.4.6/conf/hbase-env.shexportHBASE_MANAGES_ZK=falseexportJAVA_HOME=/usr/local/soft/jdk1.8.0_1712.1HBase部署搭建2.hbase-site.xml修改內(nèi)容：vimhbase-1.4.6/conf/hbase-site.xml<property><name>hbase.rootdir</name><value>hdfs://master:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.zookeeper.quorum</name><value>node1,node2,master</value></property>2.1HBase部署搭建3.regionservers：vimhbase-1.4.6/conf/regionservers刪除localhost，并增加node1node2根據(jù)節(jié)點(diǎn)情況填寫(xiě)，偽分布式的話(huà)填寫(xiě)本服務(wù)器名2.1HBase部署搭建分發(fā)至其他節(jié)點(diǎn)并驗(yàn)證scp-rhbase-1.4.6/node1:`pwd`scp-rhbase-1.4.6/node2:`pwd`2.1HBase部署搭建Master服務(wù)器配置環(huán)境變量vim/etc/profile添加exportHBASE_HOME=/usr/local/soft/hbase-1.4.6exportPATH=$PATH:$HBASE_HOME/bin配置完成后重置一下source/etc/profile2.1HBase部署搭建集群?jiǎn)?dòng)start-hbase.sh2.1HBase部署搭建啟動(dòng)成功后，可以通過(guò)“host:port”的方式來(lái)訪問(wèn)HBase管理頁(yè)面：http://master:160102.1HBase部署搭建也可以通過(guò)java的指令jps來(lái)查看Master端的jps顯示NameNode、SecondaryNameNode：HDFS的主節(jié)點(diǎn)和副節(jié)點(diǎn)ResourceManager：YARN的主節(jié)點(diǎn)QuorumPeerMain：Zookeeper的服務(wù)節(jié)點(diǎn)HMaster：HBase的主節(jié)點(diǎn)2.1HBase部署搭建node端的jps顯示DataNode：HDFS的從節(jié)點(diǎn)NodeManager：YARN的從節(jié)點(diǎn)QuorumPeerMain：Zookeeper的服務(wù)節(jié)點(diǎn)HRegionServer：HBase的從節(jié)點(diǎn)2.1HBase部署搭建集群關(guān)閉stop-hbase.sh2.2HBase基本架構(gòu)2.2HBase架構(gòu)角色MasterMaster是所有RegionServer的管理者，主要作用如下：為Regionserver分配region；負(fù)責(zé)Regionserver的負(fù)載均衡；發(fā)現(xiàn)失效的Regionserver并重新分配其上的region；管理用戶(hù)對(duì)table的增刪改操作。2.2HBase架構(gòu)角色RegionServerRegionServer為Region的管理者，主要作用如下:負(fù)責(zé)維護(hù)region，處理對(duì)這些region的IO請(qǐng)求；負(fù)責(zé)切分在運(yùn)行過(guò)程中變得過(guò)大的region。RegionHBase自動(dòng)把表水平劃分成多個(gè)區(qū)域(region)，每個(gè)region會(huì)保存一個(gè)表里面某段連續(xù)的數(shù)據(jù)；每個(gè)表一開(kāi)始只有一個(gè)region，隨著數(shù)據(jù)不斷插入表，region不斷增大，當(dāng)增大到一個(gè)閥值的時(shí)候，region就會(huì)被RegionServer切分為兩個(gè)新的region（裂變）。1.3HBase基本架構(gòu)ZookeeperHBase通過(guò)Zookeeper來(lái)做master的高可用、RegionServer的監(jiān)控、元數(shù)據(jù)的入口以及集群配置的維護(hù)等工作。HDFSHDFS為Hbase提供最終的底層數(shù)據(jù)存儲(chǔ)服務(wù)，同時(shí)為HBase提供高可用的支持。2.2HBase基本架構(gòu)5.1RegionServer架構(gòu)StoreFile保存實(shí)際數(shù)據(jù)的物理文件，StoreFile以Hfile的形