單元7 分布式數(shù)據(jù)庫HBase部署與應(yīng)用

《大數(shù)據(jù)平臺部署與運維》單元7分布式數(shù)據(jù)庫HBase部署與應(yīng)用01理解HBase的原理與體系架構(gòu)02掌握HBase偽分布式和完全分布式安裝步驟學(xué)習(xí)目標03能夠使用命令操作HBase04能夠監(jiān)控HBase運行狀態(tài)任務(wù)7.1搭建偽分布式HBase任務(wù)7.2部署HBase完全分布式集群學(xué)習(xí)任務(wù)任務(wù)7.3HBase集群運維任務(wù)7.1搭建偽分布式HBase【任務(wù)場景】經(jīng)理：小張，全球非關(guān)系型數(shù)據(jù)庫（NoSQL）近幾年保持在30%左右高速增長，企業(yè)應(yīng)用率越來越高。Hadoop生態(tài)圈中常用的分布式NoSQL數(shù)據(jù)庫了解嗎？小張：是Hadoop的數(shù)據(jù)庫HBase嗎？經(jīng)理：是的，HBase是一個分布式存儲、數(shù)據(jù)庫引擎，可以支持千萬的QPS（每秒查詢率）、PB級別的存儲，這些都已經(jīng)在生產(chǎn)環(huán)境驗證，并且在很多大公司已經(jīng)驗證。特別是阿里、小米、京東、滴滴內(nèi)部都有數(shù)千、上萬臺的HBase集群。咱們公司的業(yè)務(wù)系統(tǒng)數(shù)據(jù)量越來越多，數(shù)據(jù)存儲和并發(fā)訪問壓力越來越大，研究一下大公司的基于HBase的解決方案。小張：好的。經(jīng)理：先把HBase安裝部署好。小張：好的，沒問題。任務(wù)7.1搭建偽分布式HBase【任務(wù)布置】HBase的安裝和運行需要依賴于JDK和Hadoop，因此必須將HBase安裝操作的基礎(chǔ)環(huán)境提前安裝準備好，才能進行HBase的安裝和操作。本任務(wù)要求在前面已完成安裝部署Hadoop平臺的master01節(jié)點上，完成HBase偽分布式的安裝和部署，安裝完成后需要啟動并訪問HBase。一般在測試場景下經(jīng)常會部署單節(jié)點的偽分布式HBase，理解并掌握HBase偽分布式的安裝部署，可以為后續(xù)生產(chǎn)環(huán)境下部署HBase分布式集群打下基礎(chǔ)。任務(wù)7.1搭建偽分布式HBase7.1.1HBase原理HBase，全稱為HadoopDatabase，是一個高性能、高可靠性、面向列、可伸縮的分布式存儲系統(tǒng)，使用HBase技術(shù)，可以在廉價PC服務(wù)器上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。HBase是GoogleBigTable的開源實現(xiàn)，它模仿并提供了基于Google文件系統(tǒng)的BigTable數(shù)據(jù)庫的所有功能：HBase使用HadoopHDFS作為其文件存儲系統(tǒng)；使用HadoopMapReduce來處理HBase中的海量數(shù)據(jù)，使用ZooKeeper作為協(xié)同服務(wù)。HBase的設(shè)計目的是處理非常龐大的表，甚至能使用普通的計算機處理超過10億行的、由數(shù)百萬列元素組成的數(shù)據(jù)表的數(shù)據(jù)。任務(wù)7.1搭建偽分布式HBaseHBase是Hadoop生態(tài)系統(tǒng)的一個組成部分，HBase在Hadoop生態(tài)系統(tǒng)的位置如下圖所示：任務(wù)7.1搭建偽分布式HBaseHBASE的特點有：(1)大：一個表可以有上億行，上百萬列。(2)面向列：面向列表（簇）的存儲和權(quán)限控制，列（簇）獨立檢索。(3)稀疏：對于為空（NULL）的列，并不占用存儲空間，因此，表可以設(shè)計的非常稀疏。(4)無模式：每行都有一個可排序的主鍵和和任意多的列，列可以根據(jù)需要動態(tài)的增加，同一張表中不同的行可以截然不同的列。(5)數(shù)據(jù)多版本：每個單元中的數(shù)據(jù)可以有多個版本，默認情況下版本號自動分配，是單元格插入時的時間戳。(6)數(shù)據(jù)類型單一：數(shù)據(jù)都是字符串，無類型區(qū)別。任務(wù)7.1搭建偽分布式HBaseHBase和傳統(tǒng)關(guān)系數(shù)據(jù)庫的具體區(qū)別如下：（1）數(shù)據(jù)類型：HBase只有簡單的字符串類型，所有其他類型都由用戶自己定義，它只保存字符串，而關(guān)系數(shù)據(jù)庫有豐富的數(shù)據(jù)類型和存儲方式。（2）數(shù)據(jù)操作：HBase只提供很簡單的插入、查詢、刪除、清空等操作，且HBase的表和表之間是分離的，沒有復(fù)雜的表表間關(guān)系，也沒必要實現(xiàn)表和表之間的關(guān)聯(lián)等操作，而傳統(tǒng)的關(guān)系數(shù)據(jù)庫通常有各種各樣的函數(shù)和連接操作。（3）存儲模式：HBase是基于列存儲的，幾個文件保存在一個列族中，不同列族的文件是分離的，而傳統(tǒng)的關(guān)系數(shù)據(jù)庫是基于表格結(jié)構(gòu)和行模式保存的。（4）數(shù)據(jù)維護：HBase的更新其實不是更新，只是一個主鍵或者列對應(yīng)的新版本，其舊有的版本仍然會保留，所以實際上只是插入了新的數(shù)據(jù)，而不是傳統(tǒng)關(guān)系數(shù)據(jù)庫里的替換修改。任務(wù)7.1搭建偽分布式HBase比較項HbaseHDFS寫入方式隨機寫入僅能追加掃描方式隨機讀取&小范圍掃描&全表掃描全表掃描&分區(qū)掃描讀寫方式適合隨機讀寫存儲在HDFS上的數(shù)據(jù)適合只寫或者多次讀取的方式刪除方式指定刪除不支持指定刪除，只能全表刪除SQL性能比HDFS慢4-5倍非常好結(jié)構(gòu)化存儲列族&列較隨意&序列化文件存儲量1PB左右30PB左右數(shù)據(jù)分布表格根據(jù)Regions分布到不同集群中，當數(shù)據(jù)增長時，會自動分割regions然后重新分布數(shù)據(jù)以分布式方式存儲在集群中的節(jié)點上。數(shù)據(jù)會被分成塊，然后存儲在HDFS集群中存在的節(jié)點上數(shù)據(jù)存儲所有數(shù)據(jù)都以表，行和列的形式存儲說有數(shù)據(jù)都以小文件的形式存儲，一般文件的大小為64MB數(shù)據(jù)模型基于google的Bigtable模型，該模型使用鍵值對進行存儲HDFS中，使用MapReduce技術(shù)將文件劃分為Key-Value使用場景HBase能夠處理大規(guī)模數(shù)據(jù)，它不適于批次分析，但它可以向Hadoop實時地調(diào)用數(shù)據(jù)HDFS最適于執(zhí)行批次分，無法執(zhí)行實時分析HBase和HDFS的對比如下表所示：任務(wù)7.1搭建偽分布式HBase7.1.2HBase體系架構(gòu)HBase的表結(jié)構(gòu)的設(shè)計和關(guān)系型數(shù)據(jù)庫不同，首先，HBase需要為每一張表確定一個唯一的主鍵rowkey，后續(xù)的查詢操作都基于rowkey進行查詢。其次，和關(guān)系型數(shù)據(jù)庫需要設(shè)計表中的字段不同，HBase僅需要為表設(shè)計好列族即可，列族中的列，由插入數(shù)據(jù)的時候指定即可。

1.HBase數(shù)據(jù)模型HBase是一個稀疏、多維度、排序的映射表，這張表的索引是行鍵、列族、列限定符和時間戳每個值是一個未經(jīng)解釋的字符串，沒有數(shù)據(jù)類型，用戶在表中存儲數(shù)據(jù)，每一行都有一個可排序的行鍵和任意多的列。

HBase中執(zhí)行更新操作時，并不會刪除數(shù)據(jù)舊的版本，而是生成一個新的版本，舊有的版本仍然保留（這是和HDFS只允許追加不允許修改的特性相關(guān)的）。任務(wù)7.1搭建偽分布式HBase表：HBase采用表來組織數(shù)據(jù)，表由行和列組成，列劃分為若干個列族。行：rowkey保存為字節(jié)數(shù)組，是用來檢索記錄的主鍵?？梢允侨我庾址?最大長度是64KB)。存儲時，數(shù)據(jù)按照Rowkey的字典序(byteorder)排序存儲。設(shè)計key時，要充分排序存儲這個特性，將經(jīng)常一起讀取的行存儲放到一起。(位置相關(guān)性)。列族：由兩部分組成：columnfamily和qualifier。列族是表的schema的一部分(而列不是)，必須在使用表之前定義。列名都以列族作為前綴。例如courses:history，courses:math都屬于courses這個列族。有關(guān)聯(lián)的數(shù)據(jù)應(yīng)都放在一個列族里，不然會降低讀寫效率。目前hbase并不能很好的處理多個列族，建議最多使用2個列族。任務(wù)7.1搭建偽分布式HBase列限定符：列族里的數(shù)據(jù)通過列限定符（或列）來定位。時間戳：HBase中通過row和columns確定的為一個存貯單元稱為cell。每個cell都保存著同一份數(shù)據(jù)的多個版本。版本通過時間戳來索引。時間戳的類型是64位整型。Cell：在HBase表中，通過行、列族和列限定符確定一個“單元格”（cell），由{rowkey,column(=<family>+abel>),version}唯一確定的單元。cell中的數(shù)據(jù)是沒有類型的，全部是字節(jié)碼形式存儲。任務(wù)7.1搭建偽分布式HBase2.面向列的存儲結(jié)構(gòu)Hbase概念視圖RowKeyTimeStampColumn"contents:"Column"anchor:"Column"mime:""n.www"t9

"anchor:""CNN"

t8

"anchor:my.look.ca""CNN.com"

t6"<html>c..."

"text/html"t5"<html>b..."

t3"<html>a..."

任務(wù)7.1搭建偽分布式HBaseRowKeyTimeStampColumn"anchor:""n.www"t9"anchor:""CNN"t8"anchor:my.look.ca""CNN.com"RowKeyTimeStampColumn"contents:""n.www"t6"<html>c..."t5"<html>b..."t3"<html>a..."RowKeyTimeStampColumn"mime:""n.www"t6"text/html"Hbase物理視圖樣例任務(wù)7.1搭建偽分布式HBase7.1.3HBase與JDK、Hadoop之間的兼容關(guān)系HBase與JDK的兼容關(guān)系HBase與Hadoop的兼容關(guān)系任務(wù)7.1搭建偽分布式HBase編號HBase安裝方式特點1獨立模式（Standalone）單節(jié)點、部署簡單、使用自帶的ZooKeeper、所有守護進程和ZooKeeper進程運行在一個JVM2偽分布式單節(jié)點、使用自帶的ZooKeeper、守護進程和ZooKeeper進程獨立運行3完全分布式集群多節(jié)點、使用單獨搭建ZooKeeper集群、守護進程分布在集群中的所有節(jié)點上HBase部署方式任務(wù)7.1搭建偽分布式HBase7.1.4HBase偽分布式部署基礎(chǔ)編號軟件基礎(chǔ)版本號1操作系統(tǒng)CentOS7，主機名localhost2Java編譯器JDK3偽分布式Hadoop平臺hadoop任務(wù)7.1搭建偽分布式HBase[任務(wù)實施]【工作流程】搭建偽分布式HBase的基本工作流程包括：1.下載并解壓HBase安裝包；2.配置環(huán)境變量；3.修改配置文件；4.啟動并檢查HBase搭建結(jié)果。【操作步驟】解壓安裝包：將下載好的HBase安裝包拷貝到CentOS7系統(tǒng)的/usr/local目錄下，然后進行解壓，并改為短路徑名，方便后面環(huán)境變量的配置。具體操作命令如下所示：2.配置環(huán)境變量：在/etc/profile文件中配置HBase安裝路徑環(huán)境變量，使得HBase的操作命令在任意目錄下都可以訪問。具體操作如下所示：[root@localhost/]#cd/usr/local[root@localhost/]#tarzxvfhbase-2.2.6-bin.tar.gz[root@localhost/]#mvHBase-2.2.6-binhbase[root@localhost/]#vim/etc/profile#在上面文件中添加以下2行內(nèi)容：exportHBASE_HOME=/usr/local/hbaseexportPATH=$PATH:$HBASE_HOME/bin#運行以下命令使環(huán)境變量生效[root@localhost/]#source/etc/profile任務(wù)7.1搭建偽分布式HBase

3.修改HBase安裝路徑下conf目錄下的兩個配置文件：hbase-env.sh和hbase-site.xml。hbase-env.sh文件中增加以下兩行配置：exportJAVA_HOME=/usr/local/jdk1.8exportHBASE_MANAGES_ZK=trueHBase的運行需要依賴JDK，所以在hbase-env.sh文件中配置了JDK的安裝路徑JAVA_HOME，此項配置和要和本機實際的JDK安裝路徑保持一致。HBASE_MANAGES_ZK配置項配置為true，表示使用HBase自帶的ZooKepper實現(xiàn)分布式協(xié)調(diào)服務(wù)，如果使用的是單獨安裝ZooKeeper，則需要把此配置項改為false。任務(wù)7.1搭建偽分布式HBase<property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value></property><property> <name>dfs.replication</name> <value>1</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property>base-site.xml文件中幾個配置項的含義：hbase.rootdir配置的是HBase數(shù)據(jù)在HDFS文件系統(tǒng)下的存儲路徑，這個目錄是regionserver的共享目錄，用來持久化HBase。hbase.zookeeper.quorum配置項的含義是ZooKeeper所在節(jié)點的主機名；dfs.replication配置的是文件存放的副本數(shù)，偽分布式模式下配置為1即可。hbase.cluster.distributed配置項的含義是是否使用集群模式，默認情況下此配置項值為false，表示本地模式（Standalone），如果使用偽分布式或完全分布式的話，都需要將此選項值配置為true。hbase-site.xml文件中配置內(nèi)容如下所示：任務(wù)7.1搭建偽分布式HBase4.啟動并測試環(huán)境搭建結(jié)果可以通過start-hbase.sh來啟動HBase終端運行jps命令查看運行結(jié)果任務(wù)7.1搭建偽分布式HBase任務(wù)7.2部署HBase完全分布式集群學(xué)習(xí)任務(wù)任務(wù)7.3HBase集群運維任務(wù)7.2部署HBase分布式集群[任務(wù)情境]【任務(wù)場景】小張：經(jīng)理，HBase的偽分布式環(huán)境我已經(jīng)搭建好了。經(jīng)理：企業(yè)生產(chǎn)環(huán)境下都是用集群環(huán)境，ZooKeeper作為分布式協(xié)調(diào)組件，在HBase集群中扮演著重要的輔助角色，尤其是在確保HBase集群穩(wěn)定性和高可用性方面有重要作用。咱們公司的高可用Hadoop集群中已經(jīng)部署好了ZooKeeper，可以在這個基礎(chǔ)上盡快把HBase集群部署好。小張：HBase集群需要依賴Hadoop集群來運行。經(jīng)理：是的，盡快搭建起來。小張：好的，沒問題。任務(wù)7.2部署HBase分布式集群【任務(wù)布置】

在真實的生產(chǎn)場景下，通常會使用多個節(jié)點的HBase集群進行分布式數(shù)據(jù)的存儲和管理。在前面Hadoop和ZooKeeper環(huán)境部署的基礎(chǔ)上，能夠進行HBase集群的規(guī)劃和安裝部署，為后續(xù)的項目提供操作環(huán)境。本任務(wù)完成3個節(jié)點的HBase集群設(shè)計和規(guī)劃，根據(jù)規(guī)劃完成HBase分布式集群的安裝部署。任務(wù)7.2部署HBase分布式集群7.2.1HBase集群規(guī)劃在安裝部署HBase之前首先進行集群規(guī)劃，HBase的完全分布式集群環(huán)境架構(gòu)和Hadoop相似，都是主從（master/slave）模式。本任務(wù)以3個節(jié)點的HBase集群為例演示HBase集群部署過程，集群的規(guī)劃如下表所示：表7-11HBase集群規(guī)劃主機名節(jié)點環(huán)境用途master01CentOS7、JDK1.8、Hadoop-2.7.3、ZooKeeper-3.4.6主節(jié)點worker01CentOS7、JDK1.8、Hadoop-2.7.3、ZooKeeper-3.4.6從節(jié)點1worker02CentOS7、JDK1.8、Hadoop-2.7.3、ZooKeeper-3.4.6從節(jié)點2任務(wù)7.2部署HBase分布式集群7.2.2HBase主要配置選項及其含義在安裝部署HBase集群過程中，hbase-site.xml中我們根據(jù)需要進行了一些參數(shù)配置，HBase的常見的配置項如下表所示，安裝時可以根據(jù)需要進行配置。表7-12HBase主要配置選項及含義名稱含義hbase.rootdir文件系統(tǒng)路徑hbase.cluster.distributed是否集群模式，默認為falsehbase.zookeeper.quorumZooKeeper服務(wù)器地址，多個用逗號分隔hbase.master.portHBaseMaster綁定的端口，默認16000.portHBaseMasterWebUI的端口，-1為不運行UI實例，默認16010.bindAddressHBaseMasterWebUI的綁定地址，默認hbase.regionserver.portHBaseRegionServer綁定的端口，默認16020.portHBaseRegionServerWebUI的端口，-1表示RegionServerUI不運行，默認16030.bindAddressHBaseRegionServerWebUI的地址，默認zookeeper.session.timeoutzookeeper會話超時（毫秒），默認90000zookeeper.znode.parentZooKeeper中HBase的RootZNode，默認/hbase任務(wù)7.2部署HBase分布式集群7.2.3HBase訪問命令HBase集群采用的是主從模式，啟動集群時，只需要在主節(jié)點上執(zhí)行啟動命令start-hbase.sh即可啟動HBase集群。執(zhí)行start-hbase.sh命令后，首先會調(diào)用hbase-daemons.sh逐步啟動ZooKeeper、Master、RegionServer、master-backup相關(guān)進程。啟動每個進程時會調(diào)用各進程相關(guān)的腳本(如regionserver會調(diào)用regionservers.sh)來進行環(huán)境的配置，并通過ssh遠程登錄到其他從節(jié)點的機器上，執(zhí)行hbase-daemon.sh來啟動從節(jié)點上的進程。任務(wù)7.2部署HBase分布式集群hbase-daemon.sh腳本的職責(zé)就是啟動各個進程，在啟動過程中會先做進程判斷，日志滾動等準備，最后執(zhí)行啟動命名，逐步的啟動各個節(jié)點上的進程。表7-13單獨啟動HBase相關(guān)進程的命令命令含義hbase-daemon.shstartmaster單獨啟動一個HMaster進程使用命令hbase-daemon.shstopmaster單獨停止一個HMaster進程hbase-daemon.shstartregionserver單獨啟動一個HRegionServer進程hbase-daemon.shstopregionserver單獨停止一個HRegionServer進程任務(wù)7.2部署HBase分布式集群7.2.4基于WebUI監(jiān)控HBase的狀態(tài)HBase為主節(jié)點和從節(jié)點都提供了默認的Web瀏覽器訪問的HTTP端口號。HMaster的HTTP端口號為16010，HRegionServer的端口號為16030。需要注意的是，HBase1.0之前的版本主從節(jié)點使用的HTTP端口號分別是60010和60030，需要注意區(qū)分。如果所有設(shè)置都正確，就能夠通過瀏覽器連接到主節(jié)點查看HMaster的狀態(tài)。訪問方式為：http://主節(jié)點主機名(或ip):16010即可訪問到頁面。任務(wù)7.2部署HBase分布式集群[任務(wù)實施]【工作流程】

部署3個節(jié)點的完全分布式HBase集群的基本工作流程包括：1.下載并解壓HBase安裝包；2.配置環(huán)境變量；3.修改hbase-env.sh配置文件；4.修改hbase-site.xml文件；5.修改regionsevers文件；6.將HBase安裝包拷貝拷貝到集群其他節(jié)點；7.啟動并檢查HBase搭建結(jié)果；8.通過瀏覽器監(jiān)控HBase運行狀態(tài)。任務(wù)7.2部署HBase分布式集群【操作步驟】1.在Apache官網(wǎng)下載HBase安裝包，將安裝包拷貝到Linux系統(tǒng)的/usr/local[root@master01/]#cd/usr/local[root@master01/]#tarzxvfhbase-1.4.0-bin.tar.gz[root@master01/]#mvhbase-1.4.0-binhbase//換為短名，方便環(huán)境變量配置exportHBASE_HOME=/usr/local/hbaseexportPATH=$HBASE_HOME/bin:$PATH2.配置環(huán)境變量：在/etc/profile文件中配置HBase路徑。exportJAVA_HOME=/usr/local/jdk1.8#配置jdk安裝路徑exportHBase_MANAGES_ZK=false#配置不使用HBase自帶的ZK3.修改hbase目錄下conf目錄中的hbase-env.sh配置文件，在文件中添加JDK環(huán)境變量配置，

以及配置不使用自帶的ZooKeeper。任務(wù)7.2部署HBase分布式集群4.修改hbase目錄下conf目錄中的hbase-site.xml配置文件。<!—指定hbase在HDFS上的存儲路徑--><property><name>hbase.rootdir</name><value>hdfs://master01:9000/hbase</value></property><!—指定ZooKeeper的地址，多個地址用逗號分隔--><property><name>hbase.zookeeper.quorum</name><value>master01,worker01,worker02</value></property><!—指定hbase采用分布式模式--><property><name>hbase.cluster.distributed</name><value>true</value></property>任務(wù)7.2部署HBase分布式集群5.修改hbase目錄下conf目錄中的regionservers文件，在文件中配置從節(jié)點regionserver的地址為worker01和worker02節(jié)點。worker01worker026.將配置好的hbase目錄拷貝到其他兩個節(jié)點，在終端上執(zhí)行以下兩條命令即可。scp-r/usr/local/hbaseworker01:/usr/localscp-r/usr/local/hbaseworker02:/usr/local7.HBase集群運行：執(zhí)行start-hbase.sh命令啟動HBase，啟動命令執(zhí)行完畢后，使用jps命令檢查各節(jié)點運行的的進程：主節(jié)點應(yīng)該啟動HMaster進程，各從節(jié)點應(yīng)啟動HRegionServer進程。主節(jié)點和從節(jié)點上的進程分別如下圖三個圖所示：主節(jié)點啟動的HMaster進程Worker01、worker02節(jié)點啟動HRegionSserver進程任務(wù)7.2部署HBase分布式集群8.使用WebUI監(jiān)控HBase的狀態(tài)在瀏覽器地址欄輸入master01:16010，即可訪問HBase，如左側(cè)圖所示；還可以通過HDFS的WebUI端口號50070，來查看HBase在HDFS下的存儲結(jié)構(gòu)，如下圖所示，可以看出HBase在HDFS下的存儲的znode根目錄為/hbase，如右側(cè)圖所示：任務(wù)7.1搭建偽分布式HBase任務(wù)7.2部署HBase完全分布式集群學(xué)習(xí)任務(wù)任務(wù)7.3HBase集群運維任務(wù)7.3HBase集群運維[任務(wù)情境]【任務(wù)場景】經(jīng)理：HBase集群運行起來了，做業(yè)務(wù)數(shù)據(jù)存儲分析運行狀態(tài)如何？小張：最近在用HBase集群時，各位小伙伴會遇到RegionServer異常宕機、業(yè)務(wù)寫入延遲增大甚至無法寫入等類似問題。經(jīng)理：盡快找到排查和解決這些問題的思路，同時，重點對HBase系統(tǒng)中的日志進行梳理，對如何通過監(jiān)控、日志等工具進行問題排查進行總結(jié)，形成問題排查解決總結(jié)文檔，方便項目組成員盡快具備HBase運行維護的能力。小張：好的，沒問題?！救蝿?wù)布置】

本任務(wù)要求借助工具進行HBase運行監(jiān)控，通過監(jiān)控、日志等工具進行HBase運行和應(yīng)用的問題排查，并將問題成功解決掉。任務(wù)