第4章 HBase的讀寫基本操作

HBase的讀寫流程第4章學(xué)習(xí)目標1.深入了解RegionServer架構(gòu)2.了解HBase寫流程3.了解HBase讀流程4.了解Hbase自動優(yōu)化過程HBaseContents目錄讀流程3RegionServer架構(gòu)

寫流程

21自動優(yōu)化過程44.1RegionServer架構(gòu)4.1RegionServer架構(gòu)Store一個Region由多個Store組成，一個Store對應(yīng)一個CF（列族）Store中包含位于內(nèi)存中的Memstore文件和位于磁盤的Storefile文件。Memstore與Storefile寫操作先寫入Memstore，當(dāng)Memstore中的數(shù)據(jù)達到某個閾值，會將其刷寫到磁盤中，生成一個Storefile文件。因此，在一張表剛剛創(chuàng)建之時，系統(tǒng)里只會有Memstore文件，當(dāng)數(shù)據(jù)達到一定量或插入數(shù)據(jù)一段時間后，才會出現(xiàn)Storefile文件。4.1RegionServer架構(gòu)WAL(writeaheadlog)由于數(shù)據(jù)要先寫入MemStore后才能刷寫到HFile，儲存在內(nèi)存也會面臨一定風(fēng)險。為了解決這個問題，數(shù)據(jù)會先寫在一個叫做Hlog的文件中，之后再寫入MemStore。該文件包含詳細的寫入信息，包括Region位置，寫入數(shù)據(jù)，寫入時間等等。若寫入時出現(xiàn)系統(tǒng)故障，可以通過這個日志文件重建數(shù)據(jù)。Block

Cache讀緩存，每次查詢出的數(shù)據(jù)都會緩存在BlockCache中，作為熱點數(shù)據(jù)，方便下次查詢。4.2寫流程4.2寫流程寫流程：1）Client訪問zookeeper，獲取meta表（存儲每張表RowKey的分布情況）位置；2）訪問meta表，根據(jù)寫請求的RowKey，查詢出數(shù)據(jù)應(yīng)當(dāng)位于哪個Region中；3）與目標RegionServer進行通訊；4）將數(shù)據(jù)順序?qū)懭耄ㄗ芳樱┑絎AL中；5）將數(shù)據(jù)寫入對應(yīng)的MemStore，返回寫入成功信息；6）當(dāng)MemStore中的數(shù)據(jù)大小達到閾值或距離上次溢寫達到一定時間，將MemStore溢寫至磁盤中形成StoreFile；7）將meta表的位置信息緩存，方便下次訪問。4.3讀流程4.3讀流程讀流程1）Client訪問zookeeper，獲取meta表（存儲每張表RowKey的分布情況）位置；2）訪問meta表，根據(jù)寫請求的Row

Key，查詢出數(shù)據(jù)應(yīng)當(dāng)位于哪個Region中；3）與目標RegionServer進行通訊；4）先后在BlockCache、MemStore、StoreFile中，根據(jù)RowKey尋找數(shù)據(jù)，如有不同時間戳版本，將所有數(shù)據(jù)進整合；5）將查詢到的新的數(shù)據(jù)塊信息緩存到BlockCache作為熱點信息；6）將合并后的最終結(jié)果返回給客戶端；7）將meta表的位置信息緩存，方便下次訪問。4.4

HBase自優(yōu)化StoreFileCompaction（合并）由于memstore每次刷寫都會生成一個新的HFile，且同一個字段的不同版本（timestamp）和不同類型（Put/Delete操作）有可能會分布在不同的HFile中，因此查詢時需要遍歷所有的HFile。為了減少HFile的個數(shù)，以及清理掉過期和刪除的數(shù)據(jù)，會進行StoreFileCompaction。Compaction分為兩種，分別是MinorCompaction和MajorCompaction。MinorCompaction會將臨近的若干個較小的HFile合并成一個較大的HFile，并清理掉部分過期和刪除的數(shù)據(jù)。MajorCompaction會將一個Store下的所有的HFile合并成一個大HFile，并且會清理掉所有過期和刪除的數(shù)據(jù)。4.4HBase自優(yōu)化4.4HBase自優(yōu)化RegionSplit（切割）

默認情況下，每個Table初始有一個Region。隨著數(shù)據(jù)的不斷寫入，Region會自動進行拆分。剛拆分時，兩個子Region都位于當(dāng)前的RegionServer，但處于負載均衡的考慮，HMaster有可能會將某個Region轉(zhuǎn)移給其他的RegionServer。RegionSplit時機：當(dāng)1個region中的某個Store下所有StoreFile的總大小超過Min(initialSize*R^3,hbase.hregion.max.filesize")，該Region就會進行拆分。依照默認設(shè)置，具體如下：第一次split閾值