2023學(xué)年完整公開課版尋址機(jī)制

尋址機(jī)制2學(xué)習(xí)任務(wù)了解RegionServer的主要功能了解老的Region尋址方式初步探索新的Region尋址方式了解讀寫過程3知識目標(biāo)RegionServer的主要功能新老Region的

尋址方式讀寫過程01能力目標(biāo)掌握RegionServer的主要功能了解新老Region的尋址方式

理解讀寫過程02學(xué)習(xí)目標(biāo)4目錄01RegionServer簡介02RegionServer的主要功能03老的Region尋址方式03新的Region尋址方式03讀寫過程5RegionServer簡介HRegionServer是HBase中最主要的組件，負(fù)責(zé)table數(shù)據(jù)的實(shí)際讀寫，管理Region。在分布式集群中，HRegionServer一般跟DataNode在同一個節(jié)點(diǎn)上，目的是實(shí)現(xiàn)數(shù)據(jù)的本地性，提高讀寫效率。6RegionServer的主要功能定期向Master匯報(bào)RS的情況，包括RS內(nèi)存使用狀態(tài)、在線狀態(tài)的Region等信息管理Region，執(zhí)行Flush、Compaction、Open、Close、Load等操作管理WAL執(zhí)行數(shù)據(jù)插入、更新和刪除操作Metrics：對外提供了衡量HBase內(nèi)部服務(wù)狀況的參數(shù)內(nèi)置HttpServer，提供訪問RS的界面7老的Region尋址方式在HBase-0.96版本以前，HBase有兩個特殊的表，分別是-ROOT-表和.META.表，其中-ROOT-的位置存儲在ZooKeeper中，-ROOT-本身存儲了.META.Table的RegionInfo信息，并且-ROOT-不會分裂，只有一個Region。而.META.表可以被切分成多個Region。讀取的流程如下圖所示：8老的Region尋址方式Client請求ZooKeeper獲得-ROOT-所在的RegionServer地址Client請求-ROOT-所在的RS地址，獲取.META.表的地址，Client會將-ROOT-的相關(guān)信息cache下來，以便下一次快速訪問Client請求.META.表的RegionServer地址，獲取訪問數(shù)據(jù)所在RegionServer的地址，Client會將.META.的相關(guān)信息cache下來，以便下一次快速訪問Client請求訪問數(shù)據(jù)所在RegionServer的地址，獲取對應(yīng)的數(shù)據(jù)步驟：9新的Region尋址方式2層結(jié)構(gòu)其實(shí)完全能滿足業(yè)務(wù)的需求，因此0.96版本以后將-ROOT-表去掉了。如下圖所示：10新的Region尋址方式Client請求ZooKeeper獲取.META.所在的RegionServer的地址。Client請求.META.所在的RegionServer獲取訪問數(shù)據(jù)所在的RegionServer地址，Client會將.META.的相關(guān)信息cache下來，以便下一次快速訪問。Client請求數(shù)據(jù)所在的RegionServer，獲取所需要的數(shù)據(jù)。（1）訪問路徑變成了3步11新的Region尋址方式提高性能2層結(jié)構(gòu)已經(jīng)足以滿足集群的需求（2）總結(jié)去掉-ROOT-的原因有如下2點(diǎn)12新的Region尋址方式第一層是保存zookeeper里面的文件，它持有rootregion的位置。第二層rootregion是.META.表的第一個region其中保存了.META.表其它region的位置。通過rootregion，我們就可以訪問.META.表的數(shù)據(jù)。.META.是第三層，它是一個特殊的表，保存了hbase中所有數(shù)據(jù)表的region位置信息。（3）系統(tǒng)如何找到某個rowkey所在的regionbigtable使用三層類似B+樹的結(jié)構(gòu)來保存region位置。13讀寫過程客戶端通過zookeeper以及root表和meta表找到目標(biāo)數(shù)據(jù)所在的regionserver聯(lián)系regionserver查詢目標(biāo)數(shù)據(jù)regionserver定位到目標(biāo)數(shù)據(jù)所在的region，發(fā)出查詢請求region先在memstore中查找，命中則返回如果在memstore中找不到，則在storefile中掃描讀請求過程14讀寫過程client向regionserver提交寫請求regionserver找到目標(biāo)regionregion檢查數(shù)據(jù)是否與schema一致如果客戶端沒有指定版本，則獲取當(dāng)前系統(tǒng)時間作為數(shù)據(jù)版本將更新寫入WALlog、Memstore判斷