2023學(xué)年完整公開課版HBase快照簡(jiǎn)介

HBase快照簡(jiǎn)介目錄2快照的優(yōu)勢(shì)快照的概念快照的原理快照的概念3HBase中的快照就是一份元信息的合集。Snapshot的實(shí)現(xiàn)不涉及到table實(shí)際數(shù)據(jù)的拷貝，僅僅拷貝一些元數(shù)據(jù)，比如組成table的regioninfo，表的descriptor，還有表對(duì)應(yīng)的HFile的文件的引用?？梢詫?duì)table進(jìn)行Snapshot，也可以利用快照Restore到Snapshot。Snapshot可以在線做，也可以離線做?？煺帐腔谖募到y(tǒng)級(jí)別的?？煺张c表的備份區(qū)別4HBase中存在的備份或克隆表的方法就是使用復(fù)制/導(dǎo)出(export/import)表或者在關(guān)閉表之后拷貝(distcp)HDFS中的所有HFile。復(fù)制或?qū)С鍪峭ㄟ^(guò)一系列工具調(diào)用MapReduce來(lái)掃描并復(fù)制表，這樣會(huì)對(duì)RegionServer有直接的影響。關(guān)閉表會(huì)停止所有的讀寫操作，實(shí)際環(huán)境中往往無(wú)法接受。相比之下HBase快照允許管理員不拷貝數(shù)據(jù)，而直接克隆一張表，這對(duì)regionserver產(chǎn)生的影響最小。將快照導(dǎo)出至其他集群不會(huì)直接影響到任何服務(wù)器；導(dǎo)出只是帶有一些額外邏輯的群間數(shù)據(jù)同步?？煺盏膬?yōu)勢(shì)5導(dǎo)出快照與復(fù)制/導(dǎo)出表除了更好地保持一致性外，主要的不同在于導(dǎo)出快照是在HDFS的層面操作的。這意味著HMaster和域服務(wù)器與操作無(wú)關(guān)。因此不需要為不必要的數(shù)據(jù)創(chuàng)建緩存空間，也不會(huì)有掃描過(guò)程。因?yàn)榇罅繉?duì)象創(chuàng)建引起的GC暫停，對(duì)于HBase來(lái)說(shuō)主要性能影響就是DataNode額外的網(wǎng)絡(luò)和磁盤負(fù)載?？煺盏脑?離線快照離線方式是disabletable，由HBaseMaster遍歷HDFS中的tablemetadata和hfiles，建立引用?？煺盏脑?在線快照在線方式是enabletablesnapshot的過(guò)程類似于兩階段提交，prepare和commit階段HMaster收到snapshot命令后，作為coordinator，從metaregion中取出表的region和對(duì)應(yīng)的regionserver的信息，這些regionserver就作為第二階段提交的participant，prepare階段對(duì)regionserver本地表的region做快照存入HDFS的臨時(shí)目錄，commit階段把HMaster把臨時(shí)目錄改成正確