2023學年完整公開課版磁盤容錯

主講：張義目錄01磁盤容錯020304磁盤熱插拔設置dfs.datanode.du.reserved參數(shù)利用好復制策略磁盤容錯1磁盤容錯如果集群中有很小的一部分DataNodes死掉，無須擔心，重啟即可，因為集群中有更重要的事情需要去處理!但是，要持續(xù)關注死亡節(jié)點的數(shù)量，一旦達到很大的數(shù)量，則需要盡快恢復節(jié)點。磁盤容錯與傳統(tǒng)的數(shù)據(jù)庫丟失磁盤會產(chǎn)生災難性影響不同，Hadoop即使發(fā)生存儲故障，仍能順利運行。所有的Hadoop集群都以同樣的方式運行，不同在于配置容量的大小。與傳統(tǒng)的RAID系統(tǒng)不同，我們可以在適當?shù)臅r候修復Hadoop集群中的磁盤問題。可以如下配置一個節(jié)點能夠容忍的失敗磁盤的塊數(shù):磁盤容錯<property><name>dfs.datanode.failed.volumes.tolerated</name>value>4</value></property>磁盤容錯在上述例子中，在將DataNode加入黑名單之前，Hadoop容忍該DataNode節(jié)點上有4塊磁盤故障。磁盤容錯需要指出的是，在默認情況下，當DataNode有一塊磁盤產(chǎn)生故障時，其會被關閉。因此，dfs.datanode.failed.volumes.tolerated參數(shù)的默認值是0。確認為該參數(shù)配置了2、3或4這樣的整數(shù)，以確保該DataNode不會因為一塊磁盤故障而被關閉。當失敗數(shù)目接近設置值時，DataNode節(jié)點會被標記為“死亡節(jié)點”。磁盤容錯查看Hadoop集群中是否有磁盤故障最簡單的方法是，通過NameNodeUI的DataNodeVolumeFailures頁面來查看。磁盤熱插拔2磁盤熱插拔由于Hadoop支持DataNodes的磁盤熱插拔，因此可以在不關閉DataNodes的情況下完成磁盤的增加或者替換。需要使用新的命令dfsadmin-reconfigdatanode來執(zhí)行熱插拔。下面是關于磁盤熱插拔交換過程的詳細描述。磁盤熱插拔1.格式化并掛載新的磁盤。2．更新hdfs-site.xml文件中的dfs.datanode.data.dir配置。移除準備被替換的壞的磁盤卷，并用新的磁盤替換。3.執(zhí)行dfsadmin-reconfigdatanodeHOST:PORTstart命令應用新的配置。4.重新配置完成后，卸載掉移除的磁盤目錄，并且從服務器中移除該磁盤。設置dfs.datanode.du

.reserved參數(shù)3設置dfs.datanode.du.reserved參數(shù)在第3章中我們了解到，hdfs-site.xml文件中的dfs.datanode.du.reserved參數(shù)決定了非HDFS使用的預留空間的大小(以每卷字節(jié)數(shù)為單位)。雖然存儲HDF文件的目錄是為HDFS使用而設計的，但是不能將所有空間都分配給HDFS使用。這些目錄還包含Hadoop作業(yè)的臨時數(shù)據(jù)。確保為希望運行的最大Hadoop作業(yè)預留出足夠的臨時數(shù)據(jù)空間。利用好復制策略4利用好復制策略如第3章所述，Hadoop默認使用的復制因子是3。雖然更高的復制因子意味著更高的磁盤占用，但是更高的復制因子仍有其優(yōu)勢。更高