2023學(xué)年完整公開課版HDFS高可靠性

HDFS高可靠性目錄Colocation同分布Colocation同分布效果圖2Hdfs支持接口Hdfs設(shè)計要點Colocation同分布同分布(Colocation)的定義：將存在關(guān)聯(lián)關(guān)系的數(shù)據(jù)或可能要進行關(guān)聯(lián)操作的數(shù)據(jù)存儲在相同的存儲節(jié)點上。NameNode元數(shù)據(jù)DataNode數(shù)據(jù)文件被切分成大小相同的塊，并存儲在不同的數(shù)據(jù)節(jié)點上。為確保文件塊的容錯性，同時提供更快的數(shù)據(jù)讀取，默認每個數(shù)據(jù)塊有3個副本，且分布在不同的存儲節(jié)點DN上。本圖中，有6個數(shù)據(jù)節(jié)點，由這6個數(shù)據(jù)節(jié)點組成的分布式文件系統(tǒng)中，存儲了4個文件，每個文件有3個副本。按照上圖存放，假設(shè)要將文件A和文件D進行關(guān)聯(lián)操作，此時不可避免地要進行大量的數(shù)據(jù)搬遷，整個集群將由于數(shù)據(jù)傳輸占據(jù)大量網(wǎng)絡(luò)帶寬，嚴(yán)重影響大數(shù)據(jù)的處理速度與系統(tǒng)性能。Colocation同分布效果圖打個比方：如果人們居住的地方和上班的地方都在同一個地方，那么城市的交通就不會像今天這么擁堵了。HDFS文件同分布的特性，將那些需進行關(guān)聯(lián)操作的文件存放在相同數(shù)據(jù)節(jié)點上，在進行關(guān)聯(lián)操作計算時避免了到其他的數(shù)據(jù)節(jié)點上獲取數(shù)據(jù)，大大降低網(wǎng)絡(luò)帶寬的占用。假設(shè)文件A和文件D相關(guān)聯(lián)，則將它們的數(shù)據(jù)塊存儲在相同的數(shù)據(jù)節(jié)點1、2、6上。Hadoop實現(xiàn)文件級同分布，即存在相關(guān)聯(lián)的多個文件的所有塊都分布在同一存儲節(jié)點上。文件級同分布實現(xiàn)文件的快速訪問，避免了因數(shù)據(jù)搬遷帶來的大量網(wǎng)絡(luò)開銷。HDFS架構(gòu)其他關(guān)鍵設(shè)計要點說明統(tǒng)一的文件系統(tǒng)：HDFS對外僅呈現(xiàn)一個統(tǒng)一的文件系統(tǒng)。統(tǒng)一的通訊協(xié)議：統(tǒng)一采用RPC方式通信。NameNode被動的接收Client,DataNode的RPC請求。空間回收機制：支持回收站機制，以及副本數(shù)的動態(tài)設(shè)置機制。數(shù)據(jù)組織：數(shù)據(jù)存儲以數(shù)據(jù)塊為單位，存儲在操作系統(tǒng)的HDFS文件系統(tǒng)上。訪問方式：提供JAVAAPI，HTTP方式，SHELL方式訪問HDFS數(shù)據(jù)。HDFS支持接口接口類別接口舉例接口說明JAVAmkdirs(Pathf)通過該接口可在HDFS上創(chuàng)建文件夾，其中f為文件夾的完整路徑。create(Pathf)通過該接口可在HDFS上創(chuàng)建文件，其中f為文件的完整路徑。HTTPcurl-L--negotiate-u:"http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=OPEN"打開并讀取HDFS文件內(nèi)容。curl-i-XDELETE--negotiate-u:"http://<host>:<port>/webhdfs/v1/<path>?op=DELETE"刪除指定的文件。SHELLhdfsdfs[COMMAND[COMMAND_OPTIONS]]在HDFS文件系統(tǒng)上運行filesys