移動(dòng)數(shù)據(jù)和實(shí)現(xiàn)存儲

主講：朱佳目錄01移動(dòng)數(shù)據(jù)02實(shí)現(xiàn)歸檔存儲移動(dòng)數(shù)據(jù)1移動(dòng)數(shù)據(jù)可以將數(shù)據(jù)從Hot存儲策略遷移到Warm存儲策略，然后再遷移到Cold存儲策略。請注意，可以將數(shù)據(jù)集的一個(gè)、兩個(gè)或所有副本移動(dòng)到不同的存儲層，以優(yōu)化對HDFS存儲容量的使用。可以在一種類型的存儲層上保留特定數(shù)據(jù)集的一些副本，其余的副本存儲在其他存儲類型上。訪問數(shù)據(jù)的應(yīng)用程序完全忽略使用多個(gè)存儲層的事實(shí)。由于ARCHIVE層被設(shè)計(jì)為不具有太多（或任何）處理能力，因此在提供DISK存儲的節(jié)點(diǎn)上運(yùn)行的mapper任務(wù)需要從提供ARCHIVE存儲的節(jié)點(diǎn)讀取數(shù)據(jù)。這當(dāng)然意味著集群會產(chǎn)生額外的網(wǎng)絡(luò)流量用來移動(dòng)數(shù)據(jù)。移動(dòng)數(shù)據(jù)以下是存儲策略工作原理的總結(jié)：當(dāng)更新文件或目錄的存儲策略時(shí)，HDFS不會自動(dòng)強(qiáng)制執(zhí)行新的存儲策略。不僅可以在創(chuàng)建文件時(shí)強(qiáng)制執(zhí)行存儲策略，也可以在以后執(zhí)行。首次在集群中存儲數(shù)據(jù)時(shí)，存儲在默認(rèn)的DISK層中。基于數(shù)據(jù)的分類（由配置的存儲策略指定)，一個(gè)或多個(gè)副本將隨時(shí)間的推移被移動(dòng)到ARCHIVE層。移動(dòng)數(shù)據(jù)新mover工具可以將數(shù)據(jù)從一個(gè)存儲層移動(dòng)到另一個(gè)存儲層。它的工作原理與HDFS平衡器非常相似，只不過它是在不同的存儲類型之間移動(dòng)塊副本?？梢允褂胢over工具掃描HDFS文件，以確定塊位置是否與配置的存儲策略匹配。如果一個(gè)塊未根據(jù)配置的存儲策略存放，則mover會將副本移動(dòng)到相應(yīng)的存儲類型。可以如下使用mover工具遷移集群中的數(shù)據(jù):$hdfsmover[-p<files/dirs>l-f<localfilename>]mover移動(dòng)數(shù)據(jù)此命令將根目錄（/）作為默認(rèn)路徑。mover命令的關(guān)鍵選項(xiàng)說明如下：可以使用-p選項(xiàng)指定HDFS文件或目錄的遷移列表，該選項(xiàng)接受以空格分隔的文件和目錄列表。還可以使用包含HDFS文件和目錄列表的本地文件來遷移數(shù)據(jù)，使用–f選項(xiàng)指定該文件。除了HDFS路徑和目標(biāo)參數(shù)之外，mover還接受replicacount作為參數(shù)。移動(dòng)數(shù)據(jù)可以定期運(yùn)行mover，將所有文件遷移到使用存儲策略配置的存儲類型中。如果將某些數(shù)據(jù)劃歸為ARCHIVE存儲類型，但隨后發(fā)現(xiàn)使用此數(shù)據(jù)的應(yīng)用程序使用的頻率遠(yuǎn)超出了預(yù)期，則可以將該數(shù)據(jù)重新分類為“Hot”或“Warm”數(shù)據(jù)。可以將一個(gè)或多個(gè)副本移動(dòng)到更快的DISK存儲，而不會帶來從ARCHIVE節(jié)點(diǎn)讀取數(shù)據(jù)所造成的額外網(wǎng)絡(luò)開銷。假設(shè)管理員將Cold存儲策略應(yīng)用于要存儲在歸檔存儲層節(jié)點(diǎn)上的數(shù)據(jù)集。由于數(shù)據(jù)集已經(jīng)存在，因此mover通過將歸檔數(shù)據(jù)從Warm存儲轉(zhuǎn)移到Cold存儲來實(shí)施Cold存儲策略。將所有冷數(shù)據(jù)移入Hadoop歸檔存儲是一個(gè)很好的做法。實(shí)現(xiàn)歸檔存儲2實(shí)現(xiàn)歸檔存儲可以在每個(gè)DataNode上單獨(dú)設(shè)置歸檔存儲。步驟如下。1.停止DataNode:$HADOOP_PREFIX/sbin/hadoop-daemon.shstopdatanode2.在hdfs-site.xml文件中指定.dir參數(shù)將歸檔存儲類型分配給DataNode。由于DISK是默認(rèn)存儲類型，因此不必設(shè)置DISK存儲類型。但是，如果指定DataNode使用ARCHIVE存儲，則必須在本地文件系統(tǒng)路徑的開頭插入[ARCHIVE]，如下所示:<property><name>dfs.data.dir</name><value>[ARCHIVE]file:///u01/data/dfs/</value></property>實(shí)現(xiàn)歸檔存儲3.使用-setstoragePolicy命令設(shè)置存儲策略，如下所示：$hdfsdfsadmin-setstoragePolicy/cold1COLD4.啟動(dòng)DataNodehadoop-daemon.shstartda