從HDFS或向HDFS復(fù)制或移動文件

主講：朱佳目錄0102-put命令-copyFromLocal命令-put命令1-put命令以下是hdfsdfs-put命令的語法:Usage:hdfsdfs-put<localsrc>...<HDFS_dest_Path>-put命令可以從標(biāo)準(zhǔn)輸入讀取并寫入HDFS文件，為了測試-put命令，可以執(zhí)行以下操作:#echo-e"A|1|2|3\nB|4|5|6"|hadoopfs-put-/tmp/test1.txt-put命令以下示例顯示如何使用-put命令將文件從本地文件系統(tǒng)復(fù)制到HDFS:$hdfsdfs-put/var/hadoop/logs/users/sam/如果要復(fù)制的文件已存在，會收到錯(cuò)誤消息:$hdfsdfs-put/tmp/test.txt/user/put:'/user/test.txt':Fileexists-put命令如果要從本地文件系統(tǒng)復(fù)制到HDFS的文件已存在，添加-f選項(xiàng)以覆蓋該文件，如下所示:$hdfsdfs-put-f/var/hadoop/logs/users/sam可以通過一個(gè)-put命令復(fù)制多個(gè)文件，如下所示:$hdfsdfs-put/tmp/file1.txt/tmp/file2.txt/users/sam/-put命令還可以使用通配符(*)將多個(gè)文件復(fù)制到目標(biāo)目錄:$hdfsdfs-put/tmp/file*/users/sam/此命令將/tmp目錄中文件名以“file”開頭的所有文件復(fù)制到HDFS目錄/users/sam中?？梢允褂?put命令將整個(gè)本地目錄復(fù)制到HDFS，如下所示:$hdfsdfs-put/home/data/customer/user/alapati/customer-copyFromLocal命令2-copyFromLocal命令下面顯示了copyFromLocal命令的語法和使用示例。$hdfsdfs-copyFromLocal<local_FS_filename><target_on_HDFS>$hdfsdfs-copyFromLocal/var/log/test.txt/user/sam/test.txt-copyFromLocal命令與-put命令的工作原理相同，唯一的區(qū)別是它只能將文件從本地文件系統(tǒng)復(fù)制到HDFS，而-put命令也可以將文件從HDFS復(fù)制到本地文件系統(tǒng)?？梢允褂霉艿婪?|)與less命令來查看文件，如下所示:$hdfsdfs-cat/user/sam/testfile|less-copyFromLocal命令可以在一個(gè)步驟中使用-put命令解壓縮zip文件并將其加載到HDFS，如以下示例所示:$gunzip-ctestfile.gz|hdfsdfs-put-/user/sam/testfile以下示例顯示如何將Avro文件加載到HDFS供MapReduce作業(yè)處理:$hdfsdfs-copyfromLocal/src/text/avro/twitter/.avro/test/input復(fù)制文件時(shí)，請確保已經(jīng)有目標(biāo)HDFS目錄，或者在嘗試復(fù)制文件或目錄之前創(chuàng)建一個(gè)目錄(如果沒有目錄):$hdfsdfs-mkdir/user/sam-copyFromLocal命令如果要將大文件移動到HDFS，但是不想使用3倍于文件大小的HDFS存儲(假設(shè)使用默認(rèn)復(fù)制因子3)，則可以使用-D選項(xiàng)指定復(fù)制因子覆蓋默認(rèn)值并復(fù)制文件，如下所示:$hdfsdfs-Ddfs.replication=1-copyFromLocalbigfile.txt/user/alapati-copyFromLocal命令-copyToLocal命令類似于-copyFromLocal命令。它將文件從HDFS復(fù)制到本地文件系統(tǒng)。可以使用-copyFromLocal和-copyToLocal命令在兩個(gè)Hadoop集群之間移動數(shù)據(jù)