實驗2-熟悉常用的HDFS操作

1、實驗2熟悉常用的HDFS操作實驗2熟悉常用的HDFS操作1 實驗?zāi)康?.理解HDFS在Hadoop體系結(jié)構(gòu)中的角色；2.熟練使用HDFS操作常用的Shell命令；3.熟悉HDFS操作常用的Java API。2 實驗平臺操作系統(tǒng)：LinuxHadoop版本：2.6.0或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse3 實驗內(nèi)容和要求1. 編程實現(xiàn)以下指定功能，并利用Hadoop提供的Shell命令完成相同任務(wù)：（1） 向HDFS中上傳任意文本文件，如果指定的文件在HDFS中已經(jīng)存在，由用戶指定是追加到原有文件末尾還是覆蓋原有的文件；（2） 從HDFS中下載指定文件，如果本地

2、文件與要下載的文件名稱相同，則自動對下載的文件重命名； （3） 將HDFS中指定文件的內(nèi)容輸出到終端中；（4） 顯示HDFS中指定的文件的讀寫權(quán)限、大小、創(chuàng)建時間、路徑等信息；（5） 給定HDFS中某一個目錄，輸出該目錄下的所有文件的讀寫權(quán)限、大小、創(chuàng)建時間、路徑等信息，如果該文件是目錄，則遞歸輸出該目錄下所有文件相關(guān)信息；（6） 提供一個HDFS內(nèi)的文件的路徑，對該文件進行創(chuàng)建和刪除操作。如果文件所在目錄不存在，則自動創(chuàng)建目錄；（7） 提供一個HDFS的目錄的路徑，對該目錄進行創(chuàng)建和刪除操作。創(chuàng)建目錄時，如果目錄文件所在目錄不存在則自動創(chuàng)建相應(yīng)目錄；刪除目錄時，由用戶指定當(dāng)該目錄不為空時是否

3、還刪除該目錄；（8） 向HDFS中指定的文件追加內(nèi)容，由用戶指定內(nèi)容追加到原有文件的開頭或結(jié)尾；（9） 刪除HDFS中指定的文件；由于已經(jīng)刪除，所以會顯示操作失敗。（10） 刪除HDFS中指定的目錄，由用戶指定目錄中如果存在文件時是否刪除目錄；由于前面已經(jīng)刪除，所以顯示無該文件.（11） 在HDFS中，將文件從源路徑移動到目的路徑。移動成功：2. 編程實現(xiàn)一個類“MyFSDataInputStream”，該類繼承“”，要求如下：實現(xiàn)按行讀取HDFS中指定文件的方法“readLine()”，如果讀到文件末尾，則返回空，否則返回文件一行的文本。進行文檔讀取如下：3. 查看Java幫助手冊或其它資料

4、，用“”和“”編程完成輸出HDFS中指定文件的文本到終端中。4 實驗報告云計算課程機房上機實驗報告題目：熟悉常用HDFS操作姓名包生友日期實驗環(huán)境：操作系統(tǒng)：LinuxHadoop版本：2.6.0或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse實驗內(nèi)容與完成情況：在上面實驗內(nèi)容中出現(xiàn)的問題：剛開始時出現(xiàn)HDFS命令未找到，沒有所操作的目錄，沒有所操作的文件等等。解決方案（列出遇到的問題和解決辦法，列出沒有解決的問題）：HDFS命令未找到：需要在前面加上在hdfs前面加上“./”,或者進行環(huán)境變量配置找不到要操作的文件：沒有所操作的目錄：5 實驗心得 這是第一次進行云計算實驗課，首次實驗，感覺茫然不知所措，即便老師給了答案，但是還是有些問題想不明白，有些問題也還沒解決。但這次實驗中，我對HDFS在Hadoop體系結(jié)構(gòu)中的角色熟練使用有了一