實(shí)訓(xùn)2 HDFS的安裝部署與配置

實(shí)訓(xùn)2.2HDFS的安裝部署與配置1.實(shí)訓(xùn)目的通過(guò)本實(shí)訓(xùn)理解HDFS的架構(gòu)以及安裝與部署；學(xué)會(huì)啟動(dòng)HDFS集群，懂得上傳文件到HDFS。2.實(shí)訓(xùn)內(nèi)容該實(shí)訓(xùn)主要是進(jìn)行HDFS集群的相關(guān)操作，包括HDFS的安裝部署和配置，并且懂得查看HDFS的WebUI界面和上傳文件到HDFS。但在部署之前需要安裝好HDFS的運(yùn)行前提環(huán)境JDK，然后再在master上部署NameNode服務(wù)，在slave上部署DataNode服務(wù)。3.實(shí)訓(xùn)要求以小組為單元進(jìn)行實(shí)訓(xùn)，每小組5人，小組自協(xié)商選一位組長(zhǎng)，由組長(zhǎng)安排和分配實(shí)訓(xùn)任務(wù)，具體參考實(shí)訓(xùn)操作環(huán)節(jié)。4.準(zhǔn)備知識(shí)（1）HDFS內(nèi)容回顧①分布式文件系統(tǒng)分布式文件系統(tǒng)是指文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。該系統(tǒng)架構(gòu)于網(wǎng)絡(luò)之上，勢(shì)必會(huì)引入網(wǎng)絡(luò)編程的復(fù)雜性，因此分布式文件系統(tǒng)比普通磁盤(pán)文件系統(tǒng)更為復(fù)雜。②HDFS架構(gòu)HDFS為大數(shù)據(jù)平臺(tái)其它所有組件提供了基本的存儲(chǔ)功能。它具有高容錯(cuò)、高可靠、可擴(kuò)展、高吞吐率等特征，為大數(shù)據(jù)存儲(chǔ)和處理提供了強(qiáng)大的底層存儲(chǔ)架構(gòu)。HDFS是一個(gè)主從結(jié)構(gòu)的分布式文件系統(tǒng)，具有分布式存儲(chǔ)的特點(diǎn)，HDFS集群擁有一個(gè)NameNode和多個(gè)DataNode，NameNode管理文件系統(tǒng)的元數(shù)據(jù)，DataNode存儲(chǔ)實(shí)際的數(shù)據(jù)。從用戶的角度來(lái)看，其與傳統(tǒng)的文件系統(tǒng)類似，可通過(guò)目錄路徑對(duì)其上的文件執(zhí)行增刪改查操作。由于是分布式存儲(chǔ)，所以HDFS集群除了擁有一個(gè)NameNode，還有多個(gè)DataNode，NameNode管理著文件系統(tǒng)的元數(shù)據(jù)，DataNode存儲(chǔ)實(shí)際的數(shù)據(jù)。HDFS開(kāi)放文件系統(tǒng)的命名空間以便用戶以文件形式存儲(chǔ)數(shù)據(jù)，秉承“一次寫(xiě)入、多次讀取”的原則。客戶端通過(guò)NameNode和DataNode的交互訪問(wèn)文件系統(tǒng)，聯(lián)系NameNode以獲取文件的元數(shù)據(jù)，而真正的文件I/O操作是直接和DataNode進(jìn)行交互的。（2）HDFS基本命令HDFS的基本命令與Linux的命令非常相似，可以結(jié)合Linux的命名進(jìn)行對(duì)比學(xué)習(xí)。HDFS基本命令格式如下（cmd為具體的操作，args為參數(shù)）：hdfsdfs-cmdargs部分HDFS命令示例如下：hdfsdfs-mkdir/user/trunk#建立目錄/user/trunkhdfsdfs-ls/user#查看/user目錄下的目錄和文件hdfsdfs-lsr/user#遞歸查看/user目錄下的目錄和文件hdfsdfs-puttest.txt/user/trunk#上傳test.txt文件至/user/trunkhdfsdfs-get/user/trunk/test.txt#獲取/user/trunk/test.txt文件hdfsdfs-cat/user/trunk/test.txt#查看/user/trunk/test.txt文件內(nèi)容hdfsdfs-tail/user/trunk/test.txt#查看/user/trunk/test.txt文件的最后1000行hdfsdfs-rm/user/trunk/test.txt#刪除/user/trunk/test.txt文件hdfsdfs-helpls#查看ls命令的幫助文檔5.實(shí)訓(xùn)操作（1）安裝包準(zhǔn)備①下載好的JDK和Hadoop的安裝包，可以直接使用MobaXterm工具上傳安裝包到各個(gè)節(jié)點(diǎn)。點(diǎn)擊MobaXterm軟件左側(cè)的sftp可以進(jìn)入傳輸文件頁(yè)面，點(diǎn)擊下方的“跟隨終端文件夾”可以讓顯示的內(nèi)容跟隨操作的路徑。如圖2-30所示。圖2-30切換到上傳文件頁(yè)面②將需要上傳的軟件拖拉到MobaXterm窗口空白處，如圖2-所示。圖2-30上傳JDK與Hadoop安裝包到master等待軟件上傳完后，繼續(xù)往下操作。JDK安裝配置三臺(tái)節(jié)點(diǎn)均操作①將JDK移動(dòng)到指定文件夾放置好，如圖2-31所示。mkdirpackagemvhadoop-3.3.4.tar.gzjdk-8u161-linux-x64.tar.gzpackage/cdpackage/ll②創(chuàng)建/opt/software文件夾放置需要安裝的軟件，然后解壓JDKmkdir/opt/softwaretar-zxvfjdk-8u161-linux-x64.tar.gz-C/opt/software/解壓好后，如圖2-所示。③需要配置環(huán)境變量（本次實(shí)訓(xùn)在/etc/profile文件中配置），如圖2-33所示。vim/etc/profileexportJAVA_HOME=/opt/software/jdk1.8.0_161exportPATH=$PATH:$JAVA_HOME/bin圖2-33配置環(huán)境變量注意：添加配置的位置是文件最后一行。③配置好后，需要使環(huán)境變量在當(dāng)前會(huì)話生效，如圖2-34所示。source/etc/profile圖2-34使配置環(huán)境生效④校驗(yàn)是否設(shè)置成功，可以查看到JDK的版本號(hào)，如圖2-35所示。java-version注意：三臺(tái)節(jié)點(diǎn)均需要安裝JDK。（3）HDFS相關(guān)配置①解壓Hadoop包文件至/opt/software目錄，然后查看是否解壓成功。如圖2-36所示。tar-zxvfhadoop-3.3.4.tar.gz-C/opt/software/圖2-36查看是否解壓成功②修改HDFS配置文件設(shè)置JDK安裝目錄編輯文件“/opt/software/hadoop-3.3.4/etc/hadoop/hadoop-env.sh”cd/opt/software/hadoop-3.3.4/etc/hadoopvimhadoop-env.sh找到如下一行：#exportJAVA_HOME=在其下方添加內(nèi)容：exportJAVA_HOME=/opt/software/jdk1.8.0_161操作結(jié)果如圖2-37所示。圖2-37設(shè)置JAVA_HOME此處的“/opt/software/jdk1.8.0_161”即是JDK安裝位置，如果不同，請(qǐng)根據(jù)實(shí)際情況更改。指定HDFS主節(jié)點(diǎn)編輯文件為“/opt/software/hadoop-3.3.4/etc/hadoop/core-site.xml”，修改編輯文件：vimcore-site.xml將如下內(nèi)容添加到最后兩行的<configuration></configuration>標(biāo)簽之間： <property> <name>hadoop.tmp.dir</name> <value>/opt/software/hadoop/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://master:8020</value> </property>位置如圖2-38所示。圖2-38配置core-site.xml指定HDFS相關(guān)配置編輯文件為“/opt/software/hadoop-3.3.4/etc/hadoop/hdfs-site.xml”，將指定HDFS集群存儲(chǔ)的副本系數(shù)、Namenode元數(shù)據(jù)和DataNode數(shù)據(jù)的存儲(chǔ)位置、，修改編輯文件：vimhdfs-site.xml將如下內(nèi)容添加到最后兩行的<configuration></configuration>標(biāo)簽之間： <property> <name>.dir</name> <value>/opt/software/hadoop-3.3.4/dfs/name</value><description>Namenode元數(shù)據(jù)存儲(chǔ)位置</description> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/software/hadoop-3.3.4/dfs/data</value><description>DataNode數(shù)據(jù)存儲(chǔ)位置</description> </property> <property> <name>dfs.replication</name> <value>2</value><description>塊存儲(chǔ)的副本系數(shù)</description> </property> <property> <name>node.secondary.http-address</name> <value>master:9868</value><description>SecondaryNameNode地址</description> </property><property><name>dfs.webhdfs.enabled</name><value>true</value><description>開(kāi)啟webhdfs服務(wù)</description></property>指定HDFS從節(jié)點(diǎn)編輯worker文件，路徑為“/opt/software/hadoop-3.3.4/etc/hadoop/workers”文件夾里，將slave節(jié)點(diǎn)的文件名加入此文件中，本實(shí)訓(xùn)的slave節(jié)點(diǎn)為slave1和slave2，所以添加的內(nèi)容為slave1和slave2：vimworkersslave1slave2注意：①原本文件中默認(rèn)有l(wèi)ocalhost，記得刪除掉。②此文件中不要包含多余的空行或者空格。最終配置內(nèi)容如圖2-39所示。圖2-39查看workers文件內(nèi)容（4）拷貝master上的配置文件到slave1、slave2在master機(jī)上執(zhí)行下列命令，將配置好的hadoop文件目錄拷貝至slave1、slave2。本實(shí)訓(xùn)使用附錄中提供的腳本實(shí)現(xiàn)拷貝操作，可以查看后面的附錄內(nèi)容。~/shell/scp_call.sh/opt/software/hadoop-3.3.4/拷貝結(jié)束后，slave1和slave2節(jié)點(diǎn)將會(huì)有相應(yīng)的文件目錄。如圖2-、圖2-所示。圖2-39查看slave1節(jié)點(diǎn)文件夾圖2-39查看slave2節(jié)點(diǎn)文件夾（5）啟動(dòng)HDFS①配置環(huán)境變量為了方便方便后面操作，可以先將Hadoop主目錄下的bin和sbin目錄配上環(huán)境變量。vim/etc/profileexportHADOOP_HOME=/opt/software/hadoop-3.3.4exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin同時(shí)，Hadoop3.3.4版本對(duì)用戶做了限制，所以還需要添加定義用戶的變量。exportHDFS_NAMENODE_USER=rootexportHDFS_DATANODE_USER=rootexportHDFS_SECONDARYNAMENODE_USER=rootexportYARN_RESOURCEMANAGER_USER=rootexportYARN_NODEMANAGER_USER=root最終配置結(jié)果如圖2-所示：最后還需要使環(huán)境變量在當(dāng)前會(huì)話生效。source/etc/profile為了方便操作，可以拷貝master上的環(huán)境變量文件到slave1、slave2節(jié)點(diǎn)。在master節(jié)點(diǎn)執(zhí)行：~/shell/scp_call.sh/etc/profile拷貝完成后，需要在slave1、slave2節(jié)點(diǎn)上執(zhí)行source操作。②格式化HDFS首次使用HDFS需要先進(jìn)行格式化，可以在/opt/software/hadoop-3.3.4/bin目錄執(zhí)行格式化命令。在master節(jié)點(diǎn)執(zhí)行：hdfsnamenode-format如果沒(méi)有發(fā)生意外，則會(huì)提示格式化成功，并且NameNode元數(shù)據(jù)的存儲(chǔ)位置是hdfs-site.xml配置文件中指定的位置。如圖2-40所示。圖2-40格式化HDFS成功標(biāo)識(shí)③啟動(dòng)HDFS在master節(jié)點(diǎn)執(zhí)行，如圖2-41所示。start-dfs.sh圖2-41啟動(dòng)HDFS④通過(guò)查看進(jìn)程的方式驗(yàn)證HDFS啟動(dòng)成功分別在master、slave1、slave2三臺(tái)機(jī)器上執(zhí)行jps命令，查看HDFS服務(wù)是否已經(jīng)啟動(dòng)。若啟動(dòng)成功，在master上會(huì)看到相應(yīng)的NameNode、SecondaryNameNode進(jìn)程信息。如圖2-42所示。圖2-42查看master進(jìn)程在slave1、slave2上會(huì)看到相應(yīng)的DataNode進(jìn)程信息。如圖2-43、圖2-44所示。圖2-43查看slave1進(jìn)程圖2-44查看slave2進(jìn)程此操作也可以使用提供的腳本文件進(jìn)行查看，結(jié)果如圖2-所示。~/shell/jps_all.sh圖2-44使用腳本查看進(jìn)程相關(guān)腳本請(qǐng)查看附錄的jps_all.sh內(nèi)容。（6）通過(guò)Shell指令上傳文件到HDFS①新建一個(gè)測(cè)試文件在master節(jié)點(diǎn)上執(zhí)行，效果如圖2-所示：mkdir/root/datascd/root/datasecho123>>data.txt②上傳data.txt文件到HDFS集群，如圖2-45所示：hdfsdfs-put/root/datas/data.txt/hdfsdfs-ls/圖2-45上傳文件到HDFS③查看WebUI頁(yè)面在瀏覽器中打開(kāi)master的ip地址加端口：31:9870格式：master的ip:9870。如圖2-46所示。圖2-46查看WebUI界面點(diǎn)擊WebUI界面上方菜單欄的“Utilities”，選擇“Browsethefilesystem”，可以看到上傳到HDFS集群根路徑的data.txt文件。如圖2-47所示。圖2-47查看HDFS的文件接著，可以