單元2 任務2-2 啟動與訪問Hadoo

《大數據平臺部署與運維》單元2Hadoop偽分布式安裝部署2-2啟動與訪問Hadoop01Hadoop啟動關閉等操作命令02基于WebUI監(jiān)控Hadoop平臺學習目標啟動與訪問Hadoop【任務場景】經理：小張，Hadoop平臺搭建的怎么了？在搭建過程中有沒有遇到問題？小張：經理，Hadoop平臺搭建好了，這次搭建的是偽分布式模式的，部署在了單節(jié)點。經理：好，那你啟動訪問一下，向我們大家展示一下Hadoop的相關使用，并介紹下HadoopWebUI監(jiān)控頁面。小張：好的，經理。啟動與訪問Hadoop【任務布置】在上一個任務中，我們已經在單節(jié)點上部署了Hadoop的偽分布式模式，但是并沒有進行啟動測試。本次任務要格式化NameNode并啟動Hadoop。掌握Hadoop相關啟動命令，知道Hadoop常見問題處理方法，了解HadoopUI監(jiān)控相關功能，為后續(xù)生產環(huán)境下部署Hadoop分布式集群打下基礎。Hadoop啟動關閉等操作命令Hadoop啟動關閉等操作命令命令功能sbin/start-all.sh啟動所有的Hadoop守護進程。包括NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManagersbin/stop-all.sh停止所有的Hadoop守護進程。包括NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManagersbin/start-dfs.sh啟動HadoopHDFS守護進程NameNode、SecondaryNameNode、DataNodesbin/stop-dfs.sh停止HadoopHDFS守護進程NameNode、SecondaryNameNode和DataNodesbin/hadoop-daemons.shstartnamenode單獨啟動NameNode守護進程sbin/hadoop-daemons.shstopnamenode單獨停止NameNode守護進程sbin/hadoop-daemons.shstartdatanode單獨啟動DataNode守護進程sbin/hadoop-daemons.shstopdatanode單獨停止DataNode守護進程sbin/hadoop-daemons.shstartsecondarynamenode單獨啟動SecondaryNameNode守護進程sbin/hadoop-daemons.shstopsecondarynamenode單獨停止SecondaryNameNode守護進程sbin/start-yarn.sh啟動ResourceManager、NodeManagersbin/stop-yarn.sh停止ResourceManager、NodeManagersbin/yarn-daemon.shstartresourcemanager單獨啟動ResourceManagersbin/yarn-daemons.shstartnodemanager單獨啟動NodeManagersbin/yarn-daemon.shstopresourcemanager單獨停止ResourceManagersbin/yarn-daemons.shstopnodemanager單獨停止NodeManager基于WebUI監(jiān)控Hadoop平臺基于WebUI監(jiān)控Hadoop平臺1.HDFSUI監(jiān)控在任務2.1中，我們在hdfs-site.xml中配置HDFS的監(jiān)控頁面的地址為：localhost:50070，可以通過50070端口訪問到HDFS的監(jiān)控頁面?；赪ebUI監(jiān)控Hadoop平臺（1）標題欄：名稱含義Overview集群概述Datanode數據節(jié)點datanode-volume-failures數據節(jié)點卷故障snapshot快照startup-progress啟動進度（2）概述：名稱含義Started啟動時間Version版本號Compiled編譯信息ClusterID群集IDBlockPoolID塊池ID基于WebUI監(jiān)控Hadoop平臺（3）總結：名稱含義Safemodeisoff安全模式已關閉Securityisoff安全關閉ConfiguredCapacity集群配置的總的容量configuredRemoteCapacity配置遠程容量DFSUsed已使用的DFS集群總量NonDFSUsed已使用的非DFS的量DFSRemainingDFS未使用（剩余）的容量BlockPoolUsed數據塊使用的量DataNodesusages%(Min/Median/Max/stdDev)數據節(jié)點使用率（最小值/中間值/最大值/標準偏差）LiveNodes存活的節(jié)點（活動節(jié)點）DeadNodes宕機的節(jié)點（死節(jié)點）DecommissioningNodes已停用節(jié)點EnteringMaintenanceNodes進入維護節(jié)點TotalDatanodeVolumeFailures數據節(jié)點卷失敗的總數NumberofUnder-ReplicatedBlocks復制不足的塊數NumberofBlocksPendingDeletion掛起刪除的塊數BlockDeletionStartTime塊刪除的開始時間LastCheckpointTime上次檢查點時間基于WebUI監(jiān)控Hadoop平臺（4）JournalNode：名稱含義JournalManagerJournalNode存儲EditLog數據的路徑StateJournalNode存儲EditLog數據的文件名（5）NameNode存儲：名稱含義StorageDirectoryNameNode存儲的路徑Type類型State狀態(tài)（6）DFS存儲類型：名稱含義StorageType集群存儲類型ConfiguredCapacity配置容量CapacityUsed使用的容量CapacityRemaining剩余容量BlockPoolUsed使用的塊池NodesInService服務中的節(jié)點基于WebUI監(jiān)控Hadoop平臺（7）DataNode信息：名稱含義Datanodeusagehistogram數據節(jié)點使用率柱狀圖DiskusageofeachDataNode(%)每個數據節(jié)點磁盤使用率（%）Inoperation運行中的節(jié)點（8）進入維護的節(jié)點列表（9）退役的節(jié)點列表基于WebUI監(jiān)控Hadoop平臺（10）快照名稱含義SnapshotSummary快照摘要Snapshottabledirectories快照目錄列表Snapshotteddirectories已創(chuàng)建的快照目錄（11）HDFS存儲系統的可視化瀏覽基于WebUI監(jiān)控Hadoop平臺（12）組件日志Utilities->Logs基于WebUI監(jiān)控Hadoop平臺2.MapReduceUI監(jiān)控對于開發(fā)、測試集群運行程序的開發(fā)人員來說，剛剛接觸MapReduce的初學者往往是在命令行前等著程序執(zhí)行完成，遇到運行緩慢、出現報錯很難做出有效的響應。本文希望通過對Yarn原生UI等監(jiān)控手段的介紹，能使讀者對MapReduce進行有效監(jiān)控。MapReduceUI監(jiān)控頁面默認端口為8088，我們可以通過localhost:8088來訪問?；赪ebUI監(jiān)控Hadoop平臺（1）左側菜單欄-Cluster——About：RM狀態(tài)版本等信息——Nodes：NM列表及狀態(tài)和屬性——Applications：任務列表及狀態(tài)和屬性（常用！）————NEW、NEW_SAVING……：篩選不同狀態(tài)任務——Scheduler：資源隊列列表和狀態(tài)-Tools——Configuration：yarn配置——Locallogs：本地日志——Serverstacks：堆?！猄ervermetrics：指標ClusterMetrics（集群指標）名稱解釋AppsSubmitted應用程序提交Appspending應用程序掛起AppsRunning應用程序運行AppsCompleted應用程序完成ContainersRunning容器運行MemoryUsed內存使用Memorytotal總內存MemoryReserved保留內存VCoresUsed已使用核心數VCorestotal全部核心數VCoresReserved保留核心數ActiveNodes活躍的節(jié)點DecommissionedNodes退役的節(jié)點LostNodes剔除的節(jié)點UnhealthyNodes不健康的節(jié)點RebootedNodes重啟節(jié)點基于WebUI監(jiān)控Hadoop平臺SchedulerMetrics（調度器指標）名稱解釋SchedulerType調度程序類型SchedulingResourceType調度資源類型MininumAllocation最低限度的分配MaximumAllocation最高限度的分配任務列表名稱解釋ID序號User用戶Name任務名稱ApplicationType應用程序類型Queue隊列StartTime開始時間FinishTime完成時間State狀態(tài)FinalStatus最終狀態(tài)Progress進度TrackingUI進一步監(jiān)控的入口BlacklistedNodes黑名單啟動與訪問Hadoop【工作流程】啟動與訪問Hadoop基本工作流程包括：1. 格式化HDFS2. 啟動偽分布Hadoop通過WebUI監(jiān)控Hadoop平臺搭建Hadoop偽分布式【操作步驟】格式化HDFS

[root@localhost/]#hdfsnamenode-format2021-11-1821:25:09,514INFOnamenode.NameNode:STARTUP_MSG:/************************************************************STARTUP_MSG:StartingNameNodeSTARTUP_MSG:host=node1.host/73STARTUP_MSG:args=[-format]STARTUP_MSG:version=3.1.1STARTUP_MSG:classpath=.............../************************************************************SHUTDOWN_MSG:ShuttingdownNameNodeathostname.host/73************************************************************/當輸出內容中無報錯信息并且最后輸出如下信息時，表示格式化成功搭建Hadoop偽分布式驗證是否啟動成功[root@localhost/]#start-all.shStartingnamenodeson[localhost]Lastlogin:二11月1611:21:36CST2021onpts/0StartingdatanodesLastlogin:二11月1611:33:29CST2021onpts/0Startingsecondarynamenodes[node1.host]Lastlogin:二11月1611:33:33CST2021onpts/0node1.host:Warning:PermanentlyaddedtheECDSAhostkeyforIPaddress'73'tothelistofknownhosts.2021-11-1611:33:41,968WARNutil.NativeCodeLoader:Unable