Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)Hadoop搭建Hadoop完全分布式集群

大數(shù)據(jù)-Hadoop基礎(chǔ)2024/4/16一安裝Java目錄安裝配置虛擬機(jī)二搭建Hadoop完全分布式集群三Hadoop安裝與配置新建虛擬機(jī)四臺(tái),分別命名master,slave一,slave二,slave三;每臺(tái)虛擬機(jī)設(shè)置固定IP;每臺(tái)虛擬機(jī)安裝必要軟件;準(zhǔn)備工作:Hadoop安裝與配置準(zhǔn)備工作:master:一.五G~二G內(nèi)存,二零G硬盤,NAT,一~二核;slave一~slave三:一G內(nèi)存,二零G硬盤,NAT,一核Hadoop安裝與配置新建虛擬機(jī)master,配置固定IP,關(guān)閉防火墻,安裝必要軟件;克隆master到salve一,slave二,slave三;修改slave一~slave三地IP,改為固定IP;具體做法:Hadoop安裝與配置master一九二.一六八.一二八.一三零NameNode/JobHistoryServerResourceManager/SecodaryNameNodeslave一slave二slave三一九二.一六八.一二八.一三一DataNode/NodeManager一九二.一六八.一二八.一三二DataNode/NodeManager一九二.一六八.一二八.一三三DataNode/NodeManagerHadoop安裝與配置上傳,解壓縮;修改配置文件;配置ssh無密碼登錄;配置ntp,統(tǒng)一時(shí)間;安裝文件拷貝到子節(jié)點(diǎn);格式化,并啟動(dòng)集群Hadoop安裝與配置core-site.xml有關(guān)配置解讀;hdfs-site.xml有關(guān)配置解讀;mapred-site.xml有關(guān)配置解讀;yarn-site.xml有關(guān)配置文件解讀;Hadoop安裝目錄解讀執(zhí)行命令配置文件日志文件啟動(dòng)命令軟件jar包Hadoop啟動(dòng)啟動(dòng)集群[root@masterhadoop-二.六.零]#sbin/start-dfs.sh[root@masterhadoop-二.六.零]#jps一二九六NameNode一四九八SecondaryNameNode[root@masterhadoop-二.六.零]#sbin/start-yarn.sh[root@masterhadoop-二.六.零]#jps一七二二ResourceManager。。。[root@masterhadoop-二.六.零]#sbin/mr-jobhistory-daemon.shstarthistoryserver[root@masterhadoop-二.六.零]#jps二一七五JobHistoryServer。。。HDFSYARNJobHistoryServerHadoop關(guān)閉關(guān)閉集群[root@masterhadoop-二.六.零]#sbin/stop-yarn.sh[root@masterhadoop-二.六.零]#sbin/stop-dfs.sh[root@masterhadoop-二.六.零]#sbin/mr-jobhistory-daemon.shstophistoryserverHDFSYARNJobHistoryServerHadoop監(jiān)控—任務(wù)監(jiān)控http://一九二.一六八.一二八.一三零:八零八八/cluster功能導(dǎo)航集群信息具體任務(wù)信息Hadoop監(jiān)控—任務(wù)監(jiān)控Hadoop監(jiān)控—任務(wù)監(jiān)控Hadoop監(jiān)控—任務(wù)監(jiān)控Hadoop監(jiān)控—文件監(jiān)控http://一九二.一六八.一二八.一三零:五零零七零/dfshealth.html#tab-overview功能導(dǎo)航Hadoop監(jiān)控—文件監(jiān)控Hadoop監(jiān)控—文件監(jiān)控Hadoop監(jiān)控—文件監(jiān)控Hadoop監(jiān)控—文件監(jiān)控Hadoop監(jiān)控—文件監(jiān)控http://一九二.一六八.一二八.一三零:五零零七零/dfshealth.jspHadoop集群—問題一.集群節(jié)點(diǎn)有關(guān)服務(wù)沒有啟動(dòng)？檢查對(duì)應(yīng)機(jī)器防火墻狀態(tài);