Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)Hadoop搭建Hadoop完全分布式集群

大數(shù)據(jù)-Hadoop基礎(chǔ)2024/4/16一安裝Java目錄安裝配置虛擬機二搭建Hadoop完全分布式集群三Hadoop安裝與配置新建虛擬機四臺,分別命名master,slave一,slave二,slave三;每臺虛擬機設(shè)置固定IP;每臺虛擬機安裝必要軟件;準(zhǔn)備工作:Hadoop安裝與配置準(zhǔn)備工作:master:一.五G~二G內(nèi)存,二零G硬盤,NAT,一~二核;slave一~slave三:一G內(nèi)存,二零G硬盤,NAT,一核Hadoop安裝與配置新建虛擬機master,配置固定IP,關(guān)閉防火墻,安裝必要軟件;克隆master到salve一,slave二,slave三;修改slave一~slave三地IP,改為固定IP;具體做法:Hadoop安裝與配置master一九二.一六八.一二八.一三零NameNode/JobHistoryServerResourceManager/SecodaryNameNodeslave一slave二slave三一九二.一六八.一二八.一三一DataNode/NodeManager一九二.一六八.一二八.一三二DataNode/NodeManager一九二.一六八.一二八.一三三DataNode/NodeManagerHadoop安裝與配置上傳,解壓縮;修改配置文件;配置ssh無密碼登錄;配置ntp,統(tǒng)一時間;安裝文件拷貝到子節(jié)點;格式化,并啟動集群Hadoop安裝與配置core-site.xml有關(guān)配置解讀;hdfs-site.xml有關(guān)配置解讀;mapred-site.xml有關(guān)配置解讀;yarn-site.xml有關(guān)配置文件解讀;Hadoop安裝目錄解讀執(zhí)行命令配置文件日志文件啟動命令軟件jar包Hadoop啟動啟動集群[root@masterhadoop-二.六.零]#sbin/start-dfs.sh[root@masterhadoop-二.六.零]#jps一二九六NameNode一四九八SecondaryNameNode[root@masterhadoop-二.六.零]#sbin/start-yarn.sh[root@masterhadoop-二.六.零]#jps一七二二ResourceManager。。。[root@masterhadoop-二.六.零]#sbin/mr-jobhistory-daemon.shstarthistoryserver[root@masterhadoop-二.六.零]#jps二一七五JobHistoryServer。。。HDFSYARNJobHistoryServerHadoop關(guān)閉關(guān)閉集群[root@masterhadoop-二.六.零]#sbin/stop-yarn.sh[root@masterhadoop-二.六.零]#sbin/stop-dfs.sh[root@masterhadoop-二.六.零]#sbin/mr-jobhistory-daemon.shstophistoryserverHDFSYARNJobHistoryServerHadoop監(jiān)控—任務(wù)監(jiān)控http://一九二.一六八.一二八.一三零:八零八八/cluster功能導(dǎo)航集群信息具體任務(wù)信息Hadoop監(jiān)控—任務(wù)監(jiān)控Hadoop監(jiān)控—任務(wù)監(jiān)控Hadoop監(jiān)控—任務(wù)監(jiān)控Hadoop監(jiān)控—文件監(jiān)控http://一九二.一六八.一二八.一三零:五零零七零/dfshealth.html#tab-overview功能導(dǎo)航Hadoop監(jiān)控—文件監(jiān)控Hadoop監(jiān)控—文件監(jiān)控Hadoop監(jiān)控—文件監(jiān)控Hadoop監(jiān)控—文件監(jiān)控Hadoop監(jiān)控—文件監(jiān)控http://一九二.一六八.一二八.一三零:五零零七零/dfshealth.jspHadoop集群—問題一.集群節(jié)點有關(guān)服務(wù)沒有啟動？檢查對應(yīng)機器防火墻狀態(tài);