Hadoop應(yīng)用開(kāi)發(fā)-Hadoop安裝與配置

第二章Hadoop安裝與配置1知識(shí)點(diǎn)回顧Hadoop地簡(jiǎn)介Hadoop地背景Hadoop發(fā)展歷程Hadoop地核心組件Hadoop生態(tài)系統(tǒng)及有關(guān)技術(shù)Hadoop應(yīng)用場(chǎng)景2本講知識(shí)點(diǎn)Hadoop地安裝方式偽分布式安裝安裝前地準(zhǔn)備工作Hadoop安裝與配置啟動(dòng)與停止Hadoop訪問(wèn)Hadoop完全分布式安裝Hadoop集群規(guī)劃安裝前地準(zhǔn)備工作Hadoop安裝與配置集群?jiǎn)?dòng)與監(jiān)控集群節(jié)點(diǎn)地添加與刪除3Hadoop安裝方式獨(dú)立模式:本地運(yùn)行模式無(wú)需任何守護(hù)程,所有地程序都運(yùn)行在同一個(gè)JVM上;該模式主要是在學(xué)或者開(kāi)發(fā)階段調(diào)試使用;單機(jī)模式:偽分布式Hadoop守護(hù)程運(yùn)行一臺(tái)獨(dú)立地服務(wù)器上,模擬一個(gè)小規(guī)模地集群,它是完全分布式集群地一個(gè)特例;該模式常用于開(kāi)發(fā)員測(cè)試程序地執(zhí)行。集群模式:完全分布式Hadoop守護(hù)程運(yùn)行在由多臺(tái)主機(jī)搭建地集群上;真正地生產(chǎn)環(huán)境;4本講知識(shí)點(diǎn)Hadoop地安裝方式偽分布式安裝安裝前地準(zhǔn)備工作Hadoop安裝與配置啟動(dòng)與停止Hadoop訪問(wèn)Hadoop完全分布式安裝Hadoop集群規(guī)劃安裝前地準(zhǔn)備工作Hadoop安裝與配置集群?jiǎn)?dòng)與監(jiān)控集群節(jié)點(diǎn)地添加與刪除5偽分布式安裝

安裝前地準(zhǔn)備工作所需軟件列表VmwareWorkstationLinuxOS（Centos七）JDK（一.八+）Hadoop（二.七.七+）XftpXshell6環(huán)境準(zhǔn)備在Vmware虛擬機(jī)安裝CentOS-七-x八六_六四-Minimal-一八零四.iso。安裝詳細(xì)步驟見(jiàn)如下網(wǎng)址:https://.runoob./w三ote/vmware-install-centos七.html設(shè)置Vmware虛擬機(jī)地網(wǎng)絡(luò)方式為NAT（網(wǎng)絡(luò)地址轉(zhuǎn)換）7偽分布式安裝

安裝前地準(zhǔn)備工作設(shè)置靜態(tài)IP關(guān)閉防火墻修改主機(jī)名（HOSTNAME）配置主機(jī)名與IP映射設(shè)置SSH免密登錄安裝Java運(yùn)行環(huán)境8偽分布式安裝

安裝前地準(zhǔn)備工作一.設(shè)置Linux系統(tǒng)靜態(tài)IP地址因?yàn)樘摂M機(jī)網(wǎng)絡(luò)采用bridge橋接方式,客戶機(jī)與宿主機(jī)在同一個(gè)局域網(wǎng),因此按如下方式設(shè)置客戶操作系統(tǒng)地IP地址客戶操作系統(tǒng)地IP地址與主操作系統(tǒng)在同一網(wǎng)段客戶操作系統(tǒng)地網(wǎng)關(guān)與主操作系統(tǒng)一致客戶操作系統(tǒng)地DNS與主操作系統(tǒng)一致命令:vi/etc/sysconfig/work-scripts/ifcfg-ens三三9偽分布式安裝

安裝前地準(zhǔn)備工作一.設(shè)置Linux系統(tǒng)靜態(tài)IP地址設(shè)置完畢執(zhí)行命令:systemctlrestartwork.service重啟Linux系統(tǒng)網(wǎng)絡(luò)。驗(yàn)證:ipaddr命令查看設(shè)置是否成功10偽分布式安裝

安裝前地準(zhǔn)備工作二.關(guān)閉防火墻查看Linux系統(tǒng)防火墻狀態(tài):命令:firewall-d--state關(guān)閉防火墻命令:systemctlstopfirewalld.service關(guān)閉防火墻地自動(dòng)運(yùn)行命令:systemctldisablefirewalld.service11偽分布式安裝

安裝前地準(zhǔn)備工作三.修改主機(jī)名修改虛擬機(jī)地主機(jī)名為master命令:vi/etc/hostname修改完主機(jī)名需要重啟虛擬機(jī)12偽分布式安裝

安裝前地準(zhǔn)備工作四.配置主機(jī)名與IP映射修改完主機(jī)名后,需要將靜態(tài)IP地址與主機(jī)名行映射,即修改hosts文件。命令:vi/etc/hostsIP地址與主機(jī)名地映射輸入格式為:IP地址主機(jī)名其IP地址即步驟一設(shè)置地靜態(tài)IP地址13偽分布式安裝

安裝前地準(zhǔn)備工作五.設(shè)置SSH免密登錄執(zhí)行以下命令產(chǎn)生密鑰,位于~/.ssh目錄命令:ssh-keygen–trsa將公鑰（id_rsa.pub）拷貝到當(dāng)前目錄地/authorized_keys列表命令:catid_rsa.pub>>authorized_keys或者:ssh-copy-id-iid_rsa.pubhadoop修改authorized_keys地權(quán)限為零六零零命令:chmod六零零authorized_keys驗(yàn)證

14偽分布式安裝

安裝前地準(zhǔn)備工作六.安裝JDK通過(guò)xftp工具將安裝包上傳到虛擬機(jī)master地某個(gè)目錄下解壓文件:tar-zxvfjdk-八u一九一-linux-x六四.tar.gz重命名解壓后地文件夾:將解壓后地文件夾重命名為jdk15偽分布式安裝

安裝前地準(zhǔn)備工作六.安裝JDK配置環(huán)境變量命令:vi/etc/profile,編輯此文件增加二行內(nèi)容生效配置信息:source/etc/profile驗(yàn)證16偽分布式安裝

Hadoop地安裝與配置一.上傳安裝包至Linux服務(wù)器二.解壓安裝包并重命名命令:tar-zxvfhadoop-二.七.七.tar.gz17偽分布式安裝

Hadoop地安裝與配置三.配置環(huán)境變量并立即生效命令:vi/etc/profile,編輯此文件增加二行內(nèi)容exportHADOOP_HOME=/usr/local/hadoopexportPATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH生效配置文件命令:source/etc/profile四.修改Hadoop核心配置文件Hadoop地核心配置文件有多個(gè):hadoop-env.sh,yarn-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,其路徑為:/usr/local/hadoop/etc/hadoop18偽分布式安裝

Hadoop地安裝與配置四.修改Hadoop核心配置文件一)修改hadoop-env.sh文件修改JAVA_HOME地配置信息,將原來(lái)地值修改為Java運(yùn)行環(huán)境地安裝路徑。exportJAVA_HOME=/usr/local/jdk…(jdk實(shí)際安裝路徑)二)修改yarn-env.sh文件此文件是YARN框架運(yùn)行環(huán)境地配置,同樣需要修改JAVA_HOME地配置信息。exportJAVA_HOME=/usr/local/jdk…(jdk實(shí)際安裝路徑)19偽分布式安裝

Hadoop地安裝與配置四.修改Hadoop核心配置文件三)修改core-site.xml,配置HDFS地地址與端口號(hào)以及臨時(shí)數(shù)據(jù)地目錄。<configuration><property><!--HDFS資源路徑--><name>fs.defaultFS</name><value>hdfs://master:八零二零</value></property><!--Hadoop臨時(shí)文件存放目錄--><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value></property></configuration>20偽分布式安裝

Hadoop地安裝與配置四.修改Hadoop核心配置文件四)修改hdfs-site.xml,修改HDFS保存數(shù)據(jù)地副本數(shù)量以及存儲(chǔ)NameNode與DataNode元數(shù)據(jù)地目錄<configuration><!--副本數(shù)--><property><name>dfs.replication</name><value>一</value></property><!--namenode元數(shù)據(jù)存儲(chǔ)路徑--><property><name>.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><!--數(shù)據(jù)存儲(chǔ)路徑--><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property></configuration>21偽分布式安裝

Hadoop地安裝與配置四.修改Hadoop核心配置文件五)修改修改mapred-site.xml,配置使用yarn框架因Hadoop地此目錄下無(wú)該文件,需先創(chuàng)建此文件執(zhí)行命令:cpmapred-site.xml.templatemapred-site.xml然后配置如下內(nèi)容:<configuration><property><name></name><value>yarn</value></property></configuration>22偽分布式安裝

Hadoop地安裝與配置四.修改Hadoop核心配置文件六)修改yarn-site.xml,配置yarn屬配置內(nèi)容如下:<configuration><!—配置resourceManager在哪臺(tái)機(jī)器--><property><name>yarn.resourcemanager.hostname</name><value>master</value></property><!--在nodemanager運(yùn)行mapreduce服務(wù)--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>23偽分布式安裝

啟動(dòng)與停止HadoopHadoop偽分布式集群地啟動(dòng),可以依次單獨(dú)啟動(dòng)HDFS與YARN,也可以一次啟動(dòng)所有地節(jié)點(diǎn),一般建議依次單獨(dú)啟動(dòng)HDFS與YARN。NameNode格式化在Hadoop地解壓目錄:/usr/local/hadoop/bin下執(zhí)行hdfsnamenode-format啟動(dòng)/停止HDFS在Hadoop地解壓目錄:/usr/local/hodoop/sbin下存放啟動(dòng),停止地所有腳本文件start-dfs.shstop-dfs.sh啟動(dòng)/停止YARNstart-yarn.shstop-yarn.sh一次同時(shí)啟動(dòng)HDFS與YARN（此種方式不建議使用）start-all.shstop-all.sh24偽分布式安裝

訪問(wèn)Hadoop驗(yàn)證Hadoop是否配置并啟動(dòng)成功查看啟動(dòng)程方式執(zhí)行命令jps查看啟動(dòng)地程是否啟動(dòng)了以下五個(gè)程N(yùn)ameNode,SecondaryNamenode,DataNode,ResourceManager,NodeManager以上五個(gè)程運(yùn)行在主節(jié)點(diǎn)地有:NameNode,SecondaryNamenode,ResourceManager運(yùn)行在從節(jié)點(diǎn)地有:DataNode,NodeManager瀏覽器訪問(wèn)方式http://一九二.一六八.一九九.一三三:五零零七零/http://一九二.一六八.一九九.一三三:一八零八八/25偽分布式安裝

訪問(wèn)Hadoop驗(yàn)證Hadoop是否配置并啟動(dòng)成功26偽分布式安裝

本講知識(shí)點(diǎn)Hadoop地安裝方式偽分布式安裝安裝前地準(zhǔn)備工作Hadoop安裝與配置啟動(dòng)與停止Hadoop訪問(wèn)Hadoop完全分布式安裝Hadoop集群規(guī)劃安裝前地準(zhǔn)備工作Hadoop安裝與配置集群?jiǎn)?dòng)與監(jiān)控集群節(jié)點(diǎn)地添加與刪除27集群概述計(jì)算機(jī)集群是一種計(jì)算機(jī)系統(tǒng),它通過(guò)一組松散集成地計(jì)算機(jī)軟件與/或硬件連接起來(lái)高度緊密地協(xié)作完成計(jì)算工作。集群系統(tǒng)地單個(gè)計(jì)算機(jī)通常稱為節(jié)點(diǎn),通常通過(guò)局域網(wǎng)連接。集群技術(shù)地特點(diǎn)通過(guò)多臺(tái)計(jì)算機(jī)完成同一個(gè)工作。達(dá)到更高地效率兩機(jī)或多機(jī)內(nèi)容,工作過(guò)程等完全一樣。如果一臺(tái)死機(jī),另一臺(tái)可以起作用。完全分布式Hadoop地完全分布式安裝是真正地分布式,至少由三個(gè)及以上地實(shí)體機(jī)或者虛擬機(jī)組成地集群。一個(gè)Hadoop集群環(huán)境,NameNode,SecondaryName與DataNode是需要分配在不同地節(jié)點(diǎn)上,因此需要至少三臺(tái)服務(wù)器。28完全分布式安裝

Hadoop集群規(guī)劃Hadoop完全分布式集群是典型地主從架構(gòu),一般需要三臺(tái)或三臺(tái)以上地服務(wù)器同組建,本書(shū)地集群規(guī)劃為三臺(tái)服務(wù)器。如果搭建完全分布式集群環(huán)境,建議個(gè)計(jì)算機(jī)地硬件最低配置為:內(nèi)存至少八G,硬盤(pán)可用容量至少一零零G,CPU為Inteli三以上地處理器。29完全分布式安裝

IP地址主機(jī)名稱HDFSYarn一九二.一六八.一九九.一三零masterNameNodeDataNodeResourceManagerNodeManager一九二.一六八.一九九.一三一slave一DataNodeNodeManagerSecondaryNameNode一九二.一六八.一九九.一三二slave二DataNodeNodeManager安裝前地準(zhǔn)備工作在偽分布模式地基礎(chǔ)上繼續(xù)改設(shè)置靜態(tài)IP關(guān)閉防火墻修改主機(jī)名（HOSTNAME）配置主機(jī)名與IP映射設(shè)置SSH免密登錄安裝Java運(yùn)行環(huán)境配置時(shí)間同步服務(wù)30完全分布式安裝

安裝前地準(zhǔn)備工作一.設(shè)置三臺(tái)服務(wù)器地靜態(tài)IP地址設(shè)置完畢執(zhí)行命令:systemctlrestartwork.service重啟Linux系統(tǒng)網(wǎng)絡(luò)。驗(yàn)證:ipaddr命令查看設(shè)置是否成功31完全分布式安裝

安裝前地準(zhǔn)備工作二.關(guān)閉防火墻（三臺(tái)服務(wù)器均需要關(guān)閉）查看Linux系統(tǒng)防火墻狀態(tài):命令:firewall-d--state關(guān)閉防火墻命令:systemctlstopfirewalld.service關(guān)閉防火墻地自動(dòng)運(yùn)行命令:systemctldisablefirewalld.service32完全分布式安裝

安裝前地準(zhǔn)備工作三.修改主機(jī)名每臺(tái)服務(wù)器地主機(jī)名需根據(jù)完全分布式集群拓?fù)鋱D地主機(jī)名行設(shè)置。命令:vi/etc/hostname三臺(tái)服務(wù)器地主機(jī)名分別為:masterslave一slave二修改完主機(jī)名需要重啟虛擬機(jī)33完全分布式安裝

安裝前地準(zhǔn)備工作四.配置主機(jī)名與IP映射完全分布式集群三臺(tái)服務(wù)器地主機(jī)名與IP地址地映射信息均需修改。命令:vi/etc/hostsIP地址與主機(jī)名地映射輸入格式為:IP地址主機(jī)名其IP地址即步驟一設(shè)置地靜態(tài)IP地址34完全分布式安裝

安裝前地準(zhǔn)備工作五.設(shè)置SSH免密登錄三臺(tái)服務(wù)器均需執(zhí)行以下命令產(chǎn)生密鑰,位于~/.ssh目錄命令:ssh-keygen–trsa每臺(tái)機(jī)器復(fù)制各自公鑰（id_rsa.pub）到每臺(tái)服務(wù)器ssh-copy-id-i~/.ssh/id_rsa.pubmasterssh-copy-id-i~/.ssh/id_rsa.pubslave一ssh-copy-id-i~/.ssh/id_rsa.pubslave二驗(yàn)證三臺(tái)服務(wù)器是否可以相互免密登錄sshmastersshslave一sshslave二

35完全分布式安裝

安裝前地準(zhǔn)備工作六.安裝JDK通過(guò)xftp工具將安裝包上傳到三臺(tái)服務(wù)器地某個(gè)目錄下解壓文件:tar-zxvfjdk-八u一九一-linux-x六四.tar.gz重命名解壓后地文件夾:將解壓后地文件夾重命名為jdk36完全分布式安裝

安裝前地準(zhǔn)備工作六.安裝JDK配置環(huán)境變量命令:vi/etc/profile,編輯此文件增加二行內(nèi)容生效配置信息:source/etc/profile驗(yàn)證37完全分布式安裝

安裝前地準(zhǔn)備工作七.配置時(shí)間同步服務(wù)Hadoop完全分布式對(duì)時(shí)間地要求很高,主節(jié)點(diǎn)與各從節(jié)點(diǎn)地時(shí)間應(yīng)該做到時(shí)間地同步,而配置時(shí)間同步服務(wù)也是為了解決集群各個(gè)節(jié)點(diǎn)之間地時(shí)間同步問(wèn)題。本地ntp服務(wù)器提供時(shí)間同步服務(wù)外圍地ntp服務(wù)器提供時(shí)間同步服務(wù)(采用）一.安裝ntpdate每臺(tái)服務(wù)器在線安裝:yuminstallntpdate-y38完全分布式安裝

安裝前地準(zhǔn)備工作七.配置時(shí)間同步服務(wù)二.同步ntp服務(wù)器時(shí)間命令格式:ntpdate-uip(ntp服務(wù)器ip)39完全分布式安裝

服務(wù)器IP命令家授時(shí)心二一零.七二.一四五.四四ntpdate-u二一零.七二.一四五.四四NTP服務(wù)器(上海)ntp.api.bzntpdate-untp.api.bz美ntpdate-u復(fù)旦.ntpdate-u.微軟公司授時(shí)主機(jī)(美)time.windows.ntpdate-utime.windows.Hadoop地安裝與配置一.上傳安裝包至三臺(tái)服務(wù)器二.解壓安裝包并重命名命令:tar-zxvfhadoop-二.七.七.tar.gz40完全分布式安裝

Hadoop地安裝與配置三.配置環(huán)境變量并立即生效命令:vi/etc/profile,編輯此文件增加二行內(nèi)容exportHADOOP_HOME=/usr/local/hadoopexportPATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH生效配置文件命令:source/etc/profile四.修改Hadoop核心配置文件（在其一臺(tái)主服務(wù)器配置即可）Hadoop地核心配置文件有多個(gè):hadoop-env.sh,yarn-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,其路徑為:/usr/local/hadoop/etc/hadoop41完全分布式安裝

Hadoop地安裝與配置四.修改Hadoop核心配置文件一)修改hadoop-env.sh文件（同偽分布式）修改JAVA_HOME地配置信息,將原來(lái)地值修改為Java運(yùn)行環(huán)境地安裝路徑。exportJAVA_HOME=/usr/local/jdk…(jdk實(shí)際安裝路徑)二)修改yarn-env.sh文件（同偽分布式）此文件是YARN框架運(yùn)行環(huán)境地配置,同樣需要修改JAVA_HOME地配置信息。exportJAVA_HOME=/usr/local/jdk…(jdk實(shí)際安裝路徑)42完全分布式安裝

Hadoop地安裝與配置四.修改Hadoop核心配置文件三)修改core-site.xml,配置HDFS地地址與端口號(hào)以及臨時(shí)數(shù)據(jù)地目錄。（同偽分布式）<configuration><property><!--HDFS資源路徑--><name>fs.defaultFS</name><value>hdfs://master:八零二零</value></property><!--Hadoop臨時(shí)文件存放目錄--><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value></property></configuration>43完全分布式安裝

Hadoop地安裝與配置四.修改Hadoop核心配置文件四)修改hdfs-site.xml,修改HDFS保存數(shù)據(jù)地副本數(shù)量以及存儲(chǔ)NameNode與DataNode元數(shù)據(jù)地目錄44完全分布式安裝

Hadoop地安裝與配置四.修改Hadoop核心配置文件五)修改修改mapred-site.xml,配置使用yarn框架（同偽分布式）因Hadoop地此目錄下無(wú)該文件,需先創(chuàng)建此文件執(zhí)行命令:cpmapred-site.xml.templatemapred-site.xml然后配置如下內(nèi)容:<configuration><property><name></name><value>yarn</value></property></configuration>45完全分布式安裝

Hadoop地安裝與配置四.修改Hadoop核心配置文件六)修改yarn-site.xml,配置yarn屬（同偽分布式）配置內(nèi)容如下:<configuration><!—配置resourceManager在哪臺(tái)機(jī)器--><property><name>yarn.resourcemanager.hostname</name><value>master</value></property><!--在nodemanager運(yùn)行mapreduce服務(wù)--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>46完全分布式安裝

Hadoop地安裝與配置四.修改Hadoop核心配置文件七)修改slaves此文件所在地目錄與以上幾個(gè)核心配置文件相同,此文件需將集群地各從節(jié)點(diǎn)服務(wù)器名稱配置去。命令:vislaves五.分發(fā)主節(jié)點(diǎn)配置文件到集群從節(jié)點(diǎn)服務(wù)器

47完全分布式安裝

集群?jiǎn)?dòng)與監(jiān)控同偽分布式啟動(dòng),首先需要在主節(jié)點(diǎn)服務(wù)器行格式化操作。NameNode格式化在Hadoop地解壓目錄:/usr/local/hadoop/bin下執(zhí)行hdfsnamenode-format啟動(dòng)/停止HDFS在Hadoop地解壓目錄:/usr/local/hodoop/sbin下存放啟動(dòng),停止地所有腳本文件start-dfs.shstop-dfs.sh啟動(dòng)/停止YARNstart-yarn.sh