《大數(shù)據(jù)平臺構(gòu)建》 課件 項(xiàng)目二、Hadoop集群完全分布式部署

0102目錄任務(wù)1規(guī)劃大數(shù)據(jù)平臺集群任務(wù)2基礎(chǔ)環(huán)境配置03任務(wù)3HDFS配置、啟動(dòng)與驗(yàn)證04任務(wù)4YARN配置、啟動(dòng)與驗(yàn)證任務(wù)1規(guī)劃大數(shù)據(jù)平臺集群1任務(wù)目標(biāo)1、能夠正確完成Hadoop完全分布式部署的節(jié)點(diǎn)服務(wù)器角色規(guī)劃表2、能夠正確下載Hadoop完全分布式部署離線安裝所需軟件3、能夠正確部署FTP服務(wù)器作為OpenEuler完整版的安裝資源庫4、能夠正確部署HTTP服務(wù)器作為OpenEuler完整版的安裝資源庫能力目標(biāo)1、了解Hadoop的四種部署模式2、熟悉Hadoop集群硬件架構(gòu)知識目標(biāo)4

知識準(zhǔn)備5一、Hadoop的四種部署模式獨(dú)立模式（LocalStandaloneMode）單機(jī)模式所有進(jìn)程在一臺機(jī)器的單個(gè)JVM上執(zhí)行偽分布式模式（Pseudo-DistributedMode）單機(jī)上運(yùn)行，使用分布式文件系統(tǒng)在一臺機(jī)器上的多進(jìn)程上運(yùn)行Hadoop的各個(gè)模塊完全分布式模式（Fully-DistributedMode）在多個(gè)節(jié)點(diǎn)上運(yùn)行，使用分布式文件系統(tǒng)Hadoop的守護(hù)進(jìn)程運(yùn)行在多個(gè)主機(jī)節(jié)點(diǎn)構(gòu)建的集群不同節(jié)點(diǎn)擔(dān)任不同角色高可用完全分布式模式（HighlyAvailableFully-DistributedMode）在完全分布式模式基礎(chǔ)上，引入HA機(jī)制，解決單點(diǎn)故障HA共享部署：NFS、QJM二、Hadoop集群硬件架構(gòu)6Hadoop集群遵循主從架構(gòu)，由一個(gè)或多個(gè)主節(jié)點(diǎn)（控制節(jié)點(diǎn)）和大量從節(jié)點(diǎn)組成，可以通過增減節(jié)點(diǎn)實(shí)現(xiàn)線性水平擴(kuò)展Hadoop包含三大組件：HDFS、YARN和MapReduce主講：方明清任務(wù)1規(guī)劃大數(shù)據(jù)平臺集群1思考：

1、Hadoop包含哪幾大組件？

2、Hadoop的每個(gè)組件包含哪些進(jìn)程？910任務(wù)實(shí)施一、Hadoop完全分布式部署的服務(wù)器角色規(guī)劃master（IP：29）配置：2CPU、2G內(nèi)存、20G硬盤slave1（IP：30）配置：2CPU、2G內(nèi)存、20G硬盤slave2（IP：31）配置：2CPU、2G內(nèi)存、20G硬盤NameNodeSecondaryNameNodeDataNodeDataNodeDataNodeResourceManagerNodeManagerNodeManagerNodeManagerJobHistoryServerHadoop完全分布式部署的服務(wù)器角色規(guī)劃二、Hadoop完全分布式部署的離線安裝所需軟件包下載11項(xiàng)目所需軟件下載清單官方下載網(wǎng)址Hadoop集群完全分布式部署OpenEuler22.03LTS（everything完整版）/zh//zh/OpenEuler22.03LTS（DVDISO版本）/zh//zh/SecureCRT8.7.3（試用）MobaXterm（免費(fèi)軟件）/products/securecrt//download.htmlJDK8https:///java/technologies/downloads/Hadoop3.3.4//docs/r3.3.4/離線安裝Hadoop集群所需要的軟件下載清單及官方下載網(wǎng)址主講：方明清任務(wù)1規(guī)劃大數(shù)據(jù)平臺集群1三、使用FTP服務(wù)器構(gòu)建OpenEuler完整版的軟件源倉庫14啟動(dòng)vsftpd服務(wù)虛擬機(jī)光驅(qū)使用ISO映像文件Linux中掛載虛擬機(jī)光驅(qū)驗(yàn)證FTP服務(wù)器匿名用戶訪問的默認(rèn)目錄是否同步更新在FTP服務(wù)器本機(jī)中創(chuàng)建軟件源倉庫進(jìn)行驗(yàn)證我們使用“項(xiàng)目一安裝環(huán)境準(zhǔn)備”

“任務(wù)四OpenEulerLinux操作系統(tǒng)基礎(chǔ)使用”中已經(jīng)創(chuàng)建好的FTP服務(wù)器來構(gòu)建OpenEuler完整版的軟件源倉庫。15三、使用FTP服務(wù)器構(gòu)建OpenEuler完整版的軟件源倉庫（續(xù)）1、啟動(dòng)vsftpd服務(wù)[root@host-serverftp]#systemctlstartvsftpd

#啟動(dòng)vsftpd服務(wù)[root@host-serverftp]#systemctlenable

vsftpd#開機(jī)自動(dòng)啟動(dòng)vsftpd服務(wù)[root@host-serverftp]#systemctlstatusvsftpd

#查看vsftpd服務(wù)狀態(tài)●vsftpd.service-VsftpdftpdaemonLoaded:loaded(/usr/lib/systemd/system/vsftpd.service;enabled;vendorpreset:disabled)Active:active(running)sinceTue2022-08-0209:52:04CST;10minagoProcess:792ExecStart=/usr/sbin/vsftpd/etc/vsftpd/vsftpd.conf(code=exited,status=0/SUCCESS)MainPID:794(vsftpd)Tasks:1(limit:8950)Memory:588.0KCGroup:/system.slice/vsftpd.service└─794/usr/sbin/vsftpd/etc/vsftpd/vsftpd.conf

8月0209:52:04host-serversystemd[1]:StartingVsftpdftpdaemon...8月0209:52:04host-serversystemd[1]:StartedVsftpdftpdaemon.16三、使用FTP服務(wù)器構(gòu)建OpenEuler完整版的軟件源倉庫（續(xù)）2、虛擬機(jī)光驅(qū)使用ISO映像文件在VMwareWorkstationPro虛擬機(jī)軟件中，在左側(cè)虛擬機(jī)庫的窗口，選中“我的計(jì)算機(jī)”

“OpenEuler虛擬機(jī)”，右鍵彈出菜單選擇“設(shè)置”，在彈出窗口“虛擬機(jī)設(shè)置”中，將CD/DVD（IDE）連接“使用ISO映射文件”瀏覽并連接到將下載好的OpenEulereverything完整版iso文件openEuler-22.03-LTS-everything-debug-x86_64-dvd.iso17三、使用FTP服務(wù)器構(gòu)建OpenEuler完整版的軟件源倉庫（續(xù)）3、Linux中掛載虛擬機(jī)光驅(qū)在Linux中使用mount命令掛載虛擬機(jī)光驅(qū)到/mnt目錄，并查詢光盤文件容量[root@host-serverftp]#mount/dev/cdrom/mnt

#掛載虛擬機(jī)光驅(qū)到/mnt目錄mount:/mnt:WARNING:sourcewrite-protected,mountedread-only.[root@host-serverftp]#du-ch/mnt

#查看掛載目錄的文件容量復(fù)制光盤文件到FTP服務(wù)器匿名用戶的默認(rèn)目錄/var/ftp[root@localhost~]#cp-rf/mnt/*/var/ftp/

#復(fù)制光盤文件到FTP服務(wù)器匿名用戶的默認(rèn)目錄[root@localhost~]#因?yàn)閺?fù)制的文件目錄為16GB，容量比較大，需要等待較長的一段時(shí)間才能復(fù)制完成。復(fù)制完成后可檢查一下/var/ftp目錄下文件的容量大小，如果為16G則表示復(fù)制成功[root@localhost~]#du-ch/var/ftp/

#查看/var/ftp目錄下文件容量[root@localhost~]#18三、使用FTP服務(wù)器構(gòu)建OpenEuler完整版的軟件源倉庫（續(xù)）4、驗(yàn)證FTP服務(wù)器匿名用戶訪問的默認(rèn)目錄是否同步更新方法一：在OpenEulerLinux虛擬機(jī)中使用ftp命令來驗(yàn)證[root@localhost~]#ftp28

#使用ftp命令登錄28的FTP服務(wù)Connectedto28(28).220(vsFTPd3.0.3)Name(28:root):anonymous

#輸入匿名用戶賬戶名331Pleasespecifythepassword.Password:230Loginsuccessful.RemotesystemtypeisUNIX.Usingbinarymodetotransferfiles.ftp>dir

#查看匿名用戶默認(rèn)目錄文件列表227EnteringPassiveMode(192,168,5,128,137,80).方法二：在宿主物理機(jī)Windows操作系統(tǒng)中打開IE瀏覽器或Edge瀏覽器使用IE模式，在網(wǎng)址中輸入28

來驗(yàn)證19三、使用FTP服務(wù)器構(gòu)建OpenEuler完整版的軟件源倉庫（續(xù)）5、在FTP服務(wù)器本機(jī)中創(chuàng)建軟件源倉庫進(jìn)行驗(yàn)證查詢現(xiàn)有軟件源倉庫[root@localhost~]#hostnamectlset-hostnameopenEuler

#更改主機(jī)名稱[root@localhost~]#dnfrepolist

#查看軟件源倉庫列表[root@localhost~]#ll/etc/yum.repos.d/

#查看軟件源倉庫配置文件列表添加軟件源倉庫[root@localhost~]#dnfconfig-manager--add-repo28

#添加軟件源倉庫添加倉庫自：28[root@localhost~]#ll/etc/yum.repos.d/

#查看自動(dòng)生成的軟件源倉庫配置文件[root@localhost~]#cat/etc/yum.repos.d/28.repo

#查看配置文件內(nèi)容啟用軟件源[root@localhost~]#dnfrepolist

#查看軟件源倉庫列表[root@localhost~]#dnfconfig-manager--set-enable28

#啟用軟件源倉庫[root@localhost~]#dnflist

#檢索軟件源列表20三、使用FTP服務(wù)器構(gòu)建OpenEuler完整版的軟件源倉庫（續(xù)）6、模擬斷開外網(wǎng)的情況下訪問此FTP軟件源倉庫進(jìn)行驗(yàn)證將系統(tǒng)自帶的軟件源倉庫配置openEuler.repo文件備份到/opt目錄中[root@localhost~]#mv/etc/yum.repo/openEuler.repo/opt#備份系統(tǒng)自帶的軟件源倉庫配置將DNS配置刪除掉，即注釋掉nameserver這一行[root@localhost~]#vi/etc/resolv.conf#

刪除DNS配置，模擬斷網(wǎng)#nameserver[root@localhost~]#刪除緩存的軟件源倉庫數(shù)據(jù)[root@localhost~]#dnf

cleanall

#刪除緩存的軟件源倉庫列表[root@localhost~]#重新獲取軟件源倉庫數(shù)據(jù)并緩存[root@localhost~]#dnf

list#重新獲取軟件源倉庫列表并緩存[root@localhost~]#主講：方明清任務(wù)1規(guī)劃大數(shù)據(jù)平臺集群123四、使用HTTP服務(wù)器構(gòu)建OpenEuler完整版的軟件源倉庫1、配置HTTP服務(wù)器允許顯示網(wǎng)站目錄和文件配置HTTP服務(wù)器允許顯示網(wǎng)站目錄和文件[root@localhost~]#

vi/etc/httpd/conf/httpd.conf#修改HTTP服務(wù)配置文件（其余略）<Directory"/var/www/html">

Options

IndexesFollowSymLinks#OptionsIndexes允許顯示網(wǎng)站目錄和文件（其余略）創(chuàng)建軟鏈接到FTP服務(wù)器的文件目錄[root@localhost~]#cd/var/www/html#改變到HTTP服務(wù)器文檔目錄[root@localhost~]#ln–s/www/ftp/bigdata

#創(chuàng)建軟鏈接[root@localhost~]#ls–abl/var/www/html/bigdata#檢索軟鏈接目錄在宿主物理機(jī)機(jī)瀏覽器中，輸入網(wǎng)址：28/bigdata，查看目錄和文件24四、使用HTTP服務(wù)器構(gòu)建OpenEuler完整版的軟件源倉庫（續(xù)）2、在HTTP服務(wù)器本機(jī)中創(chuàng)建軟件源倉庫進(jìn)行驗(yàn)證查詢現(xiàn)有軟件源倉庫[root@localhost~]#dnfrepolist

#查看軟件源倉庫列表[root@localhost~]#ll/etc/yum.repos.d/

#查看軟件源倉庫配置文件列表添加軟件源倉庫[root@localhost~]#dnfconfig-manager--add-repohttp://192.168.5.128/bigdata

#添加軟件源倉庫Addingrepofrom:28/bigdata[root@localhost~]#ll/etc/yum.repos.d/#查看自動(dòng)生成的軟件源倉庫配置文件[root@localhost~]#cat/etc/yum.repos.d/28.repo

#查看配置文件內(nèi)容啟用軟件源[root@localhost~]#dnfrepolist

#查看軟件源倉庫列表[root@localhost~]#dnfconfig-manager--set-enable192.168.5.128_bigdata

#啟用軟件源倉庫[root@localhost~]#dnfcleanall

#清除軟件源倉庫緩存[root@localhost~]#dnflist

#檢索軟件源倉庫主講：方明清0102目錄任務(wù)1規(guī)劃大數(shù)據(jù)平臺集群任務(wù)2基礎(chǔ)環(huán)境配置03任務(wù)3HDFS配置、啟動(dòng)與驗(yàn)證04任務(wù)4YARN配置、啟動(dòng)與驗(yàn)證任務(wù)2基礎(chǔ)環(huán)境配置2任務(wù)目標(biāo)1、能夠熟練開啟或關(guān)閉SELinux2、能夠熟練配置Chrony服務(wù)的服務(wù)端和客戶端，并實(shí)現(xiàn)時(shí)間同步3、能夠熟練配置SSH免密登錄能力目標(biāo)1、理解SELinux的基本概念2、理解Chrony時(shí)間同步服務(wù)的基本概念3、理解SSH免密登錄原理知識目標(biāo)28知識準(zhǔn)備29一、SELinux簡介(一)什么是SELinuxSELinux是安全增強(qiáng)型Linux（Security-EnhancedLinux），簡稱

SELinux

它是Linux的一個(gè)安全子系統(tǒng)，SELinux可以允許系統(tǒng)管理員更加靈活的來定義安全策略?，F(xiàn)在主流發(fā)現(xiàn)的Linux版本里面都集成了SELinux機(jī)制，CentOS/RHEL都會(huì)默認(rèn)開啟SELinux機(jī)制，OpenEuler也不例外。SELinux是一個(gè)內(nèi)核級別的安全機(jī)制

從Linux2.6內(nèi)核之后就將SELinux集成在了內(nèi)核當(dāng)中，因?yàn)镾ELinux是內(nèi)核級別的，所以我們對于其配置文件的修改都是需要重新啟動(dòng)操作系統(tǒng)才能生效的。SELinux出現(xiàn)之前，Linux上的安全模型叫DAC，全稱是DiscretionaryAccessControl（自主訪問控制）

DAC核心思想很簡單，就是：進(jìn)程理論上所擁有的權(quán)限與執(zhí)行它的用戶權(quán)限相同。比如，以root用戶啟動(dòng)Browser，那么Browser就有root用戶的權(quán)限，在Linux系統(tǒng)上能做任何事情。顯然，DAC太過寬松了。那么SELinux如何解決這個(gè)問題呢？

原來，它在DAC之外，設(shè)計(jì)了一個(gè)新的安全模型，叫MAC（MandatoryAccessControl），翻譯為強(qiáng)制訪問控制。MAC的處世哲學(xué)非常簡單：即任何進(jìn)程想在SELinux系統(tǒng)中做任何事情，都必須先在安全策略配置文件中賦予權(quán)限。凡是沒有出現(xiàn)在安全策略配置文件中的權(quán)限，進(jìn)程就沒有該權(quán)限。一、SELinux簡介30(二)SELinux的工作模式enforcing：強(qiáng)制模式違反SELinux規(guī)則的行為將被阻止并記錄到日志中permissive：寬容模式違反SELinux規(guī)則的行為只會(huì)記錄到日志中，一般用于調(diào)試disabled：關(guān)閉SELinux關(guān)閉SELinuxSELinux工作模式可以在/etc/selinux/config中設(shè)定。如果想從disabled切換到enforcing或者permissive的話，需要重啟系統(tǒng)。反過來也一樣。enforcing和permissive模式可以通過setenforce1|0命令快速切換。31一、SELinux簡介（續(xù)）(三)SELinux基本命令getenforce命令：顯示當(dāng)前SELinux的工作模式，是強(qiáng)制模式、寬容模式或者關(guān)閉模式[root@localhost~]#getenforce

#查詢SELinux的工作模式Enforcingsetenforce命令：臨時(shí)開啟和關(guān)閉SELinux[root@localhost~]#setenforce

#顯示setenforce命令幫助usage:setenforce[Enforcing|Permissive|1|0][root@localhost~]#setenforce0

#臨時(shí)關(guān)閉SELinux，設(shè)置為寬容模式[root@localhost~]#getenforce

#查詢SELinux的工作模式[root@localhost~]#setenforce1

#臨時(shí)開啟SELinux，設(shè)置為強(qiáng)制模式[root@localhost~]#getenforce

#查詢SELinux的工作模式注意：setenforce屬于臨時(shí)設(shè)置，重啟失效。修改配置文件/etc/selinux/config中才可以永久生效sestatus命令：可以用來查看主配置文件中的當(dāng)前模式和模式設(shè)置[root@localhost~]#sestatus

#查看主配置文件中的當(dāng)前模式和模式設(shè)置32一、SELinux簡介（續(xù)）(四)開啟與關(guān)閉SELinux要開啟SELinux，編輯SELinux主配置文件，修改為：SELINUX=enforcing，重啟系統(tǒng)生效要關(guān)閉SELinux，編輯SELinux主配置文件，修改為：SELINUX=disabled，重啟系統(tǒng)生效[root@localhost~]#getenforce

#查看SELinux狀態(tài)Enforcing[root@localhost~]#vi/etc/selinux/config

#永久關(guān)閉SELinux，重啟生效將SELINUX=enforcing修改為：SELINUX=disabled[root@localhost~]#reboot

#重啟系統(tǒng)……系統(tǒng)重啟……[root@localhost~]#getenforce

#查看SELinux狀態(tài)（重啟生效）Disabled[root@localhost~]#vi/etc/selinux/config

#開啟SELinux強(qiáng)制模式，重啟生效將SELINUX=disabled

修改為：SELINUX=enforcing[root@localhost~]#reboot

#重啟系統(tǒng)……系統(tǒng)重啟……[root@localhost~]#getenforce

#查看SELinux狀態(tài)（重啟生效）Enforcing二、Chrony時(shí)間同步服務(wù)簡介33(一)

什么是Chrony時(shí)間同步服務(wù)Chrony是一個(gè)開源的自由軟件，它能夠幫助你保持系統(tǒng)時(shí)鐘與時(shí)鐘服務(wù)器同步

chrony是網(wǎng)絡(luò)時(shí)間協(xié)議(NTP)的通用實(shí)現(xiàn)。通過

Internet同步的兩臺機(jī)器之間的典型精度在幾毫秒內(nèi)；在LAN上同步的精度通常為幾十微秒。使用硬件時(shí)間戳或硬件參考時(shí)鐘，亞微秒精度可能是可能的。Chrony它由兩個(gè)程序組成，分別是chronyd和chronyc

chronyd是一個(gè)后臺運(yùn)行的守護(hù)進(jìn)行，用于調(diào)整內(nèi)核中運(yùn)行的系統(tǒng)時(shí)鐘和時(shí)鐘服務(wù)器同步，它確定計(jì)算機(jī)增減時(shí)間的比率，并對此進(jìn)行補(bǔ)償。chronyc是一個(gè)命令用戶界面程序，用于監(jiān)控chronyd的性能并在其運(yùn)行時(shí)更改各種操作參數(shù)。34二、Chrony時(shí)間同步服務(wù)簡介（續(xù)）(二)chrony的優(yōu)勢更快的同步。只需要數(shù)分鐘而非數(shù)小時(shí)時(shí)間，從而最大程度減少時(shí)間和頻率誤差，這對于并非全天24小時(shí)的運(yùn)行的臺式計(jì)算機(jī)或系統(tǒng)而言非常有用；能夠更好地響應(yīng)時(shí)鐘頻率的快速變化，這對于具備不穩(wěn)定時(shí)鐘的虛擬機(jī)或?qū)е沦愂轮蓄l率發(fā)生比變化的節(jié)能技術(shù);在初始同步后，它不會(huì)停止時(shí)鐘，以防對需要系統(tǒng)時(shí)間保持單調(diào)的應(yīng)用程序造成影響;在應(yīng)對臨時(shí)非對稱延遲時(shí)(例如大規(guī)模下載造成鏈接飽和等情況)提供了更好的穩(wěn)定性;無需對時(shí)間服務(wù)器進(jìn)行定期輪詢，因此具備間歇性網(wǎng)絡(luò)連接(如網(wǎng)絡(luò)不穩(wěn)定的場景)的系統(tǒng)仍然可以快速同步時(shí)鐘。35二、Chrony時(shí)間同步服務(wù)簡介（續(xù)）(三)配置ChronyChrony的默認(rèn)配置文件為/etc/chrony.conf(四)chronyd服務(wù)管理#systemctlstartchronyd

#啟動(dòng)chronyd服務(wù)#systemctlrestartchronyd#重啟chronyd服務(wù)#systemctlstopchronyd#停止chronyd服務(wù)#systemctlstatuschronyd#查看

chronyd服務(wù)狀態(tài)#systemctlenablechronyd#設(shè)置開機(jī)啟動(dòng)#systemctldisablechronyd

#取消開機(jī)啟動(dòng)36二、Chrony時(shí)間同步服務(wù)簡介（續(xù)）(五)使用Chrony客戶端程序進(jìn)行管理chronyc是一個(gè)命令用戶界面的Chrony客戶端程序，用于監(jiān)控chronyd的性能并在其運(yùn)行時(shí)更改各種操作參數(shù)chronyc命令有兩種模式，一種是交互式模式，一種是命令行模式

輸入chronyc回車就進(jìn)入交互式模式，進(jìn)入交互式模式可以使用help命令查看幫助列表[root@localhost~]#chronyc

#進(jìn)入chronyc交互命令模式chronyc>help

#幫助命令chronyc>makestep

#立即調(diào)整系統(tǒng)時(shí)鐘并忽略當(dāng)前正在進(jìn)行的任何調(diào)整200OKchronyc>activity

#檢查多少個(gè)時(shí)間同步源是在線或離線狀態(tài)200OKchronyc>clients

#在客戶端報(bào)告已訪問到的服務(wù)器chronyc>sourcestats-vchronyc>quit

#退出chronyc命令行交互模式[root@localhost~]#37三、SSH免密登錄簡介(一)

什么是SSHSSH為SecureShell的縮寫，由IETF的網(wǎng)絡(luò)小組（NetworkWorkingGroup）所制定，SSH為建立在應(yīng)用層基礎(chǔ)上的安全協(xié)議。SSH是較可靠，專為遠(yuǎn)程登錄會(huì)話和其他網(wǎng)絡(luò)服務(wù)提供安全性的協(xié)議。利用SSH協(xié)議可以有效防止遠(yuǎn)程管理過程中的信息泄露問題。SSH最初是UNIX系統(tǒng)上的一個(gè)程序，后來又迅速擴(kuò)展到其他操作平臺。(二)SSH免密登錄相關(guān)目錄在Linux當(dāng)前用戶目錄下有一個(gè).ssh目錄，是記錄密鑰信息的目錄，如果沒有生成過密鑰或者沒有遠(yuǎn)程登錄過的話，就沒有這個(gè).ssh目錄。另外，使用ls–abl命令和參數(shù)才能查看到點(diǎn)開頭的目錄。三、SSH免密登錄簡介（續(xù)）38.ssh目錄中各文件的功能文件名稱功能authorized_keys（已授權(quán)密鑰）實(shí)現(xiàn)SSH免密登錄的授權(quán)文件。如果主機(jī)A需要免密登錄到主機(jī)B，則預(yù)先將將主機(jī)A的公鑰文件id_rsa.pub內(nèi)容copy到主機(jī)B的authorized_keys文件后，下次從主機(jī)A直接SSH連接主機(jī)B即可，不需要再次輸入密碼。id_rsa（私鑰）服務(wù)器上經(jīng)過rsa算法生成的私鑰。與公鑰是一對的密鑰對，用于連接其他服務(wù)器用。id_rsa.pub（公鑰）服務(wù)器上經(jīng)過rsa算法生成的公鑰。與私鑰是一對的密鑰對，用于連接其他服務(wù)器用。如果主機(jī)A需要免密登錄到主機(jī)B，則需要預(yù)先將將主機(jī)A的id_rsa.pub內(nèi)容copy到主機(jī)B的authorized_keys文件中。known_hosts（已知主機(jī)）ssh會(huì)把你每個(gè)你訪問過計(jì)算機(jī)的公鑰(publickey)都記錄在~/.ssh/known_hosts。A通過ssh首次連接到B，B會(huì)將公鑰1（hostkey）傳遞給A，A將公鑰1存入known_hosts文件中，以后A再連接B時(shí)，B依然會(huì)傳遞給A一個(gè)公鑰2，OpenSSH會(huì)核對公鑰，通過對比公鑰1與公鑰2是否相同來進(jìn)行簡單的驗(yàn)證，如果公鑰不同，OpenSSH會(huì)發(fā)出警告，避免你受到DNSHijack之類的攻擊。主講：方明清任務(wù)2基礎(chǔ)環(huán)境配置2任務(wù)實(shí)施41Hadoop集群完全分布式部署-基礎(chǔ)環(huán)境配置步驟06新建Hadoop用戶07克隆集群從節(jié)點(diǎn)08安裝時(shí)間同步服務(wù)09配置SSH免密登錄01安裝集群主節(jié)點(diǎn)（master節(jié)點(diǎn)）02配置主機(jī)映射表03關(guān)閉防火墻與SELinux04配置主節(jié)點(diǎn)軟件源倉庫05安裝JDK42任務(wù)實(shí)施一、Hadoop完全分布式部署的服務(wù)器角色規(guī)劃master（IP：29）配置：2CPU、2G內(nèi)存、20G硬盤slave1（IP：30）配置：2CPU、2G內(nèi)存、20G硬盤slave2（IP：31）配置：2CPU、2G內(nèi)存、20G硬盤NameNodeSecondaryNameNodeDataNodeDataNodeDataNodeResourceManagerNodeManagerNodeManagerNodeManagerJobHistoryServerHadoop完全分布式部署的服務(wù)器角色規(guī)劃43任務(wù)實(shí)施一、安裝集群主節(jié)點(diǎn)在部署完全分布式Hadoop集群前，需要檢查宿主物理機(jī)至少不低以下配置：CPU為i5以上、8GB以上內(nèi)存、100GB空閑硬盤。創(chuàng)建一臺虛擬機(jī)安裝OpenEulerLinux操作系統(tǒng)獲取master主節(jié)點(diǎn)服務(wù)器的IP地址、路由、域名服務(wù)器等網(wǎng)絡(luò)信息配置master主節(jié)點(diǎn)服務(wù)器的靜態(tài)IP地址、網(wǎng)關(guān)、域名服務(wù)器等網(wǎng)絡(luò)信息遠(yuǎn)程登錄master主節(jié)點(diǎn)服務(wù)器，設(shè)置主機(jī)名為：master在虛擬機(jī)軟件VMWareWorkstation中創(chuàng)建一個(gè)快照二、配置集群主機(jī)映射表44根據(jù)“表2-1Hadoop完全分布式部署的服務(wù)器角色規(guī)劃”，Hadoop集群三個(gè)節(jié)點(diǎn)服務(wù)器IP地址分別為：29、30、31。配置集群主機(jī)映射表，需要編輯/etc/hosts文件，修改文件并保存。[root@master~]#vi/etc/hosts

#編輯主機(jī)映射表文件[root@master~]#cat/etc/hosts

#查看主機(jī)映射表文件內(nèi)容localhostlocalhost.localdomainlocalhost4localhost4.localdomain4::1localhostlocalhost.localdomainlocalhost6localhost6.localdomain629master30slave131slave2測試主機(jī)映射表配置是否正確[root@master~]#ping-c4master

#ping主機(jī)名master[root@master~]#ping-c4slave1

#ping主機(jī)名slave1[root@master~]#ping-c4slave2

#ping主機(jī)名slave2三、關(guān)閉防火墻與SELinux45輸入以下命令關(guān)閉防火墻[root@master~]#systemctlstopfirewalld

#停止防火墻[root@master~]#systemctldisablefirewalld

#禁用防火墻[root@master~]#systemctlstatusfirewalld

#查看防火墻運(yùn)行狀態(tài)

firewalld.service-firewalld-dynamicfirewalldaemonLoaded:loaded(/usr/lib/systemd/system/firewalld.service;disabled;vendorpreset:enabled)Active:inactive(dead)Docs:man:firewalld(1)輸入以下命令關(guān)閉SELinux[root@master~]#getenforce

#查看SELinux設(shè)置Enforcing[root@master~]#vi/etc/sysconfig/selinux

#編輯SELinux配置文件[root@master~]#cat/etc/sysconfig/selinux

#查看SELinux配置文件內(nèi)容SELINUX=disabledSELINUXTYPE=targeted[root@master~]#reboot

#系統(tǒng)重啟###系統(tǒng)重啟之后關(guān)閉SELinux生效[root@master~]#getenforce

#查看重啟后SELinux設(shè)置Disabled四、配置主節(jié)點(diǎn)軟件源為FTP服務(wù)器軟件源倉庫46[root@masteryum.repos.d]#ll/etc/yum.repos.d/

#查看軟件源配置目錄文件列表[root@masteryum.repos.d]#mv/etc/yum.repos.d/openEuler.repo/opt/.

#備份原始repo文件[root@masteryum.repos.d]#ll/opt/

#查看/op目錄文件列表[root@masteryum.repos.d]#ll/etc/yum.repos.d/

#查看軟件源配置目錄文件列表[root@masteryum.repos.d]#dnfconfig-managerhelp

#查看dnfconfig-manager幫助[root@masteryum.repos.d]#dnfconfig-manager--add-repo28

#添加倉庫[root@masteryum.repos.d]#ll/etc/yum.repos.d/

#查看軟件源配置目錄文件列表[root@masteryum.repos.d]#dnfrepolist

#查看軟件源倉庫列表[root@masteryum.repos.d]#dnfconfig-manager--set-enable28

#啟用倉庫[root@masteryum.repos.d]#cat/etc/yum.repos.d/28.repo

#查看軟件源配置文件[root@masteryum.repos.d]#vi/etc/yum.repos.d/28.repo

#編輯軟件源配置文件[root@masteryum.repos.d]#cat/etc/yum.repos.d/28.repo

#查看編輯后配置文件[28]name=createdbydnfconfig-managerfrom28baseurl=28enabled=1gpgcheck=0#此行為新增行，禁用檢查gpg[root@masteryum.repos.d]#dnfcleanall

#清除軟件源列表[root@masteryum.repos.d]#dnflist

#重新檢索軟件源列表[root@masteryum.repos.d]#dnfrepolist

#查看軟件源倉庫列表[root@master~]#dnfinstall-yftp

#安裝ftp軟件包主講：方明清任務(wù)2基礎(chǔ)環(huán)境配置2任務(wù)實(shí)施49Hadoop集群完全分布式部署-基礎(chǔ)環(huán)境配置步驟06新建Hadoop用戶07安裝時(shí)間同步服務(wù)08克隆集群從節(jié)點(diǎn)09配置SSH免密登錄01安裝集群主節(jié)點(diǎn)（master節(jié)點(diǎn)）02配置主機(jī)映射表03關(guān)閉防火墻與SELinux04配置主節(jié)點(diǎn)軟件源倉庫05安裝JDK五、安裝JDK50安裝JDK可以采用在線安裝、rpm安裝包安裝、壓縮包安裝等幾種方式，在線安裝、rpm安裝包安裝相對簡單，本章節(jié)介紹壓縮包安裝方式。從Oracle官網(wǎng)下載JDK8安裝包上傳并解壓JDK8壓縮包安裝文件配置環(huán)境變量測試驗(yàn)證JDK五、安裝JDK（續(xù)）51先從Oracle官網(wǎng)下載JDK8安裝包，注意要選擇x64版本。五、安裝JDK（續(xù)）52使用SecureFX或MobaXterm軟件上傳JDK8壓縮包安裝文件到master節(jié)點(diǎn)，并解壓JDK8壓縮包安裝文件，上傳完成后，輸入以下命令解壓JDK8壓縮包安裝文件到/opt目錄。[root@master~]#dnfinstall-ytar

#先安裝tar命令[root@master~]#tar-zxvfjdk-8u341-linux-x64.tar.gz-C/opt/

#解壓到/opt/目錄[root@master~]#ll/opt#查看解壓后的文件總用量8.0Kdrwxr-xr-x8rootroot4.0K8月921:49jdk1.8.0_341-rw-r--r--.1rootroot1.7K1月292022openEuler.repo[root@master~]#ll/opt/jdk1.8.0_341/[root@master~]#ll/opt/jdk1.8.0_341/bin[root@master~]#ll/opt/jdk1.8.0_341/lib[root@master~]#ll/opt/jdk1.8.0_341/jre/lib五、安裝JDK（續(xù)）53配置環(huán)境變量。

JDK需要配置好JAVA_HOME、CLASSPATH、PATH三個(gè)環(huán)境變量才能正常使用，以root用戶身份編輯/etc/profile文件，在文件末尾添加相應(yīng)環(huán)境變量設(shè)置內(nèi)容。[root@master~]#vi/etc/profile

#編輯系統(tǒng)環(huán)境變量配置文件/etc/profile[root@master~]#tail/etc/profile

#查看配置文件新添加的內(nèi)容（文件末尾）#JDK環(huán)境變量exportJAVA_HOME=/opt/jdk1.8.0_341/exportPATH=$PATH:$JAVA_HOME/binexportCLASSPATH=$JAVA_HOME/jre/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar[root@master~]#五、安裝JDK（續(xù)）54測試驗(yàn)證JDK配置完成環(huán)境變量后，執(zhí)行source/etc/profile可以讓環(huán)境變量即時(shí)生效，可輸入命令export查看生效后的環(huán)境變量。再輸入命令java–version和javac–version驗(yàn)證JDK安裝是否成功。[root@master~]#source/etc/profile

#讓環(huán)境變量即時(shí)生效[root@master~]#export|grep-EJAVA_HOME\|CLASSPATH\|PATH

#查看環(huán)境變量declare-xCLASSPATH="/opt/jdk1.8.0_341//jre/rt.jar:/opt/jdk1.8.0_341//lib/dt.jar:/opt/jdk1.8.0_341//lib/tools.jar"declare-xJAVA_HOME="/opt/jdk1.8.0_341/"declare-xPATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/opt/jdk1.8.0_341//bin:/opt/jdk1.8.0_341//bin"[root@master~]#java–version

#測試java命令javaversion"1.8.0_341"

[root@master~]#javac–version

#測試javac命令javac1.8.0_341六、新建hadoop用戶55除需要root用戶權(quán)限的必要操作外，新建的hadoop用戶用于Hadoop大數(shù)據(jù)平臺集群的構(gòu)建，如：HDFS、YARN、MapReduce的安裝配置與驗(yàn)證，以及Hadoop平臺的啟動(dòng)與停止等操作。[root@master~]#useraddhadoop

#新建hadoop用戶[root@master~]#passwdhadoop

#設(shè)置hadoop用戶的登錄密碼更改用戶hadoop的密碼。新的密碼：無效的密碼：密碼是一個(gè)回文重新輸入新的密碼：passwd：所有的身份驗(yàn)證令牌已經(jīng)成功更新。主講：方明清任務(wù)2基礎(chǔ)環(huán)境配置2任務(wù)實(shí)施58Hadoop集群完全分布式部署-基礎(chǔ)環(huán)境配置步驟06新建Hadoop用戶07安裝時(shí)間同步服務(wù)08克隆集群從節(jié)點(diǎn)09配置SSH免密登錄01安裝集群主節(jié)點(diǎn)（master節(jié)點(diǎn)）02配置主機(jī)映射表03關(guān)閉防火墻與SELinux04配置主節(jié)點(diǎn)軟件源倉庫05安裝JDK七、克隆或復(fù)制集群從節(jié)點(diǎn)59可以將master節(jié)點(diǎn)虛擬機(jī)作為樣機(jī)，根據(jù)“表2-1Hadoop完全分布式部署的服務(wù)器角色規(guī)劃”，來克隆或復(fù)制集群從節(jié)點(diǎn)slave1、slave2完成克隆后，還需要分別設(shè)置從節(jié)點(diǎn)的IP地址為：30、31，以及分別設(shè)置主機(jī)名為：slave1、slave2在VMwareWorkstation中，進(jìn)行克隆前要先將master節(jié)點(diǎn)虛擬機(jī)關(guān)閉。然后在左側(cè)窗口的虛擬機(jī)庫“我的計(jì)算機(jī)”中選中master虛擬機(jī)，再點(diǎn)擊主菜單“虛擬機(jī)”

“管理”

“克隆”或者右鍵彈出菜單選擇“管理”

“克隆”，來啟動(dòng)克隆虛擬機(jī)向?qū)?。七、克隆或?fù)制集群從節(jié)點(diǎn)（續(xù)）60以slave2虛擬機(jī)為例，先開啟slave2虛擬機(jī)，再輸入以下命令設(shè)置主機(jī)名稱、IP地址[root@master~]#hostnamectlset-hostnameslave2

#設(shè)置主機(jī)名稱為slave2[root@master~]#exit###注銷會(huì)話，再重新進(jìn)入會(huì)話[root@slave2~]##注意：主機(jī)名稱已更新[root@slave2~]#nmclideviceshow#查看網(wǎng)絡(luò)設(shè)備當(dāng)前設(shè)置[root@slave2~]#nmcliconnectionmodifyens160ipv4.address31/24

#更改IP地址[root@slave2~]#nmclideviceconn

ens160#連接網(wǎng)卡設(shè)備，激活配置[root@slave2~]#nmcliconnectiondownens160

#關(guān)閉網(wǎng)卡ens160####關(guān)閉網(wǎng)卡后，遠(yuǎn)程終端軟件與虛擬機(jī)的連接會(huì)自動(dòng)斷開，以下操作需要在VMware中進(jìn)行[root@slave2~]#nmcliconnectionupens160

#開啟網(wǎng)卡ens160[root@slave2~]#nmclideviceshow

#查看網(wǎng)絡(luò)設(shè)備當(dāng)前設(shè)置，注意：IP地址已經(jīng)改變主講：方明清任務(wù)2基礎(chǔ)環(huán)境配置2任務(wù)實(shí)施63Hadoop集群完全分布式部署-基礎(chǔ)環(huán)境配置步驟06新建Hadoop用戶07安裝時(shí)間同步服務(wù)08克隆集群從節(jié)點(diǎn)09配置SSH免密登錄01安裝集群主節(jié)點(diǎn)（master節(jié)點(diǎn)）02配置主機(jī)映射表03關(guān)閉防火墻與SELinux04配置主節(jié)點(diǎn)軟件源倉庫05安裝JDK八、安裝時(shí)間同步服務(wù)64在CentOS7.x開始的最小發(fā)行版中都已經(jīng)預(yù)裝并開啟了Chrony，OpenEuler也不例外，OpenEuler最小安裝也已經(jīng)預(yù)裝并開啟了Chrony?？梢暂斎胍韵旅畈榭碿hronyd服務(wù)狀態(tài)[root@master~]#systemctlstatuschronyd#查看chronyd時(shí)間同步服務(wù)狀態(tài)●chronyd.service-NTPclient/serverLoaded:loaded(/usr/lib/systemd/system/chronyd.service;enabled;vendorpreset:enabled)Active:active(running)sinceThu2022-08-0406:52:12CST;1day13hagoDocs:man:chronyd(8)man:chrony.conf(5)MainPID:744(chronyd)Tasks:1(limit:8950)Memory:812.0KCGroup:/system.slice/chronyd.service└─744/usr/sbin/chronyd65八、安裝時(shí)間同步服務(wù)（續(xù)）(一)安裝Chrony服務(wù)[root@master~]#dnfinstall-ychrony

#安裝chrony時(shí)間同步服務(wù)軟件包Lastmetadataexpirationcheck:0:59:29agoon2022年08月05日星期五19時(shí)10分43秒.Packagechrony-4.1-1.oe2203.x86_64isalreadyinstalled.Dependenciesresolved.Nothingtodo.Complete![root@master~]#如果chrony服務(wù)已經(jīng)安裝，則出現(xiàn)以上提示。如果沒有安裝，則會(huì)正常下載并完成安裝chrony。66八、安裝時(shí)間同步服務(wù)（續(xù)）(二)配置Chrony服務(wù)Chrony服務(wù)的配置文件為：/etc/chrony.conf

在集群環(huán)境配置中，將指定一臺服務(wù)器節(jié)點(diǎn)作為Chrony時(shí)間同步服務(wù)的服務(wù)端，其他服務(wù)器節(jié)點(diǎn)為Chrony時(shí)間同步服務(wù)的客戶端，各客戶端從服務(wù)端獲取時(shí)間進(jìn)行同步Chrony服務(wù)端配置（master主節(jié)點(diǎn)服務(wù)器按此服務(wù)端配置）[root@master~]#vi/etc/chrony.conf

#編輯chrony服務(wù)端配置文件[root@master~]#cat/etc/chrony.conf

#查看chrony服務(wù)端配置文件內(nèi)容#Usepublicserversfromtheproject.#Pleaseconsiderjoiningthepool(/join.html).#pooliburst

#注釋這行外網(wǎng)時(shí)間服務(wù)器的網(wǎng)址server29iburst

#添加這行，表示與本機(jī)同步時(shí)間#AllowNTPclientaccessfromlocalnetwork.#allow/16allow/24

#添加這行，允許哪些服務(wù)器或客戶端來同步時(shí)間#Servetimeevenifnotsynchronizedtoatimesource.localstatum10

#添加這行，當(dāng)server中提供的公網(wǎng)NTP服務(wù)器不可用時(shí)，采用本地時(shí)間作為同步標(biāo)準(zhǔn)（其他配置內(nèi)容不變，略……）67八、安裝時(shí)間同步服務(wù)（續(xù)）(二)配置Chrony服務(wù)Chrony客戶端配置（slave1、slave2兩臺從節(jié)點(diǎn)服務(wù)器按此客戶端配置）[root@slave1~]#vi/etc/chrony.conf

#編輯chrony客戶端配置文件[root@slave1~]#