CDH547安裝部署手冊

1、CDH5.4.7安裝部署手冊、文檔編號(hào)：版 本 號(hào)：V1.0編 寫：審 核：修訂記錄版本號(hào)修訂日期章節(jié)號(hào)修訂內(nèi)容修訂人批準(zhǔn)人目錄1 軟件介紹51.1 關(guān)于CDH和Cloudera Manager52 環(huán)境準(zhǔn)備52.1 集群規(guī)劃52.2 環(huán)境部署72.2.1 MySQL下載72.2.2 JDK下載72.2.3 CDH下載72.2.4 JDK的安裝 (所有節(jié)點(diǎn))82.2.5 關(guān)閉防火墻（所有節(jié)點(diǎn)）92.2.6 SSH無密碼登陸（所有節(jié)點(diǎn)）102.2.7 安裝NTP時(shí)間同步服務(wù)（所有節(jié)點(diǎn)）112.2.8 安裝MySQL143 Cloudera Manager安裝173.1 Cloudera Mana

2、ger安裝173.1.1 master配置183.1.2 agent配置193.2 安裝Cloudera Manager所需的rpm包203.2.1 安裝rpm文件203.2.2 本地源配置213.3 啟動(dòng)Cloudera Manager223.3.1 開啟Cloudera Manager 5 Server端223.3.2 重啟Cloudera Manager 5 Server端233.3.3 啟動(dòng)Agent234 安裝CDH235 CM卸載276 雜記：Namenode和Secondarynamenode的關(guān)系【轉(zhuǎn)】271 軟件介紹1.1 關(guān)于CDH和Cloudera ManagerCM:C

3、louderaManager（Cloudera公司專有的Hadoop集群管控平臺(tái)）。CDH:ClouderaDistributedHadoop（Cloudera公司重新打包發(fā)布的Hadoop版本） 。Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughp

4、ut）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。Hadoop框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。2 環(huán)境準(zhǔn)備2.1 集群規(guī)劃IP地址主機(jī)名角色1c1n1NN/ RM/ HMaster/ZKFC/JobHistoryServer2c1n2NN/ RM/ HMaster/ZKFC 3c1d1DN

5、/ NM/ HRegionServer 4c1d2DN/ NM/ HRegionServer 5c1d3DN/ NM/ HRegionServer 6c1d4DN/ NM/ HRegionServer 7c1d5DN/ NM/ HRegionServer 8c1d6DN/ NM/ HRegionServer 9c1d7DN/ NM/ HRegionServer 0c1d8DN/ NM/ HRegionServer/ JN/ ZK172.19.

6、21.21c1d9DN/ NM/ HRegionServer/ JN/ ZK2c1d10DN/ NM/ HRegionServer/ JN/ ZK 服務(wù)器配置：軟硬件配置：賬號(hào)密碼1Namenode、HmasterResourceManager1-22臺(tái)主機(jī)型號(hào) Dell PowerEdge R720rootbig1data物理機(jī)硬件配置(CPU/MEM)10C/64G物理機(jī)硬件配置(DISK)1T 硬盤 x1550G 硬盤 x2操作系統(tǒng)及版本號(hào)RED HAT ENTERPRISE LINUX SERVER RELEASE 6.

7、42Datanode、NodeManager、HRegionServer3-97臺(tái)主機(jī)型號(hào) Dell PowerEdge R620rootbig1data物理機(jī)硬件配置(CPU/MEM)10C/32G物理機(jī)硬件配置(DISK)1T 硬盤 x4操作系統(tǒng)及版本號(hào)RED HAT ENTERPRISE LINUX SERVER RELEASE 6.43Zookeeper0-23臺(tái)主機(jī)型號(hào) Dell PowerEdge R620rootbig1data物理機(jī)硬件配置(CPU/MEM)10C/32G物理機(jī)硬件配置(DI

8、SK)1T 硬盤 x4操作系統(tǒng)及版本號(hào)RED HAT ENTERPRISE LINUX SERVER RELEASE 6.42.2 環(huán)境部署2.2.1 MySQL下載（1）MySQL-client-5.6.25-1.el6.x86_64.rpm （2）MySQL-server-5.6.25-1.el6.x86_64.rpm （3）mysql-connector-java-5.1.36.zip /中使用2.2.2 JDK下載（1）jdk-7u71-linux-x64.tar.gz2.2.3 CDH下載（1）cloudera-manager-el6-cm5.3.4_x86_64.ta

9、r.gzhttp:/archive-（2）rpm包 （3）parcel文件http:/archive-以上存放目錄：/opt/CDH2.2.4 JDK的安裝 (所有節(jié)點(diǎn))安裝好的Centos系統(tǒng)有時(shí)會(huì)自動(dòng)安裝OpenJdk，用命令java -version查看1、刪除CentOS自帶的JDK 查看當(dāng)前JDK rpm包 #rpm -qa | grep jdkjava-1.7.0-openjdk-5-.el6.x86_64java-1.6.0-openjdk-devel--3.0.el6.x86_64java-1.7.0-openjdk-d

10、evel-5-.el6.x86_64java-1.6.0-openjdk--3.0.el6.x86_64 刪除自帶JDK rpm -e -nodeps java-1.7.0-openjdk-5-.el6.x86_64rpm -e -nodeps java-1.6.0-openjdk-devel--3.0.el6.x86_64rpm -e -nodeps java-1.7.0-openjdk-devel-5-.el6.x86_64rpm -e -node

11、ps java-1.6.0-openjdk--3.0.el6.x86_64 檢查是否刪除干凈#rpm -qa | grep jdk2、安裝目錄/opt/jdk1.7.0_713、 安裝JDK首先將jdk-7u71-linux-x64.tar.gz解壓tar -xzvf jdk-7u71-linux-x64.tar.gz -C /opt/4 、設(shè)置環(huán)境變量#vi /etc/profileexport JAVA_HOME=/opt/jdk1.7.0_71export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=$JAVA_HOM

12、E/libexport CLASSPATH=$CLASSPATH:$JAVA_HOME/jre/lib5、使配置生效#source /etc/profile6、檢查JDK安裝java -version2.2.5 關(guān)閉防火墻（所有節(jié)點(diǎn)）防火墻會(huì)引起hadoop相關(guān)組件通訊的各種異常，需關(guān)閉防火墻。用root用戶權(quán)限登錄進(jìn)行操作。1 、關(guān)閉防火墻#service iptables stop驗(yàn)證：service iptables status#service iptables stop （臨時(shí)關(guān)閉） #chkconfig iptables off （重啟后生效）2、 關(guān)閉selinuxselinux

13、是一種強(qiáng)制訪問控制的實(shí)現(xiàn)vi /etc/selinux/configSELINUX=disabled3、驗(yàn)證使用getenforce命令查看是否關(guān)閉#getenforceDisabled4、綁定IP與主機(jī)名（所有節(jié)點(diǎn)）修改/etc/hosts在每臺(tái)機(jī)器的/etc/hosts中配置集群中各節(jié)點(diǎn)的IP和IP對應(yīng)的機(jī)器名，具體內(nèi)容如下：執(zhí)行命令修改主機(jī)名修改/etc/sysconfig/network文件：將各個(gè)節(jié)點(diǎn)的hostname，修改為對應(yīng)的主機(jī)名，便于區(qū)分。重啟網(wǎng)絡(luò)，使修改生效#service network restart2.2.6 SSH無密碼登陸（所有節(jié)點(diǎn)）配置ssh互信的核心思想如下

14、： 首先，在要配置互信的機(jī)器上，生成各自的經(jīng)過認(rèn)證的key文件； 其次，將所有的key文件匯總到一個(gè)總的認(rèn)證文件中； 將這個(gè)包含了所有互信機(jī)器認(rèn)證key的認(rèn)證文件，分發(fā)到各個(gè)機(jī)器中去； 驗(yàn)證互信。 1、生成秘鑰對#ssh-keygen -t rsa連續(xù)3個(gè)回車即可，不必輸入2、分別改變/.ssh目錄和authorized_keys文件的權(quán)限（非root用戶務(wù)必做，保證只有用戶自己有寫權(quán)限，否則免密碼登錄無效，root用戶不做）#chmod 700 /.ssh#chmod 600 /.ssh/authorized_keys （備注：root用戶省略此步驟）3、每個(gè)節(jié)點(diǎn)主機(jī)都重復(fù)以上步驟，并將各自

15、的/.ssh/id_rsa.pub文件的公鑰拷貝至其他主機(jī)。hadoop2:scp /root/.ssh/id_rsa.pub hadoop1:root/.ssh/id_rsa.pub2hadoop3:scp /root/.ssh/id_rsa.pub hadoop1:/root/.ssh/id_rsa.pub3hadoop4:scp /root/.ssh/id_rsa.pub hadoop1:/root/.ssh/id_rsa.pub4hadoop5:scp /root/.ssh/id_rsa.pub hadoop1:/root/.ssh/id_rsa.pub54、創(chuàng)建公鑰認(rèn)證文件autho

16、rized_keys并將生成的/.ssh目錄下的id_rsa.pub文件 的內(nèi)容輸出至該文件。 在hadoop1中執(zhí)行： cat /root/.ssh/id_rsa.pub* /root/.ssh/authorized_keys 5、將生成authorized_keys文件拷貝到其他主機(jī)上的/root/.ssh/目錄中。hadoop2hadoop6將自己的公鑰復(fù)制給對方主機(jī)scp /root/.ssh/authorized_keys hadoop2:/root/.ssh/scp /root/.ssh/authorized_keys hadoop6:/root/.ssh/scp /root/.s

17、sh/authorized_keys hadoop2-5:/root/.ssh6、測試ssh互信在各個(gè)節(jié)點(diǎn)上運(yùn)行以下命令，若不需要輸入密碼就顯示系統(tǒng)當(dāng)前日期，就說明SSH互信已經(jīng)配置成功了。在c1n1節(jié)點(diǎn)上輸入以下命令：ssh c1n2 datessh c1d1 datessh c1d2 datessh c1d3 datessh c1d4 date2.2.7 安裝NTP時(shí)間同步服務(wù)（所有節(jié)點(diǎn)）集群中所有主機(jī)必須保持時(shí)間同步，如果時(shí)間相差較大（一般大于6秒）會(huì)引起各種問題。 具體思路如下。master節(jié)點(diǎn)作為ntp服務(wù)器與外界對時(shí)中心同步時(shí)間，隨后對所有datanode節(jié)點(diǎn)提供時(shí)間同步服務(wù)。所有

18、datanode節(jié)點(diǎn)以master節(jié)點(diǎn)為基礎(chǔ)同步時(shí)間。NTP可以使用yum直接安裝# yum install -y ntp每臺(tái)機(jī)器安裝ntp與ntpdate，并執(zhí)行以下命令：#service ntpd start啟動(dòng)NTP時(shí)間同步服務(wù)#chkconfig ntpd on配置開機(jī)啟動(dòng)#chkconfig -list ntpd 查看開機(jī)啟動(dòng)設(shè)置是否成功 #檢查是否ntp開啟，命令結(jié)果，2-5是啟用 與主控機(jī)同步，先配置主控機(jī)的時(shí)間與實(shí)際時(shí)間符合，然后搭建時(shí)間服務(wù)器并進(jìn)行同步，步驟如下： 配置NTP主機(jī)端 NTP服務(wù)只有一個(gè)配置文件，配置好了就OK。 這里只給出有用的配置，不需要的配置都用#注掉，這

19、里就不在給出。#vim /etc/ntp.conf 加入以下內(nèi)容：restrict mask nomodify notrap # 允許內(nèi)網(wǎng)其他機(jī)器同步時(shí)間server # 外部時(shí)間服務(wù)器不可用時(shí)，以本地時(shí)間作為時(shí)間服務(wù)fudge stratum 10 #service ntpd restart#ntpstat #查看驗(yàn)證出現(xiàn)以下狀態(tài)代表啟動(dòng)成功：synchronised to NTP server () at stratum 2time correct to within 74 mspollin

20、g server every 128 s 配置NTP客戶端#vim /etc/ntp.conf 注釋帶server字眼行部分內(nèi)容 添加 server 主機(jī)名或ip 如：server 0 /proc/sys/vm/swappiness已啟用“透明大頁面”，它可能會(huì)導(dǎo)致重大的性能問題。版本為“CentOS release 6.5 (Final)”且發(fā)行版為“2.6.32-431.el6.x86_64”的 Kernel 已將 enabled 設(shè)置為“always madvise never”，并將 defrag 設(shè)置為“always madvise never”。請運(yùn)行“ec

21、ho never /sys/kernel/mm/redhat_transparent_hugepage/defrag”以禁用此設(shè)置，然后將同一命令添加到一個(gè) init 腳本中，如 /etc/rc.local，這樣當(dāng)系統(tǒng)重啟時(shí)就會(huì)予以設(shè)置。或者，升級(jí)到 RHEL 6.5 或更新版本，它們不存在此錯(cuò)誤。將會(huì)影響到以下主機(jī)：解決辦法：執(zhí)行下面即可echo never /sys/kernel/mm/redhat_transparent_hugepage/defragJAVA_HOME=/usr/java/jdk1.6.0_31 java version 1.6.0_31 Java(TM) SE Run

22、time Environment (build 1.6.0_31-b04) Java HotSpot(TM) 64-Bit Server VM (build 20.6-b01, mixed mode)先用which java查看用的是哪個(gè)JAVA，結(jié)果顯示為 /usr/bin/java不是自己安裝的java。環(huán)境變量未生效。與其他節(jié)點(diǎn)java版本不一致。解決方法為：上圖說明并不是用的剛安裝的JAVA版本，那么把JAVA路徑放到PATH刪除 /usr/java文件夾:執(zhí)行一下命令：sudo update-alternatives -install /usr/bin/java java /usr/

23、local/java/jdk1.7.0_71/bin/java 300總結(jié)：第一個(gè)：設(shè)置為0#echo 0/proc/sys/vm/swappiness第二個(gè)：關(guān)閉透明大頁面#echo never/sys/kernel/mm/redhat_transparent_hugepage/defrag/*在.bashrc中添加echo never /sys/kernel/mm/redhat_transparent_hugepage/defragecho 0 /proc/sys/vm/swappinesssource .bashrc*/第三個(gè)：java版本不一致解決方法：# vi /usr/lib64/

24、cmf/service/common/cloudera-config.sh增加自定義java路徑：export JAVA_HOME=/opt/java1.7_71重啟CDH后 現(xiàn)象消失，接下來是選擇安裝服務(wù)。5 CM卸載6 雜記：Namenode和Secondarynamenode的關(guān)系【轉(zhuǎn)】NameNode將對文件系統(tǒng)的改動(dòng)追加保存到本地文件系統(tǒng)上的一個(gè)日志文件（edits）。當(dāng)一個(gè)NameNode啟動(dòng)時(shí)，它首先從一個(gè)映像文件（fsimage）中讀取HDFS的狀態(tài)，接著應(yīng)用日志文件中的edits操作。然后它將新的HDFS狀態(tài)寫入（fsimage）中，并使用一個(gè)空的 edits文件開始正常操作

25、。因?yàn)镹ameNode只有在啟動(dòng)階段才合并fsimage和edits，所以一段時(shí)間后日志文件可能會(huì)變得非常龐大，特別是對大型的集群。日志文件太大的另一個(gè)副作用是下一次NameNode啟動(dòng)會(huì)花很長時(shí)間。Secondary NameNode定期合并fsimage和edits日志，將edits日志文件大小控制在一個(gè)限度下。因?yàn)閮?nèi)存需求和NameNode在一個(gè)數(shù)量級(jí)上，所以通常secondary NameNode（運(yùn)行在單獨(dú)的物理機(jī)器上）和NameNode運(yùn)行在不同的機(jī)器上。Secondary NameNode通過bin/start-dfs.sh在conf/masters中指定的節(jié)點(diǎn)上啟動(dòng)。Secon

26、dary NameNode的檢查點(diǎn)進(jìn)程啟動(dòng)，是由兩個(gè)配置參數(shù)控制的：* fs.checkpoint.period，指定連續(xù)兩次檢查點(diǎn)的最大時(shí)間間隔， 默認(rèn)值是1小時(shí)。* fs.checkpoint.size定義了edits日志文件的最大值，一旦超過這個(gè)值會(huì)導(dǎo)致強(qiáng)制執(zhí)行檢查點(diǎn)（即使沒到檢查點(diǎn)的最大時(shí)間間隔）。默認(rèn)值是64MB。Secondary NameNode保存最新檢查點(diǎn)的目錄與NameNode的目錄結(jié)構(gòu)相同。所以NameNode可以在需要的時(shí)候讀取Secondary NameNode上的檢查點(diǎn)鏡像。如果NameNode上除了最新的檢查點(diǎn)以外，所有的其他的歷史鏡像和edits文件都丟失了，

27、NameNode可以引入這個(gè)最新的檢查點(diǎn)。以下操作可以實(shí)現(xiàn)這個(gè)功能：* 在配置參數(shù).dir指定的位置建立一個(gè)空文件夾；* 把檢查點(diǎn)目錄的位置賦值給配置參數(shù)fs.checkpoint.dir；* 啟動(dòng)NameNode，并加上-importCheckpoint。NameNode會(huì)從fs.checkpoint.dir目錄讀取檢查點(diǎn)，并把它保存在.dir目錄下。如果.dir目錄下有合法的鏡像文件，NameNode會(huì)啟動(dòng)失敗。 NameNode會(huì)檢查fs.checkpoint.dir目錄下鏡像文件的一致性，但是不會(huì)去改動(dòng)它。SecondaryNameNod

28、e工作流程：SecondaryNameNode節(jié)點(diǎn)通知NameNode節(jié)點(diǎn)生成新的日志文件，以后的日志都寫到新的日志文件中。SecondaryNameNode節(jié)點(diǎn)用http get從NameNode節(jié)點(diǎn)獲得fsimage文件及舊的日志文件。SecondaryNameNode節(jié)點(diǎn)將fsimage文件加載到內(nèi)存中，并執(zhí)行日志文件中的操作，然后生成新的fsimage文件。SecondaryNameNode節(jié)點(diǎn)將新的fsimage文件用http post傳回NameNode節(jié)點(diǎn)上。NameNode節(jié)點(diǎn)可以將舊的fsimage文件及舊的日志文件，換為新的fsimage文件和新的日志文件(第一步生成的)，

29、然后更新fstime文件，寫入此次checkpoint的時(shí)間。這樣NameNode節(jié)點(diǎn)中的fsimage文件保存了最新的checkpoint的元數(shù)據(jù)信息，日志文件也重新開始，不會(huì)變的很大了。python -c import socket; print socket.getfqdn(), socket.gethostbyname(socket.getfqdn()/查看主機(jī)和IP遇到問題:1. 報(bào)告JAVA_HOME未指定錯(cuò)誤。因?yàn)槲业腏AVA_HOME路徑，并不是cloudera默認(rèn)路徑，好像在/etc/profile指定，它也找不到.修改/etc/default/cloudera-scm-ag

30、ent如下： export CMF_AGENT_JAVA_HOME=/usr/custom_java+ date+ dateWed Sep 2 13:54:31 CST 2015+ umask 027+ BASE_JAVA_OPTS=-server -XX:+UseConcMarkSweepGC -XX:-CMSConcurrentMTEnabled -XX:+UseParNewGC+ MGMT_JAVA_OPTS=-server -XX:+UseConcMarkSweepGC -XX:-CMSConcurrentMTEnabled -XX:+UseParNewGC + MGMT_JAVA_O

31、PTS=-server -XX:+UseConcMarkSweepGC -XX:-CMSConcurrentMTEnabled -XX:+UseParNewGC -Dmgmt.log.file=+ MGMT_JAVA_OPTS=-server -XX:+UseConcMarkSweepGC -XX:-CMSConcurrentMTEnabled -XX:+UseParNewGC -Dmgmt.log.file= -Djava.awt.headless=true+ MGMT_JAVA_OPTS=-server -XX:+UseConcMarkSweepGC -XX:-CMSConcurrentMTEnabled -XX:+UseParNewGC -Dmgmt.log.file= -