CDH547安裝部署手冊

1、CDH5.4.7安裝部署手冊、文檔編號：版 本 號：V1.0編 寫：審 核：修訂記錄版本號修訂日期章節(jié)號修訂內容修訂人批準人目錄1 軟件介紹51.1 關于CDH和Cloudera Manager52 環(huán)境準備52.1 集群規(guī)劃52.2 環(huán)境部署72.2.1 MySQL下載72.2.2 JDK下載72.2.3 CDH下載72.2.4 JDK的安裝 (所有節(jié)點)82.2.5 關閉防火墻（所有節(jié)點）92.2.6 SSH無密碼登陸（所有節(jié)點）102.2.7 安裝NTP時間同步服務（所有節(jié)點）112.2.8 安裝MySQL143 Cloudera Manager安裝173.1 Cloudera Mana

2、ger安裝173.1.1 master配置183.1.2 agent配置193.2 安裝Cloudera Manager所需的rpm包203.2.1 安裝rpm文件203.2.2 本地源配置213.3 啟動Cloudera Manager223.3.1 開啟Cloudera Manager 5 Server端223.3.2 重啟Cloudera Manager 5 Server端233.3.3 啟動Agent234 安裝CDH235 CM卸載276 雜記：Namenode和Secondarynamenode的關系【轉】271 軟件介紹1.1 關于CDH和Cloudera ManagerCM:C

3、louderaManager（Cloudera公司專有的Hadoop集群管控平臺）。CDH:ClouderaDistributedHadoop（Cloudera公司重新打包發(fā)布的Hadoop版本） 。Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughp

4、ut）來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應用程序。HDFS放寬了POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。Hadoop框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。2 環(huán)境準備2.1 集群規(guī)劃IP地址主機名角色1c1n1NN/ RM/ HMaster/ZKFC/JobHistoryServer2c1n2NN/ RM/ HMaster/ZKFC 3c1d1DN

5、/ NM/ HRegionServer 4c1d2DN/ NM/ HRegionServer 5c1d3DN/ NM/ HRegionServer 6c1d4DN/ NM/ HRegionServer 7c1d5DN/ NM/ HRegionServer 8c1d6DN/ NM/ HRegionServer 9c1d7DN/ NM/ HRegionServer 0c1d8DN/ NM/ HRegionServer/ JN/ ZK172.19.

6、21.21c1d9DN/ NM/ HRegionServer/ JN/ ZK2c1d10DN/ NM/ HRegionServer/ JN/ ZK 服務器配置：軟硬件配置：賬號密碼1Namenode、HmasterResourceManager1-22臺主機型號 Dell PowerEdge R720rootbig1data物理機硬件配置(CPU/MEM)10C/64G物理機硬件配置(DISK)1T 硬盤 x1550G 硬盤 x2操作系統(tǒng)及版本號RED HAT ENTERPRISE LINUX SERVER RELEASE 6.

7、42Datanode、NodeManager、HRegionServer3-97臺主機型號 Dell PowerEdge R620rootbig1data物理機硬件配置(CPU/MEM)10C/32G物理機硬件配置(DISK)1T 硬盤 x4操作系統(tǒng)及版本號RED HAT ENTERPRISE LINUX SERVER RELEASE 6.43Zookeeper0-23臺主機型號 Dell PowerEdge R620rootbig1data物理機硬件配置(CPU/MEM)10C/32G物理機硬件配置(DI

8、SK)1T 硬盤 x4操作系統(tǒng)及版本號RED HAT ENTERPRISE LINUX SERVER RELEASE 6.42.2 環(huán)境部署2.2.1 MySQL下載（1）MySQL-client-5.6.25-1.el6.x86_64.rpm （2）MySQL-server-5.6.25-1.el6.x86_64.rpm （3）mysql-connector-java-5.1.36.zip /中使用2.2.2 JDK下載（1）jdk-7u71-linux-x64.tar.gz2.2.3 CDH下載（1）cloudera-manager-el6-cm5.3.4_x86_64.ta

9、r.gzhttp:/archive-（2）rpm包 （3）parcel文件http:/archive-以上存放目錄：/opt/CDH2.2.4 JDK的安裝 (所有節(jié)點)安裝好的Centos系統(tǒng)有時會自動安裝OpenJdk，用命令java -version查看1、刪除CentOS自帶的JDK 查看當前JDK rpm包 #rpm -qa | grep jdkjava-1.7.0-openjdk-5-.el6.x86_64java-1.6.0-openjdk-devel--3.0.el6.x86_64java-1.7.0-openjdk-d

10、evel-5-.el6.x86_64java-1.6.0-openjdk--3.0.el6.x86_64 刪除自帶JDK rpm -e -nodeps java-1.7.0-openjdk-5-.el6.x86_64rpm -e -nodeps java-1.6.0-openjdk-devel--3.0.el6.x86_64rpm -e -nodeps java-1.7.0-openjdk-devel-5-.el6.x86_64rpm -e -node

11、ps java-1.6.0-openjdk--3.0.el6.x86_64 檢查是否刪除干凈#rpm -qa | grep jdk2、安裝目錄/opt/jdk1.7.0_713、 安裝JDK首先將jdk-7u71-linux-x64.tar.gz解壓tar -xzvf jdk-7u71-linux-x64.tar.gz -C /opt/4 、設置環(huán)境變量#vi /etc/profileexport JAVA_HOME=/opt/jdk1.7.0_71export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=$JAVA_HOM

12、E/libexport CLASSPATH=$CLASSPATH:$JAVA_HOME/jre/lib5、使配置生效#source /etc/profile6、檢查JDK安裝java -version2.2.5 關閉防火墻（所有節(jié)點）防火墻會引起hadoop相關組件通訊的各種異常，需關閉防火墻。用root用戶權限登錄進行操作。1 、關閉防火墻#service iptables stop驗證：service iptables status#service iptables stop （臨時關閉） #chkconfig iptables off （重啟后生效）2、 關閉selinuxselinux

13、是一種強制訪問控制的實現(xiàn)vi /etc/selinux/configSELINUX=disabled3、驗證使用getenforce命令查看是否關閉#getenforceDisabled4、綁定IP與主機名（所有節(jié)點）修改/etc/hosts在每臺機器的/etc/hosts中配置集群中各節(jié)點的IP和IP對應的機器名，具體內容如下：執(zhí)行命令修改主機名修改/etc/sysconfig/network文件：將各個節(jié)點的hostname，修改為對應的主機名，便于區(qū)分。重啟網絡，使修改生效#service network restart2.2.6 SSH無密碼登陸（所有節(jié)點）配置ssh互信的核心思想如下

14、： 首先，在要配置互信的機器上，生成各自的經過認證的key文件； 其次，將所有的key文件匯總到一個總的認證文件中； 將這個包含了所有互信機器認證key的認證文件，分發(fā)到各個機器中去； 驗證互信。 1、生成秘鑰對#ssh-keygen -t rsa連續(xù)3個回車即可，不必輸入2、分別改變/.ssh目錄和authorized_keys文件的權限（非root用戶務必做，保證只有用戶自己有寫權限，否則免密碼登錄無效，root用戶不做）#chmod 700 /.ssh#chmod 600 /.ssh/authorized_keys （備注：root用戶省略此步驟）3、每個節(jié)點主機都重復以上步驟，并將各自

15、的/.ssh/id_rsa.pub文件的公鑰拷貝至其他主機。hadoop2:scp /root/.ssh/id_rsa.pub hadoop1:root/.ssh/id_rsa.pub2hadoop3:scp /root/.ssh/id_rsa.pub hadoop1:/root/.ssh/id_rsa.pub3hadoop4:scp /root/.ssh/id_rsa.pub hadoop1:/root/.ssh/id_rsa.pub4hadoop5:scp /root/.ssh/id_rsa.pub hadoop1:/root/.ssh/id_rsa.pub54、創(chuàng)建公鑰認證文件autho

16、rized_keys并將生成的/.ssh目錄下的id_rsa.pub文件 的內容輸出至該文件。 在hadoop1中執(zhí)行： cat /root/.ssh/id_rsa.pub* /root/.ssh/authorized_keys 5、將生成authorized_keys文件拷貝到其他主機上的/root/.ssh/目錄中。hadoop2hadoop6將自己的公鑰復制給對方主機scp /root/.ssh/authorized_keys hadoop2:/root/.ssh/scp /root/.ssh/authorized_keys hadoop6:/root/.ssh/scp /root/.s

17、sh/authorized_keys hadoop2-5:/root/.ssh6、測試ssh互信在各個節(jié)點上運行以下命令，若不需要輸入密碼就顯示系統(tǒng)當前日期，就說明SSH互信已經配置成功了。在c1n1節(jié)點上輸入以下命令：ssh c1n2 datessh c1d1 datessh c1d2 datessh c1d3 datessh c1d4 date2.2.7 安裝NTP時間同步服務（所有節(jié)點）集群中所有主機必須保持時間同步，如果時間相差較大（一般大于6秒）會引起各種問題。 具體思路如下。master節(jié)點作為ntp服務器與外界對時中心同步時間，隨后對所有datanode節(jié)點提供時間同步服務。所有

18、datanode節(jié)點以master節(jié)點為基礎同步時間。NTP可以使用yum直接安裝# yum install -y ntp每臺機器安裝ntp與ntpdate，并執(zhí)行以下命令：#service ntpd start啟動NTP時間同步服務#chkconfig ntpd on配置開機啟動#chkconfig -list ntpd 查看開機啟動設置是否成功 #檢查是否ntp開啟，命令結果，2-5是啟用 與主控機同步，先配置主控機的時間與實際時間符合，然后搭建時間服務器并進行同步，步驟如下： 配置NTP主機端 NTP服務只有一個配置文件，配置好了就OK。 這里只給出有用的配置，不需要的配置都用#注掉，這

19、里就不在給出。#vim /etc/ntp.conf 加入以下內容：restrict mask nomodify notrap # 允許內網其他機器同步時間server # 外部時間服務器不可用時，以本地時間作為時間服務fudge stratum 10 #service ntpd restart#ntpstat #查看驗證出現(xiàn)以下狀態(tài)代表啟動成功：synchronised to NTP server () at stratum 2time correct to within 74 mspollin

20、g server every 128 s 配置NTP客戶端#vim /etc/ntp.conf 注釋帶server字眼行部分內容 添加 server 主機名或ip 如：server 0 /proc/sys/vm/swappiness已啟用“透明大頁面”，它可能會導致重大的性能問題。版本為“CentOS release 6.5 (Final)”且發(fā)行版為“2.6.32-431.el6.x86_64”的 Kernel 已將 enabled 設置為“always madvise never”，并將 defrag 設置為“always madvise never”。請運行“ec

21、ho never /sys/kernel/mm/redhat_transparent_hugepage/defrag”以禁用此設置，然后將同一命令添加到一個 init 腳本中，如 /etc/rc.local，這樣當系統(tǒng)重啟時就會予以設置?；蛘撸壍?RHEL 6.5 或更新版本，它們不存在此錯誤。將會影響到以下主機：解決辦法：執(zhí)行下面即可echo never /sys/kernel/mm/redhat_transparent_hugepage/defragJAVA_HOME=/usr/java/jdk1.6.0_31 java version 1.6.0_31 Java(TM) SE Run

22、time Environment (build 1.6.0_31-b04) Java HotSpot(TM) 64-Bit Server VM (build 20.6-b01, mixed mode)先用which java查看用的是哪個JAVA，結果顯示為 /usr/bin/java不是自己安裝的java。環(huán)境變量未生效。與其他節(jié)點java版本不一致。解決方法為：上圖說明并不是用的剛安裝的JAVA版本，那么把JAVA路徑放到PATH刪除 /usr/java文件夾:執(zhí)行一下命令：sudo update-alternatives -install /usr/bin/java java /usr/

23、local/java/jdk1.7.0_71/bin/java 300總結：第一個：設置為0#echo 0/proc/sys/vm/swappiness第二個：關閉透明大頁面#echo never/sys/kernel/mm/redhat_transparent_hugepage/defrag/*在.bashrc中添加echo never /sys/kernel/mm/redhat_transparent_hugepage/defragecho 0 /proc/sys/vm/swappinesssource .bashrc*/第三個：java版本不一致解決方法：# vi /usr/lib64/

24、cmf/service/common/cloudera-config.sh增加自定義java路徑：export JAVA_HOME=/opt/java1.7_71重啟CDH后 現(xiàn)象消失，接下來是選擇安裝服務。5 CM卸載6 雜記：Namenode和Secondarynamenode的關系【轉】NameNode將對文件系統(tǒng)的改動追加保存到本地文件系統(tǒng)上的一個日志文件（edits）。當一個NameNode啟動時，它首先從一個映像文件（fsimage）中讀取HDFS的狀態(tài)，接著應用日志文件中的edits操作。然后它將新的HDFS狀態(tài)寫入（fsimage）中，并使用一個空的 edits文件開始正常操作

25、。因為NameNode只有在啟動階段才合并fsimage和edits，所以一段時間后日志文件可能會變得非常龐大，特別是對大型的集群。日志文件太大的另一個副作用是下一次NameNode啟動會花很長時間。Secondary NameNode定期合并fsimage和edits日志，將edits日志文件大小控制在一個限度下。因為內存需求和NameNode在一個數(shù)量級上，所以通常secondary NameNode（運行在單獨的物理機器上）和NameNode運行在不同的機器上。Secondary NameNode通過bin/start-dfs.sh在conf/masters中指定的節(jié)點上啟動。Secon

26、dary NameNode的檢查點進程啟動，是由兩個配置參數(shù)控制的：* fs.checkpoint.period，指定連續(xù)兩次檢查點的最大時間間隔， 默認值是1小時。* fs.checkpoint.size定義了edits日志文件的最大值，一旦超過這個值會導致強制執(zhí)行檢查點（即使沒到檢查點的最大時間間隔）。默認值是64MB。Secondary NameNode保存最新檢查點的目錄與NameNode的目錄結構相同。所以NameNode可以在需要的時候讀取Secondary NameNode上的檢查點鏡像。如果NameNode上除了最新的檢查點以外，所有的其他的歷史鏡像和edits文件都丟失了，

27、NameNode可以引入這個最新的檢查點。以下操作可以實現(xiàn)這個功能：* 在配置參數(shù).dir指定的位置建立一個空文件夾；* 把檢查點目錄的位置賦值給配置參數(shù)fs.checkpoint.dir；* 啟動NameNode，并加上-importCheckpoint。NameNode會從fs.checkpoint.dir目錄讀取檢查點，并把它保存在.dir目錄下。如果.dir目錄下有合法的鏡像文件，NameNode會啟動失敗。 NameNode會檢查fs.checkpoint.dir目錄下鏡像文件的一致性，但是不會去改動它。SecondaryNameNod

28、e工作流程：SecondaryNameNode節(jié)點通知NameNode節(jié)點生成新的日志文件，以后的日志都寫到新的日志文件中。SecondaryNameNode節(jié)點用http get從NameNode節(jié)點獲得fsimage文件及舊的日志文件。SecondaryNameNode節(jié)點將fsimage文件加載到內存中，并執(zhí)行日志文件中的操作，然后生成新的fsimage文件。SecondaryNameNode節(jié)點將新的fsimage文件用http post傳回NameNode節(jié)點上。NameNode節(jié)點可以將舊的fsimage文件及舊的日志文件，換為新的fsimage文件和新的日志文件(第一步生成的)，

29、然后更新fstime文件，寫入此次checkpoint的時間。這樣NameNode節(jié)點中的fsimage文件保存了最新的checkpoint的元數(shù)據(jù)信息，日志文件也重新開始，不會變的很大了。python -c import socket; print socket.getfqdn(), socket.gethostbyname(socket.getfqdn()/查看主機和IP遇到問題:1. 報告JAVA_HOME未指定錯誤。因為我的JAVA_HOME路徑，并不是cloudera默認路徑，好像在/etc/profile指定，它也找不到.修改/etc/default/cloudera-scm-ag

30、ent如下： export CMF_AGENT_JAVA_HOME=/usr/custom_java+ date+ dateWed Sep 2 13:54:31 CST 2015+ umask 027+ BASE_JAVA_OPTS=-server -XX:+UseConcMarkSweepGC -XX:-CMSConcurrentMTEnabled -XX:+UseParNewGC+ MGMT_JAVA_OPTS=-server -XX:+UseConcMarkSweepGC -XX:-CMSConcurrentMTEnabled -XX:+UseParNewGC + MGMT_JAVA_O

31、PTS=-server -XX:+UseConcMarkSweepGC -XX:-CMSConcurrentMTEnabled -XX:+UseParNewGC -Dmgmt.log.file=+ MGMT_JAVA_OPTS=-server -XX:+UseConcMarkSweepGC -XX:-CMSConcurrentMTEnabled -XX:+UseParNewGC -Dmgmt.log.file= -Djava.awt.headless=true+ MGMT_JAVA_OPTS=-server -XX:+UseConcMarkSweepGC -XX:-CMSConcurrentMTEnabled -XX:+UseParNewGC -Dmgmt.log.file= -