CDH 580 on CentOS65離線安裝

1、CDH 5.8.0 on CentOS6.5離線安裝編寫：陶崇寅關(guān)于CDH和ClouderaManagerCDH (Cloudera's Distribution, includingApache Hadoop)，是Hadoop眾多分支中的一種，由Cloudera維護(hù)，基于穩(wěn)定版本的Apache Hadoop構(gòu)建，并集成了很多補(bǔ)丁，可直接用于生產(chǎn)環(huán)境。Cloudera Manager（本文以下簡(jiǎn)稱為CM）則是為了便于在集群中進(jìn)行Hadoop等大數(shù)據(jù)處理相關(guān)的服務(wù)安裝和監(jiān)控管理的組件，對(duì)集群中主機(jī)、Hadoop、Hive、Spark等服務(wù)的安裝配置管理做了極大簡(jiǎn)化。環(huán)境準(zhǔn)備服務(wù)器環(huán)境：L

2、inux物理機(jī)服務(wù)器配置：內(nèi)存：128G,CPU:40Core操作系統(tǒng)：CentOS 6.5 x64 Cloudera Manager：5.8.0CDH: 5.8.0前期環(huán)境準(zhǔn)備操作：打通SSH配置Hosts關(guān)閉SELINUX關(guān)閉防火墻NTP（可選）jdk安裝MySql安裝IP對(duì)應(yīng)的主機(jī)名01 master 02 slave03 slave2對(duì)應(yīng)的CM角色CM的主節(jié)點(diǎn)：masterCM的子節(jié)點(diǎn)：master,slave1,slave2下載安裝包CM的安裝包下載地址：對(duì)應(yīng)的文件是：cloudera-manager-el

3、6-cm5.8.0_x86_64.tar.gz本地源的安裝包由于是離線安裝，需要配置本地源，需要下載相關(guān)的包，下載地址是：http:/archive-由于系統(tǒng)是CentOS6.5，所以對(duì)應(yīng)的文件是：CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcelCDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1manifest.jsonjdk的rpm包地址：jdk-8u102-linux-x64.rpmmysql connector包由于我的CM以及其他CDH組件存儲(chǔ)元數(shù)據(jù)等信息使用的是mysql，所以此處需要準(zhǔn)備jdbc連接mysql相關(guān)的包，如果

4、使用其他的數(shù)據(jù)庫(kù)，請(qǐng)準(zhǔn)備相對(duì)應(yīng)的包mysql-connector-java-5.1.39.jar由于此次安裝mysql我使用的是yum的方式，所以此處未單獨(dú)下載相關(guān)的軟件包，另外，建議使用yum或者rpm的方式安裝mysql以及jdk，這樣jdk以及mysql會(huì)安裝到默認(rèn)位置上，由于CM自身機(jī)制的問題，如果這兩個(gè)軟件未安裝到默認(rèn)的位置上會(huì)導(dǎo)致許多額外的配置以及很多不期而遇的問題關(guān)閉SELINUX以及防火墻防火墻會(huì)引起hadoop相關(guān)組件通訊的各種異常，需關(guān)閉防火墻。用root用戶權(quán)限登錄進(jìn)行操作： 1 關(guān)閉防火墻： service iptables stop驗(yàn)證：servi

5、ce iptables statusservice iptables stop （臨時(shí)關(guān)閉）  chkconfig iptables off （重啟后生效）  2 關(guān)閉selinux:查看SELinux狀態(tài)：1、/usr/sbin/sestatus -v      #如果SELinux status參數(shù)為enabled即為開啟狀態(tài)SELinux status:                 enabled2、getenforce    

6、;             #也可以用這個(gè)命令檢查關(guān)閉SELinux：1、臨時(shí)關(guān)閉（不用重啟機(jī)器）：setenforce 0                  #設(shè)置SELinux 成為permissive模式                              #setenforce 1 設(shè)

7、置SELinux 成為enforcing模式2、修改配置文件需要重啟機(jī)器：修改/etc/selinux/config 文件將SELINUX=enforcing改為SELINUX=disabled重啟機(jī)器即可修改/etc/hostsvi /etc/hosts保存退出SSH無密碼登陸1：ssh-keygen -t rsa連續(xù)3個(gè)回車，不必輸入，生成密鑰2：ssh-copy-id -i /root/.ssh/id_rsa.pub rootmaster把本機(jī)的公鑰追到master的 .ssh/authorized_keys 里3:在每臺(tái)機(jī)器上都對(duì)其他機(jī)器重復(fù)執(zhí)行第2步，直到所有機(jī)器都能相互免密碼登陸安

8、裝NTP服務(wù)器由于非必須此處我未安裝，感興趣或者需要的同學(xué)就去問下度娘吧rpm安裝jdkrpm -ivh jdk-8u102-linux-x64.rpm配java環(huán)境變量java -version來檢測(cè)jdk是否安裝成功yum安裝mysql建議將mysql安裝到CM的主服務(wù)器上安裝之前檢查下機(jī)器是否已經(jīng)安裝mysql：rpm -qa|grep mysql效果如下：包含圖上所示4個(gè)包就正確了，Mysql包不能多裝，否則會(huì)在安裝oozie hive等會(huì)出現(xiàn)鏈接拒絕問題如果多了使用下面的命令卸載：rpm -e xxxxxxxx如果少了使用下面的命令安裝，少那個(gè)就安裝哪個(gè)：yum install -y

9、 mysql-develyum install -y mysql-serveryum install -y mysql-libsyum install -y mysql創(chuàng)建mysql數(shù)據(jù)庫(kù)1） . -hive 數(shù)據(jù)庫(kù)create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;2） . -集群監(jiān)控?cái)?shù)據(jù)庫(kù)create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;3） . -hue 數(shù)據(jù)庫(kù)create database hue DEFAULT CHARSE

10、T utf8 COLLATE utf8_general_ci;4） . -oozie 數(shù)據(jù)庫(kù)create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;為新創(chuàng)建的庫(kù)賦權(quán)限如果對(duì)mysql數(shù)據(jù)庫(kù)權(quán)限要求比較高的話可以手動(dòng)單獨(dú)處理如果要求不是很高，直接使用以下命令即可：grant all privileges on *.* to 'root''%' identified by 'XXXX' with grant option;flush privileges;語句中的“XXXX

11、”是root用戶的登錄密碼安裝CM將cloudera-manager-el6-cm5.8.0_x86_64.tar.gz上傳到CM的主節(jié)點(diǎn)的/opt/目錄下并解壓縮，解壓后會(huì)生成cloudera以及cm-5.8.0兩個(gè)文件夾。由于cloudera自身機(jī)制的問題，如果解壓后的位置不在/opt/下會(huì)導(dǎo)致許多額外的配置以及很多不期而遇的問題為每個(gè)節(jié)點(diǎn)都要?jiǎng)?chuàng)建用戶useradd -system -home=/opt/cm-5.8.0/run/cloudera-scm-server -no-create-home -shell=/bin/false -comment "Cloudera SCM

12、 User" cloudera-scm在 CM的主節(jié)點(diǎn)上修改sudoers文件vim /etc/sudoers在rootALL=(ALL)ALL后面增加cloudera-scm ALL=(ALL) NOPASSWD: ALL此處的配置是為了部分避免后面頁(yè)面配置過程中發(fā)生配置無法下發(fā)到agent端的問題而進(jìn)行的配置在CM的主節(jié)點(diǎn)上部署mysql connector包將mysql-connector-java-5.1.39-bin.jar放到/opt/cm-5.8.0/share/cmf/lib/下修改agent配置文件vim /opt/cm-5.8.0/etc/cloudera-scm

13、-agent/config.ini將server_host配置項(xiàng)由localhost改成master（CM的主節(jié)點(diǎn)）保存退出將cm-5.8.0 scp到其讓機(jī)器opt文件夾下scp r cm-5.8.0 slave1:/opt/scp r cm-5.8.0 slave2:/opt/初始化CM數(shù)據(jù)庫(kù)/opt/cm-5.8.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot -scm-host localhost scm scm scmCM的主節(jié)點(diǎn)配置本地源將已下載完畢的 CDH-5.8.0-1

14、.cdh5.8.0.p0.42-el6.parcel，CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1，manifest.json并將他們放到 /opt/cloudera/parcel-repo下，并把CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1重命名為CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.shaCM主節(jié)點(diǎn)啟動(dòng)server/opt/cm-5.8.0/etc/init.d/cloudera-scm-server start查看日志tail -f /opt/cm-5.8.0/log/c

15、loudera-scm-server/cloudera-scm-server.logCM子節(jié)點(diǎn)創(chuàng)建agent所需的文件夾mkdir -p /opt/cm-5.8.0/runCM子節(jié)點(diǎn)啟動(dòng)agent/opt/cm-5.8.0/etc/init.d/cloudera-scm-agent start頁(yè)面配置登錄地址：01（CM主節(jié)點(diǎn)）:7180默認(rèn)用戶名密碼：admin/admin登錄界面簽了免責(zé)條款，繼續(xù)免費(fèi)版本即可以滿足基本需求，如果有特別需求或者土豪可以選擇其他，點(diǎn)擊繼續(xù)CM可以管理的CDH組件的列表，點(diǎn)擊繼續(xù)主機(jī)配置如果agent進(jìn)程正常啟動(dòng)，此處就可以發(fā)現(xiàn)當(dāng)前已經(jīng)管理

16、的主機(jī)，全選后，點(diǎn)擊繼續(xù)此處選擇使用Parcel，由于我們已經(jīng)構(gòu)建了本地源，所以有CDH-5.8.0-1.cdh5.8.0.p0.42這個(gè)選項(xiàng)，如果此處未出現(xiàn)這個(gè)選項(xiàng)，說明你本地源搭建有問題，其他Parcel暫時(shí)可以不選，后續(xù)可以再處理，選中后點(diǎn)擊繼續(xù)點(diǎn)擊繼續(xù)后出現(xiàn)此界面，顯示已下載100%說明本地源構(gòu)建成功，不需要再額外下載了此處CM會(huì)自動(dòng)將本地源的相關(guān)信息在各個(gè)agent上分配，解壓以及激活，此處需要等待一些時(shí)間，時(shí)間根據(jù)服務(wù)器性能而異，我的物理機(jī)大約需要幾分鐘，虛擬機(jī)的話大約需要十幾或者幾十分鐘，耐心等待，全部完畢后，點(diǎn)擊繼續(xù)CM自動(dòng)為各個(gè)服務(wù)器進(jìn)行體檢體檢結(jié)果出來了，中間這兩個(gè)警告可以

17、忽略，CM會(huì)自動(dòng)幫我們擺平的，如果有其他的問題，根據(jù)問題提示給予解決，點(diǎn)擊完成集群配置各種不同的Hadoop搭配，魚丸和粗面都有，根據(jù)個(gè)人需求自己選擇，也支持自定義，本人選擇了核心hadoop，點(diǎn)擊繼續(xù)此處為各個(gè)CDH組件分配服務(wù)器，根據(jù)需求分配即可，我的經(jīng)驗(yàn)是絕大部分可以默認(rèn)，zookeeper以及hdfs的secondarynamenode需要改一下即可，點(diǎn)擊繼續(xù)測(cè)試CDH組件與元數(shù)據(jù)存放的RDBMS的連通性填完相關(guān)的信息后，點(diǎn)擊測(cè)試鏈接，測(cè)試通過后，點(diǎn)擊繼續(xù)此處是安裝的CDH組件的配置信息，如果沒有特定的配置或者特殊的要求，可以先都用默認(rèn)值，后續(xù)再界面中可以修改，配置完畢后，點(diǎn)擊繼續(xù)集群

18、各個(gè)組件初始化，耐心等待，初始化完畢后，點(diǎn)擊完成即大功告成CM卸載由于CM沒有提供官方的卸載工具，加上CM的結(jié)構(gòu)復(fù)雜，文件存放分散，所以CM的卸載是件風(fēng)險(xiǎn)很高的事情，很有可能卸載不干凈而導(dǎo)致二次安裝出現(xiàn)各種奇怪的問題，所以不推薦進(jìn)行卸載。此處的卸載方法僅供參考。下面所有的操作除了停止agent以及server進(jìn)程外其余在所有的服務(wù)器上全部執(zhí)行關(guān)閉集群中的所有服務(wù) 這個(gè)可以通過clouder manger 主頁(yè)關(guān)閉集群卸載rootmaster # /usr/share/cmf/uninstall-cloudera-manager.sh 在某些版本中沒有這個(gè)腳本，可以忽略，繼續(xù)下面的操作在所有的C

19、M的agent上執(zhí)行/opt/cm-5.8.0/etc/init.d/cloudera-scm-agent stop在CM的主節(jié)點(diǎn)上執(zhí)行/opt/cm-5.8.0/etc/init.d/cloudera-scm-server stop一下都是所有要卸載的集群均要執(zhí)行清除工作：rootmaster # rm -rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/x86_64/6/cloudera* /var/log/cloudera* /var/run/cloudera* /etc/cloudera* 卸載安裝包rootslave1 # rpm

20、 -qa | grep clouderarootslave1 # for f in rpm -qa | grep cloudera ; do rpm -e $f ; done （如果有保存，在執(zhí)行一遍）清除安裝文件 rm -rf /var/lib/hadoop-* /var/lib/impala /var/lib/solr /var/lib/zookeeper /var/lib/hue /var/lib/oozie /var/lib/pgsql /var/lib/sqoop2 /data/dfs/ /data/impala/ /data/yarn/ /dfs/ /impala/ /yarn/ /var/run/hadoop-*/ /var/run/hdfs-*/ /usr/bin/hadoop* /usr/bin/zookeeper* /usr/bin/hbase* /usr/bin/hive* /usr/bin/hdfs /usr/bin/ma