cloudera 安裝部署手冊(cè)

1、clouderaCDH安裝功能名稱：業(yè)務(wù)名稱：編 寫 人：編寫日期：2014-7-28確 認(rèn) 人：確認(rèn)日期：修訂記錄日期版本作者/修改者描述審核人目 錄1.導(dǎo)言51.1.說明51.2.集群節(jié)點(diǎn)51.3.硬件51.4.軟件版本52.準(zhǔn)備工作52.1.操作系統(tǒng)52.2.磁盤52.2.1.是否需要raid52.2.2.磁盤劃分52.2.3.磁盤裸設(shè)備的掛載62.3.關(guān)閉防火墻62.4.修改主機(jī)名并配置Hosts72.4.1.修改主機(jī)名72.4.2.設(shè)置每臺(tái)主機(jī)的hosts72.5.ssh免登陸配置72.5.1.創(chuàng)建公鑰和密鑰72.5.2.配置與其他機(jī)器的免密碼登陸82.6.同步集群時(shí)間ntp92.6

2、.1.配置ntp server集群時(shí)鐘92.6.2.ntp客戶端配置102.6.3.測(cè)試112.7.上傳安裝包以及搭建yum源122.7.1.安裝cloudera需要的文件如下安裝包122.7.2.上傳yum源需要的文件到 /var/www/html目錄下122.7.3.啟動(dòng)httpd服務(wù)132.7.4.測(cè)試HTTPD132.7.5.編輯yum源配置文件142.7.6.安裝createrepo152.7.7.創(chuàng)建源索引153.cm安裝153.1.上傳cm安裝啟動(dòng)程序153.2.安裝cm的install.bin164.cdh安裝194.1.登陸CM194.2.指定主機(jī)204.3.群集安裝214.

3、4.安裝parcel214.4.1.配置214.4.2.配置parcel224.5.選擇parcel和cm等244.6.安裝CM JDK和分發(fā)數(shù)據(jù)包等264.7.分配parcel284.8.檢查各個(gè)主機(jī)284.9.選擇需要安裝的服務(wù)294.10.分配角色并安裝305.驗(yàn)證和使用335.1.zookeeper335.2.hbase335.3.hdfs335.4.使用shell驗(yàn)證hbase安裝341. 導(dǎo)言1.1. 說明本指導(dǎo)書以濰坊交警hadoop集群為例，指導(dǎo)安裝CDH1.2. 集群節(jié)點(diǎn)見hadoop服務(wù)器角色清單1.3. 硬件共14臺(tái)“華為RH2288-HV2 Xeon E5-2620，內(nèi)

4、存容量：192G，4塊2T SATA硬盤”1.4. 軟件版本2. 準(zhǔn)備工作2.1. 操作系統(tǒng)操作系統(tǒng)使用64位CentOS6.52.2. 磁盤2.2.1. 是否需要raid集群datanode不需要安裝raid磁盤，hadoop的hdfs本身具有冗余和并發(fā)機(jī)制，namenode為了保證數(shù)據(jù)安全，需要安裝raid。2.2.2. 磁盤劃分 磁盤劃分datanode要求盤符的劃分所有節(jié)點(diǎn)要相同，之后的hadoop所有相關(guān)安裝路徑等也需要相同。Namenode劃分如下：共有2塊raid盤Datanode如下：4塊物理盤2.2.3. 磁盤裸設(shè)備的掛載a查看裸設(shè)備： fdisk lb 進(jìn)入分區(qū) fdisk

5、 /dev/sdac 分區(qū)后的格式化 mkfs.ext4 /dev/sda4d 掛載 mount /dev/sda4 /home/data1e 永久掛載，使掛載重啟后有效 vi /etc/fstab 添加 /dev/sda4 /home/data1 ext4 defaults 1 2 保存，reboot機(jī)器確認(rèn)掛載成功f 卸載umount /dev/sda42.3. 關(guān)閉防火墻集群所有機(jī)器執(zhí)行：rootnode41 # service iptables stopiptables: Flushing firewall rules: OK iptables: Setting chains to p

6、olicy ACCEPT: filter OK iptables: Unloading modules: OK rootnode41 # chkconfig iptables off每個(gè)機(jī)器都需要關(guān)閉防火墻2.4. 修改主機(jī)名并配置Hosts2.4.1. 修改主機(jī)名每臺(tái)機(jī)器設(shè)置不同的主機(jī)名2.4.2. 設(shè)置每臺(tái)主機(jī)的hosts在每個(gè)機(jī)器設(shè)置Hostsvi /etc/hosts9 node290 node301 node32 node33 node334 node3410.

7、51.82.35 node356 node367 node378 node389 node390 node401 node41保存退出，重啟機(jī)器查看主機(jī)名是否變化rootnode29 # 2.5. ssh免登陸配置2.5.1. 創(chuàng)建公鑰和密鑰rootnode29 # ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id

8、_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa.Your public key has been saved in /root/.ssh/id_rsa.pub.The key fingerprint is:b9:ef:52:0d:94:42:fa:13:f7:ea:bb:ce:34:50:07:5f rootnode29The key's randomart ima

9、ge is:+- RSA 2048-+| . . E | . oo . | . .oo o | . =.o | S o. | +. | .+ | .= . | +Oo |+-+rootnode29 #rootnode29 .ssh# pwd/root/.sshrootnode29 .ssh# cat id_rsa.pub >> authorized_keys rootnode29 .ssh# cd .rootnode29 # chmod -R 700 .ssh/rootnode29 # cd .ssh/rootnode29 .ssh# chmod 644 authorized_ke

10、ysrootnode29 .ssh# ssh node29The authenticity of host 'node29 (9)' can't be established.RSA key fingerprint is be:77:86:0c:7e:76:b8:f4:b8:5d:e4:ed:e0:50:14:b5.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added 'node29,9' (RSA)

11、 to the list of known hosts.此時(shí)自身已經(jīng)可以ssh，2.5.2. 配置與其他機(jī)器的免密碼登陸rootnode29 .ssh# pwd/root/.ssh rootnode29 .ssh# ssh-copy-id -i id_rsa.pub rootnode138rootnode30 # chmod -R 700 /root/.ssh/rootnode30 # chmod 644 /root/.ssh/authorized_keys重新在29上查看ssh 30成功rootnode29 .ssh# ssh node30Last login: Tue Jul 29 19:

12、48rootnode30 #其他datanode同理，需要各個(gè)機(jī)器之間都可以通過ssh免密碼登陸。2.6. 同步集群時(shí)間ntp集群時(shí)區(qū)和時(shí)間需要保持完全一致，相差最多不要超過15S，否則將導(dǎo)致集群運(yùn)行出現(xiàn)問題。可以考慮使用時(shí)間同步軟件，此處手動(dòng)同步集群時(shí)間：rootnode29 # date -s 21:21:40date -s 20141229同步到硬件時(shí)鐘rootnode29 # hwclock w2.6.1. 配置ntp server集群時(shí)鐘1、node13 配置：vi /etc/ntp.confdriftfile /var/lib/ntp/driftrestrict default k

13、od nomodify notrap nopeer noqueryrestrict -6 default kod nomodify notrap nopeer noqueryrestrict restrict -6 :1restrict mask nomodify notrapserver # local clockfudge stratum 1includefile /etc/ntp/crypto/pwkeys /etc/ntp/keysrootnode29 etc# s

14、ervice ntpd start正在啟動(dòng) ntpd：確定設(shè)置開機(jī)自動(dòng)啟動(dòng)：rootnode29 etc# chkconfig ntpd on查看狀態(tài)：rootnode29 etc# ntpstatunsynchronised time server re-starting polling server every 64 s等待5分鐘rootnode29 etc# ntpstatsynchronised to local net at stratum 11 time correct to within 448 ms polling server every 64 s2.6.2. ntp客戶端配

15、置vi ntp.conf driftfile /var/lib/ntp/driftrestrict default kod nomodify notrap nopeer noqueryrestrict -6 default kod nomodify notrap nopeer noqueryrestrict restrict -6 :1server 10.includefile /etc/ntp/crypto/pwkeys /etc/ntp/keys#server # local clock 這兩行注釋掉#fudge 9 stra

16、tum 10所有客戶端機(jī)器都使用如上修改配置scp -r ntp.conf node24:/etc/scp -r ntp.conf node56:/etc/所有客戶端啟動(dòng)ntp在所有客戶機(jī)上執(zhí)行如下命令同步一次時(shí)鐘，如果時(shí)鐘偏差多大會(huì)導(dǎo)致無(wú)法同步，1000s之內(nèi)rootnode41 # ntpdate -u 10. 5 Aug 22:35:22 ntpdate76821: step time server 9 offset -65.756888 sec2.6.3. 測(cè)試netstat -tlunp |grep ntp1、 客戶機(jī)啟動(dòng)ntpdrootnode30 # ntps

17、tatUnable to talk to NTP daemon. Is it running?rootnode30 # service ntpd start正在啟動(dòng) ntpd：確定rootnode30 # ntpstatunsynchronised time server re-starting polling server every 64 srootnode30 #隔段時(shí)間后：rootnode30 # ntpstatsynchronised to local net at stratum 11 time correct to within 948 ms polling server eve

18、ry 64 srootnode30 #4、排查：正確同步狀態(tài)“錯(cuò)誤同步狀態(tài)：顯示未正常與29同步，將自己作為了服務(wù)器rootnode35 # cat /var/log/messages2、 說明：*服務(wù)端是上層的客戶端，所以服務(wù)端和客戶端的配置是相通的*設(shè)置配置文件中的“restrict”項(xiàng)，主要用于控制客戶端對(duì)服務(wù)器的訪問* fudge stratum 1設(shè)置本地時(shí)鐘源的層次為1，這樣如果NTPD服務(wù)從本地時(shí)鐘源獲取時(shí)間的話，NTPD對(duì)外宣布的時(shí)間層次為2。*有時(shí)候同步過程慢，需等待很多分鐘：rootnode41 # ntpstatunsynchronised pol

19、ling server every 16 srootnode41 # ntpstatsynchronised to NTP server (9) at stratum 3 time correct to within 487 ms polling server every 64 s2.7. 上傳安裝包以及搭建yum源2.7.1. 安裝cloudera需要的文件如下安裝包1CentOS_6.5CentOS6.5安裝光盤2CDH安裝包（需要分發(fā)到各個(gè)機(jī)器安裝）3parcelCloudera-Manager_Agent 安裝包（需要分發(fā)到各個(gè)機(jī)器安裝）4RPM-GPG-KEY-c

20、loudera5cloudera-manager-installer.bincm安裝啟動(dòng)包2.7.2. 上傳yum源需要的文件到 /var/www/html目錄下在3(任何機(jī)器都可以)搭建yum上傳yum源需要的文件到 /var/www/html目錄下chmod -R 755 /var/www/html/*2.7.3. 啟動(dòng)httpd服務(wù)service httpd startchkconfig httpd on2.7.4. 測(cè)試HTTPD2.7.5. 編輯yum源配置文件rootnode13 yum.repos.d# pwdrootnode13 yum.repos.d#

21、 vi CentOS-Base.repobasename=CentOS-$releasever - Base#mirrorlist=/?release=$releasever&arch=$basearch&repo=osgpgcheck=1gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6#released updatesupdatesname=CentOS-$releasever - Updates#mirrorlist=

22、/?release=$releasever&arch=$basearch&repo=updatesgpgcheck=1gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6#additional packages that may be usefulextrasname=CentOS-$releasever - Extras#mirrorlist=/?release=$releasever&arch=$basearch&repo=extrasgpgcheck=1gp

23、gkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6rootnode13 yum.repos.d# vi cloudera-manager.repocloudera-manager# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64name=Cloudera Managergpgcheck = 1將yum配置文件復(fù)制到各個(gè)節(jié)點(diǎn)（每個(gè)節(jié)點(diǎn)都需要）使得其他節(jié)點(diǎn)也使用本機(jī)器的yum2.7.6. 安裝createrepo在yum源機(jī)器上（這里是node13） 安裝cre

24、atereporootnode13 yum.repos.d#yum install createrepo2.7.7. 創(chuàng)建源索引在yum源的機(jī)器上 創(chuàng)建源的索引（需要在每個(gè)目錄下建立，這里是只需要在目錄下建立，因?yàn)镃entOS_6.5目錄是centos的安裝盤，默認(rèn)已經(jīng)建立）rootnode13 cm5.3.0# createrepo .建立后會(huì)在cm5.3.0下多出目錄 repodata3. cm安裝3.1. 上傳cm安裝啟動(dòng)程序上傳cm安裝啟動(dòng)程序到namenode節(jié)點(diǎn)的任何目錄3.2. 安裝cm的install.bin rootnode13 repo5.3.0# chmod -R 755

25、 cloudera-manager-installer.bin關(guān)閉node13上面的SELinux查看SELinux當(dāng)前的狀態(tài)，使用命令：getenforcevi /etc/selinux/configSELINUX=disabled保存重啟機(jī)器rootnode13 # getenforceDisabled（顯示為Disabled即為修改成功）rootnode13 repo5.3.0# ./cloudera-manager-installer.bin備份提示的文件rootnode13 cloudera-scm-server# mv perties pertiesbak重

26、試回車回車至此安裝cm成功，上圖中列出了cm訪問地址，以及登陸的用戶名和密碼4. cdh安裝4.1. 登陸CM4.2. 指定主機(jī)在上圖的輸入框中輸入需要安裝的主機(jī)的ip地址，多個(gè)ip地址之間回車，點(diǎn)擊“搜索”按鈕檢查各個(gè)主機(jī)的通訊情況。4.3. 群集安裝此處沒有CDH版本，需要安裝Parcel4.4. 安裝parcel4.4.1. 配置中的數(shù)字要和manifest.json中CDH版本一致在官網(wǎng)下載的parcel中有三個(gè)文件，需要配置parcel的版本打開manifest.json文件，此文件時(shí)json格式，在其中找到parcelName為“”對(duì)應(yīng)的hash值將此hash拷貝到文件中4.4.2. 配置parcel配置parcel有二種方式：方式一：使用本地parcel（安裝cm的機(jī)器）將上面配置好的文件拷貝到 /opt/cloudera/parcel-repo 目錄下（此目錄會(huì)在安裝完cm后自動(dòng)創(chuàng)建），修改cm自動(dòng)檢測(cè)parcel的時(shí)間，默認(rèn)是1小時(shí)（登錄cm，在【管理】-【設(shè)置】中選擇【parcel】，修改“Parcel 更新頻率”，點(diǎn)擊“保存修改”按鈕）重啟機(jī)器，下次登錄就會(huì)在1分鐘后檢測(cè)到