ClouderaManager大數(shù)據(jù)平臺(tái)部署指南

ClouderaManagerClouderaManager大數(shù)據(jù)平臺(tái)部署指南#/17RoleDatabaseUserPasswordActivityMonitoramonamonamon_passwordReportsManagerrmanrmanrman_passwordHiveMetastoreServermetastorehivehive.passwordSentryServersentrysentrysentry.passwordClouderaNavigatorAuditServernavnavnav^passv/ordClouderaNavigatorMetadataServernavmsnavmsnavms^passwordcreatedatabasedatabaseDEFAULTCHARACTERSETutf8;grantallondatabase?*TO'user'?%'IDENTIFIEDBY'password';注：在部署中發(fā)現(xiàn)hive,oozie使用的庫(kù)需要使用"tin字符集，否則在啟動(dòng)服務(wù)時(shí)日志中會(huì)報(bào)錯(cuò)創(chuàng)建索引時(shí)超長(zhǎng)度限制。安裝程序驅(qū)動(dòng)包mysqljdbcdriver總計(jì)有以下角色所在的主機(jī)需要安裝這個(gè)驅(qū)動(dòng)包。如果你把以下角色都部署在一個(gè)主機(jī)節(jié)點(diǎn)上，那就只需要安裝一個(gè)節(jié)點(diǎn)的驅(qū)動(dòng)，否則就需要各節(jié)點(diǎn)都部署—下。ClouderaManagerServerhost,ActivityMonitor,ReportsManager,HiveMetastoreServer,HueServer,SentryServer,ClouderaNavigatorAuditServer,andClouderaNavigatorMetadataServer從以下網(wǎng)址下載需要使用的驅(qū)動(dòng)包：tar-zxvfmysql-connector-java-5?1.43.tar?gzmkdir一p/usr/share/java/cpmysql-connector-java-5?1?43/mysq].一connector一java一5?1?43一bin.jar/usr/share/java/mysql-connector-java?jar6、配置NTP時(shí)間同步服務(wù)在所有節(jié)點(diǎn)上安裝和啟用。如果是內(nèi)網(wǎng)環(huán)境，也需要另想辦法保證所有節(jié)點(diǎn)的系統(tǒng)時(shí)間嚴(yán)格同步。yum-yinstallntpservicentpdrestartchkconfigntpdon注：請(qǐng)選擇一個(gè)節(jié)點(diǎn)做為ntpserver直接和外部時(shí)間服務(wù)器同步，其它所有節(jié)點(diǎn)均配置/etc/ntp.conf,將同步的server信息指向前面這個(gè)節(jié)點(diǎn)即可。7、安裝ClouderaManagerServer軟件我們選擇把ClouderaManagerServer部署在cluster-70節(jié)點(diǎn)上。（1）下載和分發(fā)安裝資源clouderamanager下載地址：cdhparcels下載地址:wget-cwget~cwget~cwget~c變更為sha,否則上傳到系統(tǒng)中后，CDH平臺(tái)反而會(huì)說找不到sha文件。將c1oudera-manager-e16~cm5.12.0_x86_64?tar.gz文件放到所有節(jié)點(diǎn)的/opt/cloudera-manager□錄下。mkdir/opt/cloudera-managercd/opttarzxvfcloudera-manager-e16-cm5?12.0_x86_64.tar.gz(2)創(chuàng)建CMServer系統(tǒng)用戶賬號(hào)useradd-一system一一home=/opt/cloudera-manager/cm-5?12.O/run/cloudera一scm一server--no-create-home--shell=/bin/false--comment，zClouderaSCMUser"cloudera-scm創(chuàng)建CMServer的本地?cái)?shù)據(jù)存儲(chǔ)目錄登錄cluster-70：mkdir-p/var/lib/cloudera-scm-serverchowncloudera-scm:cloudera-scm/var/lib/cloudera-scm-server配置所有節(jié)點(diǎn)上的ClouderaManagerAgentssed-i?s/server_host=localhost/server_host=cluster-70Z，/opt/cloudera-manager/cm-5?12.O/etc/cloudera一scm一agent/config?ini創(chuàng)建和初始化CMServer數(shù)據(jù)庫(kù)我們的mysql數(shù)據(jù)庫(kù)是安裝在cluster-71上面，登錄cluster-71：部署一個(gè)JDBC驅(qū)動(dòng)包：cp mysql一connector一java一5?1.43一bin?jar /opt/cloudera-mandger/cm-5?12.O/share/cmf/lib初始化腳本語(yǔ)法如下：scm_prepare_database?shdatabase-type[options]database-nameusernamepassword/opt/c1oudera-manager/cm-5?12.0/share/cmf/schema/scm__prepare_database?shmysql-hlocalhost-uroot-pHstest2017scmscmscm屏幕輸出信息：JAVA_H0ME=/usr/java/jdk1.7.0_80Verifyingthatwecanwriteto/opt/cloudera-manager/cm-5?12.O/etc/cloudera-scm一serverCreatingSCMconfiguration/opt/cloudera-manager/cm-5?12.O/etc/cloudera-scm一serverExecuting: /usr/java/jdk1?7.0_80/bin/java一cp/usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java?jar:/opt/clouder&一manager/cm一3?12.O/share/cmf/schema/??/lib/*com.cloudera?enterprise?dbuti1?DbCommandExecutor/opt/cloudera-manager/cm-5?12.0/etc/cloudera一scm-server/db?propertiescom.cloudera?cmf.db?[main]DbCommandExecutor INFOSuccessfullyconnectedtodatabase?Alldone,yourSCMdatabaseisconfiguredcorrectly!登錄mysql,增加一條對(duì)CMServer主機(jī)的訪問授權(quán)：grantallonscm?歡TO'scm'cluster一70、IDENTIFIEDBY'sen?;登錄cluster-70節(jié)點(diǎn)配置CMServer的數(shù)據(jù)庫(kù)配置文件：/opt/cloudera-manager/cm~5?12.O/etc/cloudera一scm一server/db.properties需要根據(jù)實(shí)際悄況更新以下參數(shù)。com?cloudera?cmf.db.host二cluster一71com?cloudera?cmf?db.name二scmcom?cloudera?cmf?db.user二scmcom.cloudera?cmf.db.password二scmcom?cloudera?cmf?db.setupType=EXTERNAL創(chuàng)建CDHParcel資源目錄在cluster-70節(jié)點(diǎn)上：mkdir-p/opt/cloudera/parcel-:repo將以下已經(jīng)準(zhǔn)備好的parcel資源文件放入該目錄：CDH-5.12.0-1.cdh5.12.0.pO.29-el6.parcelCDH-5.12.0-1.cdh5.12.0.pO.29-el6.parcel.shalmanifest.jsonchown-Rcloudera-scm:cloudera-scm/opt/cloudera/parcel-repo在其它所有節(jié)點(diǎn)上：mkdir-p/opt/cloudera/parcelschowncloudera-scm:cloudera-scm/opt/cloudera/parcels啟動(dòng)clouderamanagerserverandagents直接使用root運(yùn)行啟動(dòng)腳本即可，腳本中已經(jīng)默認(rèn)設(shè)定為會(huì)切換到cloudera-scm用戶運(yùn)行進(jìn)程。在所有節(jié)點(diǎn)上，先調(diào)整下文件屬主權(quán)限：chown-Rcloudera-scm：cloudera-scm/opt/cloudera-manager在cluster-70節(jié)點(diǎn)上啟動(dòng)CMServer：/opt/clouderd-mdndgier/cm-5.12.0/etc/init.d/cloudera-scm-serverstart在所有節(jié)點(diǎn)上啟動(dòng)CMagent：/opt/clouderd-mdndge:r/cm-5.12.0/etc/init.d/cloudera-scm-agent start注：在啟動(dòng)上面的服務(wù)時(shí)，注意檢查進(jìn)程是否運(yùn)行，是否因報(bào)錯(cuò)退出。可以檢查.../log/下面的日志文件，分析錯(cuò)誤原因。8、登錄ClouderaManager管理控制臺(tái)并配置CDH服務(wù)訪問以下地址：初始管理賬號(hào)信息為：admin/admin（1） 登錄后按提示操作，先是選擇1icense許可，如果沒采購(gòu)企業(yè)許可，就選免費(fèi)版，繼續(xù)。（2） 選擇要加入CDH集群的主機(jī)，因?yàn)槲覀円呀?jīng)配置好6臺(tái)主機(jī)的訪問關(guān)系了，這6個(gè)主機(jī)會(huì)被自動(dòng)識(shí)別出來，選中然后下一步。（3） 安裝CDH服務(wù)的方式，選擇使用Parcels,因?yàn)橹耙呀?jīng)把離線安裝資源放到系統(tǒng)默認(rèn)的路徑下了，這里會(huì)自動(dòng)識(shí)別到，點(diǎn)擊下一步將開始在CDH集群各節(jié)點(diǎn)中分發(fā)所有需要使用的應(yīng)用的parcels安裝資源。（4） 經(jīng)過一個(gè)主機(jī)正確性檢查的步驟，點(diǎn)擊完成按鈕。如果系統(tǒng)提示有參數(shù)配置上的優(yōu)化建議，遵照處理后重新做檢驗(yàn)檢查即可。（5） 選擇一種集群服務(wù)組合，如果不確定哪個(gè)組合更合適，選擇“全部服務(wù)”也可以。（6） 進(jìn)入集群角色分配環(huán)節(jié)，這一步比較關(guān)鍵，注意要把NameNode分配到我們?cè)O(shè)計(jì)的cluster-70節(jié)點(diǎn)，SecondaryNameNode分配到cluster-71節(jié)點(diǎn)上。注意調(diào)整HDFS的DataNode角色，自定義分配到cluster-72到cluster-75這4個(gè)節(jié)點(diǎn)上。注意有多個(gè)服務(wù)的角色是還沒有分配的，請(qǐng)將這些角色統(tǒng)一都分配到cluster-71節(jié)點(diǎn)上即可，這樣做是因?yàn)楹?jiǎn)化數(shù)據(jù)節(jié)點(diǎn)的角色和職責(zé)，便于維護(hù),且cluster-70節(jié)點(diǎn)已經(jīng)被默認(rèn)分配了很多的角色了，也不適合再繼續(xù)增加。（7） 下一步，進(jìn)入數(shù)據(jù)庫(kù)設(shè)置。按實(shí)際配置信息填寫，然后下一步。（8） 進(jìn)入審核更改環(huán)節(jié)，檢查下DataNode數(shù)據(jù)目錄，設(shè)置為/dfs/dn；NameNode的數(shù)據(jù)□錄設(shè)置為/dfs/nn。這里要特別注意，如果給數(shù)據(jù)節(jié)點(diǎn)準(zhǔn)備了多塊數(shù)據(jù)磁盤，要在這里定義更多的“DataNode數(shù)據(jù)LI錄”，即按照/dfs/dn2,/dfs/dn3這樣的規(guī)則繼續(xù)增加即可。前文已經(jīng)說過，在數(shù)據(jù)節(jié)點(diǎn)有多塊數(shù)據(jù)磁盤時(shí)，按這樣的規(guī)則掛載到系統(tǒng)中的。（9） 在進(jìn)入下一步之前有一個(gè)細(xì)節(jié)非常重要，因?yàn)槲覀兪鞘褂玫莫?dú)立的數(shù)據(jù)磁盤，掛載到系統(tǒng)的/dfs/dn這樣的路徑下的。這個(gè)路徑是我們手動(dòng)創(chuàng)建的，而非CDH服務(wù)自行生成，所以這個(gè)LI錄存在屬主權(quán)限問題，會(huì)直接造成下一步驟中的HDFS啟動(dòng)失敗。請(qǐng)?jiān)谒械闹鳈C(jī)節(jié)點(diǎn)上面執(zhí)行：chown-Rhdfs.hadoop/dfs/dn（10） 點(diǎn)擊下一步，即完成了所有配置任務(wù)，并進(jìn)入了首次運(yùn)行服務(wù)啟動(dòng)命令的環(huán)節(jié)。9、啟動(dòng)服務(wù)并解決各種問題hive和solr服務(wù)在啟動(dòng)前，都需要先在clouderamanager管理平臺(tái)上菜單中點(diǎn)擊庫(kù)表數(shù)據(jù)初始化。在啟動(dòng)后發(fā)現(xiàn)hbasemaster角色無法啟動(dòng)，日志中報(bào)錯(cuò)"Permissiondenied:user=hbase,access=WRITE,inode="/":hdfs:supergroup:drwxr-xr-xw。解決辦法為，在管理平臺(tái)上進(jìn)入HDFS的參數(shù)配置界面，找到dfs.permissions,設(shè)置為false。詳細(xì)說明參見下面鏈接：其它多個(gè)服務(wù)在啟動(dòng)過程中也或多或少遇到一些問題，但都不難解決，指導(dǎo)思想就是先看CDH管理平臺(tái)上的報(bào)錯(cuò)信息、報(bào)錯(cuò)日志，再到系統(tǒng)的/var/log下査看下服務(wù)日志，基本上都能立位到問題的原因。大多數(shù)問題，都能在網(wǎng)上找到