大數(shù)據(jù)集群Cloudera Manager日常運維手冊

1、大數(shù)據(jù)集群Cloudera Manager 日常運維手冊登錄Cloudera Manager首頁使用谷歌或者火狐瀏覽器輸入http:/XXX:7180 進(jìn)入Cloudera Manager管理系統(tǒng)登錄頁面，XXXX為安裝Cloudera Manage的機(jī)器IP地址，在BI集群里恰好是YUCLIENT的IP地址。使用admin/admin登錄到系統(tǒng)，如下圖所示：啟動/停止/重啟Cloudera Management Service啟動重啟停止啟動/停止/重啟Hadoop所有服務(wù)在啟動Hadoop相關(guān)服務(wù)器前請務(wù)必保證已經(jīng)啟動了Cloudera Management Service相關(guān)服務(wù)！啟動當(dāng)

2、所有服務(wù)都啟動成功后，各項服務(wù)均顯示問綠燈狀態(tài)才為正常，如下圖所示：重啟停止啟動/停止/重啟Hadoop某項服務(wù)如HDFS、Hive、MapReduce、ZooKeeper這里以重啟HDFS服務(wù)為例，其他服務(wù)與之完全相同。啟動/停止/重啟單個節(jié)點上的Hadoop某項服務(wù)如HDFS、Hive、MapReduce、ZooKeeper 啟動/停止/重啟節(jié)點上的單個服務(wù)包括Namenode, Datanode, Hive Server, Hive Metastore, Resource Manager, Nodemanager, Zookeeper等。這里以重啟一臺節(jié)點上的Datanode服務(wù)為例進(jìn)行

3、說明，啟動或停止與之相同，其他服務(wù)的操作也與之相同。等待重啟成功，該操作完成。修改HDFS、Hive、MapReduce、ZooKeeper等配置參數(shù) 修改參數(shù)包括修改全局參數(shù)以及單個節(jié)點的某個參數(shù)，全局參數(shù)指針對整個集群所有節(jié)點適用的參數(shù)。下一章會介紹如何修改單個節(jié)點的參數(shù)。這里以修改HDFS的blocksize為例進(jìn)行說明，其他參數(shù)修改與之相同。修改參數(shù)并保存修改成功后回到CM主頁面，CM會提示是否需要部署客戶端配置或者重啟服務(wù)。如下圖所示 ：首先部署客戶端配置：等待部署完成后點擊“關(guān)閉”回到CM主頁面，發(fā)現(xiàn)“部署客戶端配置”的提示已經(jīng)消失：由于修改blocksize大小后HDFS，Hiv

4、e，MapReduce都提示需要重啟，于是重啟整個集群，某些參數(shù)修改不用重啟服務(wù)，CM不會有重啟的圖標(biāo)提示，某些參數(shù)的修改只需要重啟單個服務(wù)。等待重啟完成，點擊“關(guān)閉”按鈕，本次修改參數(shù)的操作就全部完成。修改單個節(jié)點的特定HDFS、Hive、MapReduce、ZooKeeper等配置參數(shù) 因為有時候集群的所有機(jī)器不一定配置完全相同，如CPU，內(nèi)存，磁盤等，這個時候我們需要對某個與其他節(jié)點配置不相同的機(jī)器進(jìn)行單獨的設(shè)置。這里以修改某個Datanode節(jié)點的Data存放目錄配置進(jìn)行舉例說明，其他與之相同?；氐紺M主頁面發(fā)現(xiàn)HDFS服務(wù)有需要才重啟的標(biāo)示，重啟HDFS服務(wù)等待成功后本次修改單個Datanode的數(shù)據(jù)目錄的操作完成。如何重啟HDFS服務(wù)參考第4章重啟Hadoop的某項服務(wù)。管理節(jié)點手動轉(zhuǎn)移當(dāng)集群配置HA后，我們有時候需要對管理節(jié)點進(jìn)行手動切換來進(jìn)行排錯或者其他操作