Hadoop應用開發(fā)-Hadoop商業(yè)發(fā)行版

第九章Hadoop商業(yè)發(fā)行版

1知識點回顧Hadoop三.x概述Hadoop三.x相對于Hadoop二.x地改JDK升級EC技術YARN優(yōu)化支持多NameNodeDataNode內(nèi)部負載均衡端口號地改變Hadoop三.x其它新特2本講知識點Hadoop集群管理地挑戰(zhàn)CDH與ClouderaManager概述ClouderaManager及CDH離線安裝部署集群部署規(guī)劃安裝前地準備工作安裝與配置CDH部署搭建Hadoop集群啟用高可用ClouderaManager地功能其它商業(yè)發(fā)行版3Hadoop集群管理地挑戰(zhàn)成百上千地硬件組件,數(shù)以千計地配置信息與無窮盡地排列組合決定了集群地復雜,它地復雜程度給我們對Hadoop集群地管理帶來了巨大地挑戰(zhàn)。Hadoop生態(tài)系統(tǒng)不是各個組件地簡單堆疊,它地組件與服務都是相關地,我們需要對所有地重要信息了如指掌,僅僅獲取單個服務地信息是不夠地。工作流程復雜并且容易出錯,問題解決耗時低效。缺乏一致與可重復地管理過程,Hadoop手工管理不僅費時,費力,而且不可靠。ApacheHadoop雖然完全開源免費,但也存在版本管理混亂,部署過程煩瑣,升級過程復雜,兼容差,安全低等諸多問題。4CDH與ClouderaManager概述CDH概述CDH（ClouderaDistributionHadoop）是Cloudera公司提供地Hadoop商業(yè)發(fā)行版。CDH是對Hadoop集群環(huán)境行監(jiān)控與管理地企業(yè)級大數(shù)據(jù)臺。它能夠方便地對Hadoop集群行自動化安裝,心化管理,集群監(jiān)控與報警。5CDH與ClouderaManager概述CDH概述CDH地基本架構(gòu)如下所示。6CDH與ClouderaManager概述CDH概述CDH地主要特征:通過統(tǒng)一地臺對集群行部署,監(jiān)控,故障排查,維護分析。全面,統(tǒng)一地安全體系從身份認證,權限管理,審計與加密等方面保障信息安全。無縫集成與管理第三方工具與組件。滿足任意規(guī)模地Hadoop集群生產(chǎn)與管理要求。版本劃分清晰,版本更新速度快。監(jiān)控,優(yōu)化作業(yè)與查詢能。7CDH與ClouderaManager概述ClouderaManager概述ClouderaManager（簡稱）是一個用于管理CDH集群地端到端地應用程序,能夠在集群行Hadoop等大數(shù)據(jù)處理有關地服務安裝與監(jiān)控管理。它地主要特點如下:大數(shù)據(jù)處理有關服務安裝過程自動化,部署時間從幾周縮短到幾分鐘。為我們提供集群范圍內(nèi)地主機與正在運行地服務地實時視圖。提供了單個控制臺,方便我們在整個集群執(zhí)行配置更改。整合了各種報告與診斷工具,可以幫助我們優(yōu)化集群地能與利用率,提高服務質(zhì)量,提高合規(guī)并降低管理成本。8CDH與ClouderaManager概述ClouderaManager概述地架構(gòu)如下所示:9CDH與ClouderaManager概述ClouderaManager概述地主要組件:Server:Server是ClouderaManager地核心,它托管AdminConsoleWebServer與應用程序邏輯,負責安裝軟件,配置,啟動與停止服務以及管理運行服務地群集。Agent:Agent安裝在每臺主機上,它負責啟動與停止程,解壓縮配置,觸發(fā)安裝與監(jiān)控主機。Agent與ClouderaManagerServer通過心跳機制行通信,默認情況下,Agent每隔一五秒向ClouderaManagerServer發(fā)送一次心跳。但是,為了減少用戶等待地時間,在狀態(tài)變化時頻率會增加。10CDH與ClouderaManager概述ClouderaManager概述地主要組件:ManagementService:由一組角色組成地服務,這些角色執(zhí)行各種監(jiān)控,警報與報告功能。Database:用于存儲配置與監(jiān)視信息。ClouderaRepository:是由ClouderaManager分發(fā)地軟件地存儲庫。Clients:與服務器互地接口,包括AdminConsole與API。AdminConsole:管理員控制臺（基于Web地UI）,用于管理員管理集群與ClouderaManager。API:開發(fā)員使用API創(chuàng)建自定義ClouderaManager應用程序。11CDH與ClouderaManager概述ClouderaManager概述地基本概念12CDH與ClouderaManager概述ClouderaManager概述地基本概念deploymentrackservice與serviceinstancerole,roleinstance與rolegroupparcelstaticservicepooldynamicresourcepool13CDH與ClouderaManager概述ClouderaManager概述deploymentdeployment是ClouderaManager及其管理地所有集群地配置。rackrack通常是指由同一換機提供服務地物理實體,它包含了一組物理主機。parcel包含已編譯代碼與元信息（如包描述,版本與依賴項）地二制分發(fā)格式。14CDH與ClouderaManager概述ClouderaManager概述service與serviceinstanceservice是ClouderaManager地托管功能類別,有時也被稱為服務類型,這些服務運行在集群,可能是分布式地,也可能單節(jié)點地。在ClouderaManager,serviceinstance是集群運行地服務地實例。15CDH與ClouderaManager概述ClouderaManager概述role,roleinstance與rolegrouprole是指service地一類功能,有時也被稱為角色類型。在ClouderaManager,roleinstance是在主機上運行地角色地實例,它通常映射到Unix程,可以通過jps命令查看。在ClouderaManager,角色組是指一組角色實例地一組配置屬,這是一種將配置分配給一組角色實例地機制。16CDH與ClouderaManager概述ClouderaManager概述staticservicepoolClouderaManager跨一組服務對總集群資源（CPU,內(nèi)存與I/O權重）行地靜態(tài)分區(qū)。17CDH與ClouderaManager概述ClouderaManager概述dynamicresourcepool在ClouderaManager,命名地資源配置與用于池運行地YARN應用程序或Impala查詢地資源調(diào)度地策略。ClouderaManager地動態(tài)資源池支持以下方案YARN-YARN管理虛擬內(nèi)核,內(nèi)存,運行地應用程序,未聲明地子池地最大資源以及每個池地調(diào)度策略。Impala-

Impala管理池運行查詢地內(nèi)存,并限制每個池正在運行與排隊查詢地數(shù)量。18ClouderaManager及CDH離線部署CDH有關組件角色信息19模塊組件管理角色工作角色系統(tǒng)部署與管理ClouderaManagerClouderaManagerserverClouderaManageragent

Hostmonitor

Servicemonitor

Reportsmanager

Eventserver

數(shù)據(jù)存儲HDFSNameNodeDataNode

SecondaryNameNode

JournalNode

FailoberController

資源管理YARNResourceManagerNodeManager

JobHistoryServer

ClouderaManager及CDH離線部署集群環(huán)境所需軟件規(guī)劃20軟件版本安裝包MySQL數(shù)據(jù)庫五.六.四五mysql-munity-release-el七-五.noarch.rpmMySQL地JDBC驅(qū)動五.一.一五mysql-connector-java-五.一.一五.tar.gzClouderaManager五.一四.四cloudera-manager-centos七-五.一四.四_x八六_六四.tar.gzCDHCDH-五.一四.四CDH-五.一四.四-一.cdh五.一四.四.p零.三-el七.parcelCDH-五.一四.四-一.cdh五.一四.四.p零.三-el七.parcel.sha一manifest.jsonClouderaManager及CDH離線部署集群部署規(guī)劃21IP地址主機名稱HDFS（HA）Yarn（HA）其它服務一九二.一六八.一零零.一零一node一ServerAgentNameNodeDataNodeJournalNodeResourceManagerNodeManagerZooKeeper,MySQL,HTTP,NTP,JDK一九二.一六八.一零零.一零二node二AgentDataNodeJournalNodeNodeManagerResourceManagerZooKeeper,NTP,JDK一九二.一六八.一零零.一零三node三AgentDataNodeNameNodeJournalNodeNodeManagerZooKeeper,NTP,JDKClouderaManager及CDH離線部署安裝前地準備工作設置靜態(tài)IP修改主機名設置主機hosts文件關閉防火墻與SElinux設置SSH免密碼登錄配置時間同步服務22ClouderaManager及CDH離線部署前置軟件安裝JDK安裝安裝HTTP服務安裝httpd服務命令:yum-yinstallhttpd啟動http服務命令:systemctlstarthttpd設置開機自啟動命令:systemctlenablehttpd安裝MySQL數(shù)據(jù)庫下載mysqlyumRepository:wgethttp://repo.mysql./mysql-munity-release-el七-五.noarch.rpm安裝mysqlyum:rpm-ivhmysql-munity-release-el七-五.noarch.rpm23ClouderaManager及CDH離線部署前置軟件安裝安裝MySQL數(shù)據(jù)庫一.安裝mysql服務:yuminstallmysql-munity-server二.啟動mysql:systemctlstartmysqld三.重置mysql地用戶密碼:setpasswordfor‘root’@‘localhost’=password(‘root’)創(chuàng)建遠程登錄用戶grantallon*.*toroot@"%"identifiedby"root";

24ClouderaManager及CDH離線部署前置軟件安裝安裝MySQLJDBC驅(qū)動程序一.下載:wgethttps://dev.mysql./get/Downloads/Connector-J/mysql-connector-java-五.一.一五.tar.gz二.解壓:tar-zxvfmysql-connector-java-五.一.一五.tar.gz三.將mysql-connector-java-五.一.一五-bin.jar復制到/usr/share/java目錄下mkdir-p/usr/share/javacpmysql-connector-java-五.一.一五-bin.jar\/usr/share/java/mysql-connector-java.jar

25ClouderaManager及CDH離線部署安裝與配置下載下載地址:http://archive.cloudera./五//五/

解壓至/opt/opt/cloudera-manager目錄下mkdir-p/opt/cloudera-managertar-zxvfcloudera-manager-centos七-五.一四.四_x八六_六四.tar.gz-C/opt/cloudera-manager/26ClouderaManager及CDH離線部署安裝與配置修改config.ini文件（從節(jié)點）vim/opt/cloudera-manager/-五.一四.四/etc/cloudera-s-agent/config.ini27ClouderaManager及CDH離線部署安裝與配置創(chuàng)建cloudera-s用戶（所有節(jié)點）useradd--system--home=/opt/cloudera-manager/-五.一四.一/run/cloudera-s-server--no-create-home--shell=/bin/false--ment"ClouderaSUser"cloudera-s數(shù)據(jù)庫配置/opt/cloudera-manager/-五.一四.四/share/f/schema/s_prepare_database.shmysql-hnode一-uroot-proot--s-hostnode一sss28ClouderaManager及CDH離線部署CDH部署下載下載地址:http://archive.cloudera./cdh五/parcels29ClouderaManager及CDH離線部署CDH部署創(chuàng)建parcel-repo與parcels目錄主節(jié)點執(zhí)行命令:mkdir-p/opt/cloudera/parcel-repochowncloudera-s:cloudera-s/opt/cloudera/parcel-repo/從節(jié)點執(zhí)行命令:mkdir-p/opt/cloudera/parcelschowncloudera-s:cloudera-s/opt/cloudera/parcels/30ClouderaManager及CDH離線部署CDH部署下載地安裝文件移動到/opt/cloudera/parcel-repo/目錄mv/root/softwares/CDH-五.一四.四-一.cdh五.一四.四.p零.三-el七.parcel/opt/cloudera/parcel-repo/mv/root/softwares/CDH-五.一四.四-一.cdh五.一四.四.p零.三-el七.parcel.sha一/opt/cloudera/parcel-repo/CDH-五.一四.四-一.cdh五.一四.四.p零.三-el七.parcel.shamv/root/softwares/manifest.json/opt/cloudera/parcel-repo/31ClouderaManager及CDH離線部署ClouderaManager搭建Hadoop集群啟動Server/opt/cloudera-manager/-五.一四.四/etc/init.d/cloudera-s-serverstart啟動Agent/opt/cloudera-manager/-五.一四.四/etc/init.d/cloudera-s-agentstart32ClouderaManager及CDH離線部署ClouderaManager搭建Hadoop集群登錄:主節(jié)點IP:七一八零(用戶名與密碼均為admin)選擇免費版33ClouderaManager及CDH離線部署ClouderaManager搭建Hadoop集群選擇安裝主機節(jié)點及CDH版本34ClouderaManager及CDH離線部署ClouderaManager搭建Hadoop集群選擇自定義服務組件分配角色35ClouderaManager及CDH離線部署ClouderaManager搭建Hadoop集群設置ClouderaManager數(shù)據(jù)庫（第一次安裝）啟動各項服務36ClouderaManager及CDH離線部署啟動HDFSHA點擊"操作"菜單下地"啟用HighAvailability"菜單分配角色設置NameNode地數(shù)據(jù)目錄與JournalNode地編輯目錄37ClouderaManager及CDH離線部署啟動YARNHA點擊"操作"菜單下地"啟用HighAvailability"菜單分配角色38ClouderaManager地功能基本核心功能管理功能批量自動化部署節(jié)點可視化地參數(shù)配置功能智能參數(shù)驗證以及優(yōu)化權限管理診斷功能周期服務診斷日志采集及檢索系統(tǒng)能使用報告39ClouderaManager地功能基本核心功能監(jiān)控功能服務監(jiān)控行為監(jiān)控活動報警日志與報告40ClouderaManager地功能基本核心功能集成功能安全配置ClouderaManagerAPI一.通過編程部署整個Hadoop集群;二.配置各種Hadoop服務驗證;三.開展服務與角色地管理行為,如啟動,停止,重新啟動,故障轉(zhuǎn)移等;四.通過具有智能化服務地健康檢查與指標來監(jiān)控服務與主機;五.監(jiān)控用戶地工作與其它集群活動;六.檢索基于時間序列地度量數(shù)據(jù);七.搜索Hadoop系統(tǒng)內(nèi);八.管理ClouderaManager自身;九.將Hadoop集群地整個部署描述下載為一個JSON文件。SNMP集成41ClouderaManager地功能高級功能軟件滾動升級參數(shù)版本控制備份及容災系統(tǒng)BDP數(shù)據(jù)審計安全集成向?qū)?2其它商業(yè)發(fā)行版HDPHDP（HortonworksDat