hadoop2從入門到精通6班課件隨堂高級

1、2016-6-4IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREIT教育品牌EDUCATION TO CREATE A BRIGHT FUTURE課程要求課上課下“九字”真言認(rèn)真聽，善摘錄，勤思考多溫故，樂實(shí)踐，再發(fā)散四不原則不懶散惰性，不早退不請假，不拖延作業(yè)一點(diǎn)注意事項(xiàng)“四不原則”，不包就業(yè)和推薦就業(yè)2/1912016-6-4IT教育品牌EDUCATION TO CREATE A BRIGHT FUTURE本次學(xué)習(xí)內(nèi)容HDFS HA 架構(gòu)原理設(shè)計(jì)HDFS HA 部署、啟動(dòng)與測試HDFS HA自動(dòng)故障轉(zhuǎn)移與測試ResourceManager HA 架構(gòu)原理R

2、esourceManager HA 配置、部署、啟動(dòng)與測試NameNode Federation架構(gòu)原理NameNode Federation 配置與測試Hadoop2.x自帶工具distcp使用3/19IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREHDFS HA簡介HDFS集群架構(gòu)會(huì)遇到什么問題？NameNode單點(diǎn)故障，升級集群必須中斷服務(wù)如何保障HDFS高可用性（High Available）？4/1922016-6-4IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREHDFS HA設(shè)計(jì)思路HDFS HA，本質(zhì)上就是將據(jù)

3、文件fsimage和edits文件進(jìn)行備份，防止據(jù)信息丟失，通過部署兩個(gè)NameNode進(jìn)行主備切換實(shí)現(xiàn)高可用技術(shù)難點(diǎn)及實(shí)現(xiàn)思路：其一，兩個(gè)NameNode的數(shù)據(jù)要實(shí)時(shí)保證一致，可以將Active NameNode的edits文件拷貝到一個(gè)共享文件系統(tǒng)里，然后由Standby NameNode同步過來；其二，Active NameNode故障發(fā)生時(shí)，要能夠自動(dòng)檢測，并且還要能夠自動(dòng)將Standby NameNode切換為Active NameNode，故障發(fā)生，到被檢測到、Standby NameNode切換為Active NameNode之間的時(shí)間間隔不能太長。目前企業(yè)內(nèi)使用較廣泛的解決方案

4、是借助于ZooKeeper和QJM5/19IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREHDFS HA with Quorum Journal Manager架構(gòu)6/1932016-6-4IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREHDFS HA配置、部署與測試參照文檔hdfs/HDFSHighAvailabilityWithQJM.html一：初始化JournalNode時(shí)，需要將所有JournalNode節(jié)點(diǎn)啟動(dòng)，然后在其中一個(gè)NameNode節(jié)點(diǎn)上執(zhí)行hdfs namenode -initializeSharedE

5、dits命令，但注意此時(shí)不能啟動(dòng)NameNode節(jié)點(diǎn)二：同步第二個(gè)NameNode節(jié)點(diǎn)執(zhí)行hdfs namenode -bootstrapStandby據(jù)，需要啟動(dòng)第一個(gè)NameNode 節(jié)點(diǎn)，然后7/19IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREHDFS HA 自動(dòng)故障轉(zhuǎn)移與測試ZKFC：ZooKeeper FailoverController，ZooKeeper客戶端，負(fù)責(zé)NameNode的狀態(tài)功能：各自節(jié)點(diǎn)上的NameNode的健康狀態(tài)和管理作為ZooKeeper客戶端，當(dāng)負(fù)責(zé)的NameNode進(jìn)程屬于健康狀態(tài)，與ZooKeeper Server端

6、保持Session連接，即在Zookeeper上創(chuàng)建Ephemeral Znode基于ZooKeeper實(shí)現(xiàn)主節(jié)點(diǎn)8/1942016-6-4IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREHDFS HA 自動(dòng)故障轉(zhuǎn)移與測試9/19IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREResourceManager HA架構(gòu)原理集群配置并啟動(dòng)兩個(gè)ResourceManager，其中一個(gè)作為Active RM，另一個(gè)作為Standby RM。借助于ZooKeeper實(shí)現(xiàn)故障檢測、主備自動(dòng)切換10/1952016-6-4IT教育品牌EDU

7、CATION TO CREATE A BRIGHT FUTUREResourceManager HA 配置、部署、啟動(dòng)與測試參考官網(wǎng)site/ResourceManagerHA.html11/19IT教育品牌EDUCATION TO CREATE A BRIGHT FUTURE為什么需要NameNode Federation通過部署HDFS HA，解決了NameNode單點(diǎn)故障問題，但是當(dāng)隨著數(shù)據(jù)量逐漸增大時(shí)，會(huì)出現(xiàn)什么問題？設(shè)想一下，隨著的文件數(shù)據(jù)增多，NameNode需要會(huì)達(dá)到內(nèi)存瓶頸；的據(jù)信息量也將增大，最終公司內(nèi)多個(gè)不同業(yè)務(wù)部門，都需要將數(shù)據(jù)在HDFS上進(jìn)行分析處理，單NameNode

8、情況不適應(yīng)多用戶并發(fā)寫操作，并且難以做到較好的相互12/1962016-6-4IT教育品牌EDUCATION TO CREATE A BRIGHT FUTURENameNode Federation概念FederationNameNode Federation : Multiple NameNodes / Namespaces 多NameNodes/文件命名空間即采用配置多個(gè)NameNode方式進(jìn)行水平擴(kuò)展，以此解決NameNode據(jù)量達(dá)到內(nèi)存瓶頸，或者多業(yè)務(wù)數(shù)據(jù)問題13/19IT教育品牌EDUCATION TO CREATE A BRIGHT FUTURENameNode Federatio

9、n架構(gòu)原理一HDFS有兩層結(jié)構(gòu)：命名空間（NameNode負(fù)責(zé)）：管理文件、目錄和數(shù)據(jù)塊，支持常見的文件系統(tǒng)操作，如創(chuàng)建、刪除、修改和列出文件、目錄數(shù)據(jù)塊Block服務(wù)：1）數(shù)據(jù)塊管理（NameNode負(fù)責(zé)）通過處理DataNode、心跳信息管理DataNode成員處理Block Report，維護(hù)Block位置信息支持對Block進(jìn)行創(chuàng)建、刪除、修改、查看位置信息等操作管理Block的備份數(shù)，包括增加備份數(shù)和刪除多余的備份數(shù)2）數(shù)據(jù)塊（DataNode）：實(shí)際在本地磁盤上Block數(shù)據(jù)，提供數(shù)據(jù)讀寫14/1972016-6-4IT教育品牌EDUCATION TO CREATE A BRIGH

10、T FUTURENameNode Federation架構(gòu)原理二15/19IT教育品牌EDUCATION TO CREATE A BRIGHT FUTURENameNode Federation架構(gòu)原理三部署多個(gè)NameNode節(jié)點(diǎn)，不同NameNode之間相互，且不需要互相通信DataNode作為所有NameNode共享的Block節(jié)點(diǎn)DataNode上的所有Block被單獨(dú)的Block Pool到相應(yīng)的Block Pool中，NameNode擁有各種每個(gè)DataNode向所有NameNodeDataNode周期性發(fā)生心跳信息和Block報(bào)告信息給所有NameNodeDataNode處理來自所有NameNode集群中所有節(jié)點(diǎn)的ClusterId保持一致令16/1982016-6-4IT教育品牌EDUCATION TO CREATE A BRIGHT FUTURENameNode Federation部署、安裝與測試詳見word文檔參考官網(wǎng)dist/hadoop-hdfs/Federation.html17/19IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREHadoop2.x自帶工具distcp使用distcp：Distributed Copy 分布式拷