hadoop實(shí)戰(zhàn)視頻教程02 - Hadoop 2.0(2)

1、Hadoop講師：迪倫（北風(fēng)網(wǎng)版權(quán)所有）Hadoop 2.0(2)q Hadoop 2.0產(chǎn)生背景q Hadoop 2.0基本構(gòu)成q HDFS 2.0課程目標(biāo)課程目標(biāo)HadoopHadoop 2.0 2.0產(chǎn)生背景產(chǎn)生背景q Hadoop生態(tài)系統(tǒng)由Hadoop、HBase、Hive、Pig、Sqoop、Flume、Mahout、Zookeeper等構(gòu)成q Hadoop 1.0由HDFS和MapReduce兩個(gè)系統(tǒng)構(gòu)成HadoopHadoop 2.0 2.0產(chǎn)生背景產(chǎn)生背景q Hadoop 1.0中HDFS和MapReduce在高可用、擴(kuò)展性等方面存在問題q HDFS存在的問題 NameNode

2、單點(diǎn)故障，難以應(yīng)用于在線場(chǎng)景 NameNode壓力過大，且內(nèi)存受限，影響系統(tǒng)擴(kuò)展性q MapReduce存在的問題 JobTracker單點(diǎn)故障 JobTracker訪問壓力大，影響系統(tǒng)擴(kuò)展性 難以支持除MapReduce之外的計(jì)算框架，比如Spark、Storm、Tez等HadoopHadoop 1.0 1.0與與HadoopHadoop 2.0 2.0q Hadoop 2.0由HDFS、MapReduce和YARN三個(gè)分支構(gòu)成；q HDFS：NN Federation、HA；q MapReduce：運(yùn)行在YARN上的MR；q YARN：資源管理系統(tǒng)HDFS 2.0HDFS 2.0q 解決H

3、DFS 1.0中單點(diǎn)故障和內(nèi)存受限問題。q 解決單點(diǎn)故障 HDFS HA：通過主備NameNode解決 如果主NameNode發(fā)生故障，則切換到備NameNode上q 解決內(nèi)存受限問題 HDFS Federation(聯(lián)邦) 水平擴(kuò)展，支持多個(gè)NameNode； 每個(gè)NameNode分管一部分目錄； 所有NameNode共享所有DataNode存儲(chǔ)資q 僅是架構(gòu)上發(fā)生了變化，使用方式不變 對(duì)HDFS使用者透明 HDFS 1.0中的命令和API仍可以使用：$ hadoop fs -ls /user/hadoop/$ hadoop fs -mkdir /user/hadoop/dataHDFS 2.0 HAHDFS 2.0 HAHDFS 2.0 HAHDFS 2.0 HAq 主備NameNodeq 解決單點(diǎn)故障 主NameNode對(duì)外提供服務(wù)，備NameNode同步主NameNode元數(shù)據(jù)，以待切換 所有DataNode同時(shí)向兩個(gè)NameNode匯報(bào)數(shù)據(jù)塊信息q 兩種切換選擇 手動(dòng)切換：通過命令實(shí)現(xiàn)主備之間的切換，可以用HDFS升級(jí)等場(chǎng)合 自動(dòng)切換：基于Zookeeper實(shí)現(xiàn)q 基于Zookeeper自動(dòng)切換方案 Zookeeper Failover Controller：監(jiān)控NameNode健康狀態(tài)，并向Zookeeper注冊(cè)NameNode Nam