Hadoop技術(shù)培訓(xùn)大綱.doc

附錄：Hadoop技術(shù)培訓(xùn)大綱（4天）課程模塊課程主題n 主要內(nèi)容n 案例和演示模塊一Hadoop簡(jiǎn)介和生態(tài)系統(tǒng)介紹 傳統(tǒng)大規(guī)模數(shù)據(jù)分析存在的問(wèn)題 Hadoop概述 Hadoop與分布式文件系統(tǒng) Hadoop生態(tài)系統(tǒng) Hadoop的行業(yè)應(yīng)用案例分析 Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系 Hadoop版本介紹 Hadoop與Google FS的關(guān)系 Hadoop在國(guó)內(nèi)的使用情況和未來(lái) Hadoop在推薦領(lǐng)域的使用案例介紹模塊二Hadoop安裝和主要配置文件介紹 Hadoop安裝所需軟件介紹 Hadoop單機(jī)安裝 Hadoop偽分布式安裝 Hadoop完全分布式安裝 Hadoop三個(gè)節(jié)點(diǎn)安裝的配置介紹 Hahoop多節(jié)點(diǎn)ssh配置 Hadoop格式化詳解 Hadoop核心配置文件介紹 核心配置文件core-site.xml HDFS配置文件hdfs-site.xml Mapreduce配置文件mapred-site.xml master文件配置詳解 slave文件配置詳解 Hadoop啟動(dòng)和停止方法一start-all.sh詳解stop-all.sh詳解 Hadoop的啟動(dòng)和停止方法二 hadoop-deamon.sh詳解 Hadoop安裝的常見(jiàn)錯(cuò)誤介紹和解決方案 使用自帶的wordcount和pi測(cè)試集群安裝是否成功 使用Streaming來(lái)測(cè)試集群安裝是否成功 Hadoop單機(jī)演示 Hadoop偽分布式演示 Hadoop完全分布式演示 Hadoop兩種啟動(dòng)方式的演示 Hadoop安裝常見(jiàn)錯(cuò)誤的介紹和演示 Hadoop自帶的wordcount和pi演示 Hadoop Streaming的案例演示模塊三Hadoop組件介紹 Hadoop NameNode 介紹 Hadoop SecondaryNameNode 介紹 Hadoop DataNode 介紹 Hadoop JobTracker 介紹 Hadoop TaskTracker 介紹模塊五Hadoop的HDFS模塊 HDFS架構(gòu)介紹 HDFS原理介紹 NameNode功能詳解 DataNode功能詳解 SecondaryNameNode功能詳解 HSFD的fsimage和editslog詳解 HDFS的block詳解 HDFS的block的備份策略 Hadoop的機(jī)架感知配置 HDFS的shell命令介紹 HDFS的thrift server服務(wù)介紹 HDFS的API接口介紹 HDFS的權(quán)限詳解 Hadoop的客服端接入案例 Hadoop的shell命令演示 Hadoop的API接口演示 Hadoop的客服端接入案例模塊六MapReducer入門和高級(jí) Mapreduce原理 MapReduce流程 剖析一個(gè)MapReduce程序 Mapper和Reducer抽象類詳解 Mapreduce的最小驅(qū)動(dòng)類 MapReduce自帶的類型 自定義Writables和WritableComparables Mapreduce的輸入InputFormats MapReduce的輸出OutputFormats 自定義InputFormat 自定義InputSPlits 自定義RecorderReader Combiner詳解 Partitioner詳解 DistributeFileSystem詳解 Hadoop Tools工具介紹 Counter計(jì)數(shù)器詳解 自定義Counter計(jì)數(shù)器 MapReduce的優(yōu)化 Map和Reduce的個(gè)數(shù)設(shè)置 Hadoop小文件優(yōu)化 任務(wù)調(diào)度 默認(rèn)的任務(wù)調(diào)度 公平任務(wù)調(diào)度 能力任務(wù)調(diào)度 使用 Hadoop MapReduce Streaming 編程 MapReduce的單元測(cè)試 MapReduce實(shí)現(xiàn)海量數(shù)據(jù)比較大小案例 自定義Hadoop類型案例 自定義Partitioner案例 實(shí)現(xiàn)在內(nèi)存隨機(jī)生成100個(gè)數(shù)，分成兩個(gè)Map來(lái)比較大小 自定義inputFormat和InputSplit和RecorderReader來(lái)實(shí)現(xiàn)MapReduce讀取Redis里面的數(shù)據(jù)。 多文件輸出和自動(dòng)定義MapReduce的輸出名 MapReduce實(shí)現(xiàn)Join算法案例 MapReduce實(shí)現(xiàn)海量文檔相似度算法 自定義Counter案例實(shí)現(xiàn) MapReduce實(shí)現(xiàn)Pangrank算法。 MapReduce單元測(cè)試：Map的單元測(cè)試測(cè)試、reduce單元測(cè)試和MapReduce整體的單元測(cè)試實(shí)戰(zhàn)。 某公司使用MapReduce分析日志案例（10T數(shù)據(jù)以上） 配置公平調(diào)度器案例實(shí)戰(zhàn)模塊七Hive和pig的使用 Hive和Pig基礎(chǔ) Hive、Impala和presto的比較 Hive的作用和原理說(shuō)明 Hadoop倉(cāng)庫(kù)和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的協(xié)作關(guān)系 Hadoop/Hive倉(cāng)庫(kù)數(shù)據(jù)數(shù)據(jù)流 Hive 部署和安裝 Hive Cli 的基本用法 Hive的server啟動(dòng) HQL基本語(yǔ)法 Hive的加載數(shù)據(jù)本地加載和HDFS加載 Hive的partition詳解 Hive的存儲(chǔ)方式詳解 RCFILE、TEXTFILE和SEQUEUEFILE Hive的UDF和UDAF Hive的transform詳解 Hive的JDBC連接 使用JDBC 連接Hive進(jìn)行查詢和分析 使用正則表達(dá)式加載數(shù)據(jù) 編寫(xiě)UDF函數(shù) 編寫(xiě)UDAF自定義函數(shù) Partition使用實(shí)戰(zhàn) Transform使用實(shí)戰(zhàn) 某些大型公司使用hive分析日志案例詳解和實(shí)戰(zhàn)。模塊八Hbase使用 Hbase原理 Hmaster詳解 RegionServer詳解 Zookeeper介紹 Hbase安裝 Hbase邏輯視圖介紹 Hbase物理視圖介紹 Hbase的二級(jí)索引介紹 Hbase 的DDL和DML Hbase表的設(shè)計(jì)案例 Hbase的import功能介紹 MapReduce操作Hbase Hbase的 thrift Server介紹 Hbase 的API介紹 Hbase案例分析 Hbase安裝實(shí)戰(zhàn) MapReduce操作Hbase實(shí)戰(zhàn) Hbase的API實(shí)戰(zhàn) Hbase表結(jié)構(gòu)設(shè)計(jì)實(shí)戰(zhàn)模塊九Hadoop集群配置介紹和維護(hù) Hadoop集群的部署要點(diǎn) NameNode和SecondaryNameNode和JobTracker機(jī)器的配置要求 dataNode與tasktracker機(jī)器的配置要求 Hadoop集群管理的工具介紹 Ganglia和nig