大數(shù)據(jù)實訓方案

1、大數(shù)據(jù)實訓教學大綱、實訓目標基于Hadoop為核心,通過實訓,達成以下目的：熟悉大數(shù)據(jù),熟悉大數(shù)據(jù)技術在新時代對企業(yè)的重要性.掌握Linux的根底知識和應用掌握hadoop集群環(huán)境的搭建.熟悉HDFS分布式文件系統(tǒng)的原理,掌握 HDFS的API的開發(fā).通過實際案例的開發(fā),了解MapReduce原理,掌握 MapReduce的開發(fā)技術.了解Hive ,學習Hive集群的搭建.掌握 Hive的DML和DDL相關技術.熟悉 ZooKeeper ,學些 ZooKeeper 集群的搭建,了解 ZooKeeper 在 Hadoop 集群中的作用.了解HBase原理和架構,掌握 HBase API編程,掌握

2、HBase數(shù)據(jù)的導入和 導出.通過綜合案例實踐,掌握 Hadoop以及相關框架的開發(fā)和應用.二、實訓課程內容介紹1、 課程大綱工程實戰(zhàn)技能培訓工程階段任務分解說明任務說明工程啟動實習總發(fā)動工程治理培 訓1、學生分組2、通過案例初步熟悉大數(shù)據(jù)技術速成Linux入門Hadoop入門技術培訓1、Linux簡介、安裝2、常用命令3、文件權限及操作4、用戶及權限治理5、Linux下搭建Java開發(fā)環(huán)境1、Hadoop 介紹2、Hadoop安裝配置3、hadoop初始化和測試4、配置ssh免密碼登陸配置和 ssh原理1、HDFS原理2、HDFS 的 shell 操作HDFS3、HDFS原理4、HDFS 的

3、 java 接口5、Hadoop RPC6、 HDFS讀取數(shù)據(jù)過程1、MR介紹Map-Reduce2、WordCount執(zhí)行流程和代碼編寫3、MR排序4、Combiner 編程5、shuffle 過程1、Hive入門安裝2、DDL數(shù)據(jù)定義語言3、DML數(shù)據(jù)操作語言4、Hive 安裝 mysql metastoreHive5、Hive分區(qū)表6、 Hive 的 UDF7、倒排索引1、ZooKeeper 介紹2、ZooKeeper客戶端使用ZooKeeper3、hadoop集群搭建4、Hadoop集群測試1、HBase 入門2、HBaseJava 編程Hbase3、Hbase架構講解4、MR on Hbase5、Hive on Hbase6、Hbase集群治理7、Hbase數(shù)據(jù)導入8、Hbase備份與恢復1、制定驗收規(guī)那么工程驗收準備2、 如何制作PPT3、如何演說工程驗收、1、 工程驗收與評分發(fā)布總結工程驗收關閉2、工程關閉：總結工程經驗與教訓經驗總結3、 職業(yè)規(guī)劃THANKS