大數(shù)據(jù)理論與實踐第0講課程安排

1教師簡介

博士，畢業(yè)于復(fù)旦大學(xué)計算機學(xué)院，星環(huán)高級技術(shù)專家，大數(shù)據(jù)架構(gòu)師。

先后就職于院校和大數(shù)據(jù)公司，長期從事計

算機軟件的研發(fā)、科研和教學(xué)工作，具有較扎實的理論功底和較寬廣的專業(yè)視野，對大數(shù)據(jù)技術(shù)體系有比較全面、深刻的理解。在軍事、政務(wù)、教育、金融等領(lǐng)域積累了豐富的大數(shù)據(jù)解決方案實施經(jīng)驗。

具有22年項目經(jīng)驗，17年教學(xué)經(jīng)驗，主持或參與國家和國際標(biāo)準(zhǔn)2項、科研課題和軟件開發(fā)項目28項，參編專著3部，撰寫學(xué)術(shù) 10多篇。

星 環(huán) 科 技

2教學(xué)目標(biāo)

掌握開源大數(shù)據(jù)技術(shù)的基礎(chǔ)理論

文件系統(tǒng)：HDFS

資源管理框架：YARN

計算框架：MapReduce、SparkCore

ETL工具：Sqoop、Flume、Kafka

數(shù)倉和SQL引擎：Hive

NoSQL數(shù)據(jù)庫：HBase

全文搜索引擎：ElasticSearch

掌握星環(huán)TDH平臺的基本原理和使用方法

數(shù)倉和SQL引擎：Inceptor（基于Hive和Spark）

流處理引擎：Slipstream（基于Spark）

NewSQL數(shù)據(jù)庫：Hyperbase（基于HBase）

全文搜索引擎：Search（基于ElasticSearch）

夯實基礎(chǔ)！?。?/p>

星 環(huán) 科 技

3課程安排

時間

課程名稱

第1周

大數(shù)據(jù)技術(shù)概覽

大數(shù)據(jù)技術(shù)綜述

第2周

Hadoop生態(tài)圈：HDFS

分布式文件系統(tǒng)HDFS

第3周

Hadoop生態(tài)圈：YARN

分布式資源管理系統(tǒng)YARN

第4周

Hadoop生態(tài)圈：MR&Spark

分布式計算框架MapReduce&Spark

第5周

Hadoop生態(tài)圈：Sqoop、Flume和Kafka

分布式ETL工具Sqoop

分布式工具Flume

分布式消息隊列Kafka

第6周

大數(shù)據(jù)平臺：安裝部署實驗

大數(shù)據(jù)平臺的功能介紹

大數(shù)據(jù)平臺的軟硬件環(huán)境要求

大數(shù)據(jù)平臺的角色分配

星 環(huán) 科 技

3課程安排

時間

課程名稱

第6周

Hadoop生態(tài)圈：實驗

HDFS基本操作（實驗）

YARN基本操作（實驗）

Sqoop基本操作（實驗）

Flume基本操作（實驗）

Kafka基本操作（實驗）

第7周

大數(shù)據(jù)平臺組件：Inceptor

分布式數(shù)據(jù)倉庫與SQL引擎Inceptor

第8周

大數(shù)據(jù)平臺組件：Slipstream

實時流處理引擎Slipstream

第9周

大數(shù)據(jù)平臺組件：Hyperbase

分布式NewSQL數(shù)據(jù)庫Hyperbase

第10周

大數(shù)據(jù)平臺組件：Search大數(shù)據(jù)技術(shù)概覽

分布式全文搜索引擎Search

大數(shù)據(jù)技術(shù)總結(jié)與展望

星 環(huán) 科 技

3課程安排

時間

課程名稱

第11周

大數(shù)據(jù)平臺組件：實驗

SQL集成開發(fā)工具Waterdrop的安裝與使用（實驗）

Inceptor使用方法（實驗）

Hyperbase使用方法（實驗）