大數(shù)據(jù)課程體系

1、Java基礎JAVA開發(fā)基礎知識Eclipse開發(fā)環(huán)境 多線程技術(shù)Socket網(wǎng)絡技術(shù) RegularExpressio nJava反射技術(shù) 各種實戰(zhàn)設計模式 面向?qū)ο笤O計原則詳解Javacollecti onReflect ionJVM原理與配置、調(diào)優(yōu)Java設計模式Linux大綱Linux的介紹與安裝VMwareWorkstation虛擬軟件安裝ubuntu安裝Linux的常用命令Linux系統(tǒng)進程管理常用命令ps、pkill、top、htop等的使用；Linux啟動流程，運行級別詳解，chkconfig詳解 nano編輯器Linux權(quán)限管理：用戶、組Linux權(quán)限管理：文件權(quán)限r(nóng)wxLi

2、nux 網(wǎng)絡管理：hosts,hostname,ifconfig 安裝JDKHadoopHadoop介紹，發(fā)展史，國內(nèi)外現(xiàn)狀，未來Hadoop核心組成介紹及hdfs、mapreduce體系結(jié)構(gòu)Hadoop的集群結(jié)構(gòu)Hadoop獨立模式安裝與測試Hadoop啟 動與停止SSH安裝與配置Hadoop偽分布式和完全分布式安裝配置HDFS底層工作原理HDFSdata node,n ame no d詳解HdfsshellHdfsjavaapiInputSplit 和 OutputSplit BlockSize 配置最少副本數(shù)配置MRf乍業(yè)流程分析編寫Map per程序 編寫Reducer程序執(zhí)行Mapr

3、educe過程Hadoop核心類講解，RM,NM,NN,DNYARN調(diào)度框架事件分發(fā)機制Hadoop底層IPC原理和RPCHadoop的底層googleProtoBuf的協(xié)議分析分布式數(shù)據(jù)庫HbaseHBase簡介與RDBM的對比 系統(tǒng)架構(gòu)HBase上 的 Map ReduceHbase核心術(shù)語介紹Hbase基本操作HBaseShell以及演示Hbase樹形表設計Hbase 一對多和多對多表設計Hbase調(diào)優(yōu)（讀、寫、設計）數(shù)據(jù)倉庫HiveHive簡介Hive集群客戶端簡介HiveQL介紹與SQL的比較數(shù)據(jù)類型外部表和分區(qū)表ddl與CLI客戶端演示 dml與CLI客戶端演示 select與CL

4、I客戶端演示Operators 和functions 與 CLI客戶端演示 Hiveserver2 與 jdbc用戶自定義函數(shù)（UDF和UDAF的開發(fā)與演示 Hive優(yōu)化數(shù)據(jù)遷移工具SqoopSqoop簡介和配置 Sqoopshell常見命令Sqoop導入與導出Flume分布式日志框架flume簡介-基礎知識 flume安裝與測試 flume部署方式 flumesource相關(guān)配置及測試 flumes ink相關(guān)配置及測試 flumeselector 相關(guān)配置與案例分析 flumeSi nkProcessors 相關(guān)配置和案例分析 flume In terceptors相關(guān)配置和案例分析flu

5、meAVROClient 開發(fā) flume和kafka的整合Zookeeper 開發(fā)Zookeeperjavaapi 開發(fā)Zookeeperrmi咼可用分布式集群開發(fā)Zookeeperredis咼可用監(jiān)控實現(xiàn)Netty異步io通信框架Zookeeper實現(xiàn)netty 分布式架構(gòu)的咼可用kafkakafka是什么 kafka體系結(jié)構(gòu) kafka配置詳解 kafka的安裝kafka的存儲策略 kafka分區(qū)特點kafka的發(fā)布與訂閱 zookeeper協(xié)調(diào)管理 java編程操作kafka scala編程操作kafka flume和kafka的整合Kafka和storm的整合StormStorm的基

6、本概念Storm的應用場景Storm和Hadoop的對比Storm集群的安裝的linux環(huán)境準備zookeeper集群搭建Storm集群搭建Storm配置文件配置項講解集群搭建常見問題解決Storm 常用組件和編程 API： Topology、Spout、BoltStorm 分組策略（streamgroupings）使用Strom開發(fā)一個WordCount例子Storm程序本地模式debug、Storm程序遠程debugStorm事物處理Storm消息可靠性及容錯原理Storm結(jié)合消息隊列Kafka :消息隊列基本概念（Producer、Consume、 Topic、Broker等）、消息隊列

7、Kafka使用場景、Storm結(jié)合Kafka編程 APIStormTrident 概念Tride ntstate 原理Tride nt開發(fā)實例StormDRPC分布式遠程調(diào)用）介紹StormDRP（實戰(zhàn)講解Storm 和 Hadoop2.x 的整合：StormonYarnStorm開發(fā)實戰(zhàn)：Kafka+Storm+Hbase+redis項目實戰(zhàn)，以及多個案例Scalascala解釋器、變量、常用數(shù)據(jù)類型等 scala的條件表達式、輸入輸出、循環(huán)等控制結(jié)構(gòu) scala的函數(shù)、默認參數(shù)、變長參數(shù)等 scala的數(shù)組、變長數(shù)組、多維數(shù)組等 scala的映射、元組等操作scala的類，包括bean屬性

8、、輔助構(gòu)造器、主構(gòu)造器等scala的對象、單例對象、伴生對象、擴展類、apply方法等scala的包、弓1入、繼承等概念scala的特質(zhì) scala的操作符 scala的高階函數(shù) scala的集合scala數(shù)據(jù)庫連接Spark 大數(shù)據(jù)處理Spark簡介與應用場景RDDTran sformatio nActio nSpark 計算 PageRankLin eageSpark模型簡介Spark緩存策略和容錯處理 寬依賴與窄依賴Spark配置講解Spark集群搭建集群搭建常見問題解決Spark原理核心組件和常用RDD 數(shù)據(jù)本地性任務調(diào)度DAGSchedulerTaskSchedulerSpark源碼

9、解讀 性能調(diào)優(yōu)Spark 和 Hadoop2.x 整合：SparkonYarn 原理SparkStreami ng 實時計算SparkStreaming :數(shù)據(jù)源和 DStream 無狀態(tài) transformation 與有狀態(tài) transformation Streami ngWi ndow 的操作 sparksql編程實戰(zhàn) spark的多語言操作SparkMLlib機器學習廠介紹回歸算法 分類算法第四章推薦系統(tǒng)？ 第五章聚類Kmea nsDocker基本介紹vmdocker 對比 docker基本架構(gòu)介紹 un fscgroup namespace 進程虛擬化輕量級虛擬化 docker安裝

10、docker鏡像制作 docker常用命令 docker鏡像遷移 dockerpipework 1dockerweave虛擬化KVM虛擬化介紹，虛擬化適用場景等等QemuLibvirt&KVM安裝 KVM,Qemu,LibvirtQEMU-KV安裝第一個能上網(wǎng)的虛擬機Kvm虛擬機nat,網(wǎng)橋基本原理 kvm虛擬機克隆kvm虛擬機vnc配置kvm虛擬機擴展磁盤空間Kvm快照Kvm遷移Java,python,c 語言編程控制kvm云平臺1Open Stackopenstack介紹和模塊基本原理分析openstack多節(jié)點安裝部署【a.采用centos6.x系統(tǒng)】 Keystone基本原理gla neeCin derSwiftNeutro nOpenstackapi 二次開發(fā)綜合項目演練1結(jié)合基于SSH技術(shù)的jee項目一互聯(lián)網(wǎng)大數(shù)據(jù)調(diào)查系統(tǒng)，可針對當下流 行的事件進行網(wǎng)絡調(diào)查，然后從海量的調(diào)查調(diào)查問卷中通過大數(shù)據(jù)手段 對其進行分析和匯總，最終對大眾的消費習慣、文化傾向、未知領(lǐng)域的