大數(shù)據(jù)課程體系0001

1、大數(shù)據(jù)課程體系 This manuscript was revised by the office on December 22, 2012 Java基礎 JAVA開發(fā)基礎知識 Eclipse開發(fā)環(huán)境 多線程技術 Socket網(wǎng)絡技術 Regu1arExpression Java反射技術 各種實戰(zhàn)設計模式 面向?qū)ο笤O計原則詳解 Javacollection Reflection JVM原理與配置、調(diào)優(yōu) Java設計模式 Linux大綱 Linux的介紹與安裝 VMwareWorkstation虛擬軟件安裝ubuntu安裝 Linux的常用命令 Linux系統(tǒng)進程管理常用命令ps、pkilK t

2、op、htop等的使用; Linux啟動流程，運行級別詳解，chkconfig詳解 nano編輯器 Linux權限管理：用戶、組 Linux權限管理：文件權限r(nóng)wx Linux 網(wǎng)絡管理：hosts, hostname, if config 安裝JDK Hadoop Hadoop介紹，發(fā)展史，國內(nèi)外現(xiàn)狀，未來 Hadoop核心組成介紹及hdfs、mapreduce體系結構 Hadoop的集群結構 Hadoop獨立模式安裝與測試 Hadoop啟動與停止 SSH安裝與配置 Hadoop偽分布式和完全分布式安裝配置 HDFS底層工作原理 HDFSdatanode, namenode 詳解 Hdfss

3、hell Hdfsjavaapi InputSplit 和 OutputSplit BlockSize 配置 最少副本數(shù)配置 MR作業(yè)流程分析 編打Mapper程序 編打Reducer程序 執(zhí)行Mapreduce過程 Hadoop 核心類講解,RM, NM, NN, DN YARN調(diào)度框架事件分發(fā)機制 Hadoop底層IPC原理和RPC Hadoop的底層googleProtoBuf的協(xié)議分析 分布式數(shù)據(jù)庫 Hbase HBase簡介與RDBMS的對比 系統(tǒng)架構 HBase 上的 MapReduce Hbase核心術語介紹 Hbase基本操作 HBaseShell以及演示 Hbase樹形表設計

4、 Hbase 對多和多對多表設計 Hbase調(diào)優(yōu)（讀、寫、設計） 數(shù)據(jù)倉庫Hive Hive簡介 Hive集群 客戶端簡介 HiveQL介紹與SQL的比較 數(shù)據(jù)類型 外部表和分區(qū)表 ddl與CLI客戶端演示 dml與CLI客戶端演示 select與CLI客戶端演示 Operators和functions與CLI客戶端演示 Hiveserver2 與 jdbc 用戶自定義函數(shù)（UDF和UDAF）的開發(fā)與演示 Hive優(yōu)化 數(shù)據(jù)遷移工具 Sqoop Sqoop簡介和配置 Sqoopshell常見命令 Sqoop導入與導出 Flume分布式 日志框架 flume簡介-基礎知識 flume安裝與測試

5、flume部署方式 flumesource相關配置及測試 flumesink相關配置及測試 flumeselector相關配置與案例分析 flumeSinkProcessors相關配置和案例分析 flumelnterceptors相關配置和案例分析 flumeAVROClient 開發(fā) flume和kafka的整合 Zookeeper 開發(fā) Zookeeper javaapi 開發(fā) Zookeeperrmi高可用分布式集群開發(fā) Zookeeperredis高可用監(jiān)控實現(xiàn) Netty異步io通信框架 Zookeeper實現(xiàn)netty分布式架構的高可用 kafka kafka是什么 kafka體系

6、結構 kafka配置詳解 kafka的安裝 kafka的存儲策略 kafka分區(qū)特點 kafka的發(fā)布與訂閱 zookeeper協(xié)調(diào)管理 java編程操作kafka scala編程操作kafka flume和kafka的整合 Kafka和storm的整合 Storm Storm的基本概念 Storm的應用場景 Storm和Hadoop的對比 Storm集群的安裝的linux環(huán)境準備 zookeeper集群搭建 Storm集群搭建 Storm配置文件配置項講解 集群搭建常見問題解決 Storm 常用組件和編程 API： Topology、Spout Bolt Storm 分組策略（streamg

7、roupings） 使用Strom開發(fā)一個WordCount例子 Storm程序本地模式debug、Storm程序遠程debug Storm事物處理 Storm消息可靠性及容錯原理 Storm結合消息隊列Kafka：消息隊列基本概念（Producer、Consumer、 Topic、Broker等）、消息隊列Kafka使用場景、Storm結合Kafka編程 API StormTrident 概念 Tridentstate 原理 Trident開發(fā)實例 StormDRPC（分布式遠程調(diào)用）介紹 StormDRPC實戰(zhàn)講解 Storm 和 Hadoop2. x 的整合：StormonYarn St

8、orm開發(fā)實戰(zhàn)：Kafka+Storm+Hbase+redis項U實戰(zhàn)，以及多個案例 Scala scala解釋器、變量、常用數(shù)據(jù)類型等 scala的條件表達式、輸入輸出、循環(huán)等控制結構 scala的函數(shù)、默認參數(shù)、變長參數(shù)等 scala的數(shù)組、變長數(shù)組、多維數(shù)組等 scala的映射、元組等操作 scala的類，包括bean屬性、輔助構造器、主構造器等 scala的對象、單例對象、伴生對象、擴展類、apply方法等 scala的包、引入、繼承等概念 scala的特質(zhì) scala的操作符 scala的高階函數(shù) scala的集合 scala數(shù)據(jù)庫連接 Spark 大數(shù)據(jù)處理 Spark簡介與應用場

9、景 RDD Transformation Action Spark 計算 PageRank Lineage Spark模型簡介 Spark緩存策略和容錯處理 寬依賴與窄依賴 Spark配置講解 Spark集群搭建 集群搭建常見問題解決 Spark原理核心組件和常用RDD 數(shù)據(jù)本地性 任務調(diào)度 DAGScheduler TaskScheduler Spark源碼解讀 性能調(diào)優(yōu) Spark 和 Hadoop2. x 整合：SparkonYarn 原理 SparkStreaming 實時計算 SparkStreaming：數(shù)據(jù)源和 DStream 無狀態(tài) transformation 與有狀態(tài) tr

10、ansformation StreamingWindow 的操作 sparksql編程實戰(zhàn) spark的多語言操作 SparkMLlib 機器學習 介紹 回歸算法 分類算法 第四章推薦系統(tǒng) 第五章聚類 Kmeans Docker 基本介紹 vmdocker 對比 docker基本架構介紹 unfscgroupnamespace 進程虛擬化輕量級虛擬化 docker安裝 docker鏡像制作 docker常用命令 docker鏡像遷移 dockerpipework ldockerweave 虛擬化KVM 虛擬化介紹，虛擬化適用場景等等 QemuLibvirt&KW 安裝 KVM, Qemu, L

11、ibvirt QEMU-KVM:安裝第一個能上網(wǎng)的虛擬機 Kvm虛擬機nat,網(wǎng)橋基本原理 kvm虛擬機克隆 kvm虛擬機vnc配置 kvm虛擬機擴展磁盤空間 Kvm快照 Kvm遷移 Java, python, c語言編程控制kvm 云平臺 OpenStack openstack介紹和模塊基本原理分析 openstack多節(jié)點安裝部署【比釆用centos6. x系統(tǒng)】 Keystone基本原理 glance Cinder Swift Neutron Openstackapi 二次開發(fā) 綜合項LI演練1 結合基于SSH技術的jee項LI互聯(lián)網(wǎng)大數(shù)據(jù)調(diào)查系統(tǒng)，可針對當下流 行的事件進行網(wǎng)絡調(diào)查，然后從海量的調(diào)查調(diào)查問卷中通過大數(shù)據(jù)手段 對其進行分析和匯總，最終對大眾的消費習慣.文化傾