《流計(jì)算處理技術(shù)》課程標(biāo)準(zhǔn)（高職）

1、流計(jì)算處理技術(shù)課程標(biāo)準(zhǔn)制定時間：2019年6月制定時間：2019年6月所屬系部：計(jì)算機(jī)系學(xué) 分：4批準(zhǔn)人：李瑞興適用專業(yè)：大數(shù)據(jù)專業(yè)參考學(xué)時：64學(xué)時制定人：林平二、課程性質(zhì)本課程定位于高職高專層次，是大數(shù)據(jù)專業(yè)的一門重要專業(yè)基礎(chǔ)課程。本課程 是以實(shí)戰(zhàn)為導(dǎo)向，能指導(dǎo)學(xué)生零基礎(chǔ)掌握Flink并快速完成進(jìn)階的著作，從功能、 原理、實(shí)戰(zhàn)和調(diào)優(yōu)等4個維度循序漸進(jìn)地講解了如何利用Flink進(jìn)行分布式流式應(yīng) 用開發(fā)。課程一共10章，邏輯上可以分為三個局部：（2章）主要介紹了 Flink的 核心概念、特性、應(yīng)用場景、基本架構(gòu)，開發(fā)環(huán)境的搭建和配置，以及源代碼的編譯。 第二局部（第39章）詳細(xì)講解了 Flin

2、k的編程范式，各種編程接口的功能、應(yīng) 用場景和使用方法，以及核心模塊和組件的原理和使用。第三部N0章重點(diǎn)講解 了 Flink的監(jiān)控和優(yōu)化參數(shù)調(diào)優(yōu)以及對反壓Checkpoint和內(nèi)存的優(yōu)化。三、課程目標(biāo)（一）專業(yè)能力目標(biāo)掌握大數(shù)據(jù)中數(shù)據(jù)處理的能力；掌握基于Flink流程處理能力；學(xué)習(xí)傳統(tǒng)大數(shù)據(jù)基礎(chǔ)架構(gòu)；WFlink的基本架構(gòu)；掌握基于Java與Scala語言實(shí)現(xiàn)的工程模板；掌握Flink的狀態(tài)管理與容錯；（二）方法能力目標(biāo)1.具有有限條件下思考問題的能力、理性思維分析能力。2,初步具有以定性和定量相結(jié)合的方法分析和解決大數(shù)據(jù)方面問題的能力四、課程內(nèi)容及教學(xué)要求（一）課程整體內(nèi)容序號任務(wù)任務(wù)任務(wù)任

3、務(wù) 四任務(wù) 五任務(wù) 六任務(wù) 七任務(wù) 八任務(wù) 九任務(wù) 十工作 任務(wù) 名稱Apac he Flin k介 紹Fl ink 環(huán)境 搭建Flin k編 程模 型DataS tream API 介紹 與使Flin k狀 態(tài)管 理和 容錯DataS et API 介紹 與使 用Tabi e API & SQL 介紹 與使 用Flink 組件 棧介 紹與 使用Flin k部 署 與應(yīng) 用Flin k監(jiān) 控與 性能 優(yōu)化學(xué)時 分配4888848484學(xué)時合計(jì)：64鄲寸（其中實(shí)踐教學(xué)學(xué)時比例為25 %）理論學(xué)時：48實(shí)踐學(xué)時:16序號工作任務(wù)劃分教學(xué)目標(biāo)和主要內(nèi)容經(jīng)學(xué) 學(xué)時知識目標(biāo)能力目標(biāo)1任務(wù)一:Apache

4、Flink介紹1. Apache Flink介紹1 Apache Flink 是什么數(shù)據(jù)架構(gòu)的演變Flink應(yīng)用場景Flink基本架構(gòu)42任務(wù)二：Flink 環(huán)境搭建1.介紹Fl ink環(huán)境搭建2.1運(yùn)行環(huán)境介紹2.2 Flink工程模板2. 3 Flink開發(fā)環(huán)境配置2.4 運(yùn)行 Scala REPL2. 5 Flink源碼編譯2. 6本章小結(jié)83任務(wù)三:Flink 編程模型1. Flink編程模型的 基本原理和使用方法1數(shù)據(jù)集類型Flink編程接口Fl ink程序結(jié)構(gòu)03. 4 Flink數(shù)據(jù)類型3. 5本章小結(jié)84任務(wù) 四： DataStream API介紹與 使用1. DataStre

5、am API 介 紹與使用的基本原 理和使用方法4. 1 DataStream 編程模型4. 2時間概念與Watermark4. 3 Windows 窗口計(jì)算4.4作業(yè)鏈和資源組4. 5 Asynchronous I/O 異步操作8五、考核標(biāo)準(zhǔn)4. 6本章小結(jié)5任務(wù)五：Flink 狀態(tài)管理和 容錯1. Fl ink狀態(tài)管理和容 錯的概念和基本原理5. 1有狀態(tài)計(jì)算5. 2 Checkpoints ISavepoints3狀態(tài)管理器5.4 Querable State5. 5本章小結(jié)86任務(wù)六： DataSet API介紹與使用DataSet API介紹與使 用的概念和基本原理6.1 DataS

6、et API6. 2迭代計(jì)算6. 3廣播變量與分布式緩存6. 4語義注解6. 5本章小結(jié)47任務(wù)七：Table API & SQL介紹 與使用Table API & SQL介紹 與使用原理和使用 方法1 TableEnviroment 概念Flink Table APIFl ink SQL 使用自定義函數(shù)自定義數(shù)據(jù)源6本章小結(jié)88任務(wù)八：Flink 組件棧介紹 與 使用Fl ink組件棧介紹與使 用8. 1 Flink復(fù)雜事件處理8.2 Flink Geliy圖計(jì)算應(yīng)用8. 3 FlinkML機(jī)器學(xué)習(xí)應(yīng)用49任務(wù)九：Flink 部署與應(yīng)用Fl ink部署與應(yīng)用1 Flink集群部署Flink高

7、可用配置Flink平安管理Flink集群升級810任務(wù)十：Flink 監(jiān)控與性能 優(yōu)化Fl ink監(jiān)控與性能優(yōu)化10. 1監(jiān)控指標(biāo)10. 2 Backpressure 監(jiān)控與優(yōu)化10. 3 Checkpointing 監(jiān)控與優(yōu)化10.4 Flink內(nèi)存優(yōu)化4.考核方式理論與實(shí)踐一體化評價。本課程考核含過程考核和結(jié)果考核。過程考核重點(diǎn)考察 學(xué)生平時出勤、課堂表現(xiàn)、平時作業(yè)、小組工程作業(yè)、課堂提問。這些成績作為學(xué)生 平時成績一并計(jì)入考核成績中。占學(xué)期總成績的40%o結(jié)果考核即期末考試，占總 成績的60%,期末考試為標(biāo)準(zhǔn)化題型。.考核比例及要求學(xué)期總評成績=平時成績（40%） +期末成績（60）過程

8、考核（平時成績）平時成績（100%）=出勤（10%） +課堂表現(xiàn)（10%） +平時作業(yè)完成（10%） +10次作業(yè)（40） +課堂提問（30%）結(jié)果考評（期末成績）（100%）：卷面考試，案例分析。六、教學(xué)條件與媒體資源.師資條件我校的大數(shù)據(jù)課程的主講教師隊(duì)伍很龐大，主講教師都具有相關(guān)學(xué)科碩士學(xué)位及 其以上學(xué)位，學(xué)緣結(jié)構(gòu)科學(xué)，教學(xué)團(tuán)隊(duì)支持結(jié)構(gòu)合理。.教學(xué)資源圖書館的藏書較豐富，有國內(nèi)外知名大數(shù)據(jù)教材和各類相關(guān)書籍。網(wǎng)絡(luò)資料、多媒體資料教學(xué)大綱、授課教案、電子課件（PPT版）、習(xí)題考試 題、教學(xué)案例、局部主講教師現(xiàn)場教學(xué)錄像等教學(xué)資源.校內(nèi)實(shí)訓(xùn)場所和設(shè)施校內(nèi)的食堂、超市、多媒體教室都是實(shí)驗(yàn)實(shí)訓(xùn)場所。4.校外實(shí)訓(xùn)基地校外的任何單位和場所都可以成為流計(jì)算處理技術(shù)習(xí)基地。七、其他說明1.主教材Flink原理、實(shí)戰(zhàn)與性能優(yōu)化張利兵，機(jī)械工業(yè)出版社。2.參考書1陸嘉恒.Hadoop實(shí)戰(zhàn).機(jī)械工