云計(jì)算競(jìng)賽子庫大數(shù)據(jù)

大數(shù)據(jù)技術(shù)與應(yīng)用目錄競(jìng)賽目的技能點(diǎn)競(jìng)賽內(nèi)容大賽風(fēng)采2競(jìng)賽目的引入大數(shù)據(jù)各個(gè)環(huán)節(jié)的實(shí)際應(yīng)用場(chǎng)景，全面考察高職學(xué)生大數(shù)據(jù)技術(shù)基礎(chǔ)、軟件開發(fā)相關(guān)技術(shù)、Hadoop及其生態(tài)組件部署與管理、數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)分析和數(shù)據(jù)可視化等前沿的知識(shí)、技術(shù)技能以及職業(yè)素養(yǎng)和團(tuán)隊(duì)協(xié)作能力。3競(jìng)賽內(nèi)容4賽項(xiàng)以大數(shù)據(jù)技術(shù)與應(yīng)用為核心內(nèi)容，重點(diǎn)考查參賽選手基于Hadoop平臺(tái)環(huán)境下，利用Hadoop技術(shù)生態(tài)組件，綜合軟件開發(fā)相關(guān)技術(shù)，解決實(shí)際問題的能力技能點(diǎn)51.掌握按照項(xiàng)目需求配置管理Hadoop大數(shù)據(jù)平臺(tái)及相關(guān)生態(tài)組件；2.掌握企業(yè)常用采集工具和網(wǎng)絡(luò)爬蟲的相關(guān)技術(shù)，完成指定數(shù)據(jù)的采集及處理能力；3.綜合利用MapReduce、Spark、Storm等技術(shù)、分布式存儲(chǔ)系統(tǒng)、數(shù)據(jù)倉庫Hive等工具，使用Java、Python等開發(fā)語言，完成數(shù)據(jù)清洗、存儲(chǔ)、轉(zhuǎn)化、分析及數(shù)據(jù)推送等一系列大數(shù)據(jù)操作；4.綜合運(yùn)用HTML、CSS、JavaScript、Python等開發(fā)語言，對(duì)數(shù)據(jù)進(jìn)行可視化呈現(xiàn)；5.根據(jù)數(shù)據(jù)可視化結(jié)果，完成數(shù)據(jù)分析報(bào)告的編寫。技能點(diǎn)6Hadoop平臺(tái)及組件的部署管理Hadoop平臺(tái)安裝部署和基本配置Hadoop集群節(jié)點(diǎn)的動(dòng)態(tài)增加與刪除Hadoop平臺(tái)相關(guān)組件部署與管理Hadoop平臺(tái)的高可用技能點(diǎn)7數(shù)據(jù)采集使用開發(fā)者工具查看網(wǎng)頁源碼，分析網(wǎng)頁結(jié)構(gòu)，明確數(shù)據(jù)采集對(duì)象構(gòu)建數(shù)據(jù)采集請(qǐng)求，抓取網(wǎng)絡(luò)數(shù)據(jù)利用網(wǎng)絡(luò)爬蟲相關(guān)組件實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)爬取規(guī)則文件數(shù)據(jù)和關(guān)系型數(shù)據(jù)庫數(shù)據(jù)抓取以及數(shù)據(jù)同步非關(guān)系型數(shù)據(jù)庫數(shù)據(jù)抓取以及數(shù)據(jù)同步數(shù)據(jù)采集結(jié)果導(dǎo)出及數(shù)據(jù)庫推送技能點(diǎn)8數(shù)據(jù)清洗與分析基于Hadoop平臺(tái)架構(gòu)組件和多維度的數(shù)據(jù)采集，實(shí)現(xiàn)數(shù)據(jù)一致性檢查、無效值和缺省值的處理多表數(shù)據(jù)合并和離群值處理通過常見的數(shù)據(jù)分析算法，對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化、離散化和二元化分析技能點(diǎn)9掌握數(shù)據(jù)倉庫導(dǎo)入、導(dǎo)出，利用數(shù)據(jù)倉庫相關(guān)命令或代碼實(shí)現(xiàn)數(shù)據(jù)多維度、多層次的分析對(duì)數(shù)據(jù)的查詢、整理和計(jì)算。進(jìn)行編譯、打包、發(fā)布，執(zhí)行程序，完成數(shù)據(jù)處理、清洗。實(shí)現(xiàn)不同數(shù)據(jù)庫間的文件傳輸及轉(zhuǎn)換數(shù)據(jù)預(yù)測(cè)分析技能點(diǎn)10數(shù)據(jù)可視化編寫后臺(tái)代碼實(shí)現(xiàn)數(shù)據(jù)庫訪問和數(shù)據(jù)整理編寫Web前端代碼，對(duì)數(shù)據(jù)分析結(jié)果進(jìn)行呈現(xiàn)綜合分析