河北省2022年職業(yè)院校技能大賽“大數(shù)據(jù)技術(shù)與應(yīng)用”(高職組)賽項(xiàng)樣卷_第1頁
河北省2022年職業(yè)院校技能大賽“大數(shù)據(jù)技術(shù)與應(yīng)用”(高職組)賽項(xiàng)樣卷_第2頁
河北省2022年職業(yè)院校技能大賽“大數(shù)據(jù)技術(shù)與應(yīng)用”(高職組)賽項(xiàng)樣卷_第3頁
河北省2022年職業(yè)院校技能大賽“大數(shù)據(jù)技術(shù)與應(yīng)用”(高職組)賽項(xiàng)樣卷_第4頁
全文預(yù)覽已結(jié)束

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

競(jìng)賽時(shí)間、內(nèi)容及總成績(jī)(一)競(jìng)賽時(shí)間競(jìng)賽時(shí)間共為6小時(shí),參賽隊(duì)自行安排任務(wù)進(jìn)度,休息、飲水、如廁等不設(shè)專門用時(shí),統(tǒng)一含在競(jìng)賽時(shí)間內(nèi)。(二)競(jìng)賽內(nèi)容概述序號(hào)任務(wù)名稱具體內(nèi)容任務(wù)一大數(shù)據(jù)平臺(tái)環(huán)境搭建按照大數(shù)據(jù)分析平臺(tái)需求,需要完成Hadoop完全分布式、Spark安裝配置、Flink安裝配置、Hive安裝配置、Kafka安裝配置、Flume安裝配置任務(wù)二離線數(shù)據(jù)抽取按照要求使用Scala語言完成特定函數(shù)的編寫,使用Spark抽取MySQL指定數(shù)據(jù)表中的新增的數(shù)據(jù)到ODS層的指定的分區(qū)表中任務(wù)三離線數(shù)據(jù)統(tǒng)計(jì)使用Scala語言編寫程序獲取ODS層指定分區(qū)表中的數(shù)據(jù)進(jìn)行清洗,并完成銷量前5的商品統(tǒng)計(jì)、某月的總銷售額統(tǒng)計(jì)、指定月份的銷售額統(tǒng)計(jì)、各用戶在線總時(shí)長(zhǎng)統(tǒng)計(jì),并將統(tǒng)計(jì)后的數(shù)據(jù)存入MySQL數(shù)據(jù)庫中任務(wù)四數(shù)據(jù)采集與實(shí)時(shí)計(jì)算啟動(dòng)業(yè)務(wù)系統(tǒng),按照要求使用Flume將用戶操作日志采集并存入Kafka中并使用Flink、Scala消費(fèi)Kafka中的數(shù)據(jù)將其進(jìn)行聚合計(jì)算出商城在線人數(shù),將結(jié)果存入Redis中,并統(tǒng)計(jì)該系統(tǒng)的UV與PV將結(jié)果存入MySQL中任務(wù)五數(shù)據(jù)可視化編寫前端Web界面,調(diào)用后臺(tái)數(shù)據(jù)接口,使用Vue.js、Echarts完成數(shù)據(jù)可視化任務(wù)六綜合分析報(bào)告根據(jù)要求編寫綜合分析報(bào)告(三)競(jìng)賽總成績(jī)“大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)競(jìng)賽總成績(jī)?yōu)?00分,其中包含賽場(chǎng)職業(yè)素養(yǎng)5分。任務(wù)須知每組參賽隊(duì)分配一臺(tái)競(jìng)賽服務(wù)器、三臺(tái)客戶機(jī),擁有獨(dú)立IP組。本次比賽采用統(tǒng)一網(wǎng)絡(luò)環(huán)境比賽,請(qǐng)不要隨意更改客戶端的網(wǎng)絡(luò)地址信息,對(duì)于更改客戶端信息造成的問題,由參賽選手自行承擔(dān)比賽損失;請(qǐng)不要惡意破壞競(jìng)賽環(huán)境,對(duì)于惡意破壞競(jìng)賽環(huán)境的參賽者,組委會(huì)根據(jù)其行為予以處罰直至取消比賽資格。比賽過程中及時(shí)保存相關(guān)文檔。比賽相關(guān)文檔中不能出現(xiàn)參賽學(xué)校名稱和參賽選手名稱,以賽位號(hào)(工位號(hào))代替。參賽選手請(qǐng)勿刪除模板內(nèi)容,若因刪除導(dǎo)致任何問題后果自負(fù)。若同一文檔由不同選手完成,須將文檔合并后作為最終結(jié)果提交到U盤中。比賽中出現(xiàn)各種問題及時(shí)向現(xiàn)場(chǎng)裁判舉手示意,不要影響其他參賽隊(duì)比賽。任務(wù)說明本項(xiàng)目要求完成離線電商數(shù)據(jù)統(tǒng)計(jì)分析,完成大數(shù)據(jù)平臺(tái)環(huán)境搭建、離線數(shù)據(jù)抽取、離線數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)采集與實(shí)時(shí)計(jì)算、數(shù)據(jù)可視化及綜合分析報(bào)告編寫等工作。提供的相關(guān)資源包括:大數(shù)據(jù)環(huán)境搭建中需要用到的組件安裝包電商相關(guān)數(shù)據(jù)大數(shù)據(jù)分析集群環(huán)境離線數(shù)據(jù)抽取開發(fā)環(huán)境離線數(shù)據(jù)統(tǒng)計(jì)開發(fā)環(huán)境數(shù)據(jù)采集與實(shí)時(shí)計(jì)算開發(fā)環(huán)境數(shù)據(jù)可視化開發(fā)環(huán)境綜合分析報(bào)告文檔模板任務(wù)一:大數(shù)據(jù)平臺(tái)環(huán)境搭建按照大數(shù)據(jù)分析平臺(tái)需求,需要完成Hadoop完全分布式、Spark安裝配置、Flink安裝配置、Hive安裝配置、Kafka安裝配置、Flume安裝配置。任務(wù)二:離線數(shù)據(jù)抽取按照要求使用Scala語言完成特定函數(shù)的編寫,使用Spark抽取MySQL指定數(shù)據(jù)表中的新增的數(shù)據(jù)到ODS層的指定的分區(qū)表中。任務(wù)三:離線數(shù)據(jù)統(tǒng)計(jì)使用Scala語言編寫程序獲取ODS層指定分區(qū)表中的數(shù)據(jù)進(jìn)行清洗,并完成銷量前5的商品統(tǒng)計(jì)、某月的總銷售額統(tǒng)計(jì)、指定月份的銷售額統(tǒng)計(jì)、各用戶在線總時(shí)長(zhǎng)統(tǒng)計(jì),并將統(tǒng)計(jì)后的數(shù)據(jù)存入MySQL數(shù)據(jù)庫中。任務(wù)四:數(shù)據(jù)采集與實(shí)時(shí)計(jì)算啟動(dòng)業(yè)務(wù)系統(tǒng),按照要求使用Flume將用戶操作日志采集并存入Kafka中并使用Flink、Scala消費(fèi)Kafka中的數(shù)據(jù)將其進(jìn)行聚合計(jì)算出商城在線人數(shù),將結(jié)果存入Redis中,并統(tǒng)計(jì)該系統(tǒng)的UV與PV將結(jié)果存入MySQL中。任務(wù)五:數(shù)據(jù)可視化編寫前端Web界面,調(diào)用后臺(tái)數(shù)據(jù)接口,使用Vue.js、Echarts完成數(shù)據(jù)可視化。任務(wù)六:綜合分析報(bào)告根據(jù)項(xiàng)目要求,完成綜合分析報(bào)告編寫。四、競(jìng)賽結(jié)果提交要求(一)提交方式任務(wù)成果需拷貝至提供的U盤中。在U盤中以XX工位號(hào)建一個(gè)文件夾(例如01),將所有任務(wù)成果文檔保存至該文件夾中。(二)文檔要求競(jìng)賽提交的所有文檔中不能出現(xiàn)參賽隊(duì)信息和參賽選手信息,競(jìng)賽文檔需要填

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論