下載本文檔
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
競(jìng)賽時(shí)間、內(nèi)容及總成績(jī)(一)競(jìng)賽時(shí)間競(jìng)賽時(shí)間共為6小時(shí),參賽隊(duì)自行安排任務(wù)進(jìn)度,休息、飲水、如廁等不設(shè)專門用時(shí),統(tǒng)一含在競(jìng)賽時(shí)間內(nèi)。(二)競(jìng)賽內(nèi)容概述序號(hào)任務(wù)名稱具體內(nèi)容任務(wù)一大數(shù)據(jù)平臺(tái)環(huán)境搭建按照大數(shù)據(jù)分析平臺(tái)需求,需要完成Hadoop完全分布式、Spark安裝配置、Flink安裝配置、Hive安裝配置、Kafka安裝配置、Flume安裝配置任務(wù)二離線數(shù)據(jù)抽取按照要求使用Scala語言完成特定函數(shù)的編寫,使用Spark抽取MySQL指定數(shù)據(jù)表中的新增的數(shù)據(jù)到ODS層的指定的分區(qū)表中任務(wù)三離線數(shù)據(jù)統(tǒng)計(jì)使用Scala語言編寫程序獲取ODS層指定分區(qū)表中的數(shù)據(jù)進(jìn)行清洗,并完成銷量前5的商品統(tǒng)計(jì)、某月的總銷售額統(tǒng)計(jì)、指定月份的銷售額統(tǒng)計(jì)、各用戶在線總時(shí)長(zhǎng)統(tǒng)計(jì),并將統(tǒng)計(jì)后的數(shù)據(jù)存入MySQL數(shù)據(jù)庫中任務(wù)四數(shù)據(jù)采集與實(shí)時(shí)計(jì)算啟動(dòng)業(yè)務(wù)系統(tǒng),按照要求使用Flume將用戶操作日志采集并存入Kafka中并使用Flink、Scala消費(fèi)Kafka中的數(shù)據(jù)將其進(jìn)行聚合計(jì)算出商城在線人數(shù),將結(jié)果存入Redis中,并統(tǒng)計(jì)該系統(tǒng)的UV與PV將結(jié)果存入MySQL中任務(wù)五數(shù)據(jù)可視化編寫前端Web界面,調(diào)用后臺(tái)數(shù)據(jù)接口,使用Vue.js、Echarts完成數(shù)據(jù)可視化任務(wù)六綜合分析報(bào)告根據(jù)要求編寫綜合分析報(bào)告(三)競(jìng)賽總成績(jī)“大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)競(jìng)賽總成績(jī)?yōu)?00分,其中包含賽場(chǎng)職業(yè)素養(yǎng)5分。任務(wù)須知每組參賽隊(duì)分配一臺(tái)競(jìng)賽服務(wù)器、三臺(tái)客戶機(jī),擁有獨(dú)立IP組。本次比賽采用統(tǒng)一網(wǎng)絡(luò)環(huán)境比賽,請(qǐng)不要隨意更改客戶端的網(wǎng)絡(luò)地址信息,對(duì)于更改客戶端信息造成的問題,由參賽選手自行承擔(dān)比賽損失;請(qǐng)不要惡意破壞競(jìng)賽環(huán)境,對(duì)于惡意破壞競(jìng)賽環(huán)境的參賽者,組委會(huì)根據(jù)其行為予以處罰直至取消比賽資格。比賽過程中及時(shí)保存相關(guān)文檔。比賽相關(guān)文檔中不能出現(xiàn)參賽學(xué)校名稱和參賽選手名稱,以賽位號(hào)(工位號(hào))代替。參賽選手請(qǐng)勿刪除模板內(nèi)容,若因刪除導(dǎo)致任何問題后果自負(fù)。若同一文檔由不同選手完成,須將文檔合并后作為最終結(jié)果提交到U盤中。比賽中出現(xiàn)各種問題及時(shí)向現(xiàn)場(chǎng)裁判舉手示意,不要影響其他參賽隊(duì)比賽。任務(wù)說明本項(xiàng)目要求完成離線電商數(shù)據(jù)統(tǒng)計(jì)分析,完成大數(shù)據(jù)平臺(tái)環(huán)境搭建、離線數(shù)據(jù)抽取、離線數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)采集與實(shí)時(shí)計(jì)算、數(shù)據(jù)可視化及綜合分析報(bào)告編寫等工作。提供的相關(guān)資源包括:大數(shù)據(jù)環(huán)境搭建中需要用到的組件安裝包電商相關(guān)數(shù)據(jù)大數(shù)據(jù)分析集群環(huán)境離線數(shù)據(jù)抽取開發(fā)環(huán)境離線數(shù)據(jù)統(tǒng)計(jì)開發(fā)環(huán)境數(shù)據(jù)采集與實(shí)時(shí)計(jì)算開發(fā)環(huán)境數(shù)據(jù)可視化開發(fā)環(huán)境綜合分析報(bào)告文檔模板任務(wù)一:大數(shù)據(jù)平臺(tái)環(huán)境搭建按照大數(shù)據(jù)分析平臺(tái)需求,需要完成Hadoop完全分布式、Spark安裝配置、Flink安裝配置、Hive安裝配置、Kafka安裝配置、Flume安裝配置。任務(wù)二:離線數(shù)據(jù)抽取按照要求使用Scala語言完成特定函數(shù)的編寫,使用Spark抽取MySQL指定數(shù)據(jù)表中的新增的數(shù)據(jù)到ODS層的指定的分區(qū)表中。任務(wù)三:離線數(shù)據(jù)統(tǒng)計(jì)使用Scala語言編寫程序獲取ODS層指定分區(qū)表中的數(shù)據(jù)進(jìn)行清洗,并完成銷量前5的商品統(tǒng)計(jì)、某月的總銷售額統(tǒng)計(jì)、指定月份的銷售額統(tǒng)計(jì)、各用戶在線總時(shí)長(zhǎng)統(tǒng)計(jì),并將統(tǒng)計(jì)后的數(shù)據(jù)存入MySQL數(shù)據(jù)庫中。任務(wù)四:數(shù)據(jù)采集與實(shí)時(shí)計(jì)算啟動(dòng)業(yè)務(wù)系統(tǒng),按照要求使用Flume將用戶操作日志采集并存入Kafka中并使用Flink、Scala消費(fèi)Kafka中的數(shù)據(jù)將其進(jìn)行聚合計(jì)算出商城在線人數(shù),將結(jié)果存入Redis中,并統(tǒng)計(jì)該系統(tǒng)的UV與PV將結(jié)果存入MySQL中。任務(wù)五:數(shù)據(jù)可視化編寫前端Web界面,調(diào)用后臺(tái)數(shù)據(jù)接口,使用Vue.js、Echarts完成數(shù)據(jù)可視化。任務(wù)六:綜合分析報(bào)告根據(jù)項(xiàng)目要求,完成綜合分析報(bào)告編寫。四、競(jìng)賽結(jié)果提交要求(一)提交方式任務(wù)成果需拷貝至提供的U盤中。在U盤中以XX工位號(hào)建一個(gè)文件夾(例如01),將所有任務(wù)成果文檔保存至該文件夾中。(二)文檔要求競(jìng)賽提交的所有文檔中不能出現(xiàn)參賽隊(duì)信息和參賽選手信息,競(jìng)賽文檔需要填
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 渣土購(gòu)買及環(huán)保處理服務(wù)2025年度合同3篇
- 二零二五年度荒料銷售與風(fēng)險(xiǎn)管理合同3篇
- 二零二五版房地產(chǎn)租賃合同增加補(bǔ)充協(xié)議范本3篇
- 二零二五年度餐飲公司環(huán)保設(shè)施投資合作合同范本3篇
- 二零二五版本二手房買賣合同含房屋相鄰權(quán)及公共設(shè)施使用協(xié)議2篇
- 二零二五版中小學(xué)教師派遣及教學(xué)資源整合合同3篇
- 二零二五年度文化產(chǎn)業(yè)園區(qū)場(chǎng)地使用權(quán)買賣合同范例3篇
- 基于2025年度的環(huán)保服務(wù)合同2篇
- 二零二五版企業(yè)股權(quán)激勵(lì)方案評(píng)估與優(yōu)化合同3篇
- 個(gè)人出版作品稿酬合同(2024版)3篇
- 油田酸化工藝技術(shù)
- 食堂經(jīng)營(yíng)方案(技術(shù)標(biāo))
- 代收實(shí)收資本三方協(xié)議范本
- 人教版八年級(jí)英語下冊(cè)全冊(cè)課件【完整版】
- 乒乓球比賽表格
- 商務(wù)接待表格
- 腸梗阻導(dǎo)管治療
- word小報(bào)模板:優(yōu)美企業(yè)報(bào)刊報(bào)紙排版設(shè)計(jì)
- 漢語教學(xué) 《成功之路+進(jìn)步篇+2》第17課課件
- 三十頌之格助詞【精品課件】-A3演示文稿設(shè)計(jì)與制作【微能力認(rèn)證優(yōu)秀作業(yè)】
- 浙江省紹興市2023年中考科學(xué)試題(word版-含答案)
評(píng)論
0/150
提交評(píng)論