2021高職 大數(shù)據(jù)技術(shù)與應(yīng)用 任務(wù)書7（賽項(xiàng)賽題）

2021年全國職業(yè)院校技能大賽

高職組

“大數(shù)據(jù)技術(shù)與應(yīng)用”

賽項(xiàng)賽卷（GZ-xxxxxxx-X卷）

任

務(wù)

書

參賽隊(duì)編號(hào)：

背景描述

企業(yè)消費(fèi)服務(wù)平臺(tái)，為大中小型企業(yè)提供基于云化的消費(fèi)場景一

站式智能消費(fèi)、智能管控，幫助企業(yè)獲得更高效、簡單、美好的消費(fèi)

管理。從“費(fèi)控+支付”出發(fā)，到覆蓋全場景支出的創(chuàng)新模式，讓員

工在數(shù)字化平臺(tái)上直接完成所有消費(fèi)，從員工下單、到財(cái)務(wù)入賬，全

流程實(shí)現(xiàn)自動(dòng)化統(tǒng)一結(jié)算、統(tǒng)一數(shù)據(jù)分析。解決傳統(tǒng)差旅系統(tǒng)面臨的

場景覆蓋不全、員工體驗(yàn)差、消費(fèi)體驗(yàn)割裂等情況，真正做成一套讓

企業(yè)節(jié)省支出，讓員工滿意的差旅平臺(tái)。

企業(yè)消費(fèi)服務(wù)平臺(tái)的出現(xiàn)將原來傳統(tǒng)的差旅行程放到網(wǎng)絡(luò)平臺(tái)上,

更廣泛的傳遞差旅信息，互動(dòng)式的交流更方便客人的咨詢和訂購，越

來越多的人在出行的時(shí)候使用企業(yè)消費(fèi)服務(wù)平臺(tái)預(yù)訂機(jī)票、火車票、

住宿等，使得更多的商家愿意與企業(yè)消費(fèi)服務(wù)平臺(tái)建立合作，提升住

宿場所的營業(yè)額，這也為企業(yè)消費(fèi)服務(wù)平臺(tái)的發(fā)展帶來新的機(jī)遇，為

了抓住這個(gè)機(jī)會(huì)，“企業(yè)消費(fèi)服務(wù)平臺(tái)”需要從地域、訂單來源等多

種維度進(jìn)行分析，明確未來重點(diǎn)拓展合作商家的方向。公司要求多個(gè)

小組進(jìn)行分析，并提出相應(yīng)建議，你所在的小組也在其中，需要通過

數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)分析和數(shù)據(jù)可視化獲得相關(guān)論據(jù)，提出未

來重點(diǎn)拓展合作住宿場所的方向。

你們作為該小組的技術(shù)人員，是這次技術(shù)方案的核心成員，請按

照下面步驟完成本次技術(shù)展示任務(wù)，并提交分析報(bào)告，祝你們成功?。?！

模塊A：Hadoop平臺(tái)及組件的部署管理（15分）

環(huán)境要求：

編號(hào)主機(jī)名類型用戶密碼

1master主節(jié)點(diǎn)rootpasswd

2slavel從節(jié)點(diǎn)rootpasswd

3slave2從節(jié)點(diǎn)rootpasswd

masterOl-1主機(jī)上MySQL數(shù)據(jù)庫用戶名密碼是root/Passwordl23$

相關(guān)軟件安裝包在/chinaskills目錄下

任務(wù)一：Hadoop全分布部署管理

本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，安裝Hadoop需要配置

前置環(huán)境，具體部署要求如下：

1、將/chinaskills下的JDK包解壓到/usr/local/src,將命令（使

用絕對(duì)路徑）復(fù)制粘貼到報(bào)告中；

2、設(shè)置JDK環(huán)境變量，并使環(huán)境變量只對(duì)當(dāng)前root用戶生效，將環(huán)

境變量配置內(nèi)容復(fù)制粘貼至對(duì)應(yīng)報(bào)告中；

3、從master復(fù)制JDK環(huán)境變量文件到slavel、slave2節(jié)點(diǎn),將命

令（使用絕對(duì)路徑）復(fù)制粘貼到報(bào)告中；

4、根據(jù)環(huán)境中已配置完成的SSH密鑰登錄，實(shí)現(xiàn)從master登錄到

slavel,將命令和結(jié)果復(fù)制粘貼至對(duì)應(yīng)報(bào)告中；

5、將/chinaskills下的Hadoop包解壓到/usr/local/src,不修改

解壓后文件夾名稱，配置Hadoop全局環(huán)境變量，并使環(huán)境變量只

對(duì)當(dāng)前root用戶生效，將命令（使用絕對(duì)路徑）及環(huán)境變量內(nèi)容

復(fù)制粘貼至對(duì)應(yīng)報(bào)告中;

6、根據(jù)要求修改Hadoop相關(guān)文件，使用Hadoop命令初始化namenode,

啟動(dòng)Hadoop,使用相關(guān)命令查看所有節(jié)點(diǎn)Hadoop進(jìn)程，并將結(jié)

果內(nèi)容復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

任務(wù)二：Hive組件部署管理

本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，已安裝Hadoop及需要

配置前置環(huán)境，具體部署要求如下：

1、解壓Hive安裝包到“/usr/local/src”路徑，并使用相關(guān)命令，

修改解壓后文件夾名為Hive,進(jìn)入Hive文件夾，并將查看內(nèi)容

復(fù)制粘貼至對(duì)應(yīng)報(bào)告中；

2、設(shè)置Hive環(huán)境變量，并使環(huán)境變量只對(duì)當(dāng)前用戶生效，將環(huán)境變

量內(nèi)容復(fù)制粘貼至對(duì)應(yīng)報(bào)告中；

3、新建并配置hive-site,xml文件，實(shí)現(xiàn)“Hive元存儲(chǔ)”的存儲(chǔ)位

置為MySQL數(shù)據(jù)庫，并將hive-site,xml配置文件內(nèi)容復(fù)制粘貼

至對(duì)應(yīng)報(bào)告中；

4、初始化Hive元數(shù)據(jù)（將MySQL數(shù)據(jù)庫JDBC驅(qū)動(dòng)拷貝到Hive安裝

目錄的lib下），并將初始化結(jié)果內(nèi)容復(fù)制粘貼至對(duì)應(yīng)報(bào)告中；

5、啟動(dòng)Hive,檢查是否安裝成功，并將結(jié)果內(nèi)容復(fù)制粘貼至對(duì)應(yīng)報(bào)

告中。

任務(wù)三：Kafka組件部署管理

本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，已安裝Hadoop及需要

配置前置環(huán)境，具體部署要求如下：

1、將Zookeeper配置完畢后，在各節(jié)點(diǎn)啟動(dòng)Zookeeper,查看

Zookeeper狀態(tài)，并將命令和Zookeeper運(yùn)行狀態(tài)結(jié)果復(fù)制粘

貼至對(duì)應(yīng)報(bào)告中；

2、修改Kafkaserver.properties文件，并將修改的內(nèi)容復(fù)制粘

貼至對(duì)應(yīng)報(bào)告中；

3、啟動(dòng)Kafka,并將Kafka啟動(dòng)命令和輸出結(jié)果前10行復(fù)制粘

貼至報(bào)告中。

模塊B：數(shù)據(jù)采集與處理(20分)

1、網(wǎng)站解析，利用Chrome查看網(wǎng)頁源碼，分析企業(yè)消費(fèi)平臺(tái)網(wǎng)站網(wǎng)

頁結(jié)構(gòu)。

1)打開企業(yè)消費(fèi)平臺(tái)網(wǎng)站，在網(wǎng)頁中右鍵點(diǎn)擊檢查，或者F12

快捷鍵，查看元素頁面；

2)檢查網(wǎng)站：瀏覽網(wǎng)站源碼查看所需內(nèi)容。

2、從企業(yè)消費(fèi)平臺(tái)網(wǎng)站中爬取需要數(shù)據(jù)，按照要求使用Python語言

編寫爬蟲代碼，爬取指定數(shù)據(jù)項(xiàng)，并對(duì)結(jié)果數(shù)據(jù)集進(jìn)行數(shù)據(jù)探索、

以及必要的數(shù)據(jù)處理操作。請將符合題目要求的代碼答案復(fù)制粘

貼至對(duì)應(yīng)報(bào)告中。

具體步驟如下：

1)創(chuàng)建爬蟲項(xiàng)目

2)構(gòu)建爬蟲請求

3)按要求定義相關(guān)字段

4)獲取有效數(shù)據(jù)

5)將爬取到的數(shù)據(jù)保存到指定位置

至此已從住宿場所網(wǎng)站中爬取了所需數(shù)據(jù)，下一步我們要將爬取

結(jié)果進(jìn)一步進(jìn)行相關(guān)數(shù)據(jù)操作。

詳細(xì)數(shù)據(jù)描述：

1)請創(chuàng)建Scrapy項(xiàng)目chinaskills_accommodation(C：\

chinaskills_accommodation),從網(wǎng)站(網(wǎng)站地址在競賽平

臺(tái)模塊B中給出)中爬取頁面相關(guān)字段(包括name,seq,業(yè)務(wù)

部門，拒單率是否小于等于直銷城市均值，是否為客棧，房

間價(jià)格，用戶點(diǎn)評(píng)數(shù)，省份，住宿場所實(shí)住訂單，住宿場所

實(shí)住間夜）；將抓取結(jié)果保存為json格式文件，并命名為

accommodations.json0每條信息請以Key：Value格式單獨(dú)保

存為一行數(shù)據(jù)。

例如：

{“name"："***”，"seq"："***"，…….）

任務(wù)中要求將“以下內(nèi)容及答案完整復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

粘貼到對(duì)應(yīng)報(bào)告中的內(nèi)容舉例如下：

“中國”網(wǎng)頁源碼對(duì)應(yīng)字段為：Country

“四川”網(wǎng)頁源碼對(duì)應(yīng)字段為:Province

2）爬取數(shù)據(jù)量不少于28萬條。

具體任務(wù)要求：

任務(wù)一：網(wǎng)頁源碼對(duì)應(yīng)字段

使用Chrome瀏覽器，查找網(wǎng)站異步請求的數(shù)據(jù)，并將以下內(nèi)容及

答案完整復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

“業(yè)務(wù)部門”網(wǎng)頁源碼對(duì)應(yīng)字段為：

“房間價(jià)格”網(wǎng)頁源碼對(duì)應(yīng)字段為：

“是否為客棧”網(wǎng)頁源碼對(duì)應(yīng)字段為：

“住宿場所實(shí)住訂單”網(wǎng)頁源碼對(duì)應(yīng)字段為：

任務(wù)二：創(chuàng)建Scrapy工程

自行創(chuàng)建Scrapy工程編寫爬蟲代碼，爬取"name、seq、業(yè)務(wù)部

門有效數(shù)據(jù)項(xiàng)包括：業(yè)務(wù)部門，房間數(shù)，國家，圖片數(shù)，城市，城市

平均實(shí)住間夜，城市直銷拒單率，處于商圈”頁面相關(guān)數(shù)據(jù)，通過爬

蟲代碼分頁爬取，以合理的程序邏輯判斷相關(guān)數(shù)據(jù)包含的頁數(shù)并將程

序代碼復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

任務(wù)三：在MySQL中創(chuàng)建數(shù)據(jù)庫表

根據(jù)爬取字段，在MySQL中創(chuàng)建crawl數(shù)據(jù)庫，在該數(shù)據(jù)庫中創(chuàng)

建accommodations].表（包含name,seq,業(yè)務(wù)部門，拒單率是否小

于等于直銷城市均值，是否為客棧，房間價(jià)格），創(chuàng)建

accommodations2表（包含name,seq,業(yè)務(wù)部門，用戶點(diǎn)評(píng)數(shù)，省份，

住宿場所實(shí)住訂單，住宿場所實(shí)住間夜）將爬取數(shù)據(jù)寫入相應(yīng)數(shù)據(jù)表

中，并分別統(tǒng)計(jì)accommodations!表和accommodations2表的總行數(shù),

將統(tǒng)計(jì)結(jié)果復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

任務(wù)四：對(duì)數(shù)據(jù)庫表排序

爬蟲程序運(yùn)行結(jié)束后查看MySQL數(shù)據(jù)庫accommodations1表，按

seq倒序排序，返回前100行數(shù)據(jù)，將命令與查看結(jié)果復(fù)制粘貼至對(duì)

應(yīng)報(bào)告中。

任務(wù)五：對(duì)數(shù)據(jù)表填充處理

請根據(jù)步驟3中accommodations!表中的數(shù)據(jù)，對(duì)數(shù)據(jù)集中“房

間價(jià)格”字段的缺失值，使用平均值進(jìn)行填充。查看填充后的數(shù)據(jù)集

前5條記錄，將查看結(jié)果復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

任務(wù)六：對(duì)數(shù)據(jù)表刪除處理

請根據(jù)步驟3中accommodations2表中的數(shù)據(jù)，對(duì)數(shù)據(jù)集中存在

空值的記錄進(jìn)行刪除。查看刪除后的數(shù)據(jù)集條數(shù)，將查看結(jié)果復(fù)制粘

貼至對(duì)應(yīng)報(bào)告中。

accommodations2表刪除后條數(shù)為：

模塊C：數(shù)據(jù)清洗與挖掘分析（25分）

現(xiàn)已從相關(guān)網(wǎng)站及平臺(tái)獲取到原始數(shù)據(jù)集，為保障用戶隱私和行

業(yè)敏感信息，已進(jìn)行數(shù)據(jù)脫敏。數(shù)據(jù)脫敏是指對(duì)某些敏感信息通過脫

敏規(guī)則進(jìn)行數(shù)據(jù)的變形，實(shí)現(xiàn)敏感隱私數(shù)據(jù)的可靠保護(hù)。在涉及客戶

安全數(shù)據(jù)或者一些商業(yè)性敏感數(shù)據(jù)的情況、不違反系統(tǒng)規(guī)則條件下，

對(duì)真實(shí)數(shù)據(jù)進(jìn)行改造并提供測試使用，如身份證號(hào)、手機(jī)號(hào)等個(gè)人信

息都需要進(jìn)行數(shù)據(jù)脫敏。

相關(guān)數(shù)據(jù)文件中已經(jīng)包含了數(shù)據(jù)采集階段從企業(yè)消費(fèi)平臺(tái)網(wǎng)站上

爬取的數(shù)據(jù)集，其中包含了來自不同城市的多家住宿場所的銷售信息,

你的小組需要通過編寫代碼或腳本完成對(duì)相關(guān)數(shù)據(jù)文件中住宿場所

銷售管理數(shù)據(jù)的清洗和整理，并完成數(shù)據(jù)計(jì)算和分析任務(wù)。綜合利用

MapReduce,Spark、Storm,分布式存儲(chǔ)系統(tǒng)、數(shù)據(jù)倉庫Hive、數(shù)據(jù)

推送工具等技術(shù)，使用Java、Python、Scala等開發(fā)語言，完成本階

段數(shù)據(jù)清洗、處理、分析及數(shù)據(jù)挖掘等任務(wù)。通過多個(gè)維度分析住宿

場所的銷售信息，并以此評(píng)價(jià)住宿場所銷售業(yè)績、區(qū)域的游客接納能

力、接納質(zhì)量等指標(biāo)。

初始數(shù)據(jù)集來自多個(gè)網(wǎng)站及平臺(tái)系統(tǒng)，且為多次采集匯總結(jié)果，

因此數(shù)據(jù)集中不可避免地存在一些臟數(shù)據(jù)，即源數(shù)據(jù)不在給定的范圍

內(nèi)或?qū)τ趯?shí)際業(yè)務(wù)毫無意義，或是數(shù)據(jù)格式非法，以及在源系統(tǒng)中存

在不規(guī)范的編碼和含糊的業(yè)務(wù)邏輯。

請分析相關(guān)數(shù)據(jù)集，根據(jù)題目規(guī)定要求實(shí)現(xiàn)數(shù)據(jù)清洗及分析。

任務(wù)一：數(shù)據(jù)清洗

住宿場所銷售數(shù)據(jù)涉及到多個(gè)平臺(tái)及數(shù)據(jù)庫對(duì)接，個(gè)別信息由于

人為操作失誤或計(jì)算機(jī)故障等原因產(chǎn)生了數(shù)據(jù)缺失值。缺失值是一種

常見的臟數(shù)據(jù)情況，由于粗糙數(shù)據(jù)中缺少信息而造成的數(shù)據(jù)缺失或截

斷?，F(xiàn)有數(shù)據(jù)集中某個(gè)或某些屬性的值是不完全的。對(duì)于缺失值的處

理，從總體上來說分為缺失值刪除和缺失值插補(bǔ)。當(dāng)缺失值過多時(shí),

信息條目本身的價(jià)值也會(huì)隨之降低，此時(shí)如果對(duì)缺失值進(jìn)行填補(bǔ)則將

產(chǎn)生結(jié)果的人為干預(yù)。結(jié)合行業(yè)數(shù)據(jù)本身特點(diǎn)及上述考慮，請你根據(jù)

題目具體參數(shù)要求實(shí)現(xiàn)以下功能：將缺失值大于n個(gè)的數(shù)據(jù)條目從原

始數(shù)據(jù)集中剔除，并輸出剔除的條目數(shù)量。

詳細(xì)描述：

數(shù)據(jù)源文件存放于/chinaskills/accommodationdata.csv,請編

寫MapReduce程序，按照如下要求實(shí)現(xiàn)對(duì)數(shù)據(jù)的清洗，并將結(jié)果輸出

至HDFS文件系統(tǒng)中/accommodationoutput1：

1）解析該文件；

2）按照題目要求剔除缺失數(shù)據(jù)信息（n=3）,并以打印語句輸出刪

除條目數(shù)；

3）程序打包并在Hadoop平臺(tái)運(yùn)行，結(jié)果輸出至HDFS文件系統(tǒng)中

/accommodationoutputl。

具體任務(wù)要求：

1、將accommodationdata.csv文件上傳至HDFS新建目錄/file3_l

中；運(yùn)行代碼，刪除數(shù)據(jù)源中缺失值大于3個(gè)字段的數(shù)據(jù)，打印

輸出刪除條目數(shù)，將運(yùn)行結(jié)果復(fù)制粘貼至對(duì)應(yīng)報(bào)告中；

2、查看清洗后輸出的結(jié)果文件總行數(shù)（/accommodationoutput1）,將

運(yùn)行結(jié)果復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

對(duì)于數(shù)據(jù)集字段缺失情況，通?？梢圆捎锰畛涔潭ㄖ?、均值、眾

數(shù)、KNN填充、以及把缺失值作為新的label等方式處理。同時(shí)，不

當(dāng)?shù)奶畛淇赡軙?huì)令后續(xù)的分析結(jié)果出現(xiàn)導(dǎo)向性偏差，當(dāng)缺失信息較少

時(shí)可采用刪除的方式來進(jìn)行處理。下面請根據(jù)題目具體參數(shù)要求處理

關(guān)鍵字段缺失，復(fù)制粘貼至對(duì)應(yīng)報(bào)告中結(jié)果。

詳細(xì)描述：

數(shù)據(jù)源使用HDFS文件系統(tǒng)中的accommodationdata,csv,請編寫

MapReduce程序，按照如下要求實(shí)現(xiàn)對(duì)數(shù)據(jù)的清洗，并將結(jié)果輸出至

HDFS文件系統(tǒng)中/accommodationoutput2：

1）解析該文件；

2）將任意關(guān)鍵字段為空的條目剔除，關(guān)鍵字段定義為｛星級(jí)、評(píng)

論數(shù)、評(píng)分｝,并以打印語句輸出刪除條目數(shù)；

3）程序打包并在Hadoop平臺(tái)運(yùn)行，結(jié)果輸出至HDFS文件系統(tǒng)中

/accommodationoutput2。

具體任務(wù)要求：

3、運(yùn)行代碼，將字段｛星級(jí)、評(píng)論數(shù)、評(píng)分｝中任意字段為空的數(shù)據(jù)

刪除，并打印輸出刪除條目數(shù)，將運(yùn)行結(jié)果復(fù)制粘貼至對(duì)應(yīng)報(bào)告

中；

4、查看清洗后輸出的結(jié)果文件(accommodationoutput2)總行數(shù),將

運(yùn)行結(jié)果復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

任務(wù)二：數(shù)據(jù)挖掘分析

城市游客接納能力是城市規(guī)劃建設(shè)中的重要指標(biāo)，其中城市的住

宿場所數(shù)量和房間數(shù)量是城市游客接納能力的關(guān)鍵要素。請編寫程序

或腳本根據(jù)住宿場所管理網(wǎng)站中的數(shù)據(jù)統(tǒng)計(jì)各城市的相關(guān)信息，并寫

入指定的數(shù)據(jù)庫或數(shù)據(jù)文件。

詳細(xì)描述：

請根據(jù)數(shù)據(jù)清洗的輸出數(shù)據(jù)集，編寫HQL語句統(tǒng)計(jì)各城市的住宿

場所出租率，以各城市住宿場所出租率降序排列并輸出前10條統(tǒng)計(jì)

結(jié)果，同時(shí)創(chuàng)建并寫入數(shù)據(jù)表a_4。要求輸出字段包含：省份、城市、

住宿場所出租率。

數(shù)據(jù)定義如下：

數(shù)據(jù)項(xiàng)字段名備注

省份province

城市city

住宿場所出租率lease要求保留6位小數(shù)

數(shù)據(jù)樣式如下:

provincecitylease

貴州貴陽0.123456

具體任務(wù)要求：

1、創(chuàng)建表table3_4

2、統(tǒng)計(jì)各城市住宿場所出租率，將出租率前10的數(shù)據(jù)降序排列并寫

入數(shù)據(jù)表table3_4中，將命令復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

企業(yè)消費(fèi)平臺(tái)是住宿場所營銷的主要途徑之一，不僅降低銷售成

本，同時(shí)也提高了顧客體驗(yàn)滿意度。當(dāng)顧客通過企業(yè)消費(fèi)平臺(tái)進(jìn)行住

宿場所預(yù)訂時(shí)，住宿場所就擁有了用戶的相關(guān)數(shù)據(jù)。通過這些數(shù)據(jù)，

能夠更好地收集用戶需求，從而可以提供更有針對(duì)性和個(gè)性化的服務(wù),

最終能夠產(chǎn)生更多的忠誠會(huì)員并帶來更多訂單。但企業(yè)消費(fèi)平臺(tái)銷售

也存在用戶拒單等情況，拒單原因有很多：例如，平臺(tái)信息不同步，

信息更新不及時(shí)；分銷層次過多，導(dǎo)致無法及時(shí)查證訂單；住宿場所

違反企業(yè)消費(fèi)規(guī)則擅自以低價(jià)讓客戶取消訂單，這種情況又叫做“切

單”。企業(yè)消費(fèi)平臺(tái)需要統(tǒng)計(jì)用戶訂單的分布情況，以此發(fā)現(xiàn)平臺(tái)缺

陷及用戶、商家的行為模式，企業(yè)消費(fèi)平臺(tái)據(jù)此調(diào)整營銷策略。根據(jù)

現(xiàn)有數(shù)據(jù)及給定參數(shù)完成訂單數(shù)據(jù)統(tǒng)計(jì)，并寫入指定的數(shù)據(jù)庫或數(shù)據(jù)

文件，復(fù)制粘貼至對(duì)應(yīng)報(bào)告中結(jié)果。

詳細(xì)描述：

1）請根據(jù)數(shù)據(jù)清洗的輸出數(shù)據(jù)集，編寫HQL語句統(tǒng)計(jì)各省直銷拒

單率，以直銷拒單率升序排列并輸出前10條統(tǒng)計(jì)結(jié)果，同時(shí)

創(chuàng)建并寫入數(shù)據(jù)表table3_5。要求輸出字段包含：省份、直

銷拒單率。

數(shù)據(jù)定義如下：

數(shù)據(jù)項(xiàng)字段名備注

省份province

直銷拒單率norate要求保留6位小數(shù)

數(shù)據(jù)樣式如下:

provincenorate

貴州0.123456

具體任務(wù)要求：

3、創(chuàng)建表table3_5,將命令復(fù)制粘貼至對(duì)應(yīng)報(bào)告中；

4、統(tǒng)計(jì)各省拒單率，將統(tǒng)計(jì)的拒單率升序排列并將前10條統(tǒng)計(jì)結(jié)果

寫入數(shù)據(jù)表table35中，將命令復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

模塊D：數(shù)據(jù)可視化（20分）

MySQL數(shù)據(jù)庫中的相關(guān)數(shù)據(jù)集包含了城市、省份、評(píng)分、評(píng)論數(shù)

等多項(xiàng)基礎(chǔ)信息字段。請使用Flask框架，結(jié)合Echarts完成下列題

目。

數(shù)據(jù)庫賬號(hào)：takeout密碼:takeout

自行創(chuàng)建代碼工程路徑為:C：\chinaskills_hotel

每個(gè)可視化圖中需要添加圖片作為背景水印。

任務(wù)一：全國地圖熱力圖呈現(xiàn)各省訂單數(shù)量

住宿場所訂單量是反映住宿場所入住數(shù)量的重要指標(biāo)之一，某省

訂單數(shù)量一定程度上可以反應(yīng)出該省住宿場所入住情況，為了更好地

分析全國各省住宿場所訂單量，請根據(jù)指定表中數(shù)據(jù)統(tǒng)計(jì)出全國各省

住宿場所訂單量的情況，并以指定圖例進(jìn)行呈現(xiàn)。

詳細(xì)描述：

請以數(shù)據(jù)庫中相關(guān)表格為數(shù)據(jù)源，分析并統(tǒng)計(jì)各省訂單數(shù)量，繪

制全國地圖，并使用熱力圖表達(dá)。

具體任務(wù)要求：

1）提取表格相關(guān)字段，分別統(tǒng)計(jì)各省的訂單數(shù)量，在控制臺(tái)按照

“訂單數(shù)量”降序排列，打印輸出各省份的訂單數(shù)量；

打印語句格式如下：

==省份：***=訂單數(shù)量：**個(gè)==

2）使用Flask框架，結(jié)合Echarts繪制“訂單數(shù)量”的全國地圖

熱力圖，標(biāo)題為“各省訂單數(shù)量”（字體顏色：紅色，加粗），

并將可視化結(jié)果復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

任務(wù)二：多個(gè)餅圖呈現(xiàn)各省份不同等級(jí)住宿場所占比

企業(yè)消費(fèi)平臺(tái)為了更好地發(fā)展企業(yè)業(yè)務(wù)，向企業(yè)客戶推薦符合其

定位的協(xié)議住宿場所，需要分析上題中Top5省份的“三星級(jí)/舒適”、

“四星級(jí)/高檔”和“五星級(jí)/豪華”住宿場所以及“其它類別”住宿

場所（除上述三類外，其余類型住宿場所均歸為“其它類別”）的占

比情況。請根據(jù)指定表中數(shù)據(jù)，以指定圖例進(jìn)行呈現(xiàn)。

詳細(xì)描述：

請根據(jù)數(shù)據(jù)庫中相關(guān)數(shù)據(jù)集中省份、星級(jí)等相關(guān)字段統(tǒng)計(jì)各省份

不同等級(jí)住宿場所的占比，繪制多個(gè)餅圖。

具體任務(wù)要求：

1）根據(jù)表格相關(guān)字段分別統(tǒng)計(jì)上題Top5省份不同星級(jí)住宿場所

的占比，打印輸出各省份名稱以及各類型住宿場所的占比情況;

打印語句格式如下：

==省份：A=舒適型住宿占比：**===

==省份：A=高檔型住宿占比：**===

==省份：A=豪華型住宿占比：**===

==省份：B=舒適型住宿占比：**===

==省份：B=高檔型住宿占比：**===

==省份：B=豪華型住宿占比：**===

2）使用Flask框架，結(jié)合Echarts在組合圖中繪制多個(gè)餅圖，每

個(gè)城市各星級(jí)住宿場所占比情況分別用一個(gè)餅圖進(jìn)行呈現(xiàn)，將

可視化結(jié)果截圖并保存。

任務(wù)三：柱狀圖呈現(xiàn)城市出租率

出租率是反映住宿場所經(jīng)營狀況的一項(xiàng)重要指標(biāo)，它是已出租的

客房數(shù)與住宿場所可以提供租用的房間總數(shù)的百分比。住宿場所出租

率的情況可以在一定程度上反應(yīng)出該住宿場所的整體運(yùn)營的情況，為

了更好的分析指定住宿場所的入住情況，請根據(jù)相關(guān)表中數(shù)據(jù)完成出

租率分析，通過指定圖例進(jìn)行呈現(xiàn)。

詳細(xì)描述：

請以數(shù)據(jù)庫相關(guān)表作格為數(shù)據(jù)源，以柱狀圖呈現(xiàn)城市出租率。

具體任務(wù)要求：

1）提取表格相關(guān)字段，在控制臺(tái)按照“各省住宿場所出租率”降

序排列，打印輸出各省名稱及包含的住宿場所數(shù)量以及出租率;

打印語句格式如下：

==1.***省=住宿場所數(shù)為***個(gè)=出租率為：***===

==2.***省=住宿場所數(shù)為***個(gè)=出租率為：***===

2）使用Flask框架，結(jié)合Echarts繪制柱狀圖。柱狀圖主標(biāo)題為

“各省住宿場所出租率”（字體要求：紅色、加粗、斜體），副

標(biāo)題為出租率前十的省份；縱坐標(biāo)為出租率，橫坐標(biāo)為省份名

稱（按照出租率降序排列）；將可視化結(jié)果復(fù)制粘貼至對(duì)應(yīng)報(bào)

告中。

任務(wù)四：玫瑰餅圖呈現(xiàn)各地區(qū)高端場所占比

高端住宿場所的數(shù)量，能夠從一個(gè)側(cè)面反映當(dāng)?shù)氐慕?jīng)濟(jì)水平，據(jù)

國家旅游和文化部統(tǒng)計(jì)境內(nèi)31個(gè)省市（不含港澳臺(tái)）共有860家五

星級(jí)住宿場所，但分布很不均衡，其中東部沿海所占有的五星級(jí)數(shù)量,

接近了全國一半。請你根據(jù)題目要求統(tǒng)計(jì)各地區(qū)的高端住宿場所數(shù)量

及各地區(qū)高端住宿場所占全國所有高端住宿的比例。請按題目要求，

輸出相關(guān)圖例。

詳細(xì)描述：

1）數(shù)據(jù)庫中相關(guān)表已保存了各地區(qū)的高端住宿場所信息；

2）要求統(tǒng)計(jì)以下指定地區(qū)住宿場所相關(guān)信息，指定地區(qū)包括：東

北、華北、華東、華中、西北、西南、華南；

3）指定地區(qū)省份映射表，如表1。

表1：地區(qū)省份映射表

地區(qū)省份

華東地區(qū)山東、江蘇、安徽、浙江、江西、福建、上海

華南地區(qū)廣東、廣西、海南

華中地區(qū)湖北、湖南、河南

華北地區(qū)北京、天津、河北、山西、內(nèi)蒙古

西北地區(qū)寧夏、新疆、青海、陜西、甘肅

西南地區(qū)四川、云南、貴州、西藏、重慶

東北地區(qū)遼寧、吉林、黑龍江

具體任務(wù)要求：

1）根據(jù)表格相關(guān)字段分別統(tǒng)計(jì)各地區(qū)高端住宿場所（五星級(jí)）的

數(shù)量，以及各地區(qū)高端住宿場所占全國住宿場所總量的比例，

并按“高端住宿場所”降序進(jìn)行排列；

打印語句格式如下：

==1.地區(qū)：***,高端住宿場所數(shù)量：***,所占比例：***===

==2.地區(qū)：***,高端住宿場所數(shù)量：***,所占比例：***===

2）使用Flask框架，結(jié)合Echarts根據(jù)各地區(qū)高端場所數(shù)量占全

國總量比例繪制玫瑰圖，標(biāo)題為“各地區(qū)高端場所數(shù)量所占比

例”（字體要求：紅色、加粗、斜體），并標(biāo)識(shí)各分類占比，輸

出玫瑰餅圖，將可視化結(jié)果截圖并保存。

任務(wù)五：條形統(tǒng)計(jì)圖呈現(xiàn)各省直銷拒單率

企業(yè)消費(fèi)平臺(tái)是住宿場所營銷的主要途徑之一，不僅降低銷售成

本，同時(shí)也提高了顧客體驗(yàn)滿意度。當(dāng)顧客通過企業(yè)消費(fèi)平臺(tái)進(jìn)行住

宿場所預(yù)訂時(shí)，住宿場所就擁有了用戶的相關(guān)數(shù)據(jù)。通過這些數(shù)據(jù)，

能夠更好地收集用戶需求，從而可以提供更有針對(duì)性和個(gè)性化的服務(wù),

最終能夠產(chǎn)生更多的忠誠會(huì)員并帶來更多訂單。但企業(yè)消費(fèi)平臺(tái)銷售

也存在用戶拒單等情況，拒單原因有很多：例如，平臺(tái)信息不同步，

信息更新不及時(shí)；分銷層次過多，導(dǎo)致無法及時(shí)查證訂單；住宿場所

違反企業(yè)消費(fèi)規(guī)則擅自以低價(jià)讓客戶取消訂單，這種情況又叫做“切

單”。企業(yè)消費(fèi)平臺(tái)需要統(tǒng)計(jì)用戶訂單的分布情況，以此發(fā)現(xiàn)平臺(tái)缺

陷及用戶、商家的行為模式，企業(yè)消費(fèi)平臺(tái)據(jù)此調(diào)整營銷策略。根據(jù)

現(xiàn)有數(shù)據(jù)統(tǒng)計(jì)訂單數(shù)據(jù)，并以指定圖例進(jìn)行呈現(xiàn)。

詳細(xì)描述：

請根據(jù)數(shù)據(jù)庫中相關(guān)數(shù)據(jù)集中統(tǒng)計(jì)各省直銷拒單率，以直銷拒單

率降序排列，并繪制條形統(tǒng)計(jì)圖。

具體任務(wù)要求：

1）根據(jù)表格相關(guān)字段分別統(tǒng)計(jì)各省份的直銷拒單率（保留6位小

數(shù)），在控制臺(tái)按照“直銷拒單率”降序排列，打印輸出各省

名稱以及直銷拒單率；

打印語句格式如下：

==1.***省，直銷拒單率為***===

==2.***省，直銷拒單率為***===

2）使用Flask框架,結(jié)合Echarts繪制直銷拒單率最高的5個(gè)省

份條形圖，主標(biāo)題為“直銷拒單率最高的5個(gè)省份”（字體要

求：紅色、加粗、斜體），縱坐標(biāo)為省份名稱，橫坐標(biāo)直銷拒

單率；輸出條形圖，將可視化結(jié)果截圖并保存。

任務(wù)六：多線雷達(dá)圖呈現(xiàn)各省份住宿場所綜合情況

企業(yè)消費(fèi)平臺(tái)需要綜合評(píng)判一個(gè)城市住宿場所運(yùn)營情況，會(huì)涉及

到多方面住宿場所數(shù)據(jù)，例如像高端住宿場所數(shù)量、訂單數(shù)量、住客

評(píng)分、評(píng)論數(shù)量、出租率、200元/晚以下快捷住宿場所數(shù)量等信息，

請根據(jù)指定表中數(shù)據(jù)統(tǒng)計(jì)相關(guān)數(shù)據(jù)，并以指定圖例進(jìn)行呈現(xiàn)。

詳細(xì)描述：

請根據(jù)數(shù)據(jù)庫中相關(guān)表格，統(tǒng)計(jì)各城市住宿場所綜合運(yùn)營情況，

并以多線雷達(dá)圖表達(dá)。

具體任務(wù)要求：

1）根據(jù)數(shù)據(jù)庫中相關(guān)表格分別統(tǒng)計(jì)北京、上海、廣東、四川、海

南各地平均評(píng)分、評(píng)論數(shù)、各省住宿場所出租率、直銷拒單率，

在控制臺(tái)按照“省份”名稱升序排列，打印輸出各城市住宿場

所的多項(xiàng)運(yùn)營指標(biāo)；

打印語句格式如下：

==省份：A,平均評(píng)分為：***===

==省份：A,評(píng)論數(shù)：***===

==省份：A,平均評(píng)分為：***===

==省份：A,評(píng)論數(shù)：***===

2）使用Flask框架，結(jié)合Echarts繪制多線雷達(dá)圖，標(biāo)題為各省

份住宿場所綜合情況（字體要求：紅色、加粗、斜體）；輸出

多線雷達(dá)圖，將可視化結(jié)果復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

模塊E：綜合分析（20分）

假定你為企業(yè)消費(fèi)平臺(tái)平臺(tái)的管理者，在綜合理解住宿場所業(yè)務(wù)

數(shù)據(jù)的基礎(chǔ)上，通過以上模塊A、B、C、D的相關(guān)結(jié)論，對(duì)未來拓展

合作住宿場所方向做出預(yù)測，根據(jù)題目要求進(jìn)行分析，并編寫輸出分

析報(bào)告。

根據(jù)上述任務(wù)中的結(jié)論，分析以下內(nèi)容，并編寫分析報(bào)告。從住

宿場所分布維度，結(jié)合多省份住宿場所綜合運(yùn)營情況，對(duì)企業(yè)消費(fèi)平

臺(tái)未來拓展合作住宿場所的方向提出建議。

分析報(bào)告要求：

任務(wù)一：通過數(shù)據(jù)及圖示分析指定省市運(yùn)營情況

結(jié)合平臺(tái)相關(guān)數(shù)據(jù)文件，根據(jù)北京、上海、四川、廣東、海南各

省份的直銷拒單率和出租率的條形圖，說明幾個(gè)省份住宿場所的綜合

運(yùn)營情況。分別以文字描述和圖例進(jìn)行說明；

任務(wù)二：對(duì)通過圖示和計(jì)算業(yè)務(wù)分析原因

結(jié)合模塊D數(shù)據(jù)可視化中對(duì)各省不同級(jí)別住宿場所的占比分析，

說明企業(yè)消費(fèi)平臺(tái)在向客戶進(jìn)行推薦時(shí)可以采取哪些策略，以提高平

臺(tái)中住宿場所的訂單量。分別以文字描述和圖例進(jìn)行說明；

任務(wù)三：對(duì)企業(yè)消費(fèi)平臺(tái)在增強(qiáng)用戶黏性方面提出建議

結(jié)合以上分析內(nèi)容，請對(duì)企業(yè)消費(fèi)平臺(tái)在增強(qiáng)用戶黏性方面提出

建議（不少于3條建議），請?jiān)趫?bào)告中進(jìn)行說明。

附錄：補(bǔ)充說明

一、json數(shù)據(jù)格式樣例

{"name"："南京國美家庭旅社公寓南林店","detail"：{"SEQ"：

"nanjing」O16","國家"："中國"，"省份"："江蘇"，"城市"："南京"，"處于

商圈"："鎖金村地區(qū)玄武湖地區(qū)中山陵景區(qū)"，"是否為客棧"：0,"住宿場所星

級(jí)"："二星及其他"，"業(yè)務(wù)部門"："低星"，"剩余房間"：8,"圖片數(shù)"：0,"住

宿場所評(píng)分"："1","用戶點(diǎn)評(píng)數(shù)"：1,"城市平均實(shí)住間夜"："51.701686747","

住宿場所總訂單“：0,”住宿場所總間夜":0,"住宿場所實(shí)住訂單"：0,"住宿場

所實(shí)住間夜"：0,"住宿場所直銷訂單"：0,"住宿場所直銷間夜"：0,"住宿場

所直銷實(shí)住訂單"：0,"住宿場所直銷實(shí)住間夜"：0,"住宿場所直銷拒單"：0,"

住宿場所直銷拒單率"：null,"城市直銷拒單率"："0.0282838180927","拒單率

是否小于等于直銷城市均值"：0,"最低房間價(jià)格"："306"}}

二、fastjsonT.2.41.jar常用API(java)

1、實(shí)例化

JSONObject()；

2、JSON解析包

com.alibaba.fastjson.JSON；

com.alibaba.fastjson.JSONObject；

com.alibaba.fastjson.JSONArray；

com.alibaba.fastjson.JSONException；

3、常用API方法：

1)publicstaticfinalObjectparse(Stringtext)；//把JSON文本

parse為JSONObject或者JSONArray

2)publicstaticfinalJSONObjectparseObject(Stringtext)；//把

JSON文本parse成JSONObject

3)publicstaticfinalTparseObject(Stringtext,Classclazz)；//

把JSON文本parse為JavaBean

4)publicstaticfinalJSONArrayparseArray(Stringtext)；〃把

JSON文本parse成JSONArray

5)publicstaticfinalListparseArray(Stringtext,Classclazz)；

〃把JSON文本parse成JavaBean集合

6)publicstaticfinalStringtoJSONString(Objectobject)；//將

JavaBean序列化為JSON文本

7)publicstaticfinalStringtoJSONString(Objectobject,boolean

prettyFormat)；//將JavaBean序列化為帶格式的JSON文本

8)publicstaticfinalObjecttoJSONCObjectjavaObject)；將JavaBean

轉(zhuǎn)換為JSONObject或者JSONArrayo

三、fastjsonT.2.41.jar常用API[Spark(scala)]

1、json解析包

com.alibaba.fastjson.JSON

2、常用API

1)實(shí)例化：

JSON.parseObject(x)

2)默認(rèn)值：如果該key沒有值默認(rèn)為null：

jsonObject.getOrDefault(key,默認(rèn)值)

jsonObject.getOrDefault("name",

3)獲取該key的value值

jsonObject.get(json的key)

jsonObject.get(“name")

4)判斷key是否存在

jsonObject.containsKey(key)

5)添加kv鍵值對(duì)

jsonObject.put(key,value)

四、控制臺(tái)輸出運(yùn)行日志樣例

111INFOhandler.CcmlextI

19(M>,0308:04:21IXFOhandler.ContvxtHiUKilvr:Stoppedo.sJ.??.Son'letContextHandler#J0fde30a1「'.null.UNAVAILABLE)

19060308:01:21INFOhandler.ContcxtHandlcr:Stoppedas..i.i.Scn'lctContcxillandlcrf33836-Wcstatic,null,UNAVAILABLE)

-(t0308:04:21INFOhtindler.ContextlluxiIt-r：Sloppedasj.s.ServletContextllandieri533377b(/)vxecutors/threHdDunp,Json,nu】UNAVAILABLE)

0308:0-1:21INFOhandler.ContcxtHandlcr:Steppedas.j.s.Sen'lclCantcxt}landlcr0119a20a6executors'thrcadDunp,null.INAVA1LABLE!

0306:04:2!INFOJwtfxIlcr.ContcxtUandler:Stoppedo.s.j.s.ScrvlclContcxUlundlcr<67389cb8：.executors-json,null.INAVAIMBI.E,

(X.0/08:01:21INFOhandler.GxitextHindier:Stoppedas.j.s,ScrvICon【<n!Handlcrt63"“6596executors,null.I^AVAIIABUi

T0308:04:21INEOhandler.Contcxtllandlcr:Stopped0.3.j.s.ScnlctContcxtllandlcr12c7dl21cenvironnent/json,null,UNAVAILABLE:

,'I?03OH;O4;2IIXFOhandler.Contexllbind1cr:Sloppedo.1j.s.ServletC<xitcxtHHndlcrf34625ccd(i/environnent,nulI.II^AVAILABI.E：

!,?<<0308:04:21INFOhandler.CocitextHiindler:StoppedO.Sj.s.SenletContextHandIer#7e3f95fe：sloraxe.rdd/json.null,UNAVAILABLE)

：''?，0308:04:21INFOIvindlcr.ConlcxlIl.itKlIcr:Sl(x>pcdo.sj.s.Ser\'lelContcxtlUndl<!rt24bdb479；i/sloraxe/rdd.null.lNAVAlLABI.E'

1170308:04:21INFOhandler.ContextH.wxilvr:o,$j.s.ServIeiContextHnndier*427b5f92(storageison.null,SAVAIIABLE

「㈠0308:04:21INFOhandler.ContextHandlcr:Stopped0.sj.s.ServletContextllandlcr#ld(Lie9b5：.stornge.nulI.UNAVAILABLE^

0308:04:21ISFOIwndlor.ContextIhiKlIvr:St,ipedO.sj.s.Sen'letC<x)tcxtll?indler€42f3156d：/stages/pool/json,null,UNAVAILABLE}

■>'S308:04:21IXFOhandler.ConlcxlHiindier：Stopped0.$J.s.Servlet.ContextHandiertld7f7be71'./slagespool.nulI.UNAVAIMBl.E

I'J(H>0308:04:21INFOhandler.QjntexdLindler:Stoppedo.sj.s.ServletContextlhndlerfSS60f3d7!'stages/stage/json.null.UXAVAILABLEI

19(H，0.'.08:04:21INFOhandler.CantextHandlcr:St/)pedo.s.j.s.ServleiContextlhMdli'rt6a66a20l:stHgesstage,null,IAAVAHABLE

,11t0308:04:21INFOhandler.ContcxtHandler：StoppedO.5j.$.Scn'ietContcxtllandlcr#lle3760b/stagesjson,null.LNAVA1LWLE

?'I't0308:04:21IM,Oh/uxilcr.CantextHandier:StoppedQ.5,j.s.ServletCentextHandiedMe5171651/stupes,null,I'XAVAll-ABll!

（!0308:04:21INFOhandler.CwitoxtHaxMiier:Stopped0.sj.s.S.rv1ct(：??ntextHand1cr?2cb3d0f7[/jso-b*-s/job/Js-o--n---,--n--u"ll.l'N'vA"YA*ILABLE

g”W，08:04:21l、F0handler.Contcxtllandlcr:Stopped0.sj.s.Sen-1ctContcxtlliindlcrt2cl01774;iobs.job,nulUNAVAILABLE

19/06/0308:0-1:21IXFOhandler.Conlexdbtndier:Stoppedo.s.j.s.ServltftCijntfXtlUuidlcrtGfOcaGQS/jobs/json.nulI,UNAVAIUKI}

1??.IM0hiindlcr.ContextlLMMflcr:s.ScrvlctContcxiHandlcr*4ba53ibO/Jobs,null.lNAYAILABLE]

五、方差、均方根差的定義

1、方差MSE：概率論中方差用來度量隨機(jī)變量和其數(shù)學(xué)期望（即均值）之間的

偏離程度。統(tǒng)計(jì)中的方差（樣本方差）是每個(gè)樣本值與全體樣本值的平均數(shù)

之差的平方值的平均數(shù)。

2、均方根差RMSE：均方根誤差，是觀測值與真值偏差的平方和觀測次數(shù)n比值

的平方根。RMSE是計(jì)算觀測值與其真值，或者觀測值與其模擬值之間的偏差。

六、間夜定義

間夜又稱間夜數(shù)，是住宿場所在某個(gè)時(shí)間段內(nèi)，房間出租率的計(jì)算單位。例

如20間房入住2晚，為40間夜數(shù)。

七、出租率計(jì)算公式

出租率=當(dāng)月發(fā)生的總間夜數(shù)/當(dāng)月所能提供的總房間數(shù)

八、線性回歸預(yù)測數(shù)據(jù)源data_accommodation_mult.csv

字段名

SEQ、省份、城市、商圈、是否為客棧、星級(jí)、房間數(shù)、評(píng)論數(shù)、平均評(píng)分

數(shù)、城市平均間夜、住宿場所總訂單、住宿場所總間夜、住宿場所實(shí)住訂單、住

宿場所實(shí)住間夜、住宿場所直銷訂單、住宿場所直銷實(shí)住訂單、住宿場所直銷間

夜、住宿場所直銷實(shí)住間夜、城市直銷拒單、城市直銷拒單率、住宿場所企業(yè)消

費(fèi)平臺(tái)實(shí)住訂單

九、數(shù)據(jù)可視化表字段說明

表radar_lines

province省份

accommodation_num住宿場所數(shù)

avg_score平均分

comment_num評(píng)論數(shù)

lease_rate出租率

direno_rate直銷率

表platform_rate

accommodationname住宿場所名稱

provice省份