2021高職 大數(shù)據(jù)技術(shù)與應(yīng)用 任務(wù)書6（賽項(xiàng)賽題）

2021年全國職業(yè)院校技能大賽

高職組

“大數(shù)據(jù)技術(shù)與應(yīng)用”

賽項(xiàng)賽卷（GZ-xxxxxxx-X卷）

任

務(wù)

書

參賽隊(duì)編號：

背景描述

企業(yè)消費(fèi)服務(wù)平臺，為大中小型企業(yè)提供基于云化的消費(fèi)場景一

站式智能消費(fèi)、智能管控，幫助企業(yè)獲得更高效、簡單、美好的消費(fèi)

管理。從“費(fèi)控+支付”出發(fā)，到覆蓋全場景支出的創(chuàng)新模式，讓員

工在數(shù)字化平臺上直接完成所有消費(fèi)，從員工下單、到財(cái)務(wù)入賬，全

流程實(shí)現(xiàn)自動化統(tǒng)一結(jié)算、統(tǒng)一數(shù)據(jù)分析。解決傳統(tǒng)差旅系統(tǒng)面臨的

場景覆蓋不全、員工體驗(yàn)差、消費(fèi)體驗(yàn)割裂等情況，真正做成一套讓

企業(yè)節(jié)省支出，讓員工滿意的差旅平臺。

企業(yè)消賽服務(wù)平臺的出現(xiàn)將原來傳統(tǒng)的差旅行程放到網(wǎng)絡(luò)平臺

上，更廣泛的傳遞差旅信息，互動式的交流更方便客人的咨詢和訂購，

越來越多的人在出行的時候使用企業(yè)消費(fèi)服務(wù)平臺預(yù)訂機(jī)票、火車票、

住宿等，使得更多的商家愿意與企業(yè)消費(fèi)服務(wù)平臺建立合作，提升住

宿場所的營業(yè)額，這也為企業(yè)消費(fèi)服務(wù)平臺的發(fā)展帶來新的機(jī)遇，為

了抓住這個機(jī)會，“企業(yè)消費(fèi)服務(wù)平臺”需要從地域、訂單來源等多

種維度進(jìn)行分析，明確未來重點(diǎn)拓展合作商家的方向。公司要求多個

小組進(jìn)行分析，并提出相應(yīng)建議，你所在的小組也在其中，需要通過

數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)分析和數(shù)據(jù)可視化獲得相關(guān)論據(jù)，提出未

來重點(diǎn)拓展合作住宿場所的方向。

你們作為該小組的技術(shù)人員，是這次技術(shù)方案的核心成員，請按

照下面步驟完成本次技術(shù)展示任務(wù)，并提交分析報告，祝你們成功！??！

模塊A：Hadoop平臺及組件的部署管理（15分）

環(huán)境要求:

編號主機(jī)名類型用戶密碼

1master主節(jié)點(diǎn)rootpasswd

2slavel從節(jié)點(diǎn)rootpasswd

3slave2從節(jié)點(diǎn)rootpasswd

相關(guān)軟件安裝包在/chinaskills目錄下

任務(wù)一：Hadoop全分布部署管理

本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，安裝Hadoop需要配置

前置環(huán)境，具體部署要求如下：

1、解壓JDK安裝包到“/usr/local/src”路徑,并配置環(huán)境變量,

將命令（使用絕對路徑）及環(huán)境變量內(nèi)容復(fù)制粘貼至對應(yīng)報告中；

2、從master復(fù)制JDK環(huán)境變量文件到slavel、slave2節(jié)點(diǎn)，將命

令（命令中使用絕對路徑）復(fù)制粘貼至對應(yīng)報告中；

3、環(huán)境中已創(chuàng)建ssh密鑰，實(shí)現(xiàn)主節(jié)點(diǎn)與從節(jié)點(diǎn)的無密碼登錄；截

取主節(jié)點(diǎn)登錄其中一個從節(jié)點(diǎn)的結(jié)果，將命令和結(jié)果復(fù)制粘貼至

對應(yīng)報告中；

4、將/chinaskills下的Hadoop包解壓到/usr/local/src,不修改

解壓后文件夾名稱，配置Hadoop全局環(huán)境變量，并使環(huán)境變量只

對當(dāng)前root用戶生效，將命令（使用絕對路徑）及環(huán)境變量內(nèi)容

復(fù)制粘貼至對應(yīng)報告中；

5、根據(jù)要求修改Hadoop相關(guān)文件（hadoop-env.sh、core-site,xml、

HDFS-site.xml>mapred-site.xml,yarn-site,xml）,并初始化

Hadoop,將初始化結(jié)果內(nèi)容復(fù)制粘貼至對應(yīng)報告中；

6、啟動Hadoop,使用相關(guān)命令查看所有節(jié)點(diǎn)Hadoop進(jìn)程，并將結(jié)

果內(nèi)容復(fù)制粘貼至對應(yīng)報告中。

任務(wù)二：Zookeeper集群部署管理

1、解壓Zookeeper安裝包到“/usr/local/src”路徑,并修改解壓

后文件夾名為zookeeper,將命令復(fù)制粘貼至對應(yīng)報告中；

2、設(shè)置Zookeeper環(huán)境變量，并使環(huán)境變量只對當(dāng)前用戶生效，將

命令（使用絕對路徑）及環(huán)境變量內(nèi)容復(fù)制粘貼至對應(yīng)報告中；

3、配置“zoo.cfg”文件，并將修改的內(nèi)容復(fù)制粘貼至對應(yīng)報告中;

4、修改myid文件，并將修改的內(nèi)容復(fù)制粘貼至對應(yīng)報告中；

5、啟動每個虛擬機(jī)上面的Zookeeper節(jié)點(diǎn)，啟動完成之后查看每個

節(jié)點(diǎn)的狀態(tài)，并將Zookeeper運(yùn)行狀態(tài)結(jié)果復(fù)制粘貼至對應(yīng)報告

中。

任務(wù)三：Kafka組件部署管理

本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，已安裝Hadoop及需要

配置前置環(huán)境，具體部署要求如下：

1、將Zookeeper配置完畢后，在各節(jié)點(diǎn)啟動Zookeeper,查看

Zookeeper狀態(tài)，并將命令和Zookeeper運(yùn)行狀態(tài)結(jié)果復(fù)制粘貼

至對應(yīng)報告中；

2、修改Kafkaserver.properties文件，并將修改的內(nèi)容復(fù)制粘貼至

對應(yīng)報告中；

3、啟動Kafka,并將Kafka啟動命令和輸出結(jié)果前10行復(fù)制粘貼至

報告中。

模塊B：數(shù)據(jù)采集與處理（20分）

1、網(wǎng)站解析，利用Chrome查看網(wǎng)頁源碼，分析企業(yè)消費(fèi)平臺網(wǎng)站網(wǎng)

頁結(jié)構(gòu)。

1）打開企業(yè)消費(fèi)平臺網(wǎng)站，在網(wǎng)頁中右鍵點(diǎn)擊檢查，或者F12

快捷鍵，查看元素頁面；

2）檢查網(wǎng)站：瀏覽網(wǎng)站源碼查看所需內(nèi)容。

2、從企業(yè)消費(fèi)平臺網(wǎng)站中爬取需要數(shù)據(jù)，按照要求使用Python語言

編寫爬蟲代碼，爬取指定數(shù)據(jù)項(xiàng)，并對結(jié)果數(shù)據(jù)集進(jìn)行數(shù)據(jù)探索、

以及必要的數(shù)據(jù)處理操作。請將符合題目要求的代碼答案復(fù)制粘

貼至對應(yīng)報告中。

具體步驟如下：

1）創(chuàng)建爬蟲項(xiàng)目

2）構(gòu)建爬蟲請求

3）按要求定義相關(guān)字段

4）獲取有效數(shù)據(jù)

5）將爬取到的數(shù)據(jù)保存到指定位置

至此已從企業(yè)消費(fèi)平臺網(wǎng)站中爬取了所需數(shù)據(jù)，下一步我們要將

爬取結(jié)果進(jìn)一步進(jìn)行相關(guān)數(shù)據(jù)操作。

詳細(xì)數(shù)據(jù)描述：

1）請創(chuàng)建Scrapy項(xiàng)目chinaskills_accommodation（C：\

chinaskillsaccommodation）,從網(wǎng)站（網(wǎng)站地址在競賽

平臺模塊B中給出）中爬取頁面相關(guān)字段（包括name,seq,業(yè)

務(wù)部門，住宿場所總訂單，住宿場所總間夜，住宿場所星級,

住宿場所直銷實(shí)住訂單，住宿場所直銷實(shí)住間夜）；將抓取

結(jié)果保存為json格式文件，并命名為accommodations.jsono

每條信息請以Key：Value格式單獨(dú)保存為一行數(shù)據(jù)。

例如：

{“name"："***”，"seq"："***"，…….）

任務(wù)中要求將“以下內(nèi)容及答案完整復(fù)制粘貼至對應(yīng)報告

中。“，粘貼到對應(yīng)報告中的內(nèi)容舉例如下：

“中國”網(wǎng)頁源碼對應(yīng)字段為：Country

“四川”網(wǎng)頁源碼對應(yīng)字段為:Province

2）爬取數(shù)據(jù)量不少于28萬條。

具體任務(wù)要求：

任務(wù)一：網(wǎng)頁源碼對應(yīng)字段

使用Chrome瀏覽器，查找網(wǎng)站異步請求的數(shù)據(jù)，并將以下內(nèi)容及

答案完整復(fù)制粘貼至對應(yīng)報告中。

“城市平均實(shí)住間夜”網(wǎng)頁源碼對應(yīng)字段為：

“房間數(shù)”網(wǎng)頁源碼對應(yīng)字段為：

“城市直銷拒單率”網(wǎng)頁源碼對應(yīng)字段為：

“處于商圈”網(wǎng)頁源碼對應(yīng)字段為：

任務(wù)二：創(chuàng)建Scrapy工程

自行創(chuàng)建Scrapy工程編寫爬蟲代碼，爬取"name、seq、業(yè)務(wù)部

門有效數(shù)據(jù)項(xiàng)包括：業(yè)務(wù)部門，房間數(shù)，國家，圖片數(shù)，城市，城市平均

實(shí)住間夜，城市直銷拒單率，處于商圈”頁面相關(guān)數(shù)據(jù)，通過爬蟲代碼

分頁爬取，以合理的程序邏輯判斷相關(guān)數(shù)據(jù)包含的頁數(shù)并將程序代碼

復(fù)制粘貼至對應(yīng)報告中。

任務(wù)三：在MySQL中創(chuàng)建數(shù)據(jù)庫表

根據(jù)爬取字段，在MySQL中創(chuàng)建crawl數(shù)據(jù)庫，在該數(shù)據(jù)庫中創(chuàng)

建accommodations1表（包含name,seq,業(yè)務(wù)部門，住宿場所總訂單，

住宿場所總間夜），創(chuàng)建accommodations2表（包含name,seq,業(yè)務(wù)

部門，住宿場所星級，住宿場所直銷實(shí)住訂單，住宿場所直銷實(shí)住間夜）

并查看表結(jié)構(gòu)，將查看結(jié)果（含字段總行數(shù)）復(fù)制粘貼至對應(yīng)報告中。

任務(wù)四：對數(shù)據(jù)庫表排序

爬蟲程序運(yùn)行結(jié)束后查看MySQL數(shù)據(jù)庫accommodations2表，按

seq字段倒序排序，返回前100行數(shù)據(jù)，將命令與查看結(jié)果復(fù)制粘貼

至對應(yīng)報告中。

任務(wù)五：對數(shù)據(jù)表填充處理

1、請根據(jù)步驟3中accommodations2表中的數(shù)據(jù)，對數(shù)據(jù)集中“住

宿場所直銷實(shí)住間夜”字段的缺失值，使用平均值進(jìn)行填充。查

看填充后的數(shù)據(jù)集前15條記錄，將查看結(jié)果復(fù)制粘貼至對應(yīng)報告

中。

2、請根據(jù)步驟3中accommodations?表中的數(shù)據(jù)，對數(shù)據(jù)集中存在

空值的記錄進(jìn)行刪除。查看刪除后的數(shù)據(jù)集條數(shù)，將查看結(jié)果復(fù)

制粘貼至對應(yīng)報告中。

accominodations2表刪除后條數(shù)為：

模塊C：數(shù)據(jù)清洗與挖掘分析（25分）

現(xiàn)已從相關(guān)網(wǎng)站及平臺獲取到原始數(shù)據(jù)集，為保障用戶隱私和行

業(yè)敏感信息，已進(jìn)行數(shù)據(jù)脫敏。數(shù)據(jù)脫敏是指對某些敏感信息通過脫

敏規(guī)則進(jìn)行數(shù)據(jù)的變形，實(shí)現(xiàn)敏感隱私數(shù)據(jù)的可靠保護(hù)。在涉及客戶

安全數(shù)據(jù)或者一些商業(yè)性敏感數(shù)據(jù)的情況、不違反系統(tǒng)規(guī)則條件下,

對真實(shí)數(shù)據(jù)進(jìn)行改造并提供測試使用，如身份證號、手機(jī)號等個人信

息都需要進(jìn)行數(shù)據(jù)脫敏。

相關(guān)數(shù)據(jù)文件中已經(jīng)包含了數(shù)據(jù)采集階段從企業(yè)消費(fèi)平臺網(wǎng)站

上爬取的數(shù)據(jù)集，其中包含了來自不同城市的多家住宿場所的銷售信

息，你的小組需要通過編寫代碼或腳本完成對相關(guān)數(shù)據(jù)文件中住宿場

所銷售管理數(shù)據(jù)的清洗和整理，并完成數(shù)據(jù)計(jì)算和分析任務(wù)。綜合利

用MapReduce、Spark,Storm,分布式存儲系統(tǒng)、數(shù)據(jù)倉庫Hive、數(shù)

據(jù)推送工具等技術(shù)，使用Java、Python、Scala等開發(fā)語言，完成本

階段數(shù)據(jù)清洗、處理、分析及數(shù)據(jù)挖掘等任務(wù)。通過多個維度分析住

宿場所的銷售信息，并以此評價住宿場所銷售業(yè)績、區(qū)域的游客接納

能力、接納質(zhì)量等指標(biāo)。

初始數(shù)據(jù)集來自多個網(wǎng)站及平臺系統(tǒng)，且為多次采集匯總結(jié)果，

因此數(shù)據(jù)集中不可避免地存在一些臟數(shù)據(jù)，即源數(shù)據(jù)不在給定的范圍

內(nèi)或?qū)τ趯?shí)際業(yè)務(wù)毫無意義，或是數(shù)據(jù)格式非法，以及在源系統(tǒng)中存

在不規(guī)范的編碼和含糊的業(yè)務(wù)邏輯。

請分析相關(guān)數(shù)據(jù)集，根據(jù)題目規(guī)定要求實(shí)現(xiàn)數(shù)據(jù)清洗及分析。

任務(wù)一：數(shù)據(jù)清洗

住宿場所銷售數(shù)據(jù)涉及到多個平臺及數(shù)據(jù)庫對接，個別信息由于

人為操作失誤或計(jì)算機(jī)故障等原因產(chǎn)生了數(shù)據(jù)缺失值。缺失值是一種

常見的臟數(shù)據(jù)情況，由于粗糙數(shù)據(jù)中缺少信息而造成的數(shù)據(jù)缺失或截

斷。現(xiàn)有數(shù)據(jù)集中某個或某些屬性的值是不完全的。對于缺失值的處

理，從總體上來說分為缺失值刪除和缺失值插補(bǔ)。當(dāng)缺失值過多時,

信息條目本身的價值也會隨之降低，此時如果對缺失值進(jìn)行填補(bǔ)則將

產(chǎn)生結(jié)果的人為干預(yù)。結(jié)合行業(yè)數(shù)據(jù)本身特點(diǎn)及上述考慮，請你根據(jù)

題目具體參數(shù)要求實(shí)現(xiàn)以下功能：將缺失值大于n個的數(shù)據(jù)條目從原

始數(shù)據(jù)集中剔除，并輸出剔除的條目數(shù)量。

詳細(xì)描述：

數(shù)據(jù)源文件存放于/chinaskills/accommodationdata.csv,請編

寫MapReduce程序，按照如下要求實(shí)現(xiàn)對數(shù)據(jù)的清洗，并將結(jié)果輸出

至HDFS文件系統(tǒng)中/accommodation_outputl：

1）解析該文件；

2）按照題目要求剔除缺失數(shù)據(jù)信息（n=3）,并以打印語句輸出刪

除條目數(shù)；

3）程序打包并在Hadoop平臺運(yùn)行，結(jié)果輸出至HDFS文件系統(tǒng)中

/accommodationoutput10

具體任務(wù)要求:

1、將accommodationdata,csv文件上傳至HDFS新建目錄/file3_l

中；運(yùn)行代碼，刪除數(shù)據(jù)源中缺失值大于3個字段的數(shù)據(jù)記錄，

打印輸出刪除條目數(shù)，將運(yùn)行結(jié)果復(fù)制粘貼至對應(yīng)報告中；

2、查看清洗后輸出的結(jié)果文件總行數(shù)（/accommodation_outputl）,

將運(yùn)行結(jié)果復(fù)制粘貼至對應(yīng)報告中。

對于數(shù)據(jù)集字段缺失情況，通常可以采用填充默認(rèn)值、均值、眾

數(shù)、KNN填充、以及把缺失值作為新的label等方式處理。同時，不

當(dāng)?shù)奶畛淇赡軙詈罄m(xù)的分析結(jié)果出現(xiàn)導(dǎo)向性偏差，當(dāng)缺失信息較少

時可采用刪除的方式來進(jìn)行處理。下面請根據(jù)題目具體參數(shù)要求處理

關(guān)鍵字段缺失，復(fù)制粘貼至對應(yīng)報告中結(jié)果。

詳細(xì)描述：

數(shù)據(jù)源使用HDFS文件系統(tǒng)中的accommodationdata.csv,請編

寫MapReduce程序，按照如下要求實(shí)現(xiàn)對數(shù)據(jù)的清洗，并將結(jié)果輸出

至HDFS文件系統(tǒng)中/accommodation_output2：

1）解析該文件；

2）將任意關(guān)鍵字段為空的條目剔除，關(guān)鍵字段定義為｛星級、評

論數(shù)、評分｝,并以打印語句輸出刪除條目數(shù)；

3）程序打包并在Hadoop平臺運(yùn)行，結(jié)果輸出至HDFS文件系統(tǒng)中

/accommodation_output2。

具體任務(wù)要求：

3、運(yùn)行代碼，將字段｛星級、評論數(shù)、評分｝中任意字段為空的數(shù)據(jù)

刪除，并打印輸出刪除條目數(shù)，將運(yùn)行結(jié)果復(fù)制粘貼至對應(yīng)報告

中；

4、查看清洗后輸出的結(jié)果文件(accommodationoutput2)總行數(shù)，將

運(yùn)行結(jié)果復(fù)制粘貼至對應(yīng)報告中。

任務(wù)二：數(shù)據(jù)挖掘分析

城市游客接納能力是城市規(guī)劃建設(shè)中的重要指標(biāo)，其中城市的住

宿場所數(shù)量和房間數(shù)量是城市游客接納能力的關(guān)鍵要素。請編寫程序

或腳本根據(jù)住宿場所管理網(wǎng)站中的數(shù)據(jù)統(tǒng)計(jì)各城市的相關(guān)信息，并寫

入指定的數(shù)據(jù)庫或數(shù)據(jù)文件。

詳細(xì)描述：

1)請根據(jù)數(shù)據(jù)清洗的輸出數(shù)據(jù)集，編寫HQL語句統(tǒng)計(jì)各城市的住

宿場所出租率，以各城市住宿場所出租率降序排列并輸出前

10條統(tǒng)計(jì)結(jié)果，同時創(chuàng)建并寫入數(shù)據(jù)表a_4。要求輸出字段包

含：省份、城市、住宿場所出租率。

數(shù)據(jù)定義如下:

數(shù)據(jù)項(xiàng)字段名備注

省份province

城市city

住宿場所出租率lease要求保留6位小數(shù)

數(shù)據(jù)樣式如下:

provincecitylease

貴州貴陽0.123456

具體任務(wù)要求：

1、創(chuàng)建表table3_4,

2、統(tǒng)計(jì)各城市住宿場所出租率，將出租率前10的數(shù)據(jù)降序排列并寫

入數(shù)據(jù)表table3_4中，將命令復(fù)制粘貼至對應(yīng)報告中。

企業(yè)消費(fèi)平臺是住宿場所營銷的主要途徑之一，不僅降低銷售成

本，同時也提高了顧客體驗(yàn)滿意度。當(dāng)顧客通過企業(yè)消費(fèi)平臺進(jìn)行住

宿場所預(yù)訂時，住宿場所就擁有了用戶的相關(guān)數(shù)據(jù)。通過這些數(shù)據(jù)，

能夠更好地收集用戶需求，從而可以提供更有針對性和個性化的服務(wù),

最終能夠產(chǎn)生更多的忠誠會員并帶來更多訂單。但企業(yè)消費(fèi)平臺銷售

也存在用戶拒單等情況，拒單原因有很多：例如，平臺信息不同步，

信息更新不及時；分銷層次過多，導(dǎo)致無法及時查證訂單；住宿場所

違反企業(yè)消費(fèi)規(guī)則擅自以低價讓客戶取消訂單，這種情況又叫做“切

單”。企業(yè)消費(fèi)平臺需要統(tǒng)計(jì)用戶訂單的分布情況，以此發(fā)現(xiàn)平臺缺

陷及用戶、商家的行為模式，企業(yè)消費(fèi)平臺據(jù)此調(diào)整營銷策略。根據(jù)

現(xiàn)有數(shù)據(jù)及給定參數(shù)完成訂單數(shù)據(jù)統(tǒng)計(jì)，并寫入指定的數(shù)據(jù)庫或數(shù)據(jù)

文件，復(fù)制粘貼至對應(yīng)報告中結(jié)果。

詳細(xì)描述：

1）請根據(jù)數(shù)據(jù)清洗的輸出數(shù)據(jù)集，編寫HQL語句統(tǒng)計(jì)各省直銷拒

單率，以直銷拒單率升序排列并輸出前10條統(tǒng)計(jì)結(jié)果，同時

創(chuàng)建并寫入數(shù)據(jù)表table3_5。要求輸出字段包含：省份、直

銷拒單率。

數(shù)據(jù)定義如下:

數(shù)據(jù)項(xiàng)字段名備注

省份province

直銷拒單率norate要求保留6位小數(shù)

數(shù)據(jù)樣式如下：

provincenorate

貴州0.123456

具體任務(wù)要求：

3、創(chuàng)建表table3_5,將命令復(fù)制粘貼至對應(yīng)報告中；

4、統(tǒng)計(jì)各省拒單率，將統(tǒng)計(jì)的拒單率升序排列并將前10條統(tǒng)計(jì)結(jié)果

寫入數(shù)據(jù)表table35中，將命令復(fù)制粘貼至對應(yīng)報告中。

模塊D：數(shù)據(jù)可視化（20分）

MySQL數(shù)據(jù)庫中的相關(guān)數(shù)據(jù)集包含了城市、省份、評分、評論數(shù)

等多項(xiàng)基礎(chǔ)信息字段。請使用Flask框架，結(jié)合Echarts完成下列題

目。

數(shù)據(jù)庫賬號：takeout密碼:takeout

自行創(chuàng)建代碼工程路徑為:C：\chinaskills_hotel

每個可視化圖中需要添加圖片作為背景水印。

任務(wù)一：堆疊柱狀圖呈現(xiàn)各省住宿場所數(shù)和訂單信息

在該企業(yè)消費(fèi)平臺上，各地區(qū)的住宿場所銷售數(shù)據(jù)等信息能夠反

映一個地區(qū)商業(yè)活動的密集程度。例如住宿場所總量多的城市大都具

有強(qiáng)烈的吸納外來人員的能力，訂單數(shù)量能夠反映該地區(qū)的有較多的

商業(yè)往來。根據(jù)現(xiàn)有數(shù)據(jù)及給定參數(shù)完成住宿場所銷售數(shù)據(jù)統(tǒng)計(jì)。

詳細(xì)描述：

請根據(jù)數(shù)據(jù)庫中相關(guān)數(shù)據(jù)集中住宿場所數(shù)量、訂單數(shù)量、實(shí)住數(shù)

量等字段統(tǒng)計(jì)各省份的住宿場所數(shù)量和訂單信息，繪制堆疊柱狀圖。

具體任務(wù)要求：

1）提取表格相關(guān)字段，分別統(tǒng)計(jì)各省的住宿場所數(shù)量、總訂單數(shù)

量和實(shí)住訂單數(shù)量，在控制臺按照“住宿場所數(shù)量”降序排列，

打印輸出住宿場所數(shù)量最多的5個省份及其包含的住宿場所

數(shù)量、訂單數(shù)量和實(shí)住數(shù)量；

打印語句格式如下：

==省份：***=住宿場所數(shù)量：**個=訂單數(shù)量：**個=實(shí)住數(shù)量:

**個二二

2）使用Flask框架，結(jié)合Echarts,按照“總訂單數(shù)量”降序排

列，繪制“總訂單數(shù)量”與“實(shí)住訂單數(shù)量”的堆疊柱狀圖。

標(biāo)題為“住宿場所數(shù)量Top5”，橫坐標(biāo)為省份名稱，縱軸分別

表示住宿場所數(shù)量、訂單數(shù)量和實(shí)住數(shù)量

任務(wù)二：多個餅圖呈現(xiàn)各省份不同等級住宿場所占比

企業(yè)消費(fèi)平臺為了更好地發(fā)展企業(yè)業(yè)務(wù)，向企業(yè)客戶推薦符合其

定位的協(xié)議住宿場所，需要分析上題中Top5省份的“三星級/舒適”、

“四星級/高檔”和“五星級/豪華”住宿場所以及“其它類別”住宿

場所（除上述三類外，其余類型住宿場所均歸為“其它類別”）的占

比情況。請根據(jù)指定表中數(shù)據(jù)，以指定圖例進(jìn)行呈現(xiàn)。

詳細(xì)描述：

請根據(jù)數(shù)據(jù)庫中相關(guān)數(shù)據(jù)集中省份、星級等相關(guān)字段統(tǒng)計(jì)各省份

不同等級住宿場所的占比，繪制多個餅圖。

具體任務(wù)要求：

1）根據(jù)表格相關(guān)字段分別統(tǒng)計(jì)上題Top5省份不同星級住宿

場所的占比，打印輸出各省份名稱以及各星級住宿場所的占比

情況；

打印語句格式如下：

==省份：A=舒適型住宿占比：**===

==省份：A=高檔型住宿占比：**===

==省份：A=豪華型住宿占比：**===

==省份：B=舒適型住宿占比：**===

==省份：B=高檔型住宿占比：**===

==省份：B=豪華型住宿占比：**===

2)使用Flask框架，結(jié)合Echarts在組合圖中繪制多個餅圖，

每個省份各星級住宿場所占比情況分別用一個餅圖進(jìn)行呈現(xiàn),

將可視化結(jié)果截圖并保存。

任務(wù)三：柱狀圖呈現(xiàn)城市出租率

出租率是反映住宿場所經(jīng)營狀況的一項(xiàng)重要指標(biāo)，它是已出租的

客房數(shù)與住宿場所可以提供租用的房間總數(shù)的百分比。住宿場所出租

率的情況可以在一定程度上反應(yīng)出該住宿場所的整體運(yùn)營的情況，為

了更好的分析指定住宿場所的入住情況，請根據(jù)相關(guān)表中數(shù)據(jù)完成出

租率分析，通過指定圖例進(jìn)行呈現(xiàn)。

詳細(xì)描述：

請以數(shù)據(jù)庫中相關(guān)表格為數(shù)據(jù)源，分析并統(tǒng)計(jì)各省住宿場所出租

率，使用柱狀圖表達(dá)。

具體任務(wù)要求：

1）提取表格相關(guān)字段，在控制臺按照“各省住宿場所出租率”

降序排列，打印輸出各省名稱及包含的住宿場所數(shù)量以及出

租率；

打印語句格式如下：

==1.***省=住宿場所數(shù)為***個=出租率為：***===

==2.***省=住宿場所數(shù)為***個=出租率為：***===

2）使用Flask框架，結(jié)合Echarts繪制柱狀圖。柱狀圖主標(biāo)題

為“各省住宿場所出租率”（字體要求：紅色、加粗、斜體），

副標(biāo)題為出租率前十的省份；縱坐標(biāo)為出租率，橫坐標(biāo)為省

份名稱（按照出租率降序排列）；將可視化結(jié)果截圖并保存。

任務(wù)四：折線圖呈現(xiàn)連鎖住宿場所出租率

一些全國連鎖的住宿場所品牌通常都具有全國統(tǒng)一的品牌形

象識別系統(tǒng)、全國統(tǒng)一的會員體系和營銷體系、價格相比較很有

優(yōu)勢符合大眾化消費(fèi)。連鎖品牌無論在裝修、服務(wù)還是信譽(yù)上都

有較大的競爭優(yōu)勢，所以連鎖品牌的住宿場所是出差、旅游住宿

的好選擇。但是由于三線城市會員流動差、高素質(zhì)管理人員相對

短缺、營銷環(huán)境與消費(fèi)特點(diǎn)的差異等問題，一些已經(jīng)成熟住宿場

所管理模式在三線城市可能并不受用，甚至?xí)霈F(xiàn)水土不服的現(xiàn)

象。請根據(jù)現(xiàn)有數(shù)據(jù)及給定參數(shù)，統(tǒng)計(jì)指定連鎖住宿場所的經(jīng)營

狀況，并以指定圖例進(jìn)行呈現(xiàn)。

詳細(xì)描述：

1）數(shù)據(jù)庫中相關(guān)表已保存了指定地區(qū)的某連鎖住宿場所的銷售

信息。請根據(jù)地區(qū)劃分，統(tǒng)計(jì)題中某連鎖住宿場所的出租率

（保留6位小數(shù)），并以折線圖呈現(xiàn)；

2）要求統(tǒng)計(jì)以下指定地區(qū)住宿場所相關(guān)信息，指定地區(qū)包括：

東北、華北、華東、華中、西北、西南、華南；

3）指定地區(qū)省份映射表，如表1。

表1：地區(qū)省份映射表

地區(qū)省份

華東地區(qū)山東、江蘇、安徽、浙江、江西、福建、上海

華南地區(qū)廣東、廣西、海南

華中地區(qū)湖北、湖南、河南

華北地區(qū)北京、天津、河北、山西、內(nèi)蒙古

西北地區(qū)寧夏、新疆、青海、陜西、甘肅

西南地區(qū)四川、云南、貴州、西藏、重慶

東北地區(qū)遼寧、吉林、黑龍江

具體任務(wù)要求:

1）根據(jù)表格相關(guān)字段分別統(tǒng)計(jì)某連鎖住宿場所在各地區(qū)的出租

率（保留6位小數(shù)），在控制臺按照“出租率”降序排列，打

印輸出各地區(qū)名稱以及出租率；

打印語句格式如下：

==1.***地區(qū)，出租率為***===

==2.***地區(qū)，出租率為***===

2）使用Flask框架，結(jié)合Echarts繪制折線圖，主標(biāo)題為“指

定地區(qū)的住宿場所出租率”（字體要求：紅色、加粗、斜體），

副標(biāo)題為“某連鎖住宿場所的出租率”，縱坐標(biāo)為出租率，橫

坐標(biāo)為地區(qū)；輸出折線圖，將可視化結(jié)果截圖并保存。

任務(wù)五：條形統(tǒng)計(jì)圖呈現(xiàn)各省直銷拒單率

企業(yè)消費(fèi)平臺是住宿場所營銷的主要途徑之一，不僅降低銷售成

本，同時也提高了顧客體驗(yàn)滿意度。當(dāng)顧客通過企業(yè)消費(fèi)平臺進(jìn)行住

宿場所預(yù)訂時，住宿場所就擁有了用戶的相關(guān)數(shù)據(jù)。通過這些數(shù)據(jù)，

能夠更好地收集用戶需求，從而可以提供更有針對性和個性化的服務(wù),

最終能夠產(chǎn)生更多的忠誠會員并帶來更多訂單。但企業(yè)消費(fèi)平臺銷售

也存在用戶拒單等情況，拒單原因有很多：例如，平臺信息不同步，

信息更新不及時；分銷層次過多，導(dǎo)致無法及時查證訂單；住宿場所

違反企業(yè)消費(fèi)規(guī)則擅自以低價讓客戶取消訂單，這種情況又叫做“切

單”。企業(yè)消費(fèi)平臺需要統(tǒng)計(jì)用戶訂單的分布情況，以此發(fā)現(xiàn)平臺缺

陷及用戶、商家的行為模式，企業(yè)消費(fèi)平臺據(jù)此調(diào)整營銷策略。根據(jù)

現(xiàn)有數(shù)據(jù)統(tǒng)計(jì)訂單數(shù)據(jù)，并以指定圖例進(jìn)行呈現(xiàn)。

詳細(xì)描述：

請根據(jù)數(shù)據(jù)庫中相關(guān)數(shù)據(jù)集中統(tǒng)計(jì)各省直銷拒單率，以直銷拒單

率降序排列，并繪制條形統(tǒng)計(jì)圖。

具體任務(wù)要求：

1）根據(jù)表格相關(guān)字段分別統(tǒng)計(jì)各省份的直銷拒單率（保留6位小

數(shù)），在控制臺按照“直銷拒單率”降序排列，打印輸出各省

名稱以及直銷拒單率；

打印語句格式如下：

==1.***省，直銷拒單率為***===

==2.***省，直銷拒單率為***===

2）使用Flask框架，結(jié)合Echarts繪制直銷拒單率最高的5個省

份條形圖，主標(biāo)題為“直銷拒單率最高的5個省份”（字體要

求：紅色、加粗、斜體），縱坐標(biāo)為省份名稱，橫坐標(biāo)直銷拒

單率；輸出條形圖，將可視化結(jié)果截圖并保存。

任務(wù)六：多線雷達(dá)圖呈現(xiàn)各省份住宿場所綜合情況

企業(yè)銷售平臺需要綜合評判一個城市住宿場所運(yùn)營情況，會涉及

到多方面住宿場所數(shù)據(jù)，例如像高端住宿場所數(shù)量、訂單數(shù)量、住客

評分、評論數(shù)量、出租率等信息，請根據(jù)指定表中數(shù)據(jù)統(tǒng)計(jì)相關(guān)數(shù)據(jù)，

并以指定圖例進(jìn)行呈現(xiàn)。

詳細(xì)描述：

請以數(shù)據(jù)庫中相關(guān)表格為數(shù)據(jù)源，統(tǒng)計(jì)北京、上海、廣東、四川、

海南各省市住宿場所的“平均評分“、“評論數(shù)“、”各省住宿場所出租

率”等綜合指標(biāo)，并以多線雷達(dá)圖。

具體任務(wù)要求：

1）根據(jù)數(shù)據(jù)庫中相關(guān)表格分別統(tǒng)計(jì)北京、上海、廣東、四川、海

南各地平均評分、評論數(shù)、各省住宿場所出租率、直銷拒單率，

在控制臺按照“省份”名稱升序排列，打印輸出各城市住宿場

所的多項(xiàng)運(yùn)營指標(biāo)；

打印語句格式如下：

==省市：A,平均評分為：***===

==省市：A,評論數(shù)：***===

==省市：B,平均評分為：***===

==省市：B,評論數(shù)：***===

2）使用Flask框架，結(jié)合Echarts繪制多線雷達(dá)圖，標(biāo)題為各省

份住宿場所綜合情況（字體要求：紅色、加粗、斜體）；輸出

多線雷達(dá)圖，將可視化結(jié)果截圖并保存。

模塊E：綜合分析（20分）

假定你為企業(yè)消費(fèi)平臺的管理者，在綜合理解住宿場所業(yè)務(wù)數(shù)據(jù)

的基礎(chǔ)上，通過以上模塊A、B、C、D的相關(guān)結(jié)論，對未來拓展合作

住宿場所方向做出預(yù)測，根據(jù)題目要求進(jìn)行分析，并編寫輸出分析報

告。

根據(jù)上述任務(wù)中的結(jié)論，分析以下內(nèi)容，并編寫分析報告。從住

宿場所分布維度進(jìn)行分析，結(jié)合多省份住宿場所綜合運(yùn)營情況，對企

業(yè)消賽平臺未來拓展合作住宿場所的方向提出建議。

分析報告要求：

任務(wù)一：通過數(shù)據(jù)及圖示分析指定省市運(yùn)營情況

結(jié)合平臺相關(guān)數(shù)據(jù)文件，根據(jù)北京、上海、四川、廣東、海南各

省份住宿場所的直銷拒單率和出租率的條形圖，說明幾個省份住宿場

所的綜合運(yùn)營情況。分別以文字描述和圖例進(jìn)行說明；

任務(wù)二：對通過圖示和計(jì)算業(yè)務(wù)分析原因

結(jié)合模塊D可視化分析對某連鎖住宿場所在不同地區(qū)的住宿場

所出租率的統(tǒng)計(jì)，說明影響住宿場所出租率的原因可能有哪些？對于

提高該連鎖住宿場所的出租率，您有哪些建議？分別以文字描述和圖

例進(jìn)行說明；

任務(wù)三：對企業(yè)消費(fèi)平臺未來拓展合作建議和意見

1）對企業(yè)消費(fèi)平臺未來拓展合作住宿場所的方向提出建議（不少

于3條建議），請?jiān)趫蟾嬷羞M(jìn)行說明。

附錄：補(bǔ)充說明

一、json數(shù)據(jù)格式樣例

{"name"："南京國美家庭旅社公寓南林店"，"detail"：{"SEQ"：

"nanjing」O16","國家"："中國"，"省份"："江蘇"，"城市"："南京"，"處于

商圈"："鎖金村地區(qū)玄武湖地區(qū)中山陵景區(qū)"，"是否為客棧"：0,"住宿場所星

級"："二星及其他"，"業(yè)務(wù)部門"："低星"，"剩余房間"：8,"圖片數(shù)"：0,"住

宿場所評分"："1","用戶點(diǎn)評數(shù)"：1,"城市平均實(shí)住間夜"："51.701686747","

住宿場所總訂單“：0,”住宿場所總間夜":0,"住宿場所實(shí)住訂單"：0,"住宿場

所實(shí)住間夜"：0,"住宿場所直銷訂單"：0,"住宿場所直銷間夜"：0,"住宿場

所直銷實(shí)住訂單"：0,"住宿場所直銷實(shí)住間夜"：0,"住宿場所直銷拒單"：0,"

住宿場所直銷拒單率"：null,"城市直銷拒單率"："0.0282838180927","拒單率

是否小于等于直銷城市均值"：0,"最低房間價格"："306"}}

二、fastjsonT.2.41.jar常用API(java)

1、實(shí)例化

JSONObject()；

2、JSON解析包

com.alibaba.fastjson.JSON；

com.alibaba.fastjson.JSONObject；

com.alibaba.fastjson.JSONArray；

com.alibaba.fastjson.JSONException；

3、常用API方法：

1)publicstaticfinalObjectparse(Stringtext)；//把JSON文本

parse為JSONObject或者JSONArray

2)publicstaticfinalJSONObjectparseObject(Stringtext)；//把

JSON文本parse成JSONObject

3)publicstaticfinalTparseObject(Stringtext,Classclazz)；//

把JSON文本parse為JavaBean

4)publicstaticfinalJSONArrayparseArray(Stringtext)；〃把

JSON文本parse成JSONArray

5)publicstaticfinalListparseArray(Stringtext,Classclazz)；

〃把JSON文本parse成JavaBean集合

6)publicstaticfinalStringtoJSONString(Objectobject)；//將

JavaBean序列化為JSON文本

7)publicstaticfinalStringtoJSONString(Objectobject,boolean

prettyFormat)；//將JavaBean序列化為帶格式的JSON文本

8)publicstaticfinalObjecttoJSONCObjectjavaObject)；將JavaBean

轉(zhuǎn)換為JSONObject或者JSONArrayo

三、fastjson-1.2.41.jar常用API[Spark

(scala)]

1、json解析包

com.alibaba.fastjson.JSON

2、常用API

1)實(shí)例化：

JSON.parseObject(x)

2)默認(rèn)值：如果該key沒有值默認(rèn)為null：

jsonObject.getOrDefault(key,默認(rèn)值)

jsonObject.getOrDefault("name",

3)獲取該key的value值

jsonObject.get(json的key)

jsonObject.get("name")

4)判斷key是否存在

jsonObject.containsKey(key)

5）添加kv鍵值對

jsonObject.put（key,value）

四、控制臺輸出運(yùn)行日志樣例

9/06/0308:04:21IXFOhandier.Context(Lindier:Stoppedo.s.S一(*rv?!vtC一oQtextHandler*l0fde30一a‘；null.l：\AVAll.ABLi?

9/06/0308:04:21"F。handler.ContextHandler:Stoppedo.s.Sen'lclContcxtlLuidlcr<3383(>19cstatic,nulUNAVAILABLE

9/060308:04:21INFOhandler.C<x)IextHandler:Stoppedas.ServletConlex!HandierC533377h:e?xecutorsthreadDunp/json,nulI.lrNAVAII.ABI.E,

9/06.0308:04:21IXFOhandler.CfHitcitHandlcr:Stoppedo.s.ScnletCoatextllandlertil9a20utiexecutorsthrcadDunp.null,INAVAlLABLEi

9.060308:01:21INFOhandler.ContexdlandIcr:Stoppedas.Scr\'lctCantextlhndIcr1673S9cb8uKcculor5zjson,null,INAVAILABI.E1

19/06/0308:04:21IVF0handler.ContextlkuMilcr:Stoppedo.s.ServletContextllandlcr*65aa6596:executors,nulI,liNAVAlLKRI-E；

19/06/0308:04:21INFOhandler.Contcxlllandlcr:Stoppedas.ScnlctContcxdlandlcrf2c7dl21c1environnent/j?on.null,UNAVAlLABLEr

19/06/0308:04:21INFOhandler.Contextlkindler:Stoppedo.s.Serv1vtContextHitudIcr?34625ccd.,/environnetit,nul!,VNAVAILAB1.E)

19/06/0308:04:21INFOhandler.Conlextlkindler:Stoppedo.s.SenlctContextHandlerfTeSraafe(,zstoraKe/rdd/json,nulI,UNAVAILABLE)

19/06/0308:04:21INH)handler.Conlcxtlkinciler:Sloppedo.s.SvrvletConlcxtlIdndlert24Mb479!/stonwj/rdd,nuH,UNAVAILABLE)

1906/0308:01:21INFOhMKllei*.CoritextlLindler:St?“)pcd?).s.Serv)vtGKIIextl|.u)d1rrt127l)5f92zstorHge/json.nuIIJ、AYA11ABI.F：

3/06/0308:04:21|\!!-handler.Contexdlandler:Stoppedo.s.SenlctContextlknd!er#lddae9b5'大1。3,null.UNAVAILABLE

9/060308:04:21INFOhandler.ContexilLuwller:Sloppedas.ServletContextllandleit42f3156d?'St??es-zpoo1/json.nuH.llNAVAILABLE)

9060308:04:21|\F。hand]er.ContcxtHandIer:Stofipedo.g.Serv!e【ContexiHandler#ld7f7hc7{,stages/pool.null.UNAVAILABLE)

9/06/030S：0!:2lIXFOhandler.Cortex[Handler:Stoppedo.s.ScnleiContextllandler<5860t3d7?^trtKcs/stagc/jsan.null.UNAVAILABLE)

0308:04:2!INFOhandler.Cunlex【Handler:Stoj)pedas.Serv1e!CentextHandIer*6a66n20411'&tages/stage.null.INAVAILABLE

0308:04:21INFOhandler.ContcxiHandlcr:Stoppedo.J.s.Son^lcxContcxtllandkrfIle3760b;stages7json,null.INAVAILABLE

0308:04:21l\F0handler.Contextilandler:Slottedo.s.Scn'letContejitllandlertMe5l7i65；/stages,null,UNAVAILABLE

0308:04:21INFOhandler.ConlcxHlundler:Stoppedo.s.ScnletCoinextliandlcr#2cb3d0f"!jobsjobjson,null.INAVAILABLE

0308:04:21INFOhandler.ContextHandler：Stoppedo.j.s.Scn'lctContextllandlcr<2clO'177-1/jobs/job.nulLlXAVAlLABLE

19/06/0308:04:21IXFOhandler.CofilcxiHuKlIcr:Stoppedo.j.s.SetvletC<MJtextHrtndlerl6f0fa692:‘Jobs,json.nul1,INAVAILABiJ!

19/06/0308:04:21INFOhandler.ContcxtUandlcr:,_________j.s.Scn'lctContcxtHandlcrtlbaSS'lbO[/jobs.nullJMYAlLAB出

五、方差、均方根差的定義

1、方差MSE：概率論中方差用來度量隨機(jī)變量和其數(shù)學(xué)期望（即均值）之間的

偏離程度。統(tǒng)計(jì)中的方差（樣本方差）是每個樣本值與全體樣本值的平均數(shù)

之差的平方值的平均數(shù)。

2、均方根差RMSE：均方根誤差，是觀測值與真值偏差的平方和觀測次數(shù)n比值

的平方根。RMSE是計(jì)算觀測值與其真值，或者觀測值與其模擬值之間的偏差。

六、間夜定義

間夜又稱間夜數(shù)，是住宿場所在某個時間段內(nèi)，房間出租率的計(jì)算單位。例

如20間房入住2晚，為40間夜數(shù)。

七、出租率計(jì)算公式

出租率=當(dāng)月發(fā)生的總間夜數(shù)/當(dāng)月所能提供的總房間數(shù)

八、線性回歸預(yù)測數(shù)據(jù)源

data_accommodation_mu11.csv字段名

SEQ、省份、城市、商圈、是否為客棧、星級、房間數(shù)、評論數(shù)、平均評分

數(shù)、城市平均間夜、住宿場所總訂單、住宿場所總間夜、住宿場所實(shí)住訂單、住

宿場所實(shí)住間夜、住宿場所直銷訂單、住宿場所直銷實(shí)住訂單、住宿場所直銷間

夜、住宿場所直銷實(shí)住間夜、城市直銷拒單、城市直銷拒單率、住宿場所企業(yè)消

費(fèi)平臺實(shí)住訂單

九、數(shù)據(jù)可視化表字段說明

表radar_lines

province省份

accommodati