第十七屆山東省大學(xué)生軟件設(shè)計大賽命題

第十七屆山東省大學(xué)生軟件設(shè)計大賽命題大數(shù)據(jù)分析與應(yīng)用命題教師：司冠南韓帥命題學(xué)校：山東交通學(xué)院命題企業(yè)：北京以利天誠科技有限公司QQ群：427674697一、項目背景信息科技經(jīng)過60余年的發(fā)展，已經(jīng)從高端科技普及到社會運轉(zhuǎn)的每一個角落中。隨著信息技術(shù)在國家治理、經(jīng)濟(jì)運行的方方面面的運轉(zhuǎn)，大量的數(shù)據(jù)隨之產(chǎn)生。而互聯(lián)網(wǎng)技術(shù)的爆發(fā)式發(fā)展使得近兩年來產(chǎn)生的數(shù)據(jù)總量超過了人類有史以來的數(shù)據(jù)總和。如何利用這些數(shù)據(jù)，挖掘數(shù)據(jù)的深層價值，是未來信息科技發(fā)展的趨勢，也是大數(shù)據(jù)技術(shù)產(chǎn)生的背景。本賽項的設(shè)置，是為提高大數(shù)據(jù)專業(yè)學(xué)生的綜合實踐能力，適應(yīng)大數(shù)據(jù)開發(fā)應(yīng)用產(chǎn)業(yè)對高素質(zhì)技術(shù)技能型人才的需求，重點檢驗學(xué)生對數(shù)據(jù)獲取，數(shù)據(jù)處理，數(shù)據(jù)分析，數(shù)據(jù)可視化等操作流程的實際動手能力。激發(fā)學(xué)生對大數(shù)據(jù)知識和技術(shù)的學(xué)習(xí)興趣，提升學(xué)生能力和素質(zhì)，努力為中國大數(shù)據(jù)應(yīng)用產(chǎn)業(yè)發(fā)展儲備及輸送新鮮血液。通過本大賽，提升高校電子信息類及相關(guān)專業(yè)畢業(yè)生能力素質(zhì)，滿足社會用人需求，實現(xiàn)行業(yè)資源、企事業(yè)資源與教學(xué)資源的有機(jī)融合，使高校在專業(yè)建設(shè)、課程建設(shè)、人才培養(yǎng)方案和人才培養(yǎng)模式等方面，跟蹤社會發(fā)展的最新需要，縮小人才培養(yǎng)與行業(yè)需求差距，促進(jìn)專業(yè)教學(xué)建設(shè)和教學(xué)改革。希望通過本次大賽，實現(xiàn)以下實踐意義：1、可以極大的提高學(xué)生的大數(shù)據(jù)挖掘、分析實踐經(jīng)驗，有助于大學(xué)生對大數(shù)據(jù)挖掘、分析工具、語言的熟練應(yīng)用，有助于學(xué)校學(xué)習(xí)的理論知識和實踐相結(jié)合。2、掌握大數(shù)據(jù)分析的方法和思路，切實了解社會對大數(shù)據(jù)技能的需求。二、命題方向每團(tuán)隊3-5人，請使用目前流行的大數(shù)據(jù)框架與分析挖掘工具，如：Hadoop、Spark、R語言等，完成一個實用的軟件系統(tǒng)，為行業(yè)、企業(yè)或個人生活提供有益的支持。選題方向可結(jié)合以下方面：（1）工業(yè)系統(tǒng)數(shù)據(jù)分析：通過分析真實的工業(yè)應(yīng)用系統(tǒng)數(shù)據(jù)，為該系統(tǒng)的功能或性能優(yōu)化提出可行的建議。（2）網(wǎng)頁文本信息的獲取與處理：通過對真實網(wǎng)頁數(shù)據(jù)的爬取與搜集，為政府、企業(yè)或個人提供有價值的信息，如：輿情信息、某一方面的流行趨勢、熱門話題等信息。（3）公共交通數(shù)據(jù)的分析與挖掘：通過分析真實的公共交通流量數(shù)據(jù)，如：道路交通數(shù)據(jù)、鐵路客運信息、民航客票信息等，提出線路優(yōu)化或個人出行建議。（4）生活服務(wù)信息的個性化推薦：針對某一真實的應(yīng)用場景，如：景點、商場、學(xué)校等，建立使用的推薦系統(tǒng)，用戶通過文字方式輸入問題，系統(tǒng)自動分析問題并根據(jù)用戶特征給出合理答案。（5）下述舉例幾個細(xì)分的選題，可用于參考：A、飛機(jī)出行指南：由濟(jì)南出發(fā)，飛往不同城市，給定確定的出行日期及目的地，預(yù)測提前多少天購票最便宜，（如購買3月11日由濟(jì)南飛往北京的機(jī)票，建議提前幾天購買最便宜），數(shù)據(jù)要求持續(xù)抓取時長不少于100天，目的城市不少于25個，需爬取各大購票網(wǎng)站。B、國內(nèi)宜居城市指南：可抓取目標(biāo)城市的空氣指數(shù)、溫度、濕度、GDP、天氣、自然災(zāi)害、房價、人口密度等數(shù)據(jù)進(jìn)行分析，推薦出宜居城市，要求參考城市不少于25個。C、飲食業(yè)創(chuàng)業(yè)指南：從各大美食網(wǎng)站抓取餐廳的店鋪評分、店鋪評價、地理位置、菜品銷量、菜品口味、菜品價格、餐飲類型等數(shù)據(jù)，給出餐飲創(chuàng)業(yè)建議，要求參考城市不少于10個。三、數(shù)據(jù)處理流程以下是本命題的數(shù)據(jù)處理流程圖：開發(fā)學(xué)習(xí)準(zhǔn)備階段自選命題內(nèi)容，制定需求方案、技術(shù)方案。進(jìn)行自主或其他形式的學(xué)習(xí)培訓(xùn)，有針對性、有目標(biāo)地進(jìn)行大數(shù)據(jù)技能的學(xué)習(xí)準(zhǔn)備。學(xué)習(xí)階段推薦使用“以利天誠大數(shù)據(jù)教學(xué)實訓(xùn)平臺”。原始數(shù)據(jù)準(zhǔn)備可使用自己熟悉的語言編寫網(wǎng)絡(luò)爬蟲，也可以使用網(wǎng)上的開源或商業(yè)工具對互聯(lián)網(wǎng)信息進(jìn)行抓取，抓取網(wǎng)站可選擇知名度較高的網(wǎng)站，抓取的數(shù)據(jù)量要足夠多。具體抓取信息內(nèi)容可根據(jù)最終分析內(nèi)容進(jìn)行選取。此階段要求完成計算機(jī)相關(guān)專業(yè)的就業(yè)前景分析的原始數(shù)據(jù)準(zhǔn)備工作即可，若能保證易用性，通用性可成為加分項。例：以客戶端或B/S架構(gòu)等形式提供，可自由輸入目標(biāo)網(wǎng)站和目標(biāo)數(shù)據(jù)，使爬蟲程序可根據(jù)現(xiàn)實需求快速改變原始數(shù)據(jù)的內(nèi)容。數(shù)據(jù)存儲上一步所抓取下來的數(shù)據(jù)，可存儲于ApacheHadoop平臺的HDFS中，為后續(xù)的數(shù)據(jù)處理和可視化做準(zhǔn)備，對存儲的類型不做限制，也可以用其他的平臺和容器存儲。數(shù)據(jù)處理數(shù)據(jù)處理手段可自主選擇。通過對原始數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)的清洗、轉(zhuǎn)換和匯總形成結(jié)構(gòu)化數(shù)據(jù)后可以為后續(xù)數(shù)據(jù)分析提供直接可用的數(shù)據(jù)源。本階段的項目目標(biāo)是為后續(xù)數(shù)據(jù)分析提供直接可用的資源即可。若滿足以下幾點優(yōu)化，可作為加分項：大數(shù)據(jù)平臺性能調(diào)優(yōu)，可利用調(diào)優(yōu)前后的數(shù)據(jù)對比形成分析分檔，說明調(diào)優(yōu)目的，調(diào)優(yōu)方法。易用性和通用性：以客戶端或B/S架構(gòu)等形式提供操作界面，可對目標(biāo)數(shù)據(jù)進(jìn)行相應(yīng)的可選擇處理操作，最終在制定的位置或目標(biāo)存儲系統(tǒng)中生成優(yōu)質(zhì)數(shù)據(jù)。數(shù)據(jù)分析數(shù)據(jù)分析的技術(shù)手段可自主選擇。通過對原始半結(jié)構(gòu)化數(shù)據(jù)的清洗、轉(zhuǎn)換和匯總形成結(jié)構(gòu)化數(shù)據(jù)后。數(shù)據(jù)可視化對分析結(jié)果進(jìn)行可視化展示，可自主編寫程序或使用開源的可視化工具來做展示。四、系統(tǒng)要求（1）系統(tǒng)采用Hadoop、Spark等大數(shù)據(jù)平臺構(gòu)建。（2）使用或改進(jìn)常用的數(shù)據(jù)分析與挖掘方法完成數(shù)據(jù)分析功能。（3）系統(tǒng)完成后需提供訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)，以檢驗系統(tǒng)的有效性。（4）系統(tǒng)數(shù)據(jù)來源需真實，重要數(shù)據(jù)可進(jìn)行脫敏處理，不可自行生成隨機(jī)數(shù)據(jù)，數(shù)據(jù)來源的真實性需可驗證，數(shù)據(jù)量不少于100萬條。五、作品提交規(guī)范每個參賽隊的作品必須以壓縮包形式上交，壓縮包內(nèi)需包含以下內(nèi)容：在目錄下建立四個文件夾，分別命名為“源程序”、“數(shù)據(jù)”、“文檔”和“演示”，必要時自己根據(jù)情況建立二級文件夾并清晰命名。（1）將作品的源程序放入“源程序”文件夾中；（2）將作品的數(shù)據(jù)放入“數(shù)據(jù)”文件夾中，訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)分開，還應(yīng)包括必要的數(shù)據(jù)導(dǎo)入腳本；（3）文檔需包括分析報告與系統(tǒng)說明文檔，都放到“文檔”文件夾中。分析報告采用論文的形式說明系統(tǒng)的背景、意義、數(shù)據(jù)處理過程、數(shù)據(jù)分析與挖掘方法、結(jié)論等內(nèi)容。系統(tǒng)說明文檔應(yīng)包括系統(tǒng)的運行環(huán)境、使用方法、測試方法、數(shù)據(jù)導(dǎo)入方法，應(yīng)能夠根據(jù)文檔在全新環(huán)境中還原系統(tǒng)。六、作品上交時間請關(guān)注大賽網(wǎng)站通知及QQ群通知。七、評比方式提交的材料完整、齊全、可讀性好。如果所提交的文檔不完整，仍可以參加評比，但要適當(dāng)扣分。評比首先要看程序是否能完全還原，并正常運行，即運行中出現(xiàn)的錯誤不能使程序退出、陷入死循環(huán)或造成死機(jī)。如果出現(xiàn)上述情況，可以重新運行，但總嘗試次數(shù)不能超過三次。作品展示效果占比分的20%，功能及數(shù)據(jù)分析為80%。在正常運行基礎(chǔ)上，以功能評比為主，在功能相近的情況下，考察程序的其他特色，重點看數(shù)據(jù)分析的思維，以鼓勵學(xué)生運用大數(shù)據(jù)分析技術(shù)解決實際問題。綜合作品、文檔、數(shù)據(jù)等多方面得出最終評比結(jié)果八、參賽注意事項多關(guān)注大賽網(wǎng)站多關(guān)注大賽論壇加入本命題QQ群加入相關(guān)專業(yè)開發(fā)群參加巡回報告會，與命題老師和往屆獲獎學(xué)生面對面交流參加暑期訓(xùn)練營，與命題老師和其他參賽同學(xué)直接深入交流多與往屆獲獎選手交流，知道一等獎應(yīng)該具備什么水平，是如何煉就的主動與指導(dǎo)老師交流組建一支最有戰(zhàn)斗力最合適的團(tuán)隊與相關(guān)