高考志愿大數(shù)據(jù)分析平臺(tái)-可行性研究報(bào)告

1、高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告高考大數(shù)據(jù)分析平臺(tái)目錄一、前言. 2二、建設(shè)目標(biāo). 3三、技術(shù)支撐. 43.1 分布式爬蟲平臺(tái). 43.1.1 分布式爬蟲架構(gòu). 43.1.2 系統(tǒng)功能設(shè)計(jì). 63.2 大數(shù)據(jù)平臺(tái). 63.2.1 平臺(tái)架構(gòu). 63.2.2 數(shù)據(jù)應(yīng)用. 7四、APP . 84.1 首次登錄. 84.2 志愿填報(bào)頁(yè)面. 134.3 測(cè)評(píng)功能. 254.4 課堂. 264.5 社區(qū). 264.6 我的. 27五、平臺(tái)可行性分析. 27高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告如果將高考志愿填報(bào)作為一個(gè)決策的過程，考生理應(yīng)是這場(chǎng)決策的主體，通過收集及利用多方信息，最終得到讓人滿意的決策結(jié)果。了一

2、種選擇：高考志愿類。近一年內(nèi)保持持續(xù)更新并正常維護(hù)運(yùn)營(yíng)，有一定數(shù)據(jù)量的 APP有 13 款之眾：優(yōu)志愿、高考幫、樂學(xué)高考志愿、完美志愿、高考直通車、高考志愿君、高考志愿填報(bào)助手、高考管家、報(bào)告大學(xué)、導(dǎo)師問問、圓橙高考志愿、高考派、掌上高考等。13 款志愿填報(bào)類 APP中，各款命名多含有“志愿二字，少數(shù) APP “”、“”APP含有志愿二字的APP不一定只是專注做志愿。出多少分，明確與分?jǐn)?shù)線相比的正負(fù)分情況；第三步，根據(jù)近3到 5年的各校投檔線，在所在的批次中，尋找“沖穩(wěn)墊”的學(xué)校與專業(yè)；第與專業(yè)的范圍。高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告 3到5年各校投檔線、招生計(jì)劃、院校與專業(yè)信息、最新招生政策

3、等?？忌鷮?duì)自我的了析、判斷與利用過程，以及對(duì)此過程的風(fēng)險(xiǎn)性預(yù)估?？v觀這13 款志愿填報(bào)類APP，我們發(fā)現(xiàn)它們都會(huì)圍繞志愿填報(bào)的核心要素展開，在差別。 APP有些APP呈現(xiàn)省控線、批次線等，以或圖或文的形式提供招生計(jì)劃、同分位次家之間的差別，在于信息來源是否權(quán)威、更新及時(shí)、準(zhǔn)確，呈現(xiàn)形式是否友好。本次就選擇，優(yōu)志愿、樂學(xué)高考志愿兩款產(chǎn)品作為功能介紹分析搭建爬蟲平臺(tái)、大數(shù)據(jù)平臺(tái)、App 平臺(tái)、后臺(tái)管理平臺(tái)等支撐對(duì)析全國(guó) 985、211 的高校數(shù)據(jù)，APP 功能首要完成必要功能，第二階高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告段加入全國(guó)高校的數(shù)據(jù)分析與完善APP整體功能。第一階段的建設(shè)目標(biāo)如下：第一：爬蟲平臺(tái)

4、、大數(shù)據(jù)平臺(tái)、后臺(tái)管理等基礎(chǔ)平臺(tái)的建設(shè)；第二：985、211高校的抽取分析納入爬蟲平臺(tái)；第三：App 平臺(tái)開放志愿填報(bào)、測(cè)評(píng)、我的功能，達(dá)到平臺(tái)基礎(chǔ)目標(biāo)。 基于 python 分布式數(shù)據(jù)抓取系統(tǒng)為數(shù)據(jù)的進(jìn)一步應(yīng)用即房源造一個(gè)基于 Redis 分布式多爬蟲共享隊(duì)列的主題爬蟲。本系統(tǒng)采用python 開發(fā)的 Scrapy Xpath 技術(shù)對(duì)下載的網(wǎng) Redis MongoDb 數(shù)據(jù)庫(kù)做數(shù)據(jù)存儲(chǔ)，利用 Django web 框架和 Semantic UI 開源框Docker對(duì)爬蟲程序進(jìn)行部署。設(shè)計(jì)并實(shí)現(xiàn)了針對(duì)各大高校、考試辦官網(wǎng)的分布式爬蟲系統(tǒng)。分布式采用主從結(jié)構(gòu)設(shè)置一個(gè) Master 服務(wù)器和多個(gè)

5、 Slave 服務(wù) 端管理Redis部署Scrapy爬蟲提取網(wǎng)頁(yè)和解析提取數(shù)據(jù)，最后將解析的數(shù)據(jù)存儲(chǔ)在同一個(gè)高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告MongoDb數(shù)據(jù)庫(kù)中。分布式爬蟲架構(gòu)如圖所示：分布式爬蟲架構(gòu)應(yīng)用 Redis 數(shù)據(jù)庫(kù)實(shí)現(xiàn)分布式抓取，基本思想是 Scrapy 爬蟲獲取的到的 detail_request的 urls 都放到RedisQueue 也都從指定的 Redis Queue 中獲取 requests，Scrapy-Redis組件中默認(rèn)使用 SpiderPriorityQueue 來確定 url 的先后次序，這是由sortedset 實(shí)現(xiàn)的一種非FIFO、LIFO方式。因此，待爬隊(duì)

6、列的共享是爬蟲可以部署在其他服務(wù)器上完成同一個(gè)爬取任務(wù)的一個(gè)關(guān)鍵點(diǎn)。 Scrapy將結(jié)合Scrapy-Redis總體思路就是這個(gè)工程通過重寫 Scrapu 框架中的 scheduler 和 spider 類，實(shí)現(xiàn)了調(diào)度、spider 啟動(dòng)和redis的交互。實(shí)現(xiàn)新的dupefilter和 queue類，達(dá)到了判重和調(diào)度容器和redis高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告訪問同一個(gè)redis數(shù)據(jù)庫(kù)，所以調(diào)度和判重都統(tǒng)一進(jìn)行統(tǒng)一管理，達(dá)到了分布式爬蟲的目的。 爬取策略的可配置化內(nèi)容數(shù)據(jù)字段可擴(kuò)展爬蟲防屏蔽中間件與代理IP 池設(shè)計(jì)請(qǐng)求 URL返回狀態(tài)處理機(jī)制與下載異常處理 大數(shù)據(jù)技術(shù)，是指從各種各樣類型

7、的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力。包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫(kù)，數(shù)據(jù)挖掘，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫(kù)，云計(jì)算平臺(tái)，互聯(lián)網(wǎng)，和可擴(kuò)展的存儲(chǔ)系統(tǒng)。高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告基礎(chǔ)軟件選用Hadoop入、整合、存儲(chǔ)、分析、挖掘、對(duì)外服務(wù)等一系列都是采用 Hadoop針對(duì)在線（OnlineNearlineOffline）三大應(yīng)用場(chǎng)景做場(chǎng)景優(yōu)化，為應(yīng)用平臺(tái)提供全場(chǎng)景的基礎(chǔ)軟件支撐平臺(tái)。大數(shù)據(jù)架構(gòu)圖使用大數(shù)據(jù)平臺(tái)構(gòu)建數(shù)據(jù)超市，依據(jù)爬蟲平臺(tái)獲取的各種維度的數(shù)據(jù)，例如：專業(yè)信息、招生人數(shù)、歷史招生分?jǐn)?shù)線、招生計(jì)劃、報(bào)名人數(shù)等，平臺(tái)從中抽取海量數(shù)據(jù)進(jìn)行管理、整合、分析和利用，從析與導(dǎo)向。高考大數(shù)據(jù)

8、分析平臺(tái)可行性研究報(bào)告,基于大規(guī)模存儲(chǔ)和機(jī)器學(xué)習(xí)計(jì)算平臺(tái),定期對(duì)全量數(shù)據(jù)進(jìn)行計(jì)算和挖掘, 并提供用標(biāo)簽的使用和查詢服務(wù)。 就目前主流的APP進(jìn)行分析展現(xiàn) 1. 進(jìn)入 APP后，分為第一次登錄和已有賬號(hào)，如果是已有賬號(hào)，則直接進(jìn)入 APP主頁(yè)，如果是第一次登錄，則如下圖：2. 點(diǎn)擊開啟志愿填報(bào)，然后進(jìn)入選擇考生所在的省份，如下圖：高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告3. 入高考成績(jī)或者模擬考成績(jī)以及成績(jī)?cè)谌〉呐琶?，如下圖：高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告4. 5. APP APP所需要的手機(jī)權(quán)限，例如讀存儲(chǔ)、寫存儲(chǔ)，麥克風(fēng)等，如下圖：高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告6. 根據(jù)指引賦予權(quán)限后，開始主

9、頁(yè)的簡(jiǎn)易操作說明，如下：7. 結(jié)束后，系統(tǒng)自動(dòng)進(jìn)入，新手系統(tǒng)注冊(cè)界面，如下：高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告8. 點(diǎn)擊免費(fèi)注冊(cè)，開始完善資料，進(jìn)行注冊(cè)9. 注冊(cè)完成后，進(jìn)入優(yōu)志愿APP 主頁(yè)。如下圖：高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告 主頁(yè)中，系統(tǒng)首先會(huì)自動(dòng)根據(jù)所錄入的分?jǐn)?shù)和排名，自動(dòng)的推薦院校，院校有多少所，錄取比例是多少高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告專業(yè)優(yōu)先填報(bào)，“一鍵填報(bào)”，三個(gè)不同的方面填報(bào)志愿，下面介紹這三個(gè)功能1、 院校優(yōu)先填報(bào)基于院校優(yōu)先的查詢策略，來分析錄取概率2、 專業(yè)優(yōu)先填報(bào)高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告也可以通過搜索學(xué)校的方式高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告高考大數(shù)據(jù)分

10、析平臺(tái)可行性研究報(bào)告3、 一鍵填報(bào)一鍵填報(bào)就是通過自行過濾院校和專業(yè)的方式，測(cè)試錄入比率，如下圖：高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告4、 其他輔助功能查專業(yè)”，“分?jǐn)?shù)線”，“招生計(jì)劃”“批次線”“選科（新高考）”1) 找大學(xué)高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告2) 查專業(yè)高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告3) 分?jǐn)?shù)線高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告4) 批次線5) 專業(yè)找院校高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告6) 測(cè)錄取概率7) 招生計(jì)劃高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告 為學(xué)生提供各類測(cè)評(píng)，例如興趣測(cè)評(píng)、性格測(cè)評(píng)、能力測(cè)評(píng)、職業(yè)傾向測(cè)評(píng)等。

11、高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告 搭建各類專業(yè)的講堂、課堂。 高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告 志愿單信息等。 通過最大收益的分析方式，分析高考志愿大數(shù)據(jù)建設(shè)的經(jīng)濟(jì)可行性，主要通過兩點(diǎn)：收益分析和投入分析，由于未來的不確定性，暫時(shí)考慮系統(tǒng)推廣運(yùn)行12年預(yù)計(jì)的收益高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告 以泰安地區(qū)為例，201834637人，以 35000為基數(shù)，根據(jù)不同的收費(fèi)點(diǎn)進(jìn)行計(jì)算收益1、 會(huì)員制（VIP提供不同層次或者不同專業(yè)性的服務(wù)服務(wù)，如：高考選科，興趣測(cè)試（高級(jí)VIP考課程指導(dǎo)等，志愿預(yù)測(cè)，自招類學(xué)校報(bào)考服務(wù)（該服務(wù)只提同。另外制定詳細(xì)執(zhí)行方案，避免一位VIP為對(duì)位學(xué)生服務(wù)。對(duì)當(dāng)前市場(chǎng)AP

12、P的分析，VIP會(huì)員平均價(jià)格為300員左右， 本次采用300元來計(jì)算，假設(shè)泰安地區(qū)所有的考生購(gòu)買VIP服務(wù)最大收益：35000*300=10500000， 即 VIP 模式最收益可達(dá)到1050萬元2、 單項(xiàng)收費(fèi)：填報(bào)志愿大數(shù)據(jù)自動(dòng)分析次數(shù)，參與指導(dǎo)課程次數(shù)等，對(duì)于該收費(fèi)點(diǎn)，不作為主要的收費(fèi)事項(xiàng)，可以通過兩種處理方式處理該收費(fèi)點(diǎn)：、 不設(shè)置單項(xiàng)收費(fèi)，將該類整合到VIP收費(fèi)模式中。、 設(shè)計(jì)單項(xiàng)收費(fèi)高收費(fèi)模式，例如填報(bào)志愿大數(shù)據(jù)自動(dòng)分析每次100 VIP 3次，即可達(dá)到 VIP 的收費(fèi)標(biāo)準(zhǔn)，可刺激用戶對(duì)比后選擇 VIP 消費(fèi)通過市場(chǎng)評(píng)估，預(yù)計(jì)有 的用戶，選擇單項(xiàng)消費(fèi)，平均消費(fèi)高考大數(shù)據(jù)分析平臺(tái)可行性研究報(bào)告為 100 元，則單項(xiàng)消費(fèi)的最大收益為：35000*0.2*100=700000即收益達(dá)到70萬。因 VIP 的最大收益和單項(xiàng)收費(fèi)的最大收益重復(fù)，故采用 VIP 的最大收益，單項(xiàng)收費(fèi)作為收益參考3、 媒體廣告收益