某大學(xué)(高校)大數(shù)據(jù)分析應(yīng)用功能分析20170922V1.5

1、 某大學(xué)大數(shù)據(jù)分析應(yīng)用功能分析目錄TOC o 1-5 h z HYPERLINK l bookmark0 1項目整體目標(biāo)4 HYPERLINK l bookmark2 2項目總體建設(shè)內(nèi)容4 HYPERLINK l bookmark4 2.1源數(shù)據(jù)采集4 HYPERLINK l bookmark6 2.2大數(shù)據(jù)管理平臺系統(tǒng)4 HYPERLINK l bookmark8 2.3大數(shù)據(jù)業(yè)務(wù)分析模塊4 HYPERLINK l bookmark10 3項目建設(shè)清單5 HYPERLINK l bookmark12 3.1數(shù)據(jù)采集與清洗5 HYPERLINK l bookmark14 3.2大數(shù)據(jù)管理平臺5

2、 HYPERLINK l bookmark16 智能數(shù)據(jù)采集5 HYPERLINK l bookmark18 智能數(shù)據(jù)治理5 HYPERLINK l bookmark20 智能存儲檢索5 HYPERLINK l bookmark22 智能挖掘算法6 HYPERLINK l bookmark24 智能實時計算6 HYPERLINK l bookmark26 智能數(shù)據(jù)運維6 HYPERLINK l bookmark28 智能科研實踐6 HYPERLINK l bookmark30 智能統(tǒng)一API.7 HYPERLINK l bookmark32 智能數(shù)據(jù)安全7 HYPERLINK l bookma

3、rk34 3.3教師個人數(shù)據(jù)中心7 HYPERLINK l bookmark36 3.4學(xué)生個人數(shù)據(jù)中心7 HYPERLINK l bookmark38 學(xué)生個人信息7 HYPERLINK l bookmark40 學(xué)生成績7 HYPERLINK l bookmark42 獎助學(xué)金情況8 HYPERLINK l bookmark44 3.5學(xué)生畫像應(yīng)用8 HYPERLINK l bookmark46 3.6綜合預(yù)警分析8 HYPERLINK l bookmark48 關(guān)愛周報8 HYPERLINK l bookmark50 關(guān)愛月報8 HYPERLINK l bookmark52 低消學(xué)生分析

4、8 HYPERLINK l bookmark54 預(yù)警推送8 HYPERLINK l bookmark56 成績預(yù)警9 HYPERLINK l bookmark58 3.7行為軌跡分析9 HYPERLINK l bookmark60 3.8校園綜合分析9 HYPERLINK l bookmark62 學(xué)生成績報告9 HYPERLINK l bookmark64 學(xué)生消費報告9 HYPERLINK l bookmark66 學(xué)生借閱報告9 HYPERLINK l bookmark68 老師借閱報告9 HYPERLINK l bookmark70 3.9學(xué)生個人大數(shù)據(jù)報告10 HYPERLINK

5、l bookmark72 4技術(shù)規(guī)格要求10 HYPERLINK l bookmark74 4.1數(shù)據(jù)采集與清洗技術(shù)要求10 HYPERLINK l bookmark76 4.2大數(shù)據(jù)管理平臺技術(shù)要求11智能數(shù)據(jù)采集：11智能數(shù)據(jù)治理：11智能存儲檢索：12智能挖掘算法：12智能實時計算：13智能數(shù)據(jù)運維：13 HYPERLINK l bookmark78 智能科研實踐：14 HYPERLINK l bookmark80 智能統(tǒng)一API.14 HYPERLINK l bookmark82 智能數(shù)據(jù)安全：15 HYPERLINK l bookmark84 教師個人數(shù)據(jù)中心技術(shù)要求15 HYPER

6、LINK l bookmark86 學(xué)生個人數(shù)據(jù)中心技術(shù)要求16 HYPERLINK l bookmark88 4.5學(xué)生畫像應(yīng)用技術(shù)要求17 HYPERLINK l bookmark90 4.6綜合預(yù)警分析技術(shù)要求19 HYPERLINK l bookmark92 4.7行為軌跡分析技術(shù)要求20 HYPERLINK l bookmark94 4.8校園綜合分析技術(shù)要求21 HYPERLINK l bookmark96 學(xué)生個人大數(shù)據(jù)報告技術(shù)要求21 HYPERLINK l bookmark98 5項目預(yù)算22項目整體目標(biāo)隨著采購人信息化的建設(shè)與發(fā)展，學(xué)校各部門的信息化系統(tǒng)已逐步建設(shè)并投入使用

7、，并且已經(jīng)積累了大量的可用數(shù)據(jù)。本項目通過某大學(xué)校園大數(shù)據(jù)分析的建設(shè)，將現(xiàn)有各業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù)進(jìn)行全校范疇內(nèi)的有效整合，并通過數(shù)據(jù)關(guān)聯(lián)分析，挖掘數(shù)據(jù)的核心價值，對全校師生提供深層次的信息增值服務(wù)，為學(xué)校領(lǐng)導(dǎo)及師生分析與決策提供數(shù)據(jù)支持,最終實現(xiàn)將數(shù)據(jù)轉(zhuǎn)變?yōu)閷W(xué)校效益，提升管理效率，促進(jìn)教學(xué)與服務(wù)質(zhì)量，增強學(xué)校的綜合競爭力。項目總體建設(shè)內(nèi)容本項目具體建設(shè)內(nèi)容包括如下：2.1源數(shù)據(jù)采集本項目需要的數(shù)據(jù)源，包括校內(nèi)業(yè)務(wù)系統(tǒng)、硬件設(shè)備等，包括各類型的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行采集和集成、數(shù)據(jù)清洗等工作，并按照統(tǒng)一標(biāo)準(zhǔn)格式進(jìn)行數(shù)據(jù)采集入庫，建立合適的數(shù)據(jù)模型。大數(shù)據(jù)管理平臺系統(tǒng)搭建與開發(fā)某大學(xué)大數(shù)據(jù)平

8、臺系統(tǒng)，用于管理和存儲本項目建設(shè)需要的各類源數(shù)據(jù)，并進(jìn)行周期性的數(shù)據(jù)自動預(yù)處理，包括對各類源數(shù)據(jù)進(jìn)行采集、清洗、轉(zhuǎn)換、質(zhì)量處理等操作構(gòu)建大數(shù)據(jù)數(shù)據(jù)倉庫；同時提供標(biāo)準(zhǔn)的內(nèi)外數(shù)據(jù)讀取接口和圖形化的數(shù)據(jù)管理運維系統(tǒng)。大數(shù)據(jù)業(yè)務(wù)分析模塊對存儲在數(shù)據(jù)倉庫的數(shù)據(jù)進(jìn)行處理，按周期時間進(jìn)行匯集，根據(jù)業(yè)務(wù)需求和用戶要求進(jìn)行多維關(guān)聯(lián)分析及挖掘處理，制作針對不同場景的數(shù)據(jù)分析業(yè)務(wù)。根據(jù)數(shù)據(jù)現(xiàn)狀，結(jié)合學(xué)校大數(shù)據(jù)建設(shè)目標(biāo)需求，針對性開發(fā)與提供7個（清單中第3到第9項）大數(shù)據(jù)業(yè)務(wù)分析系統(tǒng)。項目建設(shè)清單3.1數(shù)據(jù)采集與清洗系統(tǒng)數(shù)據(jù)采集與清冼服務(wù)：包含接口調(diào)研，接口調(diào)測，數(shù)據(jù)采集，數(shù)據(jù)清洗，數(shù)據(jù)治理，數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)導(dǎo)入等

9、；數(shù)據(jù)源范圍：一卡通、教務(wù)系統(tǒng)、上網(wǎng)認(rèn)證系統(tǒng)、上網(wǎng)審計系統(tǒng)、門禁系統(tǒng)、圖書館管理系統(tǒng)、校園WiFi、人事系統(tǒng)、科研系統(tǒng)等系統(tǒng)。3.2大數(shù)據(jù)管理平臺3.2.1智能數(shù)據(jù)采集支持不同的數(shù)據(jù)爬蟲工具，實現(xiàn)將不同的數(shù)據(jù)爬取過來。如：http接口、FTP接口、webservice接口、oracle數(shù)據(jù)庫、SQLServer數(shù)據(jù)庫等。支持可視化圖形化采集功能，通過可視化采集工具，可以看到不同的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)抽取情況，形成采集報告，做整體的可視化監(jiān)控；智能數(shù)據(jù)治理對數(shù)據(jù)進(jìn)行治理，如數(shù)據(jù)缺失、數(shù)據(jù)重復(fù)、數(shù)據(jù)錯誤、數(shù)據(jù)不可用等，同時支持對不可用數(shù)據(jù)提供按規(guī)則適配、關(guān)鍵字匹配、枚舉轉(zhuǎn)換等治理方法；智能存儲檢索采用H

10、adoop分布式存儲方式，采用HIVE、HBASE、HDFS三種分布式存儲技術(shù)對大數(shù)據(jù)倉庫平臺中的數(shù)據(jù)分類存儲，提供原始庫、標(biāo)準(zhǔn)庫、主題庫這三個數(shù)據(jù)庫。支持對整體數(shù)據(jù)倉儲的管理和檢索，平臺對單條記錄查詢響應(yīng)小于3ms，在10億以上的日志庫中檢索響應(yīng)時間可實現(xiàn)小于5ms；3.2.4智能挖掘算法提供包含特征工程、統(tǒng)計算法、分類算法、回歸算法、時序分析、主成分分析、關(guān)聯(lián)推薦、深度機器學(xué)習(xí)、信念網(wǎng)絡(luò)、決策方法等優(yōu)化的常用數(shù)據(jù)挖掘算法庫，同時提供包含spark機器學(xué)習(xí)算法庫、python算法庫。提供針對于教育行業(yè)關(guān)于學(xué)習(xí)、教學(xué)、管理、日志、互聯(lián)網(wǎng)數(shù)據(jù)等數(shù)據(jù)的特定算法及模型庫，用戶可通過圖形界面自主選擇使

11、用算法，含成績標(biāo)準(zhǔn)換算、成績預(yù)測分析算法，協(xié)同過濾推薦等算法。商業(yè)BI工具采用商業(yè)BI,提供=10個Lisecne授權(quán)；智能實時計算針對實時性要求比較高的數(shù)據(jù)，提供實時采集、實時計算、實時展示功能。利用flume做日志管理、利用kafka做實時流處理，形成消息隊列處理機制；智能數(shù)據(jù)運維提供運維管理功能，包括集群節(jié)點和系統(tǒng)服務(wù)的可視化配置與管理、性能和運行狀況監(jiān)控、異常告警、權(quán)限的管理與配置等相關(guān)功能。提供用戶的賬號、類型、權(quán)限、郵箱等基礎(chǔ)信息提供全方位的管理，并以角色權(quán)限的控制方式控制用戶對數(shù)據(jù)平臺的訪問，粒度可達(dá)數(shù)據(jù)庫的每個字段；3.2.7智能科研實踐提供標(biāo)準(zhǔn)封裝接口，支持科研構(gòu)建應(yīng)用，方便

12、用戶構(gòu)建科研分析平臺。應(yīng)用端呈現(xiàn)端與數(shù)據(jù)挖掘平臺相互獨立，采用解耦合架構(gòu)，可適合多語言開發(fā)人員，并支持多前端應(yīng)用框架；3.2.8智能統(tǒng)一API提供統(tǒng)一的數(shù)據(jù)倉庫開發(fā)接口，支持包括Python、Java、R等語言的開發(fā)語言，提供標(biāo)準(zhǔn)的sql語言支持。供統(tǒng)一的API接口管理中心，對接口提供統(tǒng)一的管理控制及授權(quán)。提供統(tǒng)一的模型主題庫開發(fā)接口，可無縫對接第三方BI開發(fā)工具，支持用戶自定義業(yè)務(wù)呈現(xiàn)開發(fā)，同時支持對教學(xué)的建模及比賽，提供對外服務(wù)功能，包括API接口，結(jié)構(gòu)化數(shù)據(jù)導(dǎo)出至Oracle、MySQL、SQLServer等關(guān)系型數(shù)據(jù)庫，數(shù)據(jù)下載等相關(guān)功能；3.2.9智能數(shù)據(jù)安全構(gòu)建了大數(shù)據(jù)平臺的管理運

13、維中心，負(fù)責(zé)大數(shù)據(jù)平臺中的數(shù)據(jù)查詢、數(shù)據(jù)管理、用戶管理、存儲管理、集群管理和用戶管理等工作，采用圖形化的工具，實現(xiàn)對成百上千節(jié)點的運維管理，同時支持平臺性能、訪問等異常告警功能并上報系統(tǒng)管理員，降低用戶運維管理的技術(shù)難度，做到意外事前預(yù)測和事后追蹤雙重保障。提供租戶管理功能，包括多租戶服務(wù)，劃分大數(shù)據(jù)分析資源，資源各類等相關(guān)功能教師個人數(shù)據(jù)中心包括教師的在校教學(xué)、科研成就、圖書借閱、在校消費等，整個教師生命周期的綜合業(yè)務(wù)查詢與統(tǒng)計分析，并對教師進(jìn)行個人數(shù)據(jù)畫像學(xué)生個人數(shù)據(jù)中心3.4.1學(xué)生個人信息學(xué)生的個人信息包括姓名，學(xué)號，生日，籍貫，有無嚴(yán)重病史等；3.4.2學(xué)生成績包括學(xué)生的歷史成績，各

14、類競賽成績，英語四六級成績；3.4.3獎助學(xué)金情況學(xué)生獎助學(xué)金獲得情況，包含各類獎懲情況。3.5學(xué)生畫像應(yīng)用對學(xué)生從招生到成為校友的全過程業(yè)務(wù)數(shù)據(jù)綜合展示，包括學(xué)生的在校學(xué)習(xí)、業(yè)余活動、在校社團、圖書借閱、食堂消費、住宿情況、校友管理等，整個學(xué)生生命周期的綜合業(yè)務(wù)查詢與統(tǒng)計分析，并對學(xué)生進(jìn)行個人數(shù)據(jù)畫像分析。3.6綜合預(yù)警分析3.6.1關(guān)愛周報包括學(xué)生上周的各類數(shù)據(jù)統(tǒng)計，對比全校學(xué)生整體數(shù)據(jù)情況反映學(xué)生成長狀況；3.6.2關(guān)愛月報包括學(xué)生上月的各類數(shù)據(jù)統(tǒng)計，對比全校學(xué)生整體數(shù)據(jù)情況描繪學(xué)生成長狀況；3.6.3低消學(xué)生分析提供近期低消學(xué)生的分布情況、消費情況及對應(yīng)的補助發(fā)放等情況；3.6.4預(yù)警

15、推送為老師推送存在異常的問題學(xué)生，如多次逃課曠課，夜不歸宿，疑似不在校，消費情況異常等行為，使輔導(dǎo)員及時了解學(xué)生存在的問題。利用統(tǒng)一消息發(fā)送平臺進(jìn)行信息推送和異常預(yù)警；3.6.5成績預(yù)警根據(jù)學(xué)生數(shù)據(jù)的歷史行為表現(xiàn)，為輔導(dǎo)員推送存在成績下滑危險的學(xué)生，使輔導(dǎo)員及時了解情況并采取相應(yīng)措施3.7行為軌跡分析反映昨日學(xué)生活動軌跡，包括相關(guān)的一卡通數(shù)據(jù)、wifi數(shù)據(jù)，網(wǎng)絡(luò)登入情況,圖書館借閱情況等，反應(yīng)學(xué)生日常活動軌跡3.8校園綜合分析學(xué)生成績報告每學(xué)期統(tǒng)計一次，包括各院系優(yōu)秀學(xué)生分布情況、各院系平均績點排名、掛科TOP10課程列表等信息；學(xué)生消費報告每月統(tǒng)計一次，包括各院系消費金額總額及人均消費情況、

16、月消費TOP10排名等信息；學(xué)生借閱報告每月統(tǒng)計一次，包括各院系圖書借閱總量及人均借閱情況、最受歡迎TOP10圖書等信息；老師借閱報告每月統(tǒng)計一次，包括各部門圖書借閱總量及人均借閱情況等信息3.9學(xué)生個人大數(shù)據(jù)報告提供網(wǎng)頁版、微信版本的學(xué)生個人大數(shù)據(jù)報告，可提供消費、課程、成績、網(wǎng)絡(luò)幾類信息，支持系統(tǒng)調(diào)整周期時間段原廠售后服務(wù)技術(shù)規(guī)格要求4.1數(shù)據(jù)采集與清洗技術(shù)要求完成本項目需要的業(yè)務(wù)系統(tǒng)，包括校內(nèi)結(jié)構(gòu)化數(shù)據(jù)及校內(nèi)各類非結(jié)構(gòu)化數(shù)據(jù)（包括校內(nèi)網(wǎng)站內(nèi)容、學(xué)校通知公告等各類文檔、圖片、業(yè)務(wù)系統(tǒng)日志等）采集和集成，并進(jìn)行對應(yīng)格式轉(zhuǎn)換入庫。完成校外網(wǎng)絡(luò)日志、互聯(lián)網(wǎng)數(shù)據(jù)等采集和數(shù)據(jù)清洗等工作，并按照統(tǒng)一標(biāo)

17、準(zhǔn)格式進(jìn)行數(shù)據(jù)采集入庫，建立合適的數(shù)據(jù)模型，對采集的數(shù)據(jù)進(jìn)行抽取、清洗、加工和整理；依據(jù)數(shù)據(jù)倉庫及大數(shù)據(jù)相關(guān)規(guī)范，合理制定并完成數(shù)據(jù)存儲及異構(gòu)數(shù)據(jù)關(guān)聯(lián)；對于新增數(shù)據(jù)的采集部份，主要負(fù)責(zé)數(shù)據(jù)源采集、數(shù)據(jù)質(zhì)量監(jiān)控、清洗、數(shù)據(jù)加載入庫等操作，采集的業(yè)務(wù)數(shù)據(jù)包括本項目大數(shù)據(jù)分析業(yè)務(wù)分析模塊需要的相關(guān)數(shù)據(jù)源。需要對采集的數(shù)據(jù)進(jìn)行抽取、清洗、加工和整理，包括清理源數(shù)據(jù)中的噪聲數(shù)據(jù)和無關(guān)數(shù)據(jù)、處理遺漏數(shù)據(jù)和清洗臟數(shù)據(jù)和空缺值、識別刪除孤立點、實現(xiàn)數(shù)據(jù)的匯集，最終確保數(shù)據(jù)的質(zhì)量和高可用性。數(shù)據(jù)的采集和治理平臺提供各類方便的支持大數(shù)據(jù)量的數(shù)據(jù)加載、轉(zhuǎn)換、傳輸工具軟件。支持訪問不同的數(shù)據(jù)庫和文件系統(tǒng)；數(shù)據(jù)的清洗、

18、轉(zhuǎn)換和傳輸必須滿足時間要求，能夠在規(guī)定的時間范圍內(nèi)完成；支持增量加載，只把自上一次加載以來變化的數(shù)據(jù)加載到數(shù)據(jù)倉庫。本項目需要采集的數(shù)據(jù)源包括以下內(nèi)容：一卡通、教務(wù)系統(tǒng)、上網(wǎng)認(rèn)證系統(tǒng)、上網(wǎng)審計系統(tǒng)、門禁系統(tǒng)、圖書館管理系統(tǒng)、校園WiFi、人事系統(tǒng)、科研系統(tǒng)系統(tǒng)；以及本次大數(shù)據(jù)業(yè)務(wù)建設(shè)相關(guān)的數(shù)據(jù)源系統(tǒng)。大數(shù)據(jù)管理平臺技術(shù)要求構(gòu)建某大學(xué)大數(shù)據(jù)分析與服務(wù)平臺，盤活現(xiàn)有的所有數(shù)據(jù)源，包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，并引入外部數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)等，綜合在一起進(jìn)行有效的分析、挖掘，從而高效、安全、穩(wěn)定、可靠的提供校務(wù)大數(shù)據(jù)服務(wù)；并輔之以有效的管理工具和手段，確保大數(shù)據(jù)平臺可控、好管、易用。大數(shù)據(jù)管理分析平臺在

19、技術(shù)上要實現(xiàn)智能數(shù)據(jù)采集、智能數(shù)據(jù)治理、智能存儲檢索、智能挖掘算法、智能實時計算、智能數(shù)據(jù)運維、智能科研實踐、智能統(tǒng)一API、智能數(shù)據(jù)安全9個部份內(nèi)容，每個部份技術(shù)要求如下：智能數(shù)據(jù)采集：提供針對不同類型、不同結(jié)構(gòu)的數(shù)據(jù)的接入技術(shù)和工具，支持低頻知識數(shù)據(jù)、靜態(tài)知識數(shù)據(jù)、高頻知識數(shù)據(jù)等數(shù)據(jù)的采集；提供可視化采集工具，通過可視化采集工具，可整體監(jiān)控不同的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)抽取情況，形成采集報告?？梢暬瘍?nèi)容包括：對象類型、對象名稱、采集類型、采集狀態(tài)、采集開始時間、采集結(jié)束時間、執(zhí)行時間、總量、新增等維度；提供數(shù)據(jù)爬蟲工具，實現(xiàn)不同的數(shù)據(jù)爬取。包括但不限于http接口、FTP接口、webservice接

20、口、Oracle數(shù)據(jù)庫、SQLserver數(shù)據(jù)庫等。智能數(shù)據(jù)治理：提供數(shù)據(jù)治理工具，實現(xiàn)數(shù)據(jù)治理，包括但不限于數(shù)據(jù)缺失、數(shù)據(jù)重復(fù)、數(shù)據(jù)錯誤、數(shù)據(jù)不可用等數(shù)據(jù)的治理；針對缺失數(shù)據(jù)，提供從業(yè)務(wù)系統(tǒng)中再次導(dǎo)入、手工補入、根據(jù)邏輯補值、放棄等治理方法；針對重復(fù)數(shù)據(jù)，提供自動去重、手動去除、根據(jù)時間和業(yè)務(wù)邏輯去重等治理方法；針對錯誤數(shù)據(jù)，提供區(qū)間限定去除、規(guī)則修復(fù)、人工干預(yù)、歷史數(shù)據(jù)近值等治理方法；針對數(shù)據(jù)不可用，提供按規(guī)則適配、關(guān)鍵字匹配、枚舉轉(zhuǎn)換等治理方法；4.2.3智能存儲檢索：提供數(shù)據(jù)備份功能，能幫助采購人在磁盤故障后，將丟失的數(shù)據(jù)找回。原始庫中存儲互聯(lián)網(wǎng)數(shù)據(jù)、原始數(shù)據(jù)等結(jié)構(gòu)化數(shù)據(jù)；將原始庫中的

21、數(shù)據(jù)做清洗、標(biāo)準(zhǔn)化后形成標(biāo)準(zhǔn)庫；將標(biāo)準(zhǔn)庫中的數(shù)據(jù)做聚合建模分析后，形成主題庫；提供整體數(shù)據(jù)倉儲的管理和檢索功能；采用Hadoop分布式存儲方式，采用HIVE、HBASE、HDFS三種分布式存儲技術(shù)對大數(shù)據(jù)倉庫平臺中的數(shù)據(jù)分類存儲；對靜態(tài)知識數(shù)據(jù)，即對于計算實時性要求不高，主要用于計算數(shù)據(jù)的趨勢和預(yù)測的數(shù)據(jù)，基礎(chǔ)數(shù)據(jù)和歷史數(shù)據(jù)的存儲和分析采用HIVE存儲，并提供標(biāo)準(zhǔn)的SQL語言查詢功能；對于實時性要求較高的數(shù)據(jù)分析，如一通、網(wǎng)絡(luò)數(shù)據(jù)等采用HBASE存儲，以滿足實時性要求較高的數(shù)據(jù)計算；對于文本或表格等數(shù)據(jù)，采用HDFS存儲方式存儲；采用數(shù)據(jù)分片技術(shù)及并行入庫的方式保證數(shù)據(jù)訪問的高效率，同時保證數(shù)

22、據(jù)倉庫的無縫擴展及數(shù)據(jù)的可靠性要求。提供根據(jù)數(shù)據(jù)重要性要求定制存儲副本策略的功能；提供對數(shù)據(jù)中心的全量數(shù)據(jù)、標(biāo)準(zhǔn)化數(shù)據(jù)、以及模型數(shù)據(jù)的高效檢索功能，要求平臺對單條記錄查詢響應(yīng)小于3ms，在10億以上的日志庫中檢索響應(yīng)時間小于5ms；大數(shù)據(jù)管理平臺支持支持圖形化的方式查詢平臺中的數(shù)據(jù)、主機、集群數(shù)據(jù)庫等進(jìn)行查看與修改，支持通過標(biāo)準(zhǔn)的SQL語句統(tǒng)一查詢數(shù)據(jù)中國軟件評測中心對該功能的軟件測試報告（需原廠蓋章確認(rèn)）4.2.4智能挖掘算法：提供包含特征工程、統(tǒng)計算法、分類算法、回歸算法、時序分析、主成分分析、關(guān)聯(lián)推薦、深度機器學(xué)習(xí)、信念網(wǎng)絡(luò)、決策方法等優(yōu)化的常用數(shù)據(jù)挖掘算法庫，同時提供包含Python、

23、spark等機器學(xué)習(xí)算法庫；提供算法分布式執(zhí)行引擎系統(tǒng)，以保證數(shù)據(jù)計算過程的高效性，保障數(shù)據(jù)計算時能在計算節(jié)點并發(fā)運行；提供自定義插件功能，管理人員可根據(jù)實際情況自定義插件，添加，更新現(xiàn)有算法庫算法，提供算法優(yōu)化接口；提供整體的Hadoop及與其生態(tài)兼容的大數(shù)據(jù)系列的算法產(chǎn)品及插件，支持Python語言IDE的開發(fā)環(huán)境的自定義算法及挖掘工具開發(fā)，支持圖形界面及BI工具的算法及模型開發(fā)；提供針對于教育行業(yè)關(guān)于學(xué)習(xí)、教學(xué)、管理、日志、互聯(lián)網(wǎng)數(shù)據(jù)等數(shù)據(jù)的特定算法及模型庫；提供算法調(diào)用接口，使開發(fā)人員可調(diào)用平臺中的算法，包括成績標(biāo)準(zhǔn)換算、成績預(yù)測分析算法，協(xié)同過濾推薦等算法；智能實時計算：針對實時性要

24、求比較高的數(shù)據(jù)，提供實時采集、實時計算、實時展示功能；采用flume做日志管理、采用kafka做實時流處理，形成消息隊列；通過kafka提供實時流運算功能，聚合建模后的數(shù)據(jù)經(jīng)sparkstreaming運算后供前端展示智能數(shù)據(jù)運維：提供數(shù)據(jù)的高校檢索及查詢功能。通過圖形化界面對數(shù)據(jù)倉庫數(shù)據(jù)進(jìn)行高效率檢索；提供元數(shù)據(jù)管理功能，針對每個原數(shù)據(jù)進(jìn)行數(shù)據(jù)字段、類型、注釋、創(chuàng)建時間、大小、存儲信息等進(jìn)行管理；提供對大數(shù)據(jù)平臺及庫的圖形化安全管理及配置等功能；提供用戶的賬號、類型、權(quán)限、郵箱等基礎(chǔ)信息提供全方位的管理功能，并以角色權(quán)限的控制方式控制用戶對數(shù)據(jù)平臺的訪問，粒度可達(dá)數(shù)據(jù)庫的每個字段；提供大數(shù)據(jù)

25、平臺的圖形化配置功能，包含服務(wù)器管理，服務(wù)器JVM管理，數(shù)據(jù)庫節(jié)點及服務(wù)管理等功能；提供庫監(jiān)控功能，對整體數(shù)據(jù)庫平臺提供數(shù)據(jù)節(jié)點及基礎(chǔ)硬件性能監(jiān)控；提供SQL訪問監(jiān)控，自動檢測SQL的訪問頻率，實現(xiàn)sql訪問分類，實現(xiàn)優(yōu)勢資源分層存儲，提高平臺性能；提供大數(shù)據(jù)平臺服務(wù)進(jìn)程監(jiān)控功能，如hive、HDFS、spark等服務(wù)進(jìn)程的監(jiān)控，保證分布式部署下服務(wù)的效率和可靠性；提供對大數(shù)據(jù)計算機存儲節(jié)點及服務(wù)節(jié)點的群集的管理功能，如添加、刪除等操作；提供運行參數(shù)設(shè)置接口，并針對接口指標(biāo)進(jìn)行平臺運行情況的全面監(jiān)控；提供大數(shù)據(jù)平臺集群和服務(wù)的自動化部署和故障診斷功能，并提出解決建議；智能科研實踐：提供標(biāo)準(zhǔn)封裝

26、接口，支持科研構(gòu)建應(yīng)用，方便用戶構(gòu)建科研分析平臺；應(yīng)用端呈現(xiàn)端與數(shù)據(jù)挖掘平臺相互獨立，采用解耦合架構(gòu)，可適合多語言開發(fā)人員，并支持多前端應(yīng)用框架；智能統(tǒng)一API提供統(tǒng)一的數(shù)據(jù)倉庫開發(fā)接口，支持至少包含Python、Java、R等語言的開發(fā)語言。提供標(biāo)準(zhǔn)的sql語言支持；提供統(tǒng)一的API接口管理中心，對接口提供統(tǒng)一的管理控制及授權(quán)提供統(tǒng)一的模型主題庫開發(fā)接口，可無縫對接第三方BI開發(fā)工具，支持用戶自定義業(yè)務(wù)呈現(xiàn)開發(fā)，同時支持對教學(xué)的建模及比賽；支持分布式負(fù)載均衡設(shè)計架構(gòu)，支持高并發(fā)，接口支撐不受單個程序異常的影響；平臺具有多角色和訂閱，用戶界面中可選擇角色，按角色呈現(xiàn)首頁內(nèi)容。支持可根據(jù)角色權(quán)限

27、，自主訂閱KPI指標(biāo)和大數(shù)據(jù)儀表盤，并可以可手動調(diào)整頁面布局。投標(biāo)時提供中國軟件測評中心對該功能的軟件測試報告（需原廠蓋章確認(rèn)）4.2.9智能數(shù)據(jù)安全：提供統(tǒng)一的安全管理平臺，對整體系統(tǒng)平臺進(jìn)行策略定制、身份驗證、漏洞掃描、強弱口令檢查等功能；提供用戶名、密碼及USBkey的多認(rèn)證組合的安全驗證方式。提供rdma、syscache、IB網(wǎng)絡(luò)等安全策略自定義功能；提供數(shù)據(jù)劃分和隔離功能，提供對數(shù)據(jù)的多維度審計、訪問記錄分析等功能；提供訪問權(quán)限控制及授權(quán)管理，提供敏感信息監(jiān)控及異常訪問檢測，實現(xiàn)異常訪問的自動阻斷與預(yù)警，提供安全及訪問溯源；提供數(shù)據(jù)多副本冗余存儲，網(wǎng)絡(luò)的多鏈路冗余技術(shù)，保證數(shù)據(jù)及存

28、儲的安全性；提供用戶管理體系和管理平臺，提供多用戶，多租戶的權(quán)限及安全管理，以圖形化方式對用戶的權(quán)限及角色進(jìn)行增刪查改等；提供數(shù)據(jù)的加密及脫敏存儲功能。教師個人數(shù)據(jù)中心技術(shù)要求為每個教師提供個人數(shù)據(jù)分析的展示平臺，全面掌握自己在校期間在校教學(xué)、科研成就、圖書借閱、在校消費等，整個教師生命周期的綜合業(yè)務(wù)查詢與統(tǒng)計分析，并對教師進(jìn)行個人數(shù)據(jù)畫像。對校內(nèi)教務(wù)系統(tǒng)，一卡通系統(tǒng)、人事系統(tǒng)、科研系統(tǒng)、圖書借閱系統(tǒng)數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取，并針對不同業(yè)務(wù)系統(tǒng)定制抽取方式及工具箱；提供數(shù)據(jù)采取后的標(biāo)準(zhǔn)化及數(shù)據(jù)治理和清洗及按照模型的標(biāo)準(zhǔn)數(shù)據(jù)建立模型數(shù)據(jù)庫；建立教師個人微觀數(shù)據(jù)倉庫，針對不同部門的需求和權(quán)限，自動生成教師

29、個人的數(shù)據(jù)畫像。教師個人數(shù)據(jù)中心內(nèi)容包括：教師個人基本信息、科研成果、項目、教學(xué)情況、榮譽獎勵、圖書借閱、校內(nèi)消費等內(nèi)容；教師個人數(shù)據(jù)中心以圖形化B/S的架構(gòu)進(jìn)行展示，使用教師工號進(jìn)行登陸提學(xué)生個人數(shù)據(jù)中心技術(shù)要求為每個學(xué)校學(xué)生提供個人數(shù)據(jù)分析的展示平臺，全面掌握自己在校期間上網(wǎng)、消費、學(xué)習(xí)、圖書借閱等各類情況，從而更加全面和客觀的了解自己，更好的規(guī)劃未來的大學(xué)生活；對校內(nèi)教務(wù)信息，一卡通信息、上網(wǎng)行為審計、門禁系統(tǒng)等管理類業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取，并針對不同業(yè)務(wù)系統(tǒng)定制抽取方式及工具箱；提供數(shù)據(jù)采取后的標(biāo)準(zhǔn)化及數(shù)據(jù)治理和清洗及按照模型的標(biāo)準(zhǔn)數(shù)據(jù)建立模型數(shù)據(jù)庫；建立學(xué)生個人微觀數(shù)據(jù)倉庫，包含

30、學(xué)生姓名，性別、學(xué)號、院系、專業(yè)、班級、民族、來源地、身份證號、入學(xué)時間、畢業(yè)中學(xué)、出生日期、政治面貌、籍貫、專業(yè)、電話、E-Mail、消費卡號、網(wǎng)絡(luò)帳號等信息指標(biāo)項，并以圖形化或表格的形式充分展示；支持查看學(xué)生獎助學(xué)金情況，包括學(xué)生獎助學(xué)金獲得情況、各類獎懲情況等通過數(shù)據(jù)建模分析，建立包含學(xué)期、課程名稱、授課老師、學(xué)分、周學(xué)時、周次、課程性質(zhì)等指標(biāo)的學(xué)生個人課程模型，實現(xiàn)以表的形式呈現(xiàn)；以日歷矩陣的方式呈現(xiàn)學(xué)生學(xué)期課程列表，以周為時間維度呈現(xiàn)，并提供分類選擇入口，為方便學(xué)生使用，平臺需提供以學(xué)期和周為選擇單位的選擇入口；集學(xué)生課程信息、成績信息、以及同專業(yè)學(xué)生成績信息等，實現(xiàn)對學(xué)生在校成績的

31、趨勢分析；按照在校全量時間、學(xué)期時間維度的學(xué)生學(xué)習(xí)成績的分析及詳細(xì)數(shù)據(jù)呈現(xiàn)，呈現(xiàn)維度至少包含學(xué)期、科目開課學(xué)院、性質(zhì)、學(xué)分、成績、是否重修、績點、成績分布登記、成績同專業(yè)排名、合格率、平均分、分布標(biāo)準(zhǔn)差等指標(biāo)信息；提供成績展示詳情可編輯接口，學(xué)生可定制每次查看信息條數(shù)，提供信息分頁統(tǒng)計及當(dāng)前信息展示頁數(shù)；以條形圖的方式展示學(xué)生學(xué)習(xí)成績，以課程科目為橫軸、成績?yōu)榭v軸分析呈現(xiàn)方式，每個課程展示包含最高分、最低分及分?jǐn)?shù)多個維度信息，可直觀清晰的呈現(xiàn)學(xué)生當(dāng)前科目在整個學(xué)科中的成績狀態(tài)以學(xué)期為單位的平均成績走勢圖，通過分析學(xué)生總體學(xué)期課程全量平均成績繪制總體平均成績水平線，分析個人學(xué)期全量平均成績，清晰

32、展示學(xué)生學(xué)期成績走勢及平均分?jǐn)?shù)；通過采集碎片化的采集學(xué)生上網(wǎng)信息，挖掘出學(xué)生網(wǎng)絡(luò)使用習(xí)慣和課余知識涉及范圍等信息，分析學(xué)生網(wǎng)絡(luò)學(xué)習(xí)行為及學(xué)習(xí)興趣；采集學(xué)校上網(wǎng)行為審計及上網(wǎng)認(rèn)證信息，對學(xué)生上網(wǎng)行為進(jìn)行分析，發(fā)現(xiàn)學(xué)生上網(wǎng)偏好、上網(wǎng)內(nèi)容分布及歷史上網(wǎng)流量和上網(wǎng)時長情況，分析學(xué)生網(wǎng)絡(luò)使用習(xí)慣；分析學(xué)生上網(wǎng)時長、上網(wǎng)流量，呈現(xiàn)包括上線時間、在線時長等數(shù)據(jù)，從而達(dá)到分析學(xué)生是否存在上課時間或者深夜上網(wǎng)行為；分析學(xué)生上網(wǎng)訪問內(nèi)容分布情況，展示學(xué)生網(wǎng)絡(luò)使用重點，促進(jìn)學(xué)生合理正確的使用網(wǎng)絡(luò)；提供以月、周、日為時間粒度的網(wǎng)絡(luò)使用詳情展示列表，展示維度至少包括上線時間、在線時長、產(chǎn)生流量多少；并可自定義數(shù)據(jù)每頁展

33、示條數(shù)；提供上網(wǎng)統(tǒng)計量的按月查詢功能，通過選擇時間查詢當(dāng)前月的上網(wǎng)信息記錄；提供以日、周、月為粒度的學(xué)生消費信息的分析及展示，提供基于月的方式查詢學(xué)生在校消費記錄，并提供前一月、后一月的直接跳轉(zhuǎn)功能，信息展示至少包含消費時間、消費地點、消費金額等信息；通過自動獲得校園內(nèi)商店及食堂名稱及分布，并分析學(xué)生在對應(yīng)商店或食堂消費，并展示食堂消費占比及具體消費金額；提供以日消費總量流水為粒度的消費趨勢折線圖，并根據(jù)選擇時間段內(nèi)的平均消費繪制消費水平線，體現(xiàn)消費能力，圖表提供可調(diào)節(jié)展示內(nèi)容粒度的功能；學(xué)生畫像應(yīng)用技術(shù)要求根據(jù)用戶的特性和行為數(shù)據(jù)建立標(biāo)簽，通過收集與分析學(xué)生基礎(chǔ)信息、生活習(xí)慣、消費行為、學(xué)習(xí)

34、行為等主要信息的數(shù)據(jù)構(gòu)建學(xué)生行為畫像，同時提供學(xué)生個人行為畫像、班級行為畫像、院系行為畫像分析功能；提供院系行為畫像功能，基于全校所有院系學(xué)生畫像數(shù)據(jù)進(jìn)行標(biāo)簽化展示，可讓管理者直觀地了解各院系學(xué)生的學(xué)習(xí)、生活、習(xí)慣等情況；提供班級行為畫像描繪功能，可以實現(xiàn)多維度勾勒各班級的整體畫像。綜合班級整體畫像形成學(xué)院整體畫像；提供學(xué)生個人標(biāo)簽管理功能，可以根據(jù)學(xué)生消費、學(xué)習(xí)、上網(wǎng)情況，貼上每個學(xué)生的個性化標(biāo)簽，每個標(biāo)簽可根據(jù)行為程度劃分多個級別提供基于成績、專業(yè)特長、運動能力維度的綜合數(shù)據(jù)分析，展示優(yōu)秀學(xué)生機不同類型學(xué)生的院系分布；提供展示內(nèi)容包含院系人數(shù)、男女分布、平均成績、綜合素質(zhì)、學(xué)霸數(shù)、掛科人數(shù)

35、、綜合告警等維度的數(shù)據(jù)行為畫像；提供以學(xué)院名稱、系別名稱、專業(yè)名稱、年級為查詢維度的院系行為畫像展示功能；提供個人畫像描繪功能，根據(jù)每個學(xué)生行為情況，勾勒每個學(xué)生的畫像?；诎嗉墐?nèi)同學(xué)的個人畫像，綜合班級核心評價指標(biāo)形成班級整體畫像功能，維度至少包含人員、成績、綜合素質(zhì)、預(yù)警數(shù)量等；實現(xiàn)鉆取功能，實現(xiàn)查看班級人員數(shù)、男女比、學(xué)院基本情況、整體學(xué)習(xí)情況、綜合素質(zhì)情況、平均成績、學(xué)霸數(shù)、掛科人次、平均網(wǎng)絡(luò)使用量、預(yù)警及失聯(lián)告警數(shù)等功能；提供標(biāo)簽匹配功能，綜合學(xué)生學(xué)習(xí)、專業(yè)特長、網(wǎng)絡(luò)、愛好等多位度信息，實現(xiàn)為班級每個學(xué)生自動標(biāo)簽功能；提供可自定義排名維度的班級學(xué)生畫像查詢對比功能；提供以學(xué)習(xí)、生活行

36、為為標(biāo)簽及標(biāo)簽等級劃分功能提供行為習(xí)慣標(biāo)簽庫如學(xué)霸、購物達(dá)人、網(wǎng)迷、圖書達(dá)人等，并根據(jù)實際行為匹配標(biāo)準(zhǔn)標(biāo)簽?zāi)Ｐ?，實現(xiàn)個人行為標(biāo)簽標(biāo)記；提供展示學(xué)生專業(yè)能力、外語水平、身心素質(zhì)等綜合素質(zhì)發(fā)展趨勢，提供預(yù)警數(shù)量、學(xué)生成績、綜合素質(zhì)的分?jǐn)?shù)及排名；以學(xué)生的成績、課程、出勤、消費、網(wǎng)絡(luò)習(xí)慣、校園軌跡等信息，對比綜合素質(zhì)評價體系與個人算法模型，構(gòu)建學(xué)生多個綜合技能維度綜合素質(zhì)的雷達(dá)圖；提對學(xué)生從招生到成為校友的全過程業(yè)務(wù)數(shù)據(jù)綜合展示，包括學(xué)生的在校學(xué)習(xí)、業(yè)余活動、在校社團、圖書借閱、食堂消費、住宿情況等，綜合預(yù)警分析技術(shù)要求基于學(xué)生積累的個人數(shù)據(jù)，包括但不限于校園卡消費刷卡、門禁考勤數(shù)據(jù)、教學(xué)、軌跡、成績

37、、校園網(wǎng)絡(luò)使用數(shù)據(jù)等建立分析模型，對學(xué)生學(xué)業(yè)異常、行為異常、失聯(lián)等進(jìn)行預(yù)警；綜合預(yù)警推廣模式支持利用移動統(tǒng)一消息發(fā)送平臺進(jìn)行信息推送和異常預(yù)警。對學(xué)校門禁、一通、WIFI、有線網(wǎng)絡(luò)、教務(wù)系統(tǒng)、上網(wǎng)認(rèn)證、網(wǎng)絡(luò)審計、DHCP等系統(tǒng)源數(shù)據(jù)進(jìn)行采集、清洗、存儲及分析；提供基于大數(shù)據(jù)分析的學(xué)生成績異常、行為異常、低消費、失聯(lián)等預(yù)警內(nèi)容提供關(guān)愛周報和關(guān)愛月報功能，包括學(xué)生上周/月的各類數(shù)據(jù)統(tǒng)計，對比全校學(xué)生整體數(shù)據(jù)情況反映學(xué)生成長狀況；系統(tǒng)根據(jù)模型自動判斷預(yù)警嚴(yán)重級別，預(yù)警由嚴(yán)重到輕微分為多個等級并使用不同的顏色標(biāo)記；提供查看預(yù)警歷史功能，可以進(jìn)行預(yù)警配置?？梢宰孕刑幚眍A(yù)警信息，包括核實過預(yù)警原因后，改變

38、未處理預(yù)警的狀態(tài)，將預(yù)警改提供可以綜合分析學(xué)生信息產(chǎn)生的體量及產(chǎn)生的時間，對于默認(rèn)一天以上未產(chǎn)生任何有價值數(shù)據(jù)的學(xué)生，會提前給予“失聯(lián)預(yù)警”給相關(guān)負(fù)責(zé)人員；可以通過綜合分析學(xué)生課表信息、學(xué)生行為軌跡信息預(yù)測逃課學(xué)生，會提前給予“逃課預(yù)警“給相關(guān)負(fù)責(zé)人員；可以通過綜合分析宿舍門禁及校內(nèi)WIFI軌跡數(shù)據(jù)，在學(xué)校自定義的時間點內(nèi)，若學(xué)生未回到宿舍位置，會提前給予“逃課預(yù)警“給相關(guān)負(fù)責(zé)人員；可以通過全校的平均消費情況，按照周、月、學(xué)期進(jìn)行統(tǒng)計分析，對于校內(nèi)消費過低的學(xué)生，會提前給予“消費預(yù)警“給相關(guān)負(fù)責(zé)人員；可以通過學(xué)生校園內(nèi)消費情況分析學(xué)生消費能力及消費行為，實現(xiàn)經(jīng)濟困難預(yù)警，消費過勝預(yù)警功能；可以

39、通過學(xué)生的上網(wǎng)時長、課程表、在校上網(wǎng)情況，對凌晨沉迷上網(wǎng)、上網(wǎng)時間過長、連續(xù)打游戲等沉迷上網(wǎng)情況，實現(xiàn)預(yù)防網(wǎng)絡(luò)防沉迷，逃課上網(wǎng)預(yù)警功能，提供學(xué)生失聯(lián)、網(wǎng)絡(luò)、消費、貧困生多種預(yù)警；提供預(yù)警跟蹤和旗標(biāo)功能，為重要告警進(jìn)行重要標(biāo)記提供按告警類別分類告警查看及處理提供按預(yù)警級別及預(yù)警處理狀態(tài)的預(yù)警信息查詢實現(xiàn)預(yù)警跟蹤、預(yù)警處理及狀態(tài)跟蹤功能，實現(xiàn)自定義告警原因及異常不告警周期提供預(yù)警日志記錄功能，保存所有告警信息，支持歷史預(yù)警信息的查詢提供預(yù)警產(chǎn)生詳情查看功能及預(yù)警配置功能，實現(xiàn)自定義預(yù)警級別及預(yù)警閥值行為軌跡分析技術(shù)要求通過校園智能一通、Wi-Fi大數(shù)據(jù)服務(wù)平臺建設(shè)，實現(xiàn)一通、WiFi與校內(nèi)地圖結(jié)合，實現(xiàn)對學(xué)生行為軌跡分析，提供全校人流熱力分布、分類用戶人流熱力分布、個