智慧校園高校大數(shù)據(jù)解決方案高校大數(shù)據(jù)整體解決方案

1、高校大數(shù)據(jù)整（校園大數(shù)據(jù)）目錄第1章 前言 81.1、 大數(shù)據(jù)發(fā)展分析 91.1.1、 大數(shù)據(jù)定義 91.1.2、 大數(shù)據(jù)5v特征及其應(yīng)用 101.2、 高校大數(shù)據(jù)建設(shè)背景 111.2.1、 戰(zhàn)略機(jī)遇111.2.2、 大數(shù)據(jù)產(chǎn)業(yè)政策支持 121.3、 高校大數(shù)據(jù)建設(shè)面臨問題 131.3.1、 高校大數(shù)據(jù)應(yīng)用分析 131.3.1.1、 數(shù)據(jù)規(guī)模日益龐大 131.3.1.2、 缺乏穩(wěn)定高效的大數(shù)據(jù)環(huán)境 141.3.1.3、 數(shù)據(jù)利用不充分 141.3.1.4、 數(shù)據(jù)驅(qū)動帶來的科研新挑戰(zhàn) 141.3.2、 高校大數(shù)據(jù)數(shù)據(jù)源分析 141.3.2.1、 數(shù)據(jù)涉及面窄 141.3.2.2、 有效數(shù)據(jù)量少

2、151.3.2.3、 數(shù)據(jù)接口不完善 151.3.3、 高校大數(shù)據(jù)服務(wù)用戶分析 151.3.4、 高校大數(shù)據(jù)建設(shè)責(zé)任制問題 161.3.4.1、 校領(lǐng)導(dǎo) 161.3.4.2、 教師 171.3.4.3、 學(xué)生 171.3.4.4、 家長 171.3.4.5、 校園環(huán)境 171.3.4.6、 教學(xué)管理與服務(wù) 171.3.4.7、 社會 171.4、 建設(shè)原則181.4.1、 安全性181.4.2、 可擴(kuò)展性181.4.3、 靈活性181.5、 建設(shè)目標(biāo)181.5.1、 實(shí)現(xiàn)數(shù)據(jù)的共享和交換 181.5.2、 大數(shù)據(jù)的采集和存儲 191.5.3、 大數(shù)據(jù)分析與決策 191.6、 高校大數(shù)據(jù)平臺建設(shè)

3、意義 191.6.1、 實(shí)現(xiàn)個(gè)性化學(xué)習(xí) 191.6.2、 實(shí)現(xiàn)教育評價(jià)體系重構(gòu) 201.6.3、 實(shí)現(xiàn)科學(xué)研究范式轉(zhuǎn)型 201.6.4、 開啟“大數(shù)據(jù) 創(chuàng)客”新模式201.6.5、 實(shí)現(xiàn)教學(xué)模式改革 201.6.6、 實(shí)現(xiàn)科學(xué)化教育管理 20第2章高校大數(shù)據(jù)云平臺建設(shè) 222.1、 高校大數(shù)據(jù)架構(gòu) 222.1.1、 基礎(chǔ)硬件層 232.1.2、 數(shù)據(jù)集成232.1.3、 數(shù)據(jù)計(jì)算與分析挖掘 232.1.4、 數(shù)據(jù)安全232.1.5、 服務(wù)器集群 242.1.6、 大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn) 242.1.7、 大數(shù)據(jù)數(shù)據(jù)中心 242.1.8、 大數(shù)據(jù)業(yè)務(wù)開發(fā)平臺 252.1.9、 大數(shù)據(jù)業(yè)務(wù)可視化分析 25

4、2.2、 高校大數(shù)據(jù)平臺標(biāo)準(zhǔn)體系 252.2.1、 基礎(chǔ)標(biāo)準(zhǔn)272.2.2、 數(shù)據(jù)表示標(biāo)準(zhǔn) 272.2.3、 數(shù)據(jù)處理標(biāo)準(zhǔn) 282.2.4、 數(shù)據(jù)存儲標(biāo)準(zhǔn) 282.2.5、 大數(shù)據(jù)服務(wù)標(biāo)準(zhǔn) 282.2.6、 大數(shù)據(jù)安全和隱私標(biāo)準(zhǔn) 282.2.7、 行業(yè)大數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn) 292.2.8、 大數(shù)據(jù)產(chǎn)品測試標(biāo)準(zhǔn) 292.3、 高校大數(shù)據(jù)業(yè)務(wù)開發(fā)平臺 292.3.1、 高校大數(shù)據(jù)業(yè)務(wù)開發(fā)平臺架構(gòu)圖 302.3.2、 大數(shù)據(jù)數(shù)據(jù)中心 302.3.3、 大數(shù)據(jù)業(yè)務(wù)平臺層 312.3.3.1、 組件 322.3.3.2、 大數(shù)據(jù)處理引擎 322.3.3.3、 APP 322.3.3.4、 BI 引擎 322.

5、4、 高校大數(shù)據(jù)平臺建設(shè)關(guān)鍵技術(shù) 332.4.1、 Hadoop 技術(shù)332.4.2、 HDFS 技術(shù)342.4.3、 MapReduce 技術(shù)342.5、 高校大數(shù)據(jù)平臺建設(shè)效果 352.5.1、 開展大數(shù)據(jù)頂層設(shè)計(jì)，以大數(shù)據(jù)應(yīng)用全面推進(jìn)學(xué)校發(fā)展 362.5.2、 快速推進(jìn)教學(xué)和管理工作的信息化，建立豐富的數(shù)據(jù)來源 362.5.3、 基于個(gè)性化服務(wù)需求，建立大數(shù)據(jù)分析模型 372.5.4、 綜合應(yīng)用大數(shù)據(jù)成果，推動學(xué)校全面創(chuàng)新 372.6、 高校常見業(yè)務(wù)系統(tǒng) 382.7、 高校大數(shù)據(jù)服務(wù)用戶類型 412.7.1、 校領(lǐng)導(dǎo)412.7.2、 院領(lǐng)導(dǎo)412.7.3、 校工會 412.7.4、 設(shè)備

6、處 422.7.5、 圖書館 422.7.6、 校醫(yī)院422.7.7、 老師432.7.8、 學(xué)生432.7.9、 企業(yè)43第3章高校大數(shù)據(jù)應(yīng)用 443.1、 大數(shù)據(jù)教學(xué)創(chuàng)新應(yīng)用 453.1.1、 教學(xué)質(zhì)量評估 453.1.2、 上網(wǎng)行為463.1.3、 學(xué)生成績分析 463.2、 大數(shù)據(jù)科研創(chuàng)新應(yīng)用 473.2.1、 科研成果 473.2.2、 科研項(xiàng)目483.2.3、 科研經(jīng)費(fèi)493.3、 大數(shù)據(jù)管理創(chuàng)新應(yīng)用 493.3.1、 招生分析493.3.2、 就業(yè)分析503.3.3、 住宿分析513.3.4、 資產(chǎn)數(shù)據(jù)統(tǒng)計(jì)分析 513.4、 大數(shù)據(jù)創(chuàng)新應(yīng)用 523.4.1、 學(xué)生軌跡分析 523

7、.4.2、 學(xué)生畫像533.5、 高校大數(shù)據(jù)建設(shè)模塊 543.6、 學(xué)校概況模塊 543.6.1、 全校一甘通消費(fèi)情況 553.6.2、 學(xué)生生源分布地圖 553.6.3、 教師職稱統(tǒng)計(jì)圖 563.6.4、 各學(xué)院學(xué)歷分布圖 563.6.5、 全校學(xué)歷分布情況 573.6.6、 全校成績統(tǒng)計(jì)圖 573.6.7、 全校/各院學(xué)生綜合分析 583.6.8、 各院逃課率占比 583.6.9、 全校上網(wǎng)信息 583.6.10、 學(xué)校輿情情況 593.6.11、 各省成績分布圖 593.6.12、 綜合預(yù)警平臺 593.7、 我的大學(xué)模塊603.7.1、 學(xué)生成績詳情分析 603.7.2、 學(xué)生圖書借閱

8、分析 613.7.3、 學(xué)生詳細(xì)當(dāng)前借閱信息 613.7.4、 學(xué)生課程表 623.7.5、 我的消費(fèi)623.7.6、 我的網(wǎng)絡(luò)633.8、 行為畫像模塊 643.9、 綜合預(yù)警模塊 653.10、 輿情分析模塊 663.11、 招生就業(yè)模塊673.12、 數(shù)據(jù)安全模塊69第1章前言大數(shù)據(jù)正在逐漸成為社會基礎(chǔ)設(shè)施，成為每一家組織機(jī)構(gòu)的標(biāo) 配?！按髷?shù)據(jù)”之“大”，更多的意義在于：人類可以“分析和利用” 的數(shù)據(jù)在大量增加，通過這些數(shù)據(jù)的交換、整合和分析，人類可以發(fā) 現(xiàn)新的知識，創(chuàng)造新的價(jià)值，并讓很多常態(tài)化的認(rèn)知、判斷、思維定 式、產(chǎn)品形態(tài)、服務(wù)模式，形成全新的面貌和演進(jìn)方向。大數(shù)據(jù)已經(jīng)引起國際社會

9、的高度重視，世界各國都在加快推進(jìn)大 數(shù)據(jù)戰(zhàn)略布局。大數(shù)據(jù)產(chǎn)業(yè)已上升至國家戰(zhàn)略高度， 正日益滲透到經(jīng) 濟(jì)發(fā)展和社會生活的方方面面。2015年9月5日，國務(wù)院發(fā)布促進(jìn)大數(shù)據(jù)發(fā)展行動綱要，文件指出 數(shù)據(jù)已經(jīng)成為國家基礎(chǔ)性戰(zhàn)略資源”，并在啟動的十大工程之一 公共服務(wù)大數(shù)據(jù)工程”中明確提出要建 設(shè)教育文化大數(shù)據(jù)。教育大數(shù)據(jù)已經(jīng)上升到國家戰(zhàn)略層面，引起社會各界的廣泛關(guān)注 和高度重視。教育大數(shù)據(jù)將首先破解傳統(tǒng)教育面臨的六大難題 （發(fā)展 不均衡難題、方式單調(diào)化難題、信息隱形化難題、決策粗放化難題、 擇校感性化難題、就業(yè)盲目化難題），助推教育的全方位變革與創(chuàng)新 發(fā)展。確立教育大數(shù)據(jù)在我國教育事業(yè)發(fā)展與改革中的戰(zhàn)

10、略地位已是 國家教育現(xiàn)代化建設(shè)的必然要求。教育大數(shù)據(jù)是重要的國家戰(zhàn)略資 產(chǎn)、教育領(lǐng)域綜合改革的科學(xué)力量與發(fā)展智慧教育的基石。人類社會已經(jīng)迎來“大數(shù)據(jù)時(shí)代”。培養(yǎng)大數(shù)據(jù)人才、利用高校 大數(shù)據(jù)深化高校管理促進(jìn)高校改革發(fā)展、使用大數(shù)據(jù)平臺提高高?？?研水平和效率，既是高校面臨的重要任務(wù)，也是高校發(fā)展的戰(zhàn)略機(jī)遇。1.1、 大數(shù)據(jù)發(fā)展分析1.1.1、 大數(shù)據(jù)定義大數(shù)據(jù)（Bigdata ）是一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，需要使用新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適 應(yīng)這種海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)能夠幫助我們洞

11、 見隱藏在巨量、雜亂的大數(shù)據(jù)背后的知識、真相和行為，通過挖掘數(shù) 據(jù)的潛在價(jià)值，透析過去，預(yù)測未來。已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代，數(shù)據(jù)規(guī)模由GB級上升到了 ZB級©甄誦11博美 Titf*甫，力再生或計(jì)“ WTl4it 晨訊里通I戶上的舊*網(wǎng)升* r»囊4堂，：1可用, 肥包 N*l.玨計(jì)詛， 年;大基因國(1槨通1曰F8為演,國W比索公交心交一卡嗎舌事*«MS3!. " I +萬盤“風(fēng)茹口/1AM* = 101i, iur年爸制文青鍬行中山大學(xué),日才鼻4W.WSflCMll E去大山且wsawwiin樽松t.jti用 a壬品域聞加電問M H17 *T !Q1.1.

12、2、 大數(shù)據(jù)5v特征及其應(yīng)用大量化(Volume)存儲量大，可從數(shù)百TB到PB、甚至EB的規(guī)模多樣性(Variety)來源廣、格式多，包括各種格式和形態(tài)的數(shù)據(jù)時(shí)效性(Velocity)在一定的時(shí)間限度下得到及時(shí)處理準(zhǔn)確性(Veracity)處理的結(jié)果要保證一定的準(zhǔn)確性價(jià)值(Value)大數(shù)據(jù)分析挖掘和利用將帶來巨大的商業(yè)價(jià)值1.2、 高校大數(shù)據(jù)建設(shè)背景1.2.1、 戰(zhàn)略機(jī)遇培養(yǎng)大數(shù)據(jù)人才、利用高校大數(shù)據(jù)深化高校管理促進(jìn)高校改革發(fā) 展、使用大數(shù)據(jù)平臺提高高校科研水平和效率， 既是高校面臨的重要 任務(wù)，也是高校發(fā)展的戰(zhàn)略機(jī)遇。大數(shù)據(jù)正在逐漸成為社會基礎(chǔ)設(shè)施，成為每一家組織機(jī)構(gòu)的標(biāo) 配。“大數(shù)據(jù)”之

13、“大”，更多的意義在于：人類可以“分析和利用” 的數(shù)據(jù)在大量增加，通過這些數(shù)據(jù)的交換、整合和分析，人類可以發(fā) 現(xiàn)新的知識，創(chuàng)造新的價(jià)值，并讓很多常態(tài)化的認(rèn)知、判斷、思維定 式、產(chǎn)品形態(tài)、服務(wù)模式，形成全新的面貌和演進(jìn)方向。大數(shù)據(jù)已經(jīng)引起國際社會的高度重視，世界各國都在加快推進(jìn)大 數(shù)據(jù)戰(zhàn)略布局。大數(shù)據(jù)產(chǎn)業(yè)已上升至國家戰(zhàn)略高度， 正日益滲透到經(jīng) 濟(jì)發(fā)展和社會生活的方方面面。2015年9月5日，國務(wù)院發(fā)布促 進(jìn)大數(shù)據(jù)發(fā)展行動綱要，文件指出 數(shù)據(jù)已經(jīng)成為國家基礎(chǔ)性戰(zhàn)略資 源”，并在啟動的十大工程之一 “公共服務(wù)大數(shù)據(jù)工程”中明確提出 要建設(shè)教育文化大數(shù)據(jù)。教育大數(shù)據(jù)已經(jīng)上升到國家戰(zhàn)略層面，引起社會各界

14、的廣泛關(guān)注 和高度重視。教育大數(shù)據(jù)將首先破解傳統(tǒng)教育面臨的六大難題（發(fā)展不均衡難題、方式單調(diào)化難題、信息隱形化難題、決策粗放化難題、 擇校感性化難題、就業(yè)盲目化難題），助推教育的全方位變革與創(chuàng)新 發(fā)展。確立教育大數(shù)據(jù)在我國教育事業(yè)發(fā)展與改革中的戰(zhàn)略地位已是 國家教育現(xiàn)代化建設(shè)的必然要求。教育大數(shù)據(jù)是重要的國家戰(zhàn)略資 產(chǎn)、教育領(lǐng)域綜合改革的科學(xué)力量與發(fā)展智慧教育的基石。人類社會已經(jīng)迎來 大數(shù)據(jù)時(shí)代培養(yǎng)大數(shù)據(jù)人才、利用高校大 數(shù)據(jù)深化高校管理促進(jìn)高校改革發(fā)展、 使用大數(shù)據(jù)平臺提高高校科研 水平和效率，既是高校面臨的重要任務(wù)，也是高校發(fā)展的戰(zhàn)略機(jī)遇。1.2.2、 大數(shù)據(jù)產(chǎn)業(yè)政策支持目前政策對大數(shù)據(jù)的

15、支持力度正不斷提升， 大數(shù)據(jù)已上升至國家戰(zhàn)略。自去年3月大數(shù)據(jù)”首次出現(xiàn)在政府工作報(bào)告中以來，國務(wù)院常務(wù)會議一年內(nèi)6次提及大數(shù)據(jù)運(yùn)用。在6月17日的國務(wù)院常務(wù)會議上，總理李克強(qiáng)再次強(qiáng)調(diào)大數(shù)據(jù)運(yùn)用的重要性。7月1日，國務(wù)院辦公廳印發(fā)了關(guān)于運(yùn)用大數(shù)據(jù)加強(qiáng)對市場主體服務(wù)和監(jiān)管的若 干意見。9月5日電 經(jīng)李克強(qiáng)總理簽批，國務(wù)院日前印發(fā)促進(jìn)大數(shù)據(jù) 發(fā)展行動綱要，系統(tǒng)部署大數(shù)據(jù)發(fā)展工作。其中，也提到了教育大 數(shù)據(jù)系統(tǒng)的建設(shè)。2015年12月21日，中國基礎(chǔ)教育大數(shù)據(jù)發(fā)展白皮書首次 研討會在京召開，對全國教育大數(shù)據(jù)的建設(shè)給予探索和指導(dǎo)參考意 義。1.3、 高校大數(shù)據(jù)建設(shè)面臨問題1.3.1、 高校大數(shù)據(jù)應(yīng)用分

16、析高校作為高科技人才以及創(chuàng)新技術(shù)的搖籃， 承載著科研攻關(guān)和人 才培養(yǎng)的雙重使命。在新的科技浪潮中，高校應(yīng)瞄準(zhǔn)時(shí)代最前沿，將 教學(xué)科研創(chuàng)新、專業(yè)人才培養(yǎng)與大數(shù)據(jù)緊密融合在一起，在更高起點(diǎn) 上推動學(xué)校在大數(shù)據(jù)教學(xué)、科研以及創(chuàng)新方面再上新臺階。1.3.1.1、 數(shù)據(jù)規(guī)模日益龐大數(shù)據(jù)來源多元化，共享數(shù)據(jù)庫涵蓋系統(tǒng)多，高校生源不斷擴(kuò)張， 信息不斷積累，致使數(shù)據(jù)庫中的信息不斷增加，進(jìn)而為數(shù)據(jù)挖掘、管 理和分析帶來了困難。1.3.1.2、 缺乏穩(wěn)定高效的大數(shù)據(jù)環(huán)境高校不同學(xué)科與專業(yè)采用的大數(shù)據(jù)環(huán)境大多依賴現(xiàn)有的 IT環(huán)境, 導(dǎo)致大數(shù)據(jù)運(yùn)行的基礎(chǔ)軟硬件環(huán)境比較混亂且極其不穩(wěn)定， 缺乏有效 的運(yùn)維管理，嚴(yán)重影響

17、教學(xué)和科研工作的正常進(jìn)行。1.3.1.3、 數(shù)據(jù)利用不充分校園的信息仍然停留在收集和累積階段，盡管移動終端系統(tǒng)的不 斷發(fā)展為信息采集帶來了極大的便利，但采集后的數(shù)據(jù)僅僅停留在查 詢階段，并沒有對數(shù)據(jù)進(jìn)行整合、分析和梳理，使得這些信息仍未被 管理者采用，作為決策依據(jù)的信息則少之又少。1.3.1.4、 數(shù)據(jù)驅(qū)動帶來的科研新挑戰(zhàn)數(shù)據(jù)劇增由量變引起質(zhì)變，使科研人員的思維和行為模式在傳統(tǒng) 的學(xué)科研究領(lǐng)域發(fā)生轉(zhuǎn)變。如何借助大數(shù)據(jù)相關(guān)技術(shù)以及資源，找到本學(xué)科研究成果的新視角，已經(jīng)成為當(dāng)前高校研究的重要課題。1.3.2、 高校大數(shù)據(jù)數(shù)據(jù)源分析1.3.2.1、 數(shù)據(jù)涉及面窄主要是數(shù)字化校園系統(tǒng)產(chǎn)生數(shù)據(jù)數(shù)據(jù)的維度

18、少，業(yè)務(wù)來源不足1.3.2.2、 有效數(shù)據(jù)量少數(shù)據(jù)量百GB到幾TB,數(shù)據(jù)量少以結(jié)構(gòu)化數(shù)據(jù)為主，達(dá)不到大數(shù)據(jù)要求1.3.2.3、 數(shù)據(jù)接口不完善部份數(shù)據(jù)源有錯誤，數(shù)據(jù)不一致業(yè)務(wù)接口與數(shù)據(jù)結(jié)構(gòu)不規(guī)范1.3.3、 高校大數(shù)據(jù)服務(wù)用戶分析高校類似一個(gè)小社會，用戶群體較多，各部門都存在大數(shù)據(jù)需求, 而關(guān)注的內(nèi)容會有較大的區(qū)別。比如校領(lǐng)導(dǎo)關(guān)注全?；A(chǔ)數(shù)據(jù)和總體 情況，用于戰(zhàn)略決策與發(fā)展評估。管理部門關(guān)注學(xué)生的生活、消費(fèi)和 心理狀態(tài)。教學(xué)部門關(guān)注學(xué)生成績情況、教師教學(xué)質(zhì)量和學(xué)生滿意度 等。因此，這些特點(diǎn)決定了高教大數(shù)據(jù)的應(yīng)用模塊和類型會比較豐富。1.3.4、 高校大數(shù)據(jù)建設(shè)責(zé)任制問題高校的特點(diǎn)是數(shù)量據(jù)并不算

19、大，幾萬人規(guī)模的數(shù)據(jù)比起我們之前 參與的電信幾百萬人的規(guī)模來說不算大， 但數(shù)據(jù)源豐富，而且重視數(shù) 據(jù)關(guān)聯(lián)分析?，F(xiàn)階段有些高校的大數(shù)據(jù)是由某些學(xué)院自已在搞，沒有從全校的層面來進(jìn)行統(tǒng)一部署，數(shù)據(jù)處于割裂的狀態(tài)，大數(shù)據(jù)價(jià)值不明顯。高 校大數(shù)據(jù)在很多學(xué)校屬于一把手工程， 需要由學(xué)校高層領(lǐng)導(dǎo)牽頭，協(xié) 調(diào)和部門的數(shù)據(jù)，并進(jìn)行統(tǒng)一的頂層設(shè)計(jì)和全校規(guī)劃，由具體的單位 比如網(wǎng)絡(luò)中心來落地建設(shè)。1.3.4.1、 校領(lǐng)導(dǎo)決策更加科學(xué)1.3.4.2、 教師教學(xué)更加便捷教學(xué)水平提升1.3.4.3、 學(xué)生隨時(shí)隨地個(gè)性化學(xué)習(xí)。1.3.4.4、 家長及時(shí)掌握子女在校情況。1.3.4.5、 校園環(huán)境更加綠色、環(huán)保、安全信息化覆

20、蓋范圍和服務(wù)水平有效提升1.3.4.6、 教學(xué)管理與服務(wù)管理更加簡單高效服務(wù)水平不斷提升1.3.4.7、 社會更多優(yōu)質(zhì)教育資源和科研成果開放共享1.4、 建設(shè)原則1.4.1、 安全性高校信息化工作中有許多保密性內(nèi)容，大數(shù)據(jù)分析平臺應(yīng)采取安 全性高的訪問認(rèn)證機(jī)制，同時(shí)在平臺建設(shè)中要充分重視系統(tǒng)自身的安 全性以及其他應(yīng)用系統(tǒng)的安全性。1.4.2、 可擴(kuò)展性對高校教育大數(shù)據(jù)的分析和應(yīng)用是一項(xiàng)長期持久的工作，隨著管 理工作的重點(diǎn)、教育信息化工作的變化推進(jìn)，對于信息平臺的規(guī)模和 要求也會不斷變化。因此，要求平臺的設(shè)計(jì)和實(shí)施要具有良好的擴(kuò)展 性，以滿足不斷發(fā)展變化的要求。1.4.3、 靈活性在平臺的設(shè)計(jì)和

21、實(shí)施中要考慮到與其他應(yīng)用系統(tǒng)的整合，開發(fā)出多個(gè)類型的接口，能夠靈活接入其他系統(tǒng)、拓展服務(wù)類型。1.5、 建設(shè)目標(biāo)1.5.1、 實(shí)現(xiàn)數(shù)據(jù)的共享和交換將學(xué)校各應(yīng)用系統(tǒng)的數(shù)據(jù)進(jìn)行集成和整合，使來源各異、種類不 一的各類數(shù)據(jù)可以相互使用，豐富數(shù)據(jù)的來源，打破系統(tǒng)間的信息孤島，實(shí)現(xiàn)數(shù)據(jù)的共享和應(yīng)用。1.5.2、 大數(shù)據(jù)的采集和存儲研制數(shù)據(jù)適配接口，對接校內(nèi)各應(yīng)用系統(tǒng)獲取各類異構(gòu)數(shù)據(jù)， 并 采用大數(shù)據(jù)主流的框架和系統(tǒng)對數(shù)據(jù)進(jìn)行統(tǒng)一存儲， 為數(shù)據(jù)的挖掘和 分析打好基礎(chǔ)。1.5.3、 大數(shù)據(jù)分析與決策采用數(shù)據(jù)挖掘、數(shù)理統(tǒng)計(jì)等相關(guān)技術(shù)，構(gòu)建大數(shù)據(jù)分析框架，提 取數(shù)據(jù)中隱含的、未知的、極具潛在應(yīng)用價(jià)值的信息和規(guī)律

22、，為學(xué)校 的教務(wù)管理、科研管理、學(xué)生管理、后勤管理等各項(xiàng)工作提供決策和 指導(dǎo)。1.6、 高校大數(shù)據(jù)平臺建設(shè)意義高校作為高科技人才以及創(chuàng)新技術(shù)的搖籃， 承載著科研攻關(guān)和人 才培養(yǎng)的雙重使命。在新的科技浪潮中，高校應(yīng)瞄準(zhǔn)時(shí)代最前沿，將 教學(xué)科研創(chuàng)新、專業(yè)人才培養(yǎng)與大數(shù)據(jù)緊密融合在一起，在更高起點(diǎn) 上推動學(xué)校在大數(shù)據(jù)教學(xué)、科研以及創(chuàng)新方面再上新臺階。1.6.1、 實(shí)現(xiàn)個(gè)性化學(xué)習(xí)集成教育數(shù)據(jù)挖掘與學(xué)習(xí)分析技術(shù)， 持續(xù)采集學(xué)習(xí)行為數(shù)據(jù)，智 能分析，推送適合的學(xué)習(xí)資源并進(jìn)行個(gè)性化學(xué)習(xí)建議。1.6.2、 實(shí)現(xiàn)教育評價(jià)體系重構(gòu)采集教與學(xué)的全過程數(shù)據(jù)，全面客觀記錄學(xué)生成長軌跡，引導(dǎo)學(xué) 生培養(yǎng)模式和教育質(zhì)量管理方

23、式科學(xué)健康發(fā)展。1.6.3、 實(shí)現(xiàn)科學(xué)研究范式轉(zhuǎn)型解決科研經(jīng)費(fèi)等科研管理難題，提供便捷的技術(shù)支撐與人性 化服務(wù)，提高研究的效率和結(jié)果的可信度。1.6.4、 開啟大數(shù)據(jù)創(chuàng)客”新模式完成創(chuàng)新應(yīng)用及發(fā)布，完善高校信息化建設(shè)，提升高校實(shí)力， 加速創(chuàng)客成果轉(zhuǎn)化，推動創(chuàng)意實(shí)現(xiàn)產(chǎn)業(yè)化，打造具有影響力的“創(chuàng) 客校園”。1.6.5、 實(shí)現(xiàn)教學(xué)模式改革教學(xué)數(shù)據(jù)分析與預(yù)測，改變教學(xué)模式，實(shí)現(xiàn)個(gè)性化教育，調(diào) 整教學(xué)方案，優(yōu)化教學(xué)方法，提高教學(xué)質(zhì)量。1.6.6、 實(shí)現(xiàn)科學(xué)化教育管理注重相關(guān)關(guān)系識別，強(qiáng)調(diào)因果關(guān)系的確定，發(fā)現(xiàn)隱藏的、有 用的信息，做好教育管理和決策工作的數(shù)據(jù)支持。第2章高校大數(shù)據(jù)云平臺建設(shè)以構(gòu)建基礎(chǔ)硬件層

24、為底層支撐，利用云計(jì)算、大數(shù)據(jù)的數(shù)據(jù)集成、數(shù)據(jù)安全、服務(wù)器集群、數(shù)據(jù)計(jì)算與挖掘分析等技術(shù)， 遵循“1 8”（1個(gè)中心平臺8大技術(shù)標(biāo)準(zhǔn)）大數(shù)據(jù)標(biāo)準(zhǔn)體系，通過 HIVE和HBASE構(gòu)建大數(shù)據(jù)數(shù)據(jù)中心。在此基礎(chǔ)上，公司自主研發(fā)了國子數(shù)據(jù)魔方'業(yè)務(wù)開發(fā)平臺，通過業(yè)務(wù)開發(fā)平臺進(jìn)行應(yīng)用開發(fā)、應(yīng)用發(fā)布、服務(wù)注冊的信息化管理，并可以將應(yīng)用以可視化界面展示給用戶， 為領(lǐng)導(dǎo)決 策提供數(shù)據(jù)依據(jù)。2.1、 高校大數(shù)據(jù)架構(gòu)救學(xué)創(chuàng)新時(shí)新科研創(chuàng)新分析 管理創(chuàng)新分析 一大批據(jù)創(chuàng)新應(yīng)用分析“國子數(shù)據(jù)魔方”業(yè)務(wù)開發(fā)平臺開放數(shù)推 應(yīng)用開發(fā)應(yīng)用發(fā)布 禹芳注身2.1.1、 基礎(chǔ)硬件層基礎(chǔ)硬件層是由一組低廉的PC或服務(wù)器組合構(gòu)建

25、而成?；A(chǔ)硬 件層主要承載著數(shù)據(jù)的存儲、運(yùn)算、容錯、調(diào)度和通信等任務(wù)，對基 礎(chǔ)應(yīng)用層下達(dá)的指令進(jìn)行執(zhí)行和反饋。2.1.2、 數(shù)據(jù)集成大數(shù)據(jù)特征表現(xiàn)在實(shí)時(shí)、交互、海量等方面，并且以半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)為主，價(jià)值密度低，為了更好地“讓數(shù)據(jù)說話”，并充分發(fā)揮大數(shù)據(jù)價(jià)值效應(yīng)，應(yīng)堅(jiān)持“能采盡采”的原則，數(shù)據(jù)源的涵蓋 范圍要盡量大。2.1.3、 數(shù)據(jù)計(jì)算與分析挖掘大數(shù)據(jù)平臺涵蓋了大數(shù)據(jù)場景下常用的計(jì)算場景，包含離線計(jì) 算、實(shí)時(shí)計(jì)算、流式計(jì)算、數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等?？梢愿菀?、更 方便地構(gòu)建全生命周期的數(shù)據(jù)湖，使數(shù)據(jù)的加工、處理、創(chuàng)新過程更 加豐富，從而實(shí)現(xiàn)數(shù)據(jù)的更大價(jià)值。2.1.4、 數(shù)據(jù)安全大數(shù)據(jù)平臺

26、通過一系列的認(rèn)證授權(quán)和資源隔離機(jī)制，實(shí)現(xiàn)數(shù)據(jù)資源的安全性、可維護(hù)性、可用性、可信性。提供統(tǒng)一認(rèn)證服務(wù)負(fù)責(zé)對 使用者的身份進(jìn)行驗(yàn)證；提供統(tǒng)一授權(quán)服務(wù)負(fù)責(zé)對用戶的資源訪問權(quán)限進(jìn)行控制；提供統(tǒng)一資源調(diào)度負(fù)責(zé)對用戶使用的底層資源進(jìn)行隔離。2.1.5、 服務(wù)器集群服務(wù)器集群是將很多服務(wù)器集中起來一起進(jìn)行同一種服務(wù)，集群可以獲得更高的計(jì)算速度，也可以用作備份，任何一個(gè)服務(wù)器損壞整 個(gè)系統(tǒng)都能正常運(yùn)行。群集化操作可以減少單點(diǎn)故障數(shù)量，實(shí)現(xiàn)群集 化資源的高可用性。2.1.6、 大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)一個(gè)中心平臺：大數(shù)據(jù)業(yè)務(wù)開發(fā)平臺。8大技術(shù)標(biāo)準(zhǔn)：基礎(chǔ)標(biāo)準(zhǔn)、數(shù)據(jù)表示標(biāo)準(zhǔn)、數(shù)據(jù)處理標(biāo)準(zhǔn)、數(shù)據(jù) 存儲標(biāo)準(zhǔn)、數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)、數(shù)據(jù)

27、安全和隱私標(biāo)準(zhǔn)、行業(yè)大數(shù)據(jù)標(biāo)準(zhǔn)、 大數(shù)據(jù)產(chǎn)品測試標(biāo)準(zhǔn)。2.1.7、 大數(shù)據(jù)數(shù)據(jù)中心通過對各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)信息的采集、 預(yù)處理、分析處理以及存儲等相關(guān)操作，構(gòu)建統(tǒng)一、規(guī)范、全面的大 數(shù)據(jù)數(shù)據(jù)中心，為相關(guān)工作提供數(shù)據(jù)支持。2.1.8、 大數(shù)據(jù)業(yè)務(wù)開發(fā)平臺以Hadoop為核心，融合優(yōu)秀技術(shù)，提供開放的數(shù)據(jù)和業(yè)務(wù)開發(fā) 平臺，進(jìn)行應(yīng)用開發(fā)、應(yīng)用發(fā)布、應(yīng)用注冊及應(yīng)用服務(wù)的信息化流程 管理，從而提升了大數(shù)據(jù)應(yīng)用體驗(yàn)，有利于發(fā)揮創(chuàng)新精神，創(chuàng)造無限 價(jià)值。2.1.9、 大數(shù)據(jù)業(yè)務(wù)可視化分析大數(shù)據(jù)業(yè)務(wù)可視化分析能夠?qū)㈦[藏于海量數(shù)據(jù)中的信息和知識 挖掘出來，為用戶提供可視化的操作分析界面；

28、為用戶的相關(guān)活動提 供數(shù)據(jù)依據(jù)，從而提高工作效率。2.2、 高校大數(shù)據(jù)平臺標(biāo)準(zhǔn)體系大數(shù)據(jù)信息標(biāo)準(zhǔn)為數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)存儲、數(shù)據(jù)分析與 挖掘提供指導(dǎo)和參照標(biāo)準(zhǔn)，加快建立高校信息采集、存儲、公開、共 享、使用、質(zhì)量保障和安全管理等技術(shù)標(biāo)準(zhǔn)，引導(dǎo)建立信息共享交換 的標(biāo)準(zhǔn)規(guī)范，促進(jìn)信息資源開發(fā)利用，實(shí)現(xiàn)大數(shù)據(jù)匯聚整合，為大數(shù) 據(jù)、云計(jì)算提供強(qiáng)有力的基礎(chǔ)支撐。抓好大數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè)，推進(jìn)國家大數(shù)據(jù)戰(zhàn)略實(shí)施，應(yīng)對三方 面需求：面向高校教育的需要，研制開放、共享大數(shù)據(jù)標(biāo)準(zhǔn)；助力高 校教育創(chuàng)新發(fā)展，制訂典型領(lǐng)域相關(guān)標(biāo)準(zhǔn)；保障資源安全、保護(hù)個(gè)人 隱私，研制安全標(biāo)準(zhǔn)等，以數(shù)據(jù)為基本元素進(jìn)行數(shù)據(jù)安全管理，規(guī)范

29、 數(shù)據(jù)的共享、使用和管理的整個(gè)流程，解決跨平臺的數(shù)據(jù)交互、數(shù)據(jù)開放共享等難題。公司對我國現(xiàn)有標(biāo)準(zhǔn)、在研標(biāo)準(zhǔn)和將提出的標(biāo)準(zhǔn)計(jì)劃進(jìn)行梳理， 依據(jù)大數(shù)據(jù)技術(shù)體系，從基礎(chǔ)、技術(shù)、產(chǎn)品、應(yīng)用等不同角度進(jìn)行分析，形成了大數(shù)據(jù)標(biāo)準(zhǔn)體系框架，按照"1 8"的理念進(jìn)行設(shè)計(jì)，即以"國子數(shù)據(jù)魔方"業(yè)務(wù)開發(fā)平臺為支撐，構(gòu)建基礎(chǔ)標(biāo)準(zhǔn)、數(shù)據(jù)表示標(biāo)準(zhǔn)、 數(shù)據(jù)處理標(biāo)準(zhǔn)、數(shù)據(jù)存儲標(biāo)準(zhǔn)、大數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)、大數(shù)據(jù)安全和隱私 標(biāo)準(zhǔn)、行業(yè)大數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)和大數(shù)據(jù)產(chǎn)品測試八大技術(shù)標(biāo)準(zhǔn)。通過平臺和技術(shù)標(biāo)準(zhǔn)的建設(shè)，整合和引導(dǎo)資源、激活科技要素、 推動自主創(chuàng)新與開放創(chuàng)新，促進(jìn)大數(shù)據(jù)健康發(fā)展；加速技術(shù)積累、科

30、 技進(jìn)步、創(chuàng)新成果推廣，加速大數(shù)據(jù)在高校的廣泛應(yīng)用，促進(jìn)高校全 面、協(xié)調(diào)、可持續(xù)發(fā)展；解決數(shù)據(jù)共享難、數(shù)據(jù)格式不統(tǒng)一、數(shù)據(jù)標(biāo) 準(zhǔn)不規(guī)范、數(shù)據(jù)重復(fù)建設(shè)等難題。2.2.1、 基礎(chǔ)標(biāo)準(zhǔn)大數(shù)據(jù)術(shù)語、大數(shù)據(jù)參考架構(gòu)、大數(shù)據(jù)平臺架構(gòu)標(biāo)準(zhǔn)，能夠更加 切合實(shí)際的對相關(guān)操作進(jìn)行描述，形成統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，進(jìn)而為數(shù)據(jù)庫 提供基礎(chǔ)支撐和服務(wù)。2.2.2、 數(shù)據(jù)表示標(biāo)準(zhǔn)數(shù)據(jù)編碼規(guī)范、元數(shù)據(jù)規(guī)范、非結(jié)構(gòu)化數(shù)據(jù)、數(shù)據(jù)集統(tǒng)一描述規(guī) 范等，確保數(shù)據(jù)信息的交互共享，進(jìn)而消除信息孤島。2.2.3、 數(shù)據(jù)處理標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量評價(jià)標(biāo)準(zhǔn)、數(shù)據(jù)采集標(biāo)準(zhǔn)、數(shù)據(jù)組織標(biāo)準(zhǔn)等大數(shù)據(jù)處理 階段相關(guān)的標(biāo)準(zhǔn)規(guī)范，消除變量自身變異和數(shù)值大小的影響， 為大數(shù) 據(jù)

31、應(yīng)用打下良好的基礎(chǔ)。2.2.4、 數(shù)據(jù)存儲標(biāo)準(zhǔn)非關(guān)系型數(shù)據(jù)庫規(guī)范、非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)規(guī)范等大數(shù)據(jù)背景 下的新型存儲系統(tǒng)相關(guān)規(guī)范，有助于數(shù)據(jù)進(jìn)行交互式傳輸和管理， 提 高存儲量、存儲速度，進(jìn)而為大數(shù)據(jù)快速挖掘、提取、分析提供基礎(chǔ)。2.2.5、 大數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)提供大數(shù)據(jù)實(shí)時(shí)分析服務(wù)、可視化服務(wù)等一系列大數(shù)據(jù)服務(wù)的標(biāo) 準(zhǔn)化描述和接入，提升數(shù)據(jù)之間的關(guān)聯(lián)性，降低數(shù)據(jù)分析的復(fù)雜度， 大幅度提高分析的準(zhǔn)確性。2.2.6、 大數(shù)據(jù)安全和隱私標(biāo)準(zhǔn)大數(shù)據(jù)對外服務(wù)時(shí)，制定數(shù)據(jù)存儲安全、數(shù)據(jù)傳輸安全、數(shù)據(jù)分 析挖掘安全等方面的標(biāo)準(zhǔn)，為安全面臨的內(nèi)部管理和外部攻擊提供可 靠的數(shù)據(jù)存儲、安全的挖掘分析、嚴(yán)格的運(yùn)營監(jiān)管

32、。2.2.7、 行業(yè)大數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)相關(guān)領(lǐng)域大數(shù)據(jù)應(yīng)用、領(lǐng)域大數(shù)據(jù)的分類和編碼等方面的標(biāo)準(zhǔn)， 能夠更準(zhǔn)確地規(guī)范各行業(yè)的數(shù)據(jù)標(biāo)準(zhǔn)，并推出與行業(yè)相匹配的產(chǎn)品。2.2.8、 大數(shù)據(jù)產(chǎn)品測試標(biāo)準(zhǔn)大數(shù)據(jù)產(chǎn)品的測試場景、測試指標(biāo)、測試工具等。大數(shù)據(jù)產(chǎn)品測 試標(biāo)準(zhǔn)的建立能夠公平、客觀地評測大數(shù)據(jù)產(chǎn)品的功能和性能， 對人 們選擇合適的大數(shù)據(jù)產(chǎn)品具有重要的參考價(jià)值。2.3、 高校大數(shù)據(jù)業(yè)務(wù)開發(fā)平臺為提供眾多便捷易用的開發(fā)框架和服務(wù)引擎， 使用戶可以迅速地 掌握、認(rèn)知以及使用平臺上開放的數(shù)據(jù)，針對不同的應(yīng)用場景選擇合 適的服務(wù)引擎進(jìn)行二次開發(fā)，公司自主研發(fā)“國子數(shù)據(jù)魔方”業(yè)務(wù)開 發(fā)平臺，在提供開放數(shù)據(jù)的同時(shí)，也允許

33、用戶通過該平臺進(jìn)行大數(shù)據(jù) 應(yīng)用的開發(fā)，為用戶提供一體化應(yīng)用開發(fā)、測試、部署、運(yùn)行、管理、 監(jiān)控等托管環(huán)境，使應(yīng)用開發(fā)人員無需關(guān)心應(yīng)用的底層硬件和基礎(chǔ)設(shè) 施建設(shè)，從而提高工作效率。2.3.1、 高校大數(shù)據(jù)業(yè)務(wù)開發(fā)平臺架構(gòu)圖“國子數(shù)據(jù)魔方”業(yè)務(wù)開發(fā)平臺總體架構(gòu)RiSapp學(xué)生軌跡APF教學(xué)創(chuàng)新APF調(diào)度組件麋類組件大數(shù)據(jù)處理引擎任務(wù)追蹤服務(wù)管理定時(shí)任第自啟任生楣環(huán)任索向量機(jī)組"運(yùn)行狀況監(jiān)控次；丁講席管理神經(jīng)網(wǎng)絡(luò)組件分類與回歸組件大數(shù)據(jù)數(shù)據(jù)中心2.3.2、 大數(shù)據(jù)數(shù)據(jù)中心大數(shù)據(jù)數(shù)據(jù)中心不是簡單的硬件設(shè)備集成，也不僅僅是數(shù)據(jù)存儲 的中心，而是數(shù)據(jù)流通和應(yīng)用服務(wù)的中心。 它具備十分豐富的信息資

34、 源、安全可靠的機(jī)房設(shè)施、高水平的網(wǎng)絡(luò)管理和十分完備的增值服務(wù)， 數(shù)據(jù)中心是高校信息化建設(shè)的基礎(chǔ)性項(xiàng)目之一。數(shù)據(jù)中心通過統(tǒng)一的數(shù)據(jù)格式實(shí)現(xiàn)應(yīng)用系統(tǒng)之間的數(shù)據(jù)交換和共享。高校數(shù)據(jù)中心具有以下建設(shè)意義：1 .收集、存儲各類數(shù)據(jù)的同時(shí)有效地將數(shù)據(jù)管理起來，打破 信息孤島”的存在，為高校各個(gè)應(yīng)用系統(tǒng)提供統(tǒng)一的數(shù)據(jù)服務(wù)，保證數(shù) 據(jù)的一致性。2 .為學(xué)校部門和各位領(lǐng)導(dǎo)提供實(shí)時(shí)數(shù)據(jù)。各部門之間可以很方便地查看其他部門的公開數(shù)據(jù)；領(lǐng)導(dǎo)可以統(tǒng)籌查看全校所有部門的業(yè)務(wù) 數(shù)據(jù)，能夠直觀地了解學(xué)校的情況。3 .便于后期的應(yīng)用系統(tǒng)開發(fā)，將應(yīng)用與數(shù)據(jù)分離開來，降低應(yīng)用系統(tǒng)擴(kuò)展開發(fā)的難度，為全面整合高校應(yīng)用系統(tǒng)打下堅(jiān)實(shí)的基

35、礎(chǔ)。2.3.3、 大數(shù)據(jù)業(yè)務(wù)平臺層大數(shù)據(jù)業(yè)務(wù)平臺由組件、大數(shù)據(jù)處理引擎、APP、BI引擎構(gòu)建而成。大數(shù)據(jù)業(yè)務(wù)平臺是基于 PAAS思想構(gòu)建，并遵循SAAS標(biāo)準(zhǔn)。2.3.3.1、 組件組件是大數(shù)據(jù)業(yè)務(wù)平臺的最基本元素，在大數(shù)據(jù)業(yè)務(wù)平臺中內(nèi)建 組件接口標(biāo)準(zhǔn)，所有的組件都遵循該標(biāo)準(zhǔn)。在標(biāo)準(zhǔn)中定義組件的輸入、 私有項(xiàng)和輸出。在業(yè)務(wù)開發(fā)過程中，通過圖形化界面對一個(gè)或多個(gè)組 件進(jìn)行創(chuàng)建、編輯和關(guān)聯(lián)，從而組合成一個(gè)數(shù)據(jù)處理服務(wù)對外發(fā)布。2.3.3.2、 大數(shù)據(jù)處理引擎大數(shù)據(jù)處理引擎是整個(gè)業(yè)務(wù)平臺的執(zhí)行中樞，通過對發(fā)布服務(wù)中的關(guān)聯(lián)組件進(jìn)行解析、調(diào)度、執(zhí)行、迭代、合并等操作實(shí)現(xiàn)整個(gè)服務(wù) 的平穩(wěn)運(yùn)行。2.3.3.3

36、、 APPAPP是由一個(gè)或多個(gè)發(fā)布的數(shù)據(jù)處理服務(wù)組合而成的輕應(yīng)用。用戶通過圖形化界面編輯 APP展現(xiàn)的數(shù)據(jù)和圖表形式。2.3.3.4、 BI 引擎BI引擎對構(gòu)建的APP的數(shù)據(jù)綁定服務(wù)和圖表形式進(jìn)行解析和展 現(xiàn)。2.4、 高校大數(shù)據(jù)平臺建設(shè)關(guān)鍵技術(shù)大數(shù)據(jù)平臺的構(gòu)建借鑒了開源系統(tǒng)的先進(jìn)理念，采用了Hadoop開源系統(tǒng)，充分利用HDFS的可靠性，MapReduce的引入大大加強(qiáng) 了平臺在數(shù)據(jù)分析方面的彈性，使平臺在可擴(kuò)展性、可靠性、易用性 和性能方面都有良好的表現(xiàn)。2.4.1、 Hadoop 技術(shù)Hadoop框架是一個(gè)開源的大規(guī)模數(shù)據(jù)處理平臺和工具，主要來 源于Google公司提出的MapReduc

37、e編程框架，GFS文件系統(tǒng)以及 BigTable存儲系統(tǒng)等技術(shù)。Hadoop具有龐大的家族體系，本平臺的 構(gòu)建主要涉及到Hadoop框架的分布式文件系統(tǒng)HDFS和 MapReduce模型。分布式文件系統(tǒng)作為 Hadoop框架的底層，主要 負(fù)責(zé)分析數(shù)據(jù)的分布式存儲和管理，MapReduce模型主要是負(fù)責(zé)對大規(guī)模數(shù)據(jù)集進(jìn)行計(jì)算處理。Hadoop采用HDFS文件系統(tǒng)子框架來 實(shí)現(xiàn)其所具有的存儲能力，用MapReduce編程模型框架來實(shí)現(xiàn)其計(jì) 算能力，二者的巧妙結(jié)合使得 Hadoop擁有高效的存儲和計(jì)算能力。2.4.2、 HDFS 技術(shù)HDFS分布式文件系統(tǒng)是對大規(guī)模數(shù)據(jù)實(shí)現(xiàn)分布式存儲和管理 的有效工

38、具，也是分布式計(jì)算的存儲基礎(chǔ)，具有很高的容錯性和擴(kuò)展 性，并且對數(shù)據(jù)讀寫提供了的高吞吐率。HDFS實(shí)現(xiàn)了數(shù)據(jù)的分布式 存儲，使得應(yīng)用程序能夠更加靈活地訪問大規(guī)模的數(shù)據(jù)集，同時(shí)也為后續(xù)對大規(guī)模數(shù)據(jù)的分析提供了數(shù)據(jù)平臺。HDFS分布式文件系統(tǒng)采 用的是典型的主/從結(jié)構(gòu)，這種結(jié)構(gòu)極大的簡化了系統(tǒng)的架構(gòu)，使得 系統(tǒng)更加簡潔，方便系統(tǒng)的管理。Hadoop的分布式文件系統(tǒng)HDFS 主要由主控制器和數(shù)據(jù)節(jié)點(diǎn)組成，主控制器管理名字空間和數(shù)據(jù)節(jié) 點(diǎn)，同時(shí)管理數(shù)據(jù)塊到數(shù)據(jù)節(jié)點(diǎn) DataNode的映射等。文件系統(tǒng)中的DataNode作為數(shù)據(jù)節(jié)點(diǎn)，主要存儲實(shí)際的數(shù)據(jù)， 主要負(fù)責(zé)所在的物理結(jié)點(diǎn)上的存儲管理，執(zhí)行主控制器

39、下達(dá)的命令。 數(shù)據(jù)節(jié)點(diǎn)能夠及時(shí)接收客戶發(fā)送的讀寫請求， 并針對這些請求完成相 應(yīng)的操作。從分布式文件系統(tǒng)的結(jié)構(gòu)內(nèi)部來看，數(shù)據(jù)文件被存儲分割 成多個(gè)數(shù)據(jù)塊存儲在每個(gè)數(shù)據(jù)節(jié)點(diǎn)上，每個(gè)數(shù)據(jù)節(jié)點(diǎn)存儲著來自多個(gè) 文件的數(shù)據(jù)塊，同時(shí)每個(gè)數(shù)據(jù)節(jié)點(diǎn)上也會存儲這些數(shù)據(jù)塊的多份副 本，保證后續(xù)數(shù)據(jù)操作的準(zhǔn)確性。2.4.3、 MapReduce 技術(shù)MapReduce技術(shù)基于分布式文件系統(tǒng)，通過編寫相應(yīng)的處理過程能夠?qū)崿F(xiàn)對大規(guī)模數(shù)據(jù)集進(jìn)行并行計(jì)算和處理，通過對不同分析模 塊編寫相關(guān)的MapReduce處理函數(shù)能夠?qū)崿F(xiàn)對大規(guī)模數(shù)據(jù)的精確分 析，同時(shí)能夠控制各個(gè)節(jié)點(diǎn)之間完成高效的任務(wù)調(diào)度。MapReduce通過將操作分

40、發(fā)給網(wǎng)絡(luò)上的各個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)會周期性的返回它所 完成的工作和最新的狀態(tài)，從而實(shí)現(xiàn)對大規(guī)模數(shù)據(jù)集的操作，這種處 理方式保證了操作的可靠性。MapReduce技術(shù)處理的方式是，首先將一個(gè)具體的任務(wù)分解成 為若干個(gè)很小的任務(wù)，然后將分解后的任務(wù)分配到各個(gè)分節(jié)點(diǎn)，通過主節(jié)點(diǎn)來對分節(jié)點(diǎn)的任務(wù)進(jìn)行管理和調(diào)度，然后得到分節(jié)點(diǎn)處理后的結(jié)果，再將結(jié)果整合，得到最終結(jié)果，通過多個(gè)節(jié)點(diǎn)之間的相互合作 和調(diào)度，從而實(shí)現(xiàn)對大規(guī)模數(shù)據(jù)集的計(jì)算和處理?？偟恼f 來,MapReduce就是基于 分而治之”的思想實(shí)現(xiàn) 任務(wù)的分解與結(jié)果的匯總”。2.5、 高校大數(shù)據(jù)平臺建設(shè)效果構(gòu)建高院校大數(shù)據(jù)分析平臺是以高校戰(zhàn)略發(fā)展規(guī)劃為藍(lán)本，

41、 以高 校信息化建設(shè)綱要為依據(jù)而進(jìn)行的創(chuàng)新性探索。 以大數(shù)據(jù)建設(shè)頂層設(shè) 計(jì)為基礎(chǔ)，收集整合高校教育各方面所產(chǎn)生數(shù)據(jù)， 從數(shù)據(jù)中提取出有 價(jià)值的信息和模型，推動高校教育的全面創(chuàng)新。2.5.1、 開展大數(shù)據(jù)頂層設(shè)計(jì)，以大數(shù)據(jù)應(yīng)用全面推進(jìn)學(xué)校發(fā)展大數(shù)據(jù)將成為推進(jìn)學(xué)校發(fā)展的新動力，通過開展大數(shù)據(jù)頂層設(shè) 計(jì)，對大數(shù)據(jù)獲取、收集、整理、利用進(jìn)行全面規(guī)劃，從應(yīng)用需求出 發(fā)，明確建設(shè)目的和路徑，明確什么要做，什么不要做，什么應(yīng)該先 做，什么應(yīng)該后做，用什么模式做，做到什么程度，達(dá)到什么效果， 以指導(dǎo)學(xué)校未來3-5年的大數(shù)據(jù)建設(shè)。2.5.2、 快速推進(jìn)教學(xué)和管理工作的信息化，建立豐富的數(shù)據(jù)來源用大數(shù)據(jù)方法全面分析現(xiàn)有教學(xué)和管理工作，新建或升級信息系 統(tǒng)，對教學(xué)和管理實(shí)現(xiàn)全過程記錄，建立豐富的數(shù)據(jù)收集渠道。如通過對現(xiàn)有遠(yuǎn)程教育系統(tǒng)進(jìn)行全面升級，跳出遠(yuǎn)程教育的概 念，實(shí)現(xiàn)對教學(xué)過程的全面支持，詳細(xì)記錄每個(gè)學(xué)生的學(xué)習(xí)行為數(shù)據(jù)， 包括課程學(xué)習(xí)數(shù)據(jù)、視頻觀看數(shù)據(jù)、資料查閱數(shù)據(jù)、作業(yè)完成數(shù)據(jù)、 互動交流數(shù)據(jù)、成績數(shù)據(jù)等，將數(shù)據(jù)細(xì)分到每個(gè)行為細(xì)節(jié)，以提供超 越傳統(tǒng)系統(tǒng)的數(shù)據(jù)精細(xì)度，客觀地反映出學(xué)習(xí)的實(shí)際狀況。通過建立物聯(lián)網(wǎng)應(yīng)用，實(shí)現(xiàn)對物品、人員、安全等各方面管理的 強(qiáng)大支撐，提升管理質(zhì)量的同時(shí)積累大量管理數(shù)據(jù)和行為數(shù)據(jù)