校園數(shù)據(jù)共享平臺(tái)的軟件工程設(shè)計(jì)與實(shí)現(xiàn)

1、校園數(shù)據(jù)共享平臺(tái)的軟件工程設(shè)計(jì)與實(shí)現(xiàn)本人認(rèn)為校園數(shù)據(jù)共享平臺(tái)的建立，在管理層面上確定了全校的數(shù)據(jù)標(biāo) 準(zhǔn)，使用統(tǒng)一規(guī)范的標(biāo)準(zhǔn)去建立核心業(yè)務(wù)系統(tǒng)，逐步以服務(wù)代替了管理; 在數(shù)據(jù)層面上實(shí)現(xiàn)了數(shù)據(jù)的共享，消除了業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)孤島， 逐步迭代掉了老化和功能低下的業(yè)務(wù)系統(tǒng)；在業(yè)務(wù)層面上改變了原本數(shù) 據(jù)導(dǎo)入導(dǎo)出的數(shù)據(jù)維護(hù)模式，打破了業(yè)務(wù)系統(tǒng)之間的壁壘，逐步淡化了 業(yè)務(wù)部門邊界。第1章緒論數(shù)字化校園建設(shè)背景隨著計(jì)算機(jī)技術(shù)的日益普及，各行各業(yè)的信息化開(kāi)展突飛猛進(jìn)。其中， 教育行業(yè)作為社會(huì)的重要組成局部，教育信息化與企業(yè)信息化、政府信 息化一起組成了國(guó)家信息化開(kāi)展的三個(gè)核心。并且，教育作為教書育人 的重要行業(yè)，

2、應(yīng)當(dāng)在教與學(xué)的過(guò)程中更好地運(yùn)用先進(jìn)技術(shù)，發(fā)揮前沿優(yōu) 勢(shì)。因此，教育信息化應(yīng)當(dāng)是信息化開(kāi)展的重中之重，對(duì)于教育行業(yè)而 言，引入信息化手段，可以更加有效地促進(jìn)教育的開(kāi)展，有效的提高學(xué) 校的管理手段。早在20世紀(jì)60年代，國(guó)外信息化的理念便開(kāi)始產(chǎn)生，主要以日本學(xué) 者梅田忠夫在信息產(chǎn)業(yè)論中率先提出信息化概念為標(biāo)志，”教 育信息化的概念直到在20世紀(jì)90年代才開(kāi)始被關(guān)注。在1990年, 導(dǎo)出的數(shù)據(jù)維護(hù)模式，打破了業(yè)務(wù)系統(tǒng)之間的壁壘，逐步淡化了業(yè)務(wù)部 門邊界。美國(guó)的克萊蒙特大學(xué)教授凱尼斯格林發(fā)起的“信息化校園計(jì)劃被普遍 認(rèn)為是高校信息化的第一步，也是數(shù)字化校園理念的最早雛形。 直到1998年美國(guó)前總統(tǒng)戈?duì)?/p>

3、發(fā)表關(guān)于數(shù)字地球：二十一世紀(jì)認(rèn)識(shí)地 球的方式，演講之后，相繼出現(xiàn)數(shù)字城市、數(shù)字校園的思想和 概念。因此，從廣義上講，教育信息化的開(kāi)展略早于數(shù)字化校園的建設(shè)， 并且范圍更廣，涵蓋了數(shù)字化校園建設(shè)的相關(guān)內(nèi)容。教育信息化的開(kāi)展主要經(jīng)歷了基礎(chǔ)物理線路搭建、業(yè)務(wù)系統(tǒng)集成、信息 的整合與服務(wù)的集成三個(gè)階段，對(duì)于基礎(chǔ)物理線路的建設(shè)，由于長(zhǎng)期基 礎(chǔ)工作的積累，一邊進(jìn)行校園建設(shè)一邊修正過(guò)去的網(wǎng)絡(luò)建設(shè)方案，使得 基礎(chǔ)網(wǎng)絡(luò)建設(shè)日漸成熟，逐步轉(zhuǎn)為向軟件服務(wù)的技術(shù)支撐。然而，對(duì)于 業(yè)務(wù)系統(tǒng)的部署，那么大多是由各個(gè)業(yè)務(wù)部門主導(dǎo)，自主建立的分散的、 標(biāo)準(zhǔn)不一的系統(tǒng)。這些業(yè)務(wù)系統(tǒng)上線時(shí)間不一、標(biāo)準(zhǔn)規(guī)范不同，廠家對(duì) 系統(tǒng)的維護(hù)

4、程度也不同，因此，各個(gè)業(yè)務(wù)系統(tǒng)皆存在”各自為政情況。國(guó)內(nèi)外研究現(xiàn)狀現(xiàn)階段國(guó)內(nèi)外各大高校的信息化進(jìn)程大局部都集中在數(shù)字化校園建設(shè) 階段，即信息的整合與服務(wù)的集成階段。作為全球信息化開(kāi)展較為 領(lǐng)先的美國(guó)，更加注重?cái)?shù)字化校園建設(shè)的效率，2000年前后便成立了 ITS信息技術(shù)服務(wù)部門，針對(duì)校級(jí)的信息化建設(shè)統(tǒng)一規(guī)劃和部署實(shí)施，對(duì)業(yè)務(wù)系統(tǒng)使用統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)庫(kù)作為底層數(shù)據(jù)支撐，同時(shí)配置統(tǒng)一的 中間件、標(biāo)準(zhǔn)的數(shù)據(jù)和系統(tǒng)開(kāi)發(fā)接口，從而為校園內(nèi)數(shù)據(jù)的整合和數(shù)據(jù) 的標(biāo)準(zhǔn)規(guī)范提供技術(shù)支撐。同時(shí)期的英國(guó)、日本等興旺國(guó)家的高校與美 國(guó)教育信息化開(kāi)展水平相當(dāng)，逐步探討和研究出新的教育信息化的格局。 統(tǒng)一規(guī)劃、整合資源后的數(shù)

5、據(jù)平臺(tái)與統(tǒng)一身份認(rèn)證平臺(tái)一起服務(wù)于教學(xué)、 考試、在線答疑等，真正做到以師生需求為導(dǎo)向、應(yīng)用為核心、數(shù)據(jù)流 轉(zhuǎn)為驅(qū)動(dòng)的應(yīng)用場(chǎng)景。我國(guó)高校的教育信息化開(kāi)展，整體起步稍晚于美英日等興旺國(guó)家。隨著 2002年5月高校數(shù)字化校園建設(shè)工作研討會(huì)在中山大學(xué)的召開(kāi)，標(biāo)志 著我國(guó)高校教育信息化開(kāi)展進(jìn)入了一個(gè)嶄新階段一一數(shù)字化校園建設(shè) 階段，逐漸從硬件網(wǎng)絡(luò)設(shè)施建設(shè)轉(zhuǎn)變到以應(yīng)用為核心的資源整合上來(lái)。 這一階段主要面對(duì)的是基于現(xiàn)有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)的整合和應(yīng)用的集成， 需要將零散的業(yè)務(wù)系統(tǒng)從數(shù)據(jù)層面逐漸整合到一起，結(jié)合現(xiàn)在較為流行 的大數(shù)據(jù)及云存儲(chǔ)，把數(shù)據(jù)統(tǒng)一抽取到數(shù)據(jù)中心，并進(jìn)行梳理和整合， 去除數(shù)據(jù)中的冗余，實(shí)現(xiàn)數(shù)據(jù)

6、的共享、數(shù)據(jù)倉(cāng)庫(kù)及數(shù)據(jù)分析等功能，逐 步實(shí)現(xiàn)教育信息化到數(shù)字化校園的過(guò)渡。作為國(guó)內(nèi)高校的翹楚，清華大 學(xué)早在2007年便率先提出了新一代數(shù)字校園建設(shè)和開(kāi)展的規(guī)劃，提出 了數(shù)字化校園建設(shè)要以用戶服務(wù)為核心、以信息資源整合為目標(biāo)、實(shí)現(xiàn) 跨部門數(shù)據(jù)流轉(zhuǎn)的新理念，強(qiáng)調(diào)了應(yīng)用環(huán)境的關(guān)聯(lián)性和數(shù)據(jù)環(huán)境的集成 性。在此基礎(chǔ)上，清華大學(xué)用了近一年的時(shí)間，對(duì)數(shù)字資源進(jìn)行了自頂 向下的整體設(shè)計(jì)，將業(yè)務(wù)系統(tǒng)進(jìn)行了數(shù)據(jù)的整合和匯總，從而建立起現(xiàn) 代化的教學(xué)支撐平臺(tái)。第2章校園數(shù)據(jù)共享平臺(tái)需求分析數(shù)據(jù)共享平臺(tái)概述數(shù)據(jù)共享平臺(tái)工程背景在校內(nèi)業(yè)務(wù)系統(tǒng)的邏輯架構(gòu)之上建立數(shù)據(jù)共享平臺(tái)，其中涉及到跨不同 業(yè)務(wù)系統(tǒng)間異構(gòu)數(shù)據(jù)庫(kù)的數(shù)據(jù)

7、整合和匯總。平臺(tái)遵循標(biāo)準(zhǔn)的數(shù)據(jù)規(guī)范, 對(duì)從各個(gè)系統(tǒng)中抽取來(lái)的數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換。同時(shí)，根據(jù)建立的數(shù)據(jù)標(biāo) 準(zhǔn)，在平臺(tái)內(nèi)部建立起與各業(yè)務(wù)系統(tǒng)相對(duì)應(yīng)的數(shù)據(jù)子集，實(shí)現(xiàn)數(shù)據(jù)的匯 總。在數(shù)據(jù)共享平臺(tái)中，對(duì)匯總后的數(shù)據(jù)進(jìn)行統(tǒng)一的權(quán)限管理和數(shù)據(jù)字 段的梳理。將數(shù)據(jù)共享平臺(tái)與目標(biāo)數(shù)據(jù)庫(kù)關(guān)聯(lián)，配置相關(guān)的權(quán)限，進(jìn)行 數(shù)據(jù)的抽取和推送操作。對(duì)于數(shù)據(jù)共享平臺(tái)而言，主要用來(lái)解決數(shù)據(jù) 孤島的問(wèn)題，將不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)打通，以數(shù)據(jù)流的形式，實(shí)現(xiàn)相 關(guān)數(shù)據(jù)的轉(zhuǎn)換、匯總和流轉(zhuǎn)功能，平臺(tái)本身并不具備生產(chǎn)數(shù)據(jù)的能力。統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，建立數(shù)據(jù)規(guī)范通過(guò)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)交換規(guī)范建立起一套符合ESB的數(shù)據(jù)共享 和交換機(jī)制，根據(jù)國(guó)家標(biāo)準(zhǔn)形成科

8、學(xué)的數(shù)據(jù)規(guī)范，保證信息在采集、轉(zhuǎn) 換、傳輸?shù)倪^(guò)程中有統(tǒng)一的、規(guī)范的分類和描述，能夠使數(shù)據(jù)資源更加 有序流通，并且能夠最大程度上發(fā)揮出信息資源的綜合效益。1.確定組織機(jī)構(gòu)及編碼規(guī)那么: 通過(guò)召開(kāi)校級(jí)主要領(lǐng)導(dǎo)會(huì)議，確定校內(nèi)的組織機(jī)構(gòu)、部門名稱以及校區(qū) 之間組織機(jī)構(gòu)的相互關(guān)系。確定校內(nèi)組織的編碼方式，明確教職工工號(hào) 的編碼規(guī)那么，確保編碼規(guī)那么的一致性?？紤]到編碼規(guī)那么的可擴(kuò)展性,要有足夠的預(yù)留碼供今后使用，應(yīng)對(duì)實(shí)時(shí) 更新的需求。對(duì)于已部署上線、陳舊的業(yè)務(wù)系統(tǒng)，其中己有的數(shù)據(jù)將保持原有編碼規(guī) 那么 不變，通過(guò)系統(tǒng)內(nèi)部對(duì)組織架構(gòu)的調(diào)整，使其與校級(jí)組織機(jī)構(gòu)匹 配。對(duì)于新建的業(yè)務(wù)系統(tǒng)，統(tǒng)一按照校內(nèi)組織機(jī)構(gòu)

9、代碼的規(guī)范來(lái)創(chuàng)立組 織機(jī)構(gòu)，劃分部門層級(jí)，保證組織機(jī)構(gòu)的一致性。2.2可行性研究目前的數(shù)據(jù)共享平臺(tái)的建設(shè)思路，并不是使用新的平臺(tái)替代已有系統(tǒng), 而是對(duì)現(xiàn)有系統(tǒng)的整合，使用一套身份信息驗(yàn)證登陸，在同一界面顯示 不同系統(tǒng)的信息，建立單個(gè)系統(tǒng)數(shù)據(jù)庫(kù)之間的關(guān)聯(lián)。在軟件即服務(wù)的理念下，校級(jí)的信息化建設(shè)，應(yīng)當(dāng)改變以往業(yè)務(wù)系統(tǒng)只 為了本部門日常工作和數(shù)據(jù)管理而開(kāi)發(fā)部署的思想，將服務(wù)對(duì)象由業(yè)務(wù) 部門轉(zhuǎn)變成了全校師生。工程的可行性具體如下:L技術(shù)可行性:(1 )基于面向服務(wù)架構(gòu)的設(shè)計(jì)理念，采用組件化開(kāi)發(fā)的框架，基于J2EE 標(biāo)準(zhǔn)，建立分布式的集成平臺(tái)。通過(guò)標(biāo)準(zhǔn)的接口對(duì)接，將異構(gòu)的數(shù)據(jù)庫(kù) 集成到統(tǒng)一的平臺(tái)下。(2

10、 )基于WEB2.0技術(shù)，建立統(tǒng)一的w e b界面，方便查看數(shù)據(jù)的匯總和相關(guān)操作，將數(shù)據(jù)以元數(shù)據(jù)和數(shù)據(jù)集的方式展現(xiàn)出來(lái)。(3 )基于EAI (企業(yè)應(yīng)用集成)，使用w e b服務(wù)標(biāo)準(zhǔn)、中間件及其 接口實(shí)現(xiàn)消息的傳遞，通過(guò)構(gòu)建中間表或視圖的方式同步數(shù)據(jù)庫(kù)中的相 關(guān)字段實(shí)現(xiàn)數(shù)據(jù)的整合。(4 )基于ETL的理念,實(shí)現(xiàn)數(shù)據(jù)的抽取、裝載、轉(zhuǎn)換等操作。使用ODI,觸發(fā)器及定時(shí)器等工具對(duì)數(shù)據(jù)庫(kù)進(jìn)行操作，實(shí)現(xiàn)數(shù)據(jù)的流轉(zhuǎn)。圖2-1數(shù)字化校園工程中統(tǒng)一身份認(rèn)證、信息門戶、數(shù)據(jù)共享三大平臺(tái)用例圖第3章校園數(shù)據(jù)共享平臺(tái)架構(gòu)設(shè)計(jì)21 TOC o 1-5 h z 數(shù)據(jù)共享平臺(tái)設(shè)計(jì)目標(biāo)和原那么21數(shù)據(jù)共享平臺(tái)架構(gòu)設(shè)計(jì)21第4

11、章校園數(shù)據(jù)共享平臺(tái)詳細(xì)設(shè)計(jì)27數(shù)據(jù)共享平臺(tái)技術(shù)概況27數(shù)據(jù)共享平臺(tái)的表結(jié)構(gòu)及其設(shè)計(jì)34第5章校園數(shù)據(jù)共享平臺(tái)實(shí)現(xiàn)與測(cè)試55數(shù)據(jù)共享平臺(tái)總體實(shí)現(xiàn)55數(shù)據(jù)共享平臺(tái)的實(shí)現(xiàn)過(guò)程55數(shù)據(jù)共享平臺(tái)的實(shí)現(xiàn)結(jié)果68第4章校園數(shù)據(jù)共享平臺(tái)詳細(xì)設(shè)計(jì)4.1數(shù)據(jù)共享平臺(tái)技術(shù)概況按照已經(jīng)制定的數(shù)據(jù)標(biāo)準(zhǔn)建立數(shù)據(jù)共享平臺(tái)，保證校級(jí)業(yè)務(wù)系統(tǒng)的數(shù)據(jù) 整合和共享。通過(guò)數(shù)據(jù)共享平臺(tái)，對(duì)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、清洗和加載到數(shù)據(jù)庫(kù)的操作。這種數(shù)據(jù)之間的流轉(zhuǎn)，可分為實(shí)時(shí)和非實(shí)時(shí)的數(shù)據(jù)交換服務(wù)。這里的ETL操作，主要是針對(duì)結(jié)構(gòu)化數(shù)據(jù)和關(guān)系型數(shù)據(jù)庫(kù)。1.結(jié)構(gòu)化數(shù)據(jù)庫(kù)和關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)在結(jié)構(gòu)和存儲(chǔ)方面分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù) 三

12、類。其中結(jié)構(gòu)化數(shù)據(jù)指的是使用傳統(tǒng)的二維表的邏輯架構(gòu)和存儲(chǔ)模式 下有固定結(jié)構(gòu)的數(shù)據(jù)；半結(jié)構(gòu)化數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)的一種表現(xiàn)形式，可 以使用可擴(kuò)展標(biāo)記語(yǔ)言和輕量級(jí)的數(shù)據(jù)交換格式這兩種標(biāo)記語(yǔ)言來(lái)表 示和存儲(chǔ)數(shù)據(jù)；非結(jié)構(gòu)化數(shù)據(jù)是文檔、圖片、音/視頻等不能使用確定 結(jié)構(gòu)存儲(chǔ)的數(shù)據(jù)，通常將其整體轉(zhuǎn)換成二進(jìn)制的數(shù)據(jù)格式進(jìn)行存儲(chǔ)。在保證原有數(shù)據(jù)庫(kù)完整性和獨(dú)立性的情況下，可以使用中間件技術(shù)實(shí)現(xiàn) 數(shù)據(jù)的透明訪問(wèn)、集中和共享。中間件是在操作系統(tǒng)和應(yīng)用程序之間部 署的軟件或服務(wù)，針對(duì)分布式系統(tǒng)下不同的業(yè)務(wù)系統(tǒng)間相互協(xié)作，可以 實(shí)現(xiàn)基于不同操作系統(tǒng)間的資源整合和數(shù)據(jù)共享。中間件的加入，使不 同的業(yè)務(wù)系統(tǒng)和異構(gòu)的數(shù)據(jù)庫(kù)相對(duì)于

13、數(shù)據(jù)共享和交換變得統(tǒng)一和規(guī)那么。第6章結(jié)論通過(guò)近三年的調(diào)研、部署、實(shí)施和完善，直到2017年，校園數(shù)據(jù)共享平臺(tái)逐步建立并使用起來(lái)。初步實(shí)現(xiàn)了以下功能：.數(shù)據(jù)共享平臺(tái)的建立，實(shí)現(xiàn)資源共享和數(shù)據(jù)同步，打破了傳統(tǒng)業(yè)務(wù)系 統(tǒng)之間的壁壘，通過(guò)數(shù)據(jù)共享平臺(tái)將各個(gè)系統(tǒng)的數(shù)據(jù)連接起來(lái)，統(tǒng)一管 理各系統(tǒng) 的歷史數(shù)據(jù)，并通過(guò)數(shù)據(jù)流的方式將業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù) 流轉(zhuǎn)起來(lái)；.通過(guò)將業(yè)務(wù)系統(tǒng)中的局部數(shù)據(jù)展示出來(lái)，促進(jìn)了各部門對(duì)各自業(yè)務(wù)的 梳理和對(duì)各自系統(tǒng)的自檢自查，校驗(yàn)了學(xué)校業(yè)務(wù)系統(tǒng)數(shù)據(jù)的及時(shí)性、準(zhǔn) 確性和正確性；.這是數(shù)字化校園建設(shè)的初步嘗試，是軟件即服務(wù)理念下的系統(tǒng)整合。 整個(gè)工程的建設(shè)，初步探索了信息化服務(wù)的新道路，改變了以往將服務(wù) 對(duì)象對(duì)準(zhǔn)業(yè)務(wù)部門的思想，讓廣大師生參與進(jìn)來(lái)，共統(tǒng)完成數(shù)字化校園 的建設(shè)。同時(shí)，這也可以為高校教育信息化的可持續(xù)建設(shè)和開(kāi)展奠定基 礎(chǔ)。.通過(guò)校園共享數(shù)據(jù)平臺(tái)的建