大數(shù)據(jù)平臺(tái)項(xiàng)目論證方案

1、項(xiàng)目名稱項(xiàng)目實(shí)施必要性分析項(xiàng)目實(shí)施可行性分析大數(shù)據(jù)平臺(tái)及應(yīng)用建設(shè)項(xiàng)目大數(shù)據(jù)平臺(tái)及應(yīng)用建設(shè)項(xiàng)目目前我校學(xué)校目前數(shù)據(jù)主要存在各個(gè)業(yè)務(wù)系統(tǒng)，數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，信息孤島現(xiàn)象嚴(yán)重，缺乏有效的數(shù)據(jù)交換共享方式，需要進(jìn)行數(shù)據(jù)治理，建立全校統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，加快數(shù)據(jù)共享交換效率；缺乏對(duì)全量數(shù)據(jù)的采集、管理、運(yùn)維的大數(shù)據(jù)管理平臺(tái)； ；同時(shí)學(xué)校原有業(yè)務(wù)系統(tǒng)辦公程序繁瑣，比如：管理者了解一個(gè)學(xué)生在校行為情況需要登錄各個(gè)不同的業(yè)務(wù)系統(tǒng)來查看學(xué)生信息；管理者對(duì)于教師科研、基本信息、在校行為等信息缺乏一個(gè)直觀明了的了解方式，業(yè)務(wù)系統(tǒng)日常工作產(chǎn)生大量離線表格數(shù)據(jù)，缺乏有效的上傳手段。因此，通過大數(shù)據(jù)平臺(tái)及分析應(yīng)用的建設(shè)幫助我校解

2、決上述問題本次建設(shè)內(nèi)容：1. 數(shù)據(jù)治理：建立全校統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，加快校園信息化建設(shè)；2. 大數(shù)據(jù)平臺(tái)：建立全量數(shù)據(jù)采集、管理、運(yùn)維的大數(shù)據(jù)管理平臺(tái)，包括對(duì)數(shù)據(jù)的字段級(jí)管理、數(shù)據(jù)封裝成為 API 接口、發(fā)布提供第三方產(chǎn)商進(jìn)行開發(fā)使用等運(yùn)維功能；3. 離線表格采集工具：實(shí)現(xiàn)離線表格在線編輯實(shí)時(shí)保存數(shù)據(jù)庫(kù)功能，包括新建數(shù)據(jù)表格、表格結(jié)構(gòu)修改、權(quán)限管控、數(shù)據(jù)批量上傳下載、單條件搜索、多條件搜索等功能；4. 學(xué)生畫像：打通學(xué)校學(xué)工系統(tǒng)、教務(wù)系統(tǒng)、圖書館管理系統(tǒng)、公寓門禁系統(tǒng)、一卡通消費(fèi)系統(tǒng)、上網(wǎng)管理系統(tǒng)的數(shù)據(jù)，整合呈現(xiàn)學(xué)生在校多方面數(shù)據(jù)。包括：學(xué)生基本信息、獎(jiǎng)懲情況、校內(nèi)軌跡、圖書借閱、選課成績(jī)、檢索條件

3、自定義選擇、完善的角色權(quán)限控制等功能；5. 教師畫像：全面展示教師基本信息、學(xué)歷單位、工作經(jīng)歷、黨政職務(wù)、專業(yè)技術(shù)職務(wù)、一卡通消費(fèi)、工資變化、教學(xué)信息、評(píng)教信息、科研信息等；1、可參考的行業(yè)經(jīng)驗(yàn)?zāi)壳?，?guó)內(nèi)部分走在前列的學(xué)校在對(duì)大數(shù)據(jù)分析系統(tǒng)已經(jīng)走出了探索的步伐，并取得了一定的積極成果。試將其中的一些典型代表舉例如下：* 大學(xué)* 大學(xué)早在 2016 年 -2017 年在學(xué)校內(nèi)部已經(jīng)部署大數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)統(tǒng)一數(shù)據(jù)管理的功能，以將數(shù)據(jù)封裝成為 API 接口的方式提供給第三方廠商使用，成為了應(yīng)用開發(fā)中校方占據(jù)主導(dǎo)地位，開發(fā) API 總量 185 個(gè)，總調(diào)用次數(shù)近萬次。* 大學(xué)部署學(xué)生畫像系統(tǒng)，每個(gè)管理者

4、對(duì)于學(xué)生信息的查詢不再需要登錄多個(gè)業(yè)務(wù)系統(tǒng)，同時(shí)直觀的呈現(xiàn)學(xué)生在校行為軌跡信息，幫助管理者更加方便的了解學(xué)生。* 大學(xué)* 大學(xué)于 2017 年開始進(jìn)行全校數(shù)據(jù)治理，由校長(zhǎng)牽頭，實(shí)現(xiàn)一把手工程，全校高度重視數(shù)據(jù)治理過程，目前已經(jīng)接近尾聲，全校建立統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，校園內(nèi)部數(shù)據(jù)交換共享效率獲得極大提升，信息化建設(shè)也獲得教育部高度贊揚(yáng)許可。* 大學(xué)精選文庫(kù)* 大學(xué)于 2017 年開始建設(shè)教師畫像系統(tǒng)，業(yè)已建設(shè)完成，通過教師畫像，校方可以明確了解每個(gè)教師的基本信息、學(xué)歷信息、工作經(jīng)歷、黨政職務(wù)、消費(fèi)、薪資、教學(xué)、評(píng)教、科研等詳細(xì)情況，減省了大量的查詢工作，有效的實(shí)現(xiàn)將數(shù)據(jù)可視化轉(zhuǎn)變?yōu)樾７教峁┓?wù)。2、技術(shù)

5、可行性大數(shù)據(jù)分析的相關(guān)技術(shù)發(fā)展已經(jīng)成熟，主要的相關(guān)技術(shù)有：傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)，例如Oracle 、 MsSQl 等，我校已經(jīng)使用多年，并在數(shù)字化校園、一卡通項(xiàng)目中廣泛采用，相關(guān)人才豐富。大數(shù)據(jù)專用處理技術(shù)，主要包括Hadoop 軟件體系。 其中， Hadoop 軟件體系的各個(gè)功能組件如HDFS、MapReduce、Hive 、 HBase、Spark 、Mahout、MLlib 、Graphx 、 Stome、Flume 、Kafka 、Yarn 、Zookeepker 都已經(jīng)非常成熟，有大量的商業(yè)公司利用上述技術(shù)開發(fā)了豐富的產(chǎn)品和應(yīng)用軟件，在各行各業(yè)發(fā)揮作用。數(shù)據(jù)挖掘分析的開發(fā)工具也已經(jīng)成熟，相

6、關(guān)軟件豐富，包括Python 、R、SAS、Matlab 、 Java 等。有大量的商業(yè)公司利用上述技術(shù)開發(fā)了豐富的產(chǎn)品和應(yīng)用軟件，在各行各業(yè)發(fā)揮作用。在數(shù)據(jù)實(shí)體的組織、處理方面，我校在之前的數(shù)字化校園建設(shè)過程中已經(jīng)積累了大量的實(shí)踐經(jīng)驗(yàn)，并形成了部分可以繼承的成果，教育部也于2012 年推出了具體的信息標(biāo)準(zhǔn)內(nèi)容。在商業(yè)領(lǐng)域，數(shù)據(jù)倉(cāng)庫(kù)技術(shù)、聯(lián)機(jī)數(shù)據(jù)分析處理（OLAP）、商業(yè)智能工具（BI ）、輔助決策系統(tǒng)已經(jīng)經(jīng)過多年發(fā)展走向成熟。因此，本項(xiàng)目所需的各種技術(shù)要件均已經(jīng)具備，市場(chǎng)上也有大量的有實(shí)力、有經(jīng)驗(yàn)的公司開展相關(guān)的業(yè)務(wù)服務(wù)，有很多案例和成果可供借鑒，因此本項(xiàng)目的技術(shù)可行性有充分保障。3、項(xiàng)目預(yù)

7、算的合理性及可靠性分析本項(xiàng)目的預(yù)算依據(jù)來源于項(xiàng)目的建設(shè)內(nèi)容。大數(shù)據(jù)平臺(tái)及應(yīng)用建設(shè)符合學(xué)?？傮w布局。項(xiàng)目預(yù)算已經(jīng)專家們反復(fù)論證，充分考慮了學(xué)校的用戶規(guī)模、系統(tǒng)組成、平臺(tái)性能、產(chǎn)品市場(chǎng)報(bào)價(jià)等諸多因素。項(xiàng)目建成后將極大地提升學(xué)校信息化服務(wù)水平，其實(shí)用價(jià)值和社會(huì)效益十分明顯。我們認(rèn)為本項(xiàng)目符合國(guó)家有關(guān)政策和技術(shù)標(biāo)準(zhǔn)，并結(jié)合了我校實(shí)際，采用技術(shù)先進(jìn)實(shí)用，有成熟專用市場(chǎng)產(chǎn)品，安全性和可靠性有良好保障，建設(shè)方案明確可行；經(jīng)濟(jì)上預(yù)算有據(jù)，社會(huì)效益和管理服務(wù)效果明顯，項(xiàng)目建設(shè)總體上是完全可行的。-2精選文庫(kù)建設(shè)本項(xiàng)目具備的基本條件：（根據(jù)各學(xué)校情況填寫，最好由學(xué)校自己填）1. 組織保障本項(xiàng)目的建設(shè)內(nèi)容是學(xué)校“十

8、三五”發(fā)展規(guī)劃中規(guī)定的重點(diǎn)建設(shè)工程之一。學(xué)校網(wǎng)絡(luò)中心將全面指導(dǎo)項(xiàng)目工作。由網(wǎng)絡(luò)中心牽頭，相關(guān)單位配合，組成了工作組，將數(shù)據(jù)存儲(chǔ)、管理、運(yùn)維等納入了工作考核指標(biāo)，完成本項(xiàng)目具有組織保障。2. 資金條件我們對(duì)大數(shù)據(jù)平臺(tái)建設(shè)技術(shù)方案已開展前期預(yù)研究?，F(xiàn)申請(qǐng)的國(guó)家財(cái)政專項(xiàng)資金，如果能及時(shí)足額到位，將為本項(xiàng)目的成功實(shí)施提供資金保障。3. 人員條件學(xué)校網(wǎng)絡(luò)信息中心擁有多名長(zhǎng)期從事信息化建設(shè)和維護(hù)專業(yè)技術(shù)人員，對(duì)信息系統(tǒng)、數(shù)據(jù)中心、數(shù)據(jù)交換、數(shù)據(jù)挖掘等有較深入的研究和實(shí)際工作經(jīng)驗(yàn)，他們?yōu)楸卷?xiàng)目的實(shí)施項(xiàng)目實(shí)施條件提供了有力的保證。項(xiàng)目負(fù)責(zé)人工作組先后成功承擔(dān)過學(xué)校、校園網(wǎng)擴(kuò)建工程、數(shù)據(jù)中心等大型信息化項(xiàng)目建設(shè)

9、，具有豐富的項(xiàng)目建設(shè)和管理經(jīng)驗(yàn)。4. IT 設(shè)施條件學(xué)校經(jīng)過近十多年的信息化建設(shè)，已具備了完成本項(xiàng)目的網(wǎng)絡(luò)設(shè)施條件、應(yīng)用系統(tǒng)條件和數(shù)據(jù)環(huán)境條件。項(xiàng)目所需的外部環(huán)境支持包括網(wǎng)絡(luò)通訊環(huán)境、信息安全保障和IT 基礎(chǔ)設(shè)施環(huán)境保障 （包括供電、制冷、物理空間）。這些條件目前我校已經(jīng)具備，可以支持項(xiàng)目的運(yùn)行。-3項(xiàng)目實(shí)施主要內(nèi)容及相關(guān)預(yù)算精選文庫(kù)一、統(tǒng)一數(shù)據(jù)管理平臺(tái)建設(shè)需要建設(shè)一個(gè)承載數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)管理平臺(tái)，對(duì)全校數(shù)據(jù)進(jìn)行匯總和統(tǒng)一管理。數(shù)據(jù)管理平臺(tái)具備對(duì)各種業(yè)務(wù)類結(jié)構(gòu)化數(shù)據(jù)、日志類非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一存儲(chǔ)、計(jì)算和管理能力，可屏蔽數(shù)據(jù)的各種底層細(xì)節(jié)和差異，以標(biāo)準(zhǔn)API 接口的方式向應(yīng)用層軟件提供數(shù)據(jù)供應(yīng)、數(shù)

10、據(jù)計(jì)算服務(wù)。同時(shí)，該平臺(tái)還需要對(duì)數(shù)據(jù)進(jìn)行隱私安全和調(diào)用權(quán)限的控制，確保應(yīng)用程序只有獲得授權(quán)才能訪問數(shù)據(jù)集和數(shù)據(jù)字段，對(duì)身份證號(hào)、銀行卡號(hào)等敏感隱私信息自動(dòng)屏蔽，防止數(shù)據(jù)被惡意利用和個(gè)人隱私泄露。統(tǒng)一數(shù)據(jù)管理平臺(tái)需要具備大數(shù)據(jù)基礎(chǔ)架構(gòu)（例如采用Hadoop 架構(gòu)），提供API 接口功能，解決多源異構(gòu)數(shù)據(jù)的存儲(chǔ)和計(jì)算問題，解決了開發(fā)者利用大數(shù)據(jù)平臺(tái)安全便捷開發(fā)的問題，為學(xué)校多源異構(gòu)的全量數(shù)據(jù)提供數(shù)據(jù)存儲(chǔ)和計(jì)算中心。二、數(shù)據(jù)治理工程和主題數(shù)據(jù)集市建設(shè)。目前我校的數(shù)字化校園工程由于開發(fā)廠商不同、執(zhí)行標(biāo)準(zhǔn)不同，導(dǎo)致“數(shù)據(jù)孤島”現(xiàn)象比較嚴(yán)重，數(shù)據(jù)難以匯總和整合分析。為此，計(jì)劃在已制定較完善的數(shù)據(jù)標(biāo)準(zhǔn)的基礎(chǔ)

11、上，開展系統(tǒng)性的數(shù)據(jù)治理工程，將原始數(shù)據(jù)可能存在的不完整數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)和重復(fù)數(shù)據(jù)，根據(jù)數(shù)據(jù)質(zhì)量評(píng)價(jià)體系和數(shù)據(jù)清洗操作，將不合規(guī)數(shù)據(jù)處理轉(zhuǎn)化成滿足數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)，形成規(guī)范的主題數(shù)據(jù)集市，形成完整的數(shù)據(jù)倉(cāng)庫(kù)體系，用于支持?jǐn)?shù)據(jù)分析挖掘和輔助決策支持類的應(yīng)用。數(shù)據(jù)治理工程包括的工作內(nèi)容有：【 1】數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)結(jié)合國(guó)家標(biāo)準(zhǔn)和教育部標(biāo)準(zhǔn)，針對(duì)我校實(shí)際情況，建立符合我校內(nèi)部的數(shù)據(jù)標(biāo)準(zhǔn)。數(shù)據(jù)標(biāo)準(zhǔn)包括基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)（分為行業(yè)參考模型實(shí)體標(biāo)準(zhǔn)和公共代碼標(biāo)準(zhǔn)）和指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)（包括基礎(chǔ)指標(biāo)標(biāo)準(zhǔn)和計(jì)算指標(biāo)標(biāo)準(zhǔn)）。基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)是通過各種業(yè)務(wù)處理產(chǎn)生或各類渠道采集的基礎(chǔ)性數(shù)據(jù)，在全校范圍內(nèi)必須是唯一定

12、義的，如“用戶編號(hào)” 、“所在部門” ?；A(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)分為行業(yè)參考模型實(shí)體標(biāo)準(zhǔn)和公共代碼標(biāo)準(zhǔn)。行業(yè)參考模型實(shí)體標(biāo)準(zhǔn)指按照教育部提供的 2012 年標(biāo)準(zhǔn)規(guī)范要求， 繼承以往數(shù)據(jù)邏輯模型實(shí)體規(guī)范，將各域的邏輯模型實(shí)體定義抽象為模型實(shí)體標(biāo)準(zhǔn)要求。指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)是數(shù)據(jù)基礎(chǔ)上按照一定業(yè)務(wù)規(guī)則加工匯總的數(shù)據(jù)，主要是中間數(shù)據(jù)，如 GPA 數(shù)據(jù)。指標(biāo)類數(shù)據(jù)又可分為基礎(chǔ)指標(biāo)和計(jì)算指標(biāo)。基礎(chǔ)指標(biāo)一般不含維度信息，且具有特定業(yè)務(wù)和經(jīng)濟(jì)含義。計(jì)算指標(biāo)通常由兩個(gè)以上基礎(chǔ)指標(biāo)計(jì)算出?！?2】數(shù)據(jù)治理清洗將原始數(shù)據(jù)可能存在的不完整數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)和重復(fù)數(shù)據(jù)，根據(jù)數(shù)據(jù)質(zhì)量評(píng)價(jià)體系和數(shù)據(jù)清洗操作，將不合規(guī)數(shù)據(jù)處理轉(zhuǎn)

13、化成滿足數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)，治理完成后的數(shù)據(jù)集應(yīng)該符合以下特性：各項(xiàng)數(shù)據(jù)基本正確、完整-4精選文庫(kù)同一數(shù)據(jù)只有唯一來源單一字段中不存在多種信息同一字段內(nèi)的數(shù)據(jù)格式統(tǒng)一相同對(duì)象的名稱表達(dá)一致代碼引用、縮寫詞、慣用語(yǔ)的表達(dá)一致值與字段名含義匹配同類數(shù)據(jù)的計(jì)量單位統(tǒng)一【 3】構(gòu)建數(shù)據(jù)管理體系管理體系包括：數(shù)據(jù)管理知識(shí)庫(kù)（包括：數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)庫(kù)、數(shù)據(jù)血緣關(guān)系、數(shù)據(jù)交換路由、數(shù)據(jù)質(zhì)量規(guī)則庫(kù)）數(shù)據(jù)倉(cāng)庫(kù)（包含學(xué)生、教務(wù)、人事等主題數(shù)據(jù)集）管理規(guī)范體系（包括數(shù)據(jù)標(biāo)準(zhǔn)管理、權(quán)威數(shù)據(jù)責(zé)任管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理、數(shù)據(jù)共享交換管理等）三、離線表格采集工具通過離線表格采集工具，實(shí)現(xiàn)Excel數(shù)據(jù)在線編輯

14、，實(shí)時(shí)同步數(shù)據(jù)庫(kù)。將離線表格數(shù)據(jù)導(dǎo)入大數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一管理；四、學(xué)生畫像對(duì)接學(xué)校統(tǒng)一身份認(rèn)證系統(tǒng)，實(shí)時(shí)同步業(yè)務(wù)系統(tǒng)數(shù)據(jù)，展示學(xué)生基本信息、獎(jiǎng)懲信息、在校行為軌跡、網(wǎng)絡(luò)使用分析、圖書借閱情況、選課與成績(jī)數(shù)據(jù)等。幫助管理者多維度、快速的了解學(xué)生在校情況。五、教師畫像全面展示教師基本信息、學(xué)歷單位、工作經(jīng)歷、黨政職務(wù)、專業(yè)技術(shù)職務(wù)、一卡通消費(fèi)、工資變化、教學(xué)信息、評(píng)教信息、科研信息等；幫助管理者快速全面的了解教師情況。本項(xiàng)目實(shí)施期限為20*年 * 月至 20*年 * 月項(xiàng)目進(jìn)度與計(jì)劃安排本項(xiàng)目主要是對(duì)購(gòu)置成熟軟件平臺(tái)，開發(fā)實(shí)用信息服務(wù)系統(tǒng)，所采用的技術(shù)成熟穩(wěn)定，項(xiàng)目實(shí)施方案、軟件部署和運(yùn)行管理

15、措施完善；有國(guó)家財(cái)政撥款，有分工明確、授權(quán)充分的組織保障體系，除特殊不可抗拒因素外，完成該項(xiàng)目沒有不可控的風(fēng)險(xiǎn)和不確定性因素。當(dāng)然，由于信息技術(shù)和應(yīng)用的迅猛發(fā)展，數(shù)據(jù)關(guān)注點(diǎn)和信息系統(tǒng)需求的不斷變化，在項(xiàng)目風(fēng)險(xiǎn)與實(shí)現(xiàn)設(shè)計(jì)功能和產(chǎn)品型號(hào)方面可能出現(xiàn)微小變動(dòng)，特別是大數(shù)據(jù)服務(wù)內(nèi)容隨學(xué)校的實(shí)際需不確定性分析要而變化，需要通過加強(qiáng)組織管理等手段進(jìn)行科學(xué)規(guī)劃。我們將努力把各項(xiàng)工作做細(xì)、做好，加強(qiáng)資金管理，做好防范預(yù)案，憑借在我校之前在信息化建設(shè)方面積累的大量經(jīng)驗(yàn)，以及借鑒行業(yè)類似學(xué)校的成功經(jīng)驗(yàn)，將項(xiàng)目風(fēng)險(xiǎn)降低到最低程度，保證完成既定項(xiàng)目建設(shè)任務(wù)。-5精選文庫(kù)大數(shù)據(jù)應(yīng)用平臺(tái)及大數(shù)據(jù)應(yīng)用系統(tǒng)是繼學(xué)校數(shù)字化校園、智慧校園后建設(shè)的又一大型戰(zhàn)略級(jí)信息化建設(shè)工程