智慧校園大數(shù)據(jù)建設方案

精華科技副總經(jīng)理郭磊精華科技副總經(jīng)理郭磊智慧校園目前尚未形成標準的框架體系，但是數(shù)據(jù)卻是通往智慧校園的必由之路。諾蘭模型諾蘭模型轉折點曲線”曲線”初始期普及期控制期集成期數(shù)據(jù)管理期成熟期研發(fā)，歷時5年形成了完整的數(shù)據(jù)產(chǎn)品線。公司共擁有70余人的研發(fā)團隊和50余人的軟件實施服務團各產(chǎn)品組的核心均為8-10年經(jīng)驗的資深研發(fā)人智慧校園、大數(shù)據(jù)時代服務化、智能化、移動化、泛在化、融合化服務化、智能化、移動化、泛在化、融合化高值數(shù)據(jù)高值數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘高價值、高質量數(shù)據(jù)層挖掘平臺挖掘工具挖掘平臺挖掘工具挖掘模型挖掘算法…有效數(shù)據(jù)有效數(shù)據(jù)低價值、高質量數(shù)據(jù)層數(shù)據(jù)治理數(shù)據(jù)治理元數(shù)據(jù)管理元數(shù)據(jù)管理主數(shù)據(jù)管理治理監(jiān)管質量監(jiān)控…基礎數(shù)據(jù)基礎數(shù)據(jù)數(shù)據(jù)集成數(shù)據(jù)集成低價值、低質量數(shù)據(jù)層統(tǒng)一統(tǒng)一門戶基本基本校情掌上掌上校園數(shù)據(jù)集成數(shù)據(jù)集成數(shù)據(jù)標準數(shù)據(jù)標準身份認證身份認證學工人事科研一卡通教務…應用系統(tǒng)（低階）學工人事科研一卡通教務…應用系統(tǒng)（低階）智慧校園、大數(shù)據(jù)時代服務化、智能化、移動化、泛在化、融合化應用系統(tǒng)（高階）服務化、智能化、移動化、泛在化、融合化應用系統(tǒng)（高階）高值數(shù)據(jù)高值數(shù)據(jù)高價值、高質量數(shù)據(jù)層數(shù)據(jù)挖掘數(shù)據(jù)挖掘挖掘平臺挖掘工具挖掘平臺挖掘工具挖掘模型挖掘算法…有效數(shù)據(jù)有效數(shù)據(jù)低價值、高質量數(shù)據(jù)層數(shù)據(jù)治理數(shù)據(jù)治理元數(shù)據(jù)管理元數(shù)據(jù)管理主數(shù)據(jù)管理治理監(jiān)管質量監(jiān)控…基礎數(shù)據(jù)基礎數(shù)據(jù)低價值、低質量數(shù)據(jù)層統(tǒng)一統(tǒng)一門戶基本基本校情掌上掌上校園數(shù)據(jù)集成數(shù)據(jù)集成數(shù)據(jù)集成數(shù)據(jù)集成數(shù)據(jù)標準數(shù)據(jù)標準身份認證身份認證學工人事科研一卡通教務…應用系統(tǒng)（低階）學工人事科研一卡通教務…應用系統(tǒng)（低階）智慧校園第一個數(shù)據(jù)階段的主要問題第一個數(shù)據(jù)階段的主要問題應用系統(tǒng)應用系統(tǒng)（高階）高值數(shù)據(jù)高值數(shù)據(jù)數(shù)據(jù)挖掘有效數(shù)據(jù)數(shù)據(jù)挖掘有效數(shù)據(jù)數(shù)據(jù)治理數(shù)據(jù)治理基礎數(shù)據(jù)基礎數(shù)據(jù)數(shù)據(jù)集成數(shù)據(jù)集成應用系統(tǒng)應用系統(tǒng)（低階）智慧校園應用系統(tǒng)應用系統(tǒng)（高階）高值數(shù)據(jù)高值數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘有效數(shù)據(jù)有效數(shù)據(jù)數(shù)據(jù)治理數(shù)據(jù)治理基礎數(shù)據(jù)數(shù)據(jù)集成數(shù)據(jù)集成應用系統(tǒng)應用系統(tǒng)（低階）數(shù)據(jù)治理是一個體系和過程。全局性的組織行為；對數(shù)據(jù)來源、處理和使用進行集中和規(guī)范的管理；目的是形成可重復利用的高質量的有效數(shù)據(jù)。智慧校園應用系統(tǒng)應用系統(tǒng)（高階）高值數(shù)據(jù)高值數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘有效數(shù)據(jù)有效數(shù)據(jù)數(shù)據(jù)治理數(shù)據(jù)治理基礎數(shù)據(jù)數(shù)據(jù)集成數(shù)據(jù)集成應用系統(tǒng)應用系統(tǒng)（低階）數(shù)據(jù)治理相關的工具和系統(tǒng)分布式數(shù)據(jù)集成交換平臺分布式數(shù)據(jù)集成交換平臺主數(shù)據(jù)管理系統(tǒng)主數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)質量分析與監(jiān)管平臺數(shù)據(jù)質量分析與監(jiān)管平臺統(tǒng)一數(shù)據(jù)標準管理系統(tǒng)統(tǒng)一數(shù)據(jù)標準管理系統(tǒng)元數(shù)據(jù)管理系統(tǒng)元數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)綜合治理管理平臺數(shù)據(jù)綜合治理管理平臺智慧校園發(fā)布-訂閱管理數(shù)據(jù)接入管理數(shù)據(jù)集成平臺發(fā)布-訂閱管理數(shù)據(jù)接入管理數(shù)據(jù)集成平臺交換網(wǎng)絡管理數(shù)據(jù)處理管理交換監(jiān)控管理數(shù)據(jù)路由管理物理監(jiān)控管理數(shù)據(jù)傳輸管理元數(shù)據(jù)管理元模型管理元數(shù)據(jù)采集管理元數(shù)據(jù)映射管理元數(shù)據(jù)維護管理元數(shù)據(jù)查詢管理元數(shù)據(jù)分析管理應用系統(tǒng)（高階）交換網(wǎng)絡管理數(shù)據(jù)處理管理交換監(jiān)控管理數(shù)據(jù)路由管理物理監(jiān)控管理數(shù)據(jù)傳輸管理元數(shù)據(jù)管理元模型管理元數(shù)據(jù)采集管理元數(shù)據(jù)映射管理元數(shù)據(jù)維護管理元數(shù)據(jù)查詢管理元數(shù)據(jù)分析管理應用系統(tǒng)（高階）高值數(shù)據(jù)高值數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘有效數(shù)據(jù)有效數(shù)據(jù)數(shù)據(jù)治理數(shù)據(jù)治理主數(shù)據(jù)管理主數(shù)據(jù)模型管理主數(shù)據(jù)映射管理主數(shù)據(jù)質量管理基礎數(shù)據(jù)主數(shù)據(jù)管理主數(shù)據(jù)模型管理主數(shù)據(jù)映射管理主數(shù)據(jù)質量管理基礎數(shù)據(jù)主數(shù)據(jù)服務管理主數(shù)據(jù)查詢管理數(shù)據(jù)集成主數(shù)據(jù)服務管理主數(shù)據(jù)查詢管理數(shù)據(jù)集成應用系統(tǒng)應用系統(tǒng)（低階）智慧校園應用系統(tǒng)（高階）應用系統(tǒng)（高階）狹義的數(shù)據(jù)挖掘，指傳統(tǒng)數(shù)據(jù)挖掘的定義，即從海量數(shù)據(jù)中揭示狹義的數(shù)據(jù)挖掘，指傳統(tǒng)數(shù)據(jù)挖掘的定義，即從海量數(shù)據(jù)中揭示高值數(shù)據(jù)高值數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘有效數(shù)據(jù)C有效數(shù)據(jù) 數(shù)據(jù)治理基礎數(shù)據(jù)數(shù)據(jù)集成應用系統(tǒng)應用系統(tǒng)（低階）智慧校園應用系統(tǒng)（高階）高值數(shù)據(jù)智慧校園下的數(shù)據(jù)挖掘層的目的和進行方式，和傳統(tǒng)數(shù)據(jù)挖掘是有區(qū)別的。應用系統(tǒng)（高階）高值數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘有效數(shù)據(jù)有效數(shù)據(jù)數(shù)據(jù)治理數(shù)據(jù)治理基礎數(shù)據(jù)數(shù)據(jù)集成基礎數(shù)據(jù)數(shù)據(jù)集成應用系統(tǒng)應用系統(tǒng)（低階）智慧校園圖表生成引擎標準化服務接口分布式挖掘引擎挖掘模型挖掘算法圖表生成引擎標準化服務接口分布式挖掘引擎挖掘模型挖掘算法分布式數(shù)據(jù)高速緩存應用系統(tǒng)（高階）高值數(shù)據(jù)高值數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘有效數(shù)據(jù)有效數(shù)據(jù)數(shù)據(jù)治理數(shù)據(jù)治理分布式數(shù)據(jù)系統(tǒng)（Hadoop+分布式數(shù)據(jù)系統(tǒng)（Hadoop+MapReduce+Spark）基礎數(shù)據(jù)數(shù)據(jù)集成結構化數(shù)據(jù)半結構化數(shù)據(jù)結構化數(shù)據(jù)半結構化數(shù)據(jù)非結構化數(shù)據(jù)應用系統(tǒng)（低階）現(xiàn)有數(shù)據(jù)智慧校園應用系統(tǒng)應用系統(tǒng)（高階）高值數(shù)據(jù)高值數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘有效數(shù)據(jù)有效數(shù)據(jù)數(shù)據(jù)治理數(shù)據(jù)治理基礎數(shù)據(jù)C基礎數(shù)據(jù) 數(shù)據(jù)集成應用系統(tǒng)應用系統(tǒng)（低階）大量高階應用系統(tǒng)的出現(xiàn)，才意味著真正踏入了智慧校園的時代。從技術體系架構的角度，還有一個非常重要的智慧校園從技術體系架構的角度，還有一個非常重要的應用系統(tǒng)（高階）在所有系統(tǒng)間共享數(shù)據(jù)挖掘教務管理標準SOA服務接口訪問控制層學工管理有效數(shù)據(jù)抽取注冊數(shù)據(jù)治理人事管理資產(chǎn)管理基礎數(shù)據(jù) 數(shù)據(jù)集成科研管理高值數(shù)據(jù)在所有系統(tǒng)間共享數(shù)據(jù)挖掘教務管理標準SOA服務接口訪問控制層學工管理有效數(shù)據(jù)抽取注冊數(shù)據(jù)治理人事管理資產(chǎn)管理基礎數(shù)據(jù) 數(shù)據(jù)集成科研管理高值數(shù)據(jù)統(tǒng)一服務集成平臺應用系統(tǒng)應用系統(tǒng)（低階）【數(shù)據(jù)集成階段的建設】廠商的開發(fā)成本和銷售成本（盜版或使用免費產(chǎn)品但接口接口A系統(tǒng)接口接口A系統(tǒng)點對點結構：高成本、難維護、數(shù)據(jù)無法集中數(shù)據(jù)A系統(tǒng)數(shù)據(jù)A系統(tǒng)星形結構：低成本、易維護、數(shù)據(jù)可以集中A系統(tǒng)A系統(tǒng)ETL交換代理觸發(fā)器/日志數(shù)據(jù)平臺ETL交換代理觸發(fā)器/觸發(fā)器/日志生成&發(fā)布在線監(jiān)管離線模式分離式結構，弱管理能力，不適合較大規(guī)模的數(shù)據(jù)集成。交換模式-面向對象交換模式-面向消息交換模式-面向消息交換模式-基于數(shù)據(jù)交換模式-基于服務兩種方案的比較1233456有無7有無89有無有無有無有無高有無高【數(shù)據(jù)治理階段的建設】數(shù)據(jù)質量低下，統(tǒng)計不準確？數(shù)據(jù)分散，形成信息孤島，共享困難？對其應用處理困難？數(shù)據(jù)多樣化，缺少統(tǒng)出了問題再補漏，數(shù)據(jù)管理部數(shù)據(jù)治理四要素數(shù)據(jù)治理四要素技術平臺與工具流程、活動與機制計劃、制度與標準規(guī)范數(shù)據(jù)數(shù)據(jù)治理體系架構組織體系管理體系技術體系執(zhí)行體系數(shù)據(jù)生產(chǎn)者數(shù)據(jù)擁有者生產(chǎn)使用生產(chǎn)數(shù)據(jù)管控體系組織體系挖掘挖掘數(shù)據(jù)使用者數(shù)據(jù)管理者業(yè)務主數(shù)據(jù)數(shù)據(jù)質量稽查、提升、主數(shù)據(jù)監(jiān)控: ,輔助管理決策。主數(shù)據(jù)質量主數(shù)據(jù)質量元數(shù)據(jù)元數(shù)據(jù)9“防患于未然”優(yōu)于“后期治療”【數(shù)據(jù)挖掘階段的建設】采用商業(yè)BI工具的數(shù)據(jù)挖掘方案商業(yè)BI工具最早起源于1996年，迄今發(fā)展已近20年。目前主流的商業(yè)產(chǎn)品有IBMcognos、SAPBO、oracleBIEE、MicrosoftBI、MicroStrategy、QlikView。其最主要的優(yōu)點是可以通過配置化的方式，快速構建數(shù)據(jù)分析模型。但是由于其保持通用性和強調可配置化的特點，也導致了一系列問題的產(chǎn)生。采用商業(yè)BI工具方案的缺陷（一）其配置化構建分析模型的方式，必須基于單表的數(shù)據(jù)構造，如：單表、視圖和數(shù)據(jù)立方體，否則就要通過開發(fā)方式來解決。但是在大數(shù)據(jù)時代的背景下，越來越多的涉及復雜結構的多表數(shù)據(jù)分析模型,因為難以形成視圖或數(shù)據(jù)立方體這樣的單表構造，而不能進行配置化，使其淪為只能通過配置化的方式，構建有限的數(shù)據(jù)分析模型。采用商業(yè)BI工具方案的缺陷（二）目前主流的BI工具僅支持普通數(shù)據(jù)庫、數(shù)據(jù)立方體（Cube）和內存計算三種數(shù)據(jù)系統(tǒng)中的兩種或一種，不支持如：圖數(shù)據(jù)庫和分布式數(shù)據(jù)系統(tǒng)等其它方式，而以Hadoop、MapReduce（離線）、Storm（在線）和Spark（在線）為代表的分布式數(shù)據(jù)系統(tǒng)，正是大數(shù)據(jù)環(huán)境下的標準配置。因此BI工具在面對大數(shù)據(jù)處理時的分析速度和計算資源開銷都將成為致命的瓶頸,無法達到實時在線式分析的目標，而這也是開發(fā)大數(shù)據(jù)應用的一個必要前提。采用商業(yè)BI工具方案的缺陷（三）由于BI工具保持配置化和通用化的需要，導致分析系統(tǒng)的表現(xiàn)形式固化，無法針對不同的主題和應用場景靈活構建不同的用戶體驗，與當前軟件發(fā)展趨勢所強調的極致用戶體驗和個性化的要求不符。分析挖掘后的結果數(shù)據(jù)不能進行標準化的存儲，無法積累高價值數(shù)據(jù)層，使其后的基于大數(shù)據(jù)的高價值應用難以順利展開。圖表生成引擎標準化服務接口挖掘模型挖掘算法挖掘模型挖掘算法分布式挖掘引擎分布式數(shù)據(jù)高速緩存分布式數(shù)據(jù)高速緩存