智慧科技園區(qū)大數(shù)據(jù)云平臺建設(shè)和運營整體解決方案 智慧科技園區(qū)信息化管理平臺建設(shè)方案

智慧科技園區(qū)大數(shù)據(jù)云平臺建設(shè)和運營整體解決方案議程2智慧科技園區(qū)大數(shù)據(jù)云平臺總體架構(gòu)3智慧科技園區(qū)大數(shù)據(jù)云平臺演進路線4智慧科技園區(qū)大數(shù)據(jù)云平臺實施計劃5智慧科技園區(qū)大數(shù)據(jù)治理規(guī)劃數(shù)據(jù)交易?等一等大數(shù)據(jù)創(chuàng)業(yè)、創(chuàng)新平臺，用“數(shù)據(jù)”但是要遷”,要把符合共享開放要求的委辦局數(shù)據(jù)都集中(遷移)到1智慧科技園區(qū)管理分析類應(yīng)用建設(shè)現(xiàn)狀基本分析基本的現(xiàn)狀基本的現(xiàn)狀存在的問題存在的問題利用基礎(chǔ)數(shù)據(jù)平臺和BI應(yīng)用建設(shè)是未來一段時間的重點!通過數(shù)據(jù)平臺和BI應(yīng)用建設(shè)，智慧科技園區(qū)將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺，對各類業(yè)務(wù)進行前瞻性預(yù)測及分析，為集團各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉(zhuǎn)能力統(tǒng)一制定目標和分析模型多種格式報表BI力統(tǒng)一制定目標和分析模型多種格式報表BI分析工具行+列的簡單定義方式資產(chǎn)負候表公司1云數(shù)據(jù)推送平臺已實現(xiàn)了主要零售及金融業(yè)務(wù)系統(tǒng)數(shù)據(jù)清洗、整合，為未來智慧科技園區(qū)數(shù)據(jù)平臺提統(tǒng)一規(guī)劃分析方法統(tǒng)一劃分分析主題統(tǒng)一設(shè)計數(shù)據(jù)模式統(tǒng)一部署技術(shù)基礎(chǔ)集團決策層集團職能管控層POP系統(tǒng)POP系統(tǒng)各級業(yè)務(wù)操作層網(wǎng)絡(luò)數(shù)據(jù)、用戶數(shù)據(jù)、應(yīng)用數(shù)據(jù)的匯聚構(gòu)成了我們的“大數(shù)據(jù)”。這些結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)的處理和建模形成對用戶、服務(wù)、資源、終端等對象的洞察。這些洞察與市場營銷、網(wǎng)采集、建模和應(yīng)用采集、建模和應(yīng)用提升網(wǎng)絡(luò)運維效率古應(yīng)用數(shù)據(jù)內(nèi)容DPI網(wǎng)絡(luò)數(shù)據(jù)故障監(jiān)測運營改進建模分析數(shù)據(jù)采集改善客戶滿意度創(chuàng)新商業(yè)模式改善市場運營效率用戶數(shù)據(jù)SocialmedaVideoAudioEmallTestsCDR/XDR個個價值大數(shù)據(jù)2大數(shù)據(jù)1通過數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)集中，確保智慧科技園區(qū)各級部門均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為企業(yè)重要資產(chǎn)的業(yè)務(wù)價值實現(xiàn)分散在供應(yīng)鏈金融、人人貸、保理等各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺中的集2.加強業(yè)務(wù)協(xié)作中和整合，建立單一的產(chǎn)品、客戶等數(shù)據(jù)的企業(yè)級視圖，有效促進業(yè)務(wù)的集成和協(xié)作，并為企業(yè)級分析、交叉銷售提供基礎(chǔ)智慧科技園區(qū)業(yè)務(wù)人員可以基于明細、可信的數(shù)據(jù)，進行多維分析和數(shù)據(jù)挖掘，為金融業(yè)務(wù)創(chuàng)新(客戶服務(wù)創(chuàng)新、產(chǎn)品創(chuàng)新等)創(chuàng)造了有利條件通過數(shù)據(jù)平臺對數(shù)據(jù)進行集中，為管理分析、挖掘預(yù)測類等系統(tǒng)提供一致的數(shù)據(jù)基礎(chǔ)，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來源多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀，實現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn)變，提升相關(guān)IT系統(tǒng)的建設(shè)和運行效率從中長期看，數(shù)據(jù)倉庫對智慧科技園區(qū)分散在各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)整合、清洗，有助于企業(yè)整體數(shù)據(jù)質(zhì)量的改善，提高的數(shù)據(jù)的實用性B域數(shù)據(jù)以客戶關(guān)系、用戶行為、產(chǎn)品信息等為主，支撐客戶經(jīng)營和產(chǎn)品營銷等M域數(shù)據(jù)以財務(wù)、人力資源、供應(yīng)鏈和辦公信業(yè)務(wù)平臺IT系統(tǒng)業(yè)務(wù)平臺管道管道議程1智慧科技園區(qū)大數(shù)據(jù)云平臺綜述3智慧科技園區(qū)大數(shù)據(jù)云平臺演進路線4智慧科技園區(qū)大數(shù)據(jù)云平臺實施計劃5智慧科技園區(qū)大數(shù)據(jù)治理規(guī)劃多租戶管理及統(tǒng)一調(diào)度多租戶管理及統(tǒng)一調(diào)度統(tǒng)一數(shù)據(jù)采集統(tǒng)一數(shù)據(jù)中心數(shù)據(jù)源數(shù)據(jù)源應(yīng)用中心漏處理批量采集(云化批量采集(云化ETL)網(wǎng)絡(luò)爬蟲存儲與計算理數(shù)據(jù)管控層數(shù)據(jù)標準數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全流程調(diào)度層流程調(diào)度數(shù)據(jù)管控層數(shù)據(jù)標準數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全流程調(diào)度層流程調(diào)度監(jiān)控告警……歷史歸檔數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)待處理大數(shù)據(jù)處理后大數(shù)據(jù)主題數(shù)據(jù)區(qū)IT人IT人員實時數(shù)據(jù)查詢歷史數(shù)實時數(shù)據(jù)查詢歷史數(shù)據(jù)查詢內(nèi)部管理分析應(yīng)用集市數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)外部用戶業(yè)務(wù)沙盤演練數(shù)據(jù)增值產(chǎn)品業(yè)務(wù)沙盤演練沙盤演練數(shù)據(jù)區(qū)增值產(chǎn)品數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)用戶訪問層數(shù)據(jù)應(yīng)用層算層數(shù)據(jù)交換層數(shù)據(jù)產(chǎn)生層傳輸組件是根據(jù)數(shù)據(jù)源存儲的不同分類而設(shè)計的，本質(zhì)是通過分析數(shù)據(jù)存儲結(jié)構(gòu)和數(shù)據(jù)存儲庫的特點來針對性的設(shè)計工具，以追求卓越的性能數(shù)據(jù)交換層設(shè)計目標數(shù)據(jù)服務(wù)層件序區(qū)序區(qū)↓大數(shù)大數(shù)據(jù)科技園區(qū)系統(tǒng)智慧科技園區(qū)系統(tǒng) Hadoop集群元數(shù)據(jù)區(qū)數(shù)據(jù)平臺臨時數(shù)Hadoop集群元數(shù)據(jù)區(qū)數(shù)據(jù)平臺臨時數(shù)據(jù)區(qū)元數(shù)據(jù)e集團數(shù)據(jù)交換平臺每日獲取運輸局推送平臺提供的業(yè)務(wù)系統(tǒng)變據(jù)區(qū)數(shù)據(jù)平臺ETL數(shù)據(jù)處理程序區(qū)e數(shù)據(jù)平臺ETL加工處理程序(數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù)處理等)統(tǒng)一存儲在NAS集群指定目錄，各接口服務(wù)器通過文件數(shù)據(jù)平臺ETL數(shù)據(jù)處理程序區(qū)智慧科技園區(qū)大數(shù)據(jù)云平臺總體架構(gòu)——數(shù)據(jù)交換層大數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)，如：音頻、視頻、、抵押品掃描件等●企業(yè)外部非結(jié)構(gòu)化如：微博、貼吧、論壇、用戶點擊流、用戶移動位置等兩種模式實現(xiàn)下列錄十十源以SFTP協(xié)議批量傳輸數(shù)據(jù)文件大據(jù)源API,或以網(wǎng)絡(luò)平臺爬蟲方式抓取源系統(tǒng)非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)應(yīng)用場景應(yīng)用場景定時抽取用戶訪問日志，加載到數(shù)據(jù)平臺大數(shù)據(jù)區(qū)HDFS指定目錄，MR程序加工處理,掃描用戶微博，抓取用戶微博內(nèi)容,社交圈信息，存入大數(shù)據(jù)區(qū) ●企業(yè)內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，包括兩大來源：●組件以實時和批量模式實現(xiàn)下列功能：數(shù)據(jù)采集，調(diào)用●云數(shù)據(jù)推送平臺連接供應(yīng)鏈金融系統(tǒng)數(shù)據(jù)庫，分析供應(yīng)鏈金融MySQL數(shù)據(jù)庫日志，識別增量數(shù)據(jù)，存儲到金融平臺NAS存儲的指定目錄，金融平臺加載數(shù)據(jù)文件到數(shù)據(jù)平臺臨時區(qū)Hive表智慧科技園區(qū)大數(shù)據(jù)云平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)區(qū)數(shù)據(jù)交據(jù)交驅(qū)的數(shù)類種數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)

沙盤數(shù)據(jù)區(qū)歸檔數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)和主題數(shù)

大數(shù)據(jù)區(qū)到主題數(shù)據(jù)主題數(shù)據(jù)區(qū)、貼源數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)到各個數(shù)據(jù)區(qū)數(shù)據(jù)歸檔十據(jù)交換換,統(tǒng)一將過期數(shù)據(jù)檔區(qū)批量數(shù)據(jù)處理工作流事情中SFOH事情中SFOH(數(shù)據(jù)庫交換組件)采臨時數(shù)整翼出臨時數(shù)整翼出貼源數(shù)據(jù)整合記錄級質(zhì)量檢查結(jié)構(gòu)化處理取貼散檢區(qū)數(shù)據(jù)數(shù)據(jù)追預(yù)計接事轟生成維襄處理主露髯區(qū)區(qū)元數(shù)據(jù)管理元數(shù)據(jù)導(dǎo)/導(dǎo)出-=R===-=*-=P--=------*2TZPZ--TTETE監(jiān)控流程優(yōu)化日志&審核跟蹤通知提醒流程調(diào)度服務(wù)日志管理摩在第清洗●批量數(shù)據(jù)處理由流程調(diào)度層部署的1.獲取業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，存入臨時數(shù)據(jù)區(qū)2.獲取企業(yè)內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù),并進行結(jié)構(gòu)化處理，存入主題或集市數(shù)據(jù)區(qū)3.按照貼源數(shù)據(jù)模型整合數(shù)據(jù)(標準化、數(shù)據(jù)更新/追加)4.按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總5.數(shù)據(jù)加工計算后，結(jié)果交付到數(shù)據(jù)集市，支持分析類應(yīng)用數(shù)據(jù)，并利用Storm處理數(shù)據(jù)，加載到實時數(shù)據(jù)區(qū)3.針對實時數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標準化處理和貼源整合數(shù)據(jù)，并利用Storm處理數(shù)據(jù)，加載到實時數(shù)據(jù)區(qū)3.針對實時數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標準化處理和貼源整合標化簽整新(數(shù)件)數(shù)追加實實時數(shù)區(qū)流貼●實時數(shù)據(jù)處理強調(diào)的是實時或準實時獲取并處理數(shù)據(jù)，通常采取消息隊列等技術(shù)構(gòu)建“數(shù)據(jù)流”●整個處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行1.通過數(shù)據(jù)庫數(shù)據(jù)交換組件獲取增量數(shù)據(jù)，加載到實時數(shù)據(jù)區(qū)源統(tǒng)整庫統(tǒng)整轂平整輪整聯(lián)取整檢核女加裁整合實時毀據(jù)區(qū)樓樹頁并集集文本分詞理算繁喜用結(jié)化整時數(shù)據(jù)處理時數(shù)據(jù)處理元數(shù)據(jù)管理(元數(shù)據(jù)導(dǎo)/導(dǎo)出)協(xié)同管理圖例日志&審核跟蹤流程調(diào)度&質(zhì)量檢核任務(wù)調(diào)數(shù)據(jù)歸檔整件整件源數(shù)區(qū)主露掩區(qū)大數(shù)區(qū)集市數(shù)搜3.集市數(shù)據(jù)區(qū)通過Sqoop或數(shù)據(jù)庫提供的Hadoop集成技術(shù)(如：外部表)執(zhí)行歸檔歸檔數(shù)據(jù)處理工作流●數(shù)據(jù)歸檔的對象包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件、貼源數(shù)歸檔數(shù)據(jù)處理工作流●數(shù)據(jù)歸檔的對象包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件、貼源數(shù)●數(shù)據(jù)按照生命周期規(guī)劃存儲到歸檔區(qū)Hadoop集群,歸檔后原數(shù)據(jù)區(qū)刪除此數(shù)據(jù)●整個處理流程由流程調(diào)度層部署的自定義開發(fā)歸檔(數(shù)據(jù)區(qū)數(shù)據(jù)交換組件)歸檔歸檔流程調(diào)度服務(wù)流程調(diào)度服務(wù)數(shù)流智理度&質(zhì)量檢核理引度引擎器圖例執(zhí)行數(shù)據(jù)處理的ETL任務(wù)通知提醒協(xié)同管理(日志&審核跟蹤；據(jù)交換流程調(diào)度往霧大數(shù)據(jù)區(qū)協(xié)議主題機構(gòu)匯總數(shù)據(jù)計算層歷史歸檔數(shù)據(jù)區(qū)處理后大數(shù)據(jù)待處理大數(shù)據(jù)主題數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū) 不保存歷史智慧科技園區(qū)大數(shù)據(jù)云平臺總體架構(gòu)——數(shù)據(jù)存儲層(續(xù))客戶管理財務(wù)管理風(fēng)險管理大數(shù)據(jù)區(qū)協(xié)議主題數(shù)據(jù)計算層歷史歸檔數(shù)據(jù)區(qū)處理后大數(shù)據(jù)待處理大數(shù)據(jù)實時數(shù)據(jù)區(qū)主題數(shù)機構(gòu)匯總據(jù)區(qū) 智慧科技園區(qū)大數(shù)據(jù)云平臺總體架構(gòu)——數(shù)據(jù)存儲層(續(xù))大數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)數(shù)據(jù)計處理后大數(shù)據(jù)待處理大數(shù)據(jù)主題數(shù)機構(gòu)匯總據(jù)區(qū)智慧科技園區(qū)大數(shù)據(jù)云平臺總體架構(gòu)——數(shù)據(jù)存儲層(續(xù))實時數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)算層大數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)客戶匯總客戶主題賬戶匯總協(xié)議主題機構(gòu)匯總產(chǎn)品主題待處理大數(shù)據(jù)社交媒體用戶評價處理后大數(shù)據(jù)訪問日志零售數(shù)據(jù)供應(yīng)鏈數(shù)據(jù)貼源數(shù)據(jù)區(qū) 智慧科技園區(qū)大數(shù)據(jù)云平臺總體架構(gòu)——數(shù)據(jù)存儲層(續(xù))歷史歸檔數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)協(xié)議主題機構(gòu)匯總數(shù)據(jù)計處理后大數(shù)據(jù)待處理大數(shù)據(jù)主題數(shù)據(jù)區(qū) 主題明細數(shù)據(jù)公共匯總數(shù)據(jù)臨時數(shù)據(jù)區(qū)主題明細數(shù)據(jù)公共匯總數(shù)據(jù)臨時數(shù)據(jù)區(qū)數(shù)據(jù)集成層源系統(tǒng)數(shù)據(jù)文件實時數(shù)據(jù)區(qū)源系統(tǒng)數(shù)據(jù)文件實時數(shù)據(jù)區(qū)操作型明細據(jù)主題數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)POP主題數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)POP自營數(shù)據(jù)大物流系統(tǒng)數(shù)據(jù)供應(yīng)鏈系統(tǒng)數(shù)據(jù)財務(wù)審計數(shù)據(jù)財務(wù)研發(fā)數(shù)據(jù)金融業(yè)務(wù)數(shù)據(jù)集市數(shù)據(jù)區(qū)客戶管理集市主題數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)……集市高時效數(shù)據(jù)實驗室數(shù)據(jù)沙盤演練數(shù)據(jù)區(qū)數(shù)據(jù)實驗室數(shù)據(jù)大數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化&半結(jié)構(gòu)化數(shù)據(jù)智慧科技園區(qū)大數(shù)據(jù)云平臺總體架構(gòu)——數(shù)據(jù)應(yīng)用層●客戶經(jīng)理等最終業(yè)務(wù)人員針對當(dāng)●實時分析類應(yīng)用通常使用CEP前業(yè)務(wù)的發(fā)生(如：用戶交易、、ESB等技術(shù)實現(xiàn)用戶訪問日志),進行實時查詢、分析的應(yīng)用歷史查詢類應(yīng)用●針對公檢法查詢需求、內(nèi)外部審計需求和最終用戶的歷史交易查詢需求，以貼源存儲的歸檔數(shù)據(jù)為基礎(chǔ)，實現(xiàn)的查詢類應(yīng)用●歷史查詢類應(yīng)用通常使用BI工具或自主開發(fā)實現(xiàn)大數(shù)據(jù)平臺應(yīng)用沙盤演練類應(yīng)用●業(yè)務(wù)人員根據(jù)業(yè)務(wù)需求或自己對業(yè)務(wù)的理解，設(shè)計計算模型，準備各類明細或匯總數(shù)據(jù)，導(dǎo)入模型運算，驗證業(yè)務(wù)結(jié)果●沙盤演練類應(yīng)用通常使用R語言在Hadoop分布式體系下實現(xiàn)●管理分析類應(yīng)用主要實現(xiàn)了集團客戶管理、運營管理、財務(wù)管理、風(fēng)險管理、監(jiān)管信息披露五大分析體系功能管理分析類應(yīng)用通常采用套裝軟件和BI工具(MicroStrategy等)實現(xiàn)●智慧科技園區(qū)數(shù)據(jù)科學(xué)家根據(jù)自己對業(yè)務(wù)需求的理解或者對市場的判斷，設(shè)計并運行模型，發(fā)掘數(shù)據(jù)價值，并封裝成商業(yè)產(chǎn)品●數(shù)據(jù)增值產(chǎn)品通常采用R語言和BI工具實現(xiàn)，面向企業(yè)內(nèi)外部用戶工作負載復(fù)雜度工作負載復(fù)雜度智慧科技園區(qū)大數(shù)據(jù)云平臺總體架構(gòu)——平臺發(fā)展不同階段 動態(tài)數(shù)據(jù)倉庫階段讓正確的事情發(fā)生!數(shù)據(jù)量增長用戶數(shù)增長查詢復(fù)雜度增長ETL處理復(fù)雜度增長預(yù)測為主階段操作為主階段什么正在發(fā)生?將會發(fā)生什么?分析為主階段分析為主階段為什么會發(fā)生學(xué)=N發(fā)生了什么大數(shù)據(jù)平臺發(fā)展階段劃分批量隨機查詢數(shù)據(jù)分析持續(xù)更新加載/短查詢基于事件的動態(tài)觸發(fā)□目前監(jiān)管機構(gòu)沒有明確要求□客戶單一視圖區(qū)公司客戶信息管理區(qū)個人客戶信息管理區(qū)同業(yè)客戶信息管理□目標客戶搜索區(qū)重點客戶區(qū)關(guān)懷客戶區(qū)風(fēng)險客戶區(qū)異動客戶□客戶細分區(qū)個人客戶細分區(qū)公司客戶細分□客戶行為分析區(qū)客戶輪廓分析區(qū)產(chǎn)品交叉銷售分析區(qū)百分比分析區(qū)渠道偏好分析□營銷活動管理區(qū)營銷活動規(guī)劃區(qū)營銷活動定義區(qū)營銷活動蘋果□營銷活動自動化區(qū)渠道接口與集成區(qū)流程自動化□風(fēng)險監(jiān)控報表/信息披露區(qū)流動性報表區(qū)利率敏感性報表區(qū)資本充足率報表區(qū)……區(qū)市場風(fēng)險暴露值理□信用風(fēng)險區(qū)信用風(fēng)險暴露值計算區(qū)信用風(fēng)險控制口操作風(fēng)險區(qū)異常交易預(yù)警區(qū)后督差錯檢查□防欺詐/反洗錢區(qū)定義欺詐交易模型區(qū)可能性欺詐交易預(yù)警區(qū)欺詐交易分布分析□全面風(fēng)險管理□領(lǐng)導(dǎo)管理駕駛艙□機構(gòu)績效考核□客戶經(jīng)理考核區(qū)客戶經(jīng)理工作量評估區(qū)客戶經(jīng)理服務(wù)客戶收□產(chǎn)品績效考核區(qū)供應(yīng)鏈金融業(yè)務(wù)區(qū)人人貸業(yè)務(wù)區(qū)保理業(yè)務(wù)區(qū)基金業(yè)務(wù)區(qū)其它中間業(yè)務(wù)區(qū)……□渠道成本與收益□總賬分析區(qū)資產(chǎn)負債表分析區(qū)損益表分析區(qū)現(xiàn)金流量表分析區(qū)財務(wù)指標分析區(qū)機構(gòu)貢獻度區(qū)產(chǎn)品貢獻度區(qū)客戶細分貢獻度區(qū)渠道績效□資產(chǎn)負債分析區(qū)主要指標報告，如：區(qū)頭寸報告區(qū)現(xiàn)金流報告區(qū)風(fēng)險價值(VaR)計算□財務(wù)預(yù)算與計劃區(qū)財務(wù)預(yù)算區(qū)財務(wù)計劃執(zhí)行監(jiān)控析□預(yù)測與場景分析區(qū)業(yè)務(wù)規(guī)模預(yù)測區(qū)收益預(yù)測F章.M-決策層管理層業(yè)務(wù)人員數(shù)據(jù)科學(xué)家業(yè)務(wù)系統(tǒng)數(shù)據(jù)全生命周期與數(shù)據(jù)創(chuàng)建數(shù)據(jù)存儲>數(shù)據(jù)數(shù)據(jù)全生命周期與數(shù)據(jù)類型真實性定義技數(shù)據(jù)格式及時性定義業(yè)務(wù)元數(shù)據(jù)權(quán)限定義業(yè)務(wù)分類完整性定義管理元數(shù)據(jù)審計定義業(yè)務(wù)含義一致性定義組織架構(gòu)、評價與考核、管控流程、管控工具這四個域相互作用、相互支撐，提供對各信息系>明確了數(shù)據(jù)>通過建立一制定管控組織制定a數(shù)據(jù)管控委員會a數(shù)據(jù)認責(zé)人a數(shù)據(jù)接入流程流程支撐流程支撐□標準(數(shù)據(jù)標準、質(zhì)量要求、安全要求具g考核儀表盤管控平臺工具>規(guī)范了數(shù)>采用專門的技術(shù)平臺支自動化，發(fā)布程中存在的一MR1F人與55數(shù)據(jù)管控負責(zé)部門數(shù)據(jù)產(chǎn)生部門數(shù)據(jù)使用部門數(shù)據(jù)擁有部門提員員元數(shù)理員員 ●消除一數(shù)多義，提升數(shù)據(jù)的唯一性、一致性，將逐步形成的數(shù)據(jù)標準納入一個規(guī)范的管●數(shù)據(jù)標準管理工作可以分為以下幾個部分：數(shù)據(jù)標準建立和維護、數(shù)據(jù)標準執(zhí)行、數(shù)據(jù)數(shù)據(jù)標準建立和維護數(shù)據(jù)標準管理的考評數(shù)據(jù)標準執(zhí)行E雙g●數(shù)據(jù)質(zhì)量管理框架藍圖如下，其中數(shù)據(jù)質(zhì)量提升是改進數(shù)據(jù)質(zhì)量的手段和質(zhì)量考評的目的

數(shù)據(jù)質(zhì)量要求確認，根據(jù)業(yè)務(wù)要求制定和明確數(shù)據(jù)質(zhì)量要求，同時也需要符合數(shù)據(jù)標準的要求；

數(shù)據(jù)質(zhì)量考評，對數(shù)據(jù)質(zhì)量的量化評價

制定數(shù)據(jù)質(zhì)量問題解決方案，根據(jù)數(shù)據(jù)質(zhì)量考評和日常工作中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題，實施相應(yīng)的措施數(shù)據(jù)質(zhì)量要求數(shù)據(jù)質(zhì)量要求數(shù)據(jù)一致性要求數(shù)據(jù)完整性要求數(shù)據(jù)唯一性要求數(shù)據(jù)及時性要求標準數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量考核指標數(shù)據(jù)質(zhì)量提升數(shù)據(jù)質(zhì)量不定期數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量考評數(shù)據(jù)質(zhì)量監(jiān)控數(shù)據(jù)補錄管理元數(shù)據(jù)度管理元數(shù)據(jù)度與E數(shù)智慧科技園區(qū)大數(shù)據(jù)云平臺總體架構(gòu)——元數(shù)據(jù)管理●業(yè)務(wù)元數(shù)據(jù)：面向業(yè)務(wù)人員，從業(yè)務(wù)術(shù)語、業(yè)務(wù)描述、業(yè)務(wù)指標和業(yè)務(wù)規(guī)則等幾個方面對數(shù)據(jù)進行描述●管理元數(shù)據(jù)：面向數(shù)據(jù)管理人員，從運維管理的角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的狀態(tài)信息●技術(shù)元數(shù)據(jù)：面向技術(shù)人員，從數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理細節(jié)方面對數(shù)據(jù)進行技術(shù)化描述業(yè)務(wù)指標數(shù)值業(yè)務(wù)指標數(shù)值業(yè)務(wù)指標定義指標編號指標名稱業(yè)務(wù)描述生成周期計算邏輯管理部門用戶信息業(yè)務(wù)指標數(shù)據(jù)項技術(shù)字段定義字段描述數(shù)據(jù)類型數(shù)據(jù)長度約束條件源數(shù)據(jù)讀取情況目標數(shù)據(jù)加載情況報錯信息運行時間信息數(shù)據(jù)安全定義數(shù)據(jù)安全等級數(shù)據(jù)授權(quán)使用數(shù)據(jù)安全報告數(shù)據(jù)分類功能模塊應(yīng)用主題應(yīng)用部門參考數(shù)據(jù)定義數(shù)據(jù)編號數(shù)據(jù)名稱數(shù)據(jù)描述數(shù)據(jù)質(zhì)量定義業(yè)務(wù)檢查規(guī)則技術(shù)檢查規(guī)則數(shù)據(jù)質(zhì)量報告數(shù)據(jù)處理描述數(shù)據(jù)表定義表名稱表描述表創(chuàng)建人表創(chuàng)建日期表維護人表維護日期數(shù)據(jù)庫描述數(shù)據(jù)庫類型數(shù)據(jù)庫參數(shù)集業(yè)務(wù)應(yīng)用描述亞務(wù)應(yīng)用編號業(yè)務(wù)應(yīng)用名稱業(yè)務(wù)應(yīng)用目標業(yè)務(wù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)度度與●數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級管理和數(shù)●數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級管理和數(shù)據(jù)訪問授權(quán)管理兩個部分：數(shù)據(jù)安全分級等級定義數(shù)據(jù)訪問授權(quán)評與數(shù)人開教Rt人開●業(yè)務(wù)數(shù)據(jù)規(guī)劃管理高階流程√數(shù)據(jù)治理考核流程√數(shù)據(jù)治理考核指標體系●數(shù)據(jù)標準管理管理高階流程●數(shù)據(jù)質(zhì)量管理管理高階流程●元數(shù)據(jù)管理高階流程●數(shù)據(jù)安全管理管理高階流程規(guī)則配置元數(shù)據(jù)采集標準維護標準瀏覽權(quán)限管理用戶管理規(guī)范管理規(guī)則配置元數(shù)據(jù)采集標準維護標準瀏覽權(quán)限管理用戶管理規(guī)范管理績效指標流程管理信息地圖待辦事項指標速遞主菜單層智慧科技園區(qū)大數(shù)據(jù)云平臺總體架構(gòu)——數(shù)據(jù)管控平臺●數(shù)據(jù)管控平臺從總體上來說分為數(shù)據(jù)層、應(yīng)用層、展現(xiàn)層三個主要層面，以數(shù)據(jù)層的數(shù)據(jù)庫及相關(guān)基礎(chǔ)系統(tǒng)為主要信息來源，通過應(yīng)用層的運算處理，以不同的形式，不同的功能在展現(xiàn)層提供用戶接口數(shù)據(jù)管控平臺統(tǒng)一用戶集成界面數(shù)據(jù)管控平臺統(tǒng)一用戶集成界面首頁工作管理系統(tǒng)管理標準管理元數(shù)據(jù)管理質(zhì)量管理層層數(shù)據(jù)管控平臺知識庫數(shù)據(jù)管控平臺知識庫數(shù)據(jù)標準知識庫數(shù)據(jù)標準知識庫元數(shù)據(jù)知識庫質(zhì)量稽核庫流程調(diào)度平臺流程調(diào)度平臺歷史歸檔查詢平臺)內(nèi)存數(shù)據(jù)庫)數(shù)據(jù)管控平臺實時分析平臺智慧科技園區(qū)大數(shù)據(jù)云平臺總體產(chǎn)品框架Distcp沙盤演練平臺增值產(chǎn)品平臺Distcp沙盤演練平臺增值產(chǎn)品平臺群)基礎(chǔ)計算平臺(貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+大數(shù)據(jù)區(qū))數(shù)據(jù)交換平臺(自主開發(fā)交換組件+NAS存儲)議程1智慧科技園區(qū)大數(shù)據(jù)云平臺綜述2智慧科技園區(qū)大數(shù)據(jù)云平臺總體架構(gòu)3智慧科技園區(qū)大數(shù)據(jù)云平臺演進路線4智慧科技園區(qū)大數(shù)據(jù)云平臺實施計劃5智慧科技園區(qū)大數(shù)據(jù)治理規(guī)劃對企業(yè)價值的創(chuàng)造對企業(yè)價值的創(chuàng)造2013年以基礎(chǔ)平臺搭建為主，配合智慧科技園區(qū)初期業(yè)務(wù)開展，應(yīng)用建設(shè)從客戶信息管理、風(fēng)險管理和運營管理三方面開展開展客戶信息管理、信用風(fēng)險評應(yīng)級和業(yè)務(wù)統(tǒng)計分析三類應(yīng)用建設(shè)開展貼源數(shù)據(jù)整合，初步建立企技業(yè)級數(shù)據(jù)視圖，實現(xiàn)對管理分析類應(yīng)用和實時分析類應(yīng)用的支撐管規(guī)劃數(shù)據(jù)管控藍圖，初步實施數(shù)據(jù)質(zhì)量和技術(shù)元數(shù)據(jù)管理搭建大數(shù)據(jù)處理平臺和實時分析平臺，應(yīng)用方面開展實時分析和全面開展內(nèi)部管理分析、實時分析和沙盤演練應(yīng)用建設(shè)，初步展開增值數(shù)據(jù)產(chǎn)品開發(fā)工作全面開展智慧科技園區(qū)大數(shù)據(jù)云平臺建設(shè)，引入更多數(shù)據(jù)源，豐富并完善平臺數(shù)據(jù)區(qū)建設(shè)隨著應(yīng)用體系的搭建，完善數(shù)據(jù)質(zhì)量和元數(shù)據(jù)建設(shè)，開展數(shù)據(jù)標持續(xù)優(yōu)化提升階段應(yīng)比D管深化分析體系，形成深度智能化業(yè)務(wù)分析性能持續(xù)優(yōu)化、數(shù)據(jù)持續(xù)深化數(shù)據(jù)管控體系，形成智慧科技園區(qū)企業(yè)級的數(shù)據(jù)管控體系應(yīng)業(yè)務(wù)分析框架管數(shù)據(jù)管控體系第二階段第三階段第二階段2014年——2015年2014年——2015年智慧科技園區(qū)大數(shù)據(jù)云平臺演進說明——基礎(chǔ)數(shù)據(jù)平臺階段劃分建設(shè)內(nèi)容預(yù)期效果第一階段●搭建數(shù)據(jù)交換平臺，部署NAS存儲集群，設(shè)計并實施數(shù)據(jù)庫交換組件和數(shù)據(jù)區(qū)交換組件●搭建基礎(chǔ)計算平臺，設(shè)計并實施貼源數(shù)據(jù)區(qū)，以T+1頻率整合科技園區(qū)和金融業(yè)務(wù)數(shù)據(jù)●搭建歷史歸檔查詢平臺，歸檔科技園區(qū)和金融業(yè)務(wù)數(shù)據(jù)文件●搭建內(nèi)部管理分析應(yīng)用平臺，部署MPP集群和BI分析應(yīng)用環(huán)境●搭建實時分析平臺，部署內(nèi)存數(shù)據(jù)庫和實時BI分析環(huán)境●實現(xiàn)了數(shù)據(jù)平臺內(nèi)部個數(shù)據(jù)區(qū)之間、輸●實現(xiàn)了業(yè)務(wù)數(shù)據(jù)按照貼源數(shù)據(jù)模整合●實現(xiàn)了數(shù)據(jù)按照生命周期的歸檔管理●實現(xiàn)了內(nèi)部管理分析環(huán)境搭建●實現(xiàn)實時分析環(huán)境搭建第二階段●數(shù)據(jù)交換平臺增強和優(yōu)化，包括：大數(shù)據(jù)交換組件設(shè)計實施●基礎(chǔ)計算平臺增強，包括：引入更多的數(shù)據(jù)源，增強貼源數(shù)據(jù)區(qū);設(shè)計并實施主題數(shù)據(jù)區(qū)，打破業(yè)務(wù)條線整合數(shù)據(jù)；設(shè)計并實施大數(shù)據(jù)區(qū)，實現(xiàn)企業(yè)內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)加工、處理●搭建沙盤演練平臺●實時分析平臺增強和優(yōu)化，包括：引入更多應(yīng)用及相關(guān)數(shù)據(jù)源、多次使用●建立了數(shù)據(jù)分析人員的實驗環(huán)境，實現(xiàn)了用戶自主用數(shù)●為實時、準實時類分析用提供平臺●為封裝、銷售數(shù)據(jù)類產(chǎn)品提供了平臺第三階段●基礎(chǔ)計算平臺持續(xù)增強和優(yōu)化，引入更多的數(shù)據(jù)源、優(yōu)化模型和●搭建增值產(chǎn)品平臺，設(shè)計并實施增值產(chǎn)品數(shù)據(jù)區(qū)●數(shù)據(jù)交換平臺、沙盤演練平臺、實時分析平臺進一步增強和優(yōu)化●數(shù)據(jù)平臺納入盡可能多的企業(yè)內(nèi)外部數(shù)據(jù)●數(shù)據(jù)平臺以最優(yōu)的性能支持各類數(shù)據(jù)應(yīng)用階段劃分建設(shè)內(nèi)容預(yù)期效果第一階段●分析和梳理當(dāng)前數(shù)據(jù)管理方面的成果和現(xiàn)狀，數(shù)據(jù)管控藍圖和路線圖設(shè)計數(shù)據(jù)管控工作的組織、技術(shù)和流程高階設(shè)計●梳理智慧科技園區(qū)大數(shù)據(jù)平臺ETL流程各環(huán)節(jié)的數(shù)據(jù)檢查規(guī)則、評價指標、管控流程，并落地實施數(shù)據(jù)質(zhì)量管理系統(tǒng)●梳理智慧科技園區(qū)大數(shù)據(jù)平臺包含的技術(shù)元數(shù)據(jù)，如：數(shù)據(jù)字典、ETL任務(wù)、●同步智慧科技園區(qū)大數(shù)據(jù)云平臺ETL建設(shè)，實現(xiàn)了數(shù)據(jù)質(zhì)量管理系統(tǒng)●收集并整合了智慧科技園區(qū)所有技術(shù)元數(shù)據(jù)，實現(xiàn)了數(shù)據(jù)生命周管理、血緣分析和影響分析等功能第二階段●隨著更多數(shù)據(jù)源的引入，進一步增強數(shù)據(jù)質(zhì)量管理系統(tǒng)●隨著更多數(shù)據(jù)源的引入、更多平臺的建立，梳理并整合更多技術(shù)元數(shù)據(jù)●梳理智慧科技園區(qū)大數(shù)據(jù)平臺包含的業(yè)務(wù)和管理類務(wù)指標、業(yè)務(wù)定義等，制定相應(yīng)的管控流程并落地實施元數(shù)據(jù)管理系統(tǒng)●開展基礎(chǔ)類數(shù)據(jù)標準建設(shè)，基礎(chǔ)數(shù)據(jù)標準、管控流程、評價指標、落地策略●完善了數(shù)據(jù)質(zhì)量管理體系，實現(xiàn)了問題及時發(fā)現(xiàn)、及時解決●實現(xiàn)了智慧科技園區(qū)全方位的元數(shù)據(jù)管理，打通了業(yè)務(wù)和技術(shù)元數(shù)據(jù)關(guān)聯(lián)關(guān)系●為智慧科技園區(qū)數(shù)據(jù)平臺建設(shè)提供了基礎(chǔ)類數(shù)據(jù)標準第三階段●數(shù)據(jù)質(zhì)量管理持續(xù)優(yōu)化并增強●元數(shù)據(jù)管理持續(xù)優(yōu)化并增強●基礎(chǔ)類數(shù)據(jù)標準逐步落地實施開展指標類數(shù)據(jù)標準建設(shè)基礎(chǔ)數(shù)抿標準、管控流程、評價指標、茨地管略●通過完善的數(shù)據(jù)管控體系，提升數(shù)據(jù)質(zhì)量、避免數(shù)據(jù)二義性得業(yè)務(wù)人員可以方便、有效的智慧科技園區(qū)大數(shù)據(jù)云平臺演進說明——應(yīng)用體系階段劃分建設(shè)內(nèi)容第一階段●開展客戶信息管理建設(shè)，設(shè)計并實施個人客戶和供應(yīng)商360°視圖、客戶目標搜索、客戶細分等功能●開展風(fēng)險管理建設(shè)，設(shè)計并實施供應(yīng)商和個人客戶風(fēng)險評級模型●開展運營管理建設(shè)，設(shè)計并實施供應(yīng)鏈金融、人人貸等業(yè)務(wù)條線業(yè)務(wù)量統(tǒng)計分析●初步梳理實時、準實時分析需求，進行高時效分析應(yīng)用試點●可以方便的對個人客戶和供應(yīng)商進行分群,以及全方位信息查詢和展示●供應(yīng)商和個人客戶風(fēng)險等級評定●針對目前開展的業(yè)務(wù)進行經(jīng)營情況統(tǒng)計分析●搭建并驗證高時效應(yīng)用體系第二階段●隨著智慧科技園區(qū)業(yè)務(wù)的展開，逐步開展內(nèi)部管理分析體系的建設(shè)，本階段重點為客戶關(guān)系管理、運營管理等●高級業(yè)務(wù)人員利用沙盤演練平臺進行數(shù)據(jù)挖掘、預(yù)測和科學(xué)試驗●進一步樹立實時、準實時分析需求，深化開展高時效分析應(yīng)用●開始梳理市場上的數(shù)據(jù)應(yīng)用需求，嘗試封裝增值數(shù)據(jù)產(chǎn)品●通過內(nèi)部管理分析體系的建設(shè)、滿足了智慧科技園區(qū)日常經(jīng)營管理、決策分析和進一步提高價值創(chuàng)造力的需要●實現(xiàn)了業(yè)務(wù)人員自主用數(shù)●實現(xiàn)了高時效分析，與業(yè)務(wù)流程的整合●實現(xiàn)了數(shù)據(jù)產(chǎn)品的封裝，提升了數(shù)據(jù)價值第三階段●隨著智慧科技園區(qū)業(yè)務(wù)的展開，進一步完善內(nèi)部管理分析體系的建設(shè)，包括：市場風(fēng)險管理、操作風(fēng)險管理、財務(wù)管理等●收集實時分析需求，進一步增強并優(yōu)化實時分析應(yīng)用體系●增值數(shù)據(jù)產(chǎn)品設(shè)計逐漸成為重點，數(shù)據(jù)分析師收集企業(yè)內(nèi)外部數(shù)據(jù)需求，設(shè)計更完善的增值數(shù)據(jù)產(chǎn)品●通過內(nèi)部管理分析應(yīng)用體系建設(shè)進一步實現(xiàn)數(shù)據(jù)共享、業(yè)務(wù)協(xié)作與創(chuàng)新●通過實時分析應(yīng)用體系建設(shè)，實現(xiàn)大數(shù)據(jù)平臺業(yè)務(wù)系統(tǒng)的交互，與業(yè)務(wù)流程的融合●增值數(shù)據(jù)產(chǎn)品的開發(fā)進一步發(fā)揮的數(shù)據(jù)平臺的數(shù)據(jù)價值議程1智慧科技園區(qū)大數(shù)據(jù)云平臺綜述2智慧科技園區(qū)大數(shù)據(jù)云平臺總體架構(gòu)3智慧科技園區(qū)大數(shù)據(jù)云平臺演進路線4智慧科技園區(qū)大數(shù)據(jù)云平臺實施計劃5智慧科技園區(qū)大數(shù)據(jù)治理規(guī)劃云數(shù)據(jù)推送乎臺云數(shù)據(jù)推送乎臺大數(shù)據(jù)區(qū).業(yè)象統(tǒng)交換件●管理分析平臺：由X86分析型數(shù)據(jù)庫集群、BI軟件1J2EE應(yīng)用構(gòu)成●實時分析平臺：由高檔X86服務(wù)器組成的集群，實現(xiàn)高時數(shù)據(jù)源06G-06G-(等售)人人貨系統(tǒng)人人貨系統(tǒng)供應(yīng)鎮(zhèn)金融系統(tǒng)-0GG+數(shù)據(jù)交換平臺基礎(chǔ)計算平臺實時分析平臺(數(shù)據(jù)服務(wù))管理分析平臺(數(shù)據(jù)服務(wù))流程調(diào)度平臺完數(shù)據(jù)酸務(wù)元數(shù)據(jù)采集完數(shù)據(jù)酸務(wù)元數(shù)據(jù)采集元數(shù)據(jù)管理]通用服務(wù)通用服務(wù)配冒/面名管理通知搜醒配冒/面名管理通知搜醒日志&審計管理分析&實時分析平臺(應(yīng)用服務(wù))用戶業(yè)務(wù)經(jīng)營預(yù)測業(yè)務(wù)經(jīng)營分析管理層用戶客戶360°視圖MicroStrategyWeb業(yè)務(wù)分析用戶加載服務(wù)器#1加載服務(wù)器#加載服務(wù)器#1加載服務(wù)器#4數(shù)據(jù)交換平臺一平臺邏輯架構(gòu) (HiveLoad)到臨時數(shù)據(jù)區(qū)，同時歸檔(金融智慧科技園區(qū)大數(shù)據(jù)云平臺文件歸檔文件加載文件級檢核文件歸檔文件加載文件級檢核文件到達事件監(jiān)控文件到達事件監(jiān)控NAS集群集群：負載均衡服務(wù)器集群：負載均衡服務(wù)器云數(shù)據(jù)推送平臺運維部門運維部門數(shù)據(jù)交換平臺一參與方責(zé)任劃分智慧科技園區(qū)智慧科技園區(qū)研發(fā)部門時時通三新拉班淫業(yè)云垃市事在數(shù)據(jù)交換平臺一業(yè)務(wù)系統(tǒng)數(shù)據(jù)抽取實現(xiàn)方式●每張源系統(tǒng)表都對應(yīng)一個獨立的數(shù)據(jù)接口●傳輸方式●接口處理模式系統(tǒng)建立數(shù)系統(tǒng)建立數(shù)據(jù)目錄，緩存每日接口數(shù)據(jù)交換平臺一平臺部署架構(gòu)●數(shù)據(jù)交換平臺由8臺X86服務(wù)器和一個N

X86服務(wù)器按照功能分為2組，一組實現(xiàn)數(shù)據(jù)獲取，一組實現(xiàn)數(shù)據(jù)加載和歸檔◆NAS集群作為公共數(shù)據(jù)區(qū)，由8臺服務(wù)器共享訪問(讀寫)●負責(zé)源系統(tǒng)數(shù)據(jù)文件加載和歸檔●負責(zé)源系統(tǒng)數(shù)據(jù)文件加載和歸檔●每臺服務(wù)器負責(zé)多個源系統(tǒng)●支持按需擴展/減少服務(wù)器●LVS1負載均衡●其它LVS服務(wù)器負責(zé)接收接口文件，寫入NAS集群目錄●支持按需擴展減少服務(wù)器Pythonruntime按日期和源●部署數(shù)據(jù)交換平臺和流程調(diào)度平臺程序，各服務(wù)器通過文件，供交文件鏈接使用換平臺訪問換平臺訪問歷史歸檔數(shù)流程調(diào)度平臺一平臺邏輯架構(gòu)NAS平臺到數(shù)據(jù)集市生成理數(shù)據(jù)管管理蛋谷數(shù)覆裹戰(zhàn)維爨鑫身餐蓑黛虛基計墓谷主數(shù)攫酒點預(yù)試準代籍辭葬奮數(shù)覆數(shù)尊出歷案計整舞盤計置臺特兇大授奔加載而流爨釋到事件墨云整推舉臺源暴整文本檢索山作流爨文裂事在控接匯總數(shù)據(jù)文本切分批量數(shù)據(jù)處理工作流數(shù)據(jù)質(zhì)量檢查文糟轉(zhuǎn)換轉(zhuǎn)換疆流程調(diào)度服務(wù)任務(wù)執(zhí)圖例理的ETL任務(wù)流程調(diào)度平臺一流程調(diào)度元數(shù)據(jù)

任務(wù)定義，包括任務(wù)名稱、描述、運行服務(wù)器、運行狀態(tài)、運行時間、相關(guān)數(shù)據(jù)源等屬性

任務(wù)依賴，任務(wù)的執(zhí)行依賴與其他上游任務(wù)

任務(wù)觸發(fā)，任務(wù)成功執(zhí)行后觸發(fā)的下游任務(wù)

任務(wù)組，一組有相互關(guān)系的任務(wù)，全部完成后會觸發(fā)頭任務(wù)運行…元數(shù)據(jù)管理元數(shù)據(jù)導(dǎo)導(dǎo)出元數(shù)據(jù)管理元數(shù)據(jù)導(dǎo)導(dǎo)出流程調(diào)度平臺一任務(wù)調(diào)度引擎●通過偵測器偵測事件，按照任務(wù)定義和任務(wù)依賴關(guān)系觸發(fā)任務(wù)運行，觸發(fā)方式把主要包括

自動觸發(fā)√定時觸發(fā)，按照預(yù)先定義的時間周期，如每日、每周、每月，或任何有規(guī)律的時間間隔執(zhí)行任務(wù)。目前可明確的任務(wù)主要是每月執(zhí)行的基礎(chǔ)計算平√事件觸發(fā)，按照特定的事件觸發(fā)、執(zhí)行任務(wù)。如：數(shù)據(jù)文件到達指定目錄，會觸發(fā)數(shù)據(jù)加載任務(wù)。同樣，流程失敗也會觸發(fā)新的job,如錯誤處理、√系統(tǒng)管理員可以使用TaskAutomation提供的界面或命令接口執(zhí)行一些job。這些job的功能通常包括對特定范圍的數(shù)據(jù)進行審計與驗證、對特定范圍的數(shù)據(jù)進行針對性很強的數(shù)據(jù)清洗、或者是對某流程失敗后的修復(fù)?！瘛衩總€要執(zhí)行的任務(wù)均由任務(wù)執(zhí)行代理啟動運行流程調(diào)度服務(wù)元數(shù)據(jù)管理元數(shù)據(jù)導(dǎo)/導(dǎo)出過濾單元2單元N流程抽取任務(wù)調(diào)度流程調(diào)度平臺一集群可靠性和可擴展性高可用性流程調(diào)度集群接口調(diào)度#1基礎(chǔ)計算平臺調(diào)度#1接口調(diào)度#N基礎(chǔ)計算平臺調(diào)度#N擴展能力管理分析平臺調(diào)度#1流程調(diào)度平臺一平臺部署架構(gòu)●流程調(diào)度平臺由八臺X86服務(wù)器構(gòu)成，服務(wù)器按照功能分為兩類

兩臺X86服務(wù)器部署MySQL數(shù)據(jù)庫集群，存儲流程調(diào)度元數(shù)據(jù),工作流不跨數(shù)據(jù)區(qū)●貼園區(qū)和匯總區(qū)工作

六臺X86服務(wù)器部署流程調(diào)度引擎，負責(zé)各數(shù)據(jù)區(qū)數(shù)據(jù)處理流程調(diào)度與運行貼源區(qū)調(diào)度服務(wù)器匯總區(qū)調(diào)度服務(wù)器MySQL主服務(wù)器MySQL從服務(wù)器基礎(chǔ)計算平臺一平臺邏輯架構(gòu)節(jié)點節(jié)點節(jié)點節(jié)點節(jié)點節(jié)點節(jié)點節(jié)點●基礎(chǔ)計算平臺基于Hadoop集群搭建●基礎(chǔ)計算平臺有三個數(shù)據(jù)區(qū)構(gòu)成基礎(chǔ)計算平臺一臨時數(shù)據(jù)區(qū)包含內(nèi)容智慧科技園區(qū)大數(shù)據(jù)云平臺要整合的源系統(tǒng)，包括：POP、財務(wù)審計、財務(wù)研發(fā)、大物流數(shù)據(jù)部和移動客戶端等研發(fā)體系的各業(yè)務(wù)系統(tǒng)。主要用途建立數(shù)據(jù)緩沖區(qū)，臨時存放從源系統(tǒng)抽取過來的增量/全量數(shù)據(jù)，支撐后續(xù)ELT處理。設(shè)計●數(shù)據(jù)庫設(shè)計原則●模型設(shè)計原則*物理模型與邏輯模型保持一致，每個實體對●歷史保留原則●數(shù)據(jù)庫設(shè)計原則●數(shù)據(jù)庫設(shè)計原則●模型設(shè)計原則原則●歷史保留原則基礎(chǔ)計算平臺一貼源數(shù)據(jù)區(qū)包含內(nèi)容與緩沖層相對應(yīng)，貼源整合層金融、網(wǎng)站交易、數(shù)據(jù)部和移動客戶端等研發(fā)體系的各業(yè)務(wù)系統(tǒng)，所有數(shù)據(jù)保留歷史。主要用途作為整個數(shù)據(jù)平臺的基礎(chǔ)數(shù)據(jù)層，累計歷史，為主題層、集市層等數(shù)據(jù)區(qū)提供數(shù)據(jù)支撐?；A(chǔ)計算平臺一匯總數(shù)據(jù)區(qū)包含內(nèi)容針對客戶管理、風(fēng)險評級和業(yè)務(wù)量統(tǒng)計設(shè)計明細數(shù)據(jù)進行預(yù)匯總、預(yù)連接和預(yù)加工后的結(jié)主要用途對明細數(shù)據(jù)進行預(yù)匯總、預(yù)連接和預(yù)加工，為應(yīng)用數(shù)據(jù)集市設(shè)計原則●數(shù)據(jù)庫設(shè)計原則·匯總數(shù)據(jù)區(qū)對應(yīng)獨立的Hive數(shù)據(jù)庫●模型設(shè)計原則*匯總層采用了逆范式寬表設(shè)計，某種程度上采用維度建模的方法模型設(shè)計首先需要根據(jù)業(yè)務(wù)和應(yīng)用的需要盡量包含更多的屬性和指標，同時兼顧空間·匯總層需要針對維度數(shù)據(jù)執(zhí)行標準化處理匯總層模型增加數(shù)據(jù)日期記錄歷史，建議根據(jù)數(shù)據(jù)日期建立分區(qū)●歷史保留原則不同實體采取不同的歷史保留策略建議以支持應(yīng)用為輸入，避免永久保留·過期數(shù)據(jù)歸檔到歷史歸檔區(qū)，需要時回遷基礎(chǔ)計算平臺一平臺部署架構(gòu)基礎(chǔ)計算平臺由73臺X86服務(wù)器構(gòu)成，3臺服務(wù)器作為Node,70臺服務(wù)器作為算集群JobTracker高可用性Node(Sry內(nèi)部互聯(lián)TaskTrackerNodeTaskTrackerNodeTaskTrackerNodeTaskTrackerNode服務(wù)器;戶戶管理分析平臺一平臺邏輯架構(gòu)●客戶信息管理，采用J2EE框架自主開發(fā)，數(shù)據(jù)集市構(gòu)建于分析型數(shù)據(jù)庫集群●運營績效管理，采用MicroStrategy開發(fā)，數(shù)據(jù)集市構(gòu)建于分析型數(shù)據(jù)庫集群●零售業(yè)務(wù)靈活分析，采用MicroStrategy開發(fā)，數(shù)據(jù)集市構(gòu)建于內(nèi)存數(shù)據(jù)庫集群HANABI應(yīng)用服務(wù)供應(yīng)鏈金融業(yè)務(wù)量統(tǒng)計分析基金業(yè)務(wù)量統(tǒng)計分析供應(yīng)鏈金融經(jīng)營規(guī)模預(yù)測J2EE應(yīng)用服務(wù)WEB應(yīng)用Mobile應(yīng)用個人客戶目標搜索企業(yè)客戶360視圖BI應(yīng)用門戶金融業(yè)務(wù)經(jīng)經(jīng)營預(yù)測個性定制內(nèi)容管理內(nèi)存數(shù)據(jù)庫HANA實時分析集市分析型數(shù)據(jù)庫分析型數(shù)據(jù)庫WEB服務(wù)授權(quán)管理賬戶管理審計管理授權(quán)管理賬戶管理審計管理管理分析平臺一安全管理BI認證管理安全管理員安全管理員安全管理員安全管理員企業(yè)客戶信息管理企業(yè)客戶信息管理營分析金融業(yè)務(wù)規(guī)模預(yù)測息管理凝墻凝墻說明機機√基礎(chǔ)計算平臺，73臺服務(wù)器構(gòu)成的?集群務(wù)器務(wù)器務(wù)器?√數(shù)據(jù)交換平臺，5臺服務(wù)器與云數(shù)據(jù)推送平臺接口，數(shù)據(jù)獲取基礎(chǔ)計算平臺(Hadoop集TaskTracker服務(wù)器NameNode&JobTracker服務(wù)器3歷史歸檔查詢集群)TaskTracker服務(wù)器NameNode&JobTracker服務(wù)器3沙盤演練平臺(Hadoop集TaskTracker服務(wù)器NameNode&JobTracker服務(wù)器3智慧科技園區(qū)大數(shù)據(jù)云平臺一期硬件配置(續(xù))數(shù)據(jù)交換平臺數(shù)據(jù)接口服務(wù)器5流程調(diào)度&ETL平臺流程調(diào)度&ETL服務(wù)器7元數(shù)據(jù)服務(wù)器Hive元數(shù)據(jù)庫服務(wù)器2管理分析平臺數(shù)據(jù)集市服務(wù)器4內(nèi)存數(shù)據(jù)庫服務(wù)器422智慧科技園區(qū)大數(shù)據(jù)云平臺一期硬件配置(續(xù))●光前交換機配置要求●NAS集群配置如下：類型軟件清單類型基礎(chǔ)計算平臺歷史歸檔查詢平臺實時分析平臺內(nèi)存沙盤演練平臺管理分析&實時分析平臺BI應(yīng)用服務(wù)器MicroStrategy9.3數(shù)據(jù)交換平臺流程調(diào)度&ETL平臺議程1智慧科技園區(qū)大數(shù)據(jù)云平臺綜述2智慧科技園區(qū)大數(shù)據(jù)云平臺總體架構(gòu)3智慧科技園區(qū)大數(shù)據(jù)云平臺演進路線4智慧科技園區(qū)大數(shù)據(jù)云平臺實施計劃理平臺以元信息模型為核心，由規(guī)則配置管理模塊、檢查分析報告生成模塊和分析報告展現(xiàn)模塊四部分量檢查過程的形式統(tǒng)一數(shù)據(jù)質(zhì)量檢查規(guī)則配置模塊作為Java數(shù)據(jù)質(zhì)量檢查規(guī)則配置模塊作為JavaWeb應(yīng)用部署在金融數(shù)據(jù)平臺Tomcat集群上，數(shù)據(jù)質(zhì)量管理員通過統(tǒng)一的用戶數(shù)據(jù)質(zhì)量管理元信息用戶數(shù)據(jù)質(zhì)量管理元信息獨立的Schema部署在決策分析報表平臺的數(shù)據(jù)質(zhì)量檢查規(guī)則執(zhí)行模塊作為多個ETL任Automation實現(xiàn)各個數(shù)據(jù)區(qū)技術(shù)和業(yè)務(wù)數(shù)據(jù)質(zhì)量檢查檢查規(guī)則執(zhí)行模塊分析報告生成模塊亞務(wù)規(guī)則月報亞務(wù)規(guī)則月報匯總?cè)請髤R總?cè)請笞侄胃袷街麈I唯一業(yè)務(wù)系統(tǒng)參照完整業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量分析報告展現(xiàn)模塊作為JavaWeb應(yīng)用部署在金融數(shù)據(jù)平臺Tomcat集群上，用戶通過統(tǒng)一的Web服務(wù)訪問數(shù)據(jù)質(zhì)量分析報告生成模塊作為一個ETL任務(wù)部署在決策分析報表平臺ETL服務(wù)器上，由Automation工作流調(diào)度服務(wù)統(tǒng)一調(diào)度運圖例士斷出化士斷出化事裹戰(zhàn)爨縫息鍵蓑黛議四作流變云整攜藍臺源暴數(shù)摩預(yù)點預(yù)算第章整燕計整臺特區(qū)平皇數(shù)覆乎點激婆希存便(NS薛)希加載文借檔數(shù)溫數(shù)舊出大護加載抽取元數(shù)據(jù)導(dǎo)/導(dǎo)出往霧數(shù)據(jù)通知提醒數(shù)據(jù)歸檔流程優(yōu)化日志&審核跟蹤服務(wù)器上理過程中，設(shè)置4類檢查點作流統(tǒng)一調(diào)度執(zhí)行存入數(shù)據(jù)質(zhì)量管理資料庫區(qū)任務(wù)類型ETL任務(wù)——技術(shù)型檢查云數(shù)據(jù)推送平臺->金融數(shù)據(jù)交換平臺NAS存儲指定目錄執(zhí)行頻率每日執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在ETL服務(wù)器上執(zhí)行檢查對象云數(shù)據(jù)推送平臺按照接口規(guī)范導(dǎo)出的業(yè)務(wù)系統(tǒng)每日增量數(shù)據(jù)文件和控制文件檢查內(nèi)容接口文件是否存在，接口文件名稱是否正確，接口文件是否通過MD5校驗實現(xiàn)技術(shù)成功閾值所有規(guī)則通過檢查依賴任務(wù)觸發(fā)任務(wù)數(shù)據(jù)加載任務(wù)類型ETL任務(wù)——技術(shù)型檢查臨時數(shù)據(jù)區(qū)->貼源整合數(shù)據(jù)區(qū)執(zhí)行頻率每日執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在Hadoop集群上執(zhí)行檢查對象云數(shù)據(jù)推送平臺按照接口規(guī)范導(dǎo)出的業(yè)務(wù)系統(tǒng)每日增量數(shù)據(jù)檢查內(nèi)容實現(xiàn)技術(shù)成功閾值90%記錄通過檢查異常處理未通過檢查的記錄存入指定錯誤明細表依賴任務(wù)接口文件級規(guī)范性檢查任務(wù)觸發(fā)任務(wù)任務(wù)類型ETL任務(wù)——業(yè)務(wù)型檢查貼源整合數(shù)據(jù)區(qū)->匯總數(shù)據(jù)區(qū)執(zhí)行頻率每日/月/季執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在Hadoop集群上執(zhí)行檢查對象匯總數(shù)據(jù)區(qū)的數(shù)據(jù)檢查內(nèi)容業(yè)務(wù)邏輯檢查：通過對若干個匯總值/指標值的運算，來檢驗各個匯總值/指標間潛在的平衡或其他比較關(guān)系實現(xiàn)技術(shù)成功閾值90%記錄通過檢查異常處理未通過檢查的記錄存入指定錯誤明細表依賴任務(wù)貼源整合數(shù)據(jù)區(qū)數(shù)據(jù)處理完成觸發(fā)任務(wù)集市數(shù)據(jù)區(qū)應(yīng)用數(shù)據(jù)生成任務(wù)類型ETL任務(wù)——業(yè)務(wù)型檢查匯總數(shù)據(jù)區(qū)->應(yīng)用集市數(shù)據(jù)區(qū)執(zhí)行頻率每日/月/季執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在應(yīng)用集市數(shù)據(jù)庫集群上執(zhí)行檢查對象應(yīng)用集市數(shù)據(jù)區(qū)的數(shù)據(jù)檢查內(nèi)容實現(xiàn)技術(shù)成功閾值90%記錄通過檢查異常處理未通過檢查的記錄存入指定錯誤明細表依賴任務(wù)匯總數(shù)據(jù)區(qū)數(shù)據(jù)處理完成觸發(fā)任務(wù)任務(wù)類型ETL任務(wù)——業(yè)務(wù)型檢查匯總數(shù)據(jù)區(qū)->應(yīng)用集市數(shù)據(jù)區(qū)執(zhí)行頻率每日/月/季執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在應(yīng)用集市數(shù)據(jù)庫集群上執(zhí)行檢查對象應(yīng)用集市數(shù)據(jù)區(qū)的數(shù)據(jù)檢查內(nèi)容業(yè)務(wù)邏輯檢查：通過對若干個指標值的運算，來檢驗各個指標間潛在的平衡或其他比較數(shù)值檢查：主要是通過對單個指標值的監(jiān)控來發(fā)現(xiàn)數(shù)據(jù)的異常、突變等情況波動檢查：通過對單個指標值一段時間內(nèi)的數(shù)值變化情況來檢查數(shù)據(jù)的波動、變化情況一致性檢查：通過對兩個指標按某幾個維度展開后的增減幅度來發(fā)現(xiàn)數(shù)據(jù)的波動、變化情況實現(xiàn)技術(shù)成功閾值9