智慧銀行大數(shù)據平臺數(shù)據治理整體解決方案智慧銀行大數(shù)據可視化平臺建設方案-副本

1、智慧銀行大數(shù)據可視化平臺整體解決方案V6.0數(shù)據源夕雇數(shù)據基數(shù)平大數(shù)據平臺礎據臺數(shù)據服務數(shù)據應用統(tǒng)計睢重市數(shù)據接口巨麻網 物服網據理臺數(shù)管平大數(shù)據可視化平臺建 設 方 案智慧銀行大數(shù)據可視化平臺整體解決方案V6.0目錄 TOC o 1-5 h z 第1章前言 0第2章銀行大數(shù)據現(xiàn)狀分析 1基本現(xiàn)狀1總體現(xiàn)狀1行領導1業(yè)務人員 1數(shù)據架方面 2業(yè)務表現(xiàn)2問題2數(shù)據應用難題3缺少統(tǒng)一的應用分析標準 3業(yè)務表現(xiàn) 3問題 3 HYPERLINK l bookmark6 o Current Document 缺少統(tǒng)一的基石Hi數(shù)據標準 4業(yè)務表現(xiàn) 4問題 5 HYPERLINK l bookmark28

2、 o Current Document 缺少反饋機制5業(yè)務表現(xiàn) 6問題 6數(shù)據應用現(xiàn)狀總結 6郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 第3章銀行大數(shù)據治理階段目標 0 HYPERLINK l bookmark34 o Current Document 數(shù)據平臺邏輯架構 1數(shù)據平臺部署架構 1建設目標2建設大數(shù)據基礎設施，完善全行數(shù)據體系架構 2開發(fā)大數(shù)據資源，支撐全行經營管理創(chuàng)新 2培養(yǎng)大數(shù)據人才隊伍，建立大數(shù)據分析能力 2數(shù)據治理目標3發(fā)現(xiàn)數(shù)據質量問題，推動大數(shù)據治理工作的開展，建立數(shù)據質量檢核系統(tǒng).3分析、梳理業(yè)務系統(tǒng)，推動數(shù)據標準的建立，統(tǒng)一全行口徑 3

3、建立數(shù)據倉庫模型框架，優(yōu)化我行數(shù)據架構，建設穩(wěn)定、可擴展的數(shù)據倉庫3目標建設方法 4建設內容4工作階段4源系統(tǒng)分析階段 4、工作內容 4、工作依據 4、工作重點 5數(shù)據質量問題檢查階段 5、工作內容 5、工作依據 5郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 、工作重點 6數(shù)據質量問題分析階段 6、工作內容 6、工作依據 6、工作重點 6預期建設效益 6實現(xiàn)數(shù)據共享 6加強業(yè)務合作7促進業(yè)務創(chuàng)新7提升建設效率 7改善數(shù)據質量 7第4章銀行大數(shù)據建設總體規(guī)劃 0功能需求0個人和企業(yè)畫像 0實現(xiàn)精準營銷2為金融業(yè)提供風險管控 3運營優(yōu)化4銀行大數(shù)據應用架構遠景 4銀行

4、需要從“坐商”轉型為“行商” 5客戶下沉5與“互聯(lián)網金融”進行差異化競爭 5銀行大數(shù)據平臺應用架構 6郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 銀行大數(shù)據平臺架構 7銀行大數(shù)據支撐平臺 7大數(shù)據虛擬化平臺 7、設計原則 8虛擬化平臺設計 10、硬件基礎設施層 10虛擬化存儲 11虛擬化計算 11平臺管理 12數(shù)據存儲系統(tǒng)設計 12、高性能SAN#儲系統(tǒng) 14、存儲方案優(yōu)勢 15大數(shù)據分析管理平臺 16大數(shù)據分析處理平臺 16分布式內存分析引擎 17數(shù)據挖掘引擎17分布式實時在線數(shù)據處理引擎 18流處理引擎18大數(shù)據分析支撐系統(tǒng) 18大數(shù)據分析節(jié)點群 24軟硬件配

5、置 25虛擬化平臺關鍵特性 27郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 虛擬化平臺配置 29安全保障系統(tǒng) 30設計原則30總體設計31物理安全設計31網絡安全設計33、外網邊界安全 33、網絡基礎設施安全 34、主機安全設計 35應用安全設計35數(shù)據庫安全設計 36安全制度與人員管理 37安全管理體系建設 37安全運維38安全人員管理39技術安全管理 39安全保障系統(tǒng)配置 40計算機網絡系統(tǒng) 40設計原則40系統(tǒng)設計42計算機網絡系統(tǒng)配置 45基礎支本掌軟件45郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 地理信息軟件 45、操作系

6、統(tǒng)軟件 47數(shù)據庫管理軟件 48機房建設方案 49基礎支撐系統(tǒng)軟硬件配置 52第5章 系統(tǒng)架構設計 56總體設計目標 56總體設計原則 56案例分析建議58中國聯(lián)通大數(shù)據平臺 58項目概述58項目實施情況 60項目成果 67項目意義 68恒豐銀行大數(shù)據平臺 69項目概述 69項目實施情況 73項目成果 81項目意義 82華通CDN1營商海量日志采集分析系統(tǒng) 84項目概述84項目實施情況 85郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 項目成果 90項目意義 90、案例總結91系統(tǒng)總體架構設計 92、總體技術框架92系統(tǒng)總體邏輯結構 96平臺組件關系99系統(tǒng)接口設計

7、 105系統(tǒng)網絡結構110第6章系統(tǒng)功能設計 113概述113平臺管理功能114多應用管理 114多租戶管理 118統(tǒng)一運維監(jiān)控 119Hadoop集群自動化部署 121、Hadoop集群性能監(jiān)控 123Hadoop集群資源管理 127、圖形界面方式多租戶管理 130系統(tǒng)巡檢信息收集 135系統(tǒng)性能跟蹤 137、與集團運維監(jiān)控平臺對接 139郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 作業(yè)調度管理 143數(shù)據管理145數(shù)據管理框架145結構化數(shù)據管理框架 145半/非結構化數(shù)據管理框架 146數(shù)據采集147、數(shù)據交換151數(shù)據存儲與管理 152數(shù)據存儲管理功能 1

8、55數(shù)據多溫度管理 157生命周期管理 159多索引模式 160多數(shù)據副本管理 162數(shù)據平衡管理 162在線節(jié)點管理 163分區(qū)管理 164數(shù)據導入與導出 165多級數(shù)據存儲 166多種數(shù)據類型支持 168多種文件格式支持 170數(shù)據自定義標簽管理 174數(shù)據讀寫鎖處理 174郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 元數(shù)據備份 175表壓縮 175數(shù)據加工清洗 175數(shù)據計算177多計算框架支持 177并行計算與并行處理能力 179PL/SQL存儲過程 183分布式事務支持 187ACID測試案例 189數(shù)據查詢199、OLAP8數(shù)支持 199、分布式 Cu

9、be 200、SQL兼容性 203、SQL功能 221數(shù)據管控225主數(shù)據管理 225元數(shù)據管理技術 227數(shù)據質量231數(shù)據 ETL239數(shù)據分析與挖掘 242數(shù)據分析流程 245R語言開發(fā)環(huán)境與接口 246郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 并行化R算法支持 247可視化 R軟件包 251編程語言支持 253、自然語言處理和文本挖掘 253實時分析254分析管理255需求管理 256過程管理 257成果管理 259分析支持260指標維護 260分析流程固化261分析結果發(fā)布 261環(huán)境支持261數(shù)據展現(xiàn)262交互式報表 265、儀表盤271即席查詢27

10、2內存分析273移動分析274電子地圖支持275第7章技術要求實現(xiàn) 276郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 產品架構276基礎構建平臺281大數(shù)據平臺組件功能介紹 282Transwarp Hadoop 分布式文件系統(tǒng) 282Transwarp Inceptor 內存分析交互弓I擎 284、穩(wěn)定的Spark計算框架 286支持Memory+SSD勺混合存儲架構 287完整SQL功能支持 287Transwarp Discover 機器學習弓I擎 293并行化統(tǒng)計算法庫 295機器學習并行算法庫 298Transwarp Hyperbase 歹1J式存儲數(shù)

11、據庫 304智能索引 316、全局索引 317、全文索引 318索引類型 319圖數(shù)據庫 320、全文數(shù)據處理 321Transwarp Stream 數(shù)據實時處理分析 323分布式消息隊列 327流式計算引擎 328流式 SQL執(zhí)行 329郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 、 流式機器學習 330系統(tǒng)分布式架構 330運行環(huán)境支持 333系統(tǒng)操作支持以及環(huán)境配置 333與第三方軟件平臺的兼容說明 334客戶端支持 335客戶端支持 335移動端支持 336數(shù)據支持 336集成實現(xiàn)338運維實現(xiàn)341運維目標341運維服務內容342運維服務流程345運維

12、服務制度規(guī)范 347應急服務響應措施 348、平臺監(jiān)/空兼容349資源管理350、系統(tǒng)升級353系統(tǒng)監(jiān)控平臺功能 353性能監(jiān)控 353一鍵式收集 357郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 系統(tǒng)資源監(jiān)控圖形化 359、服務進程監(jiān)控 360、消息隊列監(jiān)控 361故障報警 361告警以及統(tǒng)巡檢以及信息收集 362平臺性能 364、集群切換364主集群異常及上層業(yè)務切換 364從集群異常及上層業(yè)務切換 365、節(jié)點切換365性能調優(yōu)367、圖形化性能監(jiān)控 367、圖形化調優(yōu)工具 367、調優(yōu)策略 372并行化高性能計算 373計算性能線性擴展 377平臺擴展性

13、378可靠性和可用性 380單點故障消除380容災備份優(yōu)化 382擴容、備份、恢復機制 382、集群數(shù)據容災優(yōu)化 383郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 數(shù)據完整性保障和方案 385主集群異常及上層業(yè)務切換 386從集群異常及上層業(yè)務切換 387系統(tǒng)容錯性 388開放性和兼容性 390高度支持開源 395PMC-HaoyuanLi 395Committor-AndrewXia 397Committor-ShaneHuang 399Committor-ZhihongYu 402、Committor-JasonDai 405Committor-WeiXue

14、408操作系統(tǒng)支持以及軟件環(huán)境配置 409兼容性與集成能力 410安全性412身份鑒別412訪問控制 413安全通訊421核心產品優(yōu)勢421、高速運算、統(tǒng)計分析和精確查詢 421、Spark引擎結合分布式內存列存提供高性能計算 421、多種索引支持與智能索引 423郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 有效的資源利用 424高并發(fā)、低延遲性能優(yōu)化 425計算資源有效管控 426API設計和開發(fā)工具支持 428友好的運維監(jiān)控界面 430擴容、備份、恢復機制 435、集群自動負載均衡 437計算能力擴展437自主研發(fā)技術優(yōu)勢 438高穩(wěn)定、高效的計算引擎Ince

15、ptor 438完整的 SQL編譯引擎 440高性能的SQL分析引擎 441SQL統(tǒng)計分析能力 442完整的 CURD1能443Hyperbase高效的檢索能力 444基于Hyperbase和SQL引擎的高并發(fā)分布式事務 447、 Hyperbase非結構化數(shù)據的支持 448機器學習與數(shù)據挖掘 449Transwarp Stream 454內存/SSD/磁盤混合存儲 457MR/Spark/ 流處理統(tǒng)一平臺 459多租戶支持能力 460郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 多租戶安全功能 461標準 JDBC與 ODB源口 462第8章系統(tǒng)性能指標和測試結果

16、說明 463性能測試報告463測試目標463測試內容464測試環(huán)境 464測試過程和結果 466TPC-DS測試才艮告 469測試目標469測試內容469測試環(huán)境472測試過程和結果 473量收遷移驗證T生測試報告 474測試目標474測試內容474測試環(huán)境475串行執(zhí)行情況476并行執(zhí)行情況478、生產表數(shù)據規(guī)模 480測試結果484某銀行性能測試報告 484郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 測試目標484測試內容485測試環(huán)境485測試過程和結果 486第9章系統(tǒng)配置方案 501硬件系統(tǒng)配置建議 501基石出Hadoop平臺集群配置規(guī)劃 501數(shù)據倉

17、庫集群配置規(guī)劃 504集群規(guī)模綜述 506開發(fā)集群配置建議 507測試集群配置建議 507軟件配置建議 508軟硬件配置總表 510網絡拓撲513第10章系統(tǒng)測試 514系統(tǒng)測試方法514系統(tǒng)測試階段 515系統(tǒng)測試相關提交物 517第11章項目實施 518項目實施總體目標 518項目管理519郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利 TOC o 1-5 h z 業(yè)務確認 520數(shù)據調研521系統(tǒng)設計階段 522集成部署階段 523ETL過程設計 524ETL開發(fā)與測試 525系統(tǒng)開發(fā)階段 526系統(tǒng)測試階段 527系統(tǒng)上線及驗收 528提交物531系統(tǒng)的交接與知識轉移 534智慧銀行大數(shù)

18、據可視化平臺整體解決方案V6.0第1章前言隨著信息化程度的加深，以及移動互聯(lián)網、物聯(lián)網的崛起， 人們產生的數(shù)據急劇膨脹，傳統(tǒng)的數(shù)據處理技術難以支撐數(shù)據大 量的增長和處理能力。經過近幾年的發(fā)展，大數(shù)據技術逐步成熟， 可以幫助企業(yè)整合更多的數(shù)據，從海量數(shù)據中挖掘出隱藏價值。 大數(shù)據已經從“概念”走向“價值”，逐步進入實施驗證階段。 人們越來越期望能實現(xiàn)海量數(shù)據的處理，從數(shù)據中發(fā)現(xiàn)價值。數(shù)據越來越成為一種重要的資產。我行已深刻認識到數(shù)據戰(zhàn)略對企業(yè)運營以及企業(yè)未來發(fā)展 方向的重要性?；ヂ?lián)網金融的本質是金融，核心是數(shù)據，載體是 平臺，關鍵是客戶體驗，發(fā)展趨勢是互聯(lián)網與金融的深度融合， 要提升大數(shù)據貢獻度

19、。因此，要深化互聯(lián)網思維理念，穩(wěn)步推進 互聯(lián)網金融產品和服務模式創(chuàng)新，積極利用移動互聯(lián)網、 大數(shù)據等新技術新手段，沉著應對沖擊和挑戰(zhàn)，實現(xiàn)傳統(tǒng)金融與互聯(lián)網 金融的融合發(fā)展。做好海量異構數(shù)據的專業(yè)化整合集成、關聯(lián)共享、安全防護和維護管理，深度挖掘數(shù)據內含的巨大價值，探索 銀行業(yè)務創(chuàng)新，實現(xiàn)數(shù)據資源的綜合應用、深度應用，已成為提 升企業(yè)核心競爭力，實現(xiàn)企業(yè)信息化可持續(xù)發(fā)展的關鍵途徑。按照行領導部署，信息科技部組織力量對大數(shù)據技術進行研究，完成對市場上主流的大數(shù)據平臺及應用技術預研，征求業(yè)務部門建議，提出項目建設要求。郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利第2章銀行大數(shù)據現(xiàn)狀分析基本現(xiàn)狀銀行已

20、建立面向整個金融業(yè)務的數(shù)據倉庫，整合了前臺業(yè)務運營數(shù)據和后臺管理數(shù)據，建立了面向金融的管理分析應用；銀行大數(shù)據積累了 一定量的業(yè)務數(shù)據， 同時業(yè)務人員也從客 戶管理、風險評級和經營規(guī)模預測等方面， 提出了大量分析預測 需求。總體現(xiàn)狀行領導缺乏數(shù)據梳理，造成行領導看到的數(shù)據相互沖突和矛盾；IT架構中中都是以部門級應用為主（如計財、資金計劃部 等），缺乏從大的管理職能（財務、風險、運營等）綜合方面的 數(shù)據整合、數(shù)據標準和統(tǒng)一業(yè)務定義。業(yè)務人員業(yè)務職能不清晰或相互重疊，觀察數(shù)據視角不盡相同，缺少 數(shù)據標準與業(yè)務統(tǒng)一定義，語軌不一致；由于業(yè)務系統(tǒng)輸入的隨意性，導致部分關鍵業(yè)務數(shù)據質量較差。郎豐利智慧銀

21、行大數(shù)據可視化平臺建設方案 郎豐利數(shù)據架構方面由于全行的數(shù)據散落在各個業(yè)務系統(tǒng)中，沒有進行有效整合，形成豎井式架構，造成多個信息孤島，整體架構缺少一個穩(wěn)定的、抗源變化的保存最細粒度歷史數(shù)據的數(shù)據層。無法支撐未來共享性應用。業(yè)務表現(xiàn)信息孤島數(shù)據冗余共享性差歷史數(shù)據缺失問題數(shù)據分散，難以管理沒有一個穩(wěn)定的，抗源變化的數(shù)據層郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利缺外穩(wěn)定的、 抗源變化的數(shù)據層豎井式架構， 造成信息孤島其它 報表績效考犢客戶管理營風報戶險表戶部表中間 崢 報表支付報表客戶風險客戶一部中間業(yè)窘支付業(yè)務主題屋報表應用共用集市層zy.匯總率據層ODS層BDSgDEPJg源系統(tǒng)-JTJ口

22、沒有進行整合，無法） 共享，不能支持如客 戶管理等共享性應用綜合業(yè)資信貸管理國際轉算債券核算數(shù)據應用難題缺少統(tǒng)一的應用分析標準業(yè)務表現(xiàn)各集市系統(tǒng)指標存在重復各集市系統(tǒng)在保有存量的同時，不斷產生新的指標（增量）集市指標派生無法實現(xiàn)指標邏輯視圖（指標分類）不一致問題重復投入數(shù)據不一致指標設計、口徑不一致郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利指標難以共享客戶風險集市客戶一部集市我想看本期貸款 余額J看哪個呢？活期存款指標數(shù)據 怎么不一致跑?借據號朝末余額壬育業(yè)務收入 負債總頓借據集考期末賃款余額總資產資金計劃 部3用戶況信息r有哪些呢?3用戶2.4.2、缺少統(tǒng)一的基礎數(shù)據標準2.4.2.1業(yè)務

23、表現(xiàn)各系統(tǒng)存在冗余數(shù)據各系統(tǒng)存在業(yè)務含義一致，名稱定義不一致的屬性各系統(tǒng)存在含義不一致，名稱定義一致的情況業(yè)務代碼定義混亂郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利2.4.2,2、 問題重復投入數(shù)據不一致、不準確難以利用和管理各系統(tǒng)數(shù)據難以共享核心貸款分戶賬表業(yè)務含義一致,名稱定義不一致5級分類標志 /2關注02關注借庭計息周期3次級（不良）03次假4可疑（不良）04可疑5損失（不良）05報失缺少反饋機制沒有歸納弁總結數(shù)據質量問題，缺少反饋機制,導致長期存 在各類數(shù)據質量問題。郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利業(yè)務表現(xiàn)指標難以共享數(shù)據不一致、不準確問題部分關鍵業(yè)務數(shù)據缺失源系統(tǒng)校驗

24、關系缺失及業(yè)務人員操作隨意客戶號客戶簡稱核心客戶表75682839 糧食局糧油綜合97326762乳山市國鑫資產數(shù)據應用現(xiàn)狀總結隨著業(yè)務的不斷發(fā)展和信息化的不斷深入，需建設的業(yè)務系統(tǒng)越來越多，隨著業(yè)務系統(tǒng)的數(shù)據種類不斷豐富完善，數(shù)據量的不斷增大，如果不采取有效手段解決數(shù)據架構、數(shù)據標準、數(shù)據質量問題，隨著信息化建設的深入， 這些問題將像雪球一樣越滾郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利越大，越積越多智慧銀行大數(shù)據可視化平臺整體解決方案V6.0統(tǒng)一制定目標和甘 自定義報表工具多種格式報表分析工具折模生行十列的新單定義方式云數(shù)據推送平臺已實現(xiàn)了主要零售及XXX業(yè)務系統(tǒng)數(shù)據清洗、整合，為未來X

25、XX大數(shù)據數(shù)據平臺提供了豐富的數(shù)據源口銀行挾笫層統(tǒng)一規(guī)劃分析方法 統(tǒng)一劃分分析主裁 藐二景計數(shù)雅翁銀行以能管控層第3章銀行大數(shù)據治理階段目標通過數(shù)據平臺和BI應用建設，銀行大數(shù)據將搭建統(tǒng)一的大數(shù)據共享和分析平臺，對各類業(yè)務進行前瞻性預測及分析，為銀 行各層次用戶提供統(tǒng)一的決策分析支持， 提升數(shù)據共享與流轉能 力。各翅業(yè)務搽作層郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利3.1、數(shù)據平臺邏輯架構源數(shù)據 數(shù)據倉庫數(shù)據應用CM2006EEBONDPEFES3.2、裁於性齒平木配置再 fflC集市層一 一 1非晚場蓋晉菜市財會出走第市ETL風險根擊隹擊匯總展機掏客戶賬戶ETL整合層ETL作高修恭世熟虻

26、由貼海層作處詞嫁告業(yè)若旱培 匚 MN0C5 國際雄胃飆傳齊首理系生 陽L熨金號燒軌躺整蛻 相濟引空基跖當事人的驚當事人赍盧數(shù)據質量檢查系統(tǒng)數(shù)據平臺部署架構總th:1II：新舊置牧勺23Q非現(xiàn)場報表財會報表客戶風篩報恚高管駕駛艙數(shù)據傳輸教愜管理系統(tǒng)赭取胃1/應年低轉均量雷ri. 107sm曜近用：中間”西1 MO機山？TH番方游K段C 4All護!I llti I Knl 1 qir ikWOl.M. 4 “ihl據tiw 1 5 EE 卻曳平白代aN月 ，拿ffE聲 Dmajn5j：i：LLJHvMIVtii*IffimiliiiMd 團嚇alHIMWA 七* K削總占；|IA口門ETLBl務

27、 UL 9. ti. LOy.L郎豐利智慧銀行大數(shù)據可視化平臺建設方案 郎豐利建設目標以大數(shù)據項目建設作為契機，凝聚我行優(yōu)勢力量，全面梳理 數(shù)據資源，完善數(shù)據體系架構，自主掌握大數(shù)據關鍵技術，加速 大數(shù)據資源的開發(fā)利用,將數(shù)據決策化貫穿到經營管理全流程， 建設智慧銀行，提升核心競爭力。建設大數(shù)據基礎設施，完善全行數(shù)據體系架構構建大數(shù)據平臺，實現(xiàn)更廣泛的半結構化、非結構化數(shù)據集 中采集、存儲、加工、分析和應用，極大地豐富我行的信息資源， 同現(xiàn)有的企業(yè)級數(shù)據倉庫和歷史數(shù)據存儲系統(tǒng)一起，形成基礎數(shù)據體系，提供支撐經營管理的各類數(shù)據應用。開發(fā)大數(shù)據資源，支撐全行經營管理創(chuàng)新建設離線數(shù)據分析、實時數(shù)據

28、/流數(shù)據分析集群和各類數(shù)據 分析集市，提供高性能可擴展的分布式計算引擎， 通過數(shù)據挖掘、 計量分析和機器學習等手段，對豐富的大數(shù)據資源進行開發(fā)使 用，弁將數(shù)據決策化過程結合到風控、營銷、營運等經營管理活 動。培養(yǎng)大數(shù)據人才隊伍，建立大數(shù)據分析能力結合大數(shù)據項目的落地實施，建立起一支大數(shù)據技術和分析 人員隊伍，具備自主運營和開發(fā)大數(shù)據的能力，以更好推動業(yè)務郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利創(chuàng)新，提升我行核心競爭力數(shù)據治理目標發(fā)現(xiàn)數(shù)據質量問題，推動大數(shù)據治理工作的開展，建立數(shù)據質量檢核系統(tǒng)對源系統(tǒng)進行數(shù)據質量檢核，發(fā)現(xiàn)數(shù)據質量問題弁統(tǒng)計影響到的報表對數(shù)據質量問題進行歸類總結，分析成因和改

29、進建議建設數(shù)據質量檢核系統(tǒng)分析、梳理業(yè)務系統(tǒng)，推動數(shù)據標準的建立，統(tǒng)一全行口徑建立基礎標準和指標標準框架確定標準化范圍，對重要屬性進行標準化建立數(shù)據倉庫模型框架，優(yōu)化我行數(shù)據架構，建設穩(wěn)定、可擴展的數(shù)據倉庫引進業(yè)內具有先進水平的金融數(shù)據模型，進行客戶化改造 后，建成符合某行特點的數(shù)據倉庫模型框架覆蓋某行主要業(yè)務系統(tǒng)數(shù)據，以便快速高效的為應用系統(tǒng) 提供數(shù)據存儲歷史數(shù)據，解決新報表上線才有數(shù)的問題。郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利匯總層建設（共性加工）目標建設方法建設內容分析源系統(tǒng)表數(shù)據，從及時性、完整性、準確性、有效性、 一致性方面對源系統(tǒng)數(shù)據進行數(shù)據校驗，發(fā)現(xiàn)弁記錄數(shù)據質量問題，生

30、成數(shù)據質量問題報告。建設數(shù)據質量檢核系統(tǒng)，對源系統(tǒng)基礎業(yè)務數(shù)據的進行全面 的數(shù)據質量檢查，弁實現(xiàn)重要業(yè)務數(shù)據質量的周期性動態(tài)檢查， 對發(fā)現(xiàn)的數(shù)據質量問題生成數(shù)據質量報告，反饋給業(yè)務部門。工作階段源系統(tǒng)分析階段全面分析主要源業(yè)務系統(tǒng)。、 工作內容全面分析和消化主要源業(yè)務系統(tǒng)重點分析核心業(yè)務系統(tǒng)和信貸兩個系統(tǒng)、 工作依據源系統(tǒng)文檔：源系統(tǒng)操作手冊、源業(yè)務系統(tǒng)設計說明書、源系統(tǒng)數(shù)據字典郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利源系統(tǒng)環(huán)境及調研數(shù)據、工作重點系統(tǒng)內：梳理業(yè)務流程、業(yè)務邏輯、業(yè)務關聯(lián)、數(shù)據庫表和字段的設計系統(tǒng)間：梳理業(yè)務關聯(lián)關系、數(shù)據關聯(lián)關系數(shù)據質量問題檢查階段根據制定的檢查規(guī)則編寫程

31、序，對源系統(tǒng)數(shù)據進行檢查。、工作內容梳理和制定數(shù)據質量檢查規(guī)則，定義標準模板依據數(shù)據檢查規(guī)則，編寫程序，對核心業(yè)務系統(tǒng)、信貸管理系統(tǒng)的進行檢查、工作依據系統(tǒng)調研和分析成果數(shù)據質量檢查規(guī)則的依據調研成果的以下內容進行梳理：業(yè)務流程、業(yè)務邏輯數(shù)據邏輯設計報表數(shù)據應用郎豐利智慧銀行大數(shù)據可視化平臺建設方案郎豐利、 工作重點重點報表用到的表進行分析數(shù)據質量問題分析階段分析有質量問題數(shù)據對現(xiàn)有應用的影響；提出解決措施。、 工作內容分析有質量問題數(shù)據對現(xiàn)有報表應用的影響對數(shù)據質量問題的成因進行分析和總結對數(shù)據質量問題的解決措施進行分析和總結、 工作依據數(shù)據質量檢查結果源數(shù)據與報表依賴關系、 工作重點重點分析