商業(yè)銀行數(shù)據(jù)服務(wù)平臺功能優(yōu)化項目實施總體方案說明書

商業(yè)銀行數(shù)據(jù)服務(wù)平臺功能優(yōu)化項目實施總體方案說明書PAGEPAGE17保密信息商業(yè)銀行數(shù)據(jù)服務(wù)平臺功能優(yōu)化項目實施總體方案說明書

目錄TOC\o"1-7"\h\z\u第1章概述 21.1.項目背景 21.2.項目目標 21.3.項目建設(shè)原則 3第2章總體架構(gòu)方案 42.1.規(guī)劃藍圖 42.2.統(tǒng)一命名規(guī)范 62.3.本期項目總體架構(gòu) 82.3.1.邏輯架構(gòu) 82.3.2.數(shù)據(jù)架構(gòu) 92.3.3.技術(shù)架構(gòu) 102.3.4.物理架構(gòu) 112.3.5.運維架構(gòu) 122.4.ODS模型方案 132.5.統(tǒng)一調(diào)度監(jiān)控方案 142.6.統(tǒng)一數(shù)據(jù)交換 152.7.歷史數(shù)據(jù)存儲方案 152.8.備份與恢復(fù)設(shè)計 16

概述項目背景商業(yè)銀行的數(shù)據(jù)服務(wù)平臺上線已久。正在運行中數(shù)據(jù)服務(wù)平臺，已經(jīng)將商業(yè)銀行綜合業(yè)務(wù)系統(tǒng)等25個業(yè)務(wù)系統(tǒng)，近700多張表的重要業(yè)務(wù)數(shù)據(jù)進行了抽取和轉(zhuǎn)換，并提供給上層應(yīng)用。除現(xiàn)有已納入的數(shù)據(jù)源之外，隨著經(jīng)營管理的需要，目前每個月底都有新數(shù)據(jù)源陸續(xù)增加到數(shù)據(jù)服務(wù)平臺中。數(shù)據(jù)平臺已經(jīng)成為所有分析應(yīng)用系統(tǒng)的基礎(chǔ)，在眾多的業(yè)務(wù)系統(tǒng)與分析系統(tǒng)間起到了重要的橋梁和紐帶作用，為上層應(yīng)用分析系統(tǒng)提供著源源不斷的數(shù)據(jù)支持。目前，隨著數(shù)據(jù)平臺上層分析應(yīng)用系統(tǒng)項目的改造與新增，參與相關(guān)實施的項目組沒有統(tǒng)一命名規(guī)范、開發(fā)規(guī)范，在投產(chǎn)和運行中時有，對系統(tǒng)的軟硬件資源的爭搶和阻塞沖突時有發(fā)生，且由于各項目組數(shù)據(jù)模型分層及命名不統(tǒng)一，造成日常運維及故障定位不便。當前商業(yè)銀行的數(shù)據(jù)標準與EDW咨詢項目已經(jīng)啟動，在對全行業(yè)務(wù)系統(tǒng)數(shù)據(jù)梳理的同時，制定和規(guī)劃著全行的數(shù)據(jù)標準以及企業(yè)級基礎(chǔ)數(shù)據(jù)平臺，EDW實施在即。著眼未來，現(xiàn)有數(shù)據(jù)平臺的ODS在架構(gòu)規(guī)劃與功能定位上應(yīng)結(jié)合數(shù)據(jù)標準與EDW咨詢項目，在統(tǒng)籌兼顧的前提下明確本項目的分工，保證本期項目的實施范圍可控，共同從全行數(shù)據(jù)的加工、流轉(zhuǎn)、存儲、使用上考慮周全，進一步趨于合理化。這樣既有利于現(xiàn)有上層應(yīng)用分析系統(tǒng)持續(xù)提供服務(wù)，又有利于后期企業(yè)級基礎(chǔ)數(shù)據(jù)平臺的建設(shè)。項目目標針對目前數(shù)據(jù)服務(wù)平臺ODS進行功能優(yōu)化，實現(xiàn)以下目標：結(jié)合數(shù)據(jù)標準與EDW咨詢，在企業(yè)級基礎(chǔ)數(shù)據(jù)平臺架構(gòu)下，配合稍后即將建設(shè)的EDW，保證現(xiàn)有數(shù)據(jù)平臺之上的應(yīng)用分析系統(tǒng)持續(xù)服務(wù)的前提下，規(guī)劃ODS新架構(gòu)、制定ODS統(tǒng)一命名規(guī)范、開發(fā)規(guī)范、測試規(guī)范、數(shù)據(jù)交換規(guī)范、歷史數(shù)據(jù)存儲規(guī)范，并逐步物理落地。對ODS模型進行分層，新層次由ODS技術(shù)緩沖層、ODS基礎(chǔ)層、ODS共性加工層、ODS應(yīng)用集市層組成，使設(shè)計、開發(fā)、測試、數(shù)據(jù)使用、運維等過程的清晰明朗；增加統(tǒng)一數(shù)據(jù)交換，減少數(shù)據(jù)重復(fù)抽取對源系統(tǒng)、網(wǎng)絡(luò)、運維、存儲的壓力，減少重復(fù)開發(fā)，降低各系統(tǒng)間耦合度；增加歷史數(shù)據(jù)存儲，改善目前應(yīng)用系統(tǒng)，分析、設(shè)計、開發(fā)、測試階段樣本數(shù)據(jù)獲取困難，以及系統(tǒng)出故障后長時間追數(shù)的現(xiàn)狀；改造統(tǒng)一調(diào)度監(jiān)控，使之效率更高、操作更便捷，更人性化；對現(xiàn)有系統(tǒng)進行整體優(yōu)化，提高運行效率，使現(xiàn)有數(shù)據(jù)平臺在優(yōu)化改造后，現(xiàn)有應(yīng)用分析系統(tǒng)可持續(xù)使用，與EDW及各應(yīng)用分析系統(tǒng)在架構(gòu)，數(shù)據(jù)的加工、流轉(zhuǎn)、使用上合理融合，改善運維操作；為EDW的實施及上線做好數(shù)據(jù)積累及投產(chǎn)后持續(xù)供數(shù)能力。通過本項目方案的實施，最終實現(xiàn)靈活、高效的基礎(chǔ)數(shù)據(jù)服務(wù)平臺，最好的為業(yè)務(wù)人員提供完善的數(shù)據(jù)服務(wù)。項目建設(shè)原則本項目方案設(shè)計、建設(shè)原則將體現(xiàn)在規(guī)范性、開放性、先進性、實用性、可靠性、擴展性、安全性、軟件開發(fā)管理八個方面，使得有限的資源以較有效的協(xié)作方式共同發(fā)揮效用。

總體架構(gòu)方案規(guī)劃藍圖本次優(yōu)化綜合數(shù)據(jù)平臺問題現(xiàn)狀，結(jié)合商業(yè)銀行數(shù)據(jù)標準及EDW咨詢項目，從企業(yè)級基礎(chǔ)數(shù)據(jù)平臺規(guī)劃出發(fā)，本著想大做小的原則具體規(guī)劃本次ODS優(yōu)化的范圍，以及后續(xù)部分的分步實施路線。此總體架構(gòu)方案將由統(tǒng)一數(shù)據(jù)交換、通用文件傳輸、ODS、EDW、集成信息服務(wù)、歷史數(shù)據(jù)存儲、統(tǒng)一調(diào)度監(jiān)控管理、統(tǒng)一數(shù)據(jù)管控8個部分組成。統(tǒng)一數(shù)據(jù)交換負責整個企業(yè)級基礎(chǔ)數(shù)據(jù)平臺內(nèi)部、以及基礎(chǔ)數(shù)據(jù)平臺與其上、下游系統(tǒng)之間的數(shù)據(jù)傳遞交換，是基礎(chǔ)數(shù)據(jù)平臺對外數(shù)據(jù)交換的唯一出口；主要以數(shù)據(jù)文件形式為載體實現(xiàn)數(shù)據(jù)交換，也包括庫對庫的直接接入和接出；同時還會以數(shù)據(jù)文件形式保留近期的數(shù)據(jù)，并可以基于數(shù)據(jù)文件進行簡單的加工；當數(shù)據(jù)以文件形式對外進行數(shù)據(jù)交換時，將通過通用文件傳輸子系統(tǒng)對外傳輸。通用文件傳輸負責整個基礎(chǔ)數(shù)據(jù)平臺對外進行文件型數(shù)據(jù)的傳輸，文件型數(shù)據(jù)統(tǒng)一將從統(tǒng)一數(shù)據(jù)交換的存儲區(qū)經(jīng)由通用文件傳輸進行加密、壓縮等處理，傳輸?shù)浇邮辗降臄?shù)據(jù)文件服務(wù)器，然后再解密、解壓恢復(fù)成可以直接使用的數(shù)據(jù)文件。按照目前商業(yè)銀行的規(guī)劃，類似系統(tǒng)正在籌劃和開發(fā)建設(shè)中。ODSODS是以數(shù)據(jù)庫的形式存在的一個數(shù)據(jù)集成區(qū)，偏源結(jié)構(gòu)建模，適合于數(shù)據(jù)整合度較低、時效性要求較高、且又不適合基于簡單的數(shù)據(jù)文件進行加工而獲得的應(yīng)用；可以以開放數(shù)據(jù)庫直接訪問的形式對外提供服務(wù)，也可以直接將數(shù)據(jù)交換給下游應(yīng)用自己的數(shù)據(jù)存儲，如是后者，則交由統(tǒng)一數(shù)據(jù)交換完成并作為唯一出口；按照整體規(guī)劃，ODS子系統(tǒng)將包含ODS數(shù)據(jù)存儲模塊、ODS處理模塊兩部分，而其中ODS數(shù)據(jù)存儲模塊又包括ODS技術(shù)緩沖層、ODS近源模型層(ODS基礎(chǔ)層)、ODS共性加工層和ODS應(yīng)用集市層，是整個基礎(chǔ)數(shù)據(jù)平臺的其中一個對外提供數(shù)據(jù)服務(wù)的核心，而ODS處理模塊則主要是將針對各數(shù)據(jù)層中的數(shù)據(jù)庫表進行數(shù)據(jù)加工轉(zhuǎn)換處理，并交由統(tǒng)一調(diào)度監(jiān)控子系統(tǒng)進行統(tǒng)一調(diào)度。EDWEDW(數(shù)據(jù)倉庫)是以數(shù)據(jù)庫的形式存在的一個數(shù)據(jù)整合區(qū)，主題模型化建模，適合一些數(shù)據(jù)整合度較高的應(yīng)用；可以以開放數(shù)據(jù)庫直接訪問的形式對外提供服務(wù)，也可以導出數(shù)據(jù)文件提供給下游應(yīng)用，如是后者，也將交由統(tǒng)一數(shù)據(jù)交換完成并作為唯一出口；按照整體規(guī)劃，EDW子系統(tǒng)將包含EDW數(shù)據(jù)存儲模塊、EDW處理模塊兩部分，而其中EDW數(shù)據(jù)存儲模塊又包括EDW技術(shù)緩沖層、EDW整合模型層(EDW基礎(chǔ)層)、EDW共性加工層和EDW應(yīng)用集市層，是整個基礎(chǔ)數(shù)據(jù)平臺的另一個對外提供數(shù)據(jù)服務(wù)的核心，而EDW處理模塊則主要是將針對各數(shù)據(jù)層中的數(shù)據(jù)庫表進行數(shù)據(jù)加工轉(zhuǎn)換處理，并交由統(tǒng)一調(diào)度監(jiān)控子系統(tǒng)進行統(tǒng)一調(diào)度。集成信息服務(wù)集成信息服務(wù)是整個數(shù)據(jù)平臺中，以數(shù)據(jù)庫形式對外提供服務(wù)的唯一發(fā)布窗口，集成信息服務(wù)將EDW和ODS中可以對外提供查詢服務(wù)的數(shù)據(jù)配合權(quán)限設(shè)定發(fā)布出來，以供業(yè)務(wù)部門用戶根據(jù)自己的需求進行隨機查詢。歷史數(shù)據(jù)存儲歷史數(shù)據(jù)存儲將主要負責存儲超出統(tǒng)一數(shù)據(jù)交換、ODS、EDW三個子系統(tǒng)各自生命周期的遠期歷史數(shù)據(jù)，便于較遠期歷史數(shù)據(jù)的檢索和查詢，同時降低存儲成本；歷史數(shù)據(jù)存儲可以采用多種不同的方式進行混合存儲，包括容價比比較便宜的數(shù)據(jù)庫、文件形式數(shù)據(jù)、以及帶庫離線存儲等。統(tǒng)一調(diào)度監(jiān)控負責整個基礎(chǔ)數(shù)據(jù)平臺所有數(shù)據(jù)加工、傳輸任務(wù)的統(tǒng)一調(diào)度和監(jiān)控，包括統(tǒng)一數(shù)據(jù)交換的作業(yè)、ODS的作業(yè)、EDW的作業(yè)等，均由統(tǒng)一調(diào)度監(jiān)控進行統(tǒng)一管理。統(tǒng)一數(shù)據(jù)管控主要實現(xiàn)整個數(shù)據(jù)平臺的數(shù)據(jù)管理功能，包括元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、以及代碼標準化的管理。規(guī)劃中的企業(yè)級基礎(chǔ)數(shù)據(jù)平臺不僅能向集中式的下游應(yīng)用提供數(shù)據(jù)支持，也能夠?qū)崿F(xiàn)對分行的數(shù)據(jù)分發(fā)和數(shù)據(jù)發(fā)布。按此規(guī)劃，基礎(chǔ)數(shù)據(jù)平臺將成為全行唯一的BI系統(tǒng)數(shù)據(jù)的來源和供應(yīng)方，對外提供數(shù)據(jù)服務(wù)的將有4個部分：即統(tǒng)一數(shù)據(jù)交換、ODS、EDW和歷史數(shù)據(jù)存儲。統(tǒng)一命名規(guī)范對于規(guī)劃藍圖中各部分將采用統(tǒng)一命名規(guī)范：簡稱英文名稱中文名稱HDSHistoryDataStore歷史數(shù)據(jù)存儲ODSOperationalDataStoreODSEDWEnterpriseDataWarehouseEDWUDEUnitiveDataExchange統(tǒng)一數(shù)據(jù)交換USMUnitiveSchedulerAndMonitor統(tǒng)一調(diào)度監(jiān)控UDGUnitiveDataGovernance統(tǒng)一數(shù)據(jù)管控UFTUnitiveFileTransfer通用文件傳輸服務(wù)OTLODSTechnologyBufferLayerODS技術(shù)緩沖層OMLODSModelLayerODS基礎(chǔ)層(近源模型層)OCLODSCommonMachiningLayerODS共性加工層ODL_XXXODSData-martLayer(其中XXX為具體集市的3位縮寫名)ODS應(yīng)用集市層ITLEDWTechnologyBufferLayerEDW技術(shù)緩沖層IMLEDWModelLayer/IntegratedModelLayer因為EDW采用整合模型,所以EDW各層均采用I開頭)EDW基礎(chǔ)層(整合模型層)ICLEDWCommonMachiningLayerEDW共性加工層IDL_XXXEDWData-martLayer(其中XXX為具體集市的3位縮寫名)EDW應(yīng)用集市層URLUDERawLayer統(tǒng)一數(shù)據(jù)交換原始層USLUDEStandardLayer統(tǒng)一數(shù)據(jù)交換標準層UPLUDEProcessLayer統(tǒng)一數(shù)據(jù)交換加工層本期項目總體架構(gòu)邏輯架構(gòu)在邏輯架構(gòu)中，本次ODS優(yōu)化項目涉及規(guī)劃藍圖中的ODS、統(tǒng)一數(shù)據(jù)交換、歷史數(shù)據(jù)存儲和統(tǒng)一調(diào)度監(jiān)控4個部分。數(shù)據(jù)架構(gòu)本次ODS優(yōu)化項目中將涉及統(tǒng)一數(shù)據(jù)交換、ODS、歷史數(shù)據(jù)存儲三個子系統(tǒng)中的數(shù)據(jù)流轉(zhuǎn)及數(shù)據(jù)存儲。技術(shù)架構(gòu)技術(shù)架構(gòu)說明如下：統(tǒng)一數(shù)據(jù)交換文件存儲模塊：采用符合行內(nèi)規(guī)范的共享存儲設(shè)備。文件處理模塊：采用DataStage。ODS區(qū)：采用IBMDB2數(shù)據(jù)庫。歷史數(shù)據(jù)存儲：采用符合行內(nèi)規(guī)范的共享存儲設(shè)備+磁帶庫方式。統(tǒng)一調(diào)度監(jiān)控：采用ETLPLUS調(diào)度監(jiān)控工具實現(xiàn)。物理架構(gòu)針對上述物理設(shè)備的邏輯化架構(gòu)圖分解如下：運維架構(gòu)運維架構(gòu)包含兩個層面的內(nèi)容，一是運維管理團隊及規(guī)章制度，即需要建立運維管理團隊，詳細制定運維管理團隊中的角色及職能，制定規(guī)范審核機制，對團隊人中進行規(guī)范培訓，并設(shè)立專門角色對規(guī)范的執(zhí)行情況進行監(jiān)督；二則是具體的運維管理的流程閉環(huán)，即從日常運維管理，到服務(wù)基線管理，再到系統(tǒng)性能工藝優(yōu)化，最后到設(shè)備容量管理直至系統(tǒng)擴容，然后重新開始新一輪的日常運維管理、性能優(yōu)化、直至新一輪擴容，系統(tǒng)將一直處于這種運維管理閉環(huán)中。ODS模型方案ODS數(shù)據(jù)存儲模塊主要以數(shù)據(jù)庫的形式來存儲數(shù)據(jù)，所以數(shù)據(jù)庫中的數(shù)據(jù)模型在基礎(chǔ)數(shù)據(jù)平臺的建設(shè)中具有非常重要的作用，是建設(shè)基礎(chǔ)數(shù)據(jù)平臺的核心基礎(chǔ)，一個好的、