銀行歷史數(shù)據(jù)管理方案

1、甘肅銀行歷史數(shù)據(jù)及應(yīng)用管理甘肅銀行歷史數(shù)據(jù)及應(yīng)用管理方案介紹方案介紹甘肅銀行甘肅銀行 2016 2016年年7 7月月目錄目錄1 我行歷史數(shù)據(jù)應(yīng)用與管理方案與架構(gòu)23歷史數(shù)據(jù)平臺與ODS功能定位歷史數(shù)據(jù)應(yīng)用與管理面臨的問題與挑戰(zhàn)3銀行對歷史數(shù)據(jù)管理的需求業(yè)務(wù)需求業(yè)務(wù)需求 直觀地搜索企業(yè)直觀地搜索企業(yè)95%的信息的信息 經(jīng)營報表經(jīng)營報表 歷史查詢歷史查詢 客戶歷史賬單查客戶歷史賬單查詢詢 Fast, easy search Align business, legal and IT needs ITIT需求需求 數(shù)據(jù)查詢數(shù)據(jù)查詢 數(shù)據(jù)備份數(shù)據(jù)備份 數(shù)據(jù)歸檔數(shù)據(jù)歸檔 數(shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)數(shù)據(jù)

2、法規(guī)需求法規(guī)需求 把更多的電子發(fā)現(xiàn)工作把更多的電子發(fā)現(xiàn)工作留在企業(yè)內(nèi)部留在企業(yè)內(nèi)部 審計審計 合規(guī)檢查合規(guī)檢查 監(jiān)管報送監(jiān)管報送 實行實行保留策略和保留策略和法律存法律存(Legal Hold) 出于法規(guī)相關(guān)或特權(quán)查出于法規(guī)相關(guān)或特權(quán)查閱信息閱信息如何如何優(yōu)化存儲控制成本優(yōu)化存儲控制成本 怎樣保證可靠性和性能怎樣保證可靠性和性能 怎樣歸檔管理留存信息，怎樣歸檔管理留存信息，保證無篡改，無丟失，滿足保證無篡改，無丟失，滿足未來需求的未來需求的格式格式 怎樣提高響應(yīng)時間或者確保怎樣提高響應(yīng)時間或者確保良好的響應(yīng)時間良好的響應(yīng)時間ITIT部門需要面臨的問題部門需要面臨的問題如何如何保證完整的保證完整

3、的保留信息保留信息 怎樣有效靈活怎樣有效靈活的統(tǒng)計的統(tǒng)計， 方便快速的查詢方便快速的查詢 防止信息泄露與審查防止信息泄露與審查方方法法來自業(yè)務(wù)需求的挑戰(zhàn)來自業(yè)務(wù)需求的挑戰(zhàn)滿足滿足銀行各部門對銀行各部門對信息風(fēng)險監(jiān)管的高彈性、健壯性、高性能需求？信息風(fēng)險監(jiān)管的高彈性、健壯性、高性能需求？合規(guī)合規(guī)審查審查保留審計保留審計各部門對數(shù)據(jù)的問題與挑戰(zhàn)各部門對數(shù)據(jù)的問題與挑戰(zhàn)5IT部門對歷史數(shù)據(jù)面臨的與挑戰(zhàn)5趨勢趨勢挑戰(zhàn)挑戰(zhàn)信息數(shù)據(jù)的海量增長信息數(shù)據(jù)的海量增長 IT 預(yù)算的緊縮預(yù)算的緊縮數(shù)據(jù)存儲的需求大于數(shù)據(jù)存儲的需求大于IT預(yù)算預(yù)算不斷增長的數(shù)據(jù)使用需求不斷增長的數(shù)據(jù)使用需求數(shù)據(jù)應(yīng)用頻繁數(shù)據(jù)應(yīng)用頻繁信息

4、無處不在信息無處不在內(nèi)部數(shù)據(jù)丟失問題日益嚴(yán)重內(nèi)部數(shù)據(jù)丟失問題日益嚴(yán)重數(shù)據(jù)要求嚴(yán)格、數(shù)據(jù)要求嚴(yán)格、數(shù)據(jù)存儲時間長數(shù)據(jù)存儲時間長嚴(yán)格的數(shù)據(jù)管理嚴(yán)格的數(shù)據(jù)管理安全的數(shù)據(jù)完整性和可用性。安全的數(shù)據(jù)完整性和可用性。信息的審計和法規(guī)遵從信息的審計和法規(guī)遵從信息難以審計信息難以審計信息統(tǒng)一法規(guī)遵從的挑戰(zhàn)信息統(tǒng)一法規(guī)遵從的挑戰(zhàn)目錄目錄我行歷史數(shù)據(jù)應(yīng)用與管理方案與架構(gòu)3歷史數(shù)據(jù)平臺與ODS功能定位歷史數(shù)據(jù)應(yīng)用與管理面臨的問題與挑戰(zhàn)21分析系統(tǒng)&業(yè)務(wù)系統(tǒng)區(qū)別歷史數(shù)據(jù)平臺&ODS功能定位歷史數(shù)據(jù)平臺系統(tǒng)歷史數(shù)據(jù)平臺系統(tǒng)ODS系統(tǒng)系統(tǒng)系統(tǒng)定位1 用于交易明細(xì)查詢,非結(jié)構(gòu)化數(shù)據(jù)存儲查詢 等2 分流交易系

5、統(tǒng)明細(xì)數(shù)據(jù)查詢壓力1 業(yè)務(wù)指標(biāo),報表展現(xiàn)2 數(shù)據(jù)交換面向用戶1 柜面（柜員）2 客服中心(客服)3 網(wǎng)上銀行(客戶)4 手機(jī)銀行等渠道(客戶) 業(yè)務(wù)管理層(報表平臺) 企業(yè)管理層(高管駕駛倉) 下游數(shù)據(jù)消費系統(tǒng)(數(shù)據(jù)交換平臺)響應(yīng)能力1 高并發(fā),高可用 1 批量,獨占資源保存期限長期存在,3年以上1 接口文件保存13個月2 加工匯總后數(shù)據(jù)長期保存優(yōu)點1 保留數(shù)據(jù)的原樣性2 滿足了數(shù)據(jù)的管理要求1 突出數(shù)據(jù)的統(tǒng)一性2 滿足了數(shù)據(jù)的應(yīng)用要求OLTP&ODS數(shù)據(jù)結(jié)構(gòu)對比OLTP&OLAP系統(tǒng)對比比較項目比較項目OLTP(聯(lián)機(jī)事務(wù)處理)OLAP(聯(lián)機(jī)分析處理)ODSDW建設(shè)目的業(yè)務(wù)操作

6、，事務(wù)處理事務(wù)處理，短時分析決策支持，分析功能服務(wù)對象生產(chǎn)層業(yè)務(wù)管理層企業(yè)管理層存儲周期即時短期長期處理頻率實時準(zhǔn)實時(T+1)非實時數(shù)據(jù)容量小小非常大功能結(jié)構(gòu)分散相對集中集中數(shù)據(jù)類型明細(xì)數(shù)據(jù)明細(xì)數(shù)據(jù)明細(xì)數(shù)據(jù),匯總數(shù)據(jù)面向用戶操作人員,低層管理人員業(yè)務(wù)管理人員決策人員,高級管理人員訪問方式實時訪問（增，刪，改，查）準(zhǔn)實時（增，刪，改，查）非實時（主要是讀操作）數(shù)據(jù)處理量100MB-GB100GB-TB100GB-TB數(shù)據(jù)簡單的事務(wù)（處理的數(shù)據(jù)量?。?fù)雜的查詢（數(shù)據(jù)量大）復(fù)雜的查詢（數(shù)據(jù)量大）11歸檔歸檔備份備份歸檔歸檔儲存儲存生產(chǎn)系統(tǒng)生產(chǎn)系統(tǒng)（OLTPOLTP）OLTP&OLAP數(shù)據(jù)處

7、理流程引出的問題Q1 :數(shù)據(jù)倉庫是否能夠替代歸檔系統(tǒng)既突出數(shù)據(jù)的統(tǒng)一性，又保持?jǐn)?shù)據(jù)的原樣性Q2:數(shù)據(jù)備份是否能滿足歷史數(shù)據(jù)的可用性，能否使用自動化歸檔系統(tǒng)加以改善Q3:數(shù)據(jù)倉庫和歸檔系統(tǒng)兩者雖然都是針對數(shù)據(jù)進(jìn)行操作的但只能分別進(jìn)行部署數(shù)據(jù)冗余大資源浪費嚴(yán)重。DW與歸檔系統(tǒng)相結(jié)合的綜合方案思考：如果能夠?qū)?shù)據(jù)的應(yīng)用與管理進(jìn)行綜合規(guī)劃那就既滿足了數(shù)據(jù)的應(yīng)用要求又滿足了數(shù)據(jù)的管理要求對二者進(jìn)行有機(jī)結(jié)合,是符合商業(yè)銀行長遠(yuǎn)發(fā)展要求的。解決思路：1綜合倉庫和歸檔系統(tǒng)的優(yōu)勢2 解決倉庫單純橫向規(guī)劃系統(tǒng)而不能將海量數(shù)據(jù)作為歸檔數(shù)據(jù)使用的不足3解決歸檔系統(tǒng)單純以數(shù)據(jù)的生命周期存儲為目的不能及時為商業(yè)分析提供綜合數(shù)據(jù)的不足。優(yōu)勢：1分流數(shù)據(jù),減輕生產(chǎn)系統(tǒng)的壓力2減輕數(shù)據(jù)倉庫大量查詢的壓力目錄目錄1我行歷史數(shù)據(jù)應(yīng)用與管理方案與架構(gòu)2歷史數(shù)據(jù)平