商業(yè)銀行數(shù)據(jù)倉庫中元數(shù)據(jù)平臺開發(fā)碩士研究生學(xué)位論文

1、分類號： tp311.5 單位代碼： 10335 密 級： 無 學(xué) 號： z104325023碩士學(xué)位論文中文論文題目 ： 商業(yè)銀行數(shù)據(jù)倉庫中元數(shù)據(jù) 下載平臺開發(fā) 英文論文題目：the downloading platform development for commercial bank data warehouse metadata 商業(yè)銀行數(shù)據(jù)倉庫中元數(shù)據(jù) 下載平臺開發(fā) 摘要筆者在對銀行數(shù)據(jù)倉庫平臺的開發(fā)和維護實踐基礎(chǔ)上，針對目前商業(yè)銀行數(shù)據(jù)倉庫開發(fā)平臺的一些缺陷而提出的一套可配置、組件化、易操作的數(shù)據(jù)下載系統(tǒng)。建立統(tǒng)一的開發(fā)技術(shù)規(guī)范，包括元數(shù)據(jù)技術(shù)規(guī)范、主輔數(shù)據(jù)源分布規(guī)范、數(shù)據(jù)生命周期

2、管理規(guī)范、數(shù)據(jù)質(zhì)量規(guī)范等。其中主輔數(shù)據(jù)源分布規(guī)范保證了數(shù)據(jù)下載的過程中，抽取數(shù)據(jù)分布合理、提高應(yīng)用系統(tǒng)運行的整體效率、保證應(yīng)用系統(tǒng)健康高效運行。數(shù)據(jù)生命周期管理規(guī)范保證有效控制在線數(shù)據(jù)規(guī)模，提高生產(chǎn)數(shù)據(jù)訪問效率，減少系統(tǒng)資源浪費。數(shù)據(jù)質(zhì)量規(guī)范提高了數(shù)據(jù)管理水平、規(guī)范數(shù)據(jù)質(zhì)量管理流程、及時準確地發(fā)現(xiàn)和治理問題數(shù)據(jù)，保證應(yīng)用數(shù)據(jù)質(zhì)量。建立統(tǒng)一的應(yīng)用系統(tǒng)數(shù)據(jù)模型設(shè)計規(guī)范。該規(guī)范明確了數(shù)據(jù)模型設(shè)計要求、明確設(shè)計原則、加強數(shù)據(jù)結(jié)構(gòu)的邏輯視圖管理，提高數(shù)據(jù)建模的質(zhì)量。提供了一種可配置的參數(shù)化組件，這些組件最終被組裝成復(fù)雜的數(shù)據(jù)倉庫數(shù)據(jù)下載系統(tǒng)中。通過“抽取邏輯組件化，文件格式參數(shù)化”的方法大大減少了數(shù)據(jù)下

3、載的開發(fā)工作量，隨著組件的逐步豐富，基本可以實現(xiàn)“零編碼”，同時也極大簡化了測試步驟，我們只需利用現(xiàn)有的功能組件，按照一定的規(guī)則和邏輯把它們拼裝組合在一起，就可以完成數(shù)據(jù)下載的開發(fā)，使得元數(shù)據(jù)抽取、文本生成、上報數(shù)據(jù)倉庫過程更加高效、穩(wěn)定、規(guī)范。關(guān)鍵詞：數(shù)據(jù)倉庫，元數(shù)據(jù)，數(shù)據(jù)抽取，下載，規(guī)范abstractaccording to banking data warehouse platform development and maintenance practices, the author put forward a number of defects can be configured,

4、component, conveniently operated system for the current data warehouse development platform of the commercial bank.the thesis contained a development technical specifications, including metadata specification, primary and secondary data sources distributed specification, data life cycle management s

5、pecification, data quality specification. distribution of primary and secondary data sources including specification ensures data download process, extract data distribution is reasonable, to improve the overall efficiency of the system. data life cycle management practices to ensure effective contr

6、ol of online data scale, improve production efficiency of data access and reduce resource waste. data quality specification improve data management, standardize data quality management process, timely and accurate discover and control data issue, ensure data quality of applications.it established a

7、unified data model application system design specifications. the specification defined the data model design requirements, cleared design principles, the logical view of the data structure to strengthen management, for improving the quality of data modeling.by providing a configurable parameters of

8、components, which would be eventually assembled into complex data warehouse data download system. by the method of extract of logic components, format the file parameters will greatly reduce the development workload, along with the gradual rich components, which can be zero code, but also greatly si

9、mplifies the test procedure, we only require the use of existing functional components, according to certain rules and logic assembled them together, you can complete the development of data download, making meta-data extraction, text generation, data warehouse reporting process will be more efficie

10、nt, stable and standardized.key words：data warehouse, metadata, data extraction, downloads, specification 目錄摘要iabstractii圖目錄iv表目錄v第1章 緒論11.1 課題背景11.2 本文的主要工作31.3 本文的組織結(jié)構(gòu)31.4 本章小結(jié)4第2章 元數(shù)據(jù)、數(shù)據(jù)倉庫的概念及對銀行業(yè)的作用12.1 元數(shù)據(jù)的概念12.2 元數(shù)據(jù)的特點12.3 元數(shù)據(jù)對商業(yè)銀行的作用12.4 數(shù)據(jù)倉庫的概念22.5 數(shù)據(jù)倉庫的特點22.6 數(shù)據(jù)倉庫對銀行業(yè)務(wù)的支撐32.7 數(shù)據(jù)倉庫的應(yīng)用與優(yōu)勢52.8

11、 本章小結(jié)8第3章 國內(nèi)商業(yè)銀行數(shù)據(jù)倉庫93.1 發(fā)展階段與目標93.2 數(shù)據(jù)倉庫建設(shè)規(guī)劃和集市整合123.3 數(shù)據(jù)倉庫體系的定位173.4 數(shù)據(jù)倉庫體系的功能173.4.1 數(shù)據(jù)倉庫的功能173.4.2 數(shù)據(jù)集市的功能183.4.3 綜合統(tǒng)計的功能193.4.4 數(shù)據(jù)挖掘的功能193.5 數(shù)據(jù)倉庫建設(shè)方法和路線203.6 etl203.6.1 etl簡介203.6.2 etl概念213.6.3 注意事項223.6.4 設(shè)計要求223.7 數(shù)據(jù)倉庫元數(shù)據(jù)下載介紹233.7.1 數(shù)據(jù)抽取的方式233.7.2 數(shù)據(jù)抽取的工作步驟253.8 本章小結(jié)25第4章 元數(shù)據(jù)下載平臺實現(xiàn)264.1 元數(shù)據(jù)技

12、術(shù)規(guī)范264.1.1 術(shù)語與定義264.1.2 元數(shù)據(jù)的范圍和管理方法274.1.3 數(shù)據(jù)標準284.1.4 專業(yè)術(shù)語324.1.5 數(shù)據(jù)流文件334.1.6 數(shù)據(jù)結(jié)構(gòu)364.1.7 數(shù)據(jù)質(zhì)量規(guī)則404.2 主輔數(shù)據(jù)源分布技術(shù)規(guī)范414.2.1 術(shù)語與定義414.2.2 主輔數(shù)據(jù)源管理原則414.2.3 主數(shù)據(jù)源分布原則424.2.4 輔數(shù)據(jù)源分布原則434.2.5 數(shù)據(jù)間使用和同步原則434.3 數(shù)據(jù)生命周期管理技術(shù)規(guī)范454.3.1 術(shù)語與定義454.3.2 數(shù)據(jù)生命周期引用模式474.3.3 數(shù)據(jù)生命周期管理原則484.3.4 各階段數(shù)據(jù)管理494.4 數(shù)據(jù)質(zhì)量技術(shù)規(guī)范504.4.1 數(shù)

13、據(jù)質(zhì)量規(guī)則514.4.2 數(shù)據(jù)質(zhì)量的開發(fā)要求524.4.3 技術(shù)檢查534.5 應(yīng)用系統(tǒng)數(shù)據(jù)模型設(shè)計技術(shù)規(guī)范564.5.1 術(shù)語與定義564.5.2 數(shù)據(jù)模型管理584.5.3 邏輯數(shù)據(jù)模型設(shè)計步驟594.5.4 模型實體設(shè)計原則604.5.5 特殊設(shè)計要求684.6 元數(shù)據(jù)下載方式的設(shè)計704.6.1 數(shù)據(jù)生成方式704.6.2 元數(shù)據(jù)下載配置設(shè)計714.6.3 元數(shù)據(jù)下載配置注意要點794.6.4 元數(shù)據(jù)下載配置實例794.7 本章小結(jié)84第5章 元數(shù)據(jù)下載平臺實現(xiàn)855.1 系統(tǒng)運行的軟硬件環(huán)境855.2 系統(tǒng)架構(gòu)855.3 系統(tǒng)架構(gòu)圖865.4 系統(tǒng)測試及運行情況865.4.1 集成測

14、試865.4.2 系統(tǒng)測試875.4.3 壓力測試885.4.4 運行情況885.5 本章小結(jié)89第6章 未來發(fā)展方向與總結(jié)90參考文獻92作者簡歷94致謝95圖目錄圖 3.1 數(shù)據(jù)倉庫的發(fā)展階段9圖 3.2 數(shù)據(jù)倉庫建設(shè)規(guī)劃11圖 3.3 數(shù)據(jù)倉庫的發(fā)展階段12圖 3.4 三種應(yīng)用模式13圖 3.5 數(shù)據(jù)倉庫體系組織架構(gòu)規(guī)劃14圖 3.6 組織架構(gòu)中職能崗位架構(gòu)規(guī)劃14圖 3.7 數(shù)據(jù)倉庫體系應(yīng)用架構(gòu)規(guī)劃16圖 4.1 元數(shù)據(jù)管理范圍27圖 4.2 數(shù)據(jù)標準之間的關(guān)系29圖 4.3 數(shù)據(jù)生命周期中數(shù)據(jù)引用曲線47圖 4.4 在線階段進行快照（備份）后在線階段數(shù)據(jù)與快照數(shù)據(jù)冗余存儲47圖 4.

15、5 數(shù)據(jù)模型管理體系58圖 4.6 當(dāng)事人邏輯數(shù)據(jù)模型59圖 4.7 分戶賬60圖 4.8 統(tǒng)計表61圖 4.9 機構(gòu)代碼表61圖 4.10 產(chǎn)品優(yōu)惠率參數(shù)表62圖 4.11 賬戶歷史明細表63圖 4.12 凍結(jié)解凍登記簿64圖 4.13 對賬單打印控制表64圖 4.14 新舊賬號對照表66圖 4.15 對賬單余額歷史表66圖 4.16 日志表層次關(guān)系67圖 4.17 父子類實體的物理實現(xiàn)69圖 4.18 父子類實體的物理實現(xiàn)70圖 4.19 export_project表80圖 4.20 export_project_table表80圖 4.21 存量參數(shù)81圖 4.22 增量參數(shù)82圖 4

16、.23 存量數(shù)據(jù)生成邏輯83圖 4.24 新增、修改數(shù)據(jù)的情況83圖 4.25 刪除數(shù)據(jù)的情況84圖 5.1 元數(shù)據(jù)下載平臺系統(tǒng)總體邏輯架構(gòu)85圖 5.2 系統(tǒng)架構(gòu)圖86表目錄表2.1 數(shù)據(jù)倉庫系統(tǒng)的業(yè)務(wù)價值5表2.2 數(shù)據(jù)倉庫支持的應(yīng)用6表3.1 各職能崗位相應(yīng)的職能15表4.1 基本屬性29表4.2 技術(shù)屬性30表4.3 擴展屬性（代碼信息）30表4.4 命名標準31表4.5 存儲標準31表4.6 取值字典32表4.7 專業(yè)術(shù)語32表4.8 文件基本信息33表4.9 主機文件結(jié)構(gòu)（copybook）信息34表4.10 開放平臺文件結(jié)構(gòu)信息34表4.11 文件目錄信息35表4.12 通用文件

17、傳輸信息35表4.13 文件的使用情況36表4.14 表結(jié)構(gòu)基本信息組件37表4.15 表結(jié)構(gòu)信息組件38表4.16 索引、分區(qū)信息38表4.17 生命周期組件信息39表4.18 主輔數(shù)據(jù)源信息管理40表4.19 數(shù)據(jù)質(zhì)量規(guī)則要求管理的組件信息40表4.20 銀行業(yè)務(wù)系統(tǒng)九大主題領(lǐng)域下的數(shù)據(jù)信息的分布細則44表4.21 在線階段數(shù)據(jù)生命周期管理內(nèi)容49表4.22 歸檔階段管理內(nèi)容50表4.23 數(shù)據(jù)質(zhì)量規(guī)范51表4.24 數(shù)據(jù)庫定義中的控制52續(xù)表4.24 數(shù)據(jù)庫定義中的控制53表4.25 數(shù)據(jù)的技術(shù)檢查53表4.26 業(yè)務(wù)邏輯檢查54表4.27 金額類數(shù)據(jù)檢查55表4.28 傳輸環(huán)節(jié)檢查56

18、第1章 緒論1.1 課題背景在數(shù)據(jù)倉庫應(yīng)用領(lǐng)域處于領(lǐng)先地位的先進銀行，經(jīng)歷了20多年的建設(shè)和積累，總結(jié)提煉了一套數(shù)據(jù)倉庫業(yè)務(wù)應(yīng)用框架，包括客戶關(guān)系管理、財務(wù)管理、績效管理、風(fēng)險管理、信息管理5大領(lǐng)域的近30多種應(yīng)用。而國內(nèi)銀行的數(shù)據(jù)倉庫建設(shè)起步較晚，以某大型國有銀行為例：2000年底開始著手啟動全行數(shù)據(jù)倉庫體系的建設(shè)。目前已經(jīng)構(gòu)建了客戶分析（pcrm、ccrm）、業(yè)績考核（pvms，pasn）、風(fēng)險管理（風(fēng)險監(jiān)控、反洗錢、內(nèi)部評級法、內(nèi)部審計）、資產(chǎn)負債管理（利率風(fēng)險）、統(tǒng)計報表（cs2002）等分析型應(yīng)用，并正在發(fā)揮著重要的業(yè)務(wù)作用；目前已立項，正在規(guī)劃或建設(shè)的分析型應(yīng)用有：統(tǒng)計報表指標庫、

19、資本管理、市場風(fēng)險、內(nèi)控合規(guī)等操作風(fēng)險； 2004年9月05年1月：數(shù)據(jù)倉庫邏輯數(shù)據(jù)模型客戶化建設(shè)項目； 2005年5月12月：數(shù)據(jù)倉庫物理平臺選型測試項目； 2006年4月07年2月：商務(wù)采購和招標； 2007年4月：該行啟動了數(shù)據(jù)倉庫物理實施一期項目。從功能架構(gòu)及技術(shù)特征上看，該行的數(shù)據(jù)倉庫主要具有報表、分析等功能，基本滿足業(yè)務(wù)用戶考察業(yè)務(wù)上“發(fā)生了什么”、“為什么發(fā)生”的需要，處于業(yè)界數(shù)據(jù)倉庫發(fā)展的第二向第三階段的過渡階段。該行數(shù)據(jù)倉庫應(yīng)用的不足：數(shù)據(jù)倉庫之間存在一定程度的數(shù)據(jù)重復(fù)下載、重復(fù)加工和冗余存儲；數(shù)據(jù)倉庫之間的加工規(guī)則和流程不同，容易產(chǎn)生結(jié)果的不一致；數(shù)據(jù)倉庫各自獨立，信息集中

20、共享程度較低，不能滿足跨系統(tǒng)、跨產(chǎn)品的關(guān)聯(lián)性、綜合性分析；數(shù)據(jù)交換平臺不保留歷史數(shù)據(jù)，難以實現(xiàn)歷史數(shù)據(jù)加工，以及出現(xiàn)差錯難以追溯補救；缺乏完整規(guī)范的數(shù)據(jù)質(zhì)量檢查、監(jiān)控機制，數(shù)據(jù)質(zhì)量難以保證；數(shù)據(jù)倉庫的數(shù)據(jù)范圍、存放周期和詳盡粒度存在局限，難以支持應(yīng)用的擴展要求；前臺業(yè)務(wù)系統(tǒng)有變化，相關(guān)的倉庫都要進行維護；各個倉庫的設(shè)備資源較難共享利用，加大維護管理成本；倉庫平臺處理能力有限，無法支撐海量數(shù)據(jù)存儲和處理；倉庫之間的數(shù)據(jù)交互日趨密切和復(fù)雜；本文從待抽取數(shù)據(jù)的篩選、抽取、加工以及下載的方面，經(jīng)過進一步的分析和討論后，認為當(dāng)前該過程中存在的問題如下：1、各應(yīng)用開發(fā)缺少統(tǒng)一的規(guī)范商業(yè)銀行在開發(fā)新的中間業(yè)

21、務(wù)的時候，往往針對一種業(yè)務(wù)開發(fā)一套產(chǎn)品，產(chǎn)品之間缺少統(tǒng)一的規(guī)范。產(chǎn)品之間各自為政，缺少相關(guān)的整合，而且通常運行在不同的硬件、操作系統(tǒng)和數(shù)據(jù)庫之上，采用的開發(fā)語言也五花八門，給元數(shù)據(jù)的篩選、抽取帶來較大的困難。2、每次數(shù)據(jù)結(jié)構(gòu)的變化都必須同步編寫相應(yīng)的上送程序傳統(tǒng)的數(shù)據(jù)抽取和生成通常使用配套的編程方式來匹配，在這種模式下，匹配程序的開發(fā)將逐漸成為數(shù)據(jù)抽取和生成的負擔(dān)，因為每次數(shù)據(jù)結(jié)構(gòu)的變動都會引起程序的修改，都必須對涉及到的程序重新進行編譯、測試，這將大大影響抽取和上報程序的開發(fā)效率，不利于數(shù)據(jù)倉庫的快速發(fā)展。3、模塊復(fù)用性不高商業(yè)銀行在數(shù)據(jù)倉庫的建設(shè)過程中重點考慮了集中處理和調(diào)度，但對數(shù)據(jù)結(jié)構(gòu)

22、變化的支持力度還不夠，開發(fā)部仍然采用傳統(tǒng)的方法設(shè)計和編寫相應(yīng)程序，模塊復(fù)用等仍然停留在源碼或程序庫的水平，模塊復(fù)用程度和開發(fā)效率都不高。4、參數(shù)配置化程度不夠部分商業(yè)銀行數(shù)據(jù)抽取采取了參數(shù)配置化手段，但參數(shù)配置化的程度還不夠，還沒有真正提煉出數(shù)據(jù)結(jié)構(gòu)的通用資源模型，開發(fā)人員在開發(fā)過程中往往根據(jù)不同的數(shù)據(jù)結(jié)構(gòu)匹配不同的編碼，不能夠配置的部分還需要通過編碼或手工編寫配置文件的方式解決，這在很大程度上影響了數(shù)據(jù)抽取生成和上送的效率。本文結(jié)合目前商業(yè)銀行數(shù)據(jù)倉庫的發(fā)展現(xiàn)狀，分析面臨的關(guān)鍵問題，探討如何實現(xiàn)處理模塊的組件化、參數(shù)的配置化、操作的簡單化等功能，能夠加快商業(yè)銀行數(shù)據(jù)倉庫的建設(shè)、有效數(shù)據(jù)的抽取

23、分析、提供決策支持，滿足商業(yè)銀行日益增加的數(shù)據(jù)挖掘要求，增強商業(yè)銀行在同業(yè)中的競爭力。1.2 本文的主要工作筆者在對銀行數(shù)據(jù)倉庫平臺的開發(fā)和維護實踐基礎(chǔ)上，針對目前商業(yè)銀行數(shù)據(jù)倉庫開發(fā)平臺的一些缺陷而提出的一套可配置、組件化、易操作的參數(shù)平臺系統(tǒng)。本文完成的主要工作有：1、建立統(tǒng)一的開發(fā)技術(shù)規(guī)范，包括元數(shù)據(jù)技術(shù)規(guī)范、主輔數(shù)據(jù)源分布規(guī)范、數(shù)據(jù)生命周期管理規(guī)范、數(shù)據(jù)質(zhì)量規(guī)范等。其中主輔數(shù)據(jù)源分布規(guī)范保證了數(shù)據(jù)下載的過程中，抽取數(shù)據(jù)分布合理、提高應(yīng)用系統(tǒng)運行的整體效率、保證應(yīng)用系統(tǒng)健康高效運行。數(shù)據(jù)生命周期管理規(guī)范保證有效控制在線數(shù)據(jù)規(guī)模，提高生產(chǎn)數(shù)據(jù)訪問效率，減少系統(tǒng)資源浪費。數(shù)據(jù)質(zhì)量規(guī)范提高了數(shù)

24、據(jù)管理水平、規(guī)范數(shù)據(jù)質(zhì)量管理流程、及時準確地發(fā)現(xiàn)和治理問題數(shù)據(jù)，保證應(yīng)用數(shù)據(jù)質(zhì)量。2、建立統(tǒng)一的應(yīng)用系統(tǒng)數(shù)據(jù)模型設(shè)計規(guī)范。該規(guī)范明確了數(shù)據(jù)模型設(shè)計要求、明確設(shè)計原則、加強數(shù)據(jù)結(jié)構(gòu)的邏輯視圖管理，提高數(shù)據(jù)建模的質(zhì)量。3、提供了一種可配置的參數(shù)化組件，這些組件最終被組裝成復(fù)雜的數(shù)據(jù)倉庫數(shù)據(jù)下載系統(tǒng)中。通過“抽取邏輯組件化，文件格式參數(shù)化”的方法大大減少了數(shù)據(jù)下載的開發(fā)工作量，隨著組件的逐步豐富，基本可以實現(xiàn)“零編碼”，同時也極大簡化了測試步驟，我們只需利用現(xiàn)有的功能組件，按照一定的規(guī)則和邏輯把它們拼裝組合在一起，就可以完成數(shù)據(jù)下載的開發(fā)。此系統(tǒng)投入運行后，顯示了其穩(wěn)定性、可靠性、易維護性，這些也都

25、得益于開發(fā)過程中工程化方法的運用。在工程化之外，先進的系統(tǒng)框架結(jié)構(gòu)和良好的設(shè)計思想也為系統(tǒng)的成功研發(fā)打下了堅實的基礎(chǔ)。1.3 本文的組織結(jié)構(gòu)第一章分析了國內(nèi)外商業(yè)銀行數(shù)據(jù)倉庫的建設(shè)現(xiàn)狀，數(shù)據(jù)倉庫對于商業(yè)銀行的必要性。第二章介紹了元數(shù)據(jù)、數(shù)據(jù)倉庫的基本概念，商業(yè)銀行使用元數(shù)據(jù)、數(shù)據(jù)倉庫的作用，主要介紹了銀行業(yè)使用元數(shù)據(jù)、數(shù)據(jù)倉庫的好處以及當(dāng)前的運行和維護中的一些缺陷，和需要解決的主要問題。第三章描述了國內(nèi)商業(yè)銀行業(yè)數(shù)據(jù)倉庫的規(guī)劃，當(dāng)前的建設(shè)情況，以及商業(yè)銀行對數(shù)據(jù)倉庫的要求。第四章論述了針對商業(yè)銀行數(shù)據(jù)倉庫數(shù)據(jù)下載面臨的主要問題，以及提出了具體的解決方案。以及闡述了筆者的主要工作和創(chuàng)新點。第五章

26、闡述了商業(yè)銀行數(shù)據(jù)倉庫數(shù)據(jù)下載系統(tǒng)的軟硬件需求、系統(tǒng)部署、投產(chǎn)前各階段測試情況、以及投產(chǎn)后系統(tǒng)運行情況。第六章闡述了商業(yè)銀行數(shù)據(jù)倉庫系統(tǒng)未來的發(fā)展方向。第七章對全文進行了總結(jié)。1.4 本章小結(jié)本章主要介紹了現(xiàn)階段國內(nèi)外商業(yè)銀行數(shù)據(jù)倉庫發(fā)展的現(xiàn)狀及重要性，以及國內(nèi)外商業(yè)銀行數(shù)據(jù)倉庫的對比，分析數(shù)據(jù)倉庫數(shù)據(jù)下載開發(fā)面臨的通用問題，探討如何采用統(tǒng)一規(guī)范、可配置和參數(shù)化方法等構(gòu)造商業(yè)銀行數(shù)據(jù)倉庫數(shù)據(jù)下載開發(fā)與運行平臺。實現(xiàn)數(shù)據(jù)下載的規(guī)范化、組件化、配置化等功能，能夠加快商業(yè)銀行數(shù)據(jù)倉庫下載平臺的開發(fā)，滿足商業(yè)銀行數(shù)據(jù)倉庫建設(shè)的發(fā)展需求，增強商業(yè)銀行在同業(yè)中的競爭力，另外，我們還列出了本文的主要研究內(nèi)容

27、，研究目標以及文章的組織結(jié)構(gòu)。第2章 元數(shù)據(jù)、數(shù)據(jù)倉庫的概念及對銀行業(yè)的作用2.1 元數(shù)據(jù)的概念元數(shù)據(jù)是關(guān)于數(shù)據(jù)的組織、數(shù)據(jù)域及其關(guān)系的信息，簡言之，元數(shù)據(jù)就是數(shù)據(jù)的數(shù)據(jù)。商業(yè)銀行數(shù)據(jù)倉庫中的元數(shù)據(jù)是關(guān)于銀行的業(yè)務(wù)數(shù)據(jù)和技術(shù)數(shù)據(jù)的數(shù)據(jù)，用以描述商業(yè)銀行數(shù)據(jù)倉庫的主題信息、邏輯和物理數(shù)據(jù)模型、非結(jié)構(gòu)化信息、外部數(shù)據(jù)源、數(shù)據(jù)的粒度與分割定義、數(shù)據(jù)及質(zhì)量的管理方法以及其他數(shù)據(jù)信息。2.2 元數(shù)據(jù)的特點（1）元數(shù)據(jù)是關(guān)于數(shù)據(jù)結(jié)構(gòu)化的數(shù)據(jù)，這些數(shù)據(jù)不一定是數(shù)字的形式，可能來自不同的數(shù)據(jù)源。（2）元數(shù)據(jù)是與對象有關(guān)的數(shù)據(jù)，這些數(shù)據(jù)可以使它潛在的用戶無須先具備對這些對象存在及其特征的完整認識。（3）元數(shù)據(jù)不

28、僅對信息本身進行描述，還可以描述資源的使用情況、管理、加工和使用等方面的情況。（4）元數(shù)據(jù)通常定義中的“數(shù)據(jù)”是表示事物性質(zhì)的符號，是進行各類統(tǒng)計、運算、研究、設(shè)計所依賴的數(shù)值，或者指公式化、數(shù)字化、圖標化的信息。2.3 元數(shù)據(jù)對商業(yè)銀行的作用商業(yè)銀行元數(shù)據(jù)能夠有效幫助業(yè)務(wù)人員與技術(shù)人員理解、監(jiān)控、管理數(shù)據(jù)源、轉(zhuǎn)換規(guī)則、數(shù)據(jù)變更等信息，進而提高工作效率，保證銀行各項工作順利開展，其作用主要體現(xiàn)在以下幾個方面：（1）統(tǒng)一的元數(shù)據(jù)規(guī)范能夠顯著提高信息技術(shù)人員與數(shù)據(jù)分析人員對數(shù)據(jù)進行分析、挖掘的效率。（2）元數(shù)據(jù)能夠支持系統(tǒng)對數(shù)據(jù)進行管理和維護，如關(guān)于數(shù)據(jù)項生成方法的元數(shù)據(jù)能夠支持系統(tǒng)以最低資源占用

29、的方式訪問數(shù)據(jù)。（3）元數(shù)據(jù)是數(shù)據(jù)倉庫最基本的描述，包括設(shè)計模式、視圖、層次結(jié)構(gòu)等核心要素信息。2.4 數(shù)據(jù)倉庫的概念目前，數(shù)據(jù)倉庫一詞尚沒有一個統(tǒng)一的定義，著名的數(shù)據(jù)倉庫專家w.h.inmon在其著作building the data warehouse一書中給予如下描述：數(shù)據(jù)倉庫（data warehouse）是一個面向主題的（subject oriented）、集成的（integrate）、相對穩(wěn)定的（non-volatile）、反映歷史變化（time variant）的數(shù)據(jù)集合，用于支持管理決策1。對于數(shù)據(jù)倉庫的概念我們可以從兩個層次予以理解，首先，數(shù)據(jù)倉庫用于支持決策，面向分析型數(shù)據(jù)

30、處理，它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫；其次，數(shù)據(jù)倉庫是對多個異構(gòu)的數(shù)據(jù)源有效集成，集成后按照主題進行了重組，并包含歷史數(shù)據(jù)，而且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改2。數(shù)據(jù)倉庫系統(tǒng)的實施不同于傳統(tǒng)的信息系統(tǒng)，它是萃取原始數(shù)據(jù)轉(zhuǎn)換成決策信息，進而衍生企業(yè)智慧的一段旅程。數(shù)據(jù)倉庫的價值體現(xiàn)在深度運用中，用于持續(xù)改善的過程，而非一個短暫的項目。2.5 數(shù)據(jù)倉庫的特點1、面向主題操作型數(shù)據(jù)庫的數(shù)據(jù)組織面向事務(wù)處理任務(wù)，各個業(yè)務(wù)系統(tǒng)之間各自分離，而數(shù)據(jù)倉庫中的數(shù)據(jù)是按照一定的主題域進行組織的。2、集成的數(shù)據(jù)倉庫中的數(shù)據(jù)是在對原有分散的數(shù)據(jù)庫數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過系統(tǒng)加工、匯總和整理得到的，必須消除原始

31、數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個企業(yè)的一致的全局信息。3、相對穩(wěn)定的數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一旦某個數(shù)據(jù)進入數(shù)據(jù)倉庫以后，一般情況下將被長期保留，也就是數(shù)據(jù)倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。4、反映歷史變化數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過去某一時點(如開始應(yīng)用數(shù)據(jù)倉庫的時點)到目前的各個階段的信息，通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預(yù)測3。2.6 數(shù)據(jù)倉庫對銀行業(yè)務(wù)的支撐美國著名的信息工程學(xué)家w.h.inmon曾說，數(shù)據(jù)倉庫是一個環(huán)境，而不是一

32、件產(chǎn)品。對于環(huán)境的建設(shè)和完善，自然不是一朝一夕的事。1992年，有著300年歷史的英國巴克萊銀行（隸屬巴克萊集團，從事銀行金融服務(wù)已經(jīng)有超過300年歷史，目前是英國第二大銀行，員工約75000人，在全球70多個國家設(shè)有分支機構(gòu)，除向全球客戶提供對零售和對公的銀行服務(wù)外，還提供投資和資產(chǎn)管理的專家服務(wù)。在英國，巴克萊設(shè)有約2000個分支機構(gòu)，其個人客戶超過1000萬，信用卡發(fā)卡量930萬張，是歐洲最大的信用卡發(fā)卡行）出現(xiàn)首度的財政虧損。由于英國經(jīng)濟低迷，到期的大量信貸遭到損失。巴克萊的管理者急于尋找一種改變這種境遇的方法，希望能夠更準確地預(yù)測每一筆貸款的違約風(fēng)險，并且使其資產(chǎn)組合盡可能多樣化，以

33、最大程度地減少市場震蕩所帶來的影響。為了實現(xiàn)這樣的目標，巴克萊的管理人員認為，需要收集盡可能多的客戶信息，通過分析貸款客戶過去的歷史數(shù)據(jù)來預(yù)測其未來的行為，以更準備地了解其償還貸款的可能性，并及早采取相應(yīng)的措施。1993年4月，在考察了路透社、英國航空公司等企業(yè)使用數(shù)據(jù)倉庫技術(shù)的情況后，巴克萊銀行決定給予ncr teradata來建立其信息倉庫平臺biw（barclays information warehouse）。目前向biw提供數(shù)據(jù)的業(yè)務(wù)系統(tǒng)約100個，基本涵蓋了巴克萊銀行現(xiàn)有的各個業(yè)務(wù)系統(tǒng)。數(shù)據(jù)倉庫中的數(shù)據(jù)實體約為24000個，每個月刷新的數(shù)據(jù)量約為1300gb，每月的使用統(tǒng)計：業(yè)務(wù)查

34、詢與分析任務(wù)：554,800（平均每天18,500個業(yè)務(wù)查詢?nèi)蝿?wù)）數(shù)據(jù)插入任務(wù)：490,200數(shù)據(jù)更新任務(wù)：74,700數(shù)據(jù)闡述任務(wù)：22,200從業(yè)務(wù)功能角度來看，巴克萊銀行數(shù)據(jù)倉庫的業(yè)務(wù)應(yīng)用可以概括為以下兩個主要方面?；竟δ埽簡我坏目蛻粜畔⒁晥D；整合來自多個操作數(shù)據(jù)源的數(shù)據(jù)；保存歷史信息，可以對不同時間段的數(shù)據(jù)進行比較；形成一致的信息視圖，可以真實地了解每個客戶、每個客戶分組、每個客戶經(jīng)理、每種產(chǎn)品、每個機構(gòu)等的特性和利潤貢獻；跟蹤并分析每個市場細分；數(shù)據(jù)挖掘；使業(yè)務(wù)人員對他們客戶的行為了解更為透徹。高級功能：客戶管理、產(chǎn)品管理、銷售管理、市場細分、信用風(fēng)險分析。巴克萊銀行在過去三年中，

35、貸款年增長約20%，而貸款壞賬核銷則從0.7%下降為0.15%。通過實施有針對性的事件行銷，成功率達24%。2002年比2001年增加股東價值2700萬英鎊。巴克萊銀行首席信息官david weymouth表示：將現(xiàn)有的、分散的數(shù)據(jù)倉庫平臺集中起來幫助我們大幅降低運營成本。此外，透過業(yè)務(wù)運營和客戶數(shù)據(jù)的統(tǒng)一視圖，銀行各業(yè)務(wù)部門將充分享有信息增值帶來的優(yōu)勢，進而協(xié)助企業(yè)做出更全面、更迅速的決策4。臨淵羨魚，不如退而結(jié)網(wǎng)。我國各大商業(yè)銀行應(yīng)盡快開始規(guī)劃并實施企業(yè)級數(shù)據(jù)倉庫，以應(yīng)對中國加入wto后所面臨的各種挑戰(zhàn)。在國內(nèi)，數(shù)據(jù)倉庫應(yīng)用領(lǐng)域處于領(lǐng)先地位的先進銀行，經(jīng)歷了20多年的建設(shè)和積累，總結(jié)提煉了

36、一套數(shù)據(jù)倉庫業(yè)務(wù)應(yīng)用框架，包括客戶關(guān)系管理、財務(wù)管理、績效管理、風(fēng)險管理、信息管理5大領(lǐng)域的近30多種應(yīng)用。客戶關(guān)系管理：客戶細分、客戶獲取、客戶挽留、客戶凈值提高、目標市場營銷、交叉銷售/向上銷售、營銷活動管理等。財務(wù)管理：監(jiān)管報表/信息披露、總賬分析、財務(wù)盈利分析、財務(wù)預(yù)算與計劃、預(yù)測與情景分析、動態(tài)財務(wù)報告等?？冃Ч芾恚寒a(chǎn)品、解構(gòu)（部門）績效考核、渠道績效考核、員工（客戶經(jīng)理）績效考核、業(yè)務(wù)量考核等。風(fēng)險管理：合規(guī)與披露、信用風(fēng)險管理、市場風(fēng)險管理、操作風(fēng)險管理、全面風(fēng)險管理、流動性管理、利率管理、資本管理、反欺詐與反洗錢等。信息管理：企業(yè)數(shù)據(jù)整合、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)有效期管

37、理、數(shù)據(jù)安全管理、數(shù)據(jù)模型管理等。國內(nèi)商業(yè)銀行經(jīng)過幾年的開發(fā)，也積累了一系列客戶關(guān)系、風(fēng)險、績效等分析型數(shù)據(jù)倉庫應(yīng)用。如何在數(shù)據(jù)倉庫投產(chǎn)后，借鑒國外先進銀行的經(jīng)驗，結(jié)合國內(nèi)商業(yè)銀行業(yè)務(wù)發(fā)展策略和應(yīng)用現(xiàn)狀推進數(shù)據(jù)倉庫的建設(shè)，也是面臨的重大挑戰(zhàn)。2.7 數(shù)據(jù)倉庫的應(yīng)用與優(yōu)勢數(shù)據(jù)倉庫在銀行的應(yīng)用范圍包括存款分析、貸款分析、客戶市場分析、相關(guān)金融業(yè)分析決策（證券、外匯買賣）、風(fēng)險預(yù)測、效益分析等。數(shù)據(jù)倉庫的最大優(yōu)點在于它能把企業(yè)網(wǎng)絡(luò)中不同信息島上的商業(yè)數(shù)據(jù)集中到一起，存儲在一個單一的集成的數(shù)據(jù)庫中，并提供各種手段對數(shù)據(jù)進行統(tǒng)計、分析、并且允許企業(yè)的各個部門共享數(shù)據(jù)，為企業(yè)更快、更好地做出商業(yè)決策提供更

38、加準確、完整的信息。數(shù)據(jù)倉庫可以在競爭力、客戶、風(fēng)險、利潤、組織機構(gòu)等幾個方面對銀行產(chǎn)生影響，例如：銀行可以根據(jù)數(shù)據(jù)倉庫中的信息做出決策，響應(yīng)日益嚴峻的競爭，不斷使用新的技術(shù)，使業(yè)務(wù)和產(chǎn)品的革新進一步全球化。銀行可以利用數(shù)據(jù)倉庫支持和把握以下業(yè)務(wù)：傳統(tǒng)業(yè)務(wù)的發(fā)展趨勢；產(chǎn)品之間的差距和機會；銀行業(yè)務(wù)行為和績效；銀行的經(jīng)營目標；交叉銷售的機會；市場細分；交易渠道使用情況；競爭對手的產(chǎn)品；合理的價格。一旦數(shù)據(jù)倉庫中的信息按照上述方式進行組織，銀行就可以通過以下機會獲得業(yè)務(wù)優(yōu)勢：市場促銷、產(chǎn)品客戶化、產(chǎn)品包裝、銀行業(yè)務(wù)評估、績效跟蹤、交叉銷售、風(fēng)險管理、渠道使用情況、設(shè)定優(yōu)惠價格、競爭對手聯(lián)盟、客戶份

39、額預(yù)估、費用預(yù)先確定。數(shù)據(jù)倉庫系統(tǒng)的業(yè)務(wù)價值有：表2.1 數(shù)據(jù)倉庫系統(tǒng)的業(yè)務(wù)價值業(yè)務(wù)領(lǐng)域應(yīng)用功能涉及方面客戶關(guān)系管理客戶細分、客戶獲取、客戶挽留、客戶凈值提高、目標市場營銷、交叉銷售/向上銷售、營銷活動管理個人金融業(yè)務(wù)、銀行卡業(yè)務(wù)、信貸管理業(yè)務(wù)、結(jié)算與現(xiàn)金管理業(yè)務(wù)、公司業(yè)務(wù)、機構(gòu)銷售業(yè)務(wù)、電子銀行業(yè)務(wù)、管理信息業(yè)務(wù)財務(wù)管理監(jiān)管報表/信息披露、總賬分析、財務(wù)盈利分析、財務(wù)預(yù)算與計劃、預(yù)測與情景分析、動態(tài)財務(wù)報告財務(wù)會計業(yè)務(wù)、管理信息業(yè)務(wù)續(xù)表 2.1 數(shù)據(jù)倉庫系統(tǒng)的業(yè)務(wù)價值績效管理產(chǎn)品、機構(gòu)（部門）績效考核、渠道績效考核、員工（客戶經(jīng)理）績效考核、業(yè)務(wù)量考核財務(wù)會計業(yè)務(wù)、人力資源業(yè)務(wù)、個人金融業(yè)務(wù)

40、、銀行卡業(yè)務(wù)、結(jié)算與現(xiàn)金管理業(yè)務(wù)、信貸管理業(yè)務(wù)、電子銀行業(yè)務(wù)風(fēng)險管理合規(guī)與披露、信用風(fēng)險管理、市場風(fēng)險管理、操作風(fēng)險管理、全面風(fēng)險管理、流動性管理、利率管理、資本管理、反欺詐與反洗錢風(fēng)險管理業(yè)務(wù)、金融市場業(yè)務(wù)、運行管理業(yè)務(wù)、資產(chǎn)負債管理業(yè)務(wù)、內(nèi)部審計業(yè)務(wù)、內(nèi)控合規(guī)業(yè)務(wù)、管理信息業(yè)務(wù)、信貸管理業(yè)務(wù)、個人金融業(yè)務(wù)、銀行卡業(yè)務(wù)、結(jié)算與現(xiàn)金管理業(yè)務(wù)、電子銀行業(yè)務(wù)信息管理企業(yè)數(shù)據(jù)整合、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)有效期管理、數(shù)據(jù)安全管理、數(shù)據(jù)模型管理管理信息業(yè)務(wù)、信息科技業(yè)務(wù)另外，數(shù)據(jù)倉庫支持下述方面的大量應(yīng)用：表2.2 數(shù)據(jù)倉庫支持的應(yīng)用資產(chǎn)負債管理電子銀行人力資源信用卡財務(wù)會計私人銀行風(fēng)險管理gc

41、ib房地產(chǎn)銀行企業(yè)銀行全球資金服務(wù)中小企業(yè)資金市場營銷電話銀行以針對高端客戶提供服務(wù)的私人銀行業(yè)務(wù)，主要的應(yīng)用有：客戶細分：1、建立客戶的單一視圖2、精確計算客戶利潤貢獻度3、對不同類型的客戶實施不同的服務(wù)策略產(chǎn)品/渠道喜好：1、提供合適的產(chǎn)品給客戶，提高其利潤貢獻2、計算，跟蹤市場營銷活動的成本3、縮短營銷活動的周期客戶保留：1、有效識別值得重點營銷的客戶2、保留現(xiàn)有的高利潤客戶3、改善不同業(yè)務(wù)領(lǐng)域客戶的流失率產(chǎn)品購買傾向：1、了解客戶的消費購買特征2、為不同產(chǎn)品尋找相應(yīng)的目標客戶群3、準備分析、定位客戶將來可能購買的產(chǎn)品以美國某銀行為例：該銀行在推銷信用卡時，在數(shù)據(jù)倉庫中找出了25萬個經(jīng)常

42、有信用卡消費、收入穩(wěn)定、信用度較好但又沒有使用信用卡的客戶，向他們寄去已經(jīng)填好的信用卡申請表格，并承諾給予一定的優(yōu)惠，客戶只需簽名即可申請到信用卡，結(jié)果這次促銷活動的回應(yīng)率達30%，經(jīng)后評估發(fā)現(xiàn)該家銀行由此獲到了6萬個高貢獻度的信用卡客戶5。通過使用數(shù)據(jù)倉庫，使得該銀行在第一年的成本節(jié)約大概八千五百萬美元，第一年的投資不超過四千三百萬美元，年度維護成本節(jié)約了一千一百萬至一千四百萬美元。在風(fēng)險管理方面的主要應(yīng)用：1、數(shù)據(jù)倉庫能提供10年的明細歷史數(shù)據(jù)，供后續(xù)分析2、每個月對八萬位公司客戶進行評分3、使用賬戶級的利潤貢獻度分析來管理和定價4、設(shè)計、實施信用評分卡，輔以各種分析來為信用風(fēng)險的監(jiān)控政策

43、，避險等提供決策支持5、符合監(jiān)管要求的反欺詐監(jiān)控和識別6、幫助建立、監(jiān)控和改進信貸政策，改善信用風(fēng)險管理7、風(fēng)險管理的最終“產(chǎn)品”是為銀行創(chuàng)造出高質(zhì)量的現(xiàn)金流2.8 本章小結(jié)本章主要介紹了數(shù)據(jù)倉庫的相關(guān)概念、特點，以及商業(yè)銀行使用數(shù)據(jù)倉庫所帶來的好處，著重介紹了英國巴克萊銀行數(shù)據(jù)庫建設(shè)和使用數(shù)據(jù)倉庫，以及后者帶來的經(jīng)濟效益。數(shù)據(jù)倉庫最大的貢獻是不僅僅作為一個單純的報表系統(tǒng)，它允許業(yè)務(wù)用戶直接進行動態(tài)分析和信息訪問，以真正起到?jīng)Q策支持的作用。數(shù)據(jù)倉庫可以將現(xiàn)有的、分散的數(shù)據(jù)孤島集中起來并大幅度降低運營成本6。此外，透過業(yè)務(wù)運營和客戶數(shù)據(jù)的統(tǒng)一視圖，銀行各業(yè)務(wù)部門將充分享有信息增值帶來的優(yōu)勢。巴克

44、萊銀行將數(shù)據(jù)統(tǒng)一到倉庫中，已成為歐洲很多金融機構(gòu)的普遍做法。第3章 國內(nèi)商業(yè)銀行數(shù)據(jù)倉庫3.1 發(fā)展階段與目標隨著查詢復(fù)雜度、負載復(fù)雜度，以及銀行數(shù)據(jù)復(fù)雜度的不斷增長，數(shù)據(jù)倉庫應(yīng)用至目前共經(jīng)歷了五個發(fā)展階段7。圖 3.1 數(shù)據(jù)倉庫的發(fā)展階段1、2000年底開始著手啟動全行數(shù)據(jù)倉庫體系的建設(shè)。目前已經(jīng)構(gòu)建了客戶分析（pcrm、ccrm）、業(yè)績考核（pvms，pasn）、風(fēng)險管理（風(fēng)險監(jiān)控、反洗錢、內(nèi)部評級法、內(nèi)部審計）、資產(chǎn)負債管理（利率風(fēng)險）、統(tǒng)計報表（cs2002）等分析型應(yīng)用，并正在發(fā)揮著重要的業(yè)務(wù)作用；2、目前已立項，正在規(guī)劃或建設(shè)的分析型應(yīng)用有：統(tǒng)計報表指標庫、資本管理、市場風(fēng)險、內(nèi)控

45、合規(guī)等操作風(fēng)險；3、2004年9月05年1月：數(shù)據(jù)倉庫邏輯數(shù)據(jù)模型客戶化建設(shè)項目；4、2005年5月12月：數(shù)據(jù)倉庫物理平臺選型測試項目；5、2006年4月07年2月：商務(wù)采購和招標；6、2007年4月：啟動了數(shù)據(jù)倉庫物理實施一期項目。從功能架構(gòu)及技術(shù)特征上看，數(shù)據(jù)集市主要具有報表、分析等功能，基本滿足業(yè)務(wù)用戶考察業(yè)務(wù)上“發(fā)生了什么”、“為什么發(fā)生”的需要，處于業(yè)界數(shù)據(jù)倉庫發(fā)展的第二向第三階段的過渡階段?，F(xiàn)階段數(shù)據(jù)倉庫應(yīng)用的不足：1、數(shù)據(jù)集市之間存在一定程度的數(shù)據(jù)重復(fù)下載、重復(fù)加工和冗余存儲；2、數(shù)據(jù)集市之間的加工規(guī)則和流程不同，容易產(chǎn)生結(jié)果的不一致；3、數(shù)據(jù)集市各自獨立，信息集中共享程度較低

46、，不能滿足跨系統(tǒng)、跨產(chǎn)品的關(guān)聯(lián)性、綜合性分析；4、數(shù)據(jù)交換平臺不保留歷史數(shù)據(jù)，難以實現(xiàn)歷史數(shù)據(jù)加工，以及出現(xiàn)差錯難以追溯補救；5、缺乏完整規(guī)范的數(shù)據(jù)質(zhì)量檢查、監(jiān)控機制，數(shù)據(jù)質(zhì)量難以保證；6、數(shù)據(jù)集市的數(shù)據(jù)范圍、存放周期和詳盡粒度存在局限，難以支持應(yīng)用的擴展要求；7、前臺業(yè)務(wù)系統(tǒng)有變化，相關(guān)的集市都要進行維護；8、各個集市的設(shè)備資源較難共享利用，加大維護管理成本；9、集市平臺處理能力有限，無法支撐海量數(shù)據(jù)存儲和處理；10、集市之間的數(shù)據(jù)交互日趨密切和復(fù)雜解決以上問題的關(guān)鍵：建立集中式數(shù)據(jù)倉庫系統(tǒng)。最終目標：1、面向銀行業(yè)務(wù)主題、按照數(shù)據(jù)倉庫邏輯模型的結(jié)構(gòu)來組織數(shù)據(jù)，涵蓋銀行的主要業(yè)務(wù)范圍和相關(guān)數(shù)

47、據(jù)；2、搭建全行統(tǒng)一的業(yè)務(wù)信息視圖和數(shù)據(jù)平臺，提供對數(shù)據(jù)的一致理解，體現(xiàn)各種業(yè)務(wù)規(guī)則，實現(xiàn)跨區(qū)域、跨部門、跨產(chǎn)品的綜合性分析；平臺具有海量數(shù)據(jù)處理能力，能滿足日益增長的企業(yè)級分析型應(yīng)用需求。數(shù)據(jù)倉庫建設(shè)規(guī)劃如圖：圖 3.2 數(shù)據(jù)倉庫建設(shè)規(guī)劃3.2 數(shù)據(jù)倉庫建設(shè)規(guī)劃和集市整合綜上所述，數(shù)據(jù)倉庫建設(shè)的關(guān)鍵為：邏輯模型和物理平臺數(shù)據(jù)倉庫的發(fā)展階段如圖：圖 3.3 數(shù)據(jù)倉庫的發(fā)展階段國際先進銀行的數(shù)據(jù)倉庫系統(tǒng)實踐表明，實現(xiàn)需求主要有以下三種主要的應(yīng)用模式：靈活分析、數(shù)據(jù)挖掘（如：評分系統(tǒng)）和應(yīng)用開發(fā)8。應(yīng)用系統(tǒng)的開發(fā)離不開需求的成熟和穩(wěn)定，只有通過大量的靈活查詢和數(shù)據(jù)挖掘的應(yīng)用，才能形成成熟穩(wěn)定的應(yīng)用

48、需求；反之，應(yīng)用系統(tǒng)在業(yè)務(wù)中的大量使用，又會促進分析人員更加深入、有效的分析探索數(shù)據(jù)9。圖 3.4 三種應(yīng)用模式1、靈活分析：具有it和業(yè)務(wù)兩方面的知識和技能，能利用數(shù)據(jù)查詢工具進行任意的數(shù)據(jù)探索和查詢，以回答各種未預(yù)先定義的業(yè)務(wù)問題。2、數(shù)據(jù)挖掘：在靈活查詢的基礎(chǔ)上，對某些業(yè)務(wù)問題進行數(shù)據(jù)屬性層面的提煉和歸納，如典型的如“評分模型”、“違約模型”、“細分模型”等。3、應(yīng)用系統(tǒng) - 聯(lián)機或批量訪問數(shù)據(jù)倉庫的應(yīng)用系統(tǒng)，典型的應(yīng)用有營銷管理系統(tǒng)、利潤貢獻度模塊、反洗錢應(yīng)用、關(guān)鍵指標/平衡計分卡應(yīng)用。其中，數(shù)據(jù)倉庫體系組織架構(gòu)規(guī)劃如下：圖 3.5 數(shù)據(jù)倉庫體系組織架構(gòu)規(guī)劃組織架構(gòu)中職能崗位架構(gòu)規(guī)劃如

49、下：圖 3.6 組織架構(gòu)中職能崗位架構(gòu)規(guī)劃各職能崗位相應(yīng)的職能如下：表3.1 各職能崗位相應(yīng)的職能1、數(shù)據(jù)分析和業(yè)務(wù)探索，支持業(yè)務(wù)部門和監(jiān)管機構(gòu)的靈活和緊迫的數(shù)據(jù)需求；2、引導(dǎo)來自業(yè)務(wù)部門的需求，對需求進行整理、提煉，改善業(yè)務(wù)需求的質(zhì)量以提高應(yīng)用開發(fā)的效率和效益；3、對現(xiàn)有的報表進行整理和完善，逐步規(guī)范報表的開發(fā)、發(fā)布、維護；4、進行數(shù)據(jù)質(zhì)量檢查和追蹤，提出數(shù)據(jù)質(zhì)量改善的建議和方法；5、基于數(shù)據(jù)分析和業(yè)務(wù)探索的成果，形成業(yè)務(wù)分析報告，提供給各級決策人員作為決策輔助信息；6、為各部門、分行業(yè)務(wù)分析人員提供培訓(xùn)和應(yīng)用支持；數(shù)據(jù)倉庫體系應(yīng)用架構(gòu)規(guī)劃如下：圖 3.7 數(shù)據(jù)倉庫體系應(yīng)用架構(gòu)規(guī)劃1、數(shù)據(jù)源

50、從主機源系統(tǒng)以及開放平臺源系統(tǒng)獲取，上述源系統(tǒng)必須理清業(yè)務(wù)處理邏輯以及數(shù)據(jù)存儲方式；2、數(shù)據(jù)下載集成環(huán)境必須與上游源系統(tǒng)確定統(tǒng)一的數(shù)據(jù)傳輸格式，數(shù)據(jù)下載頻率，確保存儲在不同源系統(tǒng)中且有相互依賴管理的數(shù)據(jù)能夠在下載集成環(huán)境中成功匹配；3、通用文件傳輸平臺負責(zé)數(shù)據(jù)的接收上傳（分行數(shù)據(jù)經(jīng)過分行數(shù)據(jù)交換平臺傳入給總行交換平臺）、數(shù)據(jù)拆分（集中式應(yīng)用數(shù)據(jù)需要由數(shù)據(jù)交換平臺按地區(qū)對數(shù)據(jù)進行拆分工作，然后按地區(qū)對數(shù)據(jù)進行分發(fā)、傳輸工作）、分發(fā)（數(shù)據(jù)需要從某一個開發(fā)平臺應(yīng)用傳輸?shù)搅硪粋€開放平臺或多個平臺的應(yīng)用，但不需要數(shù)據(jù)交換平臺對數(shù)據(jù)進行拆分工作。數(shù)據(jù)交換平臺在數(shù)據(jù)傳輸?shù)倪^程中僅按照一定的規(guī)則，對數(shù)據(jù)進行分

51、發(fā)）3.3 數(shù)據(jù)倉庫體系的定位由于數(shù)據(jù)倉庫、數(shù)據(jù)集市、綜合統(tǒng)計、數(shù)據(jù)挖掘的定位不同，所以從邏輯層面或者應(yīng)用層面將它們分開，物理層面是否使用統(tǒng)一的技術(shù)平臺，以及是否整合集中部署，則要根據(jù)具體情況而定。主要有以下因素考慮：1、對于某些特定的處理和展現(xiàn)要求（比如數(shù)據(jù)挖掘、olap分析），由于需要特定的平臺環(huán)境，所以可能無法與數(shù)據(jù)倉庫共享統(tǒng)一技術(shù)平臺10；2、國內(nèi)商業(yè)銀行業(yè)務(wù)數(shù)據(jù)量龐大、用戶數(shù)目眾多、各種分析型應(yīng)用日漸增長，在數(shù)據(jù)倉庫設(shè)備配置一定的情況下，不能期望數(shù)據(jù)倉庫能夠完成所有的工作負荷，從性能上考慮應(yīng)該建立物理獨立的數(shù)據(jù)集市，而不與數(shù)據(jù)倉庫平臺環(huán)境整合部署11。數(shù)據(jù)倉庫定位：全行統(tǒng)一、共享的基

52、礎(chǔ)數(shù)據(jù)平臺；部署在全行的數(shù)據(jù)中心，屬于總行集中模式的分析型應(yīng)用。數(shù)據(jù)集市定位：面向特定應(yīng)用主題而建立；部署在數(shù)據(jù)中心，屬于總行集中模式的分析型應(yīng)用。綜合統(tǒng)計定位：全行的統(tǒng)計報表平臺；部署在總行數(shù)據(jù)中心和一級分行，屬于分布模式的分析型應(yīng)用。數(shù)據(jù)挖掘定位：為業(yè)務(wù)模型的挖掘、研制與訓(xùn)練平臺，而不能充當(dāng)簡單的查詢分析與報表定制平臺。部署在數(shù)據(jù)中心，屬于總行集中模式的分析型應(yīng)用系統(tǒng)12。3.4 數(shù)據(jù)倉庫體系的功能3.4.1 數(shù)據(jù)倉庫的功能1、存儲運算功能基礎(chǔ)數(shù)據(jù)區(qū)：采集源系統(tǒng)數(shù)據(jù)，經(jīng)過加載整理，按照銀行業(yè)務(wù)主題進行組織和存儲。特點為以數(shù)據(jù)為驅(qū)動；基礎(chǔ)、細節(jié)、歷史的數(shù)據(jù)。匯總數(shù)據(jù)區(qū)：對基礎(chǔ)數(shù)據(jù)進行加工處理

53、，生成中間的、通用的指標數(shù)據(jù)。特點為基于成熟應(yīng)用，但不針對特定應(yīng)用。2、數(shù)據(jù)支持功能為數(shù)據(jù)集市、數(shù)據(jù)挖掘、前臺操作型應(yīng)用、綜合統(tǒng)計提供接口數(shù)據(jù)。3、查詢分析功能數(shù)據(jù)倉庫為高級分析用戶提供查詢分析環(huán)境，通過bi工具進行較為靈活復(fù)雜的sql查詢，以及簡單的統(tǒng)計分析操作13。數(shù)據(jù)倉庫系統(tǒng)的功能限制：1、在目前數(shù)據(jù)下載和加載能力的限制下，數(shù)據(jù)倉庫的時效性設(shè)計為t2，只能實現(xiàn)時效性要求不高的加工處理，對于時效性要求高的需求，應(yīng)該在數(shù)據(jù)倉庫之外實現(xiàn)。2、數(shù)據(jù)倉庫以批量處理為主要處理模式；數(shù)據(jù)倉庫不提供用于數(shù)據(jù)查詢的聯(lián)機應(yīng)用接口（不含參數(shù)維護、元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)檢模塊）。3、數(shù)據(jù)倉庫非萬能；數(shù)據(jù)倉庫為輔助決

54、策提供分析依據(jù)和數(shù)據(jù)支持，必須與其他應(yīng)用系統(tǒng)有機銜接才能真正完成業(yè)務(wù)管理活動14。3.4.2 數(shù)據(jù)集市的功能1、存儲運算功能主要接收數(shù)據(jù)倉庫提供的接口數(shù)據(jù)，按照特定業(yè)務(wù)需求或應(yīng)用主題對數(shù)據(jù)進一步加工處理。2、數(shù)據(jù)支持功能為數(shù)據(jù)挖掘、前臺操作型應(yīng)用、綜合統(tǒng)計提供接口數(shù)據(jù)；對于由數(shù)據(jù)集市加工計算的某些通用指標，應(yīng)提供給數(shù)據(jù)倉庫存儲，以便諸多應(yīng)用系統(tǒng)共享使用。3、查詢分析和olap探索通過bi工具進行較為靈活復(fù)雜的sql查詢，以及簡單的統(tǒng)計分析操作；通過olap工具進行olap的靈活分析和模型探索。4、應(yīng)用程序接口面向用戶提供聯(lián)機應(yīng)用程序接口，主要用于聯(lián)機觸發(fā)風(fēng)險計量、情景模擬分析等15。3.4.3

55、 綜合統(tǒng)計的功能1、統(tǒng)計報表分類按照數(shù)據(jù)存儲和展現(xiàn)形式劃分為兩類：一類是關(guān)系型報表；另一類是多維報表（即olap報表）。2、數(shù)據(jù)組織存儲按照報表指標庫的需求，數(shù)據(jù)倉庫、數(shù)據(jù)集市及源系統(tǒng)（數(shù)據(jù)來源主要為數(shù)據(jù)倉庫和數(shù)據(jù)集市，但對于時效性要求高的需求，將直接來自源系統(tǒng)）加工生成指標數(shù)據(jù)，傳輸給cs2002形成報表指標庫進行存儲和管理，并進一步加工使用。3、報表定制和展現(xiàn)對于固定報表，系統(tǒng)預(yù)先生成結(jié)果數(shù)據(jù)，全行普通用戶進行查詢。對于自定義報表，總行和一級分行的高級用戶定制和發(fā)布報表模型，全行普通用戶進行查詢。（目前報表定制平臺項目正在進行自定義報表模式的嘗試）。對于多維報表，系統(tǒng)預(yù)先組織多維報表模型并加載多維數(shù)據(jù)庫（cube），全行普通用戶進行查詢。4、olap的使用限制總行高級用戶在數(shù)據(jù)集市內(nèi)對olap模型進行探索和研究，當(dāng)olap模型趨于成熟穩(wěn)定、維