中國民族證券數(shù)據(jù)中心自主建設項目介紹

1、中國民族證券數(shù)據(jù)中心自主建設項目介紹近年來，各家券商都認識到建設企業(yè)級數(shù)據(jù)中心的重要性，但是由于各家的技術(shù)力量、業(yè)務水平和目標定位差異很大，所以都普遍面臨著“為何建設數(shù)據(jù)中心” 、“如何定位數(shù)據(jù)中心”、“如何建設數(shù)據(jù)中心”等諸如此類的問題。在此，我們將把我們的經(jīng)驗和想法與大家分享。(1) 為何建設數(shù)據(jù)中心a.簡化信息系統(tǒng)架構(gòu)。數(shù)據(jù)中心建設后可以大大簡化各系統(tǒng)之間的關(guān)系，生產(chǎn)系統(tǒng)是數(shù)據(jù)的生產(chǎn)者，業(yè)務系統(tǒng)既是數(shù)據(jù)的生產(chǎn)者又是數(shù)據(jù)的消費者，而數(shù)據(jù)中心是物流中心和配送中心。b.減輕生產(chǎn)系統(tǒng)壓力。通過建設數(shù)據(jù)中心，可以將數(shù)據(jù)查詢、數(shù)據(jù)統(tǒng)計、數(shù)據(jù)分析、數(shù)據(jù)服務等功能與生產(chǎn)系統(tǒng)進行剝離，讓生產(chǎn)系統(tǒng)瘦身，從而

2、大大減輕生產(chǎn)系統(tǒng)的壓力。c.統(tǒng)一業(yè)務統(tǒng)計口徑。數(shù)據(jù)中心中存放的數(shù)據(jù)并不是簡單地把各業(yè)務系統(tǒng)數(shù)據(jù)進行集中存放，而是通過一套標準的業(yè)務定義規(guī)則、數(shù)據(jù)轉(zhuǎn)換規(guī)則和數(shù)據(jù)組織方式進行存儲。其目的就是在保證數(shù)據(jù)的原始性、完整性、連續(xù)性的同時達到數(shù)據(jù)處理過程中的業(yè)務統(tǒng)一性。d.提高業(yè)務創(chuàng)新能力。數(shù)據(jù)中心是數(shù)據(jù)加工廠，同時也是價值發(fā)現(xiàn)者，為業(yè)務分析和知識發(fā)現(xiàn)提供了一個平臺，從而能夠大大提高業(yè)務的創(chuàng)新能力。e.提升決策分析水平。數(shù)據(jù)中心的數(shù)據(jù)具有全面性、包容性和權(quán)威性，為數(shù)據(jù)深度挖掘提供了先決條件，也為決策分析提供了強有力的支持。(2) 如何定位數(shù)據(jù)中心a.數(shù)據(jù)加工廠。在保持業(yè)務數(shù)據(jù)原始性和完整性的基礎(chǔ)上，按一定

3、的業(yè)務規(guī)則、指標、粒度對數(shù)據(jù)進行加工處理。b.數(shù)據(jù)服務者。建設統(tǒng)一的數(shù)據(jù)服務平臺，為各個業(yè)務系統(tǒng)和數(shù)據(jù)消費者以一定服務形式提供所需數(shù)據(jù)。c.數(shù)據(jù)發(fā)布者。數(shù)據(jù)中心體現(xiàn)了數(shù)據(jù)的權(quán)威性，向外報送的數(shù)據(jù)可以以統(tǒng)一的口徑對外發(fā)布。d.業(yè)務發(fā)動機。數(shù)據(jù)中心的建設為創(chuàng)新業(yè)務的開拓奠定了堅實的基礎(chǔ)，有了數(shù)據(jù)中心的基礎(chǔ)，可以很方便很快速開發(fā)和實施一些增值服務系統(tǒng)。e.價值發(fā)現(xiàn)者。通過數(shù)據(jù)中心數(shù)據(jù)長期的積累，我們可以從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中提取隱含在其中的、事先不知道的但又是潛在有用的信息和知識。(3) 如何建設數(shù)據(jù)中心a.走自主開發(fā)建設道路。能夠貫徹落實屬于我們的業(yè)務，量身定做,快速響

4、應業(yè)務部門的需求，節(jié)約運行維護成本，推動業(yè)務創(chuàng)新。b.分步驟建設數(shù)據(jù)中心。數(shù)據(jù)中心是一個持續(xù)建設的項目，應根據(jù)現(xiàn)實和未來的需求分步驟來建設數(shù)據(jù)中心。c.構(gòu)建穩(wěn)定高效的平臺。面向海量數(shù)據(jù)，構(gòu)建一個穩(wěn)定高效的數(shù)據(jù)處理平臺和服務平臺是數(shù)據(jù)中心建設的核心。d. 建立科學的數(shù)據(jù)模型。根據(jù)證券行業(yè)業(yè)務的特點，結(jié)合科學的數(shù)據(jù)組織方式搭建企業(yè)數(shù)據(jù)倉庫，為今后數(shù)據(jù)統(tǒng)計、數(shù)據(jù)分析和數(shù)據(jù)挖掘打好基礎(chǔ)。e. 建立智能的信息平臺。針對數(shù)據(jù)中心存放的不同數(shù)據(jù)類型采用成熟的智能分析、統(tǒng)計、挖掘、推理等工具對數(shù)據(jù)（信息）進行深加工和處理，獲取有價值的信息。以上是我們對建設企業(yè)級數(shù)據(jù)中心的理解。在實施這個項目過程中，我們遵循自

5、我為主的原則，把技術(shù)和業(yè)務進行有效的融合，真正把數(shù)據(jù)中心建設成既高度自主可控又充分發(fā)揮效能的平臺。一、項目特點介紹1.項目核心價值(1) 自主開發(fā)，量身定制隨著行業(yè)新業(yè)務不斷推出和競爭越來越激烈，券商越來越迫切需要通過技術(shù)創(chuàng)新來提供差異化產(chǎn)品和差異化服務。由于證券交易類產(chǎn)品行業(yè)同質(zhì)化比較大，這類應用系統(tǒng)可以由專業(yè)開發(fā)商提供并實施。而諸如數(shù)據(jù)中心、CRM等業(yè)務管理系統(tǒng)個性化強，只有通過自主開發(fā)來真正實現(xiàn)量身定制。所以我公司從項目立項開始就提出要走自主建設的道路，這種模式的特點是隨著項目建設的不斷深入，量身定制的優(yōu)勢將越來越突現(xiàn)。(2) 貼近業(yè)務，快速響應項目之初，業(yè)務人員對數(shù)據(jù)中心到底能做什么還

6、是不太清楚，但隨著項目建設的深入以及業(yè)務人員參與度的提高，他們已經(jīng)越來越感受到數(shù)據(jù)中心建設的價值和其發(fā)揮的功效。在后續(xù)的建設過程中，由于“需求提出à軟件開發(fā)à數(shù)據(jù)服務à運行保障”整個鏈條都是自己掌控，數(shù)據(jù)中心越來越能貼近業(yè)務，真正實現(xiàn)了速響應業(yè)務的需要。例如，CRM中只要提出一些新的數(shù)據(jù)需求，數(shù)據(jù)中心就能夠很快很方便地提供這樣的服務。(3) 持續(xù)改進，助力創(chuàng)新由于始終堅持自主開發(fā)的基本原則，一方面，我們不但能夠?qū)?shù)據(jù)中心技術(shù)平臺進行持續(xù)的改進，同時也能夠根據(jù)業(yè)務的發(fā)展和需求的變化不斷完善業(yè)務模型和業(yè)務規(guī)則；另一方面，隨著研發(fā)的逐步深入，依靠自身的力量和先進的手段完

7、全能夠從豐富的數(shù)據(jù)中不斷發(fā)現(xiàn)新的價值，為業(yè)務創(chuàng)新提供強有力的支持。上面所述的持續(xù)改進和助力創(chuàng)新的參與者主要是公司內(nèi)部的技術(shù)人員和業(yè)務人員，通過數(shù)據(jù)中心產(chǎn)生的研發(fā)成果和業(yè)務創(chuàng)新不容易被復制，能夠成為一個企業(yè)核心競爭力的產(chǎn)品。(4) 拓展應用，制造產(chǎn)品自從有了數(shù)據(jù)中心，依托于數(shù)據(jù)中心拓展了多個業(yè)務應用系統(tǒng)，而且這種拓展速度較以前快得多。如公司的反洗錢系統(tǒng)和CRM系統(tǒng)，這兩個系統(tǒng)依托了數(shù)據(jù)中心強大的數(shù)據(jù)處理功能和數(shù)據(jù)服務功能在短期內(nèi)就達到了建設的目標。數(shù)據(jù)中心不僅是一種資源，同時還是數(shù)據(jù)加工廠、數(shù)據(jù)服務者、數(shù)據(jù)發(fā)布者、業(yè)務發(fā)動機和價值發(fā)現(xiàn)者。在這基礎(chǔ)上，能夠迅速把應用延伸到CRM、風控、經(jīng)紀業(yè)務管理

8、、呼叫中心、合規(guī)管理、門戶網(wǎng)站等應用系統(tǒng)中。證券行業(yè)正處于一個產(chǎn)業(yè)升級時期，金融工業(yè)化要求券商需要打造產(chǎn)品生產(chǎn)流水線的平臺。例如，隨著投顧業(yè)務的發(fā)展，可以利用數(shù)據(jù)中心平臺高速的計算能力和處理能力，通過建立業(yè)務模型，設計并生產(chǎn)出我們需要的投顧產(chǎn)品。這項工作正在進行中，預計年內(nèi)會通過平臺推出第一批數(shù)據(jù)產(chǎn)品。(5) 培養(yǎng)隊伍，持續(xù)建設通過自主開發(fā)的模式，我們就能夠建立自己的人員梯隊，并持續(xù)培養(yǎng)自己的業(yè)務專家和技術(shù)專家，為數(shù)據(jù)中心的持續(xù)化建設做好人力資源的保障。2.項目技術(shù)特點(1) 采用自主化建設模式自主化建設模式是項目開始就定下的原則，基于這個原則，從項目規(guī)劃、系統(tǒng)選型、項目實施到后續(xù)的系統(tǒng)運行依

9、靠自己的力量來完成，包括工具的選型、系統(tǒng)搭建、數(shù)據(jù)處理過程、數(shù)據(jù)服務過程、數(shù)據(jù)模型設計、商業(yè)智能應用、系統(tǒng)運維。數(shù)據(jù)中心幾乎涵蓋了公司所有應用系統(tǒng)的業(yè)務數(shù)據(jù)，也只有我們自己才能夠正確把握使用部門提出的需求和實現(xiàn)方法，在某種意義上，我們使用數(shù)據(jù)中心基礎(chǔ)平臺工具實現(xiàn)需求目標的能力要超出那些專業(yè)廠商。不僅如此，由于數(shù)據(jù)中心存儲著公司大量的重要數(shù)據(jù)資產(chǎn)和個性化、專業(yè)化計算模型，只有自主開發(fā)才能真正實現(xiàn)自主可控。雖然數(shù)據(jù)倉庫、ETL、BI等工具提供商專業(yè)性要勝于我們，但是我們的優(yōu)勢是了解熟悉信息系統(tǒng)架構(gòu)和安全架構(gòu)，整合和合理利用資源的能力強，能夠避免信息化建設過程中產(chǎn)生不必要的資源浪費和冗余。(2) 采

10、用開放式主流技術(shù)采用開放式主流技術(shù)其優(yōu)勢和好處是不言而喻的，也只有采用開放式主流技術(shù)才能發(fā)揮自主開發(fā)的作用，進而保障所建數(shù)據(jù)中心的延續(xù)性和生命力。從上圖可以看出，我們選用的平臺（硬件、操作系統(tǒng)、數(shù)據(jù)庫、工具）都是些開放式的主流技術(shù)平臺，完全可以自己掌握、自己運維。特別是選型過程中，我們在開放性、兼容性、可用性方面做了大量的測試，確保系統(tǒng)之間能夠無縫對接。(3) 采用高性能處理平臺我們選擇的數(shù)據(jù)倉庫平臺（EDW）、數(shù)據(jù)整合平臺（ETL）和商業(yè)智能工具（BI）都能支持高性能處理的要求。數(shù)據(jù)倉庫選用的是GreenPlum產(chǎn)品，它采用的是一種“海量數(shù)據(jù)并行處理（MPP）”技術(shù)，通過多節(jié)點并行處理機制完

11、成對海量數(shù)據(jù)的高速運算和處理，這在后續(xù)的系統(tǒng)運行過程中得以證明。數(shù)據(jù)整合工具采用的是IBM DataStage產(chǎn)品，它也是采用了并行擴展和并行處理的技術(shù)，可以根據(jù)處理數(shù)據(jù)量的大小方便地進行平行擴展，任務調(diào)度統(tǒng)一管理。商業(yè)智能工具采用的是IBM Cognos產(chǎn)品，它在商業(yè)智能應用方面一種很優(yōu)秀的工具，不僅處理效率高，而且自帶多維處理和多維分析功能。(4) 采用合適的數(shù)據(jù)模型在數(shù)據(jù)倉庫建設過程中，以往大家都為怎樣組織數(shù)據(jù)發(fā)愁，數(shù)據(jù)組織得好壞將直接影響后續(xù)平臺的運算效率、數(shù)據(jù)一致性、統(tǒng)計正確性、業(yè)務擴展能力等。在項目實施過程中，我們首先借鑒金融行業(yè)普適用的金融數(shù)據(jù)模型，在這基礎(chǔ)上結(jié)合證券業(yè)務的特點重

12、新梳理這個模型，并進行了改進。當然，隨著業(yè)務的不斷發(fā)展和變化，這個模型需要不斷豐富和優(yōu)化。(5) 注重數(shù)據(jù)質(zhì)量的管控數(shù)據(jù)中心是數(shù)據(jù)加工廠、數(shù)據(jù)服務者、數(shù)據(jù)發(fā)布者、業(yè)務發(fā)動機和價值發(fā)現(xiàn)者，如果數(shù)據(jù)質(zhì)量出現(xiàn)問題，一切皆無從談起。所以，加強數(shù)據(jù)質(zhì)量的管理和保障數(shù)據(jù)處理的每個環(huán)節(jié)無誤才能真正樹立數(shù)據(jù)中心數(shù)據(jù)的權(quán)威性。在這方面，我們主要采用了技術(shù)元數(shù)據(jù)的管理、業(yè)務源數(shù)據(jù)業(yè)務規(guī)則監(jiān)控、數(shù)據(jù)處理監(jiān)控和核對等技術(shù)手段。(6) 充分發(fā)揮平臺服務效能數(shù)據(jù)中心最終是要把數(shù)據(jù)處理的結(jié)果服務給其他系統(tǒng)或數(shù)據(jù)消費者，所以提高數(shù)據(jù)中心的數(shù)據(jù)服務能力也是本項目的一大技術(shù)特點。數(shù)據(jù)中心的數(shù)據(jù)除了有大量的結(jié)構(gòu)化的數(shù)據(jù)外，還有大量

13、的如網(wǎng)頁、圖片、視頻等非結(jié)構(gòu)化的數(shù)據(jù)，所以提供的數(shù)據(jù)服務的技術(shù)手段和方式也是多樣的。數(shù)據(jù)服務方式，從調(diào)用方式可以是主動推送，也可以被動調(diào)用；從接口方式可以是接口表、協(xié)議接口和消息機制等。我們的思路是要建立統(tǒng)一的數(shù)據(jù)服務平臺，并以SOA的形式為數(shù)據(jù)消費者服務。目前數(shù)據(jù)服務平臺的功能還在不斷擴展和完善中。下圖是數(shù)據(jù)服務示意圖：業(yè)務及其他數(shù)據(jù)源實時數(shù)據(jù) (Oracle)數(shù)據(jù)倉庫 (EDW)數(shù)據(jù)集市 (EDM )操作數(shù)據(jù) (ODS)同步抽取抽取裝載轉(zhuǎn)換裝載轉(zhuǎn)換轉(zhuǎn)換抽取轉(zhuǎn)換分析、服務平臺調(diào)用調(diào)用推送調(diào)用業(yè)務系統(tǒng)調(diào)用二、項目創(chuàng)新點介紹我公司建設數(shù)據(jù)中心不同于以往的做法。早期，數(shù)據(jù)中心基本上是以風險控制系統(tǒng)

14、或其他業(yè)務系統(tǒng)為基礎(chǔ)慢慢發(fā)展演變成一個數(shù)據(jù)中心，而且大部分是由開發(fā)商開發(fā)和實施。從技術(shù)層面看，大部分使用傳統(tǒng)的事務型數(shù)據(jù)庫技術(shù)和數(shù)據(jù)處理、展示手段，很難滿足高效、靈活以及可擴展性的要求。我公司在建設數(shù)據(jù)中心的過程中，不僅實現(xiàn)了模式創(chuàng)新，同時在金融行業(yè)首次采用開放式海量數(shù)據(jù)平行處理（MPP）數(shù)據(jù)倉庫、元數(shù)據(jù)管理、快速開發(fā)平臺、數(shù)據(jù)處理流程化和智能化等先進技術(shù)和理念。1.行業(yè)內(nèi)首用開放式MPP技術(shù)架構(gòu)數(shù)據(jù)倉庫是數(shù)據(jù)中心的核心平臺，數(shù)據(jù)倉庫的效率直接影響數(shù)據(jù)中心的可用性，為此我們選用了GreenPlum產(chǎn)品。它采用了一種“海量數(shù)據(jù)并行處理（MPP）”技術(shù)，通過多節(jié)點并行處理機制完成對海量數(shù)據(jù)的高速運

15、算和處理。從系統(tǒng)架構(gòu)來看，目前的商用服務器大體可以分為三類，即對稱多處理器結(jié)構(gòu)(SMP：Symmetric Multi-Processor)、非一致存儲訪問結(jié)構(gòu)(NUMA：Non-Uniform Memory Access)、以及海量并行處理結(jié)構(gòu)(MPP：Massive Parallel Processing)。它們的特征分別描述如下：SMP服務器的主要特征是共享，系統(tǒng)中所有資源(CPU、內(nèi)存、I/O等)都是共享的。也正是由于這種特征，導致了SMP服務器的主要問題，那就是它的擴展能力非常有限。對于SMP服務器而言，每一個共享的環(huán)節(jié)都可能造成SMP服務器擴展時的瓶頸，而最受限制的則是內(nèi)存。NUM

16、A服務器的基本特征是具有多個CPU模塊，每個CPU模塊由多個CPU(如4個)組成，并且具有獨立的本地內(nèi)存、I/O槽口等。由于其節(jié)點之間可以通過互聯(lián)模塊(如稱為Crossbar Switch)進行連接和信息交互，因此每個CPU可以訪問整個系統(tǒng)的內(nèi)存(這是NUMA系統(tǒng)與MPP系統(tǒng)的重要差別)。但NUMA技術(shù)同樣有一定缺陷，由于訪問遠地內(nèi)存的延時遠遠超過本地內(nèi)存，因此當CPU數(shù)量增加時，系統(tǒng)性能無法線性增加。MPP提供了另外一種進行系統(tǒng)擴展的方式，它由多個SMP服務器通過一定的節(jié)點互聯(lián)網(wǎng)絡進行連接，協(xié)同工作，完成相同的任務，從用戶的角度來看是一個服務器系統(tǒng)。其基本特征是由多個SMP服務器(每個SMP

17、服務器稱節(jié)點)，通過節(jié)點互聯(lián)網(wǎng)絡連接而成，每個節(jié)點只訪問自己的本地資源(內(nèi)存、存儲等)，它是一種完全無共享(Share Nothing)結(jié)構(gòu)，因而擴展能力最好。市場上，基于MPP架構(gòu)的數(shù)據(jù)倉庫并不多見，NCR TeraData是一個使用較為廣泛而時間較長的數(shù)據(jù)倉庫產(chǎn)品。但是，其不但造價高，而且維護成本高，是一款較為封閉的系統(tǒng)，在電信、規(guī)模較大的商業(yè)銀行等大型企業(yè)使用較多，中小型企業(yè)很少使用。GreenPlum是一款基于開放技術(shù)的MPP架構(gòu)，經(jīng)過測試，其性能不亞于NCR TeraData產(chǎn)品。選型時，GreenPlum剛剛進入中國，國內(nèi)用戶寥寥無幾，在金融行業(yè)無案例。經(jīng)過近三個月的測試，我們認為

18、其性能、可用性、穩(wěn)定性、開放性和兼容性都達到了我們預期的目標，所以最終選擇了此產(chǎn)品。從還來的結(jié)果表明，我們的選擇是正確的，也為行業(yè)選擇合適的數(shù)據(jù)倉庫產(chǎn)品作出了一定的貢獻。我們是國內(nèi)第三家、金融行業(yè)首先使用該產(chǎn)品的企業(yè)，也為選擇一個低成本、高可用的MPP架構(gòu)數(shù)據(jù)倉庫產(chǎn)品起到了示范作用。2.行業(yè)內(nèi)較早使用金融業(yè)邏輯數(shù)據(jù)模型金融業(yè)邏輯數(shù)據(jù)模型（FS-LDM）是NCR多年來在全球?qū)嵤┙?30家金融業(yè)數(shù)據(jù)倉庫項目的經(jīng)驗結(jié)晶 。整個邏輯數(shù)據(jù)模型把復雜的金融業(yè)務歸納成團體、產(chǎn)品、賬戶、事件、渠道、組織、地理區(qū)域和行銷活動等八大主題。它蘊含了現(xiàn)代金融業(yè)的分析決策和客戶關(guān)系管理的各個方面?；贔S-LDM，我破

19、門根據(jù)所設定的目標和數(shù)據(jù)范圍，確定了需要建設的主題范圍，構(gòu)建LDM的原型框架。LDM原型框架決定數(shù)據(jù)倉庫的數(shù)據(jù)組織原則和基本形式，也決定了數(shù)據(jù)倉庫的應用范圍和應用模式。在建設過程中，我們還根據(jù)證券業(yè)務的特點對FS-LDM進行了改進和補充，使之適合證券業(yè)務的發(fā)展。三、行業(yè)推廣價值數(shù)據(jù)中心在行業(yè)內(nèi)雖不是一個新的概念，但許多行業(yè)機構(gòu)已經(jīng)、正在或即將建設屬于本企業(yè)的數(shù)據(jù)中心，如何建設一個靈活、高效、強壯、權(quán)威、安全、低成本易維護的數(shù)據(jù)中心一直困擾著大家。通過近兩年的探索和實踐，我公司在證券期貨行業(yè)乃至金融行業(yè)摸索出了一條可借鑒的建設道路，在行業(yè)具有一定的借鑒作用，主要表現(xiàn)在以下方面：(1) 建設成本低

20、。由于采用了開放式、低成本的MPP架構(gòu)數(shù)據(jù)倉庫（在金融行業(yè)第一個使用，在中國大陸第三個使用），光此項投資就為公司節(jié)省至少500萬元。與采用傳統(tǒng)的數(shù)據(jù)倉庫產(chǎn)品比較不僅投資少，而且性能卓越，擴展成本低，可維護性強。(2) 維護成本低。由于此項目完全是自主組織開發(fā)和實施，今后不需要第三方進行維護。按建設成本的百分之十計算，每年為公司節(jié)省至少幾十萬乃至上百萬的營運費用。(3) 擴展成本低。由于數(shù)據(jù)倉庫采用低端服務器和存儲設備搭建的平臺，今后需要提升性能時，只需要購置低廉的硬件和支付少量的許可證費用即可。(4) 性能優(yōu)勢大。由于采用了MPP處理機制，目前兩個節(jié)點的數(shù)據(jù)倉庫運算速度在同等記錄數(shù)（億級）和計算條件下要超過高性能小型機上Oracle 10g的運算速度。(5) 業(yè)務支持好。由于有了較好的數(shù)據(jù)組織規(guī)范、可擴展的數(shù)據(jù)倉庫模型以及靈活的數(shù)據(jù)集市，很容易實現(xiàn)數(shù)據(jù)統(tǒng)計、業(yè)務分析和深度的數(shù)據(jù)挖掘。(6) 應用開發(fā)快。通過Cognos工具和快速開發(fā)平臺，開發(fā)人員不需要編碼就能快速開發(fā)業(yè)務需要的功能。(7)