證券行業(yè)新一代大數(shù)據(jù)平臺(tái)建設(shè)方案

1、證券行業(yè)新一代大數(shù)據(jù)平臺(tái)建設(shè)方案技術(shù)創(chuàng)新，變革未來(lái)01Part One證券公司數(shù)據(jù)管理現(xiàn)狀與挑戰(zhàn)1、政策、監(jiān)管陸續(xù)對(duì)券商數(shù)據(jù)管理提出新的要求2016年12月：證券公司全面風(fēng)險(xiǎn)管理規(guī)范第三十二條：證券公司風(fēng)險(xiǎn)管理信息技術(shù)系統(tǒng)應(yīng)支持風(fēng)險(xiǎn)信息的搜集，完成識(shí)別、計(jì)量、評(píng)估、監(jiān)測(cè)和報(bào)告，覆蓋所有類(lèi)別的主要風(fēng)險(xiǎn)第三十三條：證券公司應(yīng)當(dāng)建立健全數(shù)據(jù)治理和質(zhì)量控制機(jī)制。積累真實(shí)、準(zhǔn)確、完整的內(nèi)部外部數(shù)據(jù)，用于風(fēng)險(xiǎn)識(shí)別、計(jì)量、評(píng)估、監(jiān)測(cè)和報(bào)告證券公司應(yīng)將數(shù)據(jù)治理納入公司整體信息技術(shù)建設(shè)戰(zhàn)略規(guī)劃，制定數(shù)據(jù)標(biāo)準(zhǔn)，涵蓋數(shù)據(jù)源管理、數(shù)據(jù)庫(kù)建設(shè)、數(shù)據(jù)質(zhì)量監(jiān)測(cè)等環(huán)節(jié)。2015年07月：關(guān)于運(yùn)用大數(shù)據(jù)加強(qiáng)對(duì)市場(chǎng)主體服務(wù)和監(jiān)管

2、的若干意見(jiàn)重點(diǎn)任務(wù)分工及進(jìn)度安排表：支持銀行、證券、信托、融資租賃、擔(dān)保、保險(xiǎn)等專(zhuān)業(yè)服務(wù)機(jī)構(gòu)和行業(yè)協(xié)會(huì)、商會(huì)運(yùn)用大數(shù)據(jù)為企業(yè)提供服務(wù)2016年12月：證券期貨投資者適當(dāng)性管理辦法第十三條經(jīng)營(yíng)機(jī)構(gòu)應(yīng)當(dāng)建立投資者評(píng)估數(shù)據(jù)庫(kù)并及時(shí)更新,充分使用已了解信息和已有評(píng)估結(jié)果,避免重復(fù) 采集,提高評(píng)估效率數(shù)據(jù)質(zhì)量管理數(shù)據(jù)標(biāo)準(zhǔn)管理元數(shù)據(jù)管理ETL工具ETL自動(dòng)化JOB封裝源系統(tǒng)數(shù)據(jù)質(zhì)量平臺(tái)應(yīng)用平臺(tái)消費(fèi)系統(tǒng)數(shù)據(jù)中心近實(shí)時(shí)數(shù)據(jù)交換多維分析靈活查詢(xún) 統(tǒng)一門(mén)戶(hù)儀表盤(pán)數(shù)據(jù)挖掘合規(guī)管理近實(shí)時(shí)應(yīng)用風(fēng)險(xiǎn)監(jiān)控KPI監(jiān)控ACRMOCRM中央監(jiān)控 反洗錢(qián)呼叫中心統(tǒng)一門(mén)戶(hù)數(shù) 據(jù) 交 換 平 臺(tái)管理調(diào)度平臺(tái)ODSEDWODMSDMFD

3、MADM數(shù)據(jù)存在于多源關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)集中交易 中， 數(shù)據(jù)整合以按需方數(shù)式接入數(shù)據(jù)據(jù)法人清算 中心， 梳理處數(shù)據(jù)源結(jié)構(gòu)理融資融券 過(guò)程很長(zhǎng)。加由于數(shù)據(jù)中工心不支持半股指期貨結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，行情數(shù)據(jù) 在數(shù)據(jù)源方面缺乏對(duì)于互聯(lián)網(wǎng)數(shù)據(jù)、第三方數(shù)據(jù)、影像、文檔、 等分析需求。2、當(dāng)前券商數(shù)據(jù)管理平臺(tái)架構(gòu)存在諸多問(wèn)題大數(shù)據(jù)量檢索執(zhí)行效率慢對(duì)大數(shù)據(jù)批量處理支持較差不支持非結(jié)構(gòu)化處理任務(wù)不支持非結(jié)構(gòu)化數(shù)據(jù)缺乏對(duì)外部數(shù)據(jù)整合能力對(duì)多租戶(hù)管理能力有限無(wú)法支持毫秒級(jí)實(shí)時(shí)性應(yīng)用缺乏較好的數(shù)據(jù)挖掘工具缺乏較好的數(shù)據(jù)管理工具3、缺乏科學(xué)的數(shù)據(jù)治理體系規(guī)劃標(biāo)準(zhǔn)規(guī)范開(kāi)發(fā)實(shí)施創(chuàng)建獲取維護(hù)使用存檔檢索清除規(guī)劃分析設(shè)計(jì)開(kāi)發(fā)

4、測(cè)試部署維護(hù)數(shù)據(jù) 架構(gòu)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量需求數(shù)據(jù)質(zhì)量監(jiān)控、評(píng)估、提升數(shù)據(jù)安全需求數(shù)據(jù)安全審計(jì)數(shù)據(jù)保留需求數(shù)據(jù)歸檔、備份與清除元數(shù)據(jù)管理問(wèn)題一：數(shù)據(jù)多頭管理，券商缺少專(zhuān)門(mén)對(duì)數(shù)據(jù)監(jiān)管與控制的組織問(wèn)題二：數(shù)據(jù)統(tǒng)計(jì)口徑、加工方法不一致，缺乏統(tǒng)一標(biāo)準(zhǔn)問(wèn)題三：數(shù)據(jù)分布零散，源數(shù)據(jù)分布于多個(gè)應(yīng)用系統(tǒng)中，部署與同步原則不一問(wèn)題四：缺少數(shù)據(jù)生命周期管理問(wèn)題五：數(shù)據(jù)挖掘與分析應(yīng)用差問(wèn)題六：數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全管理亟待提高02Part Three證券公司大數(shù)據(jù)平臺(tái)與應(yīng)用現(xiàn)狀量化分析客戶(hù)分析風(fēng)險(xiǎn)管理業(yè)務(wù)運(yùn)營(yíng)行情預(yù)測(cè)高頻交易客戶(hù)畫(huà)像精準(zhǔn)營(yíng)銷(xiāo)風(fēng)險(xiǎn)識(shí)別風(fēng)險(xiǎn)對(duì)策縮短交易 結(jié)算時(shí)間高效連接 前臺(tái)運(yùn)營(yíng)外部數(shù)據(jù) 預(yù)測(cè)內(nèi)部數(shù)據(jù) 預(yù)測(cè)平臺(tái)

5、建設(shè)數(shù)據(jù)倉(cāng)庫(kù)歷史數(shù)據(jù) 查詢(xún)數(shù)據(jù)采集數(shù)據(jù)處理數(shù)據(jù)科學(xué)數(shù)據(jù)應(yīng)用數(shù)據(jù)管理大數(shù)據(jù)技術(shù)科技驅(qū)動(dòng)業(yè)務(wù)創(chuàng)新，離不開(kāi)大數(shù)據(jù)技術(shù)的支撐業(yè)務(wù)運(yùn)營(yíng)客戶(hù)分析數(shù)據(jù)管理投資交易行情預(yù)測(cè)風(fēng)險(xiǎn)管理諸多業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)處理分發(fā)，需要從數(shù)據(jù)標(biāo)準(zhǔn)化、一致性、數(shù)據(jù)滿足應(yīng)用的程度來(lái)進(jìn)行數(shù)據(jù)統(tǒng)一管理，實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)、歷 史數(shù)據(jù)查詢(xún)、數(shù)據(jù)管理、數(shù)據(jù)分發(fā)等功能結(jié)合互聯(lián)網(wǎng)平臺(tái)或APP的客戶(hù)數(shù)據(jù)，進(jìn)行實(shí)時(shí)采 集、分析，實(shí)現(xiàn)用戶(hù)畫(huà)像、精準(zhǔn)營(yíng)銷(xiāo)推送、高 凈值客戶(hù)管理、智能投顧、基于地理位置的分 析；對(duì)于客戶(hù)的大數(shù)據(jù)畫(huà)像分析結(jié)果，也可應(yīng) 用于投顧團(tuán)隊(duì)和經(jīng)紀(jì)人團(tuán)隊(duì)，便于線下的展業(yè) 和業(yè)務(wù)開(kāi)展風(fēng)控的指標(biāo)管理、實(shí)時(shí)預(yù)警、合規(guī)管理、數(shù)據(jù)維 度一直是券商最依賴(lài)

6、于數(shù)據(jù)處理的部分，可結(jié)合 市場(chǎng)風(fēng)險(xiǎn)、信用風(fēng)險(xiǎn)、反洗錢(qián)、投資人適當(dāng)性管 理等應(yīng)用場(chǎng)景，在機(jī)器學(xué)習(xí)算法和風(fēng)險(xiǎn)模型上提 供解決方案通過(guò)大數(shù)據(jù)分析優(yōu)化運(yùn)營(yíng)管控，通過(guò)數(shù)據(jù)實(shí)現(xiàn)時(shí)效分析、自動(dòng)化產(chǎn)品生成，在資產(chǎn)管理和財(cái)富管理角度減少生 命周期管理中的冗余環(huán)節(jié)，同時(shí)評(píng)估 操作風(fēng)險(xiǎn)損失數(shù)據(jù)通過(guò)行情大數(shù)據(jù)結(jié)合輿情分析對(duì)企 業(yè)內(nèi)外部數(shù)據(jù)進(jìn)行分析比對(duì)，預(yù)測(cè) 資本市場(chǎng)與宏觀經(jīng)濟(jì)走勢(shì)，為券商 投研智庫(kù)提供參照依據(jù)通過(guò)大數(shù)據(jù)訓(xùn)練算法模型對(duì)量化投資、組合分 析進(jìn)行標(biāo)的選擇、投資風(fēng)控、相關(guān)性分析、多 因子選股提供參考和依據(jù)；通過(guò)市場(chǎng)數(shù)據(jù)實(shí)現(xiàn) 投資組合分析、智能化投資顧問(wèn)、市場(chǎng)交易回 放等證券公司大數(shù)據(jù)主要應(yīng)用方向排名券商數(shù)據(jù)平

7、臺(tái)主要應(yīng)用場(chǎng)景排名券商數(shù)據(jù)平臺(tái)主要應(yīng)用場(chǎng)景1中信證券混合式各類(lèi)分析/用戶(hù)畫(huà)像12安信證券混合式用戶(hù)畫(huà)像/精準(zhǔn)營(yíng)銷(xiāo)2海通證券混合式數(shù)據(jù)倉(cāng)庫(kù)13中泰證券混合式數(shù)據(jù)倉(cāng)庫(kù)3廣發(fā)證券混合式用戶(hù)畫(huà)像/精準(zhǔn)營(yíng)銷(xiāo)14光大證券混合式數(shù)據(jù)查詢(xún)/管理4國(guó)泰君安混合式用戶(hù)畫(huà)像/精準(zhǔn)營(yíng)銷(xiāo)15東北證券混合式數(shù)據(jù)倉(cāng)庫(kù)5華泰證券混合式畫(huà)像/營(yíng)銷(xiāo)/交易風(fēng)控16中投證券混合式6銀河證券混合式數(shù)據(jù)查詢(xún)/管理17平安證券混合式畫(huà)像/營(yíng)銷(xiāo)/資產(chǎn)配置7申萬(wàn)宏源混合式數(shù)據(jù)查詢(xún)/管理18國(guó)金證券混合式金融工程/流計(jì)算8招商證券混合式數(shù)據(jù)倉(cāng)庫(kù)36國(guó)開(kāi)證券Hadoop數(shù)據(jù)倉(cāng)庫(kù)/管理駕駛艙9國(guó)信證券混合式用戶(hù)畫(huà)像/精準(zhǔn)營(yíng)銷(xiāo)51上海證券混合式用戶(hù)畫(huà)

8、像/精準(zhǔn)營(yíng)銷(xiāo)10中信建投混合式用戶(hù)畫(huà)像/精準(zhǔn)營(yíng)銷(xiāo)55第一創(chuàng)業(yè)Hadoop數(shù)據(jù)倉(cāng)庫(kù)11東方證券混合式數(shù)據(jù)查詢(xún)/管理66財(cái)富證券混合式數(shù)據(jù)倉(cāng)庫(kù)國(guó)內(nèi)券商大數(shù)據(jù)平臺(tái)與應(yīng)用場(chǎng)景03Part Three大數(shù)據(jù)基礎(chǔ)平臺(tái)搭建基于單實(shí)例Oracle的數(shù)據(jù)中心問(wèn)題性能方面：數(shù)據(jù)加載耗時(shí)越來(lái)越長(zhǎng)，無(wú)法滿足目標(biāo)系統(tǒng)對(duì)數(shù)據(jù)的時(shí)效性要求；Oracle性能優(yōu)化無(wú)法逾越I/O瓶頸，不斷增加索引和分析也增加了系統(tǒng)在加載時(shí)的資源消耗， 同時(shí)增加了系統(tǒng)維護(hù)難度；性能瓶頸導(dǎo)致隨機(jī)查詢(xún)能力受限；平臺(tái)擴(kuò)展：1.不支持線性擴(kuò)展，使數(shù)據(jù)的存儲(chǔ)得到制約，擴(kuò)容需要花費(fèi)高成本以購(gòu)買(mǎi)大型設(shè)備，無(wú)法控制 數(shù)據(jù)增長(zhǎng)帶來(lái)的性能處理壓力；處理能力：只能處理

9、結(jié)構(gòu)化數(shù)據(jù)，無(wú)法滿足多樣化（半結(jié)構(gòu)、非結(jié)構(gòu)化）格式數(shù)據(jù)處理需求；部署大數(shù)據(jù)平臺(tái)數(shù)據(jù)整合大數(shù)據(jù)初步應(yīng)用大數(shù)據(jù)應(yīng)用大數(shù)據(jù)平臺(tái)擴(kuò)展大數(shù)據(jù)應(yīng)用深化平臺(tái)建設(shè)數(shù)據(jù)整合應(yīng)用建設(shè)內(nèi)容大數(shù)據(jù)產(chǎn)品和服務(wù)技術(shù)和應(yīng)用擴(kuò)展后期規(guī)劃部署大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)采集清洗按照業(yè)務(wù)需求對(duì)終端統(tǒng)計(jì)分析用戶(hù)各終端頁(yè)面埋點(diǎn)行為數(shù)據(jù)采集移動(dòng)運(yùn)營(yíng)指標(biāo)公司內(nèi)部業(yè)務(wù)系統(tǒng)數(shù)（日活、新增、留存）據(jù)引入數(shù)據(jù)可視化開(kāi)發(fā)手工維護(hù)數(shù)據(jù)繪制產(chǎn)品運(yùn)營(yíng)指標(biāo)圖統(tǒng)一公司各平臺(tái)客戶(hù)表數(shù)據(jù)外部數(shù)據(jù)接入1，終端產(chǎn)品和服務(wù)改 進(jìn)制作產(chǎn)品運(yùn)營(yíng)報(bào) 告2，構(gòu)建客戶(hù)畫(huà)像標(biāo)簽體系構(gòu)建， 形成客戶(hù)畫(huà)像向數(shù)據(jù)服務(wù)層推 送用戶(hù)標(biāo)簽1，提升營(yíng)銷(xiāo)效率客戶(hù)聚類(lèi)分群全渠道運(yùn)營(yíng)客戶(hù)流失預(yù)測(cè)營(yíng)銷(xiāo)活動(dòng)支持

10、2，輔助經(jīng)營(yíng)決策營(yíng)銷(xiāo)人員行為分析精細(xì)化報(bào)表3，其他部門(mén)需求支持更多元數(shù)據(jù)采集提升可視化水準(zhǔn)按照業(yè)務(wù)需求開(kāi)發(fā)模型依據(jù)平臺(tái)工作量提升平 臺(tái)性能為公司資管和固收等業(yè) 務(wù)提供數(shù)據(jù)支持機(jī)器學(xué)習(xí)機(jī)器人投顧行業(yè)輿情監(jiān)控決策支持第一階段規(guī)劃（2016年9月-2017年1月）第二階段（2017年2月-2017年12月）第三階段大數(shù)據(jù)建設(shè)思路ETL集中交易融資融券個(gè)股期權(quán)OTC柜臺(tái)投資管理TA系統(tǒng)估值系統(tǒng)法人清算OA系統(tǒng) TA文件行情Attunity Replicate采集程序DATASTAGE JOB實(shí) 時(shí) 庫(kù)文 件 服 務(wù) 器財(cái)付通綜合報(bào)表平臺(tái)營(yíng)銷(xiāo)服務(wù)平臺(tái)風(fēng)險(xiǎn)管理系統(tǒng)報(bào)表報(bào)送系統(tǒng)網(wǎng)上商城系統(tǒng)外 部 系 統(tǒng)Gu

11、ardianDiscoverStreamInceptor同步程序STAGE層 ETL接入分 發(fā) 庫(kù)模型指標(biāo)層分析應(yīng)用層歸元核心數(shù)據(jù)層檔數(shù)數(shù)據(jù)據(jù)維度信息層數(shù)據(jù)緩存層調(diào) 度 平 臺(tái)Transwarp HDFS基于大數(shù)據(jù)平臺(tái)（TDH）數(shù)據(jù)中心數(shù)據(jù)中心整體遷移過(guò)程演示數(shù)據(jù)中心架構(gòu)圖數(shù)據(jù)接入1.DDL導(dǎo)入數(shù)2.存據(jù)儲(chǔ)過(guò)程稽3.初核始化庫(kù)并行同步并行同步效果評(píng)估：數(shù)據(jù)采集任務(wù)性能并行入庫(kù)任務(wù)性能方面，TDH整體相對(duì)于Oracle提升7.34倍：并行任務(wù)對(duì)比，TDH相對(duì)于Oracle最多能提升46.6倍對(duì)于Oracle最慢的并行批量入庫(kù)任務(wù)，Oracle耗時(shí)16774秒，TDH提升29.8倍只需要562秒效

12、果評(píng)估：核心ETL任務(wù)性能核心存儲(chǔ)過(guò)程作業(yè)對(duì)比：總體核心作業(yè)耗時(shí)ORACLE用時(shí)86111秒，TDH需要15106秒，性能提升了5.7倍；單存儲(chǔ)過(guò)程作業(yè)對(duì)比，ORACLE最大作業(yè)用時(shí)13618秒，TDH用時(shí)273秒，提升了49.9倍；最大任務(wù)提升倍率為354.75倍；性能對(duì)比：整體批處理性能TradeDateTASKTDH- COSTSTARTENDORACLE-TASKORACLE-COSTSTARTEND20170203ADM_BI_REPORT_MONTH-OLD572017-2-3 10:112017-2-3 10:11ADM_BI_REPORT_MONTH3665502017-2-3

13、 10:012017-2-7 15:5020170203ADM_BI_MONTH5082017-2-3 10:012017-2-3 10:10ADM_BI_MONTH51712017-2-3 10:002017-2-3 11:2620170203BI_KPI_ASSET8612017-2-6 6:242017-2-6 6:38BI_KPI41212017-2-6 6:182017-2-6 7:2720170203KPI_REPORT_DAY2232017-2-6 6:492017-2-6 6:53KPI_REPORT9512017-2-6 7:282017-2-6 7:4420170203PR

14、OC_DATA_STD_CW53412017-2-4 1:402017-2-4 1:41STD_CW536632017-2-4 0:582017-2-4 1:0920170203QSTG_REPORT_0116102017-2-3 17:542017-2-3 18:20QSTG_REPORT_0147582017-2-3 17:382017-2-3 18:5820170203STD_ALM_BALDATATRANSFORM782017-2-3 15:252017-2-3 15:26STD_ALM88232017-2-3 13:012017-2-3 15:2820170203STD_ANALYS

15、IS_KPI6552017-2-4 1:472017-2-4 1:58STD_ANALYSIS2110702017-2-3 19:322017-2-6 6:0920170203STD_HS925302017-2-4 0:272017-2-4 0:36STD_HS9277942017-2-4 0:182017-2-4 2:2820170203STD_JZ3119252017-2-3 20:082017-2-3 20:41STD_JZ3139432017-2-3 21:262017-2-3 22:3220170203STD_JZ415792017-2-3 20:082017-2-3 20:17ST

16、D_JZ4121222017-2-3 21:262017-2-3 22:0220170203STD_MALL422017-2-4 0:062017-2-4 0:07STD_SYNC_MALL29272017-2-4 2:152017-2-4 3:0420170203STD_OPT9272017-2-3 23:322017-2-3 23:47STD_OPT7172017-2-3 23:352017-2-3 23:4720170203STD_SC602832017-2-6 1:242017-2-6 1:29STD_SC6010922017-2-3 7:302017-2-3 7:4820170203

17、TOTAL_ASSETS27612017-2-3 20:082017-2-3 20:54TOTAL_ASSETS324262017-2-3 21:292017-2-4 6:2920170203TOTAL_OPEN_CLOSE22942017-2-3 20:082017-2-3 20:47TOTAL_OPEN_CLOSE325682017-2-3 21:262017-2-4 6:2920170203TOTAL_STOCK27692017-2-3 20:082017-2-3 20:54TOTAL_STOCK325882017-2-3 21:262017-2-4 6:2904Part Three基于

18、大數(shù)據(jù)平臺(tái)應(yīng)用大數(shù)據(jù)分析平臺(tái)自定義用戶(hù)分群業(yè)務(wù)漏斗分析用戶(hù)自定義報(bào)表操作類(lèi)交易類(lèi)市場(chǎng)類(lèi)Transwarp HDFSDiscoverStreamInceptor模型指標(biāo)層歸 檔 數(shù) 據(jù)元 數(shù) 據(jù)分析應(yīng)用層核心數(shù)據(jù)層維度信息層數(shù)據(jù)緩存層大數(shù)據(jù)基礎(chǔ)平臺(tái)綜合報(bào)表系統(tǒng)領(lǐng)導(dǎo)駕駛艙輔助決策支持指標(biāo)報(bào)表展示自助式業(yè)務(wù)分析客戶(hù)信息管理系統(tǒng)客戶(hù)信息管理部門(mén)工作協(xié)同風(fēng)險(xiǎn)管理系統(tǒng)凈資本管理異常交易監(jiān)控.數(shù)據(jù)治理體系數(shù)據(jù)管控平臺(tái)數(shù)據(jù)應(yīng)用整體邏輯架構(gòu)大數(shù)據(jù)分析平臺(tái)拓?fù)鋱D代理服務(wù)器數(shù)據(jù)分析服務(wù)器數(shù)據(jù)分析 服務(wù)數(shù)器據(jù)分析 服務(wù)數(shù)器據(jù)分析 服務(wù)器數(shù)據(jù)分析 服務(wù)數(shù)器據(jù)分析 服務(wù)器TDH大數(shù)據(jù)平臺(tái)管理節(jié)點(diǎn) 服務(wù)器管理節(jié)點(diǎn) 服務(wù)器萬(wàn)兆交換機(jī)數(shù)據(jù) 服務(wù)器數(shù)據(jù) 服務(wù)器數(shù)據(jù) 服務(wù)器數(shù)據(jù) 服務(wù)器數(shù)據(jù) 服務(wù)器數(shù)據(jù) 服務(wù)器數(shù)據(jù) 服務(wù)器數(shù)據(jù) 服務(wù)器外部數(shù)據(jù)服務(wù)器數(shù)據(jù)接入采集服務(wù)器采集服務(wù)