南方基金新數(shù)據(jù)中心一期介紹課件

1、南方基金新數(shù)據(jù)中心介紹數(shù)據(jù)組小組職責(zé)數(shù)據(jù)組的主要工作規(guī)劃建設(shè)數(shù)據(jù)中心平臺(tái)項(xiàng)目，通過數(shù)據(jù)中心分期分階段項(xiàng)目建設(shè)，規(guī)范統(tǒng)一數(shù)據(jù)采集清洗，實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)模型存儲(chǔ)，制定主數(shù)據(jù)和元數(shù)據(jù)管理的方法和步驟，實(shí)現(xiàn)公司ODS/EDW數(shù)據(jù)倉庫；通過數(shù)據(jù)交換平臺(tái)、數(shù)據(jù)總線服務(wù)為業(yè)務(wù)和系統(tǒng)提供標(biāo)準(zhǔn)化的數(shù)據(jù)接口和服務(wù)，為業(yè)務(wù)提供高可用、準(zhǔn)實(shí)時(shí)的數(shù)據(jù)服務(wù)支持；同時(shí)進(jìn)行數(shù)據(jù)應(yīng)用項(xiàng)目開發(fā)建設(shè)，對(duì)數(shù)據(jù)進(jìn)行商務(wù)智能分析；利用大數(shù)據(jù)技術(shù)工具對(duì)客戶精準(zhǔn)化營(yíng)銷、產(chǎn)品開發(fā)提供大數(shù)據(jù)技術(shù)支持。數(shù)據(jù)組職責(zé)數(shù)據(jù)中心平臺(tái)項(xiàng)目規(guī)劃建設(shè) 數(shù)據(jù)標(biāo)準(zhǔn)與質(zhì)量管理數(shù)據(jù)需求與服務(wù)支持 數(shù)據(jù)應(yīng)用與智能分析大數(shù)據(jù)相關(guān)研究2數(shù)據(jù)中心平臺(tái)項(xiàng)目規(guī)劃建設(shè)一期實(shí)現(xiàn)數(shù)據(jù)中心

2、數(shù)據(jù)倉庫基礎(chǔ)平臺(tái)，完成營(yíng)銷數(shù)據(jù)中心CRM的數(shù)據(jù)采集、清洗與模型轉(zhuǎn)換，實(shí)現(xiàn)客戶、產(chǎn)品、銷售渠道等主數(shù)據(jù)管理；構(gòu)建數(shù)據(jù)交換平臺(tái)與服務(wù)總線，制定向外系統(tǒng)提供數(shù)據(jù)的接口和服務(wù)標(biāo)準(zhǔn)，實(shí)現(xiàn)對(duì)電商后臺(tái)數(shù)據(jù)的高可用性、準(zhǔn)實(shí)時(shí)性數(shù)據(jù)服務(wù)支持；規(guī)劃二期、三期數(shù)據(jù)中心平臺(tái)項(xiàng)目?jī)?nèi)容，制定數(shù)據(jù)中心平臺(tái)發(fā)展路線圖，將數(shù)據(jù)中心作為公司數(shù)據(jù)統(tǒng)一存儲(chǔ)管理的財(cái)富倉庫，進(jìn)而提供高可用的數(shù)據(jù)服務(wù)，支持和推動(dòng)業(yè)務(wù)發(fā)展。3目錄1、新數(shù)據(jù)中心大數(shù)據(jù)平臺(tái)2、現(xiàn)階段建設(shè)實(shí)施情況3、客戶主數(shù)據(jù)及常態(tài)化指標(biāo)4、后續(xù)可提供的數(shù)據(jù)服務(wù)4TDH大數(shù)據(jù)平臺(tái)介紹5TDH的產(chǎn)品特性Inceptor完整的SQL支持99%的SQL 2003支持，唯一支持PL/S

3、QL的引擎（98%），唯一支持ACID分布式事務(wù)的SQL引擎；Spark:高效內(nèi)存/SSD計(jì)算支持SSD的基于Hadoop的高效計(jì)算引擎，可比硬盤快一個(gè)數(shù)量級(jí)；可用于建立各種數(shù)據(jù)集市，對(duì)接多種主流報(bào)表工具。大數(shù)據(jù)挖掘：完整的分布式機(jī)器學(xué)習(xí)算法庫支持最全（超過50余種）的分布式統(tǒng)計(jì)算法和機(jī)器學(xué)習(xí)算法，同時(shí)整合超過5000個(gè)R語言算法包。適合金融業(yè)風(fēng)險(xiǎn)控制、反欺詐、文本分析、精準(zhǔn)營(yíng)銷等應(yīng)用。流處理：健壯和功能豐富的流處理框架支持真正的Exactly Once語義、支持所有組件的高可用(HA)、支持流式SQL和流式機(jī)器學(xué)習(xí)67數(shù)據(jù)中心：大數(shù)據(jù)平臺(tái)組成8角色用途開發(fā)環(huán)境生產(chǎn)環(huán)境主機(jī)名主機(jī)名TDH大數(shù)據(jù)

4、平臺(tái)50NEWDC-TDH-01管理、數(shù)據(jù)存儲(chǔ)61NEWDC-TDH-02管理、數(shù)據(jù)存儲(chǔ)72NEWDC-TDH-03數(shù)據(jù)存儲(chǔ)83NEWDC-TDH-04數(shù)據(jù)存儲(chǔ)任務(wù)調(diào)度及采集4521NEWDC-ETL-01Control-M任務(wù)調(diào)度4722NEWDC-ETL-02采集及數(shù)據(jù)下載交換Oracle RAC05NEWDC-ORACLE-01客戶主數(shù)據(jù)及前置庫06NEWDC-ORACLE-02客戶主數(shù)據(jù)及前置庫Web中間件03NEWDC-WEB-01數(shù)據(jù)服務(wù)及HTTPTDH大數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)、數(shù)據(jù)采集及任務(wù)調(diào)度平臺(tái)、客戶主數(shù)據(jù)統(tǒng)一賬戶管理系統(tǒng)、web應(yīng)用及微服務(wù)。大數(shù)據(jù)平臺(tái)架構(gòu)TDH大數(shù)據(jù)存儲(chǔ)與計(jì)算

5、平臺(tái)：由4臺(tái)高性能機(jī)器（Node1、Node2、Node3、Node4）構(gòu)成，承擔(dān)公司統(tǒng)一的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)管理；現(xiàn)在已經(jīng)擴(kuò)至8個(gè)存儲(chǔ)計(jì)算節(jié)點(diǎn)，配置4個(gè)Inceptor Server一個(gè)節(jié)點(diǎn)運(yùn)行4個(gè)excutor。數(shù)據(jù)采集及任務(wù)調(diào)度平臺(tái)：配備任務(wù)調(diào)度及采集服務(wù)器各一臺(tái)（Informatica Server、Control-M Server），進(jìn)行核心生產(chǎn)系統(tǒng)數(shù)據(jù)采集及任務(wù)調(diào)度；統(tǒng)一賬戶管理系統(tǒng)：實(shí)現(xiàn)客戶主數(shù)據(jù)管理，數(shù)據(jù)庫服務(wù)器兩臺(tái)（Oracle RAC Server1、Oracle RAC Server2）組成Oracle RAC高可用數(shù)據(jù)管理方案，支持客戶主數(shù)據(jù)管理及數(shù)據(jù)服務(wù)結(jié)果數(shù)據(jù)庫，Web

6、中間件服務(wù)器一臺(tái)（Web Server）支持客戶主數(shù)據(jù)管理應(yīng)用及對(duì)外數(shù)據(jù)服務(wù)。9大數(shù)據(jù)平臺(tái)網(wǎng)絡(luò)拓?fù)?0新數(shù)據(jù)中心建設(shè)背景及總體目標(biāo)項(xiàng)目實(shí)施周期：2016年12月-2017年6月電商業(yè)務(wù)系統(tǒng)：數(shù)據(jù)查詢計(jì)算服務(wù)CRM、報(bào)表中心：數(shù)據(jù)采集效率、性能出現(xiàn)瓶頸客服、呼叫中心：數(shù)據(jù)一致性、準(zhǔn)確性及常態(tài)化指標(biāo)的落地營(yíng)銷、投研數(shù)據(jù)中心：統(tǒng)一技術(shù)架構(gòu)及規(guī)范服務(wù)要求總體目標(biāo)：建設(shè)公司級(jí)數(shù)據(jù)中心數(shù)據(jù)倉庫，統(tǒng)一數(shù)據(jù)技術(shù)架構(gòu)，構(gòu)建企業(yè)統(tǒng)一數(shù)據(jù)模型，實(shí)現(xiàn)對(duì)數(shù)據(jù)的統(tǒng)一管理和服務(wù)。在對(duì)公司數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一存儲(chǔ)和管理基礎(chǔ)上，對(duì)各應(yīng)用系統(tǒng)提供統(tǒng)一的數(shù)據(jù)服務(wù)；進(jìn)行客戶和產(chǎn)品的數(shù)據(jù)挖掘分析，并借助于大數(shù)據(jù)技術(shù)和工具實(shí)現(xiàn)對(duì)客戶精準(zhǔn)營(yíng)銷

7、和產(chǎn)品開發(fā)，支持電商和投研等業(yè)務(wù)的大數(shù)據(jù)應(yīng)用。11一期建設(shè)目標(biāo)功能性要求數(shù)據(jù)中心一期主要完成數(shù)據(jù)倉庫基礎(chǔ)平臺(tái)；實(shí)現(xiàn)面向客戶營(yíng)銷數(shù)據(jù)統(tǒng)一采集、清洗處理和規(guī)整入庫；加強(qiáng)客戶、產(chǎn)品、銷售渠道等主數(shù)據(jù)管理；客戶盈虧收益類常態(tài)化指標(biāo)計(jì)算與落地；優(yōu)化現(xiàn)有營(yíng)銷數(shù)據(jù)中心數(shù)據(jù)采集、清洗和處理過程；規(guī)范基礎(chǔ)源數(shù)據(jù)、數(shù)據(jù)中心規(guī)整數(shù)據(jù)與業(yè)務(wù)系統(tǒng)數(shù)據(jù)接口之間的數(shù)據(jù)服務(wù)和實(shí)時(shí)準(zhǔn)實(shí)時(shí)的數(shù)據(jù)交互過程；采用新的技術(shù)架構(gòu)和方案支持電商7*24小時(shí)數(shù)據(jù)服務(wù)。非功能性要求數(shù)據(jù)容量空間：80-100t，目前已經(jīng)規(guī)劃120T的空間。采集時(shí)間和效率：縮減至半個(gè)小時(shí)到1個(gè)小時(shí)以內(nèi)響應(yīng)時(shí)間：達(dá)到毫秒級(jí)12主要數(shù)據(jù)來源：TA、電商直銷TA數(shù)據(jù)源

8、 :包括自建TA、LOFTA、ETFTA、現(xiàn)金通TA、電商直銷數(shù)據(jù)內(nèi)容涉及：客戶基本信息、基金產(chǎn)品數(shù)據(jù)、銷售機(jī)構(gòu)數(shù)據(jù)、賬號(hào)數(shù)據(jù)（基金賬號(hào)維表、交易賬號(hào)維表）、賬戶申請(qǐng)和確認(rèn)數(shù)據(jù)、交易申請(qǐng)和確認(rèn)數(shù)據(jù)、份額流水?dāng)?shù)據(jù)、靜態(tài)份額數(shù)據(jù)、基金行情數(shù)據(jù)、日期數(shù)據(jù)、費(fèi)率信息、銷售服務(wù)費(fèi)收入數(shù)據(jù)、字典表備注：子公司TA客戶、產(chǎn)品、賬戶、交易、申請(qǐng)、確認(rèn)及份額流水?dāng)?shù)據(jù)13主要數(shù)據(jù)來源：FA、FMDCFA數(shù)據(jù)源：包括年金FA、社保FA、專戶FA、QDFA數(shù)據(jù)內(nèi)容涉及：基金產(chǎn)品基本信息，包括母基金和分級(jí)基金、管理費(fèi)和銷售服務(wù)費(fèi)、托管費(fèi)信息采集憑證表和估值表（估值2.5升級(jí)到4.5后各項(xiàng)費(fèi)用以視圖形式直接提供）FMDC

9、數(shù)據(jù)源：投資交易數(shù)據(jù)中心數(shù)據(jù)內(nèi)容涉及：公司所有基金的基金基本信息公司所有基金的基金當(dāng)日資產(chǎn)和當(dāng)日份額、前日資產(chǎn)和前日份額、以及份額變換、混合和股票型基金的基金頭寸信息14主要數(shù)據(jù)來源：OA、CRMOA數(shù)據(jù)來源數(shù)據(jù)內(nèi)容涉及：基金產(chǎn)品基本信息，包括分類、類型、母基金和子基金關(guān)系數(shù)據(jù)、基金經(jīng)理信息財(cái)務(wù)數(shù)據(jù)：包括公司預(yù)算的所有數(shù)據(jù)，例如科目、預(yù)算、預(yù)算發(fā)生和調(diào)整員工基本信息數(shù)據(jù)：包括姓名、身份證號(hào)、部門CRM數(shù)據(jù)來源數(shù)據(jù)內(nèi)容涉及：客戶數(shù)據(jù)、基金產(chǎn)品數(shù)據(jù)，主要涉及到產(chǎn)品分類和一些標(biāo)簽等15一期需求概覽主數(shù)據(jù) 客戶、產(chǎn)品、渠道常態(tài)化指標(biāo)及標(biāo)簽數(shù)據(jù)接口 電商、CRM、客服營(yíng)銷數(shù)據(jù)基礎(chǔ)模型統(tǒng)一賬戶管理平臺(tái)數(shù)據(jù)

10、倉庫基礎(chǔ)平臺(tái)數(shù)據(jù)查詢集市服務(wù)業(yè)務(wù)類：技術(shù)類：客戶主數(shù)據(jù)客戶唯一標(biāo)記：參與者類型+姓名+證件類型+證件號(hào)碼關(guān)鍵信息：參與者類型、證件類型、證件號(hào)碼、姓名、經(jīng)辦人證件類型、經(jīng)辦人證件號(hào)碼、經(jīng)辦人姓名聯(lián)系信息：移動(dòng)電話，聯(lián)系電話，聯(lián)系地址 ，單位電話，郵證編碼，電子郵箱，傳真號(hào)碼清洗關(guān)鍵字段：證件號(hào)碼，移動(dòng)電話，聯(lián)系電話，聯(lián)系地址，單位電話，郵證編碼，電子郵箱，性別，生日，傳真號(hào)碼，單位名稱，經(jīng)辦人證件類型，經(jīng)辦人證件號(hào)碼，經(jīng)辦人姓名客戶主數(shù)據(jù)參與者類型參與者類型英文名稱登記標(biāo)準(zhǔn)證件號(hào)碼參與者姓名參與者簡(jiǎn)稱參與者英文名稱性別出生日期婚姻狀況學(xué)歷行業(yè)，預(yù)留職業(yè)國(guó)籍城市聯(lián)系地址聯(lián)系電話移動(dòng)電話備用移動(dòng)電

11、話聯(lián)系方式聯(lián)系方式類型單位名稱工作單位電話郵政編碼傳真號(hào)碼微信號(hào)QQ號(hào)碼電子郵箱職位，預(yù)留年收入客戶等級(jí)客戶類型首次進(jìn)入時(shí)間經(jīng)辦人姓名經(jīng)辦人證件類型經(jīng)辦人證件號(hào)碼經(jīng)辦人證件有效期參與者綁定方式對(duì)賬單寄送標(biāo)志企業(yè)性質(zhì)公司網(wǎng)址工商登記號(hào)注冊(cè)地址注冊(cè)日期注冊(cè)資本法人姓名總經(jīng)理深交所股東賬號(hào)滬交所股東賬號(hào)組織機(jī)構(gòu)代碼發(fā)證機(jī)關(guān)參與者身份鑒別類型原始身份鑒別信息鑒別信息生效日期鑒別信息失效日期經(jīng)紀(jì)人是否開通客服失效日期常規(guī)密碼連續(xù)認(rèn)證失敗次數(shù)是否開通網(wǎng)上交易登陸成功次數(shù)常規(guī)密碼最后修改時(shí)間直代銷標(biāo)志常規(guī)密碼最后一次登錄時(shí)間數(shù)字密碼連續(xù)認(rèn)證失敗次數(shù)數(shù)字密碼數(shù)字密碼最后修改時(shí)間變動(dòng)數(shù)據(jù)備注產(chǎn)品主數(shù)據(jù)產(chǎn)品主數(shù)據(jù)

12、當(dāng)前以TA的數(shù)據(jù)為準(zhǔn)，特有屬性從其他系統(tǒng)補(bǔ)充主數(shù)據(jù)字段信息如下：字段名稱產(chǎn)品代碼最高募集份額基金性質(zhì)運(yùn)作狀態(tài)超額申購比例業(yè)績(jī)報(bào)酬支付方式描述產(chǎn)品名稱最低募集份額是否為ETF基金基金狀態(tài)超額申購_部分確認(rèn)財(cái)顧費(fèi)說明產(chǎn)品簡(jiǎn)稱產(chǎn)品成立日期是否顯示累計(jì)凈值行情公布方式強(qiáng)贖標(biāo)志風(fēng)險(xiǎn)準(zhǔn)備金計(jì)提比例產(chǎn)品全稱成立份額規(guī)模是否QDII行情公布頻率贖回費(fèi)歸基金資產(chǎn)比例管理費(fèi)計(jì)提比例描述英文名稱成立凈值規(guī)模是否指數(shù)基金凈值精度轉(zhuǎn)換費(fèi)歸基金資產(chǎn)比例托管費(fèi)計(jì)提比例描述英文簡(jiǎn)稱合同備案日期是否量化產(chǎn)品封閉期描述追加認(rèn)購/申購單位金額銷售服務(wù)費(fèi)率描述英文全稱合同生效日期(成立日期)是否保本開放日描述認(rèn)購費(fèi)率描述其他費(fèi)率描述

13、支持的份額類型首次開放日期是否參與定增產(chǎn)品簡(jiǎn)介申購費(fèi)率描述業(yè)績(jī)報(bào)酬計(jì)提方式默認(rèn)的分紅方式基金成立確認(rèn)比例是否為資產(chǎn)證券化業(yè)務(wù)存續(xù)期起始日贖回費(fèi)率描述業(yè)績(jī)報(bào)酬支付方式初始銷售份額面值募集失敗日期是否投資單一股票存續(xù)期截止日轉(zhuǎn)托管費(fèi)率描述管理費(fèi)計(jì)提方式發(fā)行價(jià)格單一客戶最低認(rèn)購金額是否投資衍生品TA代碼銷售服務(wù)費(fèi)率描述管理費(fèi)支付方式存續(xù)期限單一客戶最高認(rèn)購金額是否掛牌轉(zhuǎn)讓清盤日期轉(zhuǎn)換費(fèi)率描述托管費(fèi)計(jì)提方式管理人單一客戶最低申購金額是否存在特殊交易發(fā)行日期擬代銷規(guī)模描述托管費(fèi)支付方式托管人單一客戶最高申購金額是否投資衍生品募集結(jié)束日期份額過低期限投資范圍描述銷售模式單一客戶最低贖回份額是否轉(zhuǎn)債基金基金

14、認(rèn)購期限基金封閉期限投資策略描述收益分配模式單一客戶最高贖回份額是否參與打新認(rèn)購模式最低開戶數(shù)量投資目標(biāo)描述收益分配原則描述單一客戶最低持有份額是否分級(jí)基金發(fā)行方式客戶過少期限投資限制描述比較基準(zhǔn)贖回款到賬天數(shù)業(yè)績(jī)報(bào)酬說明認(rèn)購利息處理方式最低資產(chǎn)要求止贏線信息披露或報(bào)告要求巨額贖回比例業(yè)績(jī)報(bào)酬計(jì)提方式描述最小認(rèn)購單位委托人數(shù)量上限止贏線觸及處置措施最高募集金額確認(rèn)天數(shù)預(yù)警線最低募集金額默認(rèn)贖回順序預(yù)警線觸及處置措施止損線止損線觸及處置措施渠道主數(shù)據(jù)渠道主數(shù)據(jù)當(dāng)前以TA的數(shù)據(jù)為準(zhǔn)，屬性字段如下：一期主要是完成電商渠道拆分銷售渠道代理鍵TA代碼銷售機(jī)構(gòu)代碼銷售商代碼銷售機(jī)構(gòu)名稱組織代理鍵銷售渠道；

15、EC-電子商務(wù)，F(xiàn)I-機(jī)構(gòu)理財(cái)，DS-直銷，SA-代銷銷售商名稱銷售機(jī)構(gòu)類型,BNK-銀行,SCT-券商,DS-直銷,3SALE-第三方銷售銷售商全稱自助渠道；Y-自助渠道，N-非自助渠道總部地址Y-郵編或其他虛擬網(wǎng)點(diǎn)/N-非虛擬網(wǎng)點(diǎn)郵政編碼所屬行政區(qū)劃代理鍵銷售商聯(lián)系人是否為第三方合作渠道；Y/N銷售商聯(lián)系電話渠道狀態(tài);1-有效，0-失效銷售商傳真號(hào)碼一級(jí)渠道名稱銷售商EMail二級(jí)渠道名稱銷售商銀行代碼三級(jí)渠道名稱銷售商銀行帳號(hào)四級(jí)渠道名稱銀行戶名五級(jí)渠道名稱銷售商登記日期六級(jí)渠道名稱TA簽約銷售商狀態(tài)省分行代碼銷售商類型地區(qū)代碼是否支持份額明細(xì)網(wǎng)點(diǎn)代碼贖回清算天數(shù)工行網(wǎng)點(diǎn)號(hào)；8位網(wǎng)點(diǎn)號(hào)，

16、其他機(jī)構(gòu)為空值申購清算天數(shù)賬號(hào)預(yù)分配分紅清算天數(shù)當(dāng)前確認(rèn)序號(hào)認(rèn)購計(jì)息天數(shù)對(duì)賬方式是否支持份額類別認(rèn)購款到賬日期方式認(rèn)購申購最大折扣是否支持多交易賬號(hào)支持單步轉(zhuǎn)托管入接口配置版本基金轉(zhuǎn)換確認(rèn)方式接口模式贖回轉(zhuǎn)換最大折扣常態(tài)化指標(biāo)及標(biāo)簽分類原則：優(yōu)先級(jí)高：基礎(chǔ)交易，保有類指標(biāo)；盈虧；客戶狀態(tài)優(yōu)先級(jí)中：基礎(chǔ)客戶標(biāo)簽；優(yōu)先級(jí)低：統(tǒng)計(jì)類客戶標(biāo)簽；報(bào)表中心：自定義查詢時(shí)點(diǎn)類；二期需求：當(dāng)前算法不明確類總數(shù)：92常態(tài)化指標(biāo)調(diào)整數(shù)據(jù)接口總數(shù)：111一期各階段及二期實(shí)施內(nèi)容24OracleTAOracleFAMy SQLOASQL Server營(yíng)銷主題數(shù)據(jù)OracleBPMOracleSAP BO報(bào)表中心SQL

17、 Server呼叫中心My SQL電商APP、網(wǎng)上交易Oracle投研應(yīng)用ETL貼源轉(zhuǎn)換Oracle投研主題數(shù)據(jù)EDW：數(shù)據(jù)平臺(tái)企業(yè)數(shù)據(jù)模型ODS推數(shù)SQL Server電商接口數(shù)據(jù)基于微服務(wù)框架的數(shù)據(jù)服務(wù)系統(tǒng)注冊(cè)發(fā)布服務(wù)請(qǐng)求認(rèn)證結(jié)果返回推數(shù)推數(shù)統(tǒng)一采集統(tǒng)一計(jì)算統(tǒng)一推數(shù)主數(shù)據(jù)：客戶、產(chǎn)品元數(shù)據(jù)：系統(tǒng)、業(yè)務(wù)OLAPOLTPOracle風(fēng)控應(yīng)用DM統(tǒng)一平臺(tái)技術(shù)架構(gòu) 數(shù)倉環(huán)境 采集調(diào)度 推數(shù)管控 接口服務(wù)項(xiàng)目一期：第一階段第二階段項(xiàng)目二期CRM數(shù)據(jù)治理一階段重點(diǎn)解決的問題25OracleTAOracleFAMy SQLOASQL Server營(yíng)銷CRM數(shù)據(jù)中心OracleBPMOracleSAP B

18、O報(bào)表中心SQL Server呼叫中心My SQL電商APP、網(wǎng)上交易Oracle投研平臺(tái)ETL查詢服務(wù)貼源轉(zhuǎn)換Oracle投研數(shù)據(jù)中心電商數(shù)據(jù)服務(wù)問題：1）查詢計(jì)算效率：請(qǐng)求響應(yīng)處理時(shí)間；2）事務(wù)操作：增刪改操作，資源鎖情況；3）時(shí)效性：7*24小時(shí)在線實(shí)時(shí)服務(wù)支持；營(yíng)銷CRM問題：1）數(shù)據(jù)采集：每日4個(gè)TA數(shù)據(jù)采集3-5小時(shí)，串行處理模式；2）接口支持：電商、客服等對(duì)數(shù)據(jù)的需求支持，開放庫表，數(shù)據(jù)直連；3）主數(shù)據(jù)管理：目前沒有統(tǒng)一的管控規(guī)則，需要確定客戶、產(chǎn)品等主數(shù)據(jù)以誰為主，以及相應(yīng)的更新維護(hù)策略；報(bào)表中心問題：1）數(shù)據(jù)采集：與營(yíng)銷CRM數(shù)據(jù)采集重復(fù)，數(shù)據(jù)不一致；2）主數(shù)據(jù)：上游系統(tǒng)數(shù)據(jù)

19、變更影響到報(bào)表輸出的數(shù)據(jù)錯(cuò)誤；3）歷史表的清理：缺少一個(gè)有效的管控，增加維護(hù)遷移成本；一階段實(shí)施后的價(jià)值提升26OracleTAOracleTAOracleTAOracleTAETFLOF現(xiàn)金通自建SQL ServerCRMAm.2hPm.2h晚.3h晚.4-5h采集處理大于10hOracleTAOracleTAOracleTAOracleTAETFLOF現(xiàn)金通自建大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉庫Am.20mPm.20m晚.30m晚.40m采集處理1-2h實(shí)施前實(shí)施后串下執(zhí)行采集任務(wù)借助于大數(shù)據(jù)工具技術(shù)，并行執(zhí)行采集任務(wù)串下執(zhí)行My SQL電商APP、網(wǎng)上交易7*24服務(wù)SQL Server電商接口數(shù)據(jù)1、采集效率提高2、電商獨(dú)立分庫3、避免資源鎖情況發(fā)生SQL Server營(yíng)銷主題數(shù)據(jù)CRMOracleSAP BO報(bào)表中心OracleSAP BO報(bào)表中心4、營(yíng)銷數(shù)據(jù)源采集統(tǒng)一5、主數(shù)據(jù)一致性目前的運(yùn)行時(shí)間效率情