資訊數(shù)據(jù)中心交流課件

資訊數(shù)據(jù)中心目錄需求分析數(shù)據(jù)中心規(guī)劃與設(shè)計數(shù)據(jù)中心技術(shù)方案港澳資訊優(yōu)勢分析

典型案例介紹需求分析—（重復(fù)采購、信息孤島）資訊數(shù)據(jù)需求分析—數(shù)據(jù)中心是什么？數(shù)據(jù)源數(shù)據(jù)中心ETL采編系統(tǒng)ETL監(jiān)控系統(tǒng)數(shù)據(jù)發(fā)布系統(tǒng)通用展示系統(tǒng)維護(hù)系統(tǒng)數(shù)據(jù)接口服務(wù)數(shù)據(jù)源數(shù)據(jù)源需求分析—數(shù)據(jù)中心建成示意圖元數(shù)據(jù)管理采編系統(tǒng)知識管理平臺CRM系統(tǒng)VIP服務(wù)終端網(wǎng)站服務(wù)營業(yè)部專欄短信服務(wù)數(shù)據(jù)中心客戶經(jīng)理平臺營銷服務(wù)平臺需求分析—建成數(shù)據(jù)中心受益點01統(tǒng)一了公司數(shù)據(jù)接口02不同級別信息用不同方式服務(wù)于不同級別客戶所需的數(shù)據(jù)可以由數(shù)據(jù)中心統(tǒng)一提供03降低了系統(tǒng)對某一數(shù)據(jù)供應(yīng)商的依賴度04打通了內(nèi)部所有系統(tǒng)的數(shù)據(jù)流規(guī)劃與設(shè)計01數(shù)據(jù)源02數(shù)據(jù)采集、清洗（ETL）03數(shù)據(jù)發(fā)布、維護(hù)、應(yīng)用04數(shù)據(jù)展現(xiàn)與接口開發(fā)規(guī)劃與設(shè)計—數(shù)據(jù)源（分類）序號分類原則分類說明01投資品種股票/基金相關(guān)投資品種的基本資料、交易報價、重要事項、財務(wù)業(yè)績、投資分析等數(shù)據(jù)債券/權(quán)證利率/外匯期貨/商品02投資群體機(jī)構(gòu)發(fā)行、監(jiān)管、中介服務(wù)、投資等機(jī)構(gòu)；公司高管、相關(guān)機(jī)構(gòu)從業(yè)人員、管理人員、監(jiān)管機(jī)構(gòu)高層領(lǐng)導(dǎo)等個人03投資環(huán)境宏觀環(huán)境宏觀經(jīng)濟(jì)、國際經(jīng)濟(jì)數(shù)據(jù)中觀環(huán)境行業(yè)經(jīng)濟(jì)、區(qū)域經(jīng)濟(jì)數(shù)據(jù)04數(shù)據(jù)結(jié)構(gòu)結(jié)構(gòu)化交易行情、財務(wù)報表、統(tǒng)計月報等數(shù)據(jù)非結(jié)構(gòu)化財經(jīng)新聞、研究報告、法律法規(guī)、公司公告等文本資料以及圖片、視頻等媒體資料05數(shù)據(jù)加工基礎(chǔ)數(shù)據(jù)公開披露的各種金融資訊數(shù)據(jù)及宏觀行業(yè)統(tǒng)計的不可衍生計算的基礎(chǔ)信息衍生數(shù)據(jù)根據(jù)基礎(chǔ)數(shù)據(jù)進(jìn)行簡單運算得到的衍生信息模型數(shù)據(jù)基礎(chǔ)信息和衍生信息通過分析模型計算生成的信息06數(shù)據(jù)來源外購數(shù)據(jù)向不同的資訊供應(yīng)商外購各金融資訊數(shù)據(jù)內(nèi)部數(shù)據(jù)公司內(nèi)部的研究報告、投資建議、分析模型數(shù)據(jù)等其他數(shù)據(jù)其他需要入庫的數(shù)據(jù)規(guī)劃與設(shè)計—數(shù)據(jù)源（內(nèi)容）序號內(nèi)容說明01財經(jīng)新聞財經(jīng)、證券類動態(tài)信息02基礎(chǔ)數(shù)據(jù)包括股票、債券、基金、權(quán)證及衍生品等基本資料03行情數(shù)據(jù)各證券品種及指數(shù)行情數(shù)據(jù)及金融工程所需的高頻數(shù)據(jù)04宏觀數(shù)據(jù)權(quán)威部門發(fā)布的各類宏觀數(shù)據(jù)05行業(yè)數(shù)據(jù)包括各行業(yè)產(chǎn)量、指數(shù)、財務(wù)、價格數(shù)據(jù)等06研究報告公司自己的研究成果07交易數(shù)據(jù)公司交易用戶的歷史交易數(shù)據(jù)08專供數(shù)據(jù)為服務(wù)定制的各類信息產(chǎn)品、股票池及投資組合等09短信數(shù)據(jù)需要短信服務(wù)于客戶的專用數(shù)據(jù)10衍生數(shù)據(jù)各類風(fēng)控、資產(chǎn)評估等模型所需要的衍生數(shù)據(jù)規(guī)劃與設(shè)計—數(shù)據(jù)源（流向）外購數(shù)據(jù)數(shù)據(jù)清洗|數(shù)據(jù)整合|數(shù)據(jù)校驗原有內(nèi)部數(shù)據(jù)其他入庫數(shù)據(jù)資訊數(shù)據(jù)中心臨時庫

|風(fēng)險控制|知識管理|估值評價|其他應(yīng)用|

研究人員數(shù)據(jù)維護(hù)信息提取其他用戶信息數(shù)據(jù)加工者信息數(shù)據(jù)生產(chǎn)者信息數(shù)據(jù)使用者J2EE/.Net信息數(shù)據(jù)提取者各類型應(yīng)用數(shù)據(jù)庫各類型服務(wù)產(chǎn)品數(shù)據(jù)庫港澳資訊規(guī)劃與設(shè)計—（采編系統(tǒng)）自有信息采集規(guī)劃與設(shè)計—ETL（數(shù)據(jù)處理）結(jié)構(gòu)化數(shù)據(jù)通常是指被記錄信息的類型,格式等屬性是固定的，比如：交易行情，各種財務(wù)報表等，數(shù)據(jù)中心通過ETL和專用系統(tǒng)來實現(xiàn)結(jié)構(gòu)化數(shù)據(jù)的導(dǎo)入主要支持的數(shù)據(jù)源：各種數(shù)據(jù)庫（oracle,db2,mssqlservermysql等所有主流數(shù)據(jù)庫）XBRL（可擴(kuò)展商業(yè)報告語言）XML，DBF，EXCEL等結(jié)構(gòu)文件Bloomberg數(shù)據(jù)接口，大智慧行情接口等WebService等各種服務(wù)接口非結(jié)構(gòu)化數(shù)據(jù)是指被記錄信息的數(shù)據(jù)長度和格式等是不固定的，比如：網(wǎng)站上新聞內(nèi)容，WORD，PDF等文件內(nèi)容。對于非結(jié)構(gòu)化數(shù)據(jù)處理，數(shù)據(jù)中心提供了網(wǎng)站抓取識別系統(tǒng)等系統(tǒng)實現(xiàn)智能導(dǎo)入。對于沒有辦法自動識別的數(shù)據(jù)通過數(shù)據(jù)中心信息采集系統(tǒng)手動采集?？梢宰詣幼R別的非結(jié)構(gòu)化數(shù)據(jù)：郵件接收和分揀HTML，WORD，PDF等各種網(wǎng)站的抓取規(guī)劃與設(shè)計—ETL（監(jiān)控）規(guī)劃與設(shè)計—數(shù)據(jù)發(fā)布數(shù)據(jù)發(fā)布系統(tǒng)是作為任務(wù)調(diào)度系統(tǒng)的一個插件，實現(xiàn)數(shù)據(jù)中心到各種數(shù)據(jù)庫的數(shù)據(jù)發(fā)布功能，支持局域網(wǎng)和internet。發(fā)布系統(tǒng)主要特點：發(fā)布配置簡單，選擇需要發(fā)布的內(nèi)容和目標(biāo)數(shù)據(jù)庫系統(tǒng)就會自動發(fā)布數(shù)據(jù)過去。支持歷史數(shù)據(jù)發(fā)布功能，以天為單位補(bǔ)歷史數(shù)據(jù)。支持所有主流數(shù)據(jù)庫。支持發(fā)布時過濾功能。支持?jǐn)?shù)據(jù)庫間字段自動匹配，也就是目標(biāo)數(shù)據(jù)庫結(jié)構(gòu)可以不同，發(fā)布時自動匹配相同字段。支持發(fā)布數(shù)據(jù)到EXCEL和WORD。規(guī)劃與設(shè)計—數(shù)據(jù)應(yīng)用序號應(yīng)用01其他自有和特有數(shù)據(jù)的ETL開發(fā)02個性化數(shù)據(jù)衍生計算03全文檢索服務(wù)04資訊數(shù)據(jù)展示05后臺維護(hù)技術(shù)方案—數(shù)據(jù)中心成敗關(guān)鍵1.可靠性，穩(wěn)定性。2.開放性。3.功能靈活性。根據(jù)我們在數(shù)據(jù)中心的實施經(jīng)驗，數(shù)據(jù)中心建設(shè)能否成功的關(guān)鍵在于：技術(shù)方案—采用技術(shù)數(shù)據(jù)中心系統(tǒng)整體方案是采用oracle+java+開源框架的體系。系統(tǒng)模塊技術(shù)數(shù)據(jù)中心數(shù)據(jù)庫oracleETL轉(zhuǎn)換kettleETL監(jiān)控系統(tǒng)java數(shù)據(jù)源跟蹤系統(tǒng)java數(shù)據(jù)發(fā)布系統(tǒng)java+ibatis+kettle信息采集系統(tǒng)springmvc+spring+ibatis信息展示系統(tǒng)springmvc+spring+ibatis技術(shù)方案—相關(guān)技術(shù)說明根據(jù)經(jīng)驗數(shù)據(jù)中心目前容量容易已經(jīng)接近1T，這么大的容量已經(jīng)達(dá)到微軟sqlserver處理的極限，所以采用Oracle數(shù)據(jù)庫。操作系統(tǒng)的穩(wěn)定性對數(shù)據(jù)中心穩(wěn)定性影響很大，為了提高數(shù)據(jù)中心穩(wěn)定性，我們采用比WINDOWS更加穩(wěn)定的Unix/Linux。開發(fā)工具我們選擇JAVA，因為當(dāng)前企業(yè)應(yīng)用JAVA是應(yīng)用最廣泛的，擁有各種成熟的技術(shù)，在企業(yè)應(yīng)用中比dotnet更加成熟。Dotnet目前只能應(yīng)用于WINDOWS平臺，服務(wù)器僅限于IIS在系統(tǒng)支持上較JAVA平臺差很多。WINDOWS的穩(wěn)定性和可靠性差是有目共睹的。JAVA社區(qū)里各方面都有成熟穩(wěn)定的技術(shù)框架，所以在整個數(shù)據(jù)中心開發(fā)過程中，能借用開源力量的，我們就不會從頭開發(fā)，而是采用開源框架進(jìn)行二次開發(fā)，這樣保證了我們的系統(tǒng)的可靠性，同時提高了生產(chǎn)力。數(shù)據(jù)ETL工具是數(shù)據(jù)中心最核心的部分，我們考查了大部分的主流ETL系統(tǒng)，最終我們選擇了開源的Kettle，在Kettle基礎(chǔ)上開發(fā)出適合證券行業(yè)特點的ETL系統(tǒng)。

案例介紹1-中投數(shù)據(jù)中心建設(shè)建立集中數(shù)據(jù)中心，供各個部門使用；實時跟蹤全國的最新行業(yè)信息，并對信息進(jìn)行分類整理加工，包括決策參考和專題市場調(diào)研報告；決策參考包括行業(yè)產(chǎn)品報價數(shù)據(jù)、行業(yè)經(jīng)濟(jì)要聞、行業(yè)深度分析報告、參考文獻(xiàn)和案例研究等；專題市場調(diào)研報告是各行業(yè)的深度分析報告；數(shù)據(jù)來源包括資訊商提供的數(shù)據(jù)，主要行業(yè)網(wǎng)站的信息采集等。案例介紹1-中投數(shù)據(jù)中心截圖案例介紹2-VIP客戶資訊服務(wù)券商名稱項目名稱說明國泰君安智博匯交易用戶差異化資訊服務(wù)中信金通投資顧問服務(wù)平臺客戶經(jīng)理工作平臺，并對客戶提供差異化服務(wù)中信萬通理財通給客戶經(jīng)理及資產(chǎn)20萬以上（分級）用戶提供差異化服務(wù)光大證券金陽光建立客戶級別升降機(jī)制，對不同級別用戶提供差異化資訊服務(wù)中信證券核心客戶資訊服務(wù)平臺為資產(chǎn)在100萬以上用戶及客戶經(jīng)理提供此資訊服務(wù)平臺申銀萬國精英會2萬名核心客戶及分析師案例介紹2-VIP客戶資訊服務(wù)（續(xù)1）案例介紹2-VIP客戶資訊服務(wù)（續(xù)2）基礎(chǔ)資訊研究報告自編信息CRM交易數(shù)據(jù)先集中（數(shù)據(jù)集中）應(yīng)用接口開發(fā)（數(shù)據(jù)應(yīng)用、數(shù)據(jù)管理）差異化資訊服務(wù)目錄需求分析數(shù)據(jù)中心規(guī)劃與設(shè)計數(shù)據(jù)中心技術(shù)方案港澳資訊優(yōu)勢分析

典型案例介紹港澳資訊的優(yōu)勢公司實力公司的理念數(shù)據(jù)+IT服務(wù)有專門的數(shù)據(jù)中心團(tuán)隊，持續(xù)服務(wù)能力產(chǎn)品線豐富，整合方便系統(tǒng)基于oracle+java+linux/unix，安全穩(wěn)定實施成功案例多優(yōu)勢分析-股東實力港澳資訊產(chǎn)業(yè)股份有限公司（“港澳資訊”）是一家國內(nèi)領(lǐng)先的金融信息服務(wù)公司，為企業(yè)客戶和投資者提供專業(yè)的財經(jīng)信息服務(wù)以及技術(shù)解決方案。

公司成立于1994年6月，是國內(nèi)最早的金融證券資訊服務(wù)商之一；

2000年獲證監(jiān)會投資咨詢資格；

2001年7月改制為股份制公司；

2007年8月大股東變更為新華都實業(yè)集團(tuán)股份有限公司，原微軟中國總裁唐駿先生擔(dān)任董事長。優(yōu)勢分析-股東實力（續(xù)）

公司明確打造金融資訊以及IT技術(shù)研發(fā)兩大核心競爭力。在金融資訊方面保證數(shù)據(jù)庫數(shù)據(jù)來源的合法、穩(wěn)定并和相關(guān)的特供數(shù)據(jù)服務(wù)商如指南針等建立合作聯(lián)盟；IT技術(shù)研發(fā)就是要加強(qiáng)金融服務(wù)機(jī)構(gòu)個性化差異化服務(wù)實施的開發(fā)、維護(hù)能力，并已經(jīng)和相關(guān)公司如中軟、通達(dá)信、攜寧等進(jìn)行合作。隨著新華都的加入，公司會加強(qiáng)技術(shù)研發(fā)力量投入。優(yōu)勢分析-數(shù)據(jù)庫案例序號券商名稱使用港澳資訊數(shù)據(jù)庫情況創(chuàng)新類券商（29家創(chuàng)新類券商的市場占有率約為59%

）01國泰君安證券股份有限公司gazx3.002中銀國際證券有限責(zé)任公司gazx3.003國信證券有限責(zé)任公司gazx3.004東方證券股份有限公司gazx3.005海通證券股份有限公司gazx3.006國元證券有限責(zé)任公司gazx3.007長江證券有限責(zé)任公司gazx3.008國都證券有限責(zé)任公司gazx3.009上海證券有限責(zé)任公司gazx3.010宏源證券股份有限公司gazx3.011紅塔證券股份有限公司gazx3.012興業(yè)證券股份有限公司gazx3.013第一創(chuàng)業(yè)證券有限責(zé)任公司gazx3.014齊魯證券有限責(zé)任公司gazx3.015山西證券有限責(zé)任公司gazx3.0(部分)16西部證券股份有限公司gazx3.0(部分)17東海證券有限責(zé)任公司gazx3.0(部分)優(yōu)勢分析-數(shù)據(jù)庫案例（續(xù)）規(guī)范類券商（對31家規(guī)范類券商的市場占有率約為65%

）01廣發(fā)華福證券有限責(zé)任公司gazx3.002中信萬通證券有限責(zé)任公司gazx3.003國盛證券有限責(zé)任公司gazx3.004國海證券有限責(zé)任公司gazx3.005中原證券股份有限公司gazx3.006財通證券有限責(zé)任公司gazx3.007首創(chuàng)證券有限責(zé)任公司gazx3.008河北財達(dá)證券經(jīng)紀(jì)有限責(zé)任公司gazx3.009東吳證券有限責(zé)任公司gazx3.010恒泰證券有限責(zé)任公司gazx3.011廣州證券有限責(zé)任公司gazx3.012大同證券經(jīng)紀(jì)有限責(zé)任公司gazx3.013華創(chuàng)證券經(jīng)紀(jì)有限責(zé)任公司gazx3.014東莞證券有限責(zé)任公司gazx3.015太平洋證券有限責(zé)任公司gazx3.016民生證券有限責(zé)任公司gazx3.017德邦證券有限責(zé)任公司gazx3.018渤海證券有限責(zé)任公司gazx3.019萬聯(lián)證券有限責(zé)任公司gazx3.020長城證券有限責(zé)任公司gazx3.0優(yōu)勢分析-項目開發(fā)案例項目名稱上線時間簡要說明中信核心客戶服務(wù)平臺2008交易用戶服務(wù)工具，計劃服務(wù)10％核心交易用戶，為分類客戶提供分類理財資訊服務(wù)。中信金通投資顧問工作平臺2008投資顧問和客戶經(jīng)理工作平臺，加強(qiáng)內(nèi)部溝通及服務(wù)共享，方便客戶經(jīng)理及時為客戶提供量身定制的服務(wù)。安信證券投行信息系統(tǒng)2008投資銀行協(xié)調(diào)工作系統(tǒng)，實現(xiàn)BlackBerry手機(jī)移動辦公。紅塔證券投資決策平臺2008供研究所和自營部門的投資決策輔助工作平臺。齊魯證券CRM數(shù)據(jù)中心2008CRM應(yīng)用數(shù)據(jù)服務(wù)支持。招商證券研發(fā)工作平臺2007嚴(yán)究所內(nèi)部工作服務(wù)平臺，集研報管理、客戶服務(wù)、研究考核、股票池等專有研發(fā)功能于一體。中信萬通理財服務(wù)平