從應(yīng)用視角看大數(shù)據(jù)對證券公司的影響

1、從應(yīng)用視角看大數(shù)據(jù)對證券公司的影響孟慶江作者簡介：孟慶江，澳門大學(xué)博士，現(xiàn)就職于中投證券博士后站。隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算技術(shù)的快速發(fā)展和社會對于大數(shù)據(jù)的逐漸重視，大數(shù)據(jù)從概念逐漸走向應(yīng)用。互聯(lián)網(wǎng)金融企業(yè)在過去的一年里快速發(fā)展壯大，對傳統(tǒng)金融行業(yè)造成嚴(yán)重沖擊，很大程度上就依賴于大數(shù)據(jù)和云計(jì)算技術(shù)，能夠動(dòng)態(tài)了解客戶的多樣化需求，改善傳統(tǒng)金融的信息不對稱問題，推出滿足客戶需求的個(gè)性化金融產(chǎn)品。隨著A股市場全面放開一人一戶限制，以及券商牌照即將向互聯(lián)網(wǎng)公司放開，面對居民財(cái)富迅速增長和其對理財(cái)產(chǎn)品多樣化的需求，券商受到來自行業(yè)內(nèi)外部的雙重壓力。傳統(tǒng)IT基礎(chǔ)設(shè)施環(huán)境逐漸無法滿足證券公司對轉(zhuǎn)型和創(chuàng)新

2、戰(zhàn)略的要求，建立大數(shù)據(jù)驅(qū)動(dòng)的創(chuàng)新平臺，為即將到來的業(yè)務(wù)差異化競爭提供強(qiáng)有力的技術(shù)支持，將是證券公司搶占市場先機(jī)的必備條件。一、證券公司大數(shù)據(jù)的實(shí)際應(yīng)用相對于其它行業(yè)的數(shù)據(jù)，證券行業(yè)數(shù)據(jù)具有質(zhì)量高、價(jià)值大、可定位性好等特點(diǎn)。證券公司擁有大量的客戶交易數(shù)據(jù)，通過對這些數(shù)據(jù)的分析，可以細(xì)分客戶類別，并據(jù)此為客戶提供差異化服務(wù)。此外，公司可以對實(shí)時(shí)行情、財(cái)務(wù)報(bào)告、經(jīng)濟(jì)信息、新聞等衍生數(shù)據(jù)進(jìn)行分析，也可以對產(chǎn)品/投資品信息、頭寸/交易信息、交易對手?jǐn)?shù)據(jù)、評級數(shù)據(jù)等參考數(shù)據(jù)進(jìn)行分析，還可以分析曲線、差價(jià)、波動(dòng)信息、相關(guān)性分析等經(jīng)過加工后產(chǎn)生的數(shù)據(jù)。 （一）證券公司大數(shù)據(jù)的應(yīng)用概括定量分析是在基于產(chǎn)品的幾十

3、個(gè)甚至上百個(gè)獨(dú)立變量之間尋找定義數(shù)以千計(jì)的客戶細(xì)分。從深度歷史數(shù)據(jù)中找到隱含相關(guān)性，從而使公司可以做出更加正確的決策，在尋找有針對性的銷售、市場和定價(jià)策略方面更可能成功，這意味著帶給證券公司更多的收入和更快的銷售周期。圖1給出了大數(shù)據(jù)在證券公司的主要應(yīng)用流程圖，詳細(xì)描述了大數(shù)據(jù)在量化研究、風(fēng)險(xiǎn)管理及客戶管理等方面的應(yīng)用。圖1：大數(shù)據(jù)在證券公司的主要應(yīng)用流程圖未來證券公司需要分析的數(shù)據(jù)量、復(fù)雜度和語義深度都將大幅增加。而數(shù)據(jù)管理能力涵蓋數(shù)據(jù)的獲取、清洗、存儲、分析和發(fā)布，幫助證券公司在客戶管理、產(chǎn)品創(chuàng)新、風(fēng)險(xiǎn)管理和業(yè)務(wù)運(yùn)營上提高水平。證券公司作為多牌照的金融機(jī)構(gòu)，不同牌照間通過對客戶行為數(shù)據(jù)、客

4、戶交易數(shù)據(jù)的分析，可以開發(fā)設(shè)計(jì)出新的產(chǎn)品。（二）大數(shù)據(jù)在風(fēng)險(xiǎn)控制中的應(yīng)用證券公司在風(fēng)險(xiǎn)控制時(shí)需要最新的風(fēng)險(xiǎn)敞口信息，在特定時(shí)間和所處頭寸期間由市場波動(dòng)來計(jì)算風(fēng)險(xiǎn)度量，而風(fēng)險(xiǎn)系統(tǒng)依賴于每天的交易輸入和市場數(shù)據(jù)，這帶來了累積式風(fēng)險(xiǎn)的不完整性和不同步性。為做出正確決定，風(fēng)險(xiǎn)管理系統(tǒng)必須通過各種累積式層次來展示累積式風(fēng)險(xiǎn)，為了分析各種風(fēng)險(xiǎn)，傳統(tǒng)的方法是首先創(chuàng)建數(shù)據(jù)倉庫，然后將從其它系統(tǒng)中導(dǎo)入的數(shù)據(jù)轉(zhuǎn)換為特定格式。這意味著對于每個(gè)風(fēng)險(xiǎn)系統(tǒng)和每個(gè)數(shù)據(jù)格式都需要數(shù)據(jù)抽取、轉(zhuǎn)換和加載,因此需要針對數(shù)據(jù)倉庫創(chuàng)建特殊的數(shù)據(jù)庫架構(gòu)，這些結(jié)構(gòu)在未更改數(shù)據(jù)的快速讀入中是最優(yōu)的。在處理累積式風(fēng)險(xiǎn)數(shù)據(jù)和度量時(shí)，數(shù)據(jù)需要在給

5、定風(fēng)險(xiǎn)的最優(yōu)估計(jì)下重新計(jì)算，而關(guān)系數(shù)據(jù)庫不能很有效地處理這些數(shù)據(jù)，大數(shù)據(jù)和NoSQL系統(tǒng)則可以為此提供有力的支持。二、證券公司大數(shù)據(jù)分析面臨的挑戰(zhàn) （一）海量化管理大規(guī)模且迅速增長的數(shù)據(jù)是個(gè)極具挑戰(zhàn)性的問題，目前數(shù)據(jù)增長的速度已經(jīng)超過了計(jì)算資源的增長速度。海量化的挑戰(zhàn)不僅僅在于收集和存儲巨量的多樣化數(shù)據(jù)，還在于管理和處理舊數(shù)據(jù)。證券公司每天產(chǎn)生的大量交易數(shù)據(jù)、客戶咨詢以及對公司產(chǎn)生影響的外部數(shù)據(jù)，新舊數(shù)據(jù)的存儲和管理改變著當(dāng)前的存儲模式。（二）及時(shí)性速度是規(guī)模的另一方面。要處理的數(shù)據(jù)集越大，進(jìn)行分析所花費(fèi)時(shí)間將越長。在大數(shù)據(jù)背景下，許多情況下需要立即得到分析結(jié)果。例如在進(jìn)行信用卡交易時(shí)，如果懷

6、疑該卡涉嫌欺詐，應(yīng)該在交易完成前做出判斷，這就需要事先對部分結(jié)果進(jìn)行預(yù)計(jì)算，再結(jié)合新數(shù)據(jù)進(jìn)行少量的增量計(jì)算才能迅速做出判斷。高頻交易是近些年來興起的新型交易策略，它利用復(fù)雜的計(jì)算機(jī)技術(shù)和系統(tǒng)，以毫秒級甚至更快的速度執(zhí)行交易，且日內(nèi)短暫持倉。一毫秒的交易執(zhí)行延遲都可能帶來高達(dá)數(shù)百萬的交易損失，這要求在處理數(shù)據(jù)時(shí)需要更低的程序延遲、更高的程序吞吐量和更高級的代碼可擴(kuò)展性。這給IT部門面對數(shù)據(jù)量大幅增長和改善交易執(zhí)行時(shí)間帶來新的壓力。此外,為了支持大數(shù)據(jù)上的新型查詢，需要設(shè)計(jì)新的索引結(jié)構(gòu)來支持此類查詢。當(dāng)數(shù)據(jù)量越來越大并且查詢響應(yīng)時(shí)間有嚴(yán)格限制時(shí)，索引結(jié)構(gòu)的設(shè)計(jì)非常具有挑戰(zhàn)性。隨著資本市場交易的異常

7、活躍和金融創(chuàng)新產(chǎn)品的多元化，部分券商后臺服務(wù)處理能力接近極限，券商系統(tǒng)在網(wǎng)絡(luò)帶寬、行情調(diào)取和數(shù)據(jù)交接等方面面臨較大壓力，傳統(tǒng)交易系統(tǒng)面臨系統(tǒng)維護(hù)、升級以及數(shù)據(jù)采集工作等困難。未來可以通過大數(shù)據(jù)運(yùn)營平臺進(jìn)行數(shù)據(jù)分析，設(shè)計(jì)預(yù)警閾值，及時(shí)發(fā)現(xiàn)系統(tǒng)運(yùn)行故障并進(jìn)行實(shí)時(shí)監(jiān)控，提高系統(tǒng)的可預(yù)判性。（三）隱私性在大數(shù)據(jù)環(huán)境下，數(shù)據(jù)隱私問題更加突出。有效進(jìn)行數(shù)據(jù)隱私管理既是一個(gè)技術(shù)問題，又是一個(gè)社會問題。如基于位置的服務(wù)需要用戶和服務(wù)供應(yīng)商分享其位置，這會造成明顯的隱私問題。如何保證證券公司私人數(shù)據(jù)的正常使用，并將部分?jǐn)?shù)據(jù)結(jié)果分享給客戶，又能夠保證數(shù)據(jù)隱私不被泄漏，對技術(shù)的應(yīng)用提出了挑戰(zhàn)。（四）數(shù)據(jù)異構(gòu)性和不完

8、備性大數(shù)據(jù)的異構(gòu)性和不完備性是數(shù)據(jù)處理面臨的挑戰(zhàn)。所謂異構(gòu)性是指數(shù)據(jù)有多種不同的呈現(xiàn)形式，如視頻、數(shù)字、文本等，導(dǎo)致數(shù)據(jù)格式上的異構(gòu)。目前機(jī)器分析算法能夠智能處理同構(gòu)的數(shù)據(jù)，但不能理解數(shù)據(jù)之間的細(xì)微差別。對于大數(shù)據(jù)而言，即使在數(shù)據(jù)分析之前進(jìn)行了數(shù)據(jù)的清洗和糾錯(cuò)，數(shù)據(jù)仍可能存在缺失和錯(cuò)誤，在進(jìn)行數(shù)據(jù)分析時(shí)，正確地面對缺失和錯(cuò)誤數(shù)據(jù)是一個(gè)挑戰(zhàn)。大數(shù)據(jù)的異構(gòu)性、海量化、及時(shí)性、復(fù)雜性和隱私問題從各個(gè)環(huán)節(jié)阻礙了數(shù)據(jù)價(jià)值的創(chuàng)造。在數(shù)據(jù)收集時(shí)，應(yīng)該決定哪些數(shù)據(jù)需要保留，哪些數(shù)據(jù)需要丟棄，并且在保留數(shù)據(jù)的同時(shí)可靠地存儲正確的元數(shù)據(jù)。（五）大數(shù)據(jù)高效計(jì)算系統(tǒng)結(jié)構(gòu)與方法大數(shù)據(jù)計(jì)算的關(guān)鍵與核心問題是效率和成本。提

9、升計(jì)算效率和降低計(jì)算成本的主要措施是研發(fā)高效的計(jì)算系統(tǒng)結(jié)構(gòu)和構(gòu)造面向大數(shù)據(jù)的“易計(jì)算性”算法。如何實(shí)現(xiàn)高效的內(nèi)存計(jì)算技術(shù)、高效存儲與技術(shù)耦合、高效并行的分布式計(jì)算方法及相關(guān)的基礎(chǔ)理論，以滿足實(shí)時(shí)、高效、低能耗與低成本的大數(shù)據(jù)分析與技術(shù)需求，是證券公司需要面臨的挑戰(zhàn)。此外，大數(shù)據(jù)具有維數(shù)高和大樣本的特征，這兩個(gè)特征引起三大挑戰(zhàn)：一是高維數(shù)據(jù)帶來噪聲積累、偽相關(guān)性和偶然同質(zhì)性；二是高維和大樣本數(shù)據(jù)帶來計(jì)算上的困難和算法的不穩(wěn)定性；三是大數(shù)據(jù)的大樣本通常是來自利用不同的技術(shù)在不同時(shí)間點(diǎn)多源頭的聚集。這通常帶來異質(zhì)性、實(shí)驗(yàn)變異、統(tǒng)計(jì)偏差等問題，需要設(shè)計(jì)更多適應(yīng)性強(qiáng)和健壯的程序來滿足要求。三、證券公司大

10、數(shù)據(jù)的架構(gòu)（一）證券公司數(shù)據(jù)的存儲近些年來，傳感器和其它數(shù)據(jù)收集技術(shù)及存儲工具價(jià)格的下降，使得收集數(shù)據(jù)變得越來越便宜。由于對于高速和實(shí)時(shí)性的要求，傳統(tǒng)關(guān)系數(shù)據(jù)庫系統(tǒng)模型、存儲和解析解不能很好地處理大量的非結(jié)構(gòu)化數(shù)據(jù)，這就需要類似Hadoop和NoSQL之類的非關(guān)系數(shù)據(jù)庫，傳統(tǒng)查詢語言SQL也將被Map Reduce替代。為了將數(shù)據(jù)進(jìn)行分析，首先需將所需要的信息從原始數(shù)據(jù)中抽取出來，并表達(dá)成適合分析的格式。有效的數(shù)據(jù)采集是工作人員面臨的第一個(gè)挑戰(zhàn)，研究有效的數(shù)據(jù)約減技術(shù)，刪除無用數(shù)據(jù)，將數(shù)據(jù)約減到一個(gè)能夠處理的規(guī)模，這需要有效的數(shù)據(jù)模型。此外，非結(jié)構(gòu)化數(shù)據(jù)的存儲也是要面臨的另一個(gè)主要問題。如何高

11、效存儲非結(jié)構(gòu)化數(shù)據(jù)并在需要時(shí)快速提取信息需要技術(shù)上的突破。證券公司對數(shù)據(jù)傳速、存儲和分析的及時(shí)性有著較高要求，大數(shù)據(jù)存儲需要能夠處理容量問題和為分析工作的低延時(shí)提供服務(wù)。由于需要顯著改善性能和低功耗，相對于硬盤存儲器，閃速存儲器將會更加普及。云存儲閃存的使用將使得共享資源更加流行，對于大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)解析的需求和對其價(jià)值的開發(fā)也在逐漸增加。連續(xù)的數(shù)據(jù)抽取、有效存儲和即時(shí)分析將有助于證券公司做出快速高效的決策，也將提高公司數(shù)據(jù)處理的效率。圖2給出了證券公司的數(shù)據(jù)分析圖示，有效結(jié)合內(nèi)外部數(shù)據(jù)并將數(shù)據(jù)分析結(jié)果進(jìn)行可視化，可以幫助公司獲取真知灼見的洞察力和做出高效的決策。圖2：證券公司的數(shù)據(jù)分析圖示

12、（二）證券公司數(shù)據(jù)的分析工具在IT方面，Hadoop是解決大數(shù)據(jù)問題最重要的工具。在所使用的程序語言方面，C/C+和Java是最常用的程序語言，能夠分析大量的數(shù)據(jù)集也是它們的優(yōu)點(diǎn)之一。但近幾年來，Python語言和R語言發(fā)展迅速，其中R語言主要用于統(tǒng)計(jì)分析、繪圖語言和操作環(huán)境，自由、免費(fèi)、開源的代碼使得它成為當(dāng)今統(tǒng)計(jì)學(xué)者和數(shù)據(jù)分析師常用的語言之一。考慮到安全性和運(yùn)行速度，國外的投資銀行大多采用unix/linux系統(tǒng)，這就要求相關(guān)工作人員充分理解該類系統(tǒng)，并對SQL和NoSQL等數(shù)據(jù)知識進(jìn)行掌握。（三）證券公司數(shù)據(jù)的分析工具在國外投資銀行，寬客(quants)扮演著數(shù)據(jù)分析的角色。數(shù)據(jù)科學(xué)家將

13、IT技術(shù)和金融、數(shù)學(xué)結(jié)合在一起，他們正成為銀行和金融機(jī)構(gòu)的重要力量。研究人員在機(jī)器學(xué)習(xí)算法上的重大突破，構(gòu)成了很多數(shù)據(jù)挖掘算法技術(shù)的基礎(chǔ)。除了熟練掌握所需要的硬、軟件技術(shù)外，數(shù)據(jù)分析師還需要保持對新思路和新技術(shù)的高度好奇和持續(xù)的深度研究，為解決復(fù)雜問題找到合適答案。數(shù)據(jù)的分析主要有數(shù)據(jù)分析和預(yù)測分析。所謂數(shù)據(jù)分析，是指通過對大量非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析，給投資者提供有效建議。而預(yù)測分析，主要是預(yù)測未來的市場、指數(shù)和產(chǎn)品以及分析它們之間的相關(guān)性。數(shù)據(jù)科學(xué)主要涉及預(yù)測和總結(jié)，也與數(shù)據(jù)操作、可視化和其它相似任務(wù)有關(guān)，其它用來描述計(jì)算機(jī)輔助的數(shù)據(jù)分析如知識抽取、信息發(fā)現(xiàn)、信息收獲、數(shù)據(jù)考古、數(shù)據(jù)模

14、式處理和探索性數(shù)據(jù)分析，也將是證券公司數(shù)據(jù)分析的常用工具。圖3描述了證券公司數(shù)據(jù)處理從原始數(shù)據(jù)到數(shù)據(jù)分析結(jié)果的全貌。圖3：證券公司數(shù)據(jù)處理流程圖（四）證券公司數(shù)據(jù)的可視化數(shù)據(jù)可視化起源于1960年的計(jì)算機(jī)圖形學(xué)，人們使用計(jì)算機(jī)創(chuàng)建圖形圖表，通過可視化將數(shù)據(jù)的各種屬性和變量呈現(xiàn)出來。對于大數(shù)據(jù)不了解的人來講，數(shù)據(jù)可視化提供了最簡單快捷的了解數(shù)據(jù)的方法，使得大數(shù)據(jù)更加貼近一般人群的使用習(xí)慣和需求，也使得數(shù)據(jù)變得更有意義和易于理解，幫助證券公司從復(fù)雜的數(shù)據(jù)中快速高效的實(shí)行決策。不同于傳統(tǒng)數(shù)據(jù)可視化工具僅僅將數(shù)據(jù)加以組合并通過圖形化展示給客戶，大數(shù)據(jù)環(huán)境下的數(shù)據(jù)可視化必須滿足快速增長數(shù)據(jù)的需求，需要快

15、速地收集、篩選和分析數(shù)據(jù)，然后進(jìn)行歸納，并將決策者所需要的信息以可視化的形象表示出來，還需要對新增的數(shù)據(jù)實(shí)現(xiàn)實(shí)時(shí)更新。考慮到可視化工具需要普通員工簡單掌握，所以還需具有易于使用、易于操作、易于理解和易于接受等特點(diǎn)，并能夠以多樣化的形式展現(xiàn)出來。四、證券公司大數(shù)據(jù)分析的受益方大數(shù)據(jù)在證券公司的應(yīng)用，不僅可以帶來巨大的經(jīng)濟(jì)效益，還能夠使得公司各層領(lǐng)導(dǎo)、員工和客戶不必要了解大數(shù)據(jù)，即可根據(jù)相關(guān)數(shù)據(jù)的可視化了解所需要的信息。（一）公司客戶 證券公司的客戶，既有資金雄厚的機(jī)構(gòu)客戶，又有大量散戶，他們的業(yè)務(wù)有股票、融資融券、期貨期權(quán)等?？蛻艨梢圆榭垂就扑偷氖謾C(jī)客戶端服務(wù)、理財(cái)服務(wù)和研究報(bào)告中獲知最新信息

16、，可以通過公司的客戶服務(wù)平臺獲得個(gè)性化服務(wù)，可以獲知大盤、個(gè)股、行業(yè)等咨詢服務(wù)和個(gè)股推薦、市場公告、新股發(fā)行等投資服務(wù)，還可以根據(jù)自己的持倉情況定制所需的資訊和服務(wù)，并與經(jīng)紀(jì)人服務(wù)系統(tǒng)進(jìn)行交流。（二）公司普通員工公司普通員工可以從數(shù)據(jù)分析報(bào)告中看到公司的實(shí)際經(jīng)營績效，看到每一段時(shí)間內(nèi)影響公司業(yè)績的主要指標(biāo)，通過優(yōu)化內(nèi)部流程、推出新的產(chǎn)品和提高服務(wù)等來提高公司業(yè)績?？梢灶A(yù)測，未來發(fā)展優(yōu)異的證券公司一定是圍繞數(shù)據(jù)構(gòu)建組織并恪守?cái)?shù)據(jù)驅(qū)動(dòng)型決策承諾的公司。不同的客戶投資存在不同的偏好，營業(yè)部可以通過差異化的客戶服務(wù)，為客戶特別是機(jī)構(gòu)客戶打造量身定制的服務(wù)，從而培養(yǎng)客戶的忠誠度。同時(shí)還可以根據(jù)數(shù)據(jù)分析情

17、況，調(diào)整高凈值客戶個(gè)性化和專業(yè)化服務(wù)工作。（三）公司中層領(lǐng)導(dǎo)中層領(lǐng)導(dǎo)可以通過數(shù)據(jù)分析報(bào)告，看到不同月份之間的營業(yè)收入差異，看到不同業(yè)務(wù)的收入和凈收入變化，也可以看到不同營業(yè)部之間各種收入的差別，找出影響收入的主要因素，分析未來趨勢，進(jìn)而調(diào)整未來一段時(shí)間的業(yè)務(wù)。（四）公司高層領(lǐng)導(dǎo)傳統(tǒng)意義上，考察一家公司過去一段時(shí)間的業(yè)績，主要通過業(yè)務(wù)指標(biāo)和財(cái)務(wù)指標(biāo)來表現(xiàn)，具體可以通過收入、凈利潤和凈資產(chǎn)回報(bào)率等指標(biāo)來確定。公司領(lǐng)導(dǎo)也習(xí)慣通過這些數(shù)據(jù)來調(diào)整公司的工作重點(diǎn)。數(shù)據(jù)分析可以通過收入、凈利潤和凈資產(chǎn)回報(bào)率等指標(biāo)的相關(guān)性找出影響公司業(yè)績的因素，發(fā)掘出其中與公司業(yè)務(wù)發(fā)展緊密相關(guān)的數(shù)據(jù)和規(guī)律，增強(qiáng)高層領(lǐng)導(dǎo)調(diào)整公

18、司工作重點(diǎn)的理性依據(jù)。通過利用公司數(shù)據(jù)對未來業(yè)務(wù)的預(yù)測，可以幫助公司領(lǐng)導(dǎo)可視化地看到公司部門的相關(guān)性和緊密度。五、證券公司大數(shù)據(jù)的應(yīng)用展望隨著牌照逐漸市場化，券商經(jīng)紀(jì)業(yè)務(wù)將面臨互聯(lián)網(wǎng)公司的沖擊，互聯(lián)網(wǎng)券商的業(yè)務(wù)將會逐漸細(xì)分，在小額信用、質(zhì)押式回購融資、資管理財(cái)?shù)葮I(yè)務(wù)方面將有通過互聯(lián)網(wǎng)轉(zhuǎn)向零售模式的可能，良好的客戶體驗(yàn)將吸引大批客戶資源。未來，交互性能好、中間成本低、操作便捷且用戶體驗(yàn)好的券商將會受益。這就要求券商不斷挖掘用戶需求、提供相關(guān)增值服務(wù)，通過大數(shù)據(jù)技術(shù)進(jìn)行海量數(shù)據(jù)的采集、加工和分析，為用戶提供更為互聯(lián)網(wǎng)化的投資服務(wù)是未來的趨勢之一。與發(fā)達(dá)國家相比，我國在大數(shù)據(jù)應(yīng)用層面的差距較大。主要表現(xiàn)在大數(shù)據(jù)技術(shù)在我國的應(yīng)用和推廣發(fā)