金融科技概論-第二章 大數(shù)據(jù)

金融科技概論第二章大數(shù)據(jù)學(xué)習(xí)目標(biāo)：1.了解大數(shù)據(jù)的特點(diǎn)、大數(shù)據(jù)技術(shù)，體會(huì)大數(shù)據(jù)給人們的日常生活帶來的影響和改變。2.了解大數(shù)據(jù)在金融領(lǐng)域的作用，以及各類型金融機(jī)構(gòu)如何利用大數(shù)據(jù)賦能其傳統(tǒng)業(yè)務(wù)。核心概念：大數(shù)據(jù)大數(shù)據(jù)技術(shù)大數(shù)據(jù)治理數(shù)字鴻溝第二章第一節(jié)大數(shù)據(jù)概況第二節(jié)大數(shù)據(jù)的功用第三節(jié)大數(shù)據(jù)在金融中的應(yīng)用第四節(jié)大數(shù)據(jù)的風(fēng)險(xiǎn)和挑戰(zhàn)第一節(jié)大數(shù)據(jù)概況一、大數(shù)據(jù)的定義

大數(shù)據(jù)的定義存在多個(gè)版本，尚無權(quán)威機(jī)構(gòu)進(jìn)行統(tǒng)一界定。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么該產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵在于提高對(duì)數(shù)據(jù)的加工能力，通過加工實(shí)現(xiàn)數(shù)據(jù)的增值。第一節(jié)大數(shù)據(jù)概況二、大數(shù)據(jù)的發(fā)展歷程

萌芽期(1980-2008年)成長期(2009—2012年)爆發(fā)期(2013—2015年)大規(guī)模應(yīng)用期(2016年至今)20世紀(jì)90年代，隨著數(shù)據(jù)挖掘理論和數(shù)據(jù)庫技術(shù)的逐步成熟，第一批商業(yè)智能工具和知識(shí)管理技術(shù)開始被廣泛應(yīng)用，真正的大數(shù)據(jù)概念開始萌芽。伴隨互聯(lián)網(wǎng)和智能手機(jī)的快速發(fā)展，數(shù)據(jù)碎片化、非結(jié)構(gòu)化特征更加明顯，數(shù)據(jù)量呈爆發(fā)式增長，對(duì)大量數(shù)據(jù)處理、分析的需求快速上升，大數(shù)據(jù)市場迅速成長。大數(shù)據(jù)迎來了發(fā)展的高潮，大數(shù)據(jù)在商業(yè)行為、國家戰(zhàn)略層面均起到越來越大的作用。大數(shù)據(jù)應(yīng)用滲透到各行各業(yè)，大數(shù)據(jù)價(jià)值不斷凸顯，大數(shù)據(jù)產(chǎn)業(yè)迎來快速發(fā)展和大規(guī)模應(yīng)用實(shí)施。第一節(jié)大數(shù)據(jù)概況大數(shù)據(jù)產(chǎn)業(yè)鏈如下圖數(shù)據(jù)應(yīng)用產(chǎn)品服務(wù)個(gè)性化推薦、精準(zhǔn)營銷等行業(yè)應(yīng)用金融、征信、交通、物流、醫(yī)療等社會(huì)治理智慧城市、智慧政務(wù)等數(shù)據(jù)管理數(shù)據(jù)集成、數(shù)據(jù)存取、計(jì)算處理、數(shù)據(jù)挖掘、云存儲(chǔ)、數(shù)據(jù)安全等數(shù)據(jù)分析圖像分析、視頻分析、文本分析、語音分析、人工智能（AI）、商業(yè)智能（BI）、可視化等數(shù)據(jù)來源官方數(shù)據(jù)、企業(yè)聯(lián)盟、第三方數(shù)據(jù)服務(wù)、企業(yè)數(shù)據(jù)等數(shù)據(jù)交易中心第一節(jié)大數(shù)據(jù)概況三、大數(shù)據(jù)的核心技術(shù)及分類

根據(jù)數(shù)據(jù)從獲取到最終分析的全部處理流程，大數(shù)據(jù)的核心技術(shù)主要涉及數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析等。大數(shù)據(jù)技術(shù)主要通過上述流程挖掘數(shù)據(jù)中蘊(yùn)含的價(jià)值信息并做出決策。（1）API采集（2）網(wǎng)絡(luò)爬蟲（3）感知設(shè)備數(shù)據(jù)采集數(shù)據(jù)采集（1）集中式存儲(chǔ)（2）分布式存儲(chǔ)數(shù)據(jù)存儲(chǔ)（1）數(shù)據(jù)清理（2）數(shù)據(jù)集成（3）數(shù)據(jù)規(guī)約（4）數(shù)據(jù)變換數(shù)據(jù)預(yù)處理（1）數(shù)據(jù)挖掘（2）機(jī)器學(xué)習(xí)（3）深度學(xué)習(xí)（4）自然語言處理大數(shù)據(jù)分析第一節(jié)大數(shù)據(jù)概況大數(shù)據(jù)的分類

根據(jù)數(shù)據(jù)是否有限，數(shù)據(jù)可以分為無邊界數(shù)據(jù)和有邊界數(shù)據(jù)，有邊界數(shù)據(jù)可以看作無邊界數(shù)據(jù)的子集，大數(shù)據(jù)的處理本質(zhì)是為了解決無邊界數(shù)據(jù)。數(shù)據(jù)又含兩種時(shí)域，即事件時(shí)間（數(shù)據(jù)實(shí)際產(chǎn)生的時(shí)點(diǎn)）和處理時(shí)間（處理數(shù)據(jù)的系統(tǒng)架構(gòu)實(shí)際接收數(shù)據(jù)的時(shí)點(diǎn)），基于此，數(shù)據(jù)處理分為批處理、流處理。

添加標(biāo)題第一節(jié)大數(shù)據(jù)概況四、大數(shù)據(jù)的特點(diǎn)-4V添加標(biāo)題03010204速度快(velocity)量級(jí)大(volume)種類多(variety)價(jià)值性(value)量級(jí)大(volume):龐大的數(shù)據(jù)量是大數(shù)據(jù)最基本的特征，具體表現(xiàn)為。種類多(variety):大數(shù)據(jù)來源復(fù)雜、種類繁多，包括各種格式及形態(tài)的數(shù)據(jù)。速度快(velocity):大數(shù)據(jù)的獲取是隨時(shí)隨地進(jìn)行的，高速采集、處理、分析是大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)挖掘技術(shù)的顯著不同。價(jià)值性(value):大數(shù)據(jù)包含很多深度價(jià)值，通過對(duì)其分析、挖掘而產(chǎn)生的價(jià)值總量將是巨大的，而其價(jià)值密度卻往往很低。

隨著大數(shù)據(jù)技術(shù)的發(fā)展，不斷有人提出新的特點(diǎn)。比如，強(qiáng)調(diào)數(shù)據(jù)質(zhì)量的準(zhǔn)確性(veracity)、強(qiáng)調(diào)數(shù)據(jù)體系不斷變化的動(dòng)態(tài)性(vitality)、強(qiáng)調(diào)數(shù)據(jù)顯性化展現(xiàn)的可視性(visualization)、強(qiáng)調(diào)數(shù)據(jù)應(yīng)用過程規(guī)范的合法性(validity)等。第一節(jié)大數(shù)據(jù)概況五、大數(shù)據(jù)的發(fā)展現(xiàn)狀及展望根據(jù)大數(shù)據(jù)分析預(yù)測未來、指導(dǎo)實(shí)踐的深層次應(yīng)用將成為之后的發(fā)展重點(diǎn)應(yīng)用層面大數(shù)據(jù)現(xiàn)象倒逼技術(shù)變革，將使信息技術(shù)體系進(jìn)行一次重構(gòu)，這也帶來了顛覆式發(fā)展的機(jī)遇技術(shù)層面有機(jī)結(jié)合技術(shù)與標(biāo)準(zhǔn)，建立良好的大數(shù)據(jù)共享與開放環(huán)境仍需要進(jìn)一步探索。治理層面大數(shù)據(jù)學(xué)習(xí)目標(biāo)：1.了解大數(shù)據(jù)的特點(diǎn)、大數(shù)據(jù)技術(shù)，體會(huì)大數(shù)據(jù)給人們的日常生活帶來的影響和改變。2.了解大數(shù)據(jù)在金融領(lǐng)域的作用，以及各類型金融機(jī)構(gòu)如何利用大數(shù)據(jù)賦能其傳統(tǒng)業(yè)務(wù)。核心概念：大數(shù)據(jù)大數(shù)據(jù)技術(shù)大數(shù)據(jù)治理數(shù)字鴻溝第二章第一節(jié)大數(shù)據(jù)概況第二節(jié)大數(shù)據(jù)的功用第三節(jié)大數(shù)據(jù)在金融中的應(yīng)用第四節(jié)大數(shù)據(jù)的風(fēng)險(xiǎn)和挑戰(zhàn)第二節(jié)大數(shù)據(jù)的功用一、多樣化數(shù)據(jù)豐富觀察視角二、借助海量數(shù)據(jù)推斷總體

隨著互聯(lián)網(wǎng)的發(fā)展，文檔、圖片、音頻、視頻、地理位置等非結(jié)構(gòu)化數(shù)據(jù)激增，這些非結(jié)構(gòu)化數(shù)據(jù)通常更加復(fù)雜且難以處理，但它們也能為我們觀察世界提供極大的增益作用。利用樣本分析總體是常用的統(tǒng)計(jì)思想，但如果采集的樣本過少，往往很難憑借有限的樣本得出總體的規(guī)律，憑借大數(shù)據(jù)量級(jí)大的特點(diǎn)，可以很好地利用大數(shù)據(jù)獲得大量樣本的信息，進(jìn)而對(duì)總體的分布可以有更好的把握。第二節(jié)大數(shù)據(jù)的功用三、從大數(shù)據(jù)中挖掘規(guī)律四、大數(shù)據(jù)帶來新價(jià)值鏈與新價(jià)值創(chuàng)造方法

面對(duì)龐雜甚至有錯(cuò)誤的總體數(shù)據(jù)，除了探求因果關(guān)系，關(guān)注事物的相關(guān)關(guān)系也能夠有所發(fā)現(xiàn)，并通過這種關(guān)系解決問題。(一)大數(shù)據(jù)的內(nèi)在價(jià)值及價(jià)值鏈(二)通過創(chuàng)新挖掘大數(shù)據(jù)潛在價(jià)值大數(shù)據(jù)學(xué)習(xí)目標(biāo)：1.了解大數(shù)據(jù)的特點(diǎn)、大數(shù)據(jù)技術(shù)，體會(huì)大數(shù)據(jù)給人們的日常生活帶來的影響和改變。2.了解大數(shù)據(jù)在金融領(lǐng)域的作用，以及各類型金融機(jī)構(gòu)如何利用大數(shù)據(jù)賦能其傳統(tǒng)業(yè)務(wù)。核心概念：大數(shù)據(jù)大數(shù)據(jù)技術(shù)大數(shù)據(jù)治理數(shù)字鴻溝第二章第一節(jié)大數(shù)據(jù)概況第二節(jié)大數(shù)據(jù)的功用第三節(jié)大數(shù)據(jù)在金融中的應(yīng)用第四節(jié)大數(shù)據(jù)的風(fēng)險(xiǎn)和挑戰(zhàn)第三節(jié)大數(shù)據(jù)在金融中的應(yīng)用一、大數(shù)據(jù)在金融領(lǐng)域的作用

第一，數(shù)據(jù)將成為金融機(jī)構(gòu)的核心競爭力。信息不對(duì)稱問題的解決，可能帶來極大的金融經(jīng)營競爭優(yōu)勢，對(duì)于部分公司而言，數(shù)據(jù)甚至將成為最核心的資產(chǎn)。

第二，金融脫媒將加劇。隨著大數(shù)據(jù)金融公司得到的優(yōu)勢愈發(fā)明顯，市場份額不斷提升，金融脫媒現(xiàn)象將更加突出。如果未來金融業(yè)務(wù)相關(guān)牌照的限制減少，大數(shù)據(jù)帶給傳統(tǒng)金融行業(yè)的沖擊將更大。

第三，金融業(yè)務(wù)形態(tài)極大變化。以風(fēng)險(xiǎn)管理為例，傳統(tǒng)模式更注重于抵押、質(zhì)押資產(chǎn)和實(shí)地考察調(diào)研，而在大數(shù)據(jù)時(shí)代下，數(shù)據(jù)分析將以更新的形態(tài)發(fā)揮更大的作用。第三節(jié)大數(shù)據(jù)在金融中的應(yīng)用二、大數(shù)據(jù)在銀行業(yè)的應(yīng)用大數(shù)據(jù)與商業(yè)銀行的結(jié)合，依賴于商業(yè)銀行三個(gè)得天獨(dú)厚的優(yōu)勢：第一，商業(yè)銀行業(yè)務(wù)系統(tǒng)信息化程度高。第二，商業(yè)銀行數(shù)據(jù)類別和數(shù)量都是極大的。第三，商業(yè)銀行業(yè)務(wù)比較規(guī)范，數(shù)據(jù)相對(duì)準(zhǔn)確性高。

第三節(jié)大數(shù)據(jù)在金融中的應(yīng)用二、大數(shù)據(jù)在銀行業(yè)的應(yīng)用大數(shù)據(jù)在客戶關(guān)系管理和營銷、信貸管理、風(fēng)險(xiǎn)管理、供應(yīng)鏈金融、征信等方面都可以與商業(yè)銀行業(yè)務(wù)緊密結(jié)合。（一）客戶關(guān)系管理和營銷：用于客戶分類、預(yù)測客戶流、高效渠道管理、精準(zhǔn)營銷。（二）信貸管理：優(yōu)化革新信貸調(diào)查、審查、管理的過程，最終實(shí)現(xiàn)信貸業(yè)務(wù)效益的提升。（三）風(fēng)險(xiǎn)管理：大數(shù)據(jù)技術(shù)將其納入評(píng)估是對(duì)風(fēng)險(xiǎn)模型的有效改進(jìn)。（四）供應(yīng)鏈金融：利用大數(shù)據(jù)的方式對(duì)供應(yīng)鏈進(jìn)行更深入的“理解”，將會(huì)大幅提升供應(yīng)鏈金融的效率。（五）征信：大數(shù)據(jù)征信是指運(yùn)用大數(shù)據(jù)技術(shù)分析，重構(gòu)征信模型和算法，廣泛考察個(gè)人、企業(yè)、社會(huì)團(tuán)體的信用狀況。第三節(jié)大數(shù)據(jù)在金融中的應(yīng)用三、大數(shù)據(jù)在證券業(yè)的應(yīng)用(一)量化投資(二)股票分析在金融業(yè)中，證券業(yè)屬于數(shù)據(jù)密集型行業(yè)，積累了包括上市公司財(cái)務(wù)信息、市場信息、客戶信息和交易數(shù)據(jù)等許多數(shù)據(jù)。而對(duì)于這些數(shù)據(jù)的處理和分析，有助于投資者和券商更好地進(jìn)行證券投資。量化投資是運(yùn)用數(shù)理統(tǒng)計(jì)分析的方法，分析大量與投資相關(guān)的歷史數(shù)據(jù)。同時(shí)借助計(jì)算機(jī)的程序化交易，選取未來高回報(bào)的證券進(jìn)行投資，獲取超額收益。大數(shù)據(jù)在量化投資中的應(yīng)用，主要是在高頻交易領(lǐng)域?qū)Y(jié)構(gòu)型數(shù)據(jù)的應(yīng)用。股票分析分為基本面分析和技術(shù)分析兩個(gè)方面，其中基本面分析包括股票選擇和投資組合，技術(shù)分析包括交易策略和買賣時(shí)機(jī)。第三節(jié)大數(shù)據(jù)在金融中的應(yīng)用四、大數(shù)據(jù)在保險(xiǎn)業(yè)的應(yīng)用(一)承保定價(jià)(二)保險(xiǎn)公司經(jīng)營保險(xiǎn)業(yè)是一個(gè)對(duì)信息資源高度依賴的行業(yè)，將大數(shù)據(jù)的思維和處理模式引入保險(xiǎn)業(yè)已成為多數(shù)人的共識(shí)。但是與銀行業(yè)和證券業(yè)相比，保險(xiǎn)業(yè)的數(shù)據(jù)基礎(chǔ)尚未完善，其內(nèi)部數(shù)據(jù)大多處于數(shù)據(jù)孤島的狀態(tài)，難以被充分挖掘和利用，大數(shù)據(jù)的應(yīng)用才剛剛起步。保險(xiǎn)是一種風(fēng)險(xiǎn)管理的金融工具，其定價(jià)主要是依據(jù)大數(shù)法則和保險(xiǎn)精算理論，而大數(shù)據(jù)在承保定價(jià)中發(fā)揮著輔助作用。在傳統(tǒng)定價(jià)方法的基礎(chǔ)上，進(jìn)行大數(shù)據(jù)分析有助于保險(xiǎn)公司將客戶細(xì)分化、產(chǎn)品定制化，從而建立科學(xué)有效的保險(xiǎn)費(fèi)率浮動(dòng)機(jī)制和對(duì)不同客戶的差別化定價(jià)機(jī)制。股票分析分為基本面分析和技術(shù)分析兩個(gè)方面，其中基本面分析包括股票選擇和投資組合，技術(shù)分析包括交易策略和買賣時(shí)機(jī)。第三節(jié)大數(shù)據(jù)在金融中的應(yīng)用五、大數(shù)據(jù)在資產(chǎn)管理中的應(yīng)用對(duì)于資產(chǎn)管理行業(yè)來說，大數(shù)據(jù)最重要的實(shí)用價(jià)值在于高效率地實(shí)現(xiàn)大規(guī)模、多類型的數(shù)據(jù)分析，挖掘出關(guān)于產(chǎn)品、客戶、市場的有效信息，幫助資產(chǎn)管理者進(jìn)行最有利的決策。資產(chǎn)管理已經(jīng)產(chǎn)生了大數(shù)據(jù)革新浪潮:產(chǎn)品開發(fā)“多元化”，各種“一元起購”、隨時(shí)取回的理財(cái)產(chǎn)品層出不窮，開拓了人均少、總量大的資產(chǎn)管理市場“長尾部分”;風(fēng)險(xiǎn)管理“智能化”，全面分析預(yù)測流動(dòng)性風(fēng)險(xiǎn)，系統(tǒng)監(jiān)控信用風(fēng)險(xiǎn);市場營銷“精確化”，一改以往不匹配客戶真實(shí)需求的痛點(diǎn)。第三節(jié)大數(shù)據(jù)在金融中的應(yīng)用五、大數(shù)據(jù)在資產(chǎn)管理中的應(yīng)用(一)資產(chǎn)管理風(fēng)險(xiǎn)控制

大數(shù)據(jù)風(fēng)險(xiǎn)管理的基本步驟一般有數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)加工、挖掘分析、結(jié)果產(chǎn)出、決策應(yīng)用5個(gè)環(huán)節(jié)。如右圖所示，數(shù)據(jù)原料有的需要被加工成標(biāo)準(zhǔn)化的數(shù)據(jù)然后再放入模型中，根據(jù)各種算法進(jìn)行數(shù)據(jù)分析，最后得到需要的相關(guān)數(shù)據(jù)產(chǎn)品，從而輔助決策。數(shù)據(jù)的獲取和分析能力決定了風(fēng)險(xiǎn)控制水平的高低，這正是大數(shù)據(jù)技術(shù)的核心優(yōu)勢。大數(shù)據(jù)風(fēng)險(xiǎn)管理的基本步驟第三節(jié)大數(shù)據(jù)在金融中的應(yīng)用五、大數(shù)據(jù)在資產(chǎn)管理中的應(yīng)用(二)大數(shù)據(jù)客戶開發(fā)大數(shù)據(jù)的特征滿足了金融產(chǎn)品客戶開發(fā)的需求。一般來說，大數(shù)據(jù)客戶開發(fā)分為四個(gè)步驟：第一，合理劃分區(qū)域。使用一定的特征將客戶劃分為一個(gè)又一個(gè)圈子，如生活圈、娛樂圈、學(xué)術(shù)圈、商務(wù)圈等。第二，區(qū)域客戶畫像。在其中一個(gè)典型圈子里，對(duì)客戶的個(gè)人情況、消費(fèi)特征、業(yè)務(wù)規(guī)模等信息都了如指掌。第三，行為偏好分析。進(jìn)一步挖掘客戶的特征和喜好，達(dá)到對(duì)客戶的深層次認(rèn)知與判斷。第四，遴選營銷活動(dòng)。在前面工作的基礎(chǔ)上，要以大數(shù)據(jù)方法來選擇最好的營銷手段。第三節(jié)大數(shù)據(jù)在金融中的應(yīng)用六、大數(shù)據(jù)在監(jiān)管中的應(yīng)用金融數(shù)據(jù)處理的技術(shù)問題主要包括數(shù)據(jù)規(guī)模大、數(shù)據(jù)質(zhì)量低、數(shù)據(jù)時(shí)效性高、市場調(diào)整快和數(shù)據(jù)內(nèi)含隱藏聯(lián)系等。金融市場監(jiān)管的特殊性包括對(duì)市場風(fēng)險(xiǎn)預(yù)警能力的要求和后續(xù)司法舉證能力的要求。大數(shù)據(jù)的發(fā)展正在逐漸解決上述難題，對(duì)在證券市場和銀行系統(tǒng)進(jìn)行大數(shù)據(jù)監(jiān)管進(jìn)行有益的嘗試，并取得了不錯(cuò)的成績。大數(shù)據(jù)學(xué)習(xí)目標(biāo)：1.了解大數(shù)據(jù)的特點(diǎn)、大數(shù)據(jù)技術(shù)，體會(huì)大數(shù)據(jù)給人們的日常生活帶來的影響和改變。2.了解大數(shù)據(jù)在金融領(lǐng)域的作用，以及各類型金融機(jī)構(gòu)如何利用大數(shù)據(jù)賦能其傳統(tǒng)業(yè)務(wù)。核心概念：大數(shù)據(jù)大數(shù)據(jù)技術(shù)大數(shù)據(jù)治理數(shù)字鴻溝第二章第一節(jié)大數(shù)據(jù)概況第二節(jié)大數(shù)據(jù)的功用第三節(jié)大數(shù)據(jù)在金融中的應(yīng)用第四節(jié)大數(shù)據(jù)的風(fēng)險(xiǎn)和挑戰(zhàn)第四節(jié)大數(shù)據(jù)的風(fēng)險(xiǎn)和挑戰(zhàn)一、大數(shù)據(jù)對(duì)個(gè)人隱私的侵犯（一）數(shù)據(jù)服務(wù)商的信息濫用（二）境外機(jī)構(gòu)的信息監(jiān)聽（三）大數(shù)據(jù)時(shí)代的數(shù)據(jù)入侵(一)個(gè)人信息被輕易獲取(二)個(gè)人信息被隨意共享和交易(三)個(gè)人信息因銷毀不徹底而產(chǎn)生信息泄露風(fēng)險(xiǎn)二、大數(shù)據(jù)與金融信息安全第四節(jié)大數(shù)據(jù)的風(fēng)險(xiǎn)和挑戰(zhàn)三、大數(shù)據(jù)與金融市場風(fēng)險(xiǎn)在只關(guān)注相關(guān)性而不關(guān)注因果性的模式下，很難篩選分析所需要的高質(zhì)量數(shù)據(jù)。如摻雜了虛假、錯(cuò)誤的信息，會(huì)得到不準(zhǔn)確的分析結(jié)果，從而做出錯(cuò)誤的決策。傳統(tǒng)的統(tǒng)計(jì)分析方法不適用于對(duì)大數(shù)據(jù)的分析。01數(shù)據(jù)風(fēng)險(xiǎn)02添加標(biāo)題添加標(biāo)題交易風(fēng)