金融科技 課件 項目2 大數(shù)據(jù)金融

《金融科技》FinancialTechnology項目二大數(shù)據(jù)金融教學(xué)目標(biāo)知識目標(biāo)1.掌握大數(shù)據(jù)的基本概念；2.了解大數(shù)據(jù)技術(shù)的處理流程；3.掌握大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用；4.了解大數(shù)據(jù)技術(shù)的應(yīng)用趨勢。能力目標(biāo)1.能夠利用大數(shù)據(jù)技術(shù)手段為客戶提供金融服務(wù)；2.理解大數(shù)據(jù)技術(shù)對金融業(yè)帶來的影響并積極予以運用。內(nèi)容導(dǎo)航一大數(shù)據(jù)的基本概念二大數(shù)據(jù)的處理流程三大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用四大數(shù)據(jù)技術(shù)的發(fā)展趨勢及應(yīng)用前景大數(shù)據(jù)的基本概念一一、大數(shù)據(jù)的基本概念（一）（二）（三）大數(shù)據(jù)的定義大數(shù)據(jù)的分類大數(shù)據(jù)的基本原理一、大數(shù)據(jù)的基本概念導(dǎo)入案例導(dǎo)讀【精品微課_二維碼：沃爾瑪“啤酒加尿布”的故事】一、大數(shù)據(jù)的基本概念（一）大數(shù)據(jù)的定義一、大數(shù)據(jù)的基本概念麥肯錫全球研究所對大數(shù)據(jù)的定義是：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合。一、大數(shù)據(jù)的基本概念數(shù)據(jù)類型多樣（Variety）應(yīng)用價值高（Value）數(shù)據(jù)處理速度快（Velocity）數(shù)據(jù)規(guī)模大（Volume）數(shù)據(jù)真實（Veracity）大數(shù)據(jù)的5V特征：一、大數(shù)據(jù)的基本概念（二）大數(shù)據(jù)的分類一、大數(shù)據(jù)的基本概念數(shù)據(jù)結(jié)構(gòu)上分類處理方式上分類數(shù)據(jù)來源和行業(yè)來分類結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)無結(jié)構(gòu)數(shù)據(jù)實時數(shù)據(jù)離線數(shù)據(jù)網(wǎng)絡(luò)數(shù)據(jù)社交媒體數(shù)據(jù)醫(yī)療數(shù)據(jù)農(nóng)業(yè)數(shù)據(jù)身體健康數(shù)據(jù)設(shè)備監(jiān)測數(shù)據(jù)……一、大數(shù)據(jù)的基本概念（三）大數(shù)據(jù)的基本原理一、大數(shù)據(jù)的基本概念物聯(lián)網(wǎng)云計算物聯(lián)網(wǎng)可看作大數(shù)據(jù)的采集端云計算可看作大數(shù)據(jù)的核心技術(shù)處理端一、大數(shù)據(jù)的基本概念物聯(lián)網(wǎng)物聯(lián)網(wǎng)產(chǎn)生海量數(shù)據(jù)，是大數(shù)據(jù)來源的基礎(chǔ)設(shè)施。日常生活中，大數(shù)據(jù)的來源主要集中在以下三方面：以微博、微信為代表的社交網(wǎng)絡(luò)；電子商務(wù)平臺；攝像頭收集的視頻和圖片等信息。一、大數(shù)據(jù)的基本概念云計算云計算為大數(shù)據(jù)的計算和分析提供了可行的方法。云計算的數(shù)據(jù)在云端，任何時間、任何設(shè)備，只要登陸后就可以享受計算服務(wù)。通過云計算對數(shù)據(jù)進行處理后，數(shù)據(jù)可成為一種基礎(chǔ)的公共物品，被人所用。一、大數(shù)據(jù)的基本概念[做中學(xué)2-1]生活中的大數(shù)據(jù)5-6名同學(xué)一組，各組選擇一個行業(yè)，收集該行業(yè)大數(shù)據(jù)應(yīng)用的典型案例1個，并進行分析，寫出案例分析報告。思考：大數(shù)據(jù)的應(yīng)用是否可能誤導(dǎo)決策？如果要保證數(shù)據(jù)分析的準(zhǔn)確性，防止被誤導(dǎo)，需要滿足什么前提條件？《金融科技》FinancialTechnology項目二大數(shù)據(jù)金融教學(xué)目標(biāo)知識目標(biāo)1.掌握大數(shù)據(jù)的基本概念；2.了解大數(shù)據(jù)技術(shù)的處理流程；3.掌握大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用；4.了解大數(shù)據(jù)技術(shù)的應(yīng)用趨勢。能力目標(biāo)1.能夠利用大數(shù)據(jù)技術(shù)手段為客戶提供金融服務(wù)；2.理解大數(shù)據(jù)技術(shù)對金融業(yè)帶來的影響并積極予以運用。內(nèi)容導(dǎo)航一大數(shù)據(jù)的基本概念二大數(shù)據(jù)的處理流程三大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用四大數(shù)據(jù)技術(shù)的發(fā)展趨勢及應(yīng)用前景大數(shù)據(jù)的處理流程二二、大數(shù)據(jù)的處理流程數(shù)據(jù)采集數(shù)據(jù)存儲數(shù)據(jù)挖掘數(shù)據(jù)處理二、大數(shù)據(jù)的處理流程（一）各種智能設(shè)備中的運行數(shù)據(jù)（二）互聯(lián)網(wǎng)網(wǎng)頁數(shù)據(jù)（三）RFID射頻數(shù)據(jù)大數(shù)據(jù)的數(shù)據(jù)源主要來自以下三方面：二、大數(shù)據(jù)的處理流程網(wǎng)頁數(shù)據(jù)采集應(yīng)用最廣泛的技術(shù)就是網(wǎng)絡(luò)爬蟲二、大數(shù)據(jù)的處理流程數(shù)據(jù)采集數(shù)據(jù)存儲數(shù)據(jù)挖掘數(shù)據(jù)處理二、大數(shù)據(jù)的處理流程大數(shù)據(jù)的存儲系統(tǒng)必須對多種數(shù)據(jù)及軟硬件平臺有較好的兼容性，以適應(yīng)各種應(yīng)用算法或者數(shù)據(jù)提取轉(zhuǎn)換與加載?，F(xiàn)階段常用的大數(shù)據(jù)存儲技術(shù)包括：第二類，基于Hadoop技術(shù)擴展和封裝，圍繞Hadoop衍生出相關(guān)的大數(shù)據(jù)技術(shù)，應(yīng)對傳統(tǒng)關(guān)系型數(shù)據(jù)庫較難處理的數(shù)據(jù)和場景，充分利用Hadoop開源的優(yōu)勢。第三類，大數(shù)據(jù)一體機，這是一種專為大數(shù)據(jù)分析處理而設(shè)計的軟件、硬件結(jié)合的產(chǎn)品，由一組集成的服務(wù)器、存儲設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)以及為數(shù)據(jù)查詢、處理、分析而特別預(yù)先安裝及優(yōu)化的軟件組成。高性能大數(shù)據(jù)一體機具有良好的穩(wěn)定性和縱向擴展性。第一類，采用大規(guī)模并行處理系統(tǒng)（MPP）架構(gòu)的新型數(shù)據(jù)庫集群，重點面向行業(yè)大數(shù)據(jù)，采用無共享（SharedNothing）架構(gòu)，通過列存儲、粗粒度索引等大數(shù)據(jù)處理技術(shù)，再結(jié)合MPP架構(gòu)高效的分布式計算模式，完成對分析類應(yīng)用的支撐。二、大數(shù)據(jù)的處理流程就存儲大數(shù)據(jù)的數(shù)據(jù)庫而言，最流行的兩種數(shù)據(jù)庫就是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫和新興的NOSQL數(shù)據(jù)庫。微軟的SQLServer數(shù)據(jù)庫、IBM的DB2數(shù)據(jù)庫、甲骨文的Oracle數(shù)據(jù)庫、開源的MySQL數(shù)據(jù)庫都是關(guān)系型數(shù)據(jù)庫的典型。NOSQL數(shù)據(jù)庫是近年來隨著大數(shù)據(jù)技術(shù)發(fā)展而興起的一種數(shù)據(jù)庫技術(shù)。NOSQL數(shù)據(jù)庫依據(jù)存儲對象和存儲方法的不同又可以分成鍵值型數(shù)據(jù)庫、文檔型數(shù)據(jù)庫、列存儲數(shù)據(jù)庫、圖存儲數(shù)據(jù)庫。二、大數(shù)據(jù)的處理流程序號

類型部分代表特點1鍵值型OracleBDBGoogleBigTableAmazonDynamoDB鍵值型數(shù)據(jù)庫主要會使用到一個哈希表，這個表中有一個特定的鍵和一個指針指向特定的數(shù)據(jù)。鍵值型數(shù)據(jù)庫的優(yōu)勢在于簡單、易部署，但如果只對部分值進行查詢或更新，則效率相對低下。2文檔型MongoDBCouchDB此類數(shù)據(jù)庫可存放并獲取文檔，其格式可以是XML、JSON、BSON等，這些文檔具備可述性（self-describing），呈現(xiàn)分層的樹狀結(jié)構(gòu)（hierarchicaltreedatastructure），可以包含映射表、集合和純量值。文檔數(shù)據(jù)庫可視為其值可查的鍵值數(shù)據(jù)庫，可以對某些字段建立索引，實現(xiàn)關(guān)系數(shù)據(jù)庫某些功能。二、大數(shù)據(jù)的處理流程序號

類型部分代表特點3列存儲HbaseCassandraHypertable

列存儲數(shù)據(jù)庫通常是用來應(yīng)對分布式存儲的海量數(shù)據(jù)。鍵仍然存在，但是它們的特點是指向了多個列。這些列是由列家族來安排。特點是方便存儲結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，方便數(shù)據(jù)壓縮，對針對基于列的查詢有很大優(yōu)勢。4圖存儲Neo4JInfiniteGraph使用靈活的圖形模型，并且能夠擴展到多個服務(wù)器上。將數(shù)據(jù)存儲在圖狀網(wǎng)絡(luò)的節(jié)點上及它們之間的關(guān)系中，這里的圖不是指圖形圖像，而是指一種數(shù)據(jù)存儲結(jié)構(gòu)。

二、大數(shù)據(jù)的處理流程在金融科技應(yīng)用中，我們應(yīng)如何選擇合適的數(shù)據(jù)存儲技術(shù)呢？一般來講，有嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)結(jié)構(gòu)，對數(shù)據(jù)的可靠性要求高，經(jīng)常需要對數(shù)據(jù)進行商業(yè)智能分析，這類數(shù)據(jù)庫適合存儲在關(guān)系數(shù)據(jù)庫中，一般可以選擇開源的MySQL數(shù)據(jù)庫；相反，那些數(shù)據(jù)量特別大，對數(shù)據(jù)的擴展性要求高，對數(shù)據(jù)庫的可用性要求高，對存儲效率和恢復(fù)響應(yīng)要求高的數(shù)據(jù)則適用于NOSQL數(shù)據(jù)庫。二、大數(shù)據(jù)的處理流程在實踐中，通常會將NOSQL和關(guān)系數(shù)據(jù)庫進行結(jié)合使用，各取所長，可以分為兩種模式：第一種：NOSQL數(shù)據(jù)庫作為輔助存儲。把所有的數(shù)據(jù)都存放在關(guān)系數(shù)據(jù)庫中，可能被經(jīng)常頻繁讀取的數(shù)據(jù)再存放在NOSQL數(shù)據(jù)庫中一份，其目的是提高數(shù)據(jù)的查詢速度，減少關(guān)系數(shù)據(jù)庫的并發(fā)訪問負(fù)載。第二種：NOSQL數(shù)據(jù)庫作為主存儲。把所有的數(shù)據(jù)存儲在NOSQL數(shù)據(jù)庫中，為了一些特殊業(yè)務(wù)或功能的需要，在將數(shù)據(jù)存入NOSQL的時候，同時存儲到關(guān)系數(shù)據(jù)庫一份。數(shù)據(jù)存儲和查詢主要是由NOSQL數(shù)據(jù)庫完成，少量的數(shù)據(jù)是從關(guān)系數(shù)據(jù)庫讀取。二、大數(shù)據(jù)的處理流程數(shù)據(jù)采集數(shù)據(jù)存儲數(shù)據(jù)挖掘數(shù)據(jù)處理二、大數(shù)據(jù)的處理流程數(shù)據(jù)抽取12數(shù)據(jù)清洗3數(shù)據(jù)脫敏在數(shù)據(jù)處理環(huán)節(jié)，主要完成三項操作：二、大數(shù)據(jù)的處理流程數(shù)據(jù)抽取1第一種，全量抽取。類似于數(shù)據(jù)遷移或數(shù)據(jù)復(fù)制，將數(shù)據(jù)源中的表格或視圖的數(shù)據(jù)原封不動地從數(shù)據(jù)庫中抽取出來，并轉(zhuǎn)換成自己的ETL（Extraction-Transformation-Loading，數(shù)據(jù)提取、轉(zhuǎn)換和加載）工具可以識別的格式。第二種，增量提取。抽取自上次抽取以來數(shù)據(jù)庫中要抽取的表中新增、修改、刪除的數(shù)據(jù)。二、大數(shù)據(jù)的處理流程數(shù)據(jù)清洗2在采集數(shù)據(jù)時，會存在大量的“臟”數(shù)據(jù)。這些數(shù)據(jù)或與我們的需求無關(guān)，或是錯誤數(shù)據(jù)，或是相互之間有沖突，因此要通過“去噪”過濾掉這些不符要求的數(shù)據(jù)，提取出有效數(shù)據(jù)，這一過程稱為“數(shù)據(jù)清洗”（DataCleaning）。二、大數(shù)據(jù)的處理流程數(shù)據(jù)脫敏3現(xiàn)階段常用的數(shù)據(jù)處理技術(shù)有AbInitio（大數(shù)據(jù)處理軟件平臺技術(shù)）、Hadoop（開源分布系統(tǒng)的基礎(chǔ)架構(gòu)，適合處理超大量的數(shù)據(jù)）、Netezza（IBM基于數(shù)據(jù)倉庫的分析技術(shù)）Hadoop是由Apache軟件基金會發(fā)起的一個分布式計算平臺，也是目前最為流行的大數(shù)據(jù)處理平臺。用戶可以在該平臺上開發(fā)和運行處理海量數(shù)據(jù)的應(yīng)用程序。Hadoop在數(shù)據(jù)提取、變形和加載（FTL）方面具有優(yōu)勢，擅長存儲大量的半結(jié)構(gòu)化數(shù)據(jù)集，也非常擅長分布式計算——快速地跨多臺機器處理大型數(shù)據(jù)集合。數(shù)據(jù)脫敏指對一些涉及個人隱私的敏感信息，如身份證號、電話號碼、銀行賬戶等，進行數(shù)據(jù)的變形處理，達到隱私保護的目的。二、大數(shù)據(jù)的處理流程數(shù)據(jù)采集數(shù)據(jù)存儲數(shù)據(jù)挖掘數(shù)據(jù)處理二、大數(shù)據(jù)的處理流程數(shù)據(jù)挖掘（DataMining）的前身是數(shù)據(jù)庫中的知識發(fā)現(xiàn)技術(shù)（KDD），是指運用計算機技術(shù)從大量數(shù)據(jù)中將隱藏的有價值的信息提取出來的過程?；诤Ａ繑?shù)據(jù)；具有非平凡性，即挖掘出來的知識應(yīng)該是不簡單的；隱藏性，即數(shù)據(jù)挖掘是要發(fā)現(xiàn)深藏在數(shù)據(jù)內(nèi)部而非浮現(xiàn)在數(shù)據(jù)表面的知識；價值性，即挖掘的知識能給企業(yè)帶來直接或間接效益。1234二、大數(shù)據(jù)的處理流程數(shù)據(jù)挖掘有很多技術(shù)方法，歸納起來主要涉及統(tǒng)計學(xué)、機器學(xué)習(xí)和數(shù)據(jù)庫等領(lǐng)域的研究成果。（一）統(tǒng)計分析統(tǒng)計分析是指利用統(tǒng)計學(xué)對大數(shù)據(jù)進行分析，包括統(tǒng)計學(xué)中的回歸分析、差異分析、判別分析、因子分析等，主要用來處理結(jié)構(gòu)化數(shù)據(jù)。統(tǒng)計分析反映了數(shù)據(jù)庫中數(shù)據(jù)的屬性值特性，通過函數(shù)表達數(shù)據(jù)映射關(guān)系來發(fā)現(xiàn)屬性值之間的依賴關(guān)系。它可以應(yīng)用到對數(shù)據(jù)序列的預(yù)測及相關(guān)關(guān)系的研究中去。例如，通過對本季度銷售的回歸分析，對下一季度的銷售趨勢做出預(yù)測并做出針對性的營銷改變。二、大數(shù)據(jù)的處理流程（二）聚類分析聚類分析是一種重要的數(shù)據(jù)挖掘方法，具體是指根據(jù)事物的特征進行分類，以期從中發(fā)現(xiàn)一定的規(guī)律。聚類類似于分類，但與分類的目的不同，是針對數(shù)據(jù)的相似性和差異性將一組數(shù)據(jù)分為幾個類別。其原則是使同一類事物盡可能相似，不同類事物盡可能差異大。屬于同一類別的數(shù)據(jù)間的相似性大，但不同類別之間數(shù)據(jù)的相似性很小，跨類的數(shù)據(jù)關(guān)聯(lián)性很低。聚類分析又可細(xì)分為劃分聚類法、層次聚類法、基于網(wǎng)格和模型的聚類法。二、大數(shù)據(jù)的處理流程（三）決策樹決策樹是機器學(xué)習(xí)中最基礎(chǔ)、應(yīng)用最廣泛的算法模型。其原理是，在一批已知的訓(xùn)練數(shù)據(jù)的基礎(chǔ)上建立一棵決策樹，利用決策樹對數(shù)據(jù)進行分析和預(yù)測。常見的算法包括分類回歸樹（CART）、ID3、C4.5、隨機森林等。決策樹可用于預(yù)測貸款人是否具有償還貸款的能力。借款人通過三個核心指標(biāo)來判斷：是否擁有房產(chǎn)、是否結(jié)婚、月收入金額。決策樹的每一個內(nèi)部節(jié)點都分別代表一個指標(biāo)，樹葉節(jié)點則表示貸款人是否具備還款能力。例如，客戶甲沒有房產(chǎn)，未婚，月收入8000元。通過決策樹的節(jié)點判斷，該用戶最終落在“可以償還”的樹葉節(jié)點上。因此預(yù)測該用戶具備償還能力。二、大數(shù)據(jù)的處理流程（四）人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ANN）是一種仿照人腦神經(jīng)元結(jié)構(gòu)和功能進行數(shù)據(jù)分析的信息處理系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)作為一種先進的人工智能技術(shù)，因其自行處理、分布存儲和高度容錯等特性非常適合處理非線性的以及那些模糊、不完整、不嚴(yán)密的數(shù)據(jù)，因此在數(shù)據(jù)挖掘領(lǐng)域得到廣泛應(yīng)用。二、大數(shù)據(jù)的處理流程（四）人工神經(jīng)網(wǎng)絡(luò)用于分類預(yù)測和模式識別的前饋式神經(jīng)網(wǎng)絡(luò)模型，其主要代表為函數(shù)型網(wǎng)絡(luò)、感知機；A用于聯(lián)想記憶和優(yōu)化算法的反饋式神經(jīng)網(wǎng)絡(luò)模型，以Hopfield的離散模型和連續(xù)模型為代表；B用于聚類的自組織映射方法，以ART模型為代表。C典型的神經(jīng)網(wǎng)絡(luò)模型主要分為三大類二、大數(shù)據(jù)的處理流程（五）關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘領(lǐng)域特有的技術(shù)，由一連串的“如果……/則……”的邏輯規(guī)則對數(shù)據(jù)進行細(xì)分，以期在數(shù)據(jù)庫中搜索和挖掘以往不知道的規(guī)則。關(guān)聯(lián)規(guī)則是找出隱藏在數(shù)據(jù)項之間的關(guān)聯(lián)或相互關(guān)系，根據(jù)一個數(shù)據(jù)項的出現(xiàn)推導(dǎo)出其他數(shù)據(jù)項的出現(xiàn)。關(guān)聯(lián)規(guī)則的挖掘過程主要包括兩個階段：第一階段為從海量原始數(shù)據(jù)中找出所有的高頻項目組；第二階段為從這些高頻項目組產(chǎn)生關(guān)聯(lián)規(guī)則。關(guān)聯(lián)規(guī)則挖掘技術(shù)已經(jīng)被廣泛應(yīng)用于金融企業(yè)中，用以預(yù)測客戶需求和偏好來改善自身的營銷。二、大數(shù)據(jù)的處理流程（六）Web數(shù)據(jù)挖掘Web數(shù)據(jù)挖掘是一項綜合性技術(shù)，指Web從文檔結(jié)構(gòu)和使用的集合C中發(fā)現(xiàn)隱含的模式P，如果將C看做是輸入，P看做是輸出，那么Web挖掘過程就可以看作是從輸入到輸出的一個映射過程。目前常用的Web數(shù)據(jù)挖掘算法有：PageRank算法、HITS算法以及LOGSOM算法。這三種算法提到的用戶都是籠統(tǒng)的用戶，并沒有區(qū)分用戶的個體。目前Web數(shù)據(jù)挖掘面臨著一些問題，包括：用戶的分類問題、網(wǎng)站內(nèi)容時效性問題、用戶在頁面停留時間問題、頁面的鏈入與鏈出數(shù)問題等。二、大數(shù)據(jù)的處理流程（七）數(shù)據(jù)可視化技術(shù)數(shù)據(jù)可視化是大數(shù)據(jù)技術(shù)非常重要的一環(huán)，關(guān)系到數(shù)據(jù)處理的最終效果和用戶體驗。數(shù)據(jù)可視化技術(shù)可以將有價值的信息展示出來，同時還能將其出現(xiàn)的原因背景以及其他相關(guān)價值信息列示出來，使隱藏在大數(shù)據(jù)資源背后的真相呈現(xiàn)在眾人面前?？梢暬瘮?shù)據(jù)無需任何編程基礎(chǔ)，只需要上傳數(shù)據(jù)，就能創(chuàng)建和發(fā)布圖表。數(shù)據(jù)可視化分析技術(shù)是以圖表、圖形、報表等方式將大數(shù)據(jù)分析處理的結(jié)果直觀地、可視地展示給用戶的過程。二、大數(shù)據(jù)的處理流程可視化工具簡介ExcelExcel作為一個人門級工具，是快速分析數(shù)據(jù)的理想工具，也能創(chuàng)建供內(nèi)部使用的數(shù)據(jù)圖，但Excel在顏色、線條和樣式上可選擇的范圍有限。D3D3(DateDrivendocument)是支持SVG渲染的另一種JavaScript庫，能夠提供大量線性圖和條形圖之外的復(fù)雜圖表樣式，例如Voronoi圖、樹形圖、圓形集群和單詞云等。Visual.lyVisual.ly的主要定位是“信息圖設(shè)計師的在線集市”，同時也提供了大量信息圖模板。RR作為用來分析大數(shù)據(jù)集的統(tǒng)計組件包，擁有強大的社區(qū)和組件庫，但R是一個相對復(fù)雜的開源工具。Gepi

Gepi是進行社交圖譜數(shù)據(jù)可視化分析的工具，不但能處理大規(guī)模數(shù)據(jù)集并生成漂亮的可視化圖形，還能對數(shù)據(jù)進行清洗和分類。Tableau

Tableau更適合企業(yè)和部門進行日常數(shù)據(jù)報表和數(shù)據(jù)可視化分析工作，產(chǎn)品涵蓋TableauDesktop、TableauServer以及TableauPublic二、大數(shù)據(jù)的處理流程[做中學(xué)2-1]生活中的大數(shù)據(jù)5-6名同學(xué)一組，各組選擇一個數(shù)據(jù)可視化分析工具（軟件），對該工具（軟件）的功能進行研究，并制作一份PPT來展示該工具（軟件）的功能和效果。思考：有哪些數(shù)據(jù)分析問題是無法借助數(shù)據(jù)可視化分析工具來實現(xiàn)的？《金融科技》FinancialTechnology項目二大數(shù)據(jù)金融教學(xué)目標(biāo)知識目標(biāo)1.掌握大數(shù)據(jù)的基本概念；2.了解大數(shù)據(jù)技術(shù)的處理流程；3.掌握大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用；4.了解大數(shù)據(jù)技術(shù)的應(yīng)用趨勢。能力目標(biāo)1.能夠利用大數(shù)據(jù)技術(shù)手段為客戶提供金融服務(wù)；2.理解大數(shù)據(jù)技術(shù)對金融業(yè)帶來的影響并積極予以運用。內(nèi)容導(dǎo)航一大數(shù)據(jù)的基本概念二大數(shù)據(jù)的處理流程三大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用四大數(shù)據(jù)技術(shù)的發(fā)展趨勢及應(yīng)用前景大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用三三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用01征信領(lǐng)域02反洗錢領(lǐng)域04證券投資領(lǐng)域06互聯(lián)網(wǎng)金融領(lǐng)域05保險領(lǐng)域07金融監(jiān)管領(lǐng)域03商業(yè)銀行領(lǐng)域三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用01征信領(lǐng)域三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用聚合多類數(shù)據(jù)A信用動態(tài)評估B運用數(shù)學(xué)模型C實時出具報告C大數(shù)據(jù)征信有以下四個特征：三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用【大數(shù)據(jù)征信案例：ZestFinance】三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用大數(shù)據(jù)征信在實踐中還面臨諸多挑戰(zhàn)，包括：數(shù)據(jù)質(zhì)量參差不齊同人不同信用的問題信息安全問題數(shù)據(jù)壁壘問題征信機構(gòu)的獨立性問題三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用[做中學(xué)2-3]大數(shù)據(jù)征信試一試5-6名同學(xué)一組，分析大數(shù)據(jù)征信應(yīng)從哪些渠道來征集數(shù)據(jù)？應(yīng)從哪些維度來分析客戶的信用狀況？思考：大數(shù)據(jù)征信可能出現(xiàn)哪些問題和風(fēng)險？三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用02反洗錢領(lǐng)域三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用反洗錢是指為了預(yù)防通過各種方式掩飾、隱瞞毒品犯罪、黑社會性質(zhì)的組織犯罪、恐怖活動犯罪、走私犯罪、貪污賄賂犯罪、破壞金融管理秩序犯罪、金融詐騙犯罪等犯罪所得及其收益的來源和性質(zhì)的洗錢活動，依照《反洗錢法》規(guī)定采取相關(guān)措施的行為。三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用12一方面，金融機構(gòu)除了使用自身數(shù)據(jù)和行業(yè)數(shù)據(jù)外，還可使用來自工商、稅務(wù)、房管、海關(guān)、公安、法院等政府部門以及消費、娛樂、社交等商業(yè)活動的數(shù)據(jù)；除了使用客戶關(guān)系、會計系統(tǒng)等結(jié)構(gòu)化數(shù)據(jù)，還可使用社交媒體、電子郵件、文本、音頻、視頻、網(wǎng)絡(luò)日志等非結(jié)構(gòu)化數(shù)據(jù)，在此基礎(chǔ)上，建立反洗錢大數(shù)據(jù)平臺，通過對相關(guān)數(shù)據(jù)的科學(xué)分析，甄別客戶身份和可疑交易，從而將洗錢犯罪活動拒之門外。另一方面，政府通過加強制度建設(shè)，為大數(shù)據(jù)開放共享建立相應(yīng)的社會保障制度。我國從2008年即開始實施《政府信息公開條例》，近年來不斷采取措施推動各級政府部門在數(shù)據(jù)信息方面的共享。政府有必要牽頭建立一個國家層面的跨系統(tǒng)、跨平臺、跨數(shù)據(jù)結(jié)構(gòu)的大數(shù)據(jù)網(wǎng)絡(luò)，打破數(shù)據(jù)壁壘，消除信息孤島，促進大數(shù)據(jù)在各機構(gòu)間的流動和信息共享。三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用【反洗錢案例：Trulioo】三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用[做中學(xué)2-4]大數(shù)據(jù)反洗錢應(yīng)用拓展5-6名同學(xué)一組，分析如何應(yīng)用大數(shù)據(jù)技術(shù)實現(xiàn)可疑交易的識別和追蹤？每組可通過PPT或小戲劇方式進行研究成果展示。思考：利用大數(shù)據(jù)實現(xiàn)可疑交易識別，需要解決的關(guān)鍵問題有哪些？三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用03商業(yè)銀行領(lǐng)域三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用風(fēng)險評估C運營優(yōu)化D大數(shù)據(jù)技術(shù)在商業(yè)銀行領(lǐng)域的應(yīng)用體現(xiàn)在以下方面：客戶營銷A產(chǎn)品創(chuàng)新B三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用客戶營銷A銀行可通過大數(shù)據(jù)分析平臺，獲得客戶通過社交網(wǎng)絡(luò)、電子商務(wù)、終端媒介等方式形成的非結(jié)構(gòu)化數(shù)據(jù)，掌握客戶的消費習(xí)慣、消費水平、興趣愛好等信息，再將這些非結(jié)構(gòu)化數(shù)據(jù)與銀行自身掌握的結(jié)構(gòu)化數(shù)據(jù)結(jié)合，為客戶畫像，在此基礎(chǔ)上實現(xiàn)精準(zhǔn)營銷。三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用產(chǎn)品創(chuàng)新B商業(yè)銀行通過大數(shù)據(jù)分析挖掘用戶潛在需求，開發(fā)相關(guān)產(chǎn)品或增值服務(wù)，創(chuàng)新業(yè)務(wù)模式，提高客戶粘性。三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用風(fēng)險評估C風(fēng)險管理能力是商業(yè)銀行的核心競爭力之一。通過大數(shù)據(jù)構(gòu)建企業(yè)信用檔案，可使銀行實時掌握企業(yè)經(jīng)營情況和資產(chǎn)動向，提升銀行的信貸風(fēng)險控制能力。三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用運營優(yōu)化D傳統(tǒng)的銀行信貸流程包括貸前調(diào)查、貸中審查、貸后檢查，需要耗費大量人力和時間。在大數(shù)據(jù)時代，銀行可憑借嚴(yán)格設(shè)計的評分模型和決策引擎，自動審批客戶的貸款申請。資信狀況良好的客戶可以在線即時提取貸款資金，徹底打通貸款的申請、盡職調(diào)查、審批、放款各環(huán)節(jié)。三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用【直銷銀行案例：INGDIRECT銀行】三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用[做中學(xué)2-5]大數(shù)據(jù)在商業(yè)銀行產(chǎn)品營銷中的應(yīng)用

5-6名同學(xué)一組，每組選擇一種商業(yè)銀行產(chǎn)品，分析如何應(yīng)用大數(shù)據(jù)技術(shù)開展?fàn)I銷？每組形成一份營銷計劃，并可通過PPT或小戲劇方式進行展示。三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用04證券投資領(lǐng)域三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用大數(shù)據(jù)技術(shù)在證券投資領(lǐng)域的應(yīng)用主要體現(xiàn)在智能投顧程序化交易大數(shù)據(jù)基金三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用智能投顧智能投顧所涉及的大數(shù)據(jù)主要包括兩大類：客戶行為大數(shù)據(jù)和金融交易大數(shù)據(jù)。智能投顧是指以投資者的風(fēng)險偏好和財務(wù)狀況為依據(jù)，利用大數(shù)據(jù)和量化模型，為客戶提供資產(chǎn)配置建議和財富管理服務(wù)。三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用【智能投顧案例：Wealthfront】三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用程序化交易程序化交易也是大數(shù)據(jù)應(yīng)用比較多的領(lǐng)域。程序化交易又稱高頻交易（HFT），是一種通過高速計算能力，盡可能利用瞬時數(shù)據(jù)以及其他先進信息技術(shù)等識別、捕捉市場中細(xì)微價格偏離以獲利的交易方式。三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用大數(shù)據(jù)基金國內(nèi)一些基金公司通過量化策略和大數(shù)據(jù)投資方法的有機結(jié)合，成立了大數(shù)據(jù)基金。大數(shù)據(jù)基金通過算法篩選策略因子，設(shè)計出符合投資理念的量化模型，并借此篩選出更多優(yōu)質(zhì)投資標(biāo)的。三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用[做中學(xué)2-6]大數(shù)據(jù)在證券投資中的應(yīng)用

5-6名同學(xué)一組，收集大數(shù)據(jù)在證券投資方面應(yīng)用的案例，提煉出利用大數(shù)據(jù)技術(shù)開展證券投資的適用對象、投資特點、優(yōu)勢以及不足之處，并分組匯報。三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用05保險領(lǐng)域三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用大數(shù)據(jù)在保險業(yè)的應(yīng)用主要涉及：識別欺詐行為個性化定價挖掘客戶需求030201三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用挖掘客戶需求中國的眾安保險公司是一家互聯(lián)網(wǎng)保險公司，基于用戶在電商網(wǎng)站的購買行為，推出網(wǎng)購?fù)素涍\費險、網(wǎng)上支付安全險等創(chuàng)新險種。保險公司可通過客戶在社交網(wǎng)絡(luò)、電商網(wǎng)站等留下的瀏覽和交易痕跡，挖掘客戶需求，尋找潛在客戶。美國前進保險公司（ProgressiveInsurance）通過精細(xì)化分析客戶財務(wù)狀況、資產(chǎn)價值、風(fēng)險偏好等數(shù)據(jù)，向客戶提供量身定制的保險產(chǎn)品。三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用個性化定價在美國，保險公司可以通過安裝在車上的通信工具收集有關(guān)數(shù)據(jù)來判斷駕駛員的駕駛行為模式，結(jié)合駕駛員的年齡、駕齡、健康狀況等特征，對車輛保險費率實現(xiàn)個性化定價。保險產(chǎn)品的精算定價能力是保險公司的核心競爭力。大數(shù)據(jù)可以幫助保險公司提升精算能力。三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用識別欺詐行為保險公司借助大數(shù)據(jù)，可以識別客戶欺詐行為，防范騙保風(fēng)險。在車險領(lǐng)域保險公司能夠利用過去的欺詐事件建立預(yù)測模型，將理賠申請分級處理，可實施車險理賠申請欺詐偵測、業(yè)務(wù)員及修車廠勾結(jié)欺詐偵測，遏制騙保行為。在醫(yī)療保險領(lǐng)域常見的欺詐手段有兩種：一種是非法騙取保險金；另一種是在醫(yī)保額度內(nèi)重復(fù)就醫(yī)、浮報理賠金額。借助大數(shù)據(jù)技術(shù)，保險公司通過分析保險欺詐特征，建立預(yù)測模型，并通過自動化計分功能，快速將理賠案件按照欺詐風(fēng)險級別進行分類處理。三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用【大數(shù)據(jù)在保險行業(yè)應(yīng)用案例：Metromile】三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用06互聯(lián)網(wǎng)金融領(lǐng)域三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用大數(shù)據(jù)作為一項基礎(chǔ)設(shè)施和新興工具，在互聯(lián)網(wǎng)金融領(lǐng)域也有諸多應(yīng)用，主要包括：第三方支付智能信貸精準(zhǔn)營銷三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用精準(zhǔn)營銷互聯(lián)網(wǎng)金融實時掌握客戶的借款、還款、投資等情況，通過與電商網(wǎng)站的數(shù)據(jù)共享，可以實時生成客戶畫像，了解客戶的風(fēng)險偏好、資金需求、投資偏好、信用狀況等，從而有針對性地向客戶推送定制化的金融產(chǎn)品，提升營銷精準(zhǔn)度，并能刺激客戶金融需求，有助于擴大業(yè)務(wù)規(guī)模。三、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用智能信貸以阿里小貸為例，從風(fēng)險審核到最終放款，阿里小貸實現(xiàn)了全程線上模式，所有的貸前、貸中、貸后環(huán)節(jié)都能實時有效連接，并可以向那些難以通過傳統(tǒng)渠道獲得貸款的個人和小微企業(yè)發(fā)放貸款，實現(xiàn)普惠金融。借助大數(shù)據(jù)進行信用評估，能夠?qū)崟r更新借款人的信用狀況