金融大數(shù)據(jù)分析 課件 項目一 走進金融大數(shù)據(jù) 任務1-4

金融大數(shù)據(jù)分析走進金融大數(shù)據(jù)新天地目錄1大數(shù)據(jù)認知與大數(shù)據(jù)思維2大數(shù)據(jù)的提出、演化和發(fā)展歷程3金融大數(shù)據(jù)的內(nèi)涵及理論基礎(chǔ)4大數(shù)據(jù)在金融領(lǐng)域的應用

走進金融大數(shù)據(jù)新天地案例導入：瘋狂產(chǎn)生的數(shù)據(jù)

半個世紀以來，隨著計算機技術(shù)全面融入社會生活，源源不斷涌現(xiàn)的海量數(shù)據(jù)已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、GPS、醫(yī)學影像、安全監(jiān)控、金融、電信等都在瘋狂產(chǎn)生著數(shù)據(jù)。在地球上，我們每天都會產(chǎn)生5億條推文、2940億封電子郵件、400萬GB的Facebook數(shù)據(jù)、650億條WhatsApp消息和72萬個小時的YouTube新視頻。全世界在2018年創(chuàng)建、捕獲、復制和消耗的數(shù)據(jù)總量為33澤字節(jié)（ZB），相當于33萬億GB。2020年，這一數(shù)字增長到59ZB，預計到2025年將達到令人難以想象的175ZB。1澤字節(jié)是8,000,000,000,000,000,000,000比特。為了讓這些數(shù)字更直觀，我們假設每一個比特都是一枚1英鎊的硬幣，大約3毫米（0.1英寸）厚。由一摞硬幣組成的1ZB將有2550光年高，可以讓你到達最近的恒星系統(tǒng)半人馬座阿爾法星600次。目前，我們每年產(chǎn)生的數(shù)據(jù)量是這個數(shù)字的59倍，復合增長率估計在61%左右。（資料來源：中國科學技術(shù)館）各行各業(yè)都在瘋狂產(chǎn)生數(shù)據(jù)，每個人都被推進了信息爆炸的時代。IDC（互聯(lián)網(wǎng)數(shù)據(jù)中心InternetDataCenter）發(fā)布的《數(shù)據(jù)時代2025》白皮書預測：在2025年，全球數(shù)據(jù)量將達到史無前例的163ZB。

走進金融大數(shù)據(jù)新天地請思考：如今的互聯(lián)網(wǎng)社會，海量數(shù)據(jù)源源不斷的產(chǎn)生，這將帶來了哪些挑戰(zhàn)？又將帶來哪些商機？任務一大數(shù)據(jù)認知與大數(shù)據(jù)思維目錄1大數(shù)據(jù)的概念與內(nèi)涵3大數(shù)據(jù)的計算模式4大數(shù)據(jù)的處理與分析5大數(shù)據(jù)時代的思維變革2大數(shù)據(jù)的特征與結(jié)構(gòu)類型

2021年11月30日工信部正式發(fā)布《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》，要求到2025年，大數(shù)據(jù)產(chǎn)業(yè)測算規(guī)模突破3萬億元，年均復合增長率保持在25%左右，創(chuàng)新力強、附加值高、自主可控的現(xiàn)代化大數(shù)據(jù)產(chǎn)業(yè)體系基本形成。“十四五”時期是我國工業(yè)經(jīng)濟向數(shù)字經(jīng)濟邁進的關(guān)鍵時期，對大數(shù)據(jù)產(chǎn)業(yè)發(fā)展提出了新的要求，產(chǎn)業(yè)將步入集成創(chuàng)新、快速發(fā)展、深度應用、結(jié)構(gòu)優(yōu)化的新階段。

根據(jù)中國電信招股說明書（艾瑞咨詢研究院預測整理數(shù)據(jù)），2015-2030年中國數(shù)據(jù)量規(guī)模呈幾何倍增長，2015-2030年中國數(shù)據(jù)量全球占比呈逐年上升的趨勢。資料來源：中國電信招股說明書，艾瑞咨詢研究院

大數(shù)據(jù)的概念與內(nèi)涵大數(shù)據(jù)（bigdata）是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)的特征與結(jié)構(gòu)類型數(shù)量（Volume）種類（Variety）價值（Value）速度（Velocity）準確性（Veracity）可變性(Variability)波動性(Volatility)可視化(visualization)大數(shù)據(jù)的8V特征（一）大數(shù)據(jù)的8V特征

大數(shù)據(jù)的特征與結(jié)構(gòu)類型（二）大數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)類型類型特點結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)字段含義確定,清晰,典型的如數(shù)據(jù)庫中的表結(jié)構(gòu)半結(jié)構(gòu)化數(shù)據(jù)具有一定結(jié)構(gòu),但語義不夠確定,典型的如HTML網(wǎng)頁,有些字段是確定的(title),有些不確定(table)非結(jié)構(gòu)化數(shù)據(jù)雜亂無章的數(shù)據(jù),很難按照一個概念去進行抽取,無規(guī)律性

大數(shù)據(jù)的計算模式大數(shù)據(jù)計算模式大數(shù)據(jù)計算模式解決的問題代表產(chǎn)品批處理計算針對靜態(tài)數(shù)據(jù)進行大規(guī)模并行批處理MapReduce、Spark等流式計算針對流數(shù)據(jù)的實時計算Storm、S4、Flume、Streams、Puma、DStream、SuperMario等圖計算針對大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等查詢分析計算大規(guī)模數(shù)據(jù)的存儲管理和查詢分析HBase、Hive、Dremel、Cassandra、Shark、Hana、Impala等

大數(shù)據(jù)的處理與分析（一）大數(shù)據(jù)的處理流程數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)歸約數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)源數(shù)據(jù)采集數(shù)據(jù)預處理數(shù)據(jù)存儲數(shù)據(jù)分析與挖掘數(shù)據(jù)可視化數(shù)據(jù)應用

大數(shù)據(jù)的處理與分析（二）大數(shù)據(jù)分析的類型描述性分析診斷性分析預測性分析決策性分析

大數(shù)據(jù)時代的思維變革一切皆可量化全樣而非抽樣相關(guān)而非因果概率而非精確任務二大數(shù)據(jù)的提出、演化和發(fā)展歷程主講教師：許珊目錄1大數(shù)據(jù)的提出與演化3大數(shù)據(jù)在中國2大數(shù)據(jù)的發(fā)展歷程

大數(shù)據(jù)的提出與演化（一）大數(shù)據(jù)的提出與探討早在1980年，著名未來學家阿爾文·托夫勒(AlvinToffler）在《第三次浪潮》一書中將大數(shù)據(jù)盛贊為“第三次浪潮的華彩樂章”?！按髷?shù)據(jù)”這一概念最早公開出現(xiàn)于1998年，美國高性能計算公司SGI的首席科學家約翰·馬西（John?Mashey）在一個國際會議報告中指出：隨著數(shù)據(jù)量的快速增長，必將出現(xiàn)數(shù)據(jù)難理解、難獲取、難處理和難組織等四個難題，并用“Big?Data（大數(shù)據(jù)）”來描述這一挑戰(zhàn)，在計算領(lǐng)域引發(fā)思考。

大數(shù)據(jù)的提出與演化（二）大數(shù)據(jù)的演化信息化已經(jīng)歷了兩次高速發(fā)展的浪潮，始于上世紀80年代，隨個人計算機大規(guī)模普及應用所帶來的以單機應用為主要特征的數(shù)字化（信息化1.0），及始于上世紀90年代中期，隨互聯(lián)網(wǎng)大規(guī)模商用進程所推動的以聯(lián)網(wǎng)應用為主要特征的網(wǎng)絡化（信息化2.0）。

當前，我們正在進入以數(shù)據(jù)的深度挖掘和融合應用為主要特征的智能化階段（信息化3.0）。在“人機物”三元融合的大背景下，以“萬物均需互聯(lián)、一切皆可編程”為目標，數(shù)字化、網(wǎng)絡化和智能化呈融合發(fā)展新態(tài)勢。大數(shù)據(jù)的發(fā)展歷程萌芽時期（20世紀90年代至21世紀初）發(fā)展時期（21世紀初至2010年）興盛時期（2011年至今）010203大數(shù)據(jù)的發(fā)展歷程【數(shù)字中國】加快發(fā)展數(shù)字經(jīng)濟、建設數(shù)字中國中國特色社會主義進入新時代，實現(xiàn)中華民族偉大復興的中國夢開啟新征程。黨中央決定實施國家大數(shù)據(jù)戰(zhàn)略，吹響了加快發(fā)展數(shù)字經(jīng)濟、建設數(shù)字中國的號角。習近平總書記在十九屆中共中央政治局第二次集體學習時的重要講話中指出：“大數(shù)據(jù)是信息化發(fā)展的新階段”，并做出了“推動大數(shù)據(jù)技術(shù)產(chǎn)業(yè)創(chuàng)新發(fā)展、構(gòu)建以數(shù)據(jù)為關(guān)鍵要素的數(shù)字經(jīng)濟、運用大數(shù)據(jù)提升國家治理現(xiàn)代化水平、運用大數(shù)據(jù)促進保障和改善民生、切實保障國家數(shù)據(jù)安全”的戰(zhàn)略部署，為我國構(gòu)筑大數(shù)據(jù)時代國家綜合競爭新優(yōu)勢指明了方向。黨的二十大報告指出，十年來，我們采取一系列戰(zhàn)略性舉措，推進一系列變革性實踐，實現(xiàn)一系列突破性進展，取得一系列標志性成果。在“加快構(gòu)建新發(fā)展格局，著力推動高質(zhì)量發(fā)展”部分，報告強調(diào)，“建設現(xiàn)代化產(chǎn)業(yè)體系，堅持把發(fā)展經(jīng)濟的著力點放在實體經(jīng)濟上，推進新型工業(yè)化，加快建設制造強國、質(zhì)量強國、航天強國、交通強國、網(wǎng)絡強國、數(shù)字中國。”數(shù)字改變生活，數(shù)字創(chuàng)造未來。讓我們一起見證數(shù)字中國的新繁榮、新進步、新精彩。大數(shù)據(jù)在中國初期階段（2008年以前）成長階段（2009年-2012年）爆發(fā)階段（2013年-2015年）快速發(fā)展階段（2016年至今）【數(shù)字中國】我國《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》主要亮點工業(yè)和信息化部發(fā)布《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》（以下簡稱《規(guī)劃》），在延續(xù)“十三五”規(guī)劃關(guān)于大數(shù)據(jù)產(chǎn)業(yè)定義和內(nèi)涵的基礎(chǔ)上，進一步強調(diào)數(shù)據(jù)要素價值?！兑?guī)劃》總體分為5章，具體內(nèi)容可以概括為“3個6”，即6項重點任務、6個專項行動、6項保障措施。《規(guī)劃》的主要亮點可以歸納為“三新”。一是順應新形勢?！笆奈濉睍r期，我國進入由工業(yè)經(jīng)濟向數(shù)字經(jīng)濟大踏步邁進的關(guān)鍵時期，經(jīng)濟社會數(shù)字化轉(zhuǎn)型成為大勢所趨，數(shù)據(jù)上升為新的生產(chǎn)要素，數(shù)據(jù)要素價值釋放成為重要命題，貫穿《規(guī)劃》始終。二是明確新方向。立足推動大數(shù)據(jù)產(chǎn)業(yè)從培育期進入高質(zhì)量發(fā)展期，在“十三五”規(guī)劃提出的產(chǎn)業(yè)規(guī)模1萬億元目標基礎(chǔ)上，提出“到2025年底，大數(shù)據(jù)產(chǎn)業(yè)測算規(guī)模突破3萬億元”的增長目標，以及數(shù)據(jù)要素價值體系、現(xiàn)代化大數(shù)據(jù)產(chǎn)業(yè)體系建設等方面的新目標。三是提出新路徑。為推動大數(shù)據(jù)產(chǎn)業(yè)高質(zhì)量發(fā)展，《規(guī)劃》提出了“以釋放數(shù)據(jù)要素價值為導向，以做大做強產(chǎn)業(yè)本身為核心，以強化產(chǎn)業(yè)支撐為保障”的路徑設計，增加了培育數(shù)據(jù)要素市場、發(fā)揮大數(shù)據(jù)特性優(yōu)勢等新內(nèi)容，將“新基建”、技術(shù)創(chuàng)新和標準引領(lǐng)作為產(chǎn)業(yè)基礎(chǔ)能力提升的著力點，將產(chǎn)品鏈、服務鏈、價值鏈作為產(chǎn)業(yè)鏈構(gòu)建的主要構(gòu)成，實現(xiàn)數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化的有機統(tǒng)一，并進一步明確和強化了數(shù)據(jù)安全保障?！兑粓D讀懂《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》》來源：人民網(wǎng)2021年11月30日大數(shù)據(jù)在中國1.大數(shù)據(jù)分析服務公司：易觀科技易觀科技成立于2001年。它是一家提供數(shù)據(jù)咨詢和分析服務的公司，致力于為客戶提供專業(yè)的數(shù)據(jù)分析及市場研究服務。該公司通過大數(shù)據(jù)分析技術(shù)，幫助企業(yè)做出決策，并提高企業(yè)在競爭激烈的市場中的競爭力。易觀科技廣泛地應用大數(shù)據(jù)科技，包括大數(shù)據(jù)采集、清理、分析、建模和可視化等領(lǐng)域。其客戶包括阿里巴巴、騰訊、百度等大型互聯(lián)網(wǎng)公司。中國大數(shù)據(jù)企業(yè)案例大數(shù)據(jù)在中國2.大數(shù)據(jù)應用領(lǐng)域公司：同盾科技同盾科技是一家大數(shù)據(jù)應用領(lǐng)域的公司，提供欺詐識別、風險管理和安全保障等服務。公司成立于2013年，總部位于北京。同盾科技應用大數(shù)據(jù)分析技術(shù)，對申請人進行風險評估。它使用機器學習算法和大數(shù)據(jù)挖掘技術(shù)，從大量的數(shù)據(jù)中尋找特征，并使用這些特征來檢測欺詐行為。目前，同盾科技已為數(shù)百個行業(yè)提供了風險管理服務，如銀行、消費金融貸款和保險等。從大數(shù)據(jù)國家戰(zhàn)略到行業(yè)發(fā)展、企業(yè)應用，中國大數(shù)據(jù)發(fā)展掀起了一股熱潮，預示著巨大的發(fā)展前景。在以大數(shù)據(jù)、云計算、人工智能為核心的下一代信息技術(shù)的引領(lǐng)下，大數(shù)據(jù)未來也將會繼續(xù)直接影響到我國的經(jīng)濟發(fā)展和產(chǎn)業(yè)升級。因此，相信未來中國大數(shù)據(jù)領(lǐng)域?qū)^續(xù)迎來新一輪發(fā)展。中國大數(shù)據(jù)企業(yè)案例大數(shù)據(jù)在中國【動動手】請查閱相關(guān)資料，談談什么是“東數(shù)西算”？為何要實施“東數(shù)西算”工程？走進金融大數(shù)據(jù)目錄1大數(shù)據(jù)認知與大數(shù)據(jù)思維2大數(shù)據(jù)的提出、演化和發(fā)展歷程3金融大數(shù)據(jù)的內(nèi)涵及理論基礎(chǔ)4大數(shù)據(jù)在金融領(lǐng)域的應用任務三金融大數(shù)據(jù)內(nèi)涵及理論基礎(chǔ)主講教師：劉志敏目錄1金融大數(shù)據(jù)的基本概念2金融大數(shù)據(jù)的特征3金融大數(shù)據(jù)的理論基礎(chǔ)

金融大數(shù)據(jù)的基本概念猜一猜：你能舉例說明什么是金融大數(shù)據(jù)？

金融大數(shù)據(jù)的基本概念金融大數(shù)據(jù)指運用大數(shù)據(jù)技術(shù)開展金融服務，即集合大規(guī)模結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，通過互聯(lián)網(wǎng)、云計算和數(shù)據(jù)挖掘等信息處理的方式進行實時分析，向客戶提供全方位的信息，并通過分析和挖掘客戶交易與客戶的消費習慣的信息，預測客戶的行為，以結(jié)合傳統(tǒng)的金融服務、開展資金融通、創(chuàng)新金融服務

課堂討論：金融大數(shù)據(jù)有哪些特征？金融大數(shù)據(jù)的特征

金融大數(shù)據(jù)的特征

金融大數(shù)據(jù)的特征

發(fā)起搶答：如何區(qū)分數(shù)字化、電子化、網(wǎng)絡化、虛擬化？

金融大數(shù)據(jù)的理論基礎(chǔ)

1信息經(jīng)濟學2金融中介理論3金融功能理論

金融大數(shù)據(jù)的理論基礎(chǔ)

信息經(jīng)濟學理論基于信息不對稱，金融業(yè)的風險主要來自客戶信息的不完全和不對稱，金融大數(shù)據(jù)的出現(xiàn)有助于緩解信息不對稱的三個層次?？臻g維度上的信息不對稱.......................

主體之間時間維度上的信息不對稱.......................

過去與未來主體自身上的信息不對稱.......................

未意識的信息

金融大數(shù)據(jù)的理論基礎(chǔ)

金融中介理論認為，金融中介的主要作用是生產(chǎn)、傳遞和處理信息。過去收集信息渠道：依靠銀行、券商、保險等傳統(tǒng)金融中介機構(gòu)現(xiàn)在收集信息渠道：每一位互聯(lián)網(wǎng)用戶都能成為信息源

金融大數(shù)據(jù)的理論基礎(chǔ)

發(fā)起搶答：什么金融機構(gòu)理論？金融功能理論觀點第一，金融功能比金融機構(gòu)有更大的穩(wěn)定性；第二，金融功能比金融機構(gòu)更加重要，實質(zhì)重于形式。任務四

大數(shù)據(jù)在金融領(lǐng)域的應用主講教師：劉志敏

大數(shù)據(jù)在金融領(lǐng)域的應用…………金融大數(shù)據(jù)2.精準營銷實時營銷交叉營銷個性化推薦客戶生命周期管理

1.客戶畫像個人客戶畫像企業(yè)客戶畫像4.運營分析市場與渠道分析產(chǎn)品優(yōu)化輿情分析

3.風險管理中小企業(yè)貸款風險實時欺詐交易分析反洗錢業(yè)務分析5.其他應用場景金融市場監(jiān)管金融產(chǎn)品創(chuàng)新金融安全投資決策信用評估…………

目錄1銀行業(yè)的應用現(xiàn)狀2證券業(yè)的應用現(xiàn)狀3保險業(yè)應用現(xiàn)狀

銀行業(yè)的應用現(xiàn)狀銀行業(yè)大數(shù)據(jù)的發(fā)展歷程

銀行業(yè)的應用現(xiàn)狀1.客戶精準營銷通過廣泛收集各渠道、各類型的數(shù)據(jù)，利用大數(shù)據(jù)技術(shù)整合各類信息、還原客戶真實面貌，可以幫助銀行切實掌握客戶的真實需求，并根據(jù)客戶需求快速做出應對,在客戶畫像的基礎(chǔ)上銀行可以有效地開展精準營銷。（1）實時營銷（2）個性