2-大數(shù)據(jù)金融業(yè)務(wù)

第二章大數(shù)據(jù)金融業(yè)務(wù)提綱什么是大數(shù)據(jù)金融一二大數(shù)據(jù)金融算法與實(shí)踐應(yīng)用綜合實(shí)訓(xùn)：數(shù)據(jù)分析業(yè)務(wù)實(shí)戰(zhàn)三PARTONE什么是大數(shù)據(jù)金融1目錄大數(shù)據(jù)的基本概念和特征01金融科技的實(shí)質(zhì)02金融科技的發(fā)展歷程0304大數(shù)據(jù)與其他新一代信息技術(shù)的關(guān)系05大數(shù)據(jù)金融的發(fā)展趨勢(shì)一、大數(shù)據(jù)的基本概念和特征（一）概念“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。一、大數(shù)據(jù)的基本概念和特征（二）特征Volume（大量）Velocity（快速）Veracity（真實(shí)）Value（有用）Variety（多元）二、大數(shù)據(jù)處理的基本流程大數(shù)據(jù)處理流程數(shù)據(jù)收集01數(shù)據(jù)處理03數(shù)據(jù)分析05數(shù)據(jù)預(yù)處理02數(shù)據(jù)挖掘04三、大數(shù)據(jù)與金融的融合網(wǎng)絡(luò)平臺(tái)風(fēng)險(xiǎn)管控客戶畫像智能營(yíng)銷產(chǎn)品創(chuàng)新物聯(lián)網(wǎng)技術(shù)和大數(shù)據(jù)技術(shù)之間是相互依存的關(guān)系，物聯(lián)網(wǎng)是大數(shù)據(jù)技術(shù)中數(shù)據(jù)來源的主要途徑，而大數(shù)據(jù)技術(shù)承擔(dān)了物聯(lián)網(wǎng)技術(shù)中的分析功能。大數(shù)據(jù)和物聯(lián)網(wǎng)技術(shù)的融合應(yīng)用，是相互促進(jìn)的關(guān)系，彼此互為支撐，才能夠發(fā)揮出彼此的最高價(jià)值。大數(shù)據(jù)與物聯(lián)網(wǎng)的融合云計(jì)算是提高大數(shù)據(jù)分析能力的一個(gè)可行的方案。云計(jì)算和大數(shù)據(jù)相互依存、共同發(fā)展，云計(jì)算為大數(shù)據(jù)提供彈性的、可擴(kuò)展的存儲(chǔ)以及高效的數(shù)據(jù)并行處理能力，大數(shù)據(jù)則為云計(jì)算提供了新的商業(yè)價(jià)值。云計(jì)算使大數(shù)據(jù)應(yīng)用成為可能。沒有云計(jì)算的出現(xiàn)，大數(shù)據(jù)將仍是空中樓閣，缺乏根基和落地可能。云計(jì)算不僅能為大數(shù)據(jù)處理打造一個(gè)高效、可靠的系統(tǒng)環(huán)境，而且還能夠充分發(fā)揮云計(jì)算平臺(tái)的優(yōu)勢(shì)，為大數(shù)據(jù)應(yīng)用找到更多樣化的出口。大數(shù)據(jù)與云計(jì)算融合大數(shù)據(jù)與人工智能的融合但人工智能技術(shù)的發(fā)展需要大數(shù)據(jù)技術(shù)的支撐。傳統(tǒng)的大數(shù)據(jù)技術(shù)若沒有人工智能技術(shù)的支持，會(huì)出現(xiàn)很多的數(shù)據(jù)信息泄露等問題，導(dǎo)致用戶會(huì)蒙受一定經(jīng)濟(jì)上的損失。因此，將人工智能技術(shù)、大數(shù)據(jù)技術(shù)相融合創(chuàng)新發(fā)展，既可以促進(jìn)技術(shù)的發(fā)展，同時(shí)也可以為用戶提供更好的服務(wù)。四、大數(shù)據(jù)與其他新一代信息技術(shù)的關(guān)系五、大數(shù)據(jù)金融的發(fā)展趨勢(shì)技術(shù)創(chuàng)新與行業(yè)安全有待加強(qiáng)大數(shù)據(jù)時(shí)代下市場(chǎng)信息整合力度加大大數(shù)據(jù)時(shí)代下金融風(fēng)險(xiǎn)管理力度加大機(jī)器學(xué)習(xí)將會(huì)加速發(fā)展，同時(shí)大批量的應(yīng)用在反欺詐和風(fēng)控領(lǐng)域金融服務(wù)業(yè)正在利用物理網(wǎng)數(shù)據(jù)方面做出努力PARTTWO大數(shù)據(jù)金融算法與實(shí)踐應(yīng)用2一、大數(shù)據(jù)金融基礎(chǔ)算法介紹01（一）決策樹決策樹算法是一種典型的分類方法，首先對(duì)數(shù)據(jù)進(jìn)行處理，利用歸納算法生成可讀的規(guī)則和決策樹，然后使用決策對(duì)新數(shù)據(jù)進(jìn)行分析。本質(zhì)上決策樹是通過一系列規(guī)則對(duì)數(shù)據(jù)進(jìn)行分類的過程。婚姻Label=否抽煙Label=是年收入Label=是Label=否>80K≤80K是否已婚單/離一、大數(shù)據(jù)金融基礎(chǔ)算法介紹K均值聚類算法，又稱為K-Means聚類算法。該算法解決的問題是，在事先不知道如何分類的情況下（即無監(jiān)督），讓程序根據(jù)距離的遠(yuǎn)近，把N個(gè)對(duì)象（局部）最優(yōu)的劃分為k個(gè)類。它是無監(jiān)督算法中比較常見的一種算法，原理比較簡(jiǎn)單易懂。（二）K均值聚類算法一、大數(shù)據(jù)金融基礎(chǔ)算法介紹銀行在進(jìn)行信用評(píng)估時(shí)常使用邏輯回歸算法，例如客戶填寫信息表后，銀行借助信息表和第三方信息源處獲得客戶的信用信息，將相關(guān)信息數(shù)據(jù)作為輸入，信用值作為輸出，經(jīng)過邏輯回歸計(jì)算，確認(rèn)該客戶的信用等級(jí)。（三）邏輯回歸一、大數(shù)據(jù)金融基礎(chǔ)算法介紹孤立森林的原理是：異常值是少量且不同的觀測(cè)值，因此更易于識(shí)別。孤立森林集成了孤立樹，在給定的數(shù)據(jù)點(diǎn)中隔離異常值。簡(jiǎn)單來說，孤立森林算法通過隨機(jī)選擇特征，然后隨機(jī)選擇特征的分割值，遞歸地生成數(shù)據(jù)集的分區(qū)。（四）孤立森林劃分?jǐn)?shù)據(jù)數(shù)據(jù)集異常結(jié)果特征選取停止生長(zhǎng)條件數(shù)據(jù)集............孤立樹1孤立樹N孤立森林投票計(jì)算異常分?jǐn)?shù)子采樣子采樣一、大數(shù)據(jù)金融基礎(chǔ)算法介紹人工神經(jīng)網(wǎng)絡(luò)是由大量的類似人腦神經(jīng)元的簡(jiǎn)單處理單元廣泛地相互連接而成的復(fù)雜的網(wǎng)絡(luò)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)需要通過學(xué)習(xí)的過程再來進(jìn)行計(jì)算。神經(jīng)網(wǎng)絡(luò)包括一組連接的輸入、輸出單元，其中每個(gè)連接都有一個(gè)與之相關(guān)的權(quán)值。在學(xué)習(xí)階段調(diào)整連接節(jié)點(diǎn)的權(quán)值擬合訓(xùn)練模型，在預(yù)測(cè)階段對(duì)給定輸入預(yù)測(cè)其正確分類標(biāo)簽。（五）人工神經(jīng)網(wǎng)絡(luò)衍生變量卡種及數(shù)蜃出入賬金額通信行為消費(fèi)趨勢(shì)波動(dòng)指數(shù)平均消費(fèi)額線上小額現(xiàn)金貸模型(52個(gè)變量)通信數(shù)據(jù)身份數(shù)據(jù)網(wǎng)絡(luò)數(shù)據(jù)10萬客戶運(yùn)營(yíng)數(shù)據(jù)某貸款機(jī)構(gòu)與運(yùn)營(yíng)商數(shù)據(jù)總體匹配率80%，其中有值80281個(gè)，無值20288個(gè)角注:樣本來源:隨機(jī)抽取某貸款機(jī)構(gòu)16年6月-12月放款的10萬容戶；樣本比例:正負(fù)樣木比例為8:2負(fù)樣本(壞客戶)定義:逾期大于30天的用戶;正樣本(好客戶)定義:逾期小于等于30天二、大數(shù)據(jù)金融算法應(yīng)用（一）欺詐現(xiàn)象的發(fā)現(xiàn)（二）銀行小額貸款產(chǎn)品的貸中評(píng)估產(chǎn)品應(yīng)用PARTTHREE大數(shù)據(jù)金融業(yè)務(wù)綜合實(shí)訓(xùn)：數(shù)據(jù)分析業(yè)務(wù)實(shí)戰(zhàn)3目錄云服務(wù)申請(qǐng)實(shí)戰(zhàn)01云金融安全實(shí)戰(zhàn)02數(shù)據(jù)分析實(shí)戰(zhàn)0304業(yè)務(wù)申請(qǐng)實(shí)戰(zhàn)一、云服務(wù)申請(qǐng)實(shí)戰(zhàn)云服務(wù)申請(qǐng)?jiān)茟?yīng)用購(gòu)買金融機(jī)構(gòu)要開展大數(shù)據(jù)金融操作，首先要向云服務(wù)提供機(jī)構(gòu)申請(qǐng)?jiān)品?wù)。角色切換至云服務(wù)提供機(jī)構(gòu)或者商業(yè)銀行，進(jìn)入云存儲(chǔ)頁(yè)面，根據(jù)任務(wù)詳情填寫完畢后完成云應(yīng)用新建。二、云金融安全實(shí)戰(zhàn)（一）云金融安全角色切換至云服務(wù)提供機(jī)構(gòu)，單擊左側(cè)菜單欄的【云金融安全-基礎(chǔ)設(shè)施檢測(cè)】按鈕進(jìn)入基礎(chǔ)設(shè)施檢測(cè)頁(yè)面，隨后依次單擊防雷檢測(cè)和消防設(shè)施檢測(cè)右側(cè)的檢測(cè)時(shí)間按鈕完成檢測(cè)。單擊【業(yè)務(wù)管理-新建業(yè)務(wù)】按鈕進(jìn)入新建業(yè)務(wù)頁(yè)面，隨后單擊右上角的【新建業(yè)務(wù)】按鈕顯示新建業(yè)務(wù)窗口，根據(jù)任務(wù)詳情填寫信息后單擊【確定】按鈕完成業(yè)務(wù)新建。單擊【安全評(píng)估】按鈕進(jìn)入安全評(píng)估頁(yè)面，單擊右側(cè)操作欄的【開始掃描】按鈕，選擇掃描時(shí)間后單擊【確定】按鈕完成掃描01030204角色切換至商業(yè)銀行，單擊【云金融安全-基礎(chǔ)設(shè)施檢測(cè)】按鈕進(jìn)入基礎(chǔ)設(shè)施檢測(cè)頁(yè)面，隨后依次單擊防雷檢測(cè)和消防設(shè)施檢測(cè)右側(cè)的檢測(cè)時(shí)間按鈕完成檢測(cè)。三、數(shù)據(jù)分析實(shí)戰(zhàn)金融機(jī)構(gòu)要進(jìn)行數(shù)據(jù)分析及產(chǎn)品營(yíng)銷操作，首先需要進(jìn)行數(shù)據(jù)采集及存儲(chǔ)。分別單擊【數(shù)據(jù)分析】【數(shù)據(jù)挖掘】【數(shù)據(jù)可視化】按鈕進(jìn)入相應(yīng)頁(yè)面。單擊【用戶畫像】【創(chuàng)建畫像】【精準(zhǔn)營(yíng)銷】按鈕進(jìn)入相應(yīng)頁(yè)面。數(shù)據(jù)采集數(shù)據(jù)分析產(chǎn)品營(yíng)銷四、業(yè)務(wù)申請(qǐng)實(shí)戰(zhàn)角色切換至個(gè)人用戶，單擊左側(cè)菜單欄的【新建申請(qǐng)】按鈕進(jìn)入新建申請(qǐng)頁(yè)面，頁(yè)面顯示