銀行大數(shù)據(jù)解決方法

銀行大數(shù)據(jù)解決方案一、項目背景2015年8月31日,國務院印發(fā)了促進大數(shù)據(jù)發(fā)展的行動綱要,這一戰(zhàn)略性文件為我國大數(shù)據(jù)發(fā)展與應用提供了指導綱領和政策保障.在數(shù)據(jù)已成為銀行重要資產(chǎn)和寶貴資源的形勢下,綱要也為銀行利用大數(shù)據(jù)推動轉型發(fā)展指明了方向和實施路徑,帶來了發(fā)展新機遇.當前中國銀行業(yè)正在步入大數(shù)據(jù)時代的初級階段.經(jīng)過多年的發(fā)展與積累,目前銀行業(yè)的數(shù)據(jù)量已經(jīng)達到100TB以上級別,并且非結構化數(shù)據(jù)量正在以更快的速度增長.銀行業(yè)在數(shù)據(jù)方面有天然的優(yōu)勢：一方面,銀行在業(yè)務開展過程中積累了包括客戶身份、資產(chǎn)負債情況、資金收付交易等大量高價值密度的數(shù)據(jù),這些數(shù)據(jù)在運用專業(yè)技術挖掘和分析之后,將產(chǎn)生巨大的商業(yè)價值；另一方面,銀行具有較為充足的預算,可以吸引到實施大數(shù)據(jù)的高端人才,也有能力采用大數(shù)據(jù)的最新技術.總體來看,盡管大數(shù)據(jù)在銀行業(yè)的應用剛剛起步,目前影響還比較小,但是從發(fā)展趨勢來看,應充分認識大數(shù)據(jù)帶來的深遠影響.銀行業(yè)需要進行統(tǒng)一的大數(shù)據(jù)平臺建設,建立綜合預測分析體系,整合生產(chǎn)系統(tǒng)數(shù)據(jù)資源.在此基礎上與綱要規(guī)劃的信用信息共享交換平臺和公共機構數(shù)據(jù)統(tǒng)一開放平臺有效對接,雙管齊下擴展數(shù)據(jù)來源和采集渠道.這可以一方面高效收集、有效整合企業(yè)和社會公共數(shù)據(jù),掌握企業(yè)真實需求,實現(xiàn)精準營銷.尤其可通過農(nóng)業(yè)農(nóng)村信息綜合服務和農(nóng)業(yè)資源要素數(shù)據(jù)共享,獲取三農(nóng)數(shù)據(jù)和小微企業(yè)數(shù)據(jù),解決數(shù)據(jù)挖掘和分析難點,提升三農(nóng)和小微金融服務水平.另一方面利用平臺動態(tài)監(jiān)控企業(yè)經(jīng)營及個人信用變化情況,強化信用風險智能化管理和預警,降低信用評估、風險控制的難度和不確定性,實現(xiàn)風險管控和精準營銷的雙重收益.二、銀行大數(shù)據(jù)平臺總體框架2.1銀行大數(shù)據(jù)平臺框架概述銀行大數(shù)據(jù)建設是基于已有的信息化基礎,充分利用和整合已有信息化資源,打破行業(yè)、部門之間的信息壁壘,運用大數(shù)據(jù)技術進行采集、加工、建模、分析,將數(shù)據(jù)價值融入到金融之中,從而提升創(chuàng)新能力和產(chǎn)品服務能力.1大數(shù)據(jù)分析基礎平臺按照功能劃分數(shù)據(jù)區(qū),設計數(shù)據(jù)模型,在統(tǒng)一流程調度下,整合各類數(shù)據(jù),同現(xiàn)有的企業(yè)級數(shù)據(jù)倉庫和歷史數(shù)據(jù)存儲系統(tǒng)一起,形成基礎數(shù)據(jù)體系,提供支撐經(jīng)營管理的各類數(shù)據(jù)應用,支撐上層應用.2數(shù)據(jù)應用系統(tǒng)基于基礎數(shù)據(jù)平臺,持續(xù)建設各類數(shù)據(jù)應用系統(tǒng),通過數(shù)據(jù)挖掘、計量分析和機器學習等手段,對豐富的大數(shù)據(jù)資源進行開發(fā)使用,并將數(shù)據(jù)決策化過程結合到風控、營銷、營運等經(jīng)營管理活動,充分發(fā)揮大數(shù)據(jù)價值.3數(shù)據(jù)管控建立數(shù)據(jù)標準,提升數(shù)據(jù)質量,加強元數(shù)據(jù)管理能力,為平臺建設及安全提供保障.2.2銀行大數(shù)據(jù)平臺建設原則平臺是大數(shù)據(jù)的基礎實施,其建設、設計和系統(tǒng)實現(xiàn)過程中,應遵循如下指導原則：經(jīng)濟性：基于現(xiàn)有場景分析,對近年數(shù)據(jù)量進行合理評估,確定大數(shù)據(jù)平臺規(guī)模,后續(xù)根據(jù)實際情況再逐步優(yōu)化擴容.可擴展性：架構設計與功能劃分模塊化,考慮各接口的開放性、可擴展性,便于系統(tǒng)的快速擴展與維護,便于第三方系統(tǒng)的快速接入.可靠性：系統(tǒng)采用的系統(tǒng)結構、技術措施、開發(fā)手段都應建立在已經(jīng)相當成熟的應用基礎上,在技術服務和維護響應上同用戶積極配合,確保系統(tǒng)的可靠；對數(shù)據(jù)指標要保證完整性,準確性.安全性：針對系統(tǒng)級、應用級、網(wǎng)絡級,均提供合理的安全手段和措施,為系統(tǒng)提供全方位的安全實施方案,確保企業(yè)內部信息的安全.大數(shù)據(jù)技術必須自主可控.先進性：涵蓋結構化,半結構化和非結構化數(shù)據(jù)存儲和分析的特點.借鑒互聯(lián)網(wǎng)大數(shù)據(jù)存儲及分析的實踐,使平臺具有良好的先進性和彈性.支撐當前及未來數(shù)據(jù)應用需求,引入對應大數(shù)據(jù)相關技術.平臺性：歸納整理大數(shù)據(jù)需求,形成統(tǒng)一的大數(shù)據(jù)存儲服務和大數(shù)據(jù)分析服務.利用多租戶,實現(xiàn)計算負荷和數(shù)據(jù)訪問負荷隔離.多集群統(tǒng)一管理.分層解耦：大數(shù)據(jù)平臺提供開放的、標準的接口,實現(xiàn)與各應用產(chǎn)品的無縫對接2.3銀行基礎數(shù)據(jù)層來源2.3.1銀行內部大數(shù)據(jù)資源金融行業(yè)的數(shù)據(jù)大多數(shù)來源于客戶自身信息以及其金融交易行為,其中八成左右的數(shù)據(jù)集中于銀行.因此依照目前積累沉淀的數(shù)量資源情況,將數(shù)據(jù)主要分為三大類：第一類：客戶基礎數(shù)據(jù)客戶信息數(shù)據(jù),即客戶基礎數(shù)據(jù),主要是指描述客戶自身特點的數(shù)據(jù).個人客戶信息數(shù)據(jù)包括：個人姓名、性別、年齡、身份信息、、職業(yè)、生活城市、工作地點、家庭地址、所屬行業(yè)、具體職業(yè)、婚姻狀況、教育情況、工作經(jīng)歷、工作技能、賬戶信息、產(chǎn)品信息、個人愛好等等.企業(yè)客戶信息數(shù)據(jù)包括：企業(yè)名稱、關聯(lián)企業(yè)、所屬行業(yè)、銷售金額、注冊資本、賬戶信息、企業(yè)規(guī)模、企業(yè)地點、分公司情況、客戶和供應商、信用評價、主營業(yè)務、法人信息等等.目前銀行業(yè)的客戶信息數(shù)據(jù)積累數(shù)量無疑是最大,如果將這些割裂的數(shù)據(jù)整合到大數(shù)據(jù)平臺,形成全局數(shù)據(jù),再按照自身需要進行歸類和打標簽,由于都是結構化數(shù)據(jù)因此將有利于數(shù)據(jù)分析.可以將這些信息集中在大數(shù)據(jù)管理平臺,對客戶進行分類,依據(jù)其他的交易數(shù)據(jù),進行產(chǎn)品開發(fā)和決策支持.第二類：支付信息交易信息數(shù)據(jù),可以稱之為支付信息,主要是指客戶通過渠道發(fā)生的交易以及現(xiàn)金流信息.個人客戶交易信息：包括工資收入、個人消費、公共事業(yè)繳費、信貸還款、轉賬交易、委托扣款、購買理財產(chǎn)品、購買保險產(chǎn)品、信用卡還款等.企業(yè)客戶交易信息：包括供應鏈應收款項、供應鏈應付款項、員工工資、企業(yè)運營支出、同分公司之間交易、同總公司之間交易、稅金支出、理財產(chǎn)品買賣、金融衍生產(chǎn)品購買、公共費用支出、其他轉賬等.第三類：資產(chǎn)信息資產(chǎn)信息主要是指客戶在金融機構端資產(chǎn)和負債信息,同時也包含金融機構自身資產(chǎn)負債信息,其中數(shù)據(jù)大多來自銀行.個人客戶資產(chǎn)負債信息包括：購買的理財產(chǎn)品、定期存款、活期存款、信用貸款、抵押貸款、信用卡負債、抵押房產(chǎn)、企業(yè)年金等.企業(yè)客戶資產(chǎn)負債信息包括：企業(yè)定期存款、活期存款、信用貸款、抵押貸款、擔保額度、應收賬款、應付賬款、理財產(chǎn)品、票據(jù)、債券、固定資產(chǎn)等.銀行自身端資產(chǎn)負債信息包括：自身資產(chǎn)和負債例如活期存款、定期存款、借入負債、結算負債、現(xiàn)金資產(chǎn)、固定資產(chǎn)貸款證券投資等.第四類：新型業(yè)務數(shù)據(jù)此類數(shù)據(jù)包括系統(tǒng)的運行日志、客服語音、視頻影像、網(wǎng)站日志等.2.3.2外部大數(shù)據(jù)所需來源銀行機構進行大數(shù)據(jù)分析,為了贏得差異化競爭,就必須考慮其他數(shù)據(jù)源的輸入,這些數(shù)據(jù)是自身不具有的,但是對其數(shù)據(jù)分析和決策起到了很重要的作用.銀行內部有客戶信息、交易信息、信用信息、資產(chǎn)信息等,具有較全的數(shù)據(jù),需要的外部數(shù)據(jù)具有一定針對性,下表是外部數(shù)據(jù)需求的整理.外部信息數(shù)據(jù)需求類型及應用方式法院、公安數(shù)據(jù)個人嚴重行政處罰記錄如行政拘留等、刑事犯罪記錄、涉訴情況人身關系、財產(chǎn)關系、交通嚴重違規(guī)違章記錄P2P征信信用數(shù)據(jù)個人在P2P平臺貸款的信用記錄互聯(lián)網(wǎng)消費行為數(shù)據(jù)了解客戶消費能力和消費偏好客戶征信信息客戶在其他銀行或金融機構的貸款記錄、信用記錄等信息第三方征信客戶的評級情況以及客戶的社會信息社保、納稅、公積金客戶的社會保障情況及經(jīng)濟能力工作單位性質了解客戶社會身份第三方催收機構有催收記錄的客戶信息、客戶的社會信息出入境記錄客戶出入境目的地、出入境頻率等了解客戶國外消費潛在需求國內出行記錄了解客戶出行習慣表一：銀行外部數(shù)據(jù)需求類型正是由于以銀行為代表的金融機構需要大量的外部數(shù)據(jù)彌補自身內部數(shù)據(jù)的不足,從而催生針對金融業(yè)的大數(shù)據(jù)交易市場.目前金融機構可以采用同大數(shù)據(jù)廠商合作的方式,通過自身平臺來采集數(shù)據(jù)或購買第三方數(shù)據(jù).三、大數(shù)據(jù)在銀行業(yè)的應用場景3.1客戶管理借助大數(shù)據(jù)分析平臺,構建360度的立體畫像.圖二：銀行大數(shù)據(jù)技術客戶畫像維度隨著大數(shù)據(jù)的大量涌現(xiàn),尤其是在社交網(wǎng)絡的背景下,服務渠道不應僅局限于傳統(tǒng)的銀行渠道,而應整合新的客戶接觸點即社交媒體網(wǎng)站等,這種趨勢已經(jīng)變得日益清晰.銀行業(yè)發(fā)展戰(zhàn)略也逐步從以產(chǎn)品為中心轉向以客戶為中心,客戶成為銀行發(fā)展的重要驅動力.銀行不僅僅銷售產(chǎn)品和服務,而且還應為用戶提供完美的多渠道體驗,成為真正以客戶為中心的組織.了解客戶到底是誰以及客戶最真實的需求成為銀行經(jīng)營管理者最為關注的問題.銀行可以通過大數(shù)據(jù)分析平臺,接入客戶通過社交網(wǎng)絡、電子商務、終端設備等媒介產(chǎn)生的非結構化數(shù)據(jù),構建全面的客戶視圖.根據(jù)用戶行為對用戶進行聚類分析,進而可以有效的甄別出優(yōu)質客戶、潛力客戶以及流失客戶.3.2營銷管理借助大數(shù)據(jù)分析平臺,執(zhí)行個性化營銷管理及策略.圖三：銀行大數(shù)據(jù)技術精準營銷在客戶畫像基礎上,銀行可展開精準營銷.1實時營銷.例如客戶當時的所在地、客戶最近一次消費等信息來有針對地進行營銷,或者將改變生活狀態(tài)的事件換工作、改變婚姻狀況、置居等視為營銷機會；2交叉營銷.即不同業(yè)務或產(chǎn)品的交叉推薦,如招商銀行可以根據(jù)客戶交易記錄分析,有效地識別小微企業(yè)客戶,然后用遠程銀行來實施交叉銷售；3個性化推薦.銀行可以根據(jù)客戶的喜好進行服務或者銀行產(chǎn)品的個性化推薦,如根據(jù)客戶的年齡、資產(chǎn)規(guī)模、理財偏好等,對客戶群進行精準定位,分析出其潛在金融服務需求,進而有針對性的營銷推廣；4客戶生命周期管理.客戶生命周期管理包括新客戶獲取、客戶防流失和客戶贏回等.3.3構建更全面的信用評價體系利用大數(shù)據(jù)平臺及技術,可以更好的構建銀行系統(tǒng)的信用評價系統(tǒng).圖四：銀行大數(shù)據(jù)全面信用評價體系信用風險評價是銀行信用風險管理工作的依據(jù)和基礎,其前提是要為信用風險評估建立科學合理的評估指標體系.大數(shù)據(jù)能分析及幫助銀行了解客戶各方面的信息,做出快速、高效的評價、評估,實現(xiàn)業(yè)務安全的實施.3.4風險管理借助大數(shù)據(jù)平臺及技術,實現(xiàn)高效準確的風險控制.圖五：銀行大數(shù)據(jù)全面風險管理體系隨著銀行業(yè)務的快速發(fā)展,銀行經(jīng)營者必須有效地甄別風險、防范風險和控制風險.風險管理成為銀行穩(wěn)健發(fā)展至關重要的一環(huán).社會化媒體的互動、實時的傳感器數(shù)據(jù)、電子商務和其他新的數(shù)據(jù)源,正給銀行經(jīng)營帶來一系列的挑戰(zhàn).僅僅借助傳統(tǒng)的解決方案,無法全面進行風險管理.大數(shù)據(jù)分析幫助銀行了解客戶的自然屬性和行為屬性,結合客戶行為分析、客戶信用度分析、客戶風險分析以及客戶的資產(chǎn)負債狀況,建立完善的風險防范體系統(tǒng).3.5運營優(yōu)化在運營優(yōu)化方面的應用包括：1市場和渠道分析優(yōu)化.通過大數(shù)據(jù),銀行可以監(jiān)控不同市場推廣渠道,進而為銀行產(chǎn)品或者服務找到合適的渠道,優(yōu)化推廣策略.2產(chǎn)品和服務優(yōu)化.銀行將客戶行為轉化為信息流,并從中分析客戶的個性特征和風險偏好,智能化分析和預測客戶需求,從而進行產(chǎn)品創(chuàng)新和服務優(yōu)化.3.6解決信息孤島銀行的系統(tǒng)是非常多,帶來的問題是信息孤島,過去,銀行通常需要小時的時間間隔去掃描各個業(yè)務系統(tǒng),這會造成一些業(yè)務方面的問題.比如：現(xiàn)在絕大多數(shù)的交易都可以在多渠道上做,用戶在做的過程中可能會遇到困難.遇到這種情況,客戶會打到客服,相應的客服人員不太可能實時的知道這個問題.新一代的解決方案是利用現(xiàn)在大數(shù)據(jù)的能力把分布在各個地方的原始數(shù)據(jù)和原始的日志定時每隔一分鐘進行收集和抽取,放到分布式文件系統(tǒng)里,然后建立索引,這樣一來就能夠實時的查詢四、大數(shù)據(jù)在銀行業(yè)的應用趨勢4.1風險定價模型利率市場化改革逐漸深化,銀行正在增強自身的定價能力.在貸款業(yè)務上,銀行與銀行的競爭本質上就是風險定價的競爭.現(xiàn)在,銀行在客戶數(shù)據(jù)和數(shù)據(jù)質量方面落后于互聯(lián)網(wǎng)金融企業(yè),但是風險定價能力則超過這些企業(yè).4.2多渠道數(shù)據(jù)的實時交互銀行需要加快新興電子渠道建設,同時還要基于客戶統(tǒng)一信息視圖,實現(xiàn)數(shù)據(jù)在各渠道終端的及時交互.4.3加強語義和語音分析很多銀行內部、社交網(wǎng)絡、移動設備上來的數(shù)據(jù)和電子商城上的數(shù)據(jù)都是非結構化的,其中一部分還是語音,比如客戶錄音,這些數(shù)據(jù)對于銀行了解客戶也是至關重要的.4.4實時營銷將會推廣到更多的銀行和更多的銀行業(yè)務根據(jù)客戶所在地進行營銷、根據(jù)客戶最近一次的交易進行營銷、根據(jù)客戶的言論進行營銷、根據(jù)客戶瀏覽的網(wǎng)頁或者商品進行營銷等.4.5銀行進入P2P領域對于部分細分市場,銀行將從貸款的提供者走向貸款的中介.實際上,我們已經(jīng)看到一些銀行正在嘗試這種模式,他們僅僅是撮合資金的提供方和需求方.4.6將銀行的電子商城業(yè)務和銀行金融服務結合起來銀行進入電子商務領域本質上并不是為了與互聯(lián)網(wǎng)電子商務公司競爭,而是為了更好地了解客戶.從目前來看,銀行開展的電子商務業(yè)務都不太順利,電子商城上的商品價格普遍偏高,交易量稀少.五、銀行大數(shù)據(jù)應用風險及防控銀行業(yè)結合了互聯(lián)網(wǎng)大數(shù)據(jù)會使得該行業(yè)面臨更多更復雜的風險.在此背景下銀行業(yè)大數(shù)據(jù)健康可持續(xù)發(fā)展離不開對風險的監(jiān)控和管理.5.1數(shù)據(jù)安全和數(shù)據(jù)定價風險銀行從一開始誕生就離不開數(shù)據(jù),銀行的核心基礎就是大數(shù)法則,在大數(shù)據(jù)時代,互聯(lián)網(wǎng)銀行在深度觸網(wǎng)的過程中會產(chǎn)生各種結構化和非結構化數(shù)據(jù),深度挖掘客戶的大數(shù)據(jù),開發(fā)出客戶潛在需求和合適的金融產(chǎn)品,前提是確保這些數(shù)據(jù)來源的全面性、可靠性和準確性,防止數(shù)據(jù)失真所帶來的定價風險.5.2信用與網(wǎng)絡欺詐風險運用大數(shù)據(jù)分析軟件,可以預防信用卡和借記卡欺詐.通過監(jiān)控客戶、賬戶和渠道等,提高銀行在交易、轉賬和在線付款等領域防御欺詐的能力.在監(jiān)控客戶行為時,大數(shù)據(jù)可以識別出潛在的違規(guī)客戶,提示銀行工作人員對其予以重點關注,從而節(jié)省反欺詐監(jiān)控資源.5.3運維風險和運營風險前者如數(shù)據(jù)丟失、數(shù)據(jù)泄露、數(shù)據(jù)非法篡改、數(shù)據(jù)整合過程中的信息不對稱導致錯誤決策等,后者如企業(yè)聲譽風險、數(shù)據(jù)被對手獲取后的經(jīng)營風險等.因此,必須加強數(shù)據(jù)管控.為此,一是高度重視并推進統(tǒng)一的數(shù)據(jù)標準,并做好數(shù)據(jù)清洗,保證數(shù)據(jù)質量.二是審慎劃定數(shù)據(jù)邊界,合理開展內外部數(shù)據(jù)共享和非核心數(shù)據(jù)業(yè)務外包.三是大數(shù)據(jù)下應更加重視隱私保護和信息安全,加大對反網(wǎng)絡攻擊的投入.5.4操作風險之所以將此風險單獨列舉出來,主要是出于此風險的危害性角度考慮,因為該風險很多時候會對企業(yè)產(chǎn)生致命性的打擊.大數(shù)據(jù)時代的互聯(lián)網(wǎng)金融面臨的操作風險更加不容忽視,銀行工作人員和客戶的在線操作風險如果不引起重視,不僅會影響互聯(lián)網(wǎng)金融的長遠發(fā)展還會引致法律風險.尤其在大數(shù)據(jù)時因此我們呼吁操作風險的管理應納入到日常的風險管理中.六、銀行大數(shù)據(jù)商用價值銀行對于大數(shù)據(jù)的就用不單單在于提供一種有效的手段,提高銀行對于客戶的理解與認知能力.他的商用價值還表現(xiàn)在以下幾個方面：1批量實現(xiàn)較高水準的個性化客戶產(chǎn)品服務,增加客戶粘性,推動業(yè)務創(chuàng)新.有效地將大數(shù)據(jù)分析系統(tǒng)夠構建客戶360度全方位視圖,設計更有競爭力的創(chuàng)新產(chǎn)品.對