銀行數(shù)據治理實踐研究

銀行數(shù)據治理實踐

十三五時期，我國大數(shù)據產業(yè)快速起步。據測算，產業(yè)規(guī)模年均復合增長率超過30%，2020年超過1萬億元，發(fā)展取得顯著成效，逐漸成為支撐我國經濟社會發(fā)展的優(yōu)勢產業(yè)。到2025年，大數(shù)據產業(yè)測算規(guī)模突破3萬億元，年均復合增長率保持在25%左右，創(chuàng)新力強、附加值高、自主可控的現(xiàn)代化大數(shù)據產業(yè)體系基本形成。銀行數(shù)據治理實踐1、銀行數(shù)據治理背景近年來，隨著信息化、數(shù)字化、智能化的快速發(fā)展，數(shù)據從資源逐漸轉變?yōu)橘Y產。金融行業(yè)具有海量數(shù)據資源和豐富應用場景優(yōu)勢，在企業(yè)經營管理、產品研發(fā)、技術創(chuàng)新等關鍵環(huán)節(jié)中發(fā)揮著重要作用。數(shù)據治理作為釋放數(shù)據價值的基礎，在推動銀行數(shù)字化轉型的過程中扮演了承上啟下的關鍵角色。通過數(shù)據治理咨詢，結合數(shù)據平臺建設和數(shù)據應用實施，構建科學的組織架構體系，完善數(shù)據治理流程制度與規(guī)范，建立數(shù)字化協(xié)同機制，整合并打通銀行內多源、零散的異構數(shù)據體系，構建全行業(yè)數(shù)據資產體系，完善數(shù)據權限、數(shù)據血緣、數(shù)據質量、分級分類等管理體系，借助數(shù)據產品對數(shù)據資產進行深度加工挖掘價值，面向零售、風險、財務等輸出更加全面的數(shù)據及統(tǒng)計指標，推動銀行業(yè)務數(shù)字化轉型。2、銀行數(shù)據治理解決方案（1）基于數(shù)據盤點構建銀行全行級數(shù)據資源目錄數(shù)據資產盤點有實體盤點，第一點是設計分類框架，為了方便對數(shù)據資產進行管理，需要對數(shù)據資產進行分類，按照業(yè)內慣例，一般分為三級分類。分類依據可參考企業(yè)的流程框架，按照業(yè)務分類進行分類。第二點是明確盤點范圍，對人力、財務、營銷業(yè)務系統(tǒng)中的業(yè)務對象進行盤點，需要系統(tǒng)開發(fā)人員、業(yè)務人員共同參與，解決梳理過程中遇到的業(yè)務和技術問題。第三點要注意盤點的內容，也就是盤點業(yè)務實體對象。除了實體盤點外還有數(shù)據項盤點。數(shù)據項的盤點依賴于實體的盤點，每個實體有若干個數(shù)據項，數(shù)據項是業(yè)務開展的基礎屬性，這些屬性可以從業(yè)務系統(tǒng)界面獲取，也可以從后臺獲取。（2）基于數(shù)據標準的規(guī)范化銀行ETL數(shù)據建模體系數(shù)據標準是進行數(shù)據標準化、消除數(shù)據業(yè)務歧義的主要參考和依據。對數(shù)據標準進行分類，將有利于數(shù)據標準的編制、查詢、落地和維護。數(shù)據標準有多種分類方式，對于不同的分類方式，均可采用以數(shù)據元為數(shù)據標準制定的基本單元構建數(shù)據標準體系。數(shù)據可以分為基礎類數(shù)據和指標類數(shù)據?；A類數(shù)據指業(yè)務流程中直接產生的，未經過加工和處理的基礎業(yè)務信息。指標類數(shù)據是指具備統(tǒng)計意義的基礎類數(shù)據，通常由一個或以上的基礎數(shù)據根據一定的統(tǒng)計規(guī)則計算而得到。相應地，數(shù)據標準也可以分為基礎類數(shù)據標準或指標類數(shù)據標準?；A類數(shù)據標準是為了統(tǒng)一企業(yè)所有業(yè)務活動相關數(shù)據的一致性和準確性，解決業(yè)務間數(shù)據一致性和數(shù)據整合，按照數(shù)據標準管理過程制定的數(shù)據標準。指標類數(shù)據標準一般分為基礎指標標準和計算指標（又稱組合指標）標準。基礎類數(shù)據標準和指標類數(shù)據標準通過分別建立基礎類數(shù)據元和指標類數(shù)據元，并將基礎類數(shù)據元和指標類數(shù)據元與數(shù)據映射，實現(xiàn)基礎類數(shù)據標準和指標類數(shù)據標準的落地。具體來說，對于結構化數(shù)據中的任意一個字段，當其不具備指標特征時，可直接將其與某一業(yè)務類別下的基礎類數(shù)據元（如包含命名規(guī)則、數(shù)據類型和值域等屬性）映射，實現(xiàn)該字段的標準化（符合命名規(guī)則、數(shù)據類型和值域的規(guī)定）。（3）基于法律法規(guī)構建銀行數(shù)據分級分類體系根據《個人金融信息保護技術規(guī)范》（JR/T0171-2020）及《銀行數(shù)據安全管理辦法》要求，個人客戶C3、C2類別信息在后臺管理與業(yè)務支撐系統(tǒng)展示時，除銀行卡有效期外，C3類別信息不應明文展示；C2類中支付賬號、客戶法定名稱、支付預留手機號碼、證件類或其他類識別標識信息應當做遮蔽處理，且不提供批量查詢和批量下載功能。1）需求提出部門必須限定最小用戶使用范圍，并經過本部門總經理（如果是分行，則為分行主要負責人）審批授權。審批單參照《銀行個人分類分級數(shù)據授權審批單》，并在OA項目需求發(fā)起時必須含有該審批單附件。2）系統(tǒng)內應當做好相關角色權限的設置和管控。3）C2類中支付賬號、客戶法定名稱、支付預留手機號碼、證件類或其他類識別標識信息前臺頁面展現(xiàn)需增加水印處理，禁止復制粘貼；且批量下載時文件必須通過DRM加密，并經過審批授權流程，審批授權至少至分管部門總經理或分行主要負責人。4）個人客戶C2類敏感信息在做批量查詢或者下載必須有審計日志功能，必須明確誰在什么時間，什么場景使用，使用權限范圍，審批流程等，日志支持前臺頁面查詢。5）所有數(shù)據使用均遵循誰使用誰負責的原則。6）以上管控措施涉及應用系統(tǒng)開發(fā)的，應該在開發(fā)全流程中形成閉環(huán)管控機制（包含相關業(yè)務需求的提出到業(yè)務驗收測試環(huán)節(jié)）。對于涉及上述敏感信息展示但沒有提供經領導審批的《銀行個人分類分級數(shù)據授權審批單》，一律不予啟動開發(fā)。7）涉及業(yè)務部門授權審批的管理環(huán)節(jié)，需求提出部門需要做好相關審批授權文檔的存檔，以備后續(xù)審查。3、銀行數(shù)據治理交付內容（1）銀行數(shù)據治理咨詢協(xié)助完善數(shù)據治理組織架構（涵蓋數(shù)據治理決策層、管理層和執(zhí)行層）及數(shù)據治理相關的制度、流程和評估標準。完善數(shù)據標準，完成系統(tǒng)的數(shù)據對標，并完成主數(shù)據和元數(shù)據的梳理。建立數(shù)據質量的檢核、整改、評價等工作流程，提升數(shù)據質量。制定數(shù)據資產盤點、評估與管理工作機制，完成系統(tǒng)的數(shù)據資產盤點。構建指標管理體系，協(xié)助梳理全行基礎指標。（2）銀行數(shù)據平臺建設數(shù)據平臺包含數(shù)據治理平臺和數(shù)據應用平臺，實現(xiàn)數(shù)據的管、治、用。數(shù)據治理平臺提供離線開發(fā)、數(shù)據標準、數(shù)據建模、數(shù)據質量、主數(shù)據、元數(shù)據、指標管理、數(shù)據資產和數(shù)據安全等功能，實現(xiàn)數(shù)據開發(fā)與治理一體化。數(shù)據應用平臺包括數(shù)據智能分析模塊，提供有效的數(shù)據分析工具，滿足靈活性、安全性和便利性。（3）銀行數(shù)據應用實施完成面向大數(shù)據平臺的數(shù)據血緣關系梳理。重構大數(shù)據平臺中間層數(shù)據模型，并進行落標實施。根據數(shù)據質量檢核規(guī)則，在數(shù)據平臺上對源頭數(shù)據和結果數(shù)據進行規(guī)則稽核。4、銀行數(shù)據治理建設成果（1）銀行數(shù)據治理成果一是數(shù)據治理戰(zhàn)略目標，治理頂層設計、治理目標、治理運營、治理成果等數(shù)據治理相關的戰(zhàn)略規(guī)劃設計材料。二是治理組織及規(guī)章，設計銀行數(shù)據治理組織架構，并根據數(shù)據治理目標定制相關的規(guī)章制度來保障治理落地。三是治理實現(xiàn)路徑，明確銀行數(shù)據治理工作的實施路徑，細化數(shù)據治理工作的關鍵步驟并交付相關文件給銀行。四是治理考核及運營，結合銀行數(shù)字化考核目標制定數(shù)據治理考核方案，并提供數(shù)據治理支持運營及優(yōu)化的方法論材料。五是數(shù)據資產目錄，梳理銀行業(yè)務系統(tǒng)、數(shù)據倉庫的數(shù)據資源，完善數(shù)據各項屬性元數(shù)據，構建全行級數(shù)據資產目錄。六是數(shù)據標準體系，梳理銀行現(xiàn)有的數(shù)據內容，搭建圍繞基礎類數(shù)據和指標類數(shù)據兩大標準體系，并完成歷史數(shù)據落標工作。七是分級分類體系，按照人行數(shù)據分級分類指南相關規(guī)劃構建銀行數(shù)據分級體系，并完成歷史數(shù)據的分級分類工作。八是數(shù)據治理體系，圍繞人行、銀保監(jiān)數(shù)據報送校驗規(guī)則結合銀行數(shù)據加工過程校驗規(guī)則，構建全行級數(shù)據質量監(jiān)控規(guī)則體系。（2）銀行數(shù)據治理平臺實施成果一是大數(shù)據平臺血緣解析，銀行ImpalaSQL的ETL任務進行數(shù)據血緣解析，包括表血緣、字段血緣等信息，同時借助數(shù)據平臺實現(xiàn)跨系統(tǒng)數(shù)據交換的血緣關系。二是數(shù)據質量規(guī)則體系搭建，圍繞銀保監(jiān)East4．0/5．0數(shù)據質量規(guī)范，構建監(jiān)管數(shù)據檢核規(guī)則，包括監(jiān)管報表單體校驗、跨系統(tǒng)數(shù)據校驗、溯源數(shù)據質量檢驗等信息。同時，根據人行反洗錢監(jiān)管要求構建交易對手信息檢核滿足人行反洗錢檢查要求。三是大數(shù)據模型重構，根據銀行項目要求重構大數(shù)據平臺中間層（近200張表）數(shù)據模型，通過數(shù)據模型平臺進行模型設計、模型建標和模型落標，并通過行內現(xiàn)有數(shù)據進行模型驗證。四是指標體系設計及搭建，結合銀行在信貸營銷與風控領域的應用場景調研指標體系，并針對業(yè)務實際需求完成基礎指標加工及復雜衍生指標搭建；數(shù)據資產及標準梳理：梳理數(shù)據資產并搭建數(shù)據資產目錄；根據監(jiān)管及內部管理需求梳理數(shù)據標準體系并通過平臺落地；圍繞人行金融數(shù)據分級分類規(guī)范搭建銀行數(shù)據分級體系并結合銀保監(jiān)數(shù)據加密規(guī)范實現(xiàn)數(shù)據安全保障體系。五是數(shù)據分析場景服務，根據銀行應用需求提供建模場景要求的數(shù)據支持和應用場景的功能支持開展數(shù)據自主分析、開發(fā)報表和管理駕駛艙等。大數(shù)據產業(yè)面臨形勢搶抓新時代產業(yè)變革新機遇的戰(zhàn)略選擇。面對世界百年未有之大變局，各國普遍將大數(shù)據產業(yè)作為經濟社會發(fā)展的重點，通過出臺數(shù)字新政、強化機構設置、加大資金投入等方式，搶占大數(shù)據產業(yè)發(fā)展制高點。我國要搶抓數(shù)字經濟發(fā)展新機遇，堅定不移實施國家大數(shù)據戰(zhàn)略，充分發(fā)揮大數(shù)據產業(yè)的引擎作用，以大數(shù)據產業(yè)的先發(fā)優(yōu)勢帶動千行百業(yè)整體提升，牢牢把握發(fā)展主動權。呈現(xiàn)集成創(chuàng)新和泛在賦能的新趨勢。新一輪科技革命蓬勃發(fā)展，大數(shù)據與5G、云計算、人工智能、區(qū)塊鏈等新技術加速融合，重塑技術架構、產品形態(tài)和服務模式，推動經濟社會的全面創(chuàng)新。各行業(yè)各領域數(shù)字化進程不斷加快，基于大數(shù)據的管理和決策模式日益成熟，為產業(yè)提質降本增效、政府治理體系和治理能力現(xiàn)代化廣泛賦能。構建新發(fā)展格局的現(xiàn)實需要。發(fā)揮數(shù)據作為新生產要素的乘數(shù)效應，以數(shù)據流引領技術流、物質流、資金流、人才流，打通生產、分配、流通、消費各環(huán)節(jié)，促進資源要素優(yōu)化配置。發(fā)揮大數(shù)據產業(yè)的動力變革作用，加速國內國際、生產生活、線上線下的全面貫通，驅動管理機制、組織形態(tài)、生產方式、商業(yè)模式的深刻變革，為構建新發(fā)展格局提供支撐。數(shù)據治理指導思想立足新發(fā)展階段，完整、準確、全面貫徹新發(fā)展理念，積極融入服務新發(fā)展格局，堅持加快數(shù)字化發(fā)展指引，健全數(shù)字規(guī)則，保障數(shù)據安全，以數(shù)據匯聚治理為核心，全力攻堅數(shù)據聚通用，充分挖掘大數(shù)據商用、政用、民用價值，加快培育數(shù)字經濟，打造數(shù)字政府、數(shù)字營商環(huán)境，構建數(shù)字社會，讓大數(shù)據智能化為經濟賦能、為生活添彩。擴展數(shù)據跨域跨境流通（一）打造國家級數(shù)據流通服務中心積極參與全國一體化大數(shù)據中心建設試點，加快建設全國一體化算力網絡國家樞紐節(jié)點成渝樞紐。建設國家級數(shù)據流通服務中心，推進國家數(shù)據長城行動計劃，推動跨層級、跨地域、跨行業(yè)數(shù)據聯(lián)動和數(shù)據融合應用。建設國家級數(shù)據靶場，基于各類應用場景進行建模、數(shù)據治理和分析，有效支撐公共衛(wèi)生、自然災害、事故災難、社會安全、基層治理等各領域應用。全面融入國家數(shù)網—數(shù)紐—數(shù)鏈—數(shù)腦—數(shù)盾協(xié)同創(chuàng)新體系。（二）促進數(shù)據跨省跨域流通積極探索數(shù)據共享交換和開發(fā)利用等一體化創(chuàng)新路徑，促進數(shù)據跨省跨地域流通。探索建立統(tǒng)一的區(qū)域數(shù)據共享和開放目錄清單，梳理跨省跨地域共享數(shù)據資源數(shù)量及種類，推動跨省跨地域數(shù)據共享開放。推動渝快辦與天府通辦對接，擴大跨省通辦跨省聯(lián)辦服務范圍，推進社保、醫(yī)保、公積金等跨省通辦事項高頻使用證明的電子化，推進跨省跨地域互認共享、在線核驗。（三）探索推動數(shù)據跨境流動聯(lián)合新加坡加快建立數(shù)據跨境流動分類分級管理和風險評估政策體系，積極爭取中新跨境服務貿易與跨境數(shù)據流動試點示范。探索簽訂數(shù)據保護互認備忘錄，制定渝新跨境數(shù)據流動實施方案。推動數(shù)據資源融合應用（一）建設全面感知的智能中樞依托新型智慧城市運行管理中心，搭建CIM＋多場景應用，構建全面感知、數(shù)據匯集融合、智能分析計算、統(tǒng)籌決策的城市智能中樞，推動跨層級、跨地域、跨系統(tǒng)、跨部門、跨業(yè)務的協(xié)同管理。推動遷移上云應遷盡遷、系統(tǒng)整合應合盡合、系統(tǒng)接入應接盡接、數(shù)據匯聚應聚盡聚和能力共享應享盡享，實現(xiàn)城市運行一網統(tǒng)管、服務一網通辦、應急管理一網調度、基層服務一網治理，全面提升城市運行管理數(shù)字化、智能化水平。加快構建數(shù)字技術輔助政府決策機制，提高基于高頻大數(shù)據的精準動態(tài)監(jiān)測預測預警水平。（二）構建智慧便捷的數(shù)字社會圍繞交通、醫(yī)療、養(yǎng)老、撫幼、就業(yè)、教育、旅游、文體等重點領域建設主題數(shù)據庫，打造智能化公共服務應用場景，提升數(shù)字化服務普惠應用水平。聚焦住業(yè)游樂購全場景集，推動購物消費、居家生活、旅游休閑、交通出行等各類場景數(shù)字化，打造智慧共享、和睦共治的新型數(shù)字生活。深化三農大數(shù)據應用，提升三農大數(shù)據服務能力，推動鄉(xiāng)村管理服務數(shù)字化，加快數(shù)字鄉(xiāng)村建設。推進以社會保障卡、居民身份證為載體的一卡一碼集成應用，在衛(wèi)生健康、疫情防控、交通出行、文化旅游、信用服務、金融服務、財政補貼等領域推行一卡通用、一碼通行。推進智慧停車建設，提升停車設施智能化水平，優(yōu)化停車信息管理，推廣智能化停車服務，鼓勵停車資源共享。（三）培育廣泛深入的應用環(huán)境推動數(shù)據資源開發(fā)利用規(guī)范化和制度化，以衛(wèi)生健康、社會保障、交通、科技、通信、企業(yè)投融資、普惠金融等領域為重點，探索數(shù)據資源開發(fā)利用模式，創(chuàng)新數(shù)據服務模式，推進公共數(shù)據和社會數(shù)據深度融合應用。鼓勵通過政策引導、政府購買服務、社會資本引入、應用模式創(chuàng)新、數(shù)據應用競賽、優(yōu)秀案例推廣等方式促進政府和企業(yè)的數(shù)據融合，營造數(shù)據融合應用良好氛圍。鼓勵掌握數(shù)據的自然人、法人和非法人組織與政府開展合作，提高數(shù)據開發(fā)利用水平。培育數(shù)據要素市場（一）健全數(shù)據流通制度研究制定數(shù)據交易管理辦法，建立健全數(shù)據權益、交易流通和安全保護等基礎性制度規(guī)范，明確數(shù)據主體、數(shù)據控制方、數(shù)據使用方權利義務，保護數(shù)據主體權益。健全數(shù)據市場定價機制，以數(shù)據應用需求為導向，完善數(shù)據市場流通環(huán)境，精準對接市場供給。建立數(shù)據交易協(xié)同監(jiān)管機制，構建數(shù)據流通監(jiān)管平臺，加強數(shù)據交易流通全過程安全監(jiān)管，確保數(shù)據流通過程可追溯、使用范圍可明確、合法合規(guī)可審計、安全風險可防范、法律責任可追訴。（二）營造數(shù)據要素市場發(fā)展生態(tài)加強大數(shù)據產業(yè)協(xié)同創(chuàng)新統(tǒng)籌協(xié)調，引導和支持科研機構、高等院校、企業(yè)加強協(xié)同攻關，共同開展數(shù)據交易流通、數(shù)據基礎前沿研究、關鍵共性技術研究。支持數(shù)據采集、存儲、處理、分析等企業(yè)做大做強，帶動大數(shù)據產業(yè)發(fā)展。構建穩(wěn)定高效產業(yè)鏈（一）打造高端產品鏈梳理數(shù)據生成、采集、存儲、加工、分析、服務、安全等關鍵環(huán)節(jié)大數(shù)據產品，建立大數(shù)據產品圖譜。在數(shù)據生成采集環(huán)節(jié)，著重提升產品的異構數(shù)據源兼容性、大規(guī)模數(shù)據集采集與加工效率。在數(shù)據存儲加工環(huán)節(jié)，著重推動高性能存算系統(tǒng)和邊緣計算系統(tǒng)研發(fā)，打造專用超融合硬件解決方案。在數(shù)據分析服務環(huán)節(jié)，著重推動多模數(shù)據管理、大數(shù)據分析與治理等系統(tǒng)的研發(fā)和應用。（二）創(chuàng)新優(yōu)質服務鏈圍繞數(shù)據清洗、數(shù)據標注、數(shù)據分析、數(shù)據可視化等需求，加快大數(shù)據服務向專業(yè)化、工程化、平臺化發(fā)展。創(chuàng)新大數(shù)據服務模式和業(yè)態(tài)，發(fā)展智能服務、價值網絡協(xié)作、開發(fā)運營一體化等新型服務模式。鼓勵企業(yè)開放搜索、電商、社交等數(shù)據，發(fā)展第三方大數(shù)據服務產業(yè)。圍繞診斷咨詢、架構設計、系統(tǒng)集成、運行維護等綜合服務需求，培育優(yōu)質大數(shù)據服務供應商。（三）優(yōu)化工業(yè)價值鏈以制造業(yè)數(shù)字化轉型為引領，面向研發(fā)設計、生產制造、經營管理、銷售服務等全流程，培育專業(yè)化、場景化大數(shù)據解決方案。構建多層次工業(yè)互聯(lián)網平臺體系，豐富平臺數(shù)據庫、算法庫和知識庫，培育發(fā)展一批面向細分場景的工業(yè)APP。推動工業(yè)大數(shù)據深度應用，培育數(shù)據驅動的平臺化設計、網絡化協(xié)同、個性化定制、智能化生產、服務化延伸、數(shù)字化管理等新模式，規(guī)范發(fā)展零工經濟、共享制造、工業(yè)電子商務、供應鏈金融等新業(yè)態(tài)。（四）延伸行業(yè)價值鏈加快建設行業(yè)大數(shù)據平臺，提升數(shù)據開發(fā)利用水平，推動行業(yè)數(shù)據資產化、產品化，實現(xiàn)數(shù)據的再創(chuàng)造和價值提升。打造服務政府、服務社會、服務企業(yè)的成熟應用場景，以數(shù)據創(chuàng)新帶動管理創(chuàng)新和模式創(chuàng)新，促進金融科技、智慧醫(yī)療等蓬勃發(fā)展。持續(xù)開展大數(shù)據產業(yè)發(fā)展試點示范，推動大數(shù)據與各行業(yè)各領域融合應用，加大對優(yōu)秀應用解決方案的推廣力度。數(shù)據流通擴大開放工程構建集自然語言處理、視頻圖像解析、數(shù)據可視化、語言智能問答、多語言機器翻譯、數(shù)據挖掘分析等功能的大數(shù)據通用算法模型庫和控件庫，定期開展數(shù)據演習，建設面向公共衛(wèi)生、自然災害、國防戰(zhàn)備等重大突發(fā)事件處置的國家級數(shù)據靶場，為重大突發(fā)事件開展決策研判和調度指揮提供支撐。規(guī)范數(shù)據入場交易，培育數(shù)據要素交易市場。建設涵蓋數(shù)據資產評估、登記確權、交易撮合、評估定價、可信流通等方面的全流程數(shù)據要素流通交易平臺和數(shù)據授權存證、數(shù)據溯源和數(shù)據完整性檢測平臺，提供數(shù)據交易、結算、交付、安全保障、資產管理等綜合配套服務。健全綜合全面的數(shù)字規(guī)則（一）制定數(shù)據治理與管理制度規(guī)則建立健全數(shù)字規(guī)則，圍繞數(shù)據聚通用、要素流通，推動數(shù)據管理、數(shù)據安全等規(guī)則建設。深入落實《中華人民共和國網絡安全法》《中華人民共和國數(shù)據安全法》《中華人民共和國