版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
金融業(yè)數(shù)據(jù)應(yīng)用發(fā)展報(bào)告(2022)目錄第一章4數(shù)據(jù)興與用 4政策標(biāo)準(zhǔn) 7金融數(shù)應(yīng)發(fā)特點(diǎn) 11第二章?lián)刂迪?20數(shù)據(jù)產(chǎn)系 21數(shù)據(jù)理系 42第三章?lián)υO(shè)營(yíng) 47金融數(shù)服建設(shè) 47金融數(shù)產(chǎn)創(chuàng)新 50金融數(shù)運(yùn)管理 52第四章術(shù)狀安護(hù) 69數(shù)據(jù)集存儲(chǔ) 69數(shù)據(jù)算 77數(shù)據(jù)析掘 89數(shù)據(jù)視化 99數(shù)據(jù)全術(shù) 104第五章險(xiǎn)戰(zhàn)應(yīng)對(duì) 120頂層計(jì)政策 120法律規(guī)標(biāo)準(zhǔn) 122業(yè)、、的合 124數(shù)據(jù)產(chǎn)理 126數(shù)據(jù)全合規(guī) 127第六章展望保系 130市場(chǎng)體展元化 130數(shù)據(jù)用業(yè)態(tài) 132數(shù)據(jù)用障系 135第七章型例 153數(shù)據(jù)素值例 153數(shù)據(jù)力設(shè)例 165技術(shù)狀安防案例 190PAGEPAGE111第一章概述數(shù)據(jù)的興起與應(yīng)用隨著大數(shù)據(jù)、云計(jì)算、人工智能等新技術(shù)的快速發(fā)展,評(píng)估、交易欺詐識(shí)別、精準(zhǔn)營(yíng)銷、供應(yīng)鏈金融、運(yùn)營(yíng)優(yōu)化、過(guò)程中收集和產(chǎn)生的數(shù)據(jù),包括金融機(jī)構(gòu)的用戶基本信息、回等。通過(guò)基于金融大數(shù)據(jù)的精細(xì)分析,可以優(yōu)化運(yùn)營(yíng)。例如此外,金融大數(shù)據(jù)與人工智能技術(shù)深入融合實(shí)現(xiàn)智能金融,貫穿金融機(jī)構(gòu)服務(wù)的全流程,包括使得金融機(jī)構(gòu)可以優(yōu)化業(yè)務(wù),例如應(yīng)用生物識(shí)別等技術(shù)在手機(jī)銀行、智能柜臺(tái)等方面,使得業(yè)務(wù)流程更為精簡(jiǎn)高效,同時(shí)為人們提供更多樣性的優(yōu)質(zhì)金融服務(wù),應(yīng)用智能客服提高與客戶的溝通效率、在這些金融大數(shù)據(jù)的應(yīng)用中,金融行業(yè)數(shù)據(jù)的共享、開逐步運(yùn)用到金融數(shù)據(jù)應(yīng)用中。融合,探索多方安全計(jì)算、聯(lián)邦學(xué)習(xí)、可信執(zhí)行環(huán)境等不同隱私計(jì)算技術(shù)路線的落地應(yīng)用,在敏感數(shù)據(jù)或隱私數(shù)據(jù)不出域的基礎(chǔ)下完成跨機(jī)構(gòu)之間的聯(lián)合計(jì)算、聯(lián)合建模、聯(lián)合查詢等,打破數(shù)據(jù)孤島,實(shí)現(xiàn)數(shù)據(jù)的可用不可見,并有效保護(hù)數(shù)據(jù)控制權(quán),挖掘數(shù)據(jù)價(jià)值的同時(shí)避免數(shù)據(jù)的流失與濫用。泛的領(lǐng)域。金融聯(lián)合風(fēng)控、聯(lián)合營(yíng)銷、存客運(yùn)營(yíng)、反欺詐、反洗錢等多種金融應(yīng)用場(chǎng)景均已開展基于隱私計(jì)算技術(shù)的政策與標(biāo)準(zhǔn)金融數(shù)據(jù)的技術(shù)融合應(yīng)用目前處于加速探索階段,各種政策、法令法規(guī)、標(biāo)準(zhǔn)在近年來(lái)相繼制定。20198(2019-2021能力、加大金融審慎監(jiān)管力度、夯實(shí)金融科技基礎(chǔ)支撐,發(fā)揮金融大數(shù)據(jù)的集聚和增值作用,推動(dòng)形成金融業(yè)數(shù)據(jù)融合應(yīng)用新格局。20204平與數(shù)字化水平發(fā)展的同時(shí)可以深入地探索數(shù)據(jù)要素化的20205同時(shí),各種數(shù)據(jù)安全相關(guān)的政策法規(guī)相繼制定和頒發(fā),20157家安全的范疇。201611(2017616(2021年9月1,2021811),將“個(gè)人信息受法律保護(hù)”上升至公民基本20185融機(jī)構(gòu)數(shù)據(jù)治理指引》,明確了金融機(jī)構(gòu)的數(shù)據(jù)治理架構(gòu)、20211(以下簡(jiǎn)稱監(jiān)管數(shù)據(jù)活動(dòng)處于可用、完整和可審計(jì)狀態(tài),未發(fā)生泄露、篡改、損毀、2021220219主體活力和科技創(chuàng)新能力。金融行業(yè)是數(shù)據(jù)密集型行業(yè),擁有海量的個(gè)人敏感數(shù)據(jù),是在滿足保護(hù)個(gè)人隱私敏感信息和確保數(shù)據(jù)安全的基礎(chǔ)上。多方安全計(jì)算等隱私計(jì)算技術(shù)繼續(xù)推動(dòng)金融跨機(jī)構(gòu)間的數(shù)據(jù)共享與價(jià)值挖掘,以安全、可信、可控的方式實(shí)現(xiàn)金融數(shù)據(jù)的融合應(yīng)用與創(chuàng)新。金融業(yè)數(shù)據(jù)應(yīng)用發(fā)展特點(diǎn)據(jù)安全合規(guī)等方面建設(shè),為業(yè)務(wù)場(chǎng)景提供智能化、實(shí)時(shí)化、能力平臺(tái)化三個(gè)方面對(duì)金融業(yè)大數(shù)據(jù)應(yīng)用發(fā)展特點(diǎn)展開介紹。數(shù)據(jù)價(jià)值要素化元融合新階段。數(shù)據(jù)更新快等原則,從企業(yè)級(jí)視角出發(fā),協(xié)同業(yè)務(wù)和技術(shù),述客戶畫像的標(biāo)簽體系、用于多維度分析的多維數(shù)據(jù)模型、用于關(guān)聯(lián)分析的知識(shí)圖譜等。數(shù)據(jù)資產(chǎn)化能夠提升數(shù)據(jù)的價(jià)安全重要性越來(lái)越高。2020410首次將數(shù)據(jù)定位為新型生產(chǎn)要素,與土地、勞動(dòng)力、資本、技術(shù)并列;2021610數(shù)據(jù)運(yùn)營(yíng)服務(wù)化BI計(jì)算、知識(shí)圖譜、OCR推送等增值服務(wù),有效降低交易成本并提升服務(wù)體驗(yàn)。5G來(lái),在線業(yè)務(wù)和相關(guān)應(yīng)用場(chǎng)景呈現(xiàn)井噴式發(fā)展,客戶需求瞬息萬(wàn)變、對(duì)服務(wù)的響應(yīng)速度更為敏感,常規(guī)的離線系統(tǒng)已經(jīng)無(wú)法滿足業(yè)務(wù)發(fā)展的需求,金融企業(yè)應(yīng)主動(dòng)變革去提供優(yōu)質(zhì)的實(shí)時(shí)化服務(wù)。目前,金融企業(yè)正在逐步推進(jìn)服務(wù)實(shí)時(shí)化。如:在線業(yè)務(wù)中,系統(tǒng)能夠?qū)崟r(shí)地獲取用戶的行為,并根據(jù)當(dāng)前的情況推薦最契合用戶需求的服務(wù);在風(fēng)控場(chǎng)景中,系統(tǒng)能夠?qū)崟r(shí)地感知用戶自身和周邊環(huán)境的變化,實(shí)時(shí)地進(jìn)行交易反欺詐、智能反洗錢、信貸風(fēng)險(xiǎn)監(jiān)控、信用卡逾期預(yù)警靈活敏捷的數(shù)據(jù)處理流程、低代碼甚至無(wú)代碼的開發(fā)模式、共享不局限于某一個(gè)業(yè)務(wù)領(lǐng)域。行業(yè)務(wù)創(chuàng)新的企業(yè)架構(gòu),對(duì)不同層級(jí)的通用能力進(jìn)行沉淀,并對(duì)外能力開放。服務(wù)中臺(tái)化是實(shí)現(xiàn)這一目標(biāo)的有效途徑。技術(shù)能力平臺(tái)化DevOpsCI/CDDataOps平臺(tái)通過(guò)微服務(wù)+容器技術(shù),推進(jìn)數(shù)據(jù)加工和服務(wù)能力的整SeverlessAPI數(shù)據(jù)業(yè)務(wù)化的過(guò)程涉及到數(shù)據(jù)采集、數(shù)據(jù)治理、數(shù)據(jù)聚合、發(fā)自動(dòng)化工具,實(shí)現(xiàn)數(shù)據(jù)能力的抽象、共享、復(fù)用。同時(shí),數(shù)據(jù)集成開發(fā)環(huán)境,幫助應(yīng)用租戶自助式的創(chuàng)建數(shù)據(jù)服務(wù)APIAPI;在標(biāo)簽開放層面,用戶標(biāo)簽是業(yè)務(wù)強(qiáng)相關(guān)數(shù)據(jù),數(shù)據(jù)中臺(tái)通過(guò)輕量化標(biāo)簽開發(fā)模式支持業(yè)務(wù)部門自助式進(jìn)行API第二章數(shù)據(jù)要素價(jià)值體系加快推進(jìn)數(shù)據(jù)價(jià)值化、發(fā)展數(shù)據(jù)要素市場(chǎng)是數(shù)字經(jīng)濟(jì)的關(guān)經(jīng)過(guò)近些年的理論研究及實(shí)踐經(jīng)驗(yàn)證明數(shù)據(jù)治理和數(shù)供一些指導(dǎo)建議。2.1.數(shù)據(jù)資產(chǎn)體系數(shù)據(jù)資產(chǎn)分類數(shù)據(jù)資產(chǎn)分類的概念與價(jià)值金融行業(yè)的數(shù)據(jù)資產(chǎn)分類,應(yīng)當(dāng)是按照一定分類方式,主要為:形成數(shù)據(jù)資產(chǎn)目錄,有效進(jìn)行數(shù)據(jù)管理;便于數(shù)據(jù)資產(chǎn)檢索,方便獲取所需數(shù)據(jù);實(shí)現(xiàn)數(shù)據(jù)開放共享,釋放數(shù)據(jù)潛在價(jià)值。數(shù)據(jù)資產(chǎn)分類的方法數(shù)據(jù)資產(chǎn)分類的構(gòu)建原則系統(tǒng)性原則數(shù)據(jù)分類宜基于對(duì)機(jī)構(gòu)所有數(shù)據(jù)的考量,建立一個(gè)層層劃分、層層隸屬、從總到分的分類體系,每一次劃分應(yīng)有單一、明確的依據(jù)。數(shù)據(jù)類目的排列宜依據(jù)數(shù)據(jù)類目主體之間的內(nèi)在聯(lián)系,遵循概念邏輯,遵循最大效用原則,將全部類目系統(tǒng)地組織起來(lái),形成具有隸屬和并列關(guān)系的分類體系,以揭示出機(jī)構(gòu)數(shù)據(jù)不同類別之間的聯(lián)系和區(qū)別。規(guī)范性原則所使用的詞語(yǔ)或短語(yǔ)能確切表達(dá)數(shù)據(jù)類目的實(shí)際內(nèi)容性。穩(wěn)定性原則宜選擇分類對(duì)象的最穩(wěn)定的本質(zhì)特性作為數(shù)據(jù)分類的基礎(chǔ)和依據(jù)。明確性原則同一層級(jí)的數(shù)據(jù)類目間宜界限分明。當(dāng)數(shù)據(jù)類目名稱不能明確各自界限時(shí),可以用注釋來(lái)加以明確。擴(kuò)展性原則在數(shù)據(jù)類目的設(shè)置或?qū)蛹?jí)的劃分上,宜保留適當(dāng)余地,利于分類數(shù)據(jù)增加時(shí)的擴(kuò)展。數(shù)據(jù)資產(chǎn)分類的構(gòu)建方式按數(shù)據(jù)來(lái)源主體分類按照控制數(shù)據(jù)的主體進(jìn)行分類為目前最常見且直觀的分類方式。個(gè)人數(shù)據(jù)((據(jù)、位置數(shù)據(jù)等)。企業(yè)數(shù)據(jù)(企業(yè)直接交付的數(shù)據(jù)產(chǎn)品或服務(wù)。公共數(shù)據(jù)政府部門在履行公共管理職能的過(guò)程中積累的大量數(shù)行的數(shù)據(jù)之外,都屬于公共數(shù)據(jù)。按業(yè)務(wù)分類參照《信息安全技術(shù)網(wǎng)絡(luò)數(shù)據(jù)分類分級(jí)要求》中的資料性附錄A.2金融行業(yè)數(shù)據(jù)分類分級(jí),根據(jù)各金融機(jī)構(gòu)所管轄數(shù)據(jù)類型、特征、規(guī)模以及機(jī)構(gòu)特性等因素進(jìn)行分類分級(jí)。金融數(shù)據(jù)資產(chǎn)分類的實(shí)踐及問(wèn)題過(guò)程中,普遍遇到的痛點(diǎn)如下:金融數(shù)據(jù)資產(chǎn)的范圍圈定金融數(shù)據(jù)資產(chǎn)分類。金融數(shù)據(jù)資產(chǎn)管理的系統(tǒng)建設(shè)在合規(guī)的前提下完成高性能的系統(tǒng)運(yùn)算成為數(shù)據(jù)治理系統(tǒng)數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)資產(chǎn)目錄的概念與價(jià)值個(gè)視角對(duì)本行數(shù)據(jù)資產(chǎn)進(jìn)行內(nèi)容開放共享的目錄化管理工數(shù)據(jù)查詢效率。數(shù)據(jù)資產(chǎn)目錄建設(shè)的方法數(shù)據(jù)資產(chǎn)目錄類型數(shù)據(jù)資產(chǎn)目錄可以分為“基礎(chǔ)型數(shù)據(jù)資產(chǎn)目錄”和“服務(wù)型數(shù)據(jù)資產(chǎn)目錄”兩類。支撐業(yè)務(wù)部門運(yùn)營(yíng)需要。表2-1基礎(chǔ)型數(shù)據(jù)資產(chǎn)主要使用角色和場(chǎng)景主要角色角色舉例主要使用場(chǎng)景舉例IT部門運(yùn)維人員數(shù)據(jù)倉(cāng)庫(kù)等運(yùn)維人員數(shù)據(jù)模型開發(fā)、數(shù)據(jù)溯源查詢業(yè)務(wù)運(yùn)營(yíng)人員零售業(yè)務(wù)部等業(yè)務(wù)人員查看分析報(bào)表、根據(jù)需求取數(shù)數(shù)據(jù)科學(xué)家大數(shù)據(jù)開發(fā)人員等數(shù)據(jù)分析團(tuán)隊(duì)查找模型所需數(shù)據(jù)接參與可衡量經(jīng)濟(jì)價(jià)值場(chǎng)景的,以數(shù)據(jù)分析為驅(qū)動(dòng)的應(yīng)用。表2-2服務(wù)型數(shù)據(jù)資產(chǎn)主要使用角色和場(chǎng)景主要角色角色舉例主要使用場(chǎng)景舉例數(shù)據(jù)運(yùn)營(yíng)人員數(shù)據(jù)產(chǎn)品等運(yùn)營(yíng)人員企業(yè)內(nèi)部數(shù)據(jù)產(chǎn)品共享企業(yè)管理者行內(nèi)高層管理人員查看行內(nèi)數(shù)據(jù)資產(chǎn)、外部合作業(yè)務(wù)人員各業(yè)務(wù)條線人員查看可訪問(wèn)的數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)目錄的構(gòu)建原則與方法數(shù)據(jù)資產(chǎn)目錄構(gòu)建的目標(biāo)是通過(guò)建立統(tǒng)一的數(shù)據(jù)資產(chǎn)目錄和管理流程,讓數(shù)據(jù)資產(chǎn)管理標(biāo)準(zhǔn)化、合規(guī)化和透明化,并建立統(tǒng)一、簡(jiǎn)潔的數(shù)據(jù)資產(chǎn)管理平臺(tái)。“可尋找”數(shù)據(jù)資產(chǎn)在哪里,“可區(qū)分”數(shù)據(jù)資產(chǎn)是什么,“可衡量”數(shù)據(jù)資產(chǎn)的數(shù)量、價(jià)值等指標(biāo)。數(shù)據(jù)資產(chǎn)目數(shù)據(jù)資產(chǎn)目錄的構(gòu)建目標(biāo)、原則與方法數(shù)據(jù)資產(chǎn)目錄的體系構(gòu)建指引數(shù)據(jù)資產(chǎn)目錄的設(shè)計(jì)原則建立統(tǒng)一、簡(jiǎn)潔的數(shù)據(jù)資產(chǎn)管理平臺(tái)數(shù)據(jù)資產(chǎn)管理標(biāo)準(zhǔn)化、合規(guī)化、透明化數(shù)據(jù)資產(chǎn)目錄的目標(biāo)合理的數(shù)據(jù)資產(chǎn)分類可識(shí)別可識(shí)別可區(qū)分經(jīng)營(yíng)管理任務(wù)驅(qū)動(dòng)經(jīng)驗(yàn)結(jié)合可尋找可衡量支持外部監(jiān)管逐步建設(shè)圖2-1數(shù)據(jù)資產(chǎn)目錄的構(gòu)建目標(biāo)、原則與方法金融業(yè)數(shù)據(jù)資產(chǎn)目錄建設(shè)實(shí)踐及問(wèn)題對(duì)于數(shù)據(jù)資產(chǎn)目錄實(shí)踐現(xiàn)狀,尚存在一些問(wèn)題需要完善,具體如下:范圍方面:目前大多金融企業(yè)構(gòu)建數(shù)據(jù)資產(chǎn)目錄類型方面:隨著對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的探索需求日部門。目錄中確保數(shù)據(jù)安全可控的實(shí)踐還較少。管理方面:數(shù)據(jù)資產(chǎn)目錄要想長(zhǎng)期動(dòng)態(tài)維護(hù)和管張Excel配目錄數(shù)據(jù)的查詢和使用權(quán)限。數(shù)據(jù)資產(chǎn)定價(jià)數(shù)據(jù)資產(chǎn)定價(jià)目的與原則定價(jià)目的估與定價(jià)。定價(jià)原則總結(jié)了以下原則:價(jià)值相關(guān)原則或單獨(dú)數(shù)據(jù)資產(chǎn)的切分都會(huì)大大影響其原有資產(chǎn)狀態(tài)下的價(jià)值,需要重新對(duì)其價(jià)值進(jìn)行定價(jià)。應(yīng)用相關(guān)原則其最終應(yīng)用場(chǎng)景時(shí)的數(shù)據(jù)單元進(jìn)行定價(jià)。動(dòng)態(tài)適配原則規(guī)模相關(guān)原則效益越高。數(shù)據(jù)資產(chǎn)定價(jià)機(jī)制參與主體與職責(zé)統(tǒng)籌數(shù)據(jù)定價(jià)機(jī)制的總體建設(shè)。的重要作用。揮帶頭作用。不斷反饋?zhàn)陨碓V求,為數(shù)據(jù)資產(chǎn)定價(jià)機(jī)制的施行提供全面的實(shí)踐基礎(chǔ)。定價(jià)機(jī)制數(shù)據(jù)資產(chǎn)的定價(jià)可以分成數(shù)據(jù)資產(chǎn)估值與數(shù)據(jù)資產(chǎn)定價(jià)兩個(gè)階段。數(shù)據(jù)資產(chǎn)估值金融機(jī)構(gòu)或大型數(shù)據(jù)企業(yè)在進(jìn)行自身數(shù)據(jù)資產(chǎn)估值時(shí),可借通過(guò)專業(yè)的數(shù)據(jù)資產(chǎn)評(píng)估機(jī)構(gòu)或先進(jìn)的數(shù)字化評(píng)估系的特殊性,如具有可復(fù)制性、數(shù)據(jù)可用效果的不確定性等,數(shù)據(jù)資產(chǎn)估值過(guò)程中,除了要以利于數(shù)據(jù)要素市場(chǎng)化流通利數(shù)據(jù)資產(chǎn)定價(jià)數(shù)據(jù)資產(chǎn)定價(jià)方法對(duì)于數(shù)據(jù)資產(chǎn)的定價(jià)可以在參照傳統(tǒng)資產(chǎn)的定價(jià)的基為以下三種:可能會(huì)低估數(shù)據(jù)資產(chǎn)的價(jià)格。于信息熵的定價(jià)通過(guò)對(duì)數(shù)據(jù)資產(chǎn)的元數(shù)據(jù)的隱私信息含量、數(shù)據(jù)資產(chǎn)估值理論方法使用貨幣度量的估值方法與無(wú)形資產(chǎn)的非貨幣度量的估值方法相結(jié)合進(jìn)行綜合應(yīng)用。貨幣度量估值方法貨幣度量的估值方法以傳統(tǒng)資產(chǎn)評(píng)估方法為代表,主要包括成本法、收益法以及市場(chǎng)法三大類。成本法數(shù)據(jù)資產(chǎn)的成本法是對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行生產(chǎn)或購(gòu)置時(shí)所舊貶值后的差額。收益法數(shù)據(jù)資產(chǎn)的收益法是通過(guò)估算數(shù)據(jù)資產(chǎn)的使用價(jià)值以很大程度的不確定性,因此需要清晰把握數(shù)據(jù)資產(chǎn)與企業(yè)經(jīng)營(yíng)收益之間的關(guān)系,并對(duì)所伴隨的風(fēng)險(xiǎn)價(jià)值進(jìn)行預(yù)測(cè)。市場(chǎng)法數(shù)據(jù)資產(chǎn)的市場(chǎng)法是按市面上同等的數(shù)據(jù)資產(chǎn)的現(xiàn)行市場(chǎng)價(jià)格為參照,通過(guò)比較被評(píng)估的數(shù)據(jù)資產(chǎn)與參照的數(shù)據(jù)資產(chǎn)之間的差異并加以分析評(píng)估。由于市場(chǎng)法采用了比較和類比的思路估測(cè)數(shù)據(jù)資產(chǎn)的價(jià)值,因此需要有一個(gè)充分發(fā)育、活躍的數(shù)據(jù)資產(chǎn)市場(chǎng),另外就是作為參照物的數(shù)據(jù)資產(chǎn)與被評(píng)估的數(shù)據(jù)資產(chǎn)之間具有可比較的參數(shù)等信息是可搜集到的,否則市場(chǎng)法模型將難以應(yīng)用。非貨幣度量估值方法資產(chǎn)的正確性和完整性等方面進(jìn)行度量的內(nèi)部?jī)r(jià)值(IVI,IntrinsicValueofInformation)模型,有從數(shù)據(jù)資產(chǎn)對(duì)業(yè)務(wù)的實(shí)際使用效用方面進(jìn)行度量的業(yè)務(wù)價(jià)值(BVIValueof業(yè)務(wù)目標(biāo)的實(shí)現(xiàn)和影響方面進(jìn)行度量的績(jī)效價(jià)值(PVI,PerformanceValueofInformation)模型。內(nèi)部?jī)r(jià)值模型重點(diǎn)考慮了數(shù)據(jù)資產(chǎn)的內(nèi)在價(jià)值,業(yè)務(wù)價(jià)值模型考慮了數(shù)據(jù)資產(chǎn)與業(yè)務(wù)的相關(guān)性,績(jī)效價(jià)值模型從數(shù)據(jù)資產(chǎn)對(duì)組織業(yè)務(wù)的關(guān)鍵性前后組織的KPI其價(jià)值進(jìn)行評(píng)估??刂攸c(diǎn),自適應(yīng)得對(duì)計(jì)算因子和計(jì)算權(quán)重進(jìn)行調(diào)整和優(yōu)化,數(shù)據(jù)資產(chǎn)定價(jià)模型于金融數(shù)據(jù)資產(chǎn)的定價(jià)模型參照實(shí)體資產(chǎn)定價(jià)模型大致可于博弈論的定價(jià)模型?;诮?jīng)濟(jì)定價(jià)模型模型只考慮生產(chǎn)數(shù)據(jù)資產(chǎn)的內(nèi)部因素來(lái)決定價(jià)格,結(jié)構(gòu)簡(jiǎn)單。500MB基于博弈論的定價(jià)模型弈、斯塔克伯格(Stackelberg)博弈、討價(jià)還價(jià)博弈等。數(shù)據(jù)資產(chǎn)定價(jià)當(dāng)前問(wèn)題和挑戰(zhàn)被復(fù)制和傳播也就容易造成數(shù)據(jù)使用者損害數(shù)據(jù)擁有者權(quán)的定價(jià)。征數(shù)量、記錄條數(shù)等來(lái)衡量都不能準(zhǔn)確地反映數(shù)據(jù)的價(jià)值,造成對(duì)于數(shù)據(jù)資產(chǎn)定價(jià)的不準(zhǔn)確或具有主觀性。價(jià)者站在從數(shù)據(jù)使用者的角度和圍繞當(dāng)前的數(shù)據(jù)資產(chǎn)可以富的市場(chǎng)經(jīng)驗(yàn)和洞察力。方面需要交易活動(dòng)的參與方積極主動(dòng)地進(jìn)行數(shù)據(jù)安全保障和投入,這些安全的投入程度對(duì)數(shù)據(jù)定價(jià)有著重要影響。2.1.4.數(shù)據(jù)資產(chǎn)全生命周期管理數(shù)據(jù)資產(chǎn)全生命周期管理的理論方法數(shù)據(jù)資產(chǎn)全生命周期管理是用于組織數(shù)據(jù)資產(chǎn)的設(shè)計(jì)據(jù)生產(chǎn)、使用、治理,實(shí)現(xiàn)效益最大化。析和數(shù)據(jù)資產(chǎn)投資收益分析等方面。數(shù)據(jù)資產(chǎn)全生命周期管理的主流模型DAMADAMA(國(guó)際數(shù)據(jù)管理協(xié)會(huì)最后是清除。地理空間模型地理空間數(shù)據(jù)生命周期模型由聯(lián)邦地理數(shù)據(jù)委員會(huì)(FGDC)//評(píng)估和歸檔。處理此模型是為了發(fā)現(xiàn)具有可接受的質(zhì)量和業(yè)務(wù)需求的數(shù)據(jù)以供將來(lái)使用。DataONEDataONE據(jù)模型旨在為生物和環(huán)境科學(xué)研究提供數(shù)據(jù)保存和再利用,數(shù)據(jù)生命周期包括收集、保證、描述、存放、保存、發(fā)現(xiàn)、集成和分析,可用于存儲(chǔ)和檢索長(zhǎng)期使用的信息。DDI數(shù)據(jù)文件倡議(DDI)是大學(xué)間政治和社會(huì)研究聯(lián)合會(huì)數(shù)據(jù)分析和重新調(diào)整用途。金融數(shù)據(jù)資產(chǎn)全生命周期管理的實(shí)踐和問(wèn)題金融數(shù)據(jù)資產(chǎn)全生命周期管理的實(shí)踐數(shù)據(jù)資產(chǎn)管理的組織方式自上而下的頂層設(shè)計(jì)模式和自下而上的各個(gè)擊破模式兩種自下而上兩種方式。步完善。數(shù)據(jù)資產(chǎn)管理的切入方式在建設(shè)策略方面,一般從生產(chǎn)系統(tǒng)入手或數(shù)據(jù)系統(tǒng)入手。從生產(chǎn)系統(tǒng)入手的常用建設(shè)模式包括企業(yè)數(shù)據(jù)模型建設(shè)模式以及主數(shù)據(jù)建設(shè)模式,從數(shù)據(jù)系統(tǒng)入手的常用建設(shè)模式包括統(tǒng)一數(shù)據(jù)平臺(tái)模式和數(shù)據(jù)集市模式。為穩(wěn)妥,也易見成效。三大挑戰(zhàn)金融數(shù)據(jù)資產(chǎn)全生命周期管理體系有待進(jìn)一步健全數(shù)據(jù)資產(chǎn)管理最重要的成功要素之一就是重視組織管命周期管理的優(yōu)勢(shì)。進(jìn)一步釋放數(shù)據(jù)價(jià)值需要始終聚焦于業(yè)務(wù)應(yīng)用數(shù)據(jù)資產(chǎn)化進(jìn)程給各類企業(yè)帶來(lái)重生、顛覆和創(chuàng)新,企業(yè)應(yīng)重點(diǎn)關(guān)注、順勢(shì)而為,建立起符合自身業(yè)務(wù)和數(shù)據(jù)特點(diǎn)數(shù)據(jù)資產(chǎn)全生命周期管理是否成功取決于企業(yè)商業(yè)模式略資產(chǎn)的商業(yè)模式,可以決定企業(yè)未來(lái)。2.2.數(shù)據(jù)治理體系數(shù)據(jù)治理基本框架一致的數(shù)據(jù)治理體系。基本原則附屬機(jī)構(gòu)。匹配性原則。數(shù)據(jù)治理應(yīng)當(dāng)與管理模式、業(yè)務(wù)規(guī)模、風(fēng)險(xiǎn)狀況等相適應(yīng),并根據(jù)情況變化進(jìn)行調(diào)整。持續(xù)性原則。數(shù)據(jù)治理應(yīng)當(dāng)持續(xù)開展,建立長(zhǎng)效機(jī)制。有效性原則。數(shù)據(jù)治理應(yīng)當(dāng)推動(dòng)數(shù)據(jù)真實(shí)準(zhǔn)確客觀反映金融機(jī)構(gòu)實(shí)際情況,并有效應(yīng)用于經(jīng)營(yíng)管理。合規(guī)性原則。數(shù)據(jù)治理應(yīng)當(dāng)符合國(guó)家、行業(yè)法律法規(guī)和金融機(jī)構(gòu)自身的內(nèi)部規(guī)章制度中對(duì)數(shù)據(jù)的相關(guān)要求。組織架構(gòu)工。數(shù)據(jù)管理數(shù)據(jù)管理是指通過(guò)制定和實(shí)施系統(tǒng)化的制度、流程和方法,對(duì)數(shù)據(jù)進(jìn)行管理,包括但不限于數(shù)據(jù)規(guī)范、數(shù)據(jù)架構(gòu)、數(shù)據(jù)需求、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)、數(shù)據(jù)安全、數(shù)據(jù)變更、數(shù)據(jù)生命周期、數(shù)據(jù)檔案和資料管理等工作。數(shù)據(jù)質(zhì)量控制時(shí)性。數(shù)據(jù)價(jià)值實(shí)現(xiàn)精細(xì)化程度,發(fā)揮數(shù)據(jù)價(jià)值。數(shù)據(jù)治理的組織架構(gòu)職責(zé)分工,建立多層次、相互銜接的運(yùn)行機(jī)制。效性,對(duì)數(shù)據(jù)治理承擔(dān)最終責(zé)任。金融機(jī)構(gòu)監(jiān)事會(huì)負(fù)責(zé)對(duì)董事會(huì)和高級(jí)管理層在數(shù)據(jù)治理方面的履職盡責(zé)情況進(jìn)行監(jiān)督評(píng)價(jià)。向董事會(huì)報(bào)告。置監(jiān)管數(shù)據(jù)相關(guān)工作專職崗位。價(jià)值。金融機(jī)構(gòu)應(yīng)當(dāng)在數(shù)據(jù)治理歸口管理部門設(shè)立滿足工作需要的專職崗位,在其他相關(guān)業(yè)務(wù)部門設(shè)置專職或兼職崗位。數(shù)據(jù)治理的制度建設(shè)數(shù)據(jù)治理制度,及時(shí)發(fā)布并定期評(píng)價(jià)和更新。構(gòu)建金融機(jī)構(gòu)數(shù)據(jù)治理制度體系,首先應(yīng)符合監(jiān)管要求和本機(jī)構(gòu)的數(shù)據(jù)戰(zhàn)略,其次應(yīng)充分結(jié)合數(shù)據(jù)治理組織架構(gòu)與管理現(xiàn)狀,體現(xiàn)、貫徹和落實(shí)數(shù)據(jù)治理頂層設(shè)計(jì)要求,逐步將數(shù)據(jù)治理體系納入本機(jī)構(gòu)的管理實(shí)踐中。根據(jù)數(shù)據(jù)治理相關(guān)制度的定位、重要程度、管理范圍,可分為基本規(guī)章、專業(yè)管理辦法、操作規(guī)程。定依據(jù)。制度。據(jù)治理專業(yè)管理辦法的進(jìn)一步細(xì)化。數(shù)據(jù)治理的發(fā)展方向素基礎(chǔ),實(shí)現(xiàn)數(shù)據(jù)對(duì)數(shù)字化轉(zhuǎn)型的賦能。扎實(shí)推動(dòng)數(shù)據(jù)治理,保障數(shù)字化轉(zhuǎn)型。制定數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范,持續(xù)提升數(shù)據(jù)質(zhì)量。內(nèi)外數(shù)據(jù)融合共享。構(gòu)建快捷、易用、多樣的數(shù)據(jù)服務(wù)能力。推動(dòng)數(shù)據(jù)資產(chǎn)管理能力建設(shè)。制定數(shù)據(jù)安全策略,強(qiáng)化數(shù)據(jù)風(fēng)險(xiǎn)管控。提升數(shù)據(jù)思維能力,普及數(shù)據(jù)文化。第三章數(shù)據(jù)能力建設(shè)與運(yùn)營(yíng)金融業(yè)數(shù)據(jù)服務(wù)建設(shè)數(shù)據(jù)服務(wù)能力地圖(例如元數(shù)據(jù)添加相應(yīng)的特征,擬或基于云端的存儲(chǔ)卷中。而輸出通常是指:(數(shù)據(jù)庫(kù)(數(shù)據(jù)倉(cāng)庫(kù)(據(jù)湖)源中提取數(shù)據(jù)。平臺(tái)。析或機(jī)器學(xué)習(xí)軟件的一部分。數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)建設(shè)組成的體系,通過(guò)這套體系來(lái)推廣和應(yīng)用統(tǒng)一的數(shù)據(jù)定義、技術(shù)類應(yīng)用標(biāo)準(zhǔn)用于指導(dǎo)金融行業(yè)開展數(shù)據(jù)接口服務(wù)金融數(shù)據(jù)服務(wù)的標(biāo)準(zhǔn)建設(shè)應(yīng)遵循用戶授權(quán)、安全合規(guī)、分類施策、可用不可見四大原則。金融數(shù)據(jù)服務(wù)也需在數(shù)據(jù)分布方面制定服務(wù)標(biāo)準(zhǔn)。數(shù)據(jù)分布采取的工作措施包括從企業(yè)層面對(duì)數(shù)據(jù)分布關(guān)系制定統(tǒng)一的管理系統(tǒng),統(tǒng)一數(shù)據(jù)分布關(guān)系的表現(xiàn)形式和管理流程。通過(guò)數(shù)據(jù)分布關(guān)系的梳理,優(yōu)化數(shù)據(jù)的存儲(chǔ)和集成關(guān)系。實(shí)現(xiàn)數(shù)據(jù)分布關(guān)系管理流程的自動(dòng)優(yōu)化,提升管理效率。數(shù)據(jù)服務(wù)能力評(píng)估體系建設(shè)IT相關(guān)的成熟度模型,國(guó)際上有幾套標(biāo)準(zhǔn):COBIT5、GartnerI&OITScore、CMMI。Gartner的I&OITScoreITIT的成熟COBIT(董事會(huì)(CEO)分開,IT國(guó)標(biāo)的IT服務(wù)能力成熟度評(píng)估模型借鑒了國(guó)際上多套需求分析、規(guī)劃設(shè)計(jì)、部署實(shí)施、評(píng)估改進(jìn)。DCMM數(shù)據(jù)管理能力成熟度評(píng)估的依據(jù)是國(guó)家標(biāo)準(zhǔn)GB/T36073-2018理情況發(fā)展的基礎(chǔ)上,整合了標(biāo)準(zhǔn)規(guī)范、管理方法論、數(shù)據(jù)管理模型、成熟度分級(jí)等多方面內(nèi)容。金融業(yè)數(shù)據(jù)產(chǎn)品創(chuàng)新數(shù)據(jù)產(chǎn)品創(chuàng)新浪潮根據(jù)經(jīng)典的DIKW(DataInformation-信息、KnowledgeWisdom-智慧過(guò)清洗、聚合、計(jì)算等手段,形成更高階的數(shù)據(jù),即信息、知識(shí)和智慧。1.3載體。數(shù)據(jù)產(chǎn)品創(chuàng)新的方法論隨著大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)、隱私計(jì)算、區(qū)塊鏈等信息技術(shù)的迅猛發(fā)展,以及企業(yè)內(nèi)外部環(huán)境變化和消費(fèi)者需求深度結(jié)合,能有效提升服務(wù)效率,進(jìn)行服務(wù)模式變革。技術(shù)導(dǎo)向與市場(chǎng)導(dǎo)向深度結(jié)合,能有效提升服務(wù)效率,進(jìn)行服務(wù)模式變革。學(xué)習(xí)導(dǎo)向與迭代創(chuàng)新產(chǎn)品創(chuàng)新廣泛應(yīng)用的方法。愿景導(dǎo)向與開放心智堅(jiān)持愿景導(dǎo)向有助于大數(shù)據(jù)企業(yè)明確其目標(biāo)和使命,以努力達(dá)成其共同愿景,促進(jìn)企業(yè)不斷完善健全制度機(jī)制并尋找合理方法,兩者結(jié)合促進(jìn)數(shù)據(jù)產(chǎn)品創(chuàng)新團(tuán)隊(duì)積極主動(dòng)解決問(wèn)題。在敢于質(zhì)疑、敢于采用新技術(shù)的同時(shí),數(shù)據(jù)產(chǎn)品的創(chuàng)新要持續(xù)堅(jiān)持以用戶價(jià)值為依歸、智慧為民、科技向善、公平普惠,切實(shí)增強(qiáng)人民群眾的獲得感和幸福感。另一方面,促使企業(yè)不斷完善健全制度機(jī)制并尋找合理方法,為數(shù)據(jù)產(chǎn)品的創(chuàng)新提供更適合的企業(yè)內(nèi)部環(huán)境。風(fēng)險(xiǎn)意識(shí)與監(jiān)管科技數(shù)據(jù)產(chǎn)品創(chuàng)新要始終踐行安全發(fā)展觀,時(shí)刻考慮風(fēng)險(xiǎn)意識(shí),創(chuàng)新的同時(shí)為金融業(yè)健康發(fā)展提供堅(jiān)實(shí)保障。堅(jiān)持促進(jìn)創(chuàng)新與防范風(fēng)險(xiǎn)相統(tǒng)一、制度規(guī)范與自我約束相統(tǒng)一。事前運(yùn)用大數(shù)據(jù)、人工智能等技術(shù)識(shí)別潛在風(fēng)險(xiǎn)點(diǎn)和傳導(dǎo)路徑,增強(qiáng)風(fēng)險(xiǎn)管理前瞻性和預(yù)見性;事中厘清關(guān)聯(lián)關(guān)系、研判變化趨勢(shì),實(shí)現(xiàn)對(duì)高風(fēng)險(xiǎn)交易、異常可疑交易等事件的動(dòng)態(tài)捕捉和智能預(yù)警;事后通過(guò)數(shù)字化手段實(shí)施自動(dòng)化交易攔截、漏洞補(bǔ)救等應(yīng)對(duì)措施,推動(dòng)監(jiān)管科技相關(guān)的數(shù)據(jù)產(chǎn)品創(chuàng)新。金融業(yè)數(shù)據(jù)運(yùn)營(yíng)管理數(shù)據(jù)資產(chǎn)的運(yùn)營(yíng)體系,可以從數(shù)據(jù)資產(chǎn)與產(chǎn)品化運(yùn)營(yíng)、組織體系運(yùn)營(yíng)兩個(gè)方面展開。其中,在數(shù)據(jù)資產(chǎn)與產(chǎn)品化運(yùn)營(yíng)方面,包含以下五點(diǎn):定義數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)目標(biāo);要求;持續(xù)供給;此框架進(jìn)行周期性的價(jià)值評(píng)測(cè);理體系,實(shí)現(xiàn)閉環(huán)的數(shù)據(jù)運(yùn)營(yíng)體系。數(shù)據(jù)運(yùn)營(yíng)體系建設(shè)現(xiàn)狀及目標(biāo)數(shù)據(jù)運(yùn)營(yíng)的現(xiàn)狀分析當(dāng)前,金融機(jī)構(gòu)正處于數(shù)字化轉(zhuǎn)型的深水區(qū),尤其是2020年新冠肺炎疫情的突發(fā)和國(guó)內(nèi)外經(jīng)濟(jì)形勢(shì)的錯(cuò)綜復(fù)雜,2020年4月9重大課題。金融機(jī)構(gòu)數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)現(xiàn)狀金融機(jī)構(gòu)在數(shù)據(jù)管理向數(shù)據(jù)資產(chǎn)管理與運(yùn)營(yíng)的轉(zhuǎn)型中,數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)創(chuàng)新要素以金融科技戰(zhàn)略為指導(dǎo),構(gòu)建相應(yīng)的數(shù)據(jù)治理體系。數(shù)據(jù)治理創(chuàng)新。在金融科技的戰(zhàn)略目標(biāo)和體系框架下,明確支持金融科技戰(zhàn)略目標(biāo)實(shí)現(xiàn)的數(shù)據(jù)治理總體框架,開展數(shù)據(jù)治理的重構(gòu)和變革。數(shù)據(jù)資產(chǎn)管理與運(yùn)營(yíng)模式創(chuàng)新?;跀?shù)據(jù)治理的框架,在數(shù)據(jù)內(nèi)容、系統(tǒng)平臺(tái)和流程機(jī)制三個(gè)維度進(jìn)行細(xì)化和落地,將數(shù)據(jù)作為資產(chǎn)進(jìn)行管理,將釋放數(shù)據(jù)價(jià)值作為目標(biāo)進(jìn)行運(yùn)營(yíng),開啟數(shù)據(jù)資產(chǎn)管理與運(yùn)營(yíng)的新模式。數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)目標(biāo)加工、分析和挖掘,在滿足合規(guī)的前提下,促進(jìn)數(shù)據(jù)流通、產(chǎn)運(yùn)營(yíng)的支撐,二者互為支撐、互為表里。全域數(shù)據(jù)運(yùn)營(yíng)構(gòu)建長(zhǎng)效機(jī)制數(shù)據(jù)資產(chǎn)管理制度與規(guī)范數(shù)據(jù)資產(chǎn)由數(shù)據(jù)組成,兼具無(wú)形資產(chǎn)和有形資產(chǎn)的特標(biāo)準(zhǔn)制定成為當(dāng)前研究的熱點(diǎn)。范圍、行動(dòng)方式,以及相應(yīng)的工作步驟和具體措施等。下:基本立法《全國(guó)人民代表大會(huì)常務(wù)委員會(huì)關(guān)于加強(qiáng)網(wǎng)絡(luò)信息保國(guó)數(shù)據(jù)安全法》《中華人民共和國(guó)個(gè)人信息保護(hù)法》。行政法規(guī)《征信業(yè)管理?xiàng)l例》《征信業(yè)務(wù)管理辦法》。司法解釋《全國(guó)人民代表大會(huì)常務(wù)委員會(huì)關(guān)于加強(qiáng)網(wǎng)絡(luò)信息保害人身權(quán)益民事糾紛案件適用法律若干問(wèn)題的規(guī)定》。綜合立法之個(gè)人信息保護(hù)條款(九和國(guó)消費(fèi)者權(quán)益保護(hù)法》。部門規(guī)章(24號(hào)國(guó)家標(biāo)準(zhǔn)(GB/T35273-2020(GB/Z28828-2012)、《個(gè)人信息和重要數(shù)據(jù)出境安全評(píng)估辦法》(征求意見稿及修訂稿)。此外,國(guó)際上ISO/IECJTC1SC32、ISO/IECJTC1WG9、國(guó)際電信聯(lián)盟(InternationalTelecommunicationUnion,(NationalInstituteofStandardsandTechnology,NIST)等組織和機(jī)構(gòu)也正在開展數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)的研究工作。劃-實(shí)施-評(píng)估-完善”的持續(xù)改進(jìn)閉環(huán)。量化評(píng)估持續(xù)改進(jìn)機(jī)制的工作抓手。數(shù)據(jù)資產(chǎn)的量化評(píng)估體系,應(yīng)該從如下幾方面著手,根據(jù)金融機(jī)構(gòu)自身的情況建設(shè)監(jiān)控和管理指標(biāo):常和穩(wěn)定的狀態(tài);的運(yùn)行時(shí)間、更新頻率、每日增量是否正常穩(wěn)定;提供的服務(wù)效果,例如用戶數(shù)、調(diào)用量、使用評(píng)價(jià)等。數(shù)據(jù)資產(chǎn)的持續(xù)改進(jìn)機(jī)制,應(yīng)覆蓋對(duì)數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)的參與方以及數(shù)據(jù)流轉(zhuǎn)過(guò)程兩個(gè)方面的閉環(huán)管控:數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)的參與方主要包括數(shù)據(jù)資產(chǎn)供給方、數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)團(tuán)隊(duì)和數(shù)據(jù)資產(chǎn)消費(fèi)者。三方在數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)活動(dòng)中需承擔(dān)相應(yīng)的責(zé)任:供給方的責(zé)任主要是需要為數(shù)據(jù)資產(chǎn)自身情況負(fù)責(zé),數(shù)據(jù)資產(chǎn)團(tuán)隊(duì)主要對(duì)數(shù)據(jù)資產(chǎn)的供給過(guò)程負(fù)責(zé),數(shù)據(jù)資產(chǎn)消費(fèi)者需要保證在消費(fèi)過(guò)程中做出客觀、即時(shí)的反饋和評(píng)價(jià);在數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)過(guò)程中,數(shù)據(jù)資產(chǎn)在相應(yīng)的量化評(píng)估方面的指標(biāo)產(chǎn)生波動(dòng),就需要使用中制定的相關(guān)管理制度向?qū)?yīng)的數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)角色追責(zé),直到數(shù)據(jù)資產(chǎn)的量化評(píng)估指標(biāo)改善。數(shù)據(jù)運(yùn)營(yíng)體系建設(shè)數(shù)據(jù)運(yùn)營(yíng)體系包括數(shù)據(jù)查看、選擇、使用、治理、評(píng)價(jià)五個(gè)完整運(yùn)營(yíng)環(huán)節(jié)。數(shù)據(jù)查看數(shù)據(jù)資產(chǎn)要通過(guò)一個(gè)合適的資產(chǎn)門戶或資產(chǎn)管理場(chǎng)所,可閱讀的方式查看資產(chǎn)信息后才能判斷其是不是當(dāng)前業(yè)務(wù)所需的數(shù)據(jù)資產(chǎn)對(duì)象。數(shù)據(jù)選擇以通過(guò)文檔的方式或建設(shè)數(shù)據(jù)資產(chǎn)管理系統(tǒng)以方便業(yè)務(wù)人員簡(jiǎn)單便捷地反復(fù)查看、研究、復(fù)用重點(diǎn)的數(shù)據(jù)資產(chǎn)。數(shù)據(jù)使用化。治理優(yōu)化在數(shù)據(jù)使用過(guò)程中,會(huì)發(fā)現(xiàn)各種各樣數(shù)據(jù)資產(chǎn)本身的問(wèn)題,需要通過(guò)數(shù)據(jù)治理對(duì)數(shù)據(jù)資產(chǎn)本身進(jìn)行優(yōu)化提升。數(shù)據(jù)評(píng)價(jià)環(huán),最終實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)價(jià)值的最大化。數(shù)據(jù)運(yùn)營(yíng)持續(xù)創(chuàng)造用戶價(jià)值數(shù)據(jù)資產(chǎn)規(guī)劃數(shù)據(jù)資產(chǎn)持續(xù)性運(yùn)營(yíng)的前提是對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行整體性的規(guī)劃,即確定數(shù)據(jù)資產(chǎn)的準(zhǔn)入原則和分類原則。定義數(shù)據(jù)資產(chǎn)的分類框架。數(shù)據(jù)資產(chǎn)服務(wù)保障為穩(wěn)定持續(xù)地創(chuàng)造用戶價(jià)值,必須要從組織、制度和技術(shù)三個(gè)方面建設(shè)數(shù)據(jù)資產(chǎn)的服務(wù)保障體系。組織保障:建立數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)相關(guān)角色,明確角色的權(quán)利和責(zé)任;數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)的角色應(yīng)包括數(shù)據(jù)資產(chǎn)供給團(tuán)隊(duì)、數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)團(tuán)隊(duì)和數(shù)據(jù)資產(chǎn)消費(fèi)者等。程當(dāng)中出現(xiàn)各種問(wèn)題都有相對(duì)應(yīng)的管理機(jī)制來(lái)指導(dǎo)相關(guān)人員進(jìn)行標(biāo)準(zhǔn)和規(guī)范的應(yīng)對(duì)。技術(shù)保障:儲(chǔ)備相關(guān)的技術(shù)能力,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)的自動(dòng)化管理。數(shù)據(jù)運(yùn)營(yíng)宣傳推廣才能夠保證數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)各項(xiàng)活動(dòng)的順利開展并取得預(yù)期效果。產(chǎn)調(diào)用的頻率穩(wěn)步增長(zhǎng),說(shuō)明數(shù)據(jù)資產(chǎn)價(jià)值逐步體現(xiàn)。興趣。數(shù)據(jù)資產(chǎn)價(jià)值評(píng)估黨中央在十九屆四中全會(huì)上首次公開提出“健全勞動(dòng)、資本、土地、知識(shí)、技術(shù)、管理和數(shù)據(jù)等生產(chǎn)要素按貢獻(xiàn)參與分配的機(jī)制?!边@是中央首次在公開場(chǎng)合提出數(shù)據(jù)可作為生產(chǎn)要素按貢獻(xiàn)參與分配?!皵?shù)據(jù)是資產(chǎn)”已經(jīng)成為全球共識(shí)。2019年6月,中國(guó)信息通信研究院與中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會(huì)聯(lián)合發(fā)布《數(shù)據(jù)資產(chǎn)管理實(shí)踐(4.0版(Data電子數(shù)據(jù)等。在企業(yè)中,并非所有的數(shù)據(jù)都構(gòu)成數(shù)據(jù)資產(chǎn),數(shù)據(jù)資產(chǎn)是能夠?yàn)槠髽I(yè)產(chǎn)生價(jià)值的數(shù)據(jù)資源。2019年10據(jù)資產(chǎn)價(jià)值的因素主要從數(shù)據(jù)資產(chǎn)的收益和風(fēng)險(xiǎn)兩個(gè)維度考慮。數(shù)據(jù)資產(chǎn)的收益取決于數(shù)據(jù)資產(chǎn)的質(zhì)量和應(yīng)用價(jià)值,2019年129成本法、收益法和市場(chǎng)法三種基本方法及其衍生辦法。2021年8瞭和估值的框架和落地實(shí)踐。數(shù)據(jù)資產(chǎn)確權(quán)數(shù)據(jù)確權(quán)的迫切程度與日俱增。2021年9月1有權(quán),卻被告知相關(guān)數(shù)據(jù)已經(jīng)被服務(wù)商出售給其他商業(yè)機(jī)者與出售者之間關(guān)于非法買賣的爭(zhēng)議。數(shù)據(jù)保護(hù)帶來(lái)了挑戰(zhàn)。在技術(shù)上已經(jīng)有研究人員提出了基于數(shù)字水印技術(shù)和區(qū)塊鏈技術(shù)的大數(shù)據(jù)確權(quán)方案。數(shù)據(jù)資產(chǎn)交易目前我國(guó)的數(shù)據(jù)交易制度、標(biāo)準(zhǔn)還在不斷完善的過(guò)程中。2019年1月136343-2018)正式生效。2020年3月1日,《信息技術(shù)數(shù)據(jù)交易服務(wù)平臺(tái)通用功能要求》(GB/T37728-2019)(GB/T37932-2019)正式生效。目前數(shù)據(jù)資產(chǎn)交易模式主要有3種類型,一是原始數(shù)據(jù)充當(dāng)中介通道的角色,中間不沉淀存儲(chǔ)數(shù)據(jù)。的高效利用。數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)工具作模塊包括但不限于:和質(zhì)量改善等;和結(jié)果管理、數(shù)據(jù)資產(chǎn)分析等;監(jiān)控和運(yùn)營(yíng)改善閉環(huán)工作流支持。數(shù)據(jù)資產(chǎn)成本運(yùn)營(yíng)優(yōu)化數(shù)據(jù)資產(chǎn)存儲(chǔ)成本在企業(yè)發(fā)展初期,存儲(chǔ)成本可能不是企業(yè)關(guān)注的重點(diǎn),但當(dāng)數(shù)據(jù)體量達(dá)到一定規(guī)模時(shí),數(shù)據(jù)存儲(chǔ)成本會(huì)成為企業(yè)的包袱,所以需要對(duì)數(shù)據(jù)資產(chǎn)存儲(chǔ)成本進(jìn)行優(yōu)化,將有限的存儲(chǔ)資源最大化地用在高價(jià)值的數(shù)據(jù)資產(chǎn)上,針對(duì)原始數(shù)據(jù)、過(guò)程數(shù)據(jù)和結(jié)果數(shù)據(jù)制定不同存儲(chǔ)策略??刂茢?shù)據(jù)資產(chǎn)計(jì)算成本企業(yè)數(shù)據(jù)量增加之后,需要不斷對(duì)數(shù)據(jù)進(jìn)行價(jià)值挖掘,需要消耗的計(jì)算量也隨之增加,計(jì)算的成本相比存儲(chǔ)成本要高很多,CPU、內(nèi)存都屬于稀缺資源,可以通過(guò)對(duì)計(jì)算算法、數(shù)據(jù)處理加工邏輯優(yōu)化降低數(shù)據(jù)資產(chǎn)計(jì)算成本。數(shù)據(jù)開放與共享恪守內(nèi)部合規(guī)底線隨著數(shù)字化深入業(yè)務(wù),數(shù)據(jù)貫穿上下游的采集、流轉(zhuǎn)、開放與共享,并與業(yè)務(wù)不斷深入融合。數(shù)據(jù)安全、合規(guī)、隱私保護(hù)等安全相關(guān)管控需求越發(fā)迫切。同時(shí),數(shù)據(jù)資產(chǎn)同樣存在被內(nèi)外部不法組織或個(gè)人濫用和泄露的風(fēng)險(xiǎn),數(shù)據(jù)安全合規(guī)面臨嚴(yán)峻考驗(yàn)。如何高效開展數(shù)據(jù)流通發(fā)揮數(shù)據(jù)價(jià)值,兼顧遵循安全合規(guī)底線,是長(zhǎng)期以來(lái)的一把雙刃劍,也是廣大企業(yè)不斷思考和亟待解決的問(wèn)題。等行為,完善數(shù)據(jù)安全技術(shù),定期審計(jì)數(shù)據(jù)安全。數(shù)據(jù)安全體系框架通常由四個(gè)層面構(gòu)成,包括政策法規(guī)造數(shù)據(jù)安全合規(guī)管理閉環(huán)。構(gòu)建數(shù)據(jù)開放生態(tài)著數(shù)據(jù)價(jià)值可評(píng)估、可度量,數(shù)據(jù)交易也會(huì)激發(fā)數(shù)據(jù)開放共享的商業(yè)模式落地。的再利用、再加工和再增值。數(shù)據(jù)共享與開放的實(shí)現(xiàn)通過(guò)構(gòu)建數(shù)據(jù)服務(wù)封裝能力,如文第四章技術(shù)現(xiàn)狀與安全防護(hù)4.1.數(shù)據(jù)采集與存儲(chǔ)數(shù)據(jù)采集數(shù)據(jù)采集是大數(shù)據(jù)平臺(tái)數(shù)據(jù)處理工作流程中的第一個(gè)環(huán)節(jié),是指將數(shù)據(jù)從其產(chǎn)生的地方,通過(guò)特定的傳輸通道,抽取或推送至大數(shù)據(jù)平臺(tái)(或數(shù)據(jù)湖來(lái)源主要包含各類業(yè)務(wù)系統(tǒng)、各類設(shè)備,以及外部數(shù)據(jù)源,(如數(shù)據(jù)庫(kù)表(如)和半結(jié)構(gòu)化數(shù)據(jù)(如源系統(tǒng)文件廣泛的大數(shù)據(jù)采集技術(shù)主要有ApacheSqoopApacheFlume、ApacheKafkaApacheChangeDataCapture、FlinkCDCOracleGoldenGate。各技術(shù)產(chǎn)品基本情況如下表所示:表4-1主要數(shù)據(jù)采集技術(shù)序號(hào)技術(shù)名稱主要功能特點(diǎn)適用場(chǎng)景1ApacheSqoop用于在ApacheHadoop生態(tài)存儲(chǔ)系統(tǒng)和結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)(如關(guān)系型數(shù)據(jù)庫(kù))之間高效傳輸海量數(shù)據(jù)的工具M(jìn)ysql、OracleHDFS、Hive、HBase導(dǎo)入導(dǎo)出批量數(shù)據(jù)采集2ApacheFlume分布式數(shù)據(jù)采集工具,主要收集、聚合和移動(dòng)海量日志數(shù)據(jù)擁有一套簡(jiǎn)單靈活的流式架構(gòu),支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方實(shí)現(xiàn)數(shù)據(jù)采集,自定義攔截器對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單的預(yù)處理并傳輸?shù)筋A(yù)先定制的HDFS、HBase、Kafka等數(shù)據(jù)接收方,日志數(shù)據(jù)采集3ApacheKafka高吞吐量、分布式的流式消息系統(tǒng)存儲(chǔ)節(jié)點(diǎn)具有故障容錯(cuò)的特分析實(shí)時(shí)數(shù)據(jù)采集4ApachePulsar云原生分布式消息流平臺(tái),集消息、存儲(chǔ)、輕量化函數(shù)式計(jì)算為一體采用計(jì)算與存儲(chǔ)分離架構(gòu)設(shè)計(jì),支持多租戶、持久化存特性實(shí)時(shí)數(shù)據(jù)采集5ChangeDataCapture建立準(zhǔn)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵技術(shù),常用的變化數(shù)據(jù)捕獲方法有時(shí)間戳、快照、觸發(fā)器和日志四種跨平臺(tái)和異構(gòu)的數(shù)據(jù)庫(kù)環(huán)境中實(shí)現(xiàn)變化數(shù)據(jù)的實(shí)時(shí)復(fù)制,能夠提供可保持事務(wù)完整性的復(fù)制整合,數(shù)據(jù)同以及實(shí)時(shí)BI分析6OracleGoldenGate結(jié)構(gòu)化數(shù)據(jù)復(fù)制軟件歸檔日志獲得數(shù)據(jù)的增量變目標(biāo)數(shù)據(jù)庫(kù)同步IT結(jié)構(gòu)之間實(shí)現(xiàn)大量數(shù)據(jù)亞秒級(jí)的實(shí)時(shí)復(fù)制數(shù)據(jù)存儲(chǔ)按存儲(chǔ)介質(zhì)的不同,現(xiàn)代數(shù)據(jù)存儲(chǔ)主要分為光學(xué)存儲(chǔ)(CDDVD(和半導(dǎo)體存儲(chǔ)三類。作為產(chǎn)生時(shí)間最早的數(shù)據(jù)存儲(chǔ)技術(shù),光存儲(chǔ)技術(shù)目前處于技術(shù)更新的瓶頸期,無(wú)法突破,在存儲(chǔ)容量、存儲(chǔ)密度及存取速率等方面都受限制,極易受摩擦等外部作用而損壞。業(yè)界普遍認(rèn)為,光存儲(chǔ)技術(shù)是冷數(shù)據(jù)存儲(chǔ)最主要的方式,適合歸檔類數(shù)據(jù)的長(zhǎng)期備份使用,可以與半導(dǎo)體存儲(chǔ)介質(zhì)搭配使用。性能、易于擴(kuò)展、服務(wù)化和智能化等特點(diǎn)。存儲(chǔ)介質(zhì)演進(jìn)全閃存儲(chǔ)Gartner201925.13(ECB)46.822.3市場(chǎng)固態(tài)存儲(chǔ)市場(chǎng)銷售額1.5680比機(jī)械越,為底層存儲(chǔ)介質(zhì)的替換提供了客觀條件。4-2機(jī)械硬盤固態(tài)硬盤時(shí)延2ms0.02ms5年返還率13.40.8功耗10w3w非易失性內(nèi)存非易失性內(nèi)存(non-volatilememory,NVM)是指斷電后,存儲(chǔ)的數(shù)據(jù)不會(huì)消失的存儲(chǔ)器,是存儲(chǔ)技術(shù)領(lǐng)域近十余年來(lái)最革命的創(chuàng)新。依據(jù)技術(shù)原理,非易失性內(nèi)存介質(zhì)可分為以下幾類。圖4-1非易失性存儲(chǔ)介質(zhì)為開發(fā)出比傳統(tǒng)非易失性存儲(chǔ)介質(zhì)更高速、更低功耗、表4-3新型非易失性存儲(chǔ)簡(jiǎn)介存儲(chǔ)介質(zhì)存儲(chǔ)原理優(yōu)點(diǎn)缺點(diǎn)鐵電隨機(jī)存儲(chǔ)器通過(guò)鐵電材料的不同極化方向來(lái)存儲(chǔ)數(shù)據(jù)讀寫速度快,低功耗和擦寫循環(huán)性能好數(shù)據(jù)保持能力較差磁性隨機(jī)存儲(chǔ)器通化磁化方向的改變來(lái)存儲(chǔ)數(shù)據(jù),并通過(guò)磁效應(yīng)來(lái)實(shí)現(xiàn)數(shù)據(jù)讀可反復(fù)擦寫次數(shù)高等優(yōu)點(diǎn)難以小型化阻變存儲(chǔ)器利用材料的電阻在電壓作用下發(fā)生變化的現(xiàn)象來(lái)存儲(chǔ)數(shù)據(jù)擦寫速度快、存儲(chǔ)密度高、具備多值存儲(chǔ)和三維存儲(chǔ)潛力材料耐久性較差相變存儲(chǔ)器以硫?qū)倩衔餅榛A(chǔ)的相變材料在電流的焦耳熱作用下,通過(guò)晶態(tài)和非晶態(tài)之間的轉(zhuǎn)變來(lái)存儲(chǔ)數(shù)據(jù)重復(fù)擦寫次數(shù)高、存儲(chǔ)密度高、多值存儲(chǔ)潛力大功耗較高3D-XPoint通過(guò)特定的電壓差,改變存儲(chǔ)\\單元中特殊材料的電阻,實(shí)現(xiàn)寫操作DRAMDRAM靠近處理器,提升存儲(chǔ)系統(tǒng)的整體性能表現(xiàn)。存儲(chǔ)協(xié)議演進(jìn)SSDSATAAHCI。AHCIHDDAHCIHDDSSDAHCISSDSSDSSDAHCISATASSDSSDNVMeNVMe16GBps32GBpsIOIOPS500,0001502001000IOPS許多驅(qū)動(dòng)器的速率低于20微秒,有些低于10微秒。2010NVMeNVMe-oFOverFabric推動(dòng)IPIPNVMe-oFIPNVMe-oF10usSAS分布式存儲(chǔ)分布式存儲(chǔ)是一種數(shù)據(jù)存儲(chǔ)技術(shù),通過(guò)網(wǎng)絡(luò)使用企業(yè)中的每臺(tái)機(jī)器上的磁盤空間,并將這些分散的存儲(chǔ)資源構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備,數(shù)據(jù)分散的存儲(chǔ)在企業(yè)的各個(gè)角落。分布式存儲(chǔ)的特點(diǎn)有高擴(kuò)展性、低成本、易運(yùn)維、易管理等。分布式存儲(chǔ)技術(shù)發(fā)展趨勢(shì):淡化部署形態(tài),基于場(chǎng)景融合和AI運(yùn)維使能的架構(gòu)創(chuàng)新,成為引領(lǐng)技術(shù)未來(lái)的關(guān)鍵產(chǎn)學(xué)研重點(diǎn)圍繞著對(duì)海量數(shù)據(jù)不同部署模式下(邊緣、數(shù)據(jù)中心和云)AI智能的架構(gòu)創(chuàng)新,將成為引領(lǐng)技術(shù)未來(lái)的關(guān)鍵。了大量的workload和可靠性特征數(shù)據(jù),經(jīng)過(guò)云端訓(xùn)練和本/對(duì)象/HDFSHPC(高性能數(shù)據(jù)分析HPC-BasedAI方向演進(jìn)新的業(yè)務(wù)負(fù)載要求存儲(chǔ)支持文件、對(duì)象及HDFS協(xié)議互通,數(shù)據(jù)僅存份如華為的分布式存儲(chǔ)能同時(shí)支持文件和對(duì)象的不同接入?yún)f(xié)議在HPDA場(chǎng)景下滿足不同階段數(shù)據(jù)分析軟件的需求進(jìn)入NVMe SSD時(shí)代,介質(zhì)性能和壽命相比HDD都有了大幅提升,CPU應(yīng)運(yùn)而生,他將控制器和存儲(chǔ)介質(zhì)分離,再通過(guò)低時(shí)延的NVMeoverFabric易于擴(kuò)展、服務(wù)化和智能化等要求。表4-4下一代數(shù)據(jù)存儲(chǔ)技術(shù)發(fā)展方向技術(shù)分類傳統(tǒng)存儲(chǔ)下一代存儲(chǔ)存儲(chǔ)介質(zhì)機(jī)械硬盤存儲(chǔ)、易失性內(nèi)存全閃存儲(chǔ)、非易失性內(nèi)存存儲(chǔ)架構(gòu)集中式存儲(chǔ)軟件定義存儲(chǔ)、超融合基礎(chǔ)架構(gòu)存儲(chǔ)協(xié)議AHCI、SCSI協(xié)議NVMe協(xié)議應(yīng)用模式本地部署云服務(wù)化運(yùn)維模式人工運(yùn)維智能化運(yùn)維表格來(lái)源:中國(guó)信息通信研究院,《下一代數(shù)據(jù)存儲(chǔ)技術(shù)研究報(bào)告(2021年)》數(shù)據(jù)計(jì)算離線計(jì)算引擎TB/PB數(shù)據(jù)倉(cāng)庫(kù)和BI數(shù)據(jù)量巨大且保存時(shí)間長(zhǎng);在大量數(shù)據(jù)上進(jìn)行復(fù)雜的批量運(yùn)算;數(shù)據(jù)在計(jì)算之前已經(jīng)完全到位,不會(huì)發(fā)生變化;能夠方便地查詢批量計(jì)算的結(jié)果。目前常見的組件主要有:MapReduce、Hive、Spark、Maxcompute等組件,主要能力如下表所示:表4-5常見組件主要能力匯總組件名稱主要能力MapReduceMap間結(jié)果,ReduceHive定義了一種類似sql的查詢語(yǔ)言(hql)將sql轉(zhuǎn)化為Mapreduce、Spark等引擎任務(wù)在Hadoop上執(zhí)行。Spark開源的數(shù)據(jù)分析集群計(jì)算框架,用于構(gòu)建大規(guī)模,延遲低的數(shù)據(jù)分析應(yīng)用。SparkScala布式數(shù)據(jù)集,優(yōu)化了迭代式的工作負(fù)載以及交互式查詢。實(shí)時(shí)計(jì)算引擎現(xiàn)在常見的實(shí)時(shí)計(jì)算有3個(gè)主流引擎:Storm、Spark、Flink。表4-6主流引擎介紹計(jì)算引擎基本特征處理能力storm開源的分布式實(shí)時(shí)計(jì)算組件可連續(xù)、實(shí)時(shí)地處理流式數(shù)據(jù),支持各種編程語(yǔ)言,使用簡(jiǎn)便SparkSparkAPI數(shù)據(jù)預(yù)處理,形成小批處理的RDD(彈性分布式數(shù)據(jù)集),可通過(guò)任意函數(shù)和華東數(shù)據(jù)窗口進(jìn)行轉(zhuǎn)換,實(shí)現(xiàn)并行操作計(jì)算引擎基本特征處理能力Flink統(tǒng)一了流處理和批處理StreamTransformationStream或多個(gè)結(jié)果Stream實(shí)時(shí)計(jì)算引擎具備三個(gè)特點(diǎn):的數(shù)據(jù)流且高效的計(jì)算實(shí)時(shí)計(jì)算是一種計(jì)算任務(wù)。且實(shí)時(shí)的數(shù)據(jù)集成流數(shù)據(jù)觸發(fā)一次實(shí)時(shí)計(jì)算的計(jì)算結(jié)果,直接寫入目的數(shù)據(jù)存儲(chǔ)。(如下圖所示ETL。是數(shù)據(jù)實(shí)時(shí)傳輸?shù)目捎?jì)算通道,成為離線數(shù)圖4-2實(shí)時(shí)計(jì)算引擎的使用場(chǎng)景查詢分析引擎隨著各機(jī)構(gòu)數(shù)據(jù)量快速增行,數(shù)據(jù)分析場(chǎng)景日益增多,高可靠和低延時(shí)的數(shù)據(jù)分析服務(wù)成為企業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵。越來(lái)越多的OLAP表4-7主流查詢引擎介紹查詢引擎基本特征處理能力PrestofacebookSQLprestoMPP(Massivelyparallelprocessing),GB-PB,Hive5-10倍Greenplum基于開源的PostredSQL基礎(chǔ)上的MPP架構(gòu)具有強(qiáng)大的大規(guī)模數(shù)據(jù)分析任務(wù)粗粒能力ImpalaCloudera公司主導(dǎo)開發(fā)的新型查詢系統(tǒng),開源軟件用于處理存儲(chǔ)在Hadoop集群中的大量MPPSQL查詢引擎查詢引擎基本特征處理能力Kylin開源的、分布式的分析型數(shù)倉(cāng)Hadoop/Spark之上的SQL查詢接口及多維分析(OLAP)能力以支持cube式,提供亞秒級(jí)響應(yīng)時(shí)間即可獲得查詢結(jié)果ClickHouse俄羅斯第一大搜索引Yandex儲(chǔ)存數(shù)據(jù)庫(kù)用于聯(lián)機(jī)分析(OLAP)的列式數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)Hologres阿里巴巴自主研發(fā)的一款交互式分析產(chǎn)品兼容PostgreSQL11協(xié)議,與大數(shù)據(jù)生態(tài)無(wú)縫連接,支持高并發(fā)和低延時(shí)的分析處理PB級(jí)數(shù)據(jù)DorisMPP型數(shù)據(jù)庫(kù)產(chǎn)品主要解決PB級(jí)別的數(shù)據(jù)量,解決結(jié)構(gòu)化數(shù)據(jù),查詢時(shí)間一般在秒級(jí)或毫秒級(jí)。GaussDB基于華為云的數(shù)據(jù)倉(cāng)庫(kù)服務(wù)兼容標(biāo)準(zhǔn)ANSISQL99和SQL2003,PostgreSQL/OraclePB新一代大數(shù)據(jù)架構(gòu)趨勢(shì)存算分離在傳統(tǒng)分布式系統(tǒng)常用的存儲(chǔ)計(jì)算架構(gòu)有如下三種。圖4-3分布式系統(tǒng)存算架構(gòu)SharedDisk/Storage(共享存儲(chǔ))有一個(gè)分布式的存儲(chǔ)集群,每個(gè)計(jì)算節(jié)點(diǎn)像訪問(wèn)單機(jī)數(shù)據(jù)一樣訪問(wèn)這個(gè)共享存儲(chǔ)上的數(shù)據(jù)。這種架構(gòu)的存儲(chǔ)層可以SharedNothingFailover數(shù)據(jù)RebalanceStorageDisaggregation(存儲(chǔ)計(jì)算分離架構(gòu))存儲(chǔ)和Shared Storage類似,有一個(gè)分布式的共享存儲(chǔ)集群計(jì)算層處理數(shù)據(jù)的模式和SharedNothing類似數(shù)據(jù)是分片的每個(gè)shard只處理自己所在分片的數(shù)據(jù)每個(gè)計(jì)算節(jié)點(diǎn)還可以有本地緩存主要優(yōu)勢(shì)一是一致性問(wèn)題處理簡(jiǎn)單計(jì)算層只需要保證同一時(shí)刻有一個(gè)計(jì)算節(jié)點(diǎn)寫入同一分片的數(shù)據(jù)二是計(jì)算和存儲(chǔ)分開靈活擴(kuò)展三是計(jì)算節(jié)點(diǎn)故障恢復(fù)快數(shù)據(jù)可以按需從分布式的共享存儲(chǔ)異步拉取湖倉(cāng)一體2080展MPP架構(gòu)也使得系統(tǒng)能夠處理更大規(guī)模的數(shù)據(jù)量。數(shù)(volume)等特征。數(shù)據(jù)倉(cāng)庫(kù)并不適合這樣的場(chǎng)景,而且成本較高。數(shù)據(jù)的倉(cāng)庫(kù)化存儲(chǔ),并以此為多樣化的數(shù)據(jù)分析應(yīng)用提供承載。大約十年前,數(shù)據(jù)湖出現(xiàn)了,他被定義為一種可以存儲(chǔ)各類格式的原始數(shù)據(jù)存儲(chǔ)庫(kù)。數(shù)據(jù)湖雖然適合數(shù)據(jù)的存儲(chǔ),但又缺少一些關(guān)鍵功能,比如不支持事務(wù)、缺乏一致性/隔離性、不保證執(zhí)行數(shù)據(jù)質(zhì)量等,讓數(shù)據(jù)湖來(lái)承載讀寫訪問(wèn)、批處理、流作業(yè)是不現(xiàn)實(shí)的。圖4-4數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖演進(jìn)時(shí)分析、機(jī)器學(xué)習(xí)等。數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖對(duì)比如下:圖4-5數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)湖對(duì)比定義的schemaschema,schema圖4-6數(shù)據(jù)湖數(shù)據(jù)管理的問(wèn)題數(shù)據(jù)“湖倉(cāng)一體”具有以下關(guān)鍵特征:)ACID支持,可確保數(shù)據(jù)并發(fā)訪問(wèn)的一致性、正確性,尤其是在SQL的訪問(wèn)模式下。數(shù)據(jù)的模型化和數(shù)據(jù)治理:湖倉(cāng)一體可以支持各類數(shù)據(jù)模型的實(shí)現(xiàn)和轉(zhuǎn)變,支持DataWarehouse模式架構(gòu),例如星形模型、雪花模型等。該系統(tǒng)應(yīng)當(dāng)保證數(shù)據(jù)完整性,并且具有健全的治理和審計(jì)機(jī)制。BI支持:“湖倉(cāng)一體”支持直接在源數(shù)據(jù)BI工具,這樣可以加快分析效率,降低數(shù)據(jù)延時(shí)。另外相比于在數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)中分別操作兩個(gè)副本的方式,更具成本優(yōu)勢(shì)。存算分離:存算分離的架構(gòu),也使得系統(tǒng)能夠擴(kuò)展到更大規(guī)模的并發(fā)能力和數(shù)據(jù)容量。(型的數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)采用了這種架構(gòu))開放性:采用開放、標(biāo)準(zhǔn)化的存儲(chǔ)格式(Parquet),提供豐富的API支持,因此,各種工具和引擎(包括機(jī)器學(xué)習(xí)和Python/R可以高效地對(duì)數(shù)據(jù)進(jìn)行直接訪問(wèn)。支持多種數(shù)據(jù)類型(結(jié)構(gòu)化、非結(jié)構(gòu)化Lakehouse可為許多應(yīng)用程序提供數(shù)據(jù)的入庫(kù)、轉(zhuǎn)換、分析和訪問(wèn)。數(shù)據(jù)類型包括圖像、視頻、音頻、半結(jié)構(gòu)化數(shù)據(jù)和文本等。支持各種工作負(fù)載:支持包括數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)、SQL查詢、分析等多種負(fù)載類型。這些工作負(fù)載可能需要多種工具來(lái)支持,但他們都由同一個(gè)數(shù)據(jù)庫(kù)來(lái)支撐。端到端流:實(shí)時(shí)報(bào)表已經(jīng)成為企業(yè)中的常態(tài)化需求,實(shí)現(xiàn)了對(duì)流的支持后,不再像以往一樣,為實(shí)時(shí)數(shù)據(jù)服務(wù)構(gòu)建專用的系統(tǒng)。此外,湖倉(cāng)一體還需要考慮數(shù)據(jù)安全和訪問(wèn)控制相關(guān)能力,如數(shù)據(jù)的審計(jì)、保留周期、數(shù)據(jù)血緣管理等。流批一體LambdaBinlog(SpeedHiveSpark或esto對(duì)數(shù)據(jù)做加速查詢,BI圖4-7Lambda架構(gòu)Lambda架構(gòu)的核心痛點(diǎn)是大量在不同計(jì)算系統(tǒng)和數(shù)據(jù)格式中數(shù)據(jù)協(xié)同和轉(zhuǎn)換,造成維護(hù)困難和額外成本,BatchLayerStreamLayer/bug果需要通過(guò)定制聯(lián)邦計(jì)算來(lái)合并數(shù)據(jù)集,無(wú)法通用化輸出,靈活性不足。圖4-8Kappa架構(gòu)隨著FlinkKappaKappaLambdaKappa很多時(shí)候并不是完全規(guī)范的LambdaKappaKappa(比如金額相關(guān)Lambda圖4-9流批一體數(shù)據(jù)架構(gòu)查詢分析服務(wù)。數(shù)據(jù)分析挖掘標(biāo)準(zhǔn)數(shù)據(jù)分析工具隨著信息技術(shù)尤其是計(jì)算機(jī)及互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,據(jù)挖掘與分析技術(shù)的需求已經(jīng)迫在眉睫。業(yè)務(wù)數(shù)據(jù)分析中,SAS、PowerBISASSAS(STATISTICALANALYSISSYSTEM)是由美國(guó)NORTHCAROLINA州立大學(xué)1966年開發(fā)的統(tǒng)計(jì)分析軟件。SAS(StatisticalAnalysisSAS統(tǒng)基本上可以分為四大部分:SASSASSAS數(shù)據(jù)管理、數(shù)據(jù)呈現(xiàn)、數(shù)據(jù)分析。SASSAS果,采取行動(dòng)。PowerBI分析工具商業(yè)智能(BusinessIntelligence)包括企業(yè)用于商業(yè)前和預(yù)測(cè)視圖。商業(yè)智能技術(shù)的常見功能包括報(bào)告、在線分析處理、分析、數(shù)據(jù)挖掘、流程挖掘、復(fù)雜事件處理、業(yè)務(wù)績(jī)效管理、基準(zhǔn)測(cè)試、文本挖掘、預(yù)測(cè)分析和規(guī)定性分析。BI技術(shù)可以處理大量結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù),以幫優(yōu)勢(shì)和長(zhǎng)期穩(wěn)定。PowerBIVertipaqSQLPowerBIR以及PythonAI后的故事,減輕分析師和決策者的工作負(fù)擔(dān)。機(jī)器學(xué)習(xí)模型風(fēng)險(xiǎn)控制與管理是金融機(jī)構(gòu)的核心能力,借助機(jī)器學(xué)習(xí)和大數(shù)據(jù)技術(shù),金融機(jī)構(gòu)可以從海量數(shù)據(jù)中及時(shí)甄別風(fēng)險(xiǎn),并及時(shí)處置。機(jī)器學(xué)習(xí)驅(qū)動(dòng)的欺詐檢測(cè)系統(tǒng)不只是遵循風(fēng)險(xiǎn)因素清單,還能夠?qū)W習(xí)和校準(zhǔn)新的潛在(或真實(shí)的)安全威脅。應(yīng)用機(jī)器學(xué)習(xí)技術(shù),系統(tǒng)可以檢測(cè)特殊或異常的行為,并為安全團(tuán)隊(duì)標(biāo)記他們。度和利率,從而識(shí)別和減少在金融交易中存在的交易風(fēng)險(xiǎn)。EDA,數(shù)據(jù)預(yù)處理,到變量篩選,模型的開發(fā)和評(píng)估,生成評(píng)分卡模型以及布置上線和模型監(jiān)測(cè)。SVMSVM(支持向量機(jī))的訓(xùn)練過(guò)建模具有優(yōu)勢(shì)。對(duì)于使用支持向量機(jī)建模,其在小樣本、非SVM邏輯回歸Logistic Regression在風(fēng)控的工業(yè)生產(chǎn)環(huán)Regression據(jù)預(yù)處理、篩選變量、構(gòu)建邏輯回歸模型,以及模型評(píng)價(jià)等六個(gè)步驟。深度學(xué)習(xí)模型(ML)領(lǐng)域的一個(gè)應(yīng)用更為強(qiáng)大的分支,深度學(xué)習(xí)(DL)最近也開始得到越來(lái)越多的關(guān)注,DLMLPCNN、LSTMDL深度學(xué)習(xí)屬于機(jī)器學(xué)習(xí)的范疇,是一種主要以深度神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)數(shù)據(jù)進(jìn)行高層次抽象的模型。深度學(xué)習(xí)在金融中用到的模型主要包括下面幾種:多層感知機(jī)深度多層感知機(jī)是首先提出的一種深度神經(jīng)網(wǎng)絡(luò)模型,深度多層感知機(jī)相比于淺層結(jié)構(gòu)具有更強(qiáng)的分類和回歸效果。對(duì)于深度多層感知機(jī)的訓(xùn)練通常通過(guò)基于梯度的算法,圖4-10多層感知機(jī)示意圖卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是圖像識(shí)別領(lǐng)域中常用的深度學(xué)習(xí)技術(shù),2D圖4-11卷積神經(jīng)網(wǎng)絡(luò)示意圖循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)訓(xùn)練方式,遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是通過(guò)BackpropagationThroughTime(BPTT)。通過(guò)RNNRNNRNN圖4-12循環(huán)神經(jīng)網(wǎng)絡(luò)示意圖長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)RNNLSTMLSTM單元結(jié)構(gòu)如下圖所示。圖4-13LSTM示意圖受限玻爾茲曼機(jī)(RBM)RBM(RBMRBM被用于降維、分類以及特征學(xué)習(xí)。從結(jié)構(gòu)上看,RBM(偏差通過(guò)激活函數(shù)傳遞計(jì)算值。RBM圖4-14RBM示意圖PregelPageRank,API,可以描述各種各樣的圖Pregel深度學(xué)習(xí)(DL)在金融領(lǐng)域中的應(yīng)用:算法交易如通過(guò)LSTMRNNDMLPCNN風(fēng)險(xiǎn)管理/欺詐檢測(cè)研究大多可以看作是進(jìn)行異常檢測(cè)或者看作是一個(gè)分類問(wèn)DLMLP、LSTM檢測(cè),通過(guò)AE客戶關(guān)系管理通過(guò)信息檢索和語(yǔ)義識(shí)別幫助金融機(jī)構(gòu)對(duì)客戶對(duì)數(shù)據(jù)進(jìn)行NLP深度學(xué)習(xí)在CRM手。精準(zhǔn)營(yíng)銷學(xué)習(xí)模型深入洞察客戶行為、客戶需求,客戶偏好,挖掘潛出在客戶,實(shí)現(xiàn)可持續(xù)的營(yíng)銷計(jì)劃。數(shù)據(jù)可視化信息可視化主要包括4類,分別是:層次數(shù)據(jù)可視化、網(wǎng)絡(luò)數(shù)據(jù)可視化、時(shí)空數(shù)據(jù)可視化、多維信息可視化。層次數(shù)據(jù)可視化在金融領(lǐng)域?qū)哟螖?shù)據(jù)可視化主要是指將金融數(shù)據(jù)按層次與扁平等方式進(jìn)行數(shù)據(jù)展示,主要的形式包括固定報(bào)表、嵌套報(bào)表、鉆取報(bào)表、樹形報(bào)表、大屏、報(bào)告等形式。目前常見的組件主要有UReport、Echarts等。UReportUReport是一款高性能報(bào)表引擎,通過(guò)配置單元格可以實(shí)現(xiàn)復(fù)雜報(bào)表的展示。UReport支持常見的報(bào)表存儲(chǔ)與數(shù)據(jù)源配置、支持計(jì)算模型、表達(dá)式、函數(shù)、條件屬性、參數(shù)、UReport計(jì)器,可以方便用戶在頁(yè)面中自助完成報(bào)表設(shè)計(jì)。圖4-15UReport報(bào)表設(shè)計(jì)模板EchartsEChartsJavaScriptEChartsTreeMap之間的混搭。圖4-16Echarts架構(gòu)圖Echarts通過(guò)增量渲染技術(shù),配合各種細(xì)致的優(yōu)化,ECharts能夠展現(xiàn)千萬(wàn)級(jí)的數(shù)據(jù)量,并且在這個(gè)數(shù)據(jù)量級(jí)依然能夠進(jìn)行流暢的縮放平移等交互。EChartsGLWebGL3DECharts3D網(wǎng)絡(luò)數(shù)據(jù)可視化網(wǎng)絡(luò)數(shù)據(jù)可視化方法按布局策略分為結(jié)點(diǎn)鏈接法、相鄰的組件主要有螞蟻金服的AntVAntVGraph基礎(chǔ)設(shè)施監(jiān)控、智慧醫(yī)療等領(lǐng)域。Graphin圖4-17AntV架構(gòu)圖Graphin圖4-18AntV配置的圖譜關(guān)系圖時(shí)空數(shù)據(jù)可視化時(shí)空數(shù)據(jù)可視化方法包括統(tǒng)計(jì)圖表法、圖形對(duì)比法、三維顯示法、動(dòng)畫方法等。在金融領(lǐng)域時(shí)空數(shù)據(jù)可視化主要應(yīng)用于總行、支行、網(wǎng)點(diǎn)位置信息的顯示、圈選分析、路徑檢查、關(guān)聯(lián)分析等場(chǎng)景。目前典型的組件主要有百度地圖等。百度地圖APIJavaScriptAPIWebAPIAndroidSDKiOSSDKSDKAPILBS/地理編碼、LBSPC圖4-19百度地圖接口模式多維信息可視化多維信息可視化一般包括數(shù)據(jù)解釋和數(shù)據(jù)顯示兩個(gè)階CBoardCBoardBICBoard20圖4-20CBoard多維分析效果數(shù)據(jù)安全技術(shù)數(shù)據(jù)存儲(chǔ)加密技術(shù)互聯(lián)網(wǎng)的高速發(fā)展企業(yè)的數(shù)據(jù)安全問(wèn)題越來(lái)越受到重視。一是企業(yè)本身需要對(duì)自己的關(guān)鍵數(shù)據(jù)進(jìn)行有效的保護(hù)二是企業(yè)從應(yīng)用服務(wù)提供商(Application Service處獲得應(yīng)用支持和服務(wù)因此企業(yè)的業(yè)務(wù)數(shù)據(jù)存放在ASP處其安全性無(wú)法得到有效的保障解決這些問(wèn)題的關(guān)鍵是要對(duì)數(shù)據(jù)本身加密即使數(shù)據(jù)不幸泄露或丟失,也難以被人破譯。(CustomerMasterKey,簡(jiǎn)稱CMK),第二層為數(shù)據(jù)密鑰(DataEncryptionKey,簡(jiǎn)稱DEK)CMKDEKDEK(通過(guò)KMSCMK(DEK一同寫入永久性存儲(chǔ)(Enveope)中。在讀取加密數(shù)據(jù)時(shí),數(shù)據(jù)密鑰的密文也會(huì)一同被讀取,常用數(shù)據(jù)庫(kù)加密技術(shù)的數(shù)據(jù)加密就抓住了信息安全的核心問(wèn)題。對(duì)數(shù)據(jù)庫(kù)中數(shù)據(jù)加密是為增強(qiáng)普通關(guān)系數(shù)據(jù)庫(kù)管理系以密文方式存儲(chǔ)并在密態(tài)方式下工作,確保了數(shù)據(jù)安全。數(shù)據(jù)庫(kù)加密技術(shù)的功能和特性經(jīng)過(guò)近幾年的研究,我國(guó)數(shù)據(jù)庫(kù)加密技術(shù)已經(jīng)比較成熟。一般而言,一個(gè)行之有效的數(shù)據(jù)庫(kù)加密技術(shù)主要有以下6個(gè)方面的功能和特性。身份認(rèn)證用戶除提供用戶名、口令外,還必須按照系統(tǒng)安全要求提供其他相關(guān)安全憑證,如使用終端密鑰。通信加密與完整性保護(hù)有關(guān)數(shù)據(jù)庫(kù)的訪問(wèn)在網(wǎng)絡(luò)傳輸中都被加密,通信一次一密的意義在于防重放、防篡改。數(shù)據(jù)庫(kù)數(shù)據(jù)存儲(chǔ)加密與完整性保護(hù)的非授權(quán)訪問(wèn)和修改。數(shù)據(jù)庫(kù)加密設(shè)置效率與安全性之間進(jìn)行自主選擇。多級(jí)密鑰管理模式鑰加密保護(hù),使用時(shí)受主密鑰保護(hù)。安全備份系統(tǒng)提供數(shù)據(jù)庫(kù)明文備份功能和密鑰備份功能。對(duì)數(shù)據(jù)庫(kù)加密系統(tǒng)基本要求字段加密。密鑰動(dòng)態(tài)管理。合理處理數(shù)據(jù)。不影響合法用戶的操作。防止非法拷貝。數(shù)據(jù)加密的算法的產(chǎn)生、傳輸、存儲(chǔ)等工作是十分重要的。數(shù)據(jù)加密的基本過(guò)程包括對(duì)明文(即可讀信息)進(jìn)行翻譯,譯成密文或密碼的代碼形式。該過(guò)程的逆過(guò)程為解密,即將該編碼信息轉(zhuǎn)化為其原來(lái)的形式的過(guò)程。DESDES(DataEncryptionStandard)是IBM1970197611美國(guó)政府采用,DESNationalStandardInstitute,ANSI)承DES算法把64位的明文輸入塊變?yōu)?4位的密文輸出塊,所使用的密鑰也是64位,DES算法中只用到64位密鑰中的其中56位。DES,DESDESDESDES56(EDI3112168殊要求時(shí)則要采用他。RSA就是發(fā)明者的名字:RonRivestAdiShamir和LeonardAdlemanRSA論上證明破譯RSARSANPCRSAAESAES而言,AES128DES561021AES10間才可能破譯。加密領(lǐng)域主要有國(guó)際算法和國(guó)密算法兩種體系。國(guó)密算法是國(guó)家密碼局認(rèn)定的國(guó)產(chǎn)密碼算法。國(guó)際算法是由美國(guó)國(guó)SM1、SM2、SM3、SM4。SM1128128IPIC(SM2ECC法基于ECCRSA256(SM2ECC2562048RSA鑰算法,其加密強(qiáng)度為256位。SM3消息摘要。作用類似MD5/SHA系列。該算法已公開。SM4對(duì)稱加密算法。主要用于軟件加密。數(shù)據(jù)脫敏、去標(biāo)識(shí)化技術(shù)數(shù)據(jù)脫敏定義數(shù)據(jù)脫敏是指從原始環(huán)境向目標(biāo)環(huán)境進(jìn)行敏感數(shù)據(jù)交換時(shí),通過(guò)一定的方法消除原始環(huán)境中數(shù)據(jù)的敏感性,并保留目標(biāo)環(huán)境業(yè)務(wù)所需的數(shù)據(jù)特性或內(nèi)容的數(shù)據(jù)處理過(guò)程,常用的數(shù)據(jù)脫敏方法技術(shù)見下表。例如在《中華人民共和國(guó)個(gè)人信息保護(hù)法》中,對(duì)個(gè)人信息的安全處理措施包含加密和去標(biāo)識(shí)化兩種。加密是指對(duì)數(shù)據(jù)進(jìn)行密碼變換以產(chǎn)(GB/T去標(biāo)識(shí)化是指建立在(假名(哈希函數(shù)(GB/T表4-8數(shù)據(jù)脫敏方法對(duì)照表序號(hào)脫敏方法脫敏技術(shù)描述舉例說(shuō)明客戶產(chǎn)生的業(yè)務(wù)費(fèi)用按照金額多少分為高、1規(guī)整將數(shù)據(jù)按照大小規(guī)整到預(yù)定義的多個(gè)檔位中、低三個(gè)級(jí)別如:0-10萬(wàn)、10-30萬(wàn)、30萬(wàn)及以上→低、中、高2泛化偏移取整數(shù)據(jù)或者日期進(jìn)行向上或者向下取整10向下取整如:2020032218:08:19→2020032218:08:10保留收集號(hào)碼前七位,3截?cái)鄬?shù)據(jù)尾部截?cái)?,只保留前半部分截?cái)嗍S嗖糠秩?350001掩蓋手機(jī)號(hào)碼的第四位4抑制掩碼屏蔽保持?jǐn)?shù)據(jù)長(zhǎng)度不變,但只保留數(shù)據(jù)信息到第七位如135****0001將原始數(shù)據(jù)按照特定的規(guī)大數(shù)據(jù)集合且需要保留則重新排列,對(duì)于跨行數(shù)待脫敏數(shù)據(jù)特定特征場(chǎng)5重排據(jù),采用隨機(jī)互換來(lái)打破景下,對(duì)數(shù)據(jù)進(jìn)行重排其與本行其他數(shù)據(jù)的關(guān)聯(lián)如:22,31,27→31,關(guān)系,從而實(shí)現(xiàn)脫敏27,22對(duì)脫敏數(shù)據(jù)進(jìn)行對(duì)稱加密常用對(duì)稱加密算法,如DES、3DES、AES等常用非對(duì)稱加密算法,如RSA、DSA等如:123456→U2FsdGVkX19yci4oGpXvMfQJmzBfe9jV擾亂算法、非對(duì)稱加密算法等加密算法處理,使外部用6加密戶只能看到無(wú)意義的加密后數(shù)據(jù),同時(shí)在特定場(chǎng)景下,可提供解密能力,使具有密鑰的相關(guān)方可獲得原始數(shù)據(jù)序號(hào)脫敏方法脫敏技術(shù)描述舉例說(shuō)明7替換F,對(duì)內(nèi)部人員可完全保持信息完整性,但易破數(shù)化替換敏感數(shù)據(jù)都替換為唯一的常數(shù)值;從中間表中隨機(jī)或按照特定算法選擇數(shù)據(jù)進(jìn)行替代;以敏感數(shù)據(jù)作為輸入,通過(guò)特定函數(shù)形成新的替換數(shù)據(jù);如:女→F8散列對(duì)原始數(shù)據(jù)取散列值,使用散列值來(lái)代替原始數(shù)據(jù)常用hash算法,如SHA-256、HMAC等如:123456→ebe56e057f20f88310adc3949ba59abe9重寫參考原數(shù)據(jù)的特征,重新生成數(shù)據(jù)。重寫與整體替換較為類似,但替換后的數(shù)據(jù)與原始數(shù)據(jù)通常存在特定規(guī)則的映射關(guān)系,而重寫生成的數(shù)據(jù)與原始數(shù)據(jù)則一般不具有映射關(guān)系對(duì)員工工資,可使用在一定范圍內(nèi)隨機(jī)生成的方式重新構(gòu)造數(shù)據(jù);對(duì)手機(jī)號(hào)碼,可在一定范圍內(nèi)按照規(guī)則隨機(jī)生成構(gòu)造數(shù)據(jù)10固定偏移n征根據(jù)數(shù)據(jù)值的業(yè)務(wù)場(chǎng)1量;如:253→125311局部混淆n混淆其余部分保持座機(jī)號(hào)碼區(qū)號(hào)不變的情況下,對(duì)其余部分進(jìn)行混淆如:0571-123456化針對(duì)數(shù)值性的敏感數(shù)據(jù),在保證脫敏后數(shù)據(jù)集總值或平均值與原數(shù)據(jù)集相同的情況下,改變數(shù)值的原始值保持余額的總額不變的情況下,對(duì)數(shù)據(jù)進(jìn)行脫敏13有損限制行數(shù)僅返回可用數(shù)據(jù)集合中一定行數(shù)的數(shù)據(jù)后臺(tái)系統(tǒng)不具備開放式查詢能力,嚴(yán)格限制批量查詢14限制列數(shù)僅返回可用數(shù)據(jù)集合中一定列數(shù)的數(shù)據(jù)查詢?nèi)藛T基本信息時(shí),不返回如余額、消費(fèi)記錄等敏感列數(shù)據(jù)脫敏基本原則數(shù)據(jù)脫敏要盡可能平衡數(shù)據(jù)脫敏花費(fèi)的代價(jià)、使用方的業(yè)務(wù)需求等多個(gè)因素。所以,為了確保數(shù)據(jù)脫敏的過(guò)程及代價(jià)可控,得到滿足業(yè)務(wù)需要的結(jié)果,在實(shí)施數(shù)據(jù)脫敏時(shí),遵循以下原則:經(jīng)脫敏處理后,原始信息中包含的敏感信息已被消除,無(wú)法通過(guò)處理后的數(shù)據(jù)得到敏感信息,防止使用非敏感數(shù)據(jù)進(jìn)行推斷、重建、還原敏感原始數(shù)據(jù)。計(jì)算機(jī)程序?qū)崿F(xiàn)脫敏自動(dòng)化,并可重復(fù)執(zhí)行,在不影響有效性的前提下,平衡脫敏的力度和代價(jià),將數(shù)據(jù)脫敏工作控制在一定的時(shí)間和經(jīng)濟(jì)成本內(nèi)。數(shù)的情況下,脫敏后的數(shù)據(jù)具有一致性,隨機(jī)類的算法除外。數(shù)據(jù)表中某字段與另外字段有對(duì)應(yīng)關(guān)系,如果脫敏算法破壞了這種關(guān)系,該字段的使用價(jià)值將不復(fù)存在,通常在進(jìn)行數(shù)據(jù)統(tǒng)計(jì)需要參考量的情況下,數(shù)據(jù)的關(guān)聯(lián)性較高。不同場(chǎng)景下的安全需求不同,數(shù)據(jù)脫敏的處理方式和處理字段也不盡相同,因此需通過(guò)配置的方式,按照輸入條件不同,生成不同的脫敏結(jié)果,從而可按數(shù)據(jù)使用場(chǎng)景等因素為不同的需求提供不同的脫敏數(shù)據(jù)。數(shù)據(jù)脫敏實(shí)施方式根據(jù)業(yè)界最佳實(shí)踐,數(shù)據(jù)脫敏技術(shù)在實(shí)施方面主要通過(guò)兩種方式實(shí)現(xiàn),即靜態(tài)數(shù)據(jù)脫敏和動(dòng)態(tài)數(shù)據(jù)脫敏。這兩種數(shù)據(jù)脫敏方式在功能和價(jià)值上區(qū)別不大,但兩者在使用場(chǎng)景、技術(shù)路線和部署方式等方面有著顯著的區(qū)別。靜態(tài)數(shù)據(jù)脫敏(StaticDataMasking)靜態(tài)數(shù)據(jù)脫敏(下文簡(jiǎn)稱靜態(tài)脫敏)是提前將生產(chǎn)數(shù)據(jù)變形后再提供給非生產(chǎn)環(huán)境使用的操作,從而可以阻止據(jù)的非正當(dāng)使用。靜態(tài)脫敏通常是使用脫敏工具,提前在生產(chǎn)環(huán)境進(jìn)行完整數(shù)據(jù)集的抽取和一次性整體數(shù)據(jù)變形處理,脫敏后的數(shù)據(jù)是以脫敏后的形式存儲(chǔ)于外部存貯介質(zhì)中,實(shí)際上已經(jīng)改變了存儲(chǔ)的數(shù)據(jù)內(nèi)容。動(dòng)態(tài)數(shù)據(jù)脫敏(DynamicDataMasking)動(dòng)態(tài)數(shù)據(jù)脫敏(下文簡(jiǎn)稱動(dòng)態(tài)脫敏)是作用于生產(chǎn)數(shù)據(jù)的實(shí)時(shí)脫敏。動(dòng)態(tài)脫敏工具針對(duì)數(shù)據(jù)庫(kù)訪問(wèn)請(qǐng)求或請(qǐng)求結(jié)果進(jìn)行監(jiān)控和干預(yù),分析用戶權(quán)限,并運(yùn)用脫敏規(guī)則對(duì)訪問(wèn)請(qǐng)求或請(qǐng)求結(jié)果進(jìn)行改寫。動(dòng)態(tài)脫敏常用于業(yè)務(wù)操作、運(yùn)維管理、監(jiān)管報(bào)送等場(chǎng)景,其主要功效在于一是避免生產(chǎn)環(huán)境中暴露敏感數(shù)據(jù);二是實(shí)現(xiàn)快速響應(yīng)。經(jīng)過(guò)動(dòng)態(tài)脫敏后,實(shí)際存儲(chǔ)于生產(chǎn)庫(kù)的數(shù)據(jù)未發(fā)生任何變化。靜態(tài)脫敏與動(dòng)態(tài)脫敏的區(qū)別綜上所述,靜態(tài)脫敏與動(dòng)態(tài)脫敏在典型使用場(chǎng)景、技術(shù)路線、部署方式等方面的區(qū)別如下表所示:表4-9數(shù)據(jù)靜態(tài)脫敏和動(dòng)態(tài)脫敏對(duì)照表靜態(tài)脫敏動(dòng)態(tài)脫敏技術(shù)路線進(jìn)行完整數(shù)據(jù)集的抽取和一次性整體數(shù)據(jù)變形處理針對(duì)數(shù)據(jù)訪問(wèn)請(qǐng)求或請(qǐng)求結(jié)果進(jìn)行監(jiān)控和干預(yù),分析用戶權(quán)限,并運(yùn)用脫敏規(guī)則對(duì)訪問(wèn)請(qǐng)求或請(qǐng)求結(jié)果進(jìn)行改寫技術(shù)成熟度相對(duì)成熟,有較多產(chǎn)品支持初步發(fā)展階段,成熟產(chǎn)品較少典型使用場(chǎng)景生產(chǎn)數(shù)據(jù)在研發(fā)、測(cè)試等環(huán)境中的保護(hù)生產(chǎn)敏感數(shù)據(jù)在頁(yè)面展示方面的保護(hù)部署方式生產(chǎn)環(huán)境部署脫敏設(shè)備,在生產(chǎn)環(huán)境完成脫敏后,導(dǎo)入研發(fā)、測(cè)試環(huán)境。在生產(chǎn)應(yīng)用服務(wù)器和數(shù)據(jù)庫(kù)之間以代理模式部署脫敏設(shè)備,以及在應(yīng)用服務(wù)器部署插件。數(shù)據(jù)內(nèi)容產(chǎn)生一個(gè)脫敏的數(shù)據(jù)副本,副本數(shù)據(jù)已改變僅對(duì)展示數(shù)據(jù)進(jìn)行脫敏,不產(chǎn)生副本,原始數(shù)據(jù)本身未改變數(shù)據(jù)脫敏應(yīng)用場(chǎng)景4-10。表4-10數(shù)據(jù)脫敏應(yīng)用場(chǎng)景序號(hào)場(chǎng)景分類脫敏場(chǎng)景場(chǎng)景描述動(dòng)態(tài)脫敏靜態(tài)過(guò)敏1技術(shù)場(chǎng)景開發(fā)測(cè)試應(yīng)用場(chǎng)景金融行業(yè)開發(fā)使用的業(yè)務(wù)系統(tǒng)中存在大量的客戶敏感信息,如姓名、年齡、手機(jī)號(hào)碼、銀行卡號(hào)碼、地址、工作信息等,在系統(tǒng)建設(shè)前期,往往需要使用上述信息進(jìn)行開發(fā)測(cè)試,此時(shí)需要使用脫敏技術(shù)來(lái)保證客戶敏感信息不被泄露?!?數(shù)據(jù)分享應(yīng)用場(chǎng)景數(shù)據(jù)分享應(yīng)用場(chǎng)景在一些特定需求下,部分隱私數(shù)據(jù)需要提供給其他機(jī)構(gòu)或企業(yè),但對(duì)其他隱私數(shù)據(jù)可進(jìn)行抑制、擾亂等操作?!?數(shù)據(jù)科學(xué)研究應(yīng)用場(chǎng)景數(shù)據(jù)科學(xué)研究應(yīng)用場(chǎng)景,其主要目的是通過(guò)數(shù)據(jù)進(jìn)行研究,因此需要保留數(shù)據(jù)本身的一些特征。研究時(shí)需要保留的數(shù)據(jù)特征可能是用戶的年齡信息、性別信息、地區(qū)信息、行為記錄等。但不需要保證保留用戶身份信息和全部的敏感字段,只需要保留研究所必需的內(nèi)容即可?!?生產(chǎn)應(yīng)用場(chǎng)景下往往采用掩碼屏蔽的方式對(duì)數(shù)據(jù)進(jìn)行脫敏。√5數(shù)據(jù)交換應(yīng)用場(chǎng)景API會(huì)附帶用戶信息,需要對(duì)部分用戶信息進(jìn)行脫敏?!?運(yùn)維應(yīng)用場(chǎng)景采取脫敏的措施。√7業(yè)務(wù)場(chǎng)景精準(zhǔn)營(yíng)銷融合金融業(yè)務(wù)數(shù)據(jù)和外部可信數(shù)據(jù),借助大數(shù)據(jù)技術(shù)構(gòu)建金融個(gè)人客戶畫像(人口統(tǒng)計(jì)學(xué)特征、消費(fèi)能力數(shù)據(jù)、興趣數(shù)據(jù)、風(fēng)險(xiǎn)偏好等)和企業(yè)客戶畫像(企業(yè)的生產(chǎn)、流通、運(yùn)營(yíng)、財(cái)務(wù)、銷售和客戶數(shù)據(jù)、相關(guān)產(chǎn)業(yè)鏈上下游等數(shù)據(jù)),并有效地開展精準(zhǔn)營(yíng)銷,包括根據(jù)客戶的實(shí)時(shí)狀態(tài)來(lái)進(jìn)行營(yíng)銷;不同業(yè)務(wù)或產(chǎn)品的交叉推薦;根據(jù)客戶的喜歡進(jìn)行服務(wù)或者產(chǎn)品進(jìn)行個(gè)性化推薦等。這類大數(shù)據(jù)應(yīng)用前臺(tái)一般采用掩碼屏蔽的方式對(duì)數(shù)據(jù)進(jìn)行脫敏,后臺(tái)一般采用干擾等方式對(duì)數(shù)據(jù)進(jìn)行脫敏?!獭绦蛱?hào)場(chǎng)景分類脫敏場(chǎng)景場(chǎng)景描述動(dòng)態(tài)脫敏靜態(tài)過(guò)敏借助大數(shù)據(jù)手段,保險(xiǎn)企業(yè)可結(jié)合內(nèi)部、第三方和社交媒體數(shù)據(jù)進(jìn)行早期異常值檢測(cè),包括了客戶的健康狀況、財(cái)產(chǎn)狀況、理賠記錄等,通過(guò)建8騙保識(shí)別√√這類大數(shù)據(jù)應(yīng)用前臺(tái)一般采用掩碼屏蔽的方式對(duì)數(shù)據(jù)進(jìn)行脫敏,后臺(tái)一般采用干擾等方式對(duì)數(shù)據(jù)進(jìn)行脫敏。基于企業(yè)內(nèi)外部交易和歷史數(shù)據(jù),利用客戶基本信息、賬號(hào)基本信息、交易歷史、客戶歷史行為實(shí)時(shí)或準(zhǔn)實(shí)時(shí)預(yù)測(cè)和分析欺詐等非法行為,主要9風(fēng)控管理√√用分析模型、風(fēng)險(xiǎn)客戶預(yù)警模型、貸后實(shí)時(shí)監(jiān)控模型、反欺詐模型等。這類大數(shù)據(jù)應(yīng)用前臺(tái)一般采用掩碼屏蔽的方式對(duì)數(shù)據(jù)進(jìn)行脫敏,后臺(tái)一般采用干擾等方式對(duì)數(shù)據(jù)進(jìn)行脫敏。基于客戶的風(fēng)險(xiǎn)偏好、海量個(gè)人投資者真實(shí)投資交易信息的深入挖掘分析、交易行為分析,依靠大數(shù)據(jù)量化模型,洞悉交易個(gè)人投資者交易行為10智能投顧√√大數(shù)據(jù)應(yīng)用前臺(tái)一般采用掩碼屏蔽的方式對(duì)數(shù)據(jù)進(jìn)行脫敏,后臺(tái)一般采用干擾等方式對(duì)數(shù)據(jù)進(jìn)行脫敏。聯(lián)邦學(xué)習(xí)、隱私計(jì)算相關(guān)技術(shù)隱私增強(qiáng)計(jì)算技術(shù)(Privacy-Enhancing的前提下,完成對(duì)數(shù)據(jù)的計(jì)算分析任務(wù)。面向金融行業(yè)敏感數(shù)據(jù)有使用需求而又不能明文出域的情況,隱私計(jì)算保障數(shù)據(jù)的隱私性,并使得數(shù)據(jù)參與了計(jì)算但是所有的參與果。隱私增強(qiáng)計(jì)算主流技術(shù)多方安全計(jì)算多方安全計(jì)算(Multi-PartySecureComputation,MPC)1982數(shù)據(jù)安全地進(jìn)行計(jì)算,而各自又不會(huì)得到對(duì)方的信息。多方安全計(jì)算包含多種底層密碼學(xué)技術(shù),包括不經(jīng)意傳輸(Oblivious(Garbled同態(tài)加密(HomomorphicEncryption)等。多方安全計(jì)算的定義可以通過(guò)下圖描述:圖4-21多方安全計(jì)算示意圖可信執(zhí)行環(huán)境(TrustdeectinenvrometTEEIntelSGX、ARMTrustZone聯(lián)邦學(xué)習(xí)聯(lián)邦學(xué)習(xí)(FederatedLearning,F(xiàn)L),是機(jī)器學(xué)習(xí)的一種延伸,使用分布式的方式讓模型在不同數(shù)據(jù)源進(jìn)行訓(xùn)練,實(shí)現(xiàn)共同建模,而數(shù)據(jù)又不會(huì)離開其生產(chǎn)環(huán)境。Google2016一個(gè)全局模型,然后分發(fā)給終端設(shè)備使用。在實(shí)踐中,聯(lián)邦學(xué)習(xí)通常與其他隱私計(jì)算技術(shù)相結(jié)合,中間參數(shù)對(duì)其他方數(shù)據(jù)原始信息進(jìn)行推斷,從而保護(hù)各參與方的數(shù)據(jù)隱私。在金融應(yīng)用中,聯(lián)邦學(xué)習(xí)被認(rèn)為是打破行業(yè)數(shù)據(jù)孤島的有效工具,賦能金融機(jī)構(gòu)間、金融機(jī)構(gòu)與其他行業(yè)機(jī)構(gòu)以安全合規(guī)的方式進(jìn)行數(shù)據(jù)共享與數(shù)據(jù)價(jià)值挖掘,實(shí)現(xiàn)數(shù)據(jù)的可用不可見。具體到金融場(chǎng)景,聯(lián)邦學(xué)習(xí)可應(yīng)用于智能風(fēng)控、智能投顧、精準(zhǔn)營(yíng)銷、企業(yè)信審、金融反欺詐、反洗錢等,解決多個(gè)參與方數(shù)據(jù)進(jìn)行建?;顒?dòng)的隱私保護(hù)和數(shù)據(jù)安全問(wèn)題。其他相關(guān)技術(shù)集合術(shù)(PrivateSetIntersection,PSI),實(shí)現(xiàn)高效加密的不(ObliviousDiffie-Hellman第五章風(fēng)險(xiǎn)挑戰(zhàn)與應(yīng)對(duì)頂層設(shè)計(jì)和政策風(fēng)險(xiǎn)挑戰(zhàn)此后國(guó)家相關(guān)部門出臺(tái)了一系列政策鼓勵(lì)支持大數(shù)據(jù)產(chǎn)業(yè)2019央關(guān)于堅(jiān)持和完善中國(guó)特色社會(huì)主義制度推進(jìn)國(guó)家治理體系和治理能力現(xiàn)代化若干重大問(wèn)題的決定》(首先,在數(shù)據(jù)統(tǒng)籌方面,我國(guó)數(shù)據(jù)資源開放共享剛剛起立法規(guī)定。447608GDP應(yīng)對(duì)措施建議我國(guó)加強(qiáng)數(shù)據(jù)應(yīng)用方面的頂層設(shè)計(jì)和政策扶持力度。首先,需要加強(qiáng)數(shù)據(jù)資源開放共享方面的頂層設(shè)計(jì)和統(tǒng)籌管理,構(gòu)建超大規(guī)模數(shù)據(jù)市場(chǎng)所必須匹配得更加專業(yè)、更加精細(xì)的統(tǒng)籌決策和落地執(zhí)行細(xì)則。段。最后,建議加強(qiáng)在數(shù)據(jù)安全保障方面的政策扶持力度,法律法規(guī)與標(biāo)準(zhǔn)風(fēng)險(xiǎn)挑戰(zhàn)法律法規(guī)和行業(yè)標(biāo)準(zhǔn)尚待完善。6等內(nèi)容的具體實(shí)施工作仍有待落實(shí)。5G等重點(diǎn)領(lǐng)域高質(zhì)量發(fā)展的支撐作用有待加強(qiáng)。法律不健全,尚未形成安全、有效的數(shù)據(jù)共享機(jī)制。應(yīng)對(duì)措施加強(qiáng)數(shù)據(jù)要素的確權(quán)、立法工作,引導(dǎo)數(shù)據(jù)要素安全、有序地互聯(lián)互通將會(huì)成為數(shù)據(jù)要素市場(chǎng)化發(fā)展的下一步工作重點(diǎn)方向。升數(shù)據(jù)的開發(fā)利用效率?;臄?shù)據(jù)安全治理架構(gòu),形成贏得客戶、監(jiān)管和社會(huì)信賴的基礎(chǔ)。業(yè)、技、數(shù)的融合風(fēng)險(xiǎn)挑戰(zhàn)風(fēng)險(xiǎn)控制等環(huán)節(jié),也需要對(duì)其收集到的信息進(jìn)行技術(shù)處理。經(jīng)是大勢(shì)所趨,在當(dāng)前產(chǎn)業(yè)都在積極探索數(shù)字化轉(zhuǎn)型戰(zhàn)略,需要利用數(shù)字技術(shù)對(duì)自身的經(jīng)營(yíng)活動(dòng)進(jìn)行轉(zhuǎn)型升級(jí)。深度融合的趨勢(shì)。在技術(shù)影響業(yè)務(wù)方面,大數(shù)據(jù)技術(shù)從Oraclehadoop聯(lián)網(wǎng)征信、大數(shù)據(jù)風(fēng)控等業(yè)務(wù)場(chǎng)景;在業(yè)務(wù)影響技術(shù)方面,業(yè)務(wù)應(yīng)用場(chǎng)景也將成為驅(qū)動(dòng)技術(shù)發(fā)展的新動(dòng)力,比如由數(shù)據(jù)孤島現(xiàn)象所引發(fā)的數(shù)據(jù)共享困難問(wèn)題,其所涉及的用戶隱私泄露等業(yè)務(wù)痛點(diǎn),促使聯(lián)邦學(xué)習(xí)等技術(shù)的出現(xiàn)。應(yīng)對(duì)措施和數(shù)據(jù)的融合。業(yè)務(wù)和技術(shù)中,充分應(yīng)用好數(shù)據(jù),充分發(fā)揮數(shù)據(jù)的價(jià)值。其次,通過(guò)技術(shù)搭建場(chǎng)景的方式吸引客戶從而被動(dòng)收獲數(shù)據(jù),相比于單一的基于場(chǎng)景主動(dòng)獲取數(shù)據(jù),其效果更好,成本更低,可持續(xù)性更強(qiáng)。因此,既需要從業(yè)務(wù)場(chǎng)景中提煉數(shù)據(jù),也需要將數(shù)據(jù)反饋應(yīng)用到業(yè)務(wù)場(chǎng)景,實(shí)現(xiàn)數(shù)據(jù)在業(yè)務(wù)場(chǎng)景中的增值。數(shù)據(jù)資產(chǎn)管理風(fēng)險(xiǎn)挑戰(zhàn)差不齊、應(yīng)用水平較低等問(wèn)題。當(dāng)前金融業(yè)仍然存在整體數(shù)據(jù)質(zhì)量不高現(xiàn)象,造成數(shù)據(jù)失數(shù)據(jù)等臟數(shù)據(jù),無(wú)法確保數(shù)據(jù)的完整性和準(zhǔn)確性。方面,還需要進(jìn)一步提高。應(yīng)對(duì)措施建議金融機(jī)構(gòu)和金融科技企業(yè)進(jìn)一步加強(qiáng)和提升對(duì)數(shù)據(jù)資產(chǎn)的管理水平。資產(chǎn)的應(yīng)用水平。其次,建立科學(xué)、統(tǒng)一的數(shù)據(jù)管控治理體系,形成數(shù)據(jù)管理和質(zhì)量控制方面的基礎(chǔ)規(guī)范、制度流程與技術(shù)方案。最后,需要形成數(shù)據(jù)資產(chǎn)管理的管控工具,通過(guò)管控工具,促進(jìn)數(shù)據(jù)規(guī)范體系的落實(shí),實(shí)現(xiàn)有效數(shù)據(jù)治理。數(shù)據(jù)安全與合規(guī)風(fēng)險(xiǎn)挑戰(zhàn)數(shù)據(jù)在不斷創(chuàng)造價(jià)值的同時(shí),其安全保護(hù)、合規(guī)應(yīng)用等問(wèn)題也成為政、產(chǎn)、學(xué)、研、用等各界關(guān)注的焦點(diǎn)。一是數(shù)據(jù)發(fā)揮價(jià)值需要融合應(yīng)用。數(shù)據(jù)跨層級(jí)、跨地域、跨系統(tǒng)、跨部門、跨業(yè)務(wù)的融合應(yīng)用才能推動(dòng)新模式、新應(yīng)用、新業(yè)態(tài)的不斷涌現(xiàn),加速數(shù)字經(jīng)濟(jì)創(chuàng)新發(fā)展。二是數(shù)據(jù)可復(fù)制、可傳輸?shù)忍匦云诖嘣獎(jiǎng)?chuàng)新的安全合規(guī)手段。數(shù)據(jù)的應(yīng)用會(huì)涉及政府、社會(huì)、企業(yè)、個(gè)人等多方主體權(quán)益,關(guān)系到國(guó)家安全、經(jīng)濟(jì)運(yùn)行、社會(huì)治理、個(gè)人權(quán)益等多主體,需要?jiǎng)?chuàng)新安全管理模式。三是數(shù)據(jù)的價(jià)值發(fā)揮和安全合規(guī)需要尋求動(dòng)態(tài)平衡點(diǎn)。數(shù)據(jù)治理體系搭建需要兼顧發(fā)展和安全的平衡,既要保護(hù)數(shù)據(jù)主體的權(quán)益,也要實(shí)現(xiàn)公共利益和社會(huì)福利的最大化。數(shù)據(jù)安全和合規(guī)仍是多方主體數(shù)據(jù)協(xié)作過(guò)程中的痛點(diǎn)問(wèn)題。一方面缺乏能夠兼顧安全合規(guī)和數(shù)據(jù)協(xié)作的合作機(jī)制與技術(shù)路徑,無(wú)法消除數(shù)據(jù)主體之間對(duì)商業(yè)秘密泄露風(fēng)險(xiǎn)、商業(yè)利益分配等方面的信任鴻溝,傳統(tǒng)的數(shù)據(jù)保護(hù)方案往往應(yīng)對(duì)措施進(jìn)金融結(jié)構(gòu)的數(shù)字轉(zhuǎn)型升級(jí),實(shí)現(xiàn)自驅(qū)動(dòng)。需要遵循循序漸漸的原則,充分了解金融行業(yè)的合規(guī)要求,的數(shù)據(jù)協(xié)作與融合應(yīng)用,促進(jìn)金融行業(yè)數(shù)據(jù)價(jià)值的最大化。130130第六章發(fā)展展望與保障體系市場(chǎng)主體發(fā)展多元化為市場(chǎng)做出相應(yīng)貢獻(xiàn),進(jìn)一步促進(jìn)數(shù)據(jù)市場(chǎng)發(fā)展。須由國(guó)家進(jìn)行監(jiān)管,政府在數(shù)據(jù)領(lǐng)域的監(jiān)管不可缺位,如:在疫情防控當(dāng)中通過(guò)三大運(yùn)營(yíng)商信號(hào)形成的行程軌跡信息,是涉及個(gè)人隱私甚至有可能是國(guó)家安全的重要數(shù)據(jù),只能由B2CC2CPAGEPAGE131(用戶臺(tái)服務(wù)使用者”的多重身份加入其中。B2C技術(shù)的平臺(tái)可以以近于零的邊際成本與眾多開發(fā)者/服務(wù)提C2C(Data通過(guò)算(用戶機(jī)構(gòu)將為數(shù)據(jù)要素市場(chǎng)良性運(yùn)轉(zhuǎn)提供保障。大數(shù)據(jù)交易所、場(chǎng)所等將培育更多合格的市場(chǎng)主體,豐富大數(shù)據(jù)供給側(cè)企業(yè)規(guī)模,實(shí)現(xiàn)數(shù)據(jù)要素市場(chǎng)多元化發(fā)展。數(shù)據(jù)應(yīng)用新業(yè)態(tài)數(shù)據(jù)應(yīng)用向著新業(yè)態(tài)、新模式發(fā)展。主要體現(xiàn)在多元場(chǎng)景、無(wú)感連接以及數(shù)據(jù)共享共建。多元場(chǎng)景360金融風(fēng)險(xiǎn)的控制管理。未來(lái)銀行是智能化、個(gè)性化、有溫度且無(wú)處不在的,永APP深化優(yōu)質(zhì)服務(wù),助力客戶追尋美好生活。無(wú)感連接例如,針對(duì)教育信息化的轉(zhuǎn)型升級(jí),中國(guó)銀行與騰訊微校就高校市場(chǎng)達(dá)成深度合作協(xié)議,將構(gòu)建銀行、企業(yè)和高校師生多方共贏的生態(tài)格局,為高等教育的信息化進(jìn)程樹立新的標(biāo)桿。雙方將會(huì)同各地高校,以智能化為引領(lǐng),以數(shù)字化為驅(qū)動(dòng),率先在校園建立起一碼通行校園,一卡連接未來(lái)的校園服務(wù)新體驗(yàn),在移動(dòng)教學(xué)、智慧辦公、便捷生活、金融服務(wù)、安全管理等領(lǐng)域持續(xù)探索創(chuàng)新,推動(dòng)數(shù)字校園建設(shè),助力教育現(xiàn)代化進(jìn)程。共建共享通過(guò)聯(lián)合學(xué)習(xí)技術(shù)使得大數(shù)據(jù)技術(shù)實(shí)現(xiàn)金融數(shù)據(jù)應(yīng)用上的無(wú)感連接成為可能。其中許多用戶在中央服務(wù)器的協(xié)調(diào)下實(shí)現(xiàn)數(shù)據(jù)的共建共享,同時(shí)保持?jǐn)?shù)據(jù)的去中心化及分散性。聯(lián)合學(xué)習(xí)在不暴露數(shù)據(jù)的情況下分析和學(xué)習(xí)多個(gè)數(shù)據(jù)擁有推動(dòng)金融科技發(fā)展進(jìn)入新階段。例如,“共建共享”的流通理念及雙層運(yùn)營(yíng)機(jī)制推動(dòng)數(shù)妥推進(jìn)提供持續(xù)的技術(shù)支撐和創(chuàng)新活力。數(shù)據(jù)應(yīng)用保障體系等措施來(lái)完善體系建設(shè),后提出數(shù)據(jù)應(yīng)用新業(yè)態(tài)對(duì)數(shù)據(jù)應(yīng)用保障體系的新要求。組織保障組織建設(shè)包括組織架構(gòu)、崗位設(shè)置、團(tuán)隊(duì)建設(shè)、數(shù)據(jù)責(zé)任等內(nèi)容,是各項(xiàng)數(shù)據(jù)管理職能工作開展的基礎(chǔ)。根據(jù)《銀行業(yè)金融機(jī)構(gòu)數(shù)據(jù)治理指引》,組織架構(gòu)需要明確董事會(huì)、監(jiān)事會(huì)、高級(jí)管理層和相關(guān)部門的職責(zé)分工,建立多層次、相互銜接的運(yùn)行機(jī)制設(shè)。表6-1金融業(yè)數(shù)據(jù)治理組織架構(gòu)組織架構(gòu)數(shù)據(jù)責(zé)任團(tuán)隊(duì)崗位董事會(huì)制定數(shù)據(jù)戰(zhàn)略,審批與數(shù)據(jù)治理相關(guān)的重大事?lián)卫沓袚?dān)最終責(zé)任監(jiān)事會(huì)負(fù)責(zé)對(duì)董事會(huì)和高級(jí)管理層在數(shù)據(jù)治理方面的履職盡責(zé)情況進(jìn)行監(jiān)督評(píng)價(jià)高級(jí)管理層組織評(píng)估數(shù)據(jù)治理的有效性和執(zhí)行情況根據(jù)實(shí)際情況設(shè)
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 二零二五版綠色包裝材料研發(fā)及推廣合同2篇
- 2025年度石料廠產(chǎn)品質(zhì)量安全承包管理合同范本2篇
- 二零二五年度城市綜合體建筑設(shè)計(jì)合同3篇
- 2025年度高新技術(shù)企業(yè)知識(shí)產(chǎn)權(quán)質(zhì)押擔(dān)保合同范本3篇
- 二零二五版農(nóng)村小微企業(yè)發(fā)展借款合同解析論文3篇
- 二零二五年生物制藥工藝技術(shù)聘用合同2篇
- 二零二五版股權(quán)代持協(xié)議簽訂前的合同談判注意事項(xiàng)3篇
- 二零二五年度建筑工程安全施工環(huán)境保護(hù)監(jiān)理合同3篇
- 二零二五版購(gòu)房合同違約責(zé)任條款解析3篇
- 2025年度緊急物資承攬運(yùn)輸合同3篇
- 停車場(chǎng)施工施工組織設(shè)計(jì)方案
- GB/T 37238-2018篡改(污損)文件鑒定技術(shù)規(guī)范
- 普通高中地理課程標(biāo)準(zhǔn)簡(jiǎn)介(湘教版)
- 河道治理工程監(jiān)理通知單、回復(fù)單范本
- 超分子化學(xué)簡(jiǎn)介課件
- 高二下學(xué)期英語(yǔ)閱讀提升練習(xí)(一)
- 易制爆化學(xué)品合法用途說(shuō)明
- 【PPT】壓力性損傷預(yù)防敷料選擇和剪裁技巧
- 大氣喜慶迎新元旦晚會(huì)PPT背景
- DB13(J)∕T 242-2019 鋼絲網(wǎng)架復(fù)合保溫板應(yīng)用技術(shù)規(guī)程
- 心電圖中的pan-tompkins算法介紹
評(píng)論
0/150
提交評(píng)論