【構(gòu)建企業(yè)級好數(shù)據(jù)】Dataphin智能數(shù)據(jù)建設(shè)與治理產(chǎn)品白皮書

里矢ALIBABACLOUDINTELLIGENCEGROUP羊好數(shù)據(jù)數(shù)據(jù)建設(shè)、治理、消費一體化平臺用中臺方法論打造企業(yè)級好數(shù)據(jù)關(guān)注「領(lǐng)羊企業(yè)微信s咨詢領(lǐng)羊產(chǎn)品釘釘掃碼加入關(guān)注「領(lǐng)羊企業(yè)微信s咨詢領(lǐng)羊產(chǎn)品仰望星空,腳踏實地2015年12月,阿里巴巴正式實施數(shù)據(jù)中臺戰(zhàn)略,數(shù)據(jù)中臺話題熱度逐步攀升,在這一過程當(dāng)中,我們也發(fā)現(xiàn)不同角色對其理解以及期望各有側(cè)重。阿里巴巴關(guān)注的是建立統(tǒng)一數(shù)據(jù)體系,同時貼近業(yè)務(wù)場景打造出體驗一流的數(shù)據(jù)服務(wù)與產(chǎn)品;企業(yè)管理者會關(guān)心數(shù)據(jù)中臺可以帶來哪些業(yè)務(wù)變革與增量價值;而數(shù)據(jù)與技術(shù)從業(yè)者,則更傾向于去探求其與數(shù)據(jù)倉庫、數(shù)據(jù)湖的不同之處,去了解數(shù)據(jù)中臺的技術(shù)領(lǐng)先性2018年,基于阿里巴巴數(shù)據(jù)中臺內(nèi)部實踐經(jīng)驗和成果,面向不同行業(yè)的實際業(yè)務(wù)場景,Dataphin應(yīng)運而生,作為阿里巴巴數(shù)據(jù)中臺方法論的工具化沉淀,Dataphin希望能幫助企業(yè)探索更加復(fù)雜與多樣的數(shù)據(jù)中臺建設(shè)之路。2021年,阿里巴巴集團(tuán)數(shù)據(jù)中臺、業(yè)務(wù)中臺、客服系統(tǒng)、供應(yīng)鏈服務(wù)等多個部門融合升級為領(lǐng)羊,將ll阿里巴巴最佳實踐"完整、系統(tǒng)、產(chǎn)品化地全面對外輸出。2022年正式對外亮相,成為數(shù)字化服務(wù)的獨立提供商,提供Daas服務(wù),數(shù)據(jù)即服務(wù),Daas以Data為核心,用數(shù)據(jù)思維貫穿企業(yè)運營的各個方面,讓數(shù)據(jù)在企業(yè)發(fā)揮最大價值。2024年升級羊數(shù)據(jù)智能服務(wù),聚焦ll數(shù)據(jù)+Al",形成企業(yè)數(shù)據(jù)生產(chǎn)、企業(yè)數(shù)據(jù)消費、行業(yè)數(shù)據(jù)流通的數(shù)據(jù)要素服務(wù)鏈,企業(yè)數(shù)據(jù)生產(chǎn)環(huán)節(jié)包括數(shù)據(jù)治理和分析,其中Dataphin承載了幫助企業(yè)治理好數(shù)據(jù)的使命,為未來數(shù)據(jù)資產(chǎn)入表、數(shù)據(jù)資產(chǎn)流通創(chuàng)造積極條件。我們深知,企業(yè)需要一套完善的數(shù)據(jù)技術(shù)與工具,實現(xiàn)數(shù)據(jù)采集、存儲、計算、建設(shè)和管理,利用數(shù)據(jù)思維對當(dāng)下的業(yè)務(wù)運營與管理場景問題精細(xì)洞察,學(xué)會利用數(shù)據(jù)資產(chǎn)改善能效,以此循環(huán)往復(fù),推動數(shù)據(jù)資產(chǎn)的持續(xù)沉淀,形成企業(yè)特有的數(shù)據(jù)資產(chǎn)體系;同時,企業(yè)還需要完成數(shù)據(jù)人才組織建設(shè),并輔以數(shù)據(jù)文化,讓人人都能理解數(shù)據(jù)、用好數(shù)據(jù)。我們期望與企業(yè)們一起乘風(fēng)破浪,仰望星空、腳踏實地,持續(xù)在數(shù)字化轉(zhuǎn)型的實踐道路上并肩前行。數(shù)據(jù)建設(shè)與治理的現(xiàn)狀與訴求Dataphin智能數(shù)據(jù)建設(shè)與治理企業(yè)構(gòu)建數(shù)據(jù)中臺既要解決以上所遇到的問題,又有著更高的要求:。數(shù)據(jù)體系化組織:數(shù)據(jù)中臺的數(shù)據(jù)來自企業(yè)的業(yè)務(wù)系統(tǒng),而企業(yè)中各個業(yè)務(wù)有著各自獨立的系統(tǒng)。系統(tǒng)之間的數(shù)據(jù)可能存在交叉,全部抽取到數(shù)據(jù)中臺后,需要進(jìn)行體系化的組織,否則就是一團(tuán)亂麻,無法快速準(zhǔn)確的找到想要的數(shù)據(jù)。需要一個將數(shù)據(jù)按照統(tǒng)一的體系來組織,這個體系內(nèi),數(shù)據(jù)標(biāo)準(zhǔn)一致,并且有數(shù)據(jù)落標(biāo)后可以被稽核,企業(yè)可以獲得高質(zhì)量的,口徑統(tǒng)一的,可用性高的數(shù)據(jù)。。數(shù)據(jù)高效生產(chǎn):數(shù)據(jù)中臺來自很多個業(yè)務(wù)系統(tǒng),對應(yīng)著海量的業(yè)務(wù)分析需求。企業(yè)希望數(shù)據(jù)中臺可以快速響應(yīng)業(yè)務(wù)端的需求,并且保障數(shù)據(jù)生產(chǎn)的安全可靠和數(shù)據(jù)正確。同時,又要降低在生產(chǎn)過程中的各種成本,提升投入產(chǎn)出比。。數(shù)據(jù)便捷服務(wù):數(shù)據(jù)中臺需要服務(wù)業(yè)務(wù),需要有便捷的數(shù)據(jù)消費方式。數(shù)據(jù)消費需要接入便捷,安全可控,響應(yīng)及時。數(shù)據(jù)體系化組織頂層視角清晰、規(guī)范地對數(shù)據(jù)進(jìn)行全局、全鏈路組織、包括數(shù)據(jù)的來源、數(shù)據(jù)的清晰、數(shù)據(jù)的關(guān)聯(lián)、數(shù)據(jù)的存儲、數(shù)據(jù)服務(wù)出口等。數(shù)據(jù)高效生產(chǎn)提升數(shù)據(jù)生產(chǎn)效率、規(guī)避重復(fù)生產(chǎn)和錯誤生產(chǎn)、保障數(shù)據(jù)產(chǎn)出質(zhì)量,技術(shù)人員有成長有沉淀,業(yè)務(wù)人員需求滿足周期短質(zhì)量高。數(shù)據(jù)便捷服務(wù)更多以業(yè)務(wù)應(yīng)用數(shù)據(jù)的視角,便捷地知曉有什么數(shù)據(jù)并獲取數(shù)據(jù),清晰的數(shù)據(jù)服務(wù)策略、便捷的數(shù)據(jù)服務(wù)通道,簡單用、放心用。數(shù)據(jù)建設(shè)與治理的現(xiàn)狀與訴求企業(yè)構(gòu)建數(shù)據(jù)中臺,所遇到的問題挑戰(zhàn)不是一下子全部出現(xiàn)的,而是在建設(shè)歷程中逐漸顯現(xiàn)出來的?；诎⒗锇桶蛿?shù)據(jù)中臺內(nèi)部實踐經(jīng)驗,企業(yè)數(shù)據(jù)能力建設(shè)可以分為三個階段:。在線開發(fā)階段:起步階段,數(shù)據(jù)量相對較小,團(tuán)隊規(guī)模不大,以滿足業(yè)務(wù)需求為主要目標(biāo)。隨著數(shù)據(jù)量的增加,人員的擴(kuò)張,就需要回答數(shù)據(jù)的價值在哪里的問題,以匹配所投入的成本。自然地,就進(jìn)入下階段。。數(shù)據(jù)平臺構(gòu)建與管理階段:數(shù)據(jù)量級提升,數(shù)據(jù)來源多樣,除了來自業(yè)務(wù)的取數(shù)和基本分析需求之外,開始梳理數(shù)據(jù)之間的關(guān)系,挖掘潛在的價值,同時還需要保障數(shù)據(jù)的質(zhì)量,這就是數(shù)據(jù)資產(chǎn)化。這個階段的數(shù)據(jù)平臺,除了基本的數(shù)據(jù)開發(fā)功能之外,還需要提供資產(chǎn)管理和質(zhì)量監(jiān)測的能力。。數(shù)據(jù)綜合治理階段:當(dāng)數(shù)據(jù)平臺內(nèi)部的建設(shè)完備之后,就需要回饋平臺外的各個業(yè)務(wù)。這個回饋不是應(yīng)答業(yè)務(wù)的需求,而是通過挖掘出數(shù)據(jù)的價值,反向來促進(jìn)業(yè)務(wù)的發(fā)展。Dataphin智能數(shù)據(jù)建設(shè)與治理用中臺方法論構(gòu)建與治理企業(yè)級好數(shù)據(jù)用中臺方法論打造企業(yè)級好數(shù)據(jù)1.Dataphin:源自阿里巴巴的數(shù)據(jù)建設(shè)·治理·消費體化平臺阿里巴巴在2015年提出全面啟動中臺戰(zhàn)略,并在集團(tuán)內(nèi)部開啟了一系列數(shù)據(jù)技術(shù)建設(shè)探索,沉淀下特有方法論捋清了數(shù)據(jù)全生命周期的管理思路,將其植入到領(lǐng)羊智能數(shù)據(jù)建設(shè)與治理Dataphin產(chǎn)品中,并與QuickBI(智能商業(yè)分析)、QuickAudience(智能用戶運營)一同形成數(shù)據(jù)中臺建設(shè)核心產(chǎn)品體系。自2018年問世以來,Dataphin已發(fā)展出了內(nèi)容豐富的功能大圖,到目前為止經(jīng)歷了多輪大版本升級,產(chǎn)品核心的能力模塊清晰顯現(xiàn),可以幫助企業(yè)高效地完成「好數(shù)據(jù)s的構(gòu)建。數(shù)據(jù)消費數(shù)據(jù)治理數(shù)據(jù)建設(shè)兼容與開放Dataphin從下而上可分為四個大板塊:平臺底座:。引擎平臺兼容:可支持不同的引擎及部署環(huán)境,可納管不同的引擎,包括但不限于Maxcompute、EMR、Hadoop體系(CDH、華為、星環(huán)、亞信等)、交互式分析Holo、Impala、ADBforPG、starrocks等,Flink商業(yè)及開源版等,也支持不同云平臺環(huán)境的部署及私有DC部署。.多樣化開放接口:開放數(shù)據(jù)集成、數(shù)據(jù)處理、調(diào)度、運維、元數(shù)據(jù)、質(zhì)量、安全、標(biāo)準(zhǔn)等幾百個標(biāo)準(zhǔn)化接口,可與企業(yè)自有系統(tǒng)進(jìn)行對接集成或進(jìn)行功能個性與定制。。配置化能力:開放了關(guān)于消息渠道、審批渠道、認(rèn)證、審批模板、樣式配置等客制化的能力,更好的適配企業(yè)的規(guī)范及場景。Dataphin智能數(shù)據(jù)建設(shè)與治理數(shù)據(jù)建設(shè)平臺:。全域數(shù)據(jù)可集成:通過配置化的方式完成數(shù)據(jù)的模型構(gòu)建及指標(biāo)的構(gòu)建,并同時支持代碼編寫模式,更靈活的適應(yīng)不同的場景和訴求,并支持日千萬級調(diào)度能力。。規(guī)范建模:Dataphin遵循Ralphkimball的維度建模理論,可根據(jù)業(yè)務(wù)實際情況在Dataphin設(shè)計并創(chuàng)建概念模型,并通過概念模型中的業(yè)務(wù)實體(業(yè)務(wù)對象或業(yè)務(wù)活動)創(chuàng)建對應(yīng)的維度表、事實表、原子指標(biāo)、業(yè)務(wù)限定、指標(biāo)、匯總邏輯表。。指標(biāo)構(gòu)建與管理:通過構(gòu)建的規(guī)范化的要素(原子指標(biāo)、統(tǒng)計周期、維度、業(yè)務(wù)限定),配置化的方式構(gòu)建指標(biāo);通過代碼方式也可將已經(jīng)加工好的指標(biāo)注冊到匯總表上,進(jìn)行統(tǒng)一的指標(biāo)管理?！?biāo)簽工廠:可通過配置化的方式加工標(biāo)簽,讓業(yè)務(wù)人員也可進(jìn)行標(biāo)簽的二次加工及群組的圈選;通過快捷的配置,提供群組及標(biāo)簽的服務(wù);根據(jù)元數(shù)據(jù)進(jìn)行標(biāo)簽及群組進(jìn)行治理、運行和管理。。數(shù)據(jù)服務(wù):通過數(shù)據(jù)服務(wù),可將提供高效的API開發(fā)及運維能力,可將數(shù)據(jù)資源通過API統(tǒng)一服務(wù)業(yè)務(wù)系統(tǒng)。。隱私計算:打通內(nèi)外循環(huán),實現(xiàn)數(shù)據(jù)不出域的自由流通,讓數(shù)據(jù)可用不可見,數(shù)據(jù)價值化的同時保障數(shù)據(jù)的安全合規(guī)。全域數(shù)據(jù)治理:Dataphin不僅僅治理數(shù)倉內(nèi)的數(shù)據(jù),也需要治理全域數(shù)據(jù)資產(chǎn)。。資產(chǎn)盤點:在數(shù)據(jù)治理開始前,需要對全域的數(shù)據(jù)進(jìn)行盤點,對元數(shù)據(jù)進(jìn)行豐富。。標(biāo)準(zhǔn)及規(guī)范:Dataphin可支持?jǐn)?shù)據(jù)的規(guī)范、研發(fā)的規(guī)范,制定數(shù)據(jù)標(biāo)準(zhǔn),讓數(shù)據(jù)治理ll有法可依";通過數(shù)據(jù)標(biāo)準(zhǔn)的手動和自動映射,可將表資產(chǎn)的字段與標(biāo)準(zhǔn)進(jìn)行關(guān)聯(lián),并進(jìn)行元數(shù)據(jù)和內(nèi)容的稽核和監(jiān)控。。資產(chǎn)質(zhì)量:提供全域的資產(chǎn)質(zhì)量校驗及跟蹤方案,從質(zhì)量稽核與評估(質(zhì)量大盤、配置質(zhì)量規(guī)則、查看校驗記錄、質(zhì)量監(jiān)控、智能報警)、質(zhì)量治理(質(zhì)量工作臺、質(zhì)量整改跟蹤)、查看質(zhì)量報告等功能?！?shù)據(jù)安全:通過自動及手動的方式,可對資產(chǎn)進(jìn)行分類及分級打標(biāo),對數(shù)據(jù)的權(quán)限申請流通進(jìn)行規(guī)范的管理,也可對高敏數(shù)據(jù)在流通前就對數(shù)據(jù)進(jìn)行加密處理,避免數(shù)據(jù)泄露?！べY源治理:通過元數(shù)據(jù),對數(shù)據(jù)存儲與計算資源診斷與治理,在數(shù)據(jù)價值挖掘的同時,也控制數(shù)據(jù)的成本,避免數(shù)據(jù)沼澤。用中臺方法論打造企業(yè)級好數(shù)據(jù)全域數(shù)據(jù)運營:數(shù)據(jù)在消費者手中用起來才能發(fā)揮數(shù)據(jù)的價值,全域運營是將數(shù)據(jù)資產(chǎn)推送到數(shù)據(jù)消費場景中,讓數(shù)據(jù)在消費者手動實現(xiàn)價值化。全域數(shù)據(jù)運營板塊主要提供以下功能模塊:。資產(chǎn)目錄:業(yè)務(wù)及消費視角的數(shù)據(jù)資產(chǎn)目錄,可快速搜索查找推薦數(shù)據(jù)資產(chǎn),推動企業(yè)數(shù)據(jù)文化。針對不同的人群,Dataphin可定制多套目錄滿足不同場景不同人群的找數(shù)、看數(shù)需求?！?shù)據(jù)門戶:通過提供場景式、主題式的數(shù)據(jù)門戶,讓用數(shù)的成本進(jìn)一步降低,讓數(shù)據(jù)可找到正確的人。。自助消費:通過打通B分析系統(tǒng),面向業(yè)務(wù)人員運營人員,實現(xiàn)從可見到可用;通過提供即系分析的功能,可通過簡單的SQL、python能力進(jìn)行數(shù)據(jù)分析。1.2三大核心優(yōu)勢Dataphin產(chǎn)品經(jīng)過了幾年的沉淀,積累了豐富的產(chǎn)品能力,也形成了獨特的產(chǎn)品核心優(yōu)勢:。多樣的計算引擎兼容,可利舊降本:除了支持大數(shù)據(jù)離線和實時計算主流引擎外,我們還會不斷探索和集成更多的計算引擎,以滿足不同客戶的需求。我們會不斷優(yōu)化引擎的性能和穩(wěn)定性,以提高計算效率和降低成本。在部署的平臺底座上,我們也適配支持了不同的云平臺,包括阿里云的公共云多租戶、阿里云專有云、阿里云公共云VPC部署,IDC部署,以及其他云平臺上進(jìn)行部署。Dataphin智能數(shù)據(jù)建設(shè)與治理。資產(chǎn)化驅(qū)動構(gòu)建數(shù)據(jù):阿里巴巴多年的內(nèi)部的實踐,我們沉淀了一套完整的方法論,幫助數(shù)據(jù)資產(chǎn)的構(gòu)建。這套方法論和產(chǎn)品也在100多家客戶中進(jìn)行了深度的驗證。。價值導(dǎo)向、消費驅(qū)動的數(shù)據(jù)治理:我們將進(jìn)一步完善數(shù)據(jù)治理體系,包括數(shù)據(jù)盤點、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全與合規(guī)等方面。我們還將借鑒和應(yīng)用更多的經(jīng)驗和案例,不斷提升數(shù)據(jù)治理的水平和效果。同時,我們也會更加注重數(shù)據(jù)的價值和消費者需求,以提供更有針對性和可用性的數(shù)據(jù)治理解決方案。2.1Dataphin模型體系數(shù)據(jù)中臺是數(shù)據(jù)沉淀、建設(shè)、管理與使用的一整套體系。Dataphin的核心優(yōu)勢是在數(shù)據(jù)的建設(shè)與治理上,引入了阿里巴巴。主題域模型:在數(shù)據(jù)中臺,主題對應(yīng)一個宏觀的分析領(lǐng)域,比如銷售分析就是分析ll銷售"這個主題,聯(lián)系較為緊密的主題的集合就是主題域。每一個行業(yè)都可以拆分為有多個(十個左右不等)主題域組成的主題域模型。。概念模型:在主題域的基礎(chǔ)上,每個主題域內(nèi)增加了實體以及實體之間的關(guān)系。。邏輯模型:在概念模型的基礎(chǔ)上,增加每個實體的屬性以及屬性的約束。。業(yè)務(wù)分析模型:行業(yè)中重要的以及常用的分析方法與分析視角。在邏輯模型基礎(chǔ)上,將業(yè)務(wù)分析問題轉(zhuǎn)換為Dataphin特有的派生指標(biāo),并進(jìn)一步提煉出原子指標(biāo)和業(yè)務(wù)限定。用中臺方法論打造企業(yè)級好數(shù)據(jù)限定維度邏輯表事實邏輯表業(yè)務(wù)過程主題域2主題域3主題域1粒度指標(biāo)維度2.2劃分業(yè)務(wù)板塊企業(yè)的規(guī)模有大有小,業(yè)務(wù)復(fù)雜度和跨度也不同,數(shù)據(jù)反映業(yè)務(wù),所以每個企業(yè)的數(shù)據(jù)中臺也是不同的。數(shù)據(jù)中臺建設(shè)的第一步是做規(guī)劃,規(guī)劃的第一步是全盤梳理企業(yè)的業(yè)務(wù)架構(gòu),將業(yè)務(wù)劃分為一個個獨立業(yè)務(wù),對應(yīng)到Dataphin就是業(yè)務(wù)板塊的劃分。業(yè)務(wù)板塊的劃分總原則是高內(nèi)聚,低耦合?？梢酝ㄟ^業(yè)務(wù)活動之間以及業(yè)務(wù)活動與業(yè)務(wù)對象之間的關(guān)系來厘定業(yè)務(wù)板塊的邊界:。存在上下游的關(guān)系或者有共同的業(yè)務(wù)對象的幾個業(yè)務(wù)流程屬于同一個業(yè)務(wù)板塊。反之,如果兩個業(yè)務(wù)流程之間不存在任何直接或者間接的上下游關(guān)系,也沒有直接或者間接共同的業(yè)務(wù)對象,他們就不應(yīng)當(dāng)被放在同一個業(yè)務(wù)板塊。。與業(yè)務(wù)活動相關(guān)的業(yè)務(wù)對象與業(yè)務(wù)活動同屬一個板塊。。某些業(yè)務(wù)對象是企業(yè)級共用的,比如,公司的員工、行政地理區(qū)劃(沒錯,這個也屬于業(yè)務(wù)對象)等,可以冗余在每一個板塊中。2.3主題域建模主題域建模,即在業(yè)務(wù)板塊下進(jìn)一步將業(yè)務(wù)劃分為多個主題域。主題域的劃分沒有客觀原則,主要根據(jù)數(shù)據(jù)模型師的行業(yè)經(jīng)驗與業(yè)務(wù)理解來劃分。具體以零售行業(yè)為例來說明。用中臺方法論打造企業(yè)級好數(shù)據(jù)零售行業(yè)的主題域劃分:數(shù)據(jù)在消費者手中用起來才能發(fā)揮數(shù)據(jù)的價值,全域運營是將數(shù)據(jù)資產(chǎn)推送到數(shù)據(jù)消費場景中,讓數(shù)據(jù)在消費者手動實現(xiàn)價值化。全域數(shù)據(jù)運營板塊主要提供一下功能模塊:。公共主題域:在所有業(yè)務(wù)流程中都會被引用的數(shù)據(jù),如地理位置數(shù)據(jù)、企業(yè)的人員組織數(shù)據(jù)。。消費者主題域:該主題域主要是零售企業(yè)內(nèi)用戶(消費者)運營相關(guān)的業(yè)務(wù)活動數(shù)據(jù)。。商品主題域:商品的管理(類目管理、品牌管理等),商品結(jié)構(gòu)管理(組貨)等相關(guān)的業(yè)務(wù)活動數(shù)據(jù)。其他還有商家主題域、流量主題域、交易主題域、履約主題域、服務(wù)主題域、交互主題域、營銷主題域、內(nèi)容主題域、供應(yīng)鏈主題域等。2.4概念建模概念模型主要由業(yè)務(wù)實體以及實體關(guān)系組成。2.4.1概念建模業(yè)務(wù)對象是參與業(yè)務(wù)的人或事物,在企業(yè)組織的業(yè)務(wù)模式確定時就存在的,偏靜態(tài)的實體。根據(jù)復(fù)雜程度,業(yè)務(wù)對象可以分為:。普通對象,復(fù)雜的、有很多屬性的對象。狹義上,業(yè)務(wù)對象就是普通對象。。枚舉對象,簡單的基礎(chǔ)對象。如性別,其取值可以窮舉(男/女/未知)。。虛擬對象,在業(yè)務(wù)定義中,沒有任何屬性的基礎(chǔ)對象,如姓名。。層級對象,多個業(yè)務(wù)對象之間有上下級關(guān)系,這一組對象就是層級對象。業(yè)務(wù)活動是一個或者多個業(yè)務(wù)對象在某個時間(段)為了達(dá)成某種目的所進(jìn)行的活動或者是某種活動的結(jié)果。業(yè)務(wù)活動有以下幾個關(guān)鍵要素(屬性):?；顒又黧w,活動的發(fā)起者,是一個業(yè)務(wù)對象。?？蛇x的活動客體,活動的參與者,可能有多個,也是業(yè)務(wù)對象。?；顒訒r間,可以是一個單點時刻,也可能是一個有開始和結(jié)束的時間段。根據(jù)業(yè)務(wù)活動持續(xù)時間的長短,可以將業(yè)務(wù)活動細(xì)分為:。業(yè)務(wù)流程,持續(xù)一段時間,有明確生命周期的業(yè)務(wù)活動。o(業(yè)務(wù))事件,發(fā)生在某一個時刻,持續(xù)時間極短(瞬間)。事件一般對應(yīng)業(yè)務(wù)流程的一次狀態(tài)變化。。業(yè)務(wù)快照,是一系列活動在某一個時刻點的狀態(tài)和結(jié)果,比如庫存、賬戶余額。用中臺方法論打造企業(yè)級好數(shù)據(jù)2.4.2實體關(guān)系在實際業(yè)務(wù)中,業(yè)務(wù)實體并不是孤立存在的,他們之間有著各種各樣的聯(lián)系,Dataphin將這些聯(lián)系定義為ll實體關(guān)系"。有以下實體關(guān)系:釋義與舉例1.業(yè)務(wù)對象A是業(yè)務(wù)對象B的屬性,則業(yè)務(wù)對象B關(guān)聯(lián)了業(yè)務(wù)對象A。如:地址是客戶的屬性之一,客戶實體關(guān)聯(lián)了地址實體。2.業(yè)務(wù)對象A是業(yè)務(wù)活動C的參與者,則業(yè)務(wù)活動C關(guān)聯(lián)了業(yè)務(wù)對象A。如:客戶是銷售的參與者,銷售實體關(guān)聯(lián)了客戶實體。普通對象B是普通對象A的一種,但是比普通對象A多一些獨有的屬性,則普通對象B繼承了普通對象A。如:會員本身也是用戶,除了用戶的姓名,性別等屬性外,會員還獨有會員等級等屬性,會員繼承了用戶。層級對象的多個對象間為層級關(guān)系。業(yè)務(wù)活動A有三個處理節(jié)點B、C、D,每個節(jié)點對應(yīng)一個業(yè)務(wù)事件,業(yè)務(wù)事件發(fā)生后,A的狀態(tài)將發(fā)生變化。業(yè)務(wù)活動A包含業(yè)務(wù)事件B、C、D。如:銷售活動包含銷售下單,銷售付款,銷售完結(jié)等業(yè)務(wù)事件。業(yè)務(wù)活動A有三個處理節(jié)點B,C,D,每個節(jié)點對應(yīng)一個業(yè)務(wù)事件,事件按照B->C->D的順序發(fā)生,則B、C、D之間為流轉(zhuǎn)關(guān)系。進(jìn)入業(yè)務(wù)活動B之前必須先完成業(yè)務(wù)活動A,則A是B的前序活動,B是A的后序活動。如:銷售完成后,才可以退款退貨(銷退),則銷售是銷退的前序活動,銷退是銷售的后序活動。Dataphin智能數(shù)據(jù)建設(shè)與治理3.1全域數(shù)據(jù)匯聚,打破數(shù)據(jù)孤島企業(yè)在構(gòu)建數(shù)據(jù)中臺時,首先就是要將企業(yè)內(nèi)部各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)同步集成到數(shù)據(jù)中臺,然后進(jìn)行后續(xù)的數(shù)據(jù)研發(fā)工作。一句話總結(jié)數(shù)據(jù)集成的能力,就是提供不同數(shù)據(jù)源之間的通道能力,解決異構(gòu)數(shù)據(jù)源之間,讀取、轉(zhuǎn)換和寫入三個流程。Dataphin中的數(shù)據(jù)集成模塊是一個簡單高效的數(shù)據(jù)同步平臺,通過組件拖拽式的方式,提供了豐富的異構(gòu)數(shù)據(jù)源間高速穩(wěn)定的數(shù)據(jù)同步能力,與強(qiáng)大的數(shù)據(jù)預(yù)處理能力,匯集全域數(shù)據(jù),打破數(shù)據(jù)孤島,為數(shù)據(jù)中臺的建設(shè)打好堅實的數(shù)據(jù)基座。在企業(yè)信息化建設(shè)過程中,由于各業(yè)務(wù)系統(tǒng)建設(shè)和實施數(shù)據(jù)管理系統(tǒng)的階段性、技術(shù)性以及其它經(jīng)濟(jì)和人為因素等因素影響,使得企業(yè)在發(fā)展過程中積累了大量不同存儲方式的業(yè)務(wù)數(shù)據(jù),采用的數(shù)據(jù)管理系統(tǒng)也大不相同。從簡單用中臺方法論打造企業(yè)級好數(shù)據(jù)的文件數(shù)據(jù)庫到復(fù)雜的網(wǎng)絡(luò)數(shù)據(jù)庫,構(gòu)成了企業(yè)的異構(gòu)數(shù)據(jù)源。Dataphin數(shù)據(jù)集成支持豐富的異構(gòu)數(shù)據(jù)源,包括關(guān)系型數(shù)據(jù)庫、大數(shù)據(jù)存儲、文件存儲、消息隊列、NOSQL、API、應(yīng)用系統(tǒng)等40+數(shù)據(jù)庫。并支持創(chuàng)建自定義數(shù)據(jù)源,靈活接入數(shù)據(jù),提供了數(shù)據(jù)源的可擴(kuò)展性與靈活性。3.1.2強(qiáng)大的數(shù)據(jù)預(yù)處理能力與傳輸配置在數(shù)據(jù)集成過程中,對于數(shù)據(jù)安全、同步配置、數(shù)據(jù)預(yù)處理等都會存在一些訴求。Dataphin數(shù)據(jù)集成提供豐富的數(shù)據(jù)預(yù)處理能力以及任務(wù)中數(shù)據(jù)傳輸過程中的可配置項。。字段處理:提供字段選擇、條件過濾,與字段計算的能力。幫助在同步過程中過濾掉冗雜數(shù)據(jù),提高數(shù)據(jù)質(zhì)量。。數(shù)據(jù)安全:對于敏感字段,比如個人隱私信息,在集成任務(wù)中可以結(jié)合安全模塊,對敏感字段進(jìn)行加密或解密,進(jìn)一步保障數(shù)據(jù)在同步過程中的安全。。傳輸配置:支持限流配置,可根據(jù)數(shù)據(jù)庫性能與任務(wù)并發(fā)數(shù)靈活配置;支持條件分發(fā),一個來源數(shù)據(jù)源以某個條件,二分發(fā)到兩個不同的目標(biāo)數(shù)據(jù)庫中,可避免任務(wù)的二次配置;支持容錯配置,指定集成任務(wù)允許產(chǎn)生的臟數(shù)據(jù)上限;支持運行參數(shù)配置與數(shù)據(jù)庫連接配置:可根據(jù)場景靈活調(diào)整,提升集成任務(wù)的成功率與運維效率。Dataphin智能數(shù)據(jù)建設(shè)與治理傳輸配置傳輸配置。限流。條件分發(fā)?容錯配置。運行參數(shù)配置。數(shù)據(jù)庫連接配置數(shù)據(jù)安全?字段加密?字段解密字段處理。字段選擇。字段計算?條件過濾3.1.3產(chǎn)品易用性在進(jìn)行數(shù)據(jù)中臺建設(shè)時,匯集全域數(shù)據(jù),需要集成的表體量較大,大量的任務(wù)配置與調(diào)試工作量會消耗大量人力與資源。Dataphin的數(shù)據(jù)集成提供任務(wù)配置、調(diào)試等各場景下的易用性功能,可提高任務(wù)配置與調(diào)試的效率。。組件化配置:可通過在畫布界面中拖拉拽組件進(jìn)行集成任務(wù)的配置,通過無代碼化操作,降低任務(wù)配置門檻。。實時/離線整庫遷移:支持通過配置化的方式進(jìn)行實時或離線的整庫遷移,高整庫數(shù)據(jù)遷移場景下的配置效率。。運行日志智能診斷:將原始日志提取為結(jié)構(gòu)化的信息,包括任務(wù)運行信息(運行時長、CPU負(fù)載等)、同步通道信息(讀取/寫入速度,臟數(shù)據(jù)條數(shù)等)。在任務(wù)運行報錯后,自動提取日志內(nèi)的錯誤信息,根據(jù)知識庫進(jìn)行相似度檢索,提供可能的報錯原因與可參考的解決方案,提高排查與調(diào)試的效率。3.2設(shè)計即研發(fā),保障數(shù)據(jù)模型與代碼的一致性傳統(tǒng)的數(shù)據(jù)中臺建設(shè)過程中,數(shù)據(jù)模型需要用限定詳細(xì)的文檔記錄設(shè)計,再基于文檔進(jìn)行代碼研發(fā)。經(jīng)過多輪變更后設(shè)計文檔與實際代碼可能已南轅北轍。Dataphin通過規(guī)范化、模塊化的低代碼配置,在設(shè)計的同時生成代碼,有效的保證了模型與代碼的一致性,提升數(shù)據(jù)質(zhì)量。Dataphin模型體系中,主題域模型和概念模型屬于規(guī)劃部分,邏輯模型和業(yè)務(wù)分析模型則屬于研發(fā)部分。用中臺方法論打造企業(yè)級好數(shù)據(jù)3.2.1邏輯模型在概念模型基礎(chǔ)上,基于對業(yè)務(wù)的理解,可以對實體:。增加屬性屬性是用來從各個方面描述實體,是純粹的業(yè)務(wù)認(rèn)知。屬性的增減完全跟隨業(yè)務(wù)本身的變化,而不是基于業(yè)務(wù)系統(tǒng)。設(shè)置屬性約束對屬性值的業(yè)務(wù)約束,如:鞋子的尺碼有效范圍是10碼~45碼,顏色只有白色和黑色等。。設(shè)置屬性與來源業(yè)務(wù)表之間的關(guān)系邏輯模型設(shè)置完成后,系統(tǒng)將自動生成相應(yīng)的調(diào)度任務(wù)。后續(xù)如果業(yè)務(wù)側(cè)發(fā)生了變化,重新設(shè)計邏輯模型時,在Dataphin可以直接編輯邏輯模型,系統(tǒng)將自動生成任務(wù),確保設(shè)計與代碼的一致。3.2.2業(yè)務(wù)分析模型邏輯模型構(gòu)建后,基于邏輯模型可以構(gòu)建分析模型,即下圖中的業(yè)務(wù)分析模型。統(tǒng)計統(tǒng)計周期+業(yè)務(wù)分析模型的目標(biāo)是快速生成業(yè)務(wù)分析中的指標(biāo),稱為派生指標(biāo),且保障這些指標(biāo)的可靠性和可維護(hù)性。最終使用的指標(biāo)拆解為四個基本組成部分統(tǒng)計粒度業(yè)務(wù)限定原子指標(biāo)。統(tǒng)計周期,指標(biāo)覆蓋的時間范圍,即該指標(biāo)反映的是哪個時間段內(nèi)的業(yè)務(wù)情況,本質(zhì)上也是業(yè)務(wù)限定的一種,但由于它的通用性,將其獨立出來作為一個單獨的組成部分。。原子指標(biāo),針對某個業(yè)務(wù)事件的聚合統(tǒng)計分析,比如:求和、取平均。。業(yè)務(wù)限定,指標(biāo)計算時的業(yè)務(wù)約束(過濾)規(guī)則。。統(tǒng)計粒度,指標(biāo)的分析維度或者分析角度,指標(biāo)是描述哪些業(yè)務(wù)對象或哪些實體屬性的。selectselectuseridfromorderandsite=1groupbyuserid業(yè)務(wù)限定統(tǒng)計(分析)粒度維度/業(yè)務(wù)過程業(yè)務(wù)分析建模的步驟是,統(tǒng)計周期設(shè)置->原子指標(biāo)/業(yè)務(wù)限定配置->派生指標(biāo)配置,所有配置完成后,系統(tǒng)將自動生成計算代碼和周期調(diào)度任務(wù)。后續(xù)修改指標(biāo)定義,也是通過修改統(tǒng)計周期,原子指標(biāo),業(yè)務(wù)限定等業(yè)務(wù)視角的對象,由系統(tǒng)自動來生成修改后的計算代碼。Dataphin通過規(guī)范化、模塊化的低代碼配置式研發(fā),有效的保證了模型與代碼的一致性。3.3發(fā)布管控,數(shù)據(jù)安全生產(chǎn)3.3.1發(fā)布Dataphin提供兩種項目模式:Basic簡單模式和生產(chǎn)開發(fā)隔離的Dev-prod模式。在數(shù)據(jù)權(quán)限管控嚴(yán)格的研發(fā)流程下,常常會使用生產(chǎn)開發(fā)環(huán)境隔離的研發(fā)模式。項目中,研發(fā)人員通常需要完成代碼編寫、任務(wù)基礎(chǔ)屬性和調(diào)度屬性用中臺方法論打造企業(yè)級好數(shù)據(jù)配置、并基于開發(fā)環(huán)境的數(shù)據(jù)執(zhí)行補(bǔ)數(shù)據(jù)測試,通過后再將任務(wù)提交至發(fā)布中心。發(fā)布審核人員接到發(fā)布申請后,結(jié)合任務(wù)配置詳情評估是否配置合理,是否存在數(shù)據(jù)生產(chǎn)風(fēng)險等,之后執(zhí)行發(fā)布操作。Dataphin發(fā)布中心提供了待發(fā)布任務(wù)概覽、批量發(fā)布、基于系統(tǒng)校驗規(guī)則的自動審核,發(fā)布記錄概覽、發(fā)布詳情查看、發(fā)布失敗原因提示、一鍵重新發(fā)布、發(fā)布審批和發(fā)布管控等功能。發(fā)布作為生產(chǎn)開發(fā)隔離的研發(fā)模式中必經(jīng)的一道環(huán)節(jié),為生產(chǎn)數(shù)據(jù)的正確性和生產(chǎn)環(huán)境穩(wěn)定性提供了前置保障,可以減少人工操作失誤或流程不規(guī)范引發(fā)的問題,降低了對生產(chǎn)業(yè)務(wù)產(chǎn)生影響的可能性,為數(shù)據(jù)建設(shè)撐起一道保護(hù)傘。3.3.2發(fā)布管控發(fā)布管控功能支持基于用戶已經(jīng)設(shè)定好的管控規(guī)則及生效策略,在任務(wù)發(fā)布前執(zhí)行對應(yīng)的檢查,以判斷任務(wù)是否符合發(fā)布條件。針對校驗不通過的任務(wù),根據(jù)規(guī)則配置詳情,會阻斷發(fā)布流程(強(qiáng)管控)或給出警告提示但不阻塞發(fā)布(弱管控),以增強(qiáng)平臺的穩(wěn)定性保障。發(fā)布管控是變更管控的子功能之一(后續(xù)可逐步拓展研發(fā)管控、運維管控等),變更管控分為更規(guī)則和變更策略兩部分。變更規(guī)則:基于對象的基礎(chǔ)屬性、外部服務(wù)接口等來源抽象出來的元數(shù)據(jù),結(jié)合系統(tǒng)內(nèi)置規(guī)則或自定義代碼編寫的邏輯條件而組成的校驗規(guī)則;規(guī)則校驗不通過的對象即被納入管控,結(jié)合變更策略判斷管控方式。。變更策略:根據(jù)用戶已經(jīng)創(chuàng)建好的變更規(guī)則,設(shè)置其生效范圍和管控方式。支持在單個變更策略中配置多個規(guī)則并給每個規(guī)則指定不同的管控方式。發(fā)布管控常用但不限于以下幾種場景:。時間節(jié)點管控:在某些特殊時間節(jié)點,禁止發(fā)布新的任務(wù)或更新歷史任務(wù),防止數(shù)據(jù)計算口徑變更帶來的影響,如財年末封賬、財務(wù)審計、雙11大促管控、集群切換保障等場景。研發(fā)規(guī)范管控:根據(jù)某些任務(wù)屬性來進(jìn)行判斷,如ODS項目中沒有以llods"為開頭命名的任務(wù)不可發(fā)布等。賬號管控:針對部分提交人或發(fā)布人進(jìn)行限制,如已離職人員提交的任務(wù)不可執(zhí)行發(fā)布操作等等通過發(fā)布管控,靈活調(diào)整管控規(guī)則及策略配置,可以實現(xiàn)不同的管控效果,減少人工干預(yù)成本,進(jìn)一步提升平臺建設(shè)的規(guī)范性和穩(wěn)定性。3.3.3跨租戶發(fā)布使用開發(fā)生產(chǎn)隔離的模式,可以提供代碼及數(shù)據(jù)的生產(chǎn)開發(fā)環(huán)境隔離。然而在某些對安全性要求更高的場景(比如金融場景),客戶需要對生產(chǎn)和開發(fā)環(huán)境進(jìn)行物理的隔離。為確保租戶間的數(shù)據(jù)安全,Dataphin完全隔離租戶間的數(shù)據(jù)。若有構(gòu)建數(shù)據(jù)生態(tài)或強(qiáng)安全管控(例如,不同租戶構(gòu)建共同的開發(fā)、測試或生產(chǎn)環(huán)境)訴求,通常需要在新租戶中重新開發(fā)所有數(shù)據(jù),這將降低數(shù)據(jù)應(yīng)用的效率。Dataphin升級了數(shù)據(jù)的發(fā)布能力,旨在構(gòu)建簡單高效、安全可靠的跨租戶發(fā)布,用于遷移租戶間的規(guī)則數(shù)據(jù)的遷移,以滿足不同數(shù)據(jù)的應(yīng)用場景,幫助企業(yè)實現(xiàn)數(shù)據(jù)應(yīng)用價值最大化?？缱鈶舭l(fā)布支持全量導(dǎo)出、增量導(dǎo)出及指定對象導(dǎo)出,支持設(shè)置全局粒度的導(dǎo)入規(guī)則,支持批量發(fā)布文件中的對象,同時系統(tǒng)根據(jù)對象依賴關(guān)系自動控制發(fā)布至目標(biāo)環(huán)境的順序。3.4靈活調(diào)度,滿足多樣化的開發(fā)場景Dataphin自研的調(diào)度系統(tǒng)支持靈活的調(diào)度周期、上游依賴、調(diào)度類型、參數(shù)配置、公共日歷和條件調(diào)度,可適配多樣性的數(shù)據(jù)研發(fā)場景,滿足各種個性化的調(diào)度需求。3.4.1周期調(diào)度在任務(wù)調(diào)度時通常需要根據(jù)任務(wù)運行頻率和數(shù)據(jù)產(chǎn)出時效性判斷該任務(wù)的調(diào)度類型,并針對不同類型的任務(wù)進(jìn)行調(diào)度規(guī)則的配置。其中,周期調(diào)度是最常用的調(diào)度方式,對于周期調(diào)度的任務(wù)支持為其進(jìn)行以下配置:調(diào)度類型支持正常調(diào)度、空跑調(diào)度、暫停調(diào)度三種方式?？张苷{(diào)度的任務(wù)生成的所有實例直接空跑成功,不會真正運行;暫停調(diào)度的任務(wù)生成的實例均為暫停運行狀態(tài),常用于經(jīng)常需要暫停某些鏈路上的數(shù)據(jù)更新、又不希望頻繁下線任務(wù)或修改依賴的場景。。調(diào)度周期抽數(shù)任務(wù),需要每小時從業(yè)務(wù)庫抽取上小時新增的訂單數(shù)據(jù),再進(jìn)行銷售總額的合并計算,則需要配置調(diào)度周期為ll小時",開始運行時間為每個整點,以保證數(shù)據(jù)時效性。。上游依賴提供自動依賴解析能力,可以基于SQL詳情解析出存在數(shù)據(jù)依賴的上游任務(wù)并自動添加。對于不存在數(shù)據(jù)依賴關(guān)系但是有調(diào)度依賴的上游(如用于檢查數(shù)據(jù)變化情況的check任務(wù)),可以手動搜索添加。依賴上周期支持配置依賴任務(wù)自身或其他任務(wù)的上一周期實例。有時為了防止多個實例同時運行造成的數(shù)據(jù)沖突或重復(fù),用中臺方法論打造企業(yè)級好數(shù)據(jù)需要保證每個任務(wù)同一時間只有一個任務(wù)在運行,此時可以配置ll自依賴",如ll截止當(dāng)日銷售總額"任務(wù),計算口徑為ll前一日銷售總額+當(dāng)日銷售總額"。另外一些場景下,任務(wù)運行完成時間較晚,對于數(shù)據(jù)時效性要求不嚴(yán)格的下游,可以配置依賴該任務(wù)的上周期。3.4.2公共日歷&條件調(diào)度任務(wù)調(diào)度主要是兩個核心設(shè)置,一是依賴關(guān)系,二是日期時間。在日期時間的設(shè)置上,有非常多的場景,需要產(chǎn)品提供靈活個性化的設(shè)置項。Dataphin提供租戶級別的公共日歷功能,支持自定義多個日歷、自定義日期類型(工作日和假日)和靈活的自定義日歷標(biāo)簽,支持在日歷上靈活的設(shè)置標(biāo)簽,配合條件調(diào)度功能幫助用戶在配置調(diào)度任務(wù)時,結(jié)合公共日歷中的定義信息配置組合條件調(diào)度參數(shù),進(jìn)行靈活的調(diào)度?；蛟趧?chuàng)建任務(wù)時引用公共日歷,避免在創(chuàng)建任務(wù)時重復(fù)定義,減少開發(fā)和后期維護(hù)成本。Dataphin調(diào)度系統(tǒng)提供靈活的配置方式,幫助用戶根據(jù)實際業(yè)務(wù)場景梳理上下游數(shù)據(jù)的影響,通過給對應(yīng)的任務(wù)配置依賴條件,確保數(shù)據(jù)依賴關(guān)系正確。3.5智能運維,提升運維人員的滿意度""每個客戶最近30天的平均消費金額指標(biāo)需要基于匯總的門店訂單表來分析,得等訂單表的數(shù)據(jù)更新了才能運行指標(biāo)"ll老板9點就要看報表,這個任務(wù)可一定要盡早跑完,優(yōu)先級要設(shè)置成最最最最最高!"ll怎么又有任務(wù)報錯了,我可不想一直盯著電腦屏幕呀""每天都要回刷歷史數(shù)據(jù),我每天都在做重復(fù)的工作,真的好麻煩呀"以上是數(shù)據(jù)開發(fā)和運維人員日常工作中經(jīng)常會遇到的問題,我們希望給重要的任務(wù)優(yōu)先分配調(diào)度資源和運行資源,保證其順利運行。這些無疑都給開發(fā)運維人員增加了工作難度。運維中心是研發(fā)鏈路重要的保障,包括大盤概覽、任務(wù)運維、實例運維和監(jiān)控告警配置等功能,為您提供任務(wù)操作與運行查看、異常監(jiān)控與及時告警等多方位的運維能力,從而維護(hù)生產(chǎn)任務(wù)有序、正確運行,數(shù)據(jù)正常產(chǎn)出。下面介紹運維中心如何解決問題。Dataphin支持為生產(chǎn)環(huán)境的任務(wù)配置監(jiān)控告警規(guī)則,包括智能基線監(jiān)控、離線任務(wù)監(jiān)控及實時任務(wù)監(jiān)控。幫助您及時了解任務(wù)運行動態(tài),并監(jiān)控異常任務(wù),降低對下游業(yè)務(wù)的影響。Dataphin智能數(shù)據(jù)建設(shè)與治理。任務(wù)監(jiān)控Dataphin支持針對任務(wù)粒度的監(jiān)控配置,可指定具體任務(wù)或通過ll歸屬某個項目下的所有任務(wù)等"方式批量配置任務(wù)告警。不同類型的任務(wù)支持不同的告警原因,以離線監(jiān)控為例,支持完成、出錯、運行超時、未完成等。此外,Dataphin特有的邏輯運維能力,支持針對邏輯表任務(wù)以字段視角進(jìn)行監(jiān)控配置,可通過字段更快捷直觀的分析異常任務(wù)對下游業(yè)務(wù)的影響。為了支持不同接收人角色的區(qū)分告警,Dataphin支持給不同類型的接收人配置不同的告警方式,如:負(fù)責(zé)人電話告警、管理員郵件告警。同時,也支持根據(jù)任務(wù)優(yōu)先級和運行時間,設(shè)置不同的監(jiān)控時間段、告警頻率等,以減少運維人員的人工操作成本,實現(xiàn)靈活的自動化告警。。智能基線監(jiān)控使用智能基線監(jiān)控,只需配置要保障的末節(jié)點,即可根據(jù)依賴關(guān)系自動推算末節(jié)點依賴的所有上游節(jié)點,無需人工介入,大大降低復(fù)雜依賴場景下的配置成本。此外,被納入基線保障范圍的任務(wù)具有更高優(yōu)先級,在同時滿足運行條件時可優(yōu)先下發(fā)到計算引擎執(zhí)行,進(jìn)一步保障重要任務(wù)運行穩(wěn)定性,并在可能產(chǎn)生延遲風(fēng)險的情況下發(fā)送預(yù)警通知,便于提前發(fā)現(xiàn)風(fēng)險。智能基線主要提供以下能力:b自動推算需要納入基線監(jiān)控范圍的任務(wù):添加需要保障的任務(wù)或字段后,系統(tǒng)將基于依賴關(guān)系自動推算需要納入監(jiān)控范圍的上游節(jié)點,這樣一來,即使更新了任務(wù)依賴關(guān)系,也無需更新基線配置,大大降低了人工操作成本;同時也提升了監(jiān)控準(zhǔn)確性,避免因為配置不同步而導(dǎo)致的監(jiān)控缺失。b關(guān)聯(lián)路徑與關(guān)鍵實例識別:基線上需要保障的任務(wù),其依賴關(guān)系可能錯綜復(fù)雜,Dataphin提供甘特圖功能以快速定位阻塞基線上數(shù)據(jù)產(chǎn)出的關(guān)鍵路徑與關(guān)鍵實例,其中影響基線任務(wù)產(chǎn)出的多條路徑中,耗時最長的路徑為基線關(guān)鍵路徑。b自動推算預(yù)計產(chǎn)出時間并觸發(fā)相應(yīng)告警:周期運行過程中,系統(tǒng)將根據(jù)基線鏈路上每個節(jié)點最近7天的歷史運行概況,推算保障節(jié)點的預(yù)計運行完成時間。如果推算出的時間晚于配置的預(yù)警及承諾時間,則會發(fā)送基線告警,給開發(fā)人員和業(yè)務(wù)人員對應(yīng)的通知。3.5.2如何快速定位問題并快速恢復(fù)或修復(fù)數(shù)據(jù)?。智能診斷Dataphin提供了實例運行診斷的能力,從上游依賴、定時時間、限流規(guī)則、調(diào)度資源及實例執(zhí)行5個階段分析實例運行過程中可能產(chǎn)生的異常,同時提供單個任務(wù)每次運行的執(zhí)行日志,可快速定位異常信息進(jìn)行進(jìn)一步分析。通過查看診斷結(jié)果和日志進(jìn)一步排查失敗原因并一鍵定位到需要直接處理的異常實例,并根據(jù)診斷建議執(zhí)行對應(yīng)的操作。用中臺方法論打造企業(yè)級好數(shù)據(jù)。數(shù)據(jù)回溯面向不同的數(shù)據(jù)回溯場景,Dataphin提供靈活、可配置的重跑、強(qiáng)制重跑、補(bǔ)數(shù)據(jù)等功能,并提供基于列表的批量操作能力,可以幫助您快速執(zhí)行相關(guān)操作,大大減少人工操作成本,快速恢復(fù)歷史數(shù)據(jù)。對于任務(wù)配置問題或網(wǎng)絡(luò)環(huán)境問題導(dǎo)致的的運行失敗,可以通過重跑快速恢復(fù)任務(wù)運行。某些特殊場景下,任務(wù)不滿足運行條件時仍然需要強(qiáng)制運行任務(wù),此時可以使用強(qiáng)制重跑功能來實現(xiàn)。Dataphin支持針對單個實例或選中一個起點及其下游,按照依賴關(guān)系進(jìn)行批量重跑或強(qiáng)制重跑(如整條鏈路計算邏輯修改等場景),以實現(xiàn)全鏈路數(shù)據(jù)更新。補(bǔ)數(shù)據(jù)是為了解決數(shù)據(jù)倉庫中存在的數(shù)據(jù)缺失、錯誤、不一致等問題,通過補(bǔ)錄、修復(fù)、補(bǔ)充或更新數(shù)據(jù)來保證數(shù)據(jù)的準(zhǔn)確性、完整性和一致性,滿足業(yè)務(wù)需求和數(shù)據(jù)分析的需要。Datatphin支持多種靈活的補(bǔ)數(shù)據(jù)方式,能夠滿足多樣化的業(yè)務(wù)需求,提高運維人員的工作效率。以下為多種補(bǔ)數(shù)據(jù)模式:b列表模式補(bǔ)數(shù)據(jù):按下游任務(wù)層級篩選任務(wù)。b海量模式補(bǔ)數(shù)據(jù):直接輸入需要補(bǔ)數(shù)據(jù)的任務(wù)ID、或通過指定項目、指定節(jié)點輸出名稱、當(dāng)前節(jié)點的全部下游、指定一級子節(jié)點及其全部下游、指定終點等多種方式來圈選下游節(jié)點的范圍,系統(tǒng)將依據(jù)依賴關(guān)系對選中的任務(wù)進(jìn)行自動編排生成補(bǔ)數(shù)據(jù)實例。定時調(diào)度的補(bǔ)數(shù)據(jù)任務(wù):Datatphin支持配置補(bǔ)數(shù)據(jù)任務(wù)并設(shè)置補(bǔ)數(shù)據(jù)實例的運行規(guī)則,系統(tǒng)將基于任務(wù)配置定時、自動地生成補(bǔ)數(shù)據(jù)實例,適用于周期規(guī)律性的數(shù)據(jù)回刷場景。此外,也支持手動臨時運行補(bǔ)數(shù)據(jù)任務(wù),實現(xiàn)臨時性的補(bǔ)數(shù)據(jù)操作,大大降低重復(fù)性配置成本。。限流管控當(dāng)計算引擎出現(xiàn)性能瓶頸、資源分配不足或需控制任務(wù)下發(fā)時間和順序等場景時,通過配置開發(fā)或生產(chǎn)環(huán)境任務(wù)的限流規(guī)則,保障系統(tǒng)的穩(wěn)定性以及業(yè)務(wù)數(shù)據(jù)按序及時產(chǎn)出。Dataphin支持基于業(yè)務(wù)視角的調(diào)度限流功能,支持根據(jù)任務(wù)優(yōu)先級和資源空閑情況,控制不同時間段內(nèi)不同任務(wù)的下發(fā)數(shù)量。基于限流能力,不僅可以減少對底層計算引擎和上下游數(shù)據(jù)源的并發(fā)壓力,保證高優(yōu)任務(wù)優(yōu)先分配調(diào)度及計算資源,任務(wù)能按序產(chǎn)出;同時也能實現(xiàn)故障異常場景下的快速止血,避免產(chǎn)生因為無法干預(yù)或介入較晚而產(chǎn)生嚴(yán)重的問題,增強(qiáng)整體穩(wěn)定性。例如:在更換底層引擎的場景下,我們可以通過配置全局限流來阻斷任務(wù)的下發(fā);遷移完成后,需要優(yōu)先對核心任務(wù)進(jìn)行補(bǔ)數(shù)據(jù)操作,再逐步恢復(fù)對日常任務(wù)的運行,則可以通過"所屬項目"圈選出日常任務(wù)并將其并發(fā)度設(shè)置為1而核心任務(wù)不設(shè)置并發(fā)限制,來保障資源優(yōu)先分配給核心任務(wù)。調(diào)度資源管控調(diào)度資源指任務(wù)生成的實例調(diào)度所消耗的資源,Dataphin的調(diào)度資源分組管理的功能,能夠幫助您統(tǒng)一管理部署Dataphin實例的集群資源。支持將資源劃分為不同的配額組,不同資源組之間的資源配額互相獨立,并支持為不同租戶、統(tǒng)一租戶下不同項目內(nèi)的任務(wù)單獨指定調(diào)度時使用的自定義資源組,從而保障核心任務(wù)的資源不被搶占,同時也提升整體資源利用率。Dataphin的自定義資源組功能可為您提供以下場景的支持:b核心任務(wù)保障:通過資源組管理可為核心任務(wù)分配單獨的調(diào)度資源組,防止低優(yōu)先級任務(wù)優(yōu)先運行時搶占大量調(diào)度資源而導(dǎo)致高優(yōu)任務(wù)一直在等待調(diào)度資源狀態(tài)。例如,希望保證核心業(yè)務(wù)庫的集成任務(wù)按時運行,那么可以給對應(yīng)的集成任務(wù)配置ll集成專用資源組",其他非核心任務(wù)使用項目默認(rèn)資源組。b按需分配:支持按照租戶、項目、任務(wù)粒度分配資源,可實現(xiàn)不同業(yè)務(wù)部門使用的資源解耦,避免某個部門占用大量資源而影響其他業(yè)務(wù)部門的正常使用。b臨時批量運維操作:大批量補(bǔ)數(shù)據(jù)場景下,可能會占用較多的資源,從而影響周期任務(wù)的正常運行。支持在批量補(bǔ)數(shù)據(jù)等臨時運維操作時指定單獨的資源組,僅對本次運行生效,從而保障任務(wù)日常調(diào)度不受影響。3.6實時集成和實時研發(fā),實現(xiàn)數(shù)據(jù)秒級響應(yīng)3.6.1應(yīng)用場景當(dāng)下,實時數(shù)據(jù)的重要性在各行業(yè)日益凸顯,實時數(shù)據(jù)的精細(xì)管理和優(yōu)化運營對企業(yè)發(fā)展至關(guān)重要。通過實時監(jiān)測和分析各項指標(biāo),企業(yè)能夠快速發(fā)現(xiàn)問題和機(jī)會,及時調(diào)整決策以保持競爭力。例如,實時營銷場景下,企業(yè)可以根據(jù)用戶的實時行為偏好提供個性化推薦和服務(wù),提升用戶滿意度;金融風(fēng)控場景下,通過實時數(shù)據(jù)采集和分析,金融機(jī)構(gòu)可以監(jiān)控交易活動,檢測異常交易模式和風(fēng)險事件。傳統(tǒng)的批處理方式無法滿足實時分析和決策的需求,因此需要實現(xiàn)實時數(shù)據(jù)的采集與研發(fā)至關(guān)重要,以保障數(shù)據(jù)的時效性,發(fā)揮其最大價值。用中臺方法論打造企業(yè)級好數(shù)據(jù)3.6.2解決方案實時集成Dataphin實時集成通過實時抽取數(shù)據(jù)庫CDC(changeDatacapture,變更數(shù)據(jù)捕獲),滿足數(shù)據(jù)實時同步的需求。全配置化交互,一次任務(wù)配置實現(xiàn)整庫數(shù)據(jù)實時同步;支持實時集成任務(wù)運行監(jiān)控告警,降低運維成本。且目標(biāo)庫為Hive以及Maxcompute時,支持以表到表的形式同步數(shù)據(jù),無需再進(jìn)行后續(xù)的日志格式解析。實時集成適用于實時采集表量較大,且無需數(shù)據(jù)實時處理的場景。若需針對采集的實時數(shù)據(jù)進(jìn)行進(jìn)一步的實時加工處理,可以結(jié)合實時研發(fā)構(gòu)建實時數(shù)據(jù)開發(fā)鏈路。實時研發(fā)Dataphin具備全鏈路實時研發(fā)、實時資產(chǎn)管理的能力。。傳統(tǒng)批處理、流處理割裂帶來一定的問題和挑戰(zhàn),如流批底層數(shù)據(jù)模型不一致,導(dǎo)致應(yīng)用層需要做大量的拼接邏輯(同比、環(huán)比、二次加工等),搭建效率低,且容易出錯;流批存儲系統(tǒng)隔離(面向不同寫入場景),提供的數(shù)據(jù)服務(wù)不一致,維護(hù)成本高;手工建數(shù)據(jù)同步任務(wù),開發(fā)成本/存儲成本高(兩份);一個業(yè)務(wù)邏輯,兩個引擎兩套代碼,SQL邏輯不能復(fù)用,數(shù)據(jù)一致性和質(zhì)量難以保障;不同平臺和引擎間切換,開發(fā)體驗割裂,容易出現(xiàn)變更遺漏;批處理&流處理集群無法做到錯峰,資源利用率較低。Dataphin支持全鏈路Flink流計算(Flinkstream)任務(wù)開發(fā)與運維能力,具備擴(kuò)展批處理(FlinkBatch)的產(chǎn)品基礎(chǔ),打通流批一體化,數(shù)據(jù)架構(gòu)具有多方面優(yōu)勢:b效率層面:一套代碼、兩種時效;流批研發(fā)運維一致性體驗;統(tǒng)一元數(shù)據(jù)管理。b成本層面:流批統(tǒng)一存儲,減少資源浪費;流批計算錯峰運行,提升資源利用率。b質(zhì)量和資源層面:變更口徑,可強(qiáng)一致性保障。Dataphin智能數(shù)據(jù)建設(shè)與治理 Bi分析產(chǎn)品 Bi分析產(chǎn)品·在線應(yīng)用等應(yīng)用層產(chǎn)品組裝產(chǎn)品組裝流批存儲透明化,查詢邏輯完全一致產(chǎn)品組裝產(chǎn)品組裝流批存儲透明化,查詢邏輯完全一致,應(yīng)用端接入成本大幅降低點查/OLAP分析統(tǒng)一支持批數(shù)據(jù)服務(wù)層批存儲 流批統(tǒng)批數(shù)據(jù)服務(wù)層批存儲 流批統(tǒng)存儲層·批存儲服務(wù)層統(tǒng)一存儲,無需手工同步,無重復(fù)存儲流數(shù)據(jù)服務(wù)層一套代碼,兩種計算模式,邏輯統(tǒng)一,靈活切換,研發(fā)效率大幅提升流批計算資源混部,資源利用率提升流處理系統(tǒng)批處理系統(tǒng)流數(shù)據(jù)服務(wù)層一套代碼,兩種計算模式,邏輯統(tǒng)一,靈活切換,研發(fā)效率大幅提升流批計算資源混部,資源利用率提升流處理系統(tǒng)批處理系統(tǒng)流批統(tǒng)一處理(Flink)批處理(Maxcompute)Flink/ststreami流批邏輯層onrmispark非必選消息中間件批存儲b流數(shù)據(jù)服務(wù)層消息中間件定時回流(分鐘小時i天) 實時采集增量實時采集(增量)業(yè)務(wù)數(shù)據(jù)庫日志服務(wù)器 業(yè)務(wù)數(shù)據(jù)庫web 實時采集增量實時采集(增量)業(yè)務(wù)數(shù)據(jù)庫日志服務(wù)器 業(yè)務(wù)數(shù)據(jù)庫web、小程序、APP、應(yīng)用日志數(shù)據(jù)同步(全量)日志服務(wù)器關(guān)系型數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫、列存儲數(shù)據(jù)庫等實時研發(fā)功能及優(yōu)勢Dataphin在Flink流批一體的能力之上額外提供了更多的平臺能力,如數(shù)據(jù)源管理、元數(shù)據(jù)管理、資產(chǎn)血緣、資產(chǎn)質(zhì)量控制、預(yù)編譯、調(diào)試等能力:。強(qiáng)兼容性,支持多引擎多數(shù)據(jù)源支持ApacheFlink、阿里云實時計算Flink、MRSFlink等多種實時計算引擎;支持kafka、postgressQL、MYSQL、Hive、oracle、MicrosoftSQLServer、TDB、oceanBase、Mogondb、starRocKs、Hudi、Doris、SLS、Redis、clickHouse、Elasticsearch、ApacheHbase等多種豐富實時數(shù)據(jù)源;支持自定義Flink實時數(shù)據(jù)源,擴(kuò)展實時數(shù)據(jù)來源和輸出可支持的源類型。。開發(fā)生產(chǎn)隔離開發(fā)環(huán)境和生產(chǎn)環(huán)境隔離,保證開發(fā)環(huán)境開發(fā)的業(yè)務(wù)代碼和生產(chǎn)相互之間不干擾。。元數(shù)據(jù)管理各系統(tǒng)組件包括數(shù)據(jù)源、元表、UDX等具備權(quán)限控制功能,敏感型配置信息加密保護(hù)。支持?jǐn)?shù)據(jù)源敏感字段訪問訂閱。元表、函數(shù)、資源等全部單元化可視化的管理,支持元數(shù)據(jù)檢索,作業(yè)依賴、字段血緣的可視化探查,支持跨項目鑒權(quán)(字段級)調(diào)用,讓使用者聚焦業(yè)務(wù)邏輯。元表使得元數(shù)據(jù)可顯示化定義和可管理,安全可靠,支持一次建表,多次引用,承載了權(quán)限管控,上下游血緣資產(chǎn)可查可探。用中臺方法論打造企業(yè)級好數(shù)據(jù)流批一體流批存儲層的統(tǒng)一管理,實現(xiàn)模型層統(tǒng)一,流批代碼統(tǒng)一、在一份代碼上可同時進(jìn)行流和批任務(wù)的各自專屬配置,生產(chǎn)獨立有協(xié)同的調(diào)度實例。。研發(fā)運維提效支持基于代碼模板等多種開發(fā)方式、編輯器智能提示,任務(wù)資源及參數(shù)的靈活配置,全面的版本管理,對象的批量管理、容器化調(diào)試和開發(fā)環(huán)境多模式測試等功能;支持任務(wù)靈活啟停、日志和異常信息分類分級查看、豐富的監(jiān)控指標(biāo)及靈活多樣的告警配置。。穩(wěn)定性及質(zhì)量保障Dataphin實時數(shù)據(jù)質(zhì)量主要面向開發(fā)者,針對產(chǎn)品中實時產(chǎn)出的數(shù)據(jù)表,通過對產(chǎn)出結(jié)果進(jìn)行數(shù)據(jù)質(zhì)量分析和校驗,來保障數(shù)據(jù)的最終有效與準(zhǔn)確。支持流量閾值設(shè)置,防止計算資源過度競爭,避免下游系統(tǒng)過載。支持實時元表質(zhì)量監(jiān)測,可配置統(tǒng)計趨勢監(jiān)測、實時多鏈路對比、實時離線數(shù)據(jù)核對。4·特色研發(fā)能力Dataphin除規(guī)范建模、離線及實時研發(fā)及運維能力外,還提供了兩種特色的資產(chǎn)構(gòu)建能力。4.1標(biāo)簽平臺,一站式標(biāo)簽研發(fā)、管理及應(yīng)用標(biāo)簽作為企業(yè)數(shù)據(jù)資產(chǎn)的一部分,在數(shù)據(jù)應(yīng)用及業(yè)務(wù)中扮演著非常重要的角色。不同的企業(yè)中對標(biāo)簽有不同的應(yīng)用。如金融機(jī)構(gòu)中,對私客戶經(jīng)理需要基于客戶畫像進(jìn)行理財產(chǎn)品推薦。消費金融領(lǐng)域?qū)τ脩糍J前準(zhǔn)入有嚴(yán)格審核,需要基于借貸用戶以及設(shè)備信息建立畫像生成風(fēng)險評估報告,對高風(fēng)險客戶進(jìn)行有效識別。在零售營銷業(yè)務(wù)中,需要針對不同的用戶進(jìn)行運營,如為促進(jìn)高價值新用戶留存提高復(fù)購,制定運營策略ll對當(dāng)天注冊為會員的新用戶,且滿足注冊當(dāng)日消費總金額滿100元條件時,對其進(jìn)行短信營銷,派發(fā)優(yōu)惠券"等。標(biāo)簽資產(chǎn)作為重要的資產(chǎn),也需要進(jìn)行有規(guī)劃的建設(shè)和管理,業(yè)務(wù)部門可便捷高效地使用標(biāo)簽資產(chǎn)用于業(yè)務(wù)。Dataphin標(biāo)簽平臺提供了基于標(biāo)簽類目進(jìn)行標(biāo)簽的開發(fā)、管理、應(yīng)用、治理,實現(xiàn)數(shù)據(jù)資產(chǎn)商業(yè)價值閉環(huán)。4.1.1Dataphin標(biāo)簽平臺概述標(biāo)簽平臺基于Dataphin基礎(chǔ)研發(fā)版能力,面向成熟期企業(yè),提供企業(yè)核心商業(yè)要素的標(biāo)簽建設(shè)與管理能力,幫助企業(yè)沉淀好找好用、易開發(fā)、好治理的數(shù)據(jù)資產(chǎn)。標(biāo)簽平臺面向不同角色的人員提供了全生命周期的標(biāo)簽加工、管理與應(yīng)用功能:。標(biāo)簽管理與運營:從業(yè)務(wù)場景和訴求出發(fā),可進(jìn)行標(biāo)簽市場的規(guī)劃與管理,標(biāo)簽的實體、ID的管理以及標(biāo)簽屬性的前置規(guī)劃,為后續(xù)的標(biāo)簽開發(fā)及標(biāo)簽應(yīng)用做好前置的設(shè)計和規(guī)劃?？蓪?biāo)簽和群組進(jìn)行類目管理、對標(biāo)簽和群組的應(yīng)用進(jìn)行統(tǒng)計分析,從而進(jìn)行標(biāo)簽的運營工作。。標(biāo)簽開發(fā)與生產(chǎn):為標(biāo)簽資產(chǎn)建設(shè)者提供標(biāo)簽生產(chǎn)、群組加工的工作空間,在工作臺可以進(jìn)行視圖和行為關(guān)系的定義,基于視圖、事件、行為關(guān)系進(jìn)行標(biāo)簽、群組加工邏輯配置完成資產(chǎn)開發(fā)與發(fā)布,并上架至資產(chǎn)市場。業(yè)務(wù)人員也可以基于市場的標(biāo)簽或群組進(jìn)行再加工,生成衍生標(biāo)簽、衍生群組用于自己的業(yè)務(wù)。用中臺方法論打造企業(yè)級好數(shù)據(jù)標(biāo)簽應(yīng)用與服務(wù):為標(biāo)簽資產(chǎn)應(yīng)用者提供統(tǒng)一資產(chǎn)門戶,在資產(chǎn)市場可以查看標(biāo)簽熱度,獲取標(biāo)簽上架最新信息,查看標(biāo)簽分布情況以及血緣信息,進(jìn)行標(biāo)簽測試以及統(tǒng)計其離線、在線應(yīng)用情況。為資產(chǎn)應(yīng)用者提供多種資產(chǎn)服務(wù)類型,如標(biāo)簽離線服務(wù),通過批量標(biāo)簽查詢,輸出標(biāo)簽表給到下游報表系統(tǒng);標(biāo)簽實時查詢,通過在線接口請求查詢標(biāo)簽值。4.1.2標(biāo)簽平臺優(yōu)勢依托于Dataphin資產(chǎn)建設(shè)模塊強(qiáng)大的數(shù)據(jù)集成、數(shù)據(jù)研發(fā)及運維能力,以及圍繞標(biāo)簽資產(chǎn)建設(shè)與運營管理的標(biāo)簽平臺有其獨特的優(yōu)勢:。豐富強(qiáng)大的標(biāo)簽加工:支持多類型標(biāo)簽開發(fā),包括離線、實時等標(biāo)簽可視化加工。可基于離線視圖、實時視圖、行為關(guān)系,通過配置化的方式構(gòu)建屬性類、統(tǒng)計類標(biāo)簽、偏好類標(biāo)簽,也可以與已有的標(biāo)簽創(chuàng)建衍生組合標(biāo)簽。通過標(biāo)簽可圈選群組,也可以衍生出新的群組。標(biāo)簽及群組支持周期性調(diào)度及手動加工模式,可提前生產(chǎn),提升性能。。豐富便捷的服務(wù)應(yīng)用:支持多實體標(biāo)簽開發(fā)、標(biāo)簽及群組類目管理、公共及私有標(biāo)簽及群組資產(chǎn)市場管理、離線標(biāo)簽及群組數(shù)據(jù)的導(dǎo)出,在線服務(wù)調(diào)用,滿足多種業(yè)務(wù)場景訴求。通過配置化的方式,即可將標(biāo)簽導(dǎo)出到不同的目標(biāo)數(shù)據(jù)庫中,通過實時服務(wù)能力,應(yīng)用在申請標(biāo)簽及群組權(quán)限后,即可調(diào)用服務(wù)API獲取標(biāo)簽值,或查詢?nèi)航M信息。。多云環(huán)境多引擎支持:多引擎、多種容災(zāi),架構(gòu)擴(kuò)展性強(qiáng)、穩(wěn)定性強(qiáng)、性能高。通過統(tǒng)一的平臺底座,可兼容多種部署環(huán)境,適配主流的大數(shù)據(jù)離線及實時計算引擎。4.2隱私計算,數(shù)據(jù)可用不可見4.2.1隱私計算概述當(dāng)前我國數(shù)據(jù)流通還處在起步階段,數(shù)據(jù)價值無法最大化釋放。因此,數(shù)據(jù)的開放共享、交換流通成為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的重中之重,快速發(fā)展的隱私計算等數(shù)據(jù)流通新技術(shù)為產(chǎn)業(yè)"破局"提供了關(guān)鍵思路,成為建設(shè)和完善數(shù)據(jù)要素市場的重要抓手。Daphin隱私計算,基于隱私計算技術(shù),為企業(yè)提供數(shù)據(jù)可用不可見的數(shù)據(jù)安全流通方案,幫助企業(yè)實現(xiàn)產(chǎn)業(yè)間高效協(xié)同,促進(jìn)行業(yè)、機(jī)構(gòu)實現(xiàn)數(shù)據(jù)價值的共享與協(xié)作。用中臺方法論打造企業(yè)級好數(shù)據(jù)隱匿信息查詢功能介紹:隱匿信息查詢,也稱隱私信息檢索,是指查詢方隱藏被查詢對象關(guān)鍵詞或客戶D信息,數(shù)據(jù)服務(wù)方提供匹配的查詢結(jié)果卻無法獲知具體對應(yīng)哪個查詢對象。適用場景:適用于一些查詢場景,數(shù)據(jù)查詢方不想向數(shù)據(jù)服務(wù)方透露要查詢的內(nèi)容。例如病患想通過醫(yī)藥系統(tǒng)查詢其疾病的治療藥物,如果以該疾病名為查詢條件,醫(yī)療系統(tǒng)將會得知該病人可能患有這樣的疾病,從而病人的隱私被泄露,通過隱私信息查詢可以避免此類泄露問題?？蛻鬉客戶B客戶Aid1id1,id1,id2,id1id1,value1A根據(jù)id向B查詢value值,但不向B透露查詢的是哪一個id客戶A客戶B客戶A用戶id1用戶id1,x3,x4用戶id2,x3,x4原始數(shù)據(jù)不出域,完成聯(lián)合建模安全聯(lián)邦學(xué)習(xí)功能介紹:在原始數(shù)據(jù)不出域的前提下,通過交換各個參與方的算法訓(xùn)練的中間結(jié)果梯度、參數(shù)信息,或完全在密文條件下進(jìn)行計算,從而發(fā)揮參與多方數(shù)據(jù)樣本更豐富、更全面的優(yōu)勢,得出更優(yōu)模型。聯(lián)合建模,分為橫向聯(lián)合建模、縱向聯(lián)合建模。其中,縱向聯(lián)合建模,聯(lián)合多個參與者的共同樣本的不同數(shù)據(jù)特征進(jìn)行聯(lián)合建模,即各個參與者的訓(xùn)練數(shù)據(jù)是縱向劃分的。橫向聯(lián)合建模,聯(lián)合多個參與者的具有相同特征的多行樣本進(jìn)行聯(lián)合建模,即各個參與者的訓(xùn)練數(shù)據(jù)是橫向劃分的。適用場景:縱向聯(lián)合建模,適用于參與者訓(xùn)練樣本ID重疊較多,而數(shù)據(jù)特征重疊較少的情況,例如某銀行和某電商平臺,分別擁有一部分客戶數(shù)據(jù),擁有的客戶特征不一樣,銀行擁有客戶的金融信用數(shù)據(jù),電商擁有客戶的電商消費數(shù)據(jù),期望聯(lián)合兩方數(shù)據(jù)訓(xùn)練精準(zhǔn)營銷模型,則適合使用縱向聯(lián)合建模。橫向聯(lián)合建模,適用于參與者的數(shù)據(jù)特征重疊較多,而樣本ID重疊較少的情況,例如兩家銀行,分別擁有一部分客戶數(shù)據(jù),擁有的客戶特征相似,但各自數(shù)據(jù)偏少,期望聯(lián)合兩方數(shù)據(jù)訓(xùn)練共同訓(xùn)練評分卡模型,則適合使用橫向聯(lián)合建模。Dataphin智能數(shù)據(jù)建設(shè)與治理安全聯(lián)合分析功能介紹:在原始數(shù)據(jù)不可見的前提下,提供SQL模式對多方數(shù)據(jù)進(jìn)行聯(lián)合分析。適用場景:適用于雙方數(shù)據(jù)不共享,但有一些統(tǒng)計分析的需求。例如電商平臺在媒體平臺進(jìn)行了營銷廣告投放,投放結(jié)束后,電商平臺期望能聯(lián)合兩邊的數(shù)據(jù),進(jìn)行全鏈路的營銷活動復(fù)盤分析,就可以借助聯(lián)合分析功能實現(xiàn)?？蛻鬉客戶B客戶A+id1+id1,y1,y2id2,y1,y2原始數(shù)據(jù)不出域,完成聯(lián)合分析4.2.3隱私計算核心優(yōu)勢安全性高Dataphin隱私計算,擁有全鏈路數(shù)據(jù)保護(hù)和權(quán)限管理機(jī)制,在數(shù)據(jù)的數(shù)據(jù)源調(diào)取、算法使用、算法變更環(huán)節(jié),隱私計算都會發(fā)起授權(quán),需要數(shù)據(jù)合作方進(jìn)行確認(rèn)審批,保證數(shù)據(jù)的使用不會出現(xiàn)數(shù)據(jù)合作預(yù)期之外的場景,全程清晰可見。另外,Dataphin隱私計算底層加密算法全部自研,自研算法在多個頂會中稿,底層算法能力已開源。并且,領(lǐng)羊Dataphin隱私計算已獲得工信部、ISO、國家金融評測中心三大類評測。。性能優(yōu)越Dataphin隱私計算生長于阿里數(shù)據(jù)中臺實踐,在解決大數(shù)據(jù)場景下有優(yōu)越的性能,支持百億級別的PSI、億級別的SQL分析,千維聯(lián)邦學(xué)習(xí),隱匿信息查詢秒級返回。。智能化強(qiáng)安全性和性能是隱私計算領(lǐng)域的兩大挑戰(zhàn),想達(dá)到很高的安全性,性能必然受到影響。領(lǐng)羊Dataphin隱私計算,結(jié)合了大量的場景實踐,創(chuàng)新性提出了智能計算模式,能保障安全性的前提下,能根據(jù)場景、數(shù)據(jù)量、網(wǎng)絡(luò)等情況,自動選擇最優(yōu)的協(xié)議、最優(yōu)的計算引擎、最優(yōu)的算法,自動為該場景匹配最優(yōu)的計算模式。用中臺方法論打造企業(yè)級好數(shù)據(jù)5·資產(chǎn)治理:高價值數(shù)據(jù)助力企業(yè)高質(zhì)量發(fā)展隨著各行各業(yè)數(shù)字化轉(zhuǎn)型進(jìn)程的加速,業(yè)務(wù)數(shù)字化的基礎(chǔ)日漸扎實,數(shù)據(jù)驅(qū)動業(yè)務(wù)或數(shù)據(jù)化運營,不再是傳統(tǒng)頭部企業(yè)及大型互聯(lián)網(wǎng)公司的專利,越來越多的企業(yè)也在擁抱數(shù)據(jù)、消費數(shù)據(jù)。因此,數(shù)據(jù)治理的訴求呈現(xiàn)出日漸強(qiáng)烈的趨勢。治理的價值在于構(gòu)建企業(yè)內(nèi)一份質(zhì)量可靠、安全可控、服務(wù)便捷的好數(shù)據(jù),讓數(shù)據(jù)價值得以釋放。然而,數(shù)據(jù)治理并非一蹴而就。一般圍繞四大關(guān)鍵領(lǐng)域ll成本、質(zhì)量、安全、服務(wù)"開展工作,進(jìn)行目標(biāo)設(shè)定:。生產(chǎn)經(jīng)濟(jì):以控制甚至節(jié)約成本為目標(biāo),實際運作則需要拆解到業(yè)務(wù)線或者不同領(lǐng)域范圍的成本控制,比如銷售業(yè)務(wù)線、市場投放線等;。質(zhì)量可靠:以減少數(shù)據(jù)質(zhì)量問題、收窄數(shù)據(jù)質(zhì)量風(fēng)險敞口為目標(biāo),實際運作則需要拆解到應(yīng)用場景或不同數(shù)據(jù)等級,如優(yōu)先保障高管數(shù)據(jù)看板、驅(qū)動業(yè)務(wù)運行涉及的數(shù)據(jù)質(zhì)量等;。安全可控:以滿足合規(guī)要求、防止數(shù)據(jù)泄漏為目標(biāo),實際運作則需要拆解到不同的數(shù)據(jù)類型或流程環(huán)節(jié),如隱私數(shù)據(jù)、監(jiān)管報送數(shù)據(jù)等;。服務(wù)便捷:以盤點供給豐富的數(shù)據(jù)、驅(qū)動數(shù)據(jù)消費為目標(biāo),實際運作則需要拆解到不同的業(yè)務(wù)線、數(shù)據(jù)類型及服務(wù)場景,如營銷推廣業(yè)務(wù)決策等。數(shù)據(jù)資產(chǎn)管理:360全鏈路數(shù)據(jù)洞察與管理數(shù)據(jù)需要資產(chǎn)化管理,而非當(dāng)做成本表、指標(biāo)、API表、指標(biāo)、API等資產(chǎn)對象全景呈現(xiàn)物理元數(shù)據(jù)及邏輯元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量源、表、字段級質(zhì)量監(jiān)控自定義規(guī)則擴(kuò)展及強(qiáng)弱規(guī)則阻斷告警資產(chǎn)安全資產(chǎn)分類分級及數(shù)據(jù)識別敏感字段脫敏及防泄露資源治理計算存儲健康度評估資源陳本管控可治理按圖索確信字段級血緣可追溯數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)、碼表、詞根定義及管理基于資產(chǎn)元數(shù)據(jù)的落標(biāo)關(guān)聯(lián)映射下面,我們就來詳細(xì)看一下每個具體的功能模塊在全鏈路資產(chǎn)治理中發(fā)揮的重要作用。5.1數(shù)據(jù)盤點,厘清數(shù)據(jù)資產(chǎn)現(xiàn)狀數(shù)據(jù)資產(chǎn)盤點往往是企業(yè)評估數(shù)字化轉(zhuǎn)型進(jìn)程、確定數(shù)據(jù)治理的領(lǐng)域、范圍、核心目標(biāo)的第一步。通過對企業(yè)所有數(shù)據(jù)的盤點及管理,可以在數(shù)據(jù)供給側(cè)匯聚全域數(shù)據(jù),體系化地組織數(shù)據(jù)并豐富數(shù)據(jù)信息,同時結(jié)合數(shù)據(jù)運營培訓(xùn)及推廣,建立良好的資產(chǎn)檢索和確信體驗,并連接消費渠道,實現(xiàn)數(shù)據(jù)資產(chǎn)在需求側(cè)消費擴(kuò)大。Dataphin提供了元數(shù)據(jù)的采集與管理能力,幫助企業(yè)用戶快速了解數(shù)據(jù)概貌,并基于統(tǒng)一的元數(shù)據(jù)支撐數(shù)據(jù)開發(fā)與治理的全鏈路。針對不同來源的資產(chǎn)數(shù)據(jù),Dataphin支持不同的采集方式,以更好地適配使用訴求。。域內(nèi)數(shù)據(jù):Dataphin系統(tǒng)支持自動、定時采集倉內(nèi)數(shù)據(jù)資產(chǎn)(即項目綁定的計算源中存儲的數(shù)據(jù)資產(chǎn))的技術(shù)元數(shù)據(jù)信息,無需用戶手動配置,并在資產(chǎn)目錄進(jìn)行統(tǒng)一的呈現(xiàn),便于數(shù)據(jù)開發(fā)人員能及時獲取最新元數(shù)據(jù),并便捷查看和校驗。。全域數(shù)據(jù):針對數(shù)據(jù)源中的資產(chǎn)對象,Dataphin支持配置元數(shù)據(jù)采集任務(wù),可根據(jù)配置的采集頻率、采集范圍、過濾條件等參數(shù)信息,實現(xiàn)端到端的自動化元數(shù)據(jù)采集,實現(xiàn)全局資產(chǎn)盤點。此外,針對臨時性的元數(shù)據(jù)獲取需求,也支持臨時手動運行已配置好的采集任務(wù),一次性獲取最新元數(shù)據(jù)。用中臺方法論打造企業(yè)級好數(shù)據(jù)5.1.2標(biāo)準(zhǔn)化元數(shù)據(jù)管理Dataphin提供完善的ll元數(shù)據(jù)管理"和ll元數(shù)據(jù)豐富"功能。。元數(shù)據(jù)管理:對于直接從源端信息采集到的元數(shù)據(jù),可自動、手動創(chuàng)建版本生成定版元數(shù)據(jù),并支持不同版本之間的差異對比。Dataphin也提供了元數(shù)據(jù)的變動及影響分析統(tǒng)計報告,可查看不同時間段內(nèi)元數(shù)據(jù)總量的變化趨勢、變動頻率即變動百分比等信息,便于資產(chǎn)管理人員和開發(fā)人員快速了解上游系統(tǒng)的穩(wěn)定性。此外,支持自定義元數(shù)據(jù)變動預(yù)警通知,及時獲取變更通知,并在統(tǒng)計報告中查看發(fā)生變更的對象對下游的相關(guān)影響,提前識別潛在風(fēng)險。。元數(shù)據(jù)豐富:資產(chǎn)對象上架到資產(chǎn)目錄前,還可以通過資產(chǎn)盤點功能實現(xiàn)管理元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)的豐富。通過配置資產(chǎn)上架規(guī)則,可快速批量為上架資產(chǎn)添加管理部門、相關(guān)業(yè)務(wù)需求、資產(chǎn)標(biāo)簽等信息,并歸屬到不同的資產(chǎn)目錄,便于統(tǒng)一管理。此外,系統(tǒng)也會采集不同元數(shù)據(jù)之間的血緣關(guān)系并統(tǒng)一呈現(xiàn),可以更清晰直觀的了解元數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。結(jié)合從源端系統(tǒng)采集到的技術(shù)元數(shù)據(jù)和資產(chǎn)盤點過程中豐富的業(yè)務(wù)管數(shù)據(jù),資產(chǎn)管理人員可快速了解數(shù)據(jù)資產(chǎn)概貌,資產(chǎn)開發(fā)和使用人員可快速找到所需要的資產(chǎn)并查看資產(chǎn)詳情,大大降低了溝通成本,快速打通資產(chǎn)消費鏈路。5.1.3全方位資產(chǎn)信息呈現(xiàn)Dataphin支持管理多種類型的資產(chǎn)對象,包括:數(shù)據(jù)表(8種細(xì)分表類型)、字段、指標(biāo)、數(shù)據(jù)源、項目、API、標(biāo)簽等。每種資產(chǎn)對象根據(jù)使用場景和使用方式,在資產(chǎn)目錄展示了不同的信息項,便于消費人員更直接、更快捷的找到自己需要的信息,并評估是否滿足使用訴求。如:數(shù)據(jù)表資產(chǎn),除了基本的表結(jié)構(gòu)和字段信息,還展示了血緣和影響分析,便于在數(shù)據(jù)變更時準(zhǔn)確評估下游影響并通知到相關(guān)人員;可快捷查看已配置的質(zhì)量監(jiān)控規(guī)則和質(zhì)量報告,便于了解數(shù)據(jù)質(zhì)量,判斷是否可用于開發(fā)或分析任務(wù);支持快捷發(fā)起數(shù)據(jù)探查以了解數(shù)據(jù)分布概要、識別是否有主鍵重復(fù)、空值等影響數(shù)據(jù)準(zhǔn)確性的潛在風(fēng)險等等?；诮y(tǒng)一的元數(shù)據(jù)采集與管理,下游應(yīng)用也更加靈活豐富。。數(shù)據(jù)開發(fā)鏈路:數(shù)據(jù)集成任務(wù)中配置來源表和目標(biāo)表時可實時獲取已選數(shù)據(jù)源的最新元數(shù)據(jù)信息,便于開發(fā)人員進(jìn)行選擇;實時研發(fā)任務(wù)可以直接讀取數(shù)據(jù)源表的元數(shù)據(jù)進(jìn)行代碼開發(fā),簡化流程;標(biāo)簽開發(fā)可以通過統(tǒng)一的元數(shù)據(jù)實現(xiàn)簡化來源數(shù)據(jù)集加工和下游調(diào)用服務(wù)開發(fā)的工作量,提升開發(fā)效率。Dataphin智能數(shù)據(jù)建設(shè)與治理·資產(chǎn)治理鏈路:數(shù)據(jù)標(biāo)準(zhǔn)可以結(jié)合采集到的元數(shù)據(jù),對資產(chǎn)進(jìn)行落標(biāo)映射與監(jiān)控,規(guī)范開發(fā);質(zhì)量規(guī)則可以基于采集到的元數(shù)據(jù),監(jiān)控源端數(shù)據(jù)表結(jié)構(gòu)的變更并根據(jù)配置阻斷下游任務(wù)運行或發(fā)出告警,防止數(shù)據(jù)入倉任務(wù)運行異常產(chǎn)生臟數(shù)據(jù)。統(tǒng)一的元數(shù)據(jù)中心不僅幫助企業(yè)管理者更清晰的盤點企業(yè)資產(chǎn)現(xiàn)狀,快速識別現(xiàn)有資產(chǎn)問題,更好地評估資產(chǎn)價值做出決策,也幫助數(shù)據(jù)開發(fā)與消費人員快速找到可用、能用、易用的資產(chǎn),是企業(yè)進(jìn)行標(biāo)準(zhǔn)化數(shù)據(jù)開發(fā)與全鏈路數(shù)據(jù)治理的基石。5.2定標(biāo)、落標(biāo)、核標(biāo)一體化數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)標(biāo)準(zhǔn)是用于描述公司層面需共同遵守的數(shù)據(jù)含義和業(yè)務(wù)規(guī)則,通常從業(yè)務(wù)、技術(shù)、管理三方面進(jìn)行定義,使組織內(nèi)外部使用和交換的數(shù)據(jù)是一致且準(zhǔn)確的。然而,數(shù)據(jù)標(biāo)準(zhǔn)需求缺乏統(tǒng)一管理、不同系統(tǒng)間標(biāo)準(zhǔn)制定依據(jù)各異、資產(chǎn)建設(shè)缺乏和標(biāo)準(zhǔn)的關(guān)聯(lián),使得數(shù)據(jù)標(biāo)準(zhǔn)的建設(shè)和應(yīng)用都面臨很大困難。作為資產(chǎn)治理的重要一環(huán),Dataphin數(shù)據(jù)標(biāo)準(zhǔn)模塊為數(shù)據(jù)標(biāo)準(zhǔn)的建設(shè)提供統(tǒng)一的產(chǎn)品化能力,支持:數(shù)據(jù)標(biāo)準(zhǔn)在線創(chuàng)建管理、關(guān)聯(lián)研發(fā)鏈路提供規(guī)范引導(dǎo)、結(jié)合質(zhì)量監(jiān)控能力實現(xiàn)對資產(chǎn)對象的落標(biāo)稽核,以幫助企業(yè)解決數(shù)據(jù)建設(shè)管理過程中遇到的規(guī)范性、統(tǒng)一性問題,提升企業(yè)整體數(shù)字能力建設(shè)的標(biāo)準(zhǔn)化成熟和資產(chǎn)的健康度。參考數(shù)據(jù)詞根碼表數(shù)據(jù)開發(fā)命名規(guī)范參考數(shù)據(jù)詞根碼表數(shù)據(jù)開發(fā)命名規(guī)范資產(chǎn)評估推進(jìn)整改指導(dǎo)消費標(biāo)準(zhǔn)視角每個標(biāo)準(zhǔn)映射到的對象及核際情況落標(biāo)評估明顯數(shù)據(jù)類型:INT資產(chǎn)視角每個對象映射到的標(biāo)準(zhǔn)及核際情況元數(shù)據(jù)監(jiān)控規(guī)則質(zhì)量監(jiān)控規(guī)則Dataphin支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)定義與應(yīng)用,同時結(jié)合質(zhì)量、安全的能力,從數(shù)據(jù)開發(fā)到資產(chǎn)消費提供全鏈路保障,為業(yè)務(wù),技術(shù)和管理提供服務(wù)和支持。數(shù)據(jù)標(biāo)準(zhǔn)管理的過程就是對數(shù)據(jù)以及數(shù)據(jù)的屬性信息的標(biāo)準(zhǔn)化定義和應(yīng)用的過程。定義創(chuàng)建標(biāo)準(zhǔn)時需要填寫的屬性及需要遵循的規(guī)范配置自定義屬性引用公共屬性屬性信息監(jiān)控規(guī)則業(yè)務(wù)信息字段a<->標(biāo)準(zhǔn)aDataphinDataphin字段、Dataphin指標(biāo)、全域資產(chǎn)、外部注冊資產(chǎn)等用中臺方法論打造企業(yè)級好數(shù)據(jù)相較于傳統(tǒng)模式下用Excel等文件分散管理數(shù)據(jù)標(biāo)準(zhǔn)的方式,Dataphin支持在線創(chuàng)建數(shù)據(jù)標(biāo)準(zhǔn),結(jié)合標(biāo)準(zhǔn)模板和標(biāo)準(zhǔn)目錄的能力,支持一次定義多次復(fù)用和分類管理,減少了定義不統(tǒng)一、理解不一致、落地執(zhí)行難等問題的產(chǎn)生,真正實現(xiàn)了標(biāo)準(zhǔn)的統(tǒng)一管理,讓開發(fā)和治理工作都有據(jù)可循。·模板化在線管理:不同企業(yè)對于數(shù)據(jù)標(biāo)準(zhǔn)的定義不同,應(yīng)用范圍和使用場景也有所差異,為了滿足不同組織對數(shù)據(jù)標(biāo)準(zhǔn)的靈活定義訴求,Dataphin支持創(chuàng)建標(biāo)準(zhǔn)模板,用于管理創(chuàng)建數(shù)據(jù)標(biāo)準(zhǔn)時需要填寫的屬性信息。通過定義每一個標(biāo)準(zhǔn)屬性的填寫規(guī)范(如是否必填、填寫方式、取值范圍約束等),保證基于該模板創(chuàng)建的相同類型的數(shù)據(jù)標(biāo)準(zhǔn)都遵循統(tǒng)一的結(jié)構(gòu)定義,便于后續(xù)的傳播和使用。。批量導(dǎo)入導(dǎo)出:Dataphin也支持快捷將已經(jīng)梳理好的標(biāo)準(zhǔn)明細(xì)文件導(dǎo)入系統(tǒng)進(jìn)行統(tǒng)一管理,或者將已創(chuàng)建的數(shù)據(jù)標(biāo)準(zhǔn)批量導(dǎo)出,批量修改后再一次性錄入更新。只需要下載標(biāo)準(zhǔn)模板并配置沖突策略,就可以實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)的批量錄入和更新,大大提升操作效率。5.2.2靈活的數(shù)據(jù)標(biāo)準(zhǔn)分類管理隨著企業(yè)治理工作的深入,沉淀的數(shù)據(jù)標(biāo)準(zhǔn)可能會越來越多,需要對標(biāo)準(zhǔn)進(jìn)行分類管理,便于查找和統(tǒng)計。此外,部分敏感字段對應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)可能會存在一些不便于公開的機(jī)密信息,需要控制這類標(biāo)準(zhǔn)的查看詳情權(quán)限。針對上述訴求,Dataphin支持最多五級標(biāo)準(zhǔn)目錄管理;此外ll標(biāo)準(zhǔn)集"作為一種特殊的標(biāo)準(zhǔn)目錄,除了分類的作用外,還承載標(biāo)準(zhǔn)查看權(quán)限管控和審批流程定義的作用。數(shù)據(jù)標(biāo)準(zhǔn)需要先唯一歸屬一個標(biāo)準(zhǔn)集,并跟隨標(biāo)準(zhǔn)集歸屬到不同的標(biāo)準(zhǔn)目錄,實現(xiàn)靈活分類管理。實際應(yīng)用中,建議一張表(如客戶信息維度表)或一個業(yè)務(wù)實體(如客戶、商品)對應(yīng)一個標(biāo)準(zhǔn)集,并根據(jù)業(yè)務(wù)相關(guān)性將標(biāo)準(zhǔn)集上掛到不同的標(biāo)準(zhǔn)目錄下;其次,每個標(biāo)準(zhǔn)類型對應(yīng)一個標(biāo)準(zhǔn)模板(如基礎(chǔ)標(biāo)準(zhǔn)、指標(biāo)標(biāo)準(zhǔn)),從而簡化標(biāo)準(zhǔn)規(guī)范定義的工作,同時也能滿足靈活、多樣化的管理訴求。5.2.3完整的數(shù)據(jù)標(biāo)準(zhǔn)生命周期管理Dataphin支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)的全生命周期管理。。開發(fā)態(tài):數(shù)據(jù)標(biāo)準(zhǔn)創(chuàng)建完成后默認(rèn)生成ll草稿態(tài)"版本,確認(rèn)填寫無誤后可以提交標(biāo)準(zhǔn)上線申請并生成對應(yīng)的審批任務(wù)。審批通過前,標(biāo)準(zhǔn)的狀態(tài)為ll修訂中"。注意,開發(fā)態(tài)的數(shù)據(jù)標(biāo)準(zhǔn)不支持參與落標(biāo)映射和評估監(jiān)控。用中臺方法論打造企業(yè)級好數(shù)據(jù)。手動批量導(dǎo)入:Dataphin也支持導(dǎo)入Excel文件的方式實現(xiàn)手動批量導(dǎo)入映射關(guān)系,只需要下載配置模板,根據(jù)配置說明提示填寫配置文件后上傳,并根據(jù)需要配置更新策略,即可完成映射關(guān)系的批量導(dǎo)入。此外,針對已經(jīng)生成的映射關(guān)系,支持人工審核后根據(jù)映射是否正確將其劃分為"有效映射"和ll無效映射",僅有效映射關(guān)系會參與到后續(xù)的落標(biāo)評估監(jiān)控環(huán)節(jié),避免產(chǎn)生誤告警影響正常使用。5.2.5有效的數(shù)據(jù)標(biāo)準(zhǔn)落地評估和監(jiān)控映射關(guān)系配置完成后,如何判斷映射成功的資產(chǎn)對