一種基于數(shù)據(jù)血緣分析的數(shù)據(jù)治理方法研究與應(yīng)用

于數(shù)據(jù)血緣分析的數(shù)據(jù)治理方法【摘要】：在數(shù)據(jù)中臺(tái)的建設(shè)過程中，作為數(shù)據(jù)治理的重要手段，引入了數(shù)據(jù)血緣可視化分析的思想，針對(duì)數(shù)據(jù)表級(jí)、字段級(jí)等不同級(jí)別下的數(shù)據(jù)實(shí)現(xiàn)，介紹了數(shù)據(jù)血緣解析、數(shù)據(jù)血緣可視化兩個(gè)部分的技術(shù)架構(gòu)和解決方案，以及在電力交易數(shù)據(jù)管理中的應(yīng)用，從而提高對(duì)數(shù)據(jù)加工和處理過程的監(jiān)控和管理水平?！娟P(guān)鍵詞】：數(shù)據(jù)血緣；數(shù)據(jù)中臺(tái)；數(shù)據(jù)治理隨著大數(shù)據(jù)、云平臺(tái)等技術(shù)的發(fā)展，很多企業(yè)開啟了數(shù)字化、智能化轉(zhuǎn)型的戰(zhàn)略，采用了數(shù)據(jù)中臺(tái)的建設(shè)思想，將傳統(tǒng)的獨(dú)立的信息孤島進(jìn)行整合，建立企(1)數(shù)據(jù)流向及關(guān)聯(lián)關(guān)系展現(xiàn)：數(shù)據(jù)中臺(tái)的架構(gòu)通常采用數(shù)據(jù)分層建模貼源層(ODS)、明細(xì)層(DWD)、匯總層(DWS)、應(yīng)用層模型(ADS)，各層之據(jù)庫表存在著錯(cuò)綜復(fù)雜的數(shù)據(jù)流向關(guān)系，隨著項(xiàng)目規(guī)模的擴(kuò)大，數(shù)據(jù)管理者無法從全局角度清晰地查看整體系統(tǒng)的數(shù)據(jù)流向及關(guān)聯(lián)關(guān)系。過程中，往往會(huì)出現(xiàn)對(duì)一些數(shù)據(jù)質(zhì)量問題，然而數(shù)據(jù)處理過程環(huán)節(jié)多，實(shí)現(xiàn)形式多樣，依賴關(guān)系復(fù)雜，數(shù)據(jù)開發(fā)和運(yùn)維人員很難準(zhǔn)確記憶數(shù)據(jù)的來龍去脈，很難及時(shí)有效地定位問題的位置，同樣當(dāng)某個(gè)數(shù)據(jù)處理環(huán)節(jié)出現(xiàn)問題時(shí)，也難以分析影響的范圍。(3)面向非結(jié)構(gòu)化文件數(shù)據(jù)內(nèi)容的血緣分析：隨著大數(shù)據(jù)技術(shù)的發(fā)展和，相比傳統(tǒng)的數(shù)據(jù)倉庫體系，數(shù)據(jù)來源和數(shù)據(jù)產(chǎn)品呈現(xiàn)多樣化特點(diǎn)，例如鏈路的跟蹤和監(jiān)控，并且能夠提供技術(shù)，研發(fā)適用于大數(shù)據(jù)場(chǎng)景的數(shù)據(jù)采集、數(shù)據(jù)血緣解析、數(shù)據(jù)血緣le(3)非結(jié)構(gòu)文件數(shù)據(jù)采集：指對(duì)非結(jié)構(gòu)化文件及數(shù)據(jù)內(nèi)容的采集和存儲(chǔ)，通過對(duì)文件內(nèi)容的解析提取，建立文件與數(shù)據(jù)內(nèi)容的關(guān)聯(lián)關(guān)系，轉(zhuǎn)換為結(jié)構(gòu)化的信息存儲(chǔ)。(4)任務(wù)執(zhí)行日志采集：基于任務(wù)的自動(dòng)調(diào)度，自動(dòng)生成任務(wù)的執(zhí)行記錄信息，對(duì)任務(wù)的執(zhí)行記錄進(jìn)行匯集。(5)自定義數(shù)據(jù)流程采集：基于自定義的數(shù)據(jù)開發(fā)工具，通過拖拽式的據(jù)的開發(fā)和存儲(chǔ)應(yīng)用。數(shù)據(jù)血緣解析負(fù)責(zé)將采集后的數(shù)據(jù)進(jìn)行關(guān)系識(shí)別，轉(zhuǎn)換成血緣數(shù)據(jù)進(jìn)行存儲(chǔ)，面。(1)任務(wù)級(jí)血緣解析：用于展現(xiàn)任務(wù)處理的數(shù)據(jù)加工鏈路場(chǎng)景，使得用戶可以從更高的層次看到某個(gè)對(duì)象的數(shù)據(jù)加工流程鏈路、任務(wù)的執(zhí)行時(shí)間、所在的的執(zhí)行成功情況等。(2)數(shù)據(jù)級(jí)血緣解析：包含數(shù)據(jù)表級(jí)血緣解析、字段級(jí)血緣解析、非結(jié)構(gòu)1)數(shù)據(jù)表級(jí)血緣解析：用于關(guān)系型數(shù)據(jù)的主題表之間的數(shù)據(jù)鏈路關(guān)系，一般用于反映不同層級(jí)之間的對(duì)象關(guān)系場(chǎng)景。2)字段級(jí)血緣解析[2]：指元數(shù)據(jù)的血緣，相比對(duì)象級(jí)血緣解析粒度更細(xì)致，主要包含主題表的字段、屬性、文件的屬性之間的數(shù)據(jù)來源關(guān)系。3)非結(jié)構(gòu)化文件數(shù)據(jù)解析：用于關(guān)系型數(shù)據(jù)的主題表、非關(guān)系型數(shù)據(jù)文件對(duì)象等之間的數(shù)據(jù)鏈路關(guān)系。2.3數(shù)據(jù)血緣展現(xiàn)數(shù)據(jù)血緣展現(xiàn)，指通過大數(shù)據(jù)可視化圖表的方式將解析后的血緣數(shù)據(jù)圖形化地呈現(xiàn)出來，具體包含展現(xiàn)任務(wù)級(jí)、數(shù)據(jù)級(jí)數(shù)據(jù)，此外，支持用戶的交互操作，能夠點(diǎn)擊血緣圖中的數(shù)據(jù)對(duì)象和節(jié)點(diǎn)查詢相關(guān)的詳細(xì)信息。(1)繪制任務(wù)級(jí)數(shù)據(jù)處理過程監(jiān)視繪制各層級(jí)的數(shù)據(jù)處理過程可視化展示界面，直觀呈現(xiàn)數(shù)據(jù)處理過程及運(yùn)行狀態(tài)，為數(shù)據(jù)運(yùn)維人員提供數(shù)據(jù)全鏈路監(jiān)控管理界面。(2