數(shù)據(jù)治理：數(shù)據(jù)中臺建設(shè)與能力提升策略 2024

博睿數(shù)據(jù)重磅發(fā)布1.數(shù)據(jù)治理是什么2.建設(shè)數(shù)據(jù)治理的背景3.數(shù)據(jù)中臺和數(shù)據(jù)治理4.Bonree如何做數(shù)據(jù)治理5.總結(jié)01數(shù)據(jù)治理是什么由于切入視角的不同，不同的機(jī)構(gòu)和組織對數(shù)據(jù)治理有不同的定義國際數(shù)據(jù)治理研究所國際數(shù)據(jù)治理研究所取什么行動。”國際數(shù)據(jù)管理協(xié)會“數(shù)據(jù)治理是對數(shù)據(jù)資產(chǎn)的活動集合(規(guī)劃、監(jiān)控和執(zhí)行)?！薄爸笇?dǎo)數(shù)據(jù)管理活動的權(quán)威決策制定和權(quán)力的框架”02數(shù)據(jù)治理的背景·提高數(shù)據(jù)質(zhì)量有助于確保數(shù)據(jù)的準(zhǔn)確性、完整性和一致性，為運(yùn)維團(tuán)隊提供可靠的信息來源·提高數(shù)據(jù)安全數(shù)據(jù)治理包括對數(shù)據(jù)的保護(hù)和安全管理，例如訪問控制、加密和數(shù)據(jù)備份·提高數(shù)據(jù)一致性·支持決策·提高運(yùn)維水平2.2.運(yùn)維行業(yè)數(shù)據(jù)治理時的主要痛點(diǎn)·數(shù)據(jù)質(zhì)量問題·數(shù)據(jù)分散和碎片化·技術(shù)與工具選擇·缺乏數(shù)據(jù)治理經(jīng)驗·持續(xù)改進(jìn)和優(yōu)化03數(shù)據(jù)中臺和數(shù)據(jù)治理在數(shù)字化轉(zhuǎn)型浪潮中，為了應(yīng)對信息孤島挑戰(zhàn)，企業(yè)迫切需要構(gòu)建一個互聯(lián)互通的平臺來打破壁壘，促進(jìn)信息的高效流通。數(shù)據(jù)中臺作為企業(yè)數(shù)據(jù)治理的核心架構(gòu)，可以實現(xiàn)數(shù)據(jù)的統(tǒng)一存儲、處理和管理，為業(yè)務(wù)部門提供高質(zhì)量的數(shù)據(jù)服務(wù)，成為推動企業(yè)持續(xù)、高效發(fā)展的重要引擎。數(shù)據(jù)中臺幫助整合各種系統(tǒng)、來源、格式的數(shù)據(jù)，提供統(tǒng)一的存儲②數(shù)據(jù)質(zhì)量管理③元數(shù)據(jù)管理數(shù)據(jù)中臺可以建立元數(shù)據(jù)的管理體系，記錄數(shù)據(jù)的定義、來源關(guān)聯(lián)性，方便數(shù)據(jù)檢索和使用④數(shù)據(jù)安全與合規(guī)數(shù)據(jù)中臺能提供一系列安全跟合規(guī)管理，包括數(shù)據(jù)加密和防控⑤數(shù)據(jù)分析與可視化數(shù)據(jù)中臺提供的數(shù)據(jù)服務(wù)能夠支持可視化分析工具取數(shù)，從而實現(xiàn)挖掘等功能，幫助發(fā)現(xiàn)潛在問題，優(yōu)化運(yùn)維的流程和提高運(yùn)維水平⑥標(biāo)準(zhǔn)化與最佳實踐確保數(shù)據(jù)治理的一致性和規(guī)范性，提高數(shù)據(jù)治理效3.2.1.數(shù)據(jù)中臺的建設(shè)思路1.建設(shè)統(tǒng)一的可觀測平臺思路1思路1集合各個系統(tǒng)，打通前端的登錄，快速整合搭建統(tǒng)一的平臺思路2思路2從業(yè)務(wù)、數(shù)據(jù)、架構(gòu)等方面全部重新規(guī)劃調(diào)整，整合各個團(tuán)隊骨干從0到1建設(shè)統(tǒng)一的可觀測平臺優(yōu)點(diǎn)：將數(shù)據(jù)做全面完整的梳理，夯實數(shù)據(jù)基礎(chǔ)，為后續(xù)的信息整合、特征關(guān)聯(lián)、業(yè)不足：時間花費(fèi)長、建設(shè)成本高2.利用數(shù)據(jù)中臺建設(shè)BonreeONE①一體化解決方案：實現(xiàn)領(lǐng)域建模②分層設(shè)計：低耦合、插件化、存儲可替換③高并發(fā)：多活、去熱點(diǎn)、分布式④高性能：攢批、壓縮、編碼、預(yù)處理⑤高可用QQ數(shù)據(jù)采集層數(shù)據(jù)接收處理層基礎(chǔ)服務(wù)層數(shù)據(jù)存儲層應(yīng)用層3.2.2.數(shù)據(jù)中臺設(shè)計設(shè)計目標(biāo)：全數(shù)據(jù)統(tǒng)一處理、對業(yè)務(wù)側(cè)屏蔽底層、無編碼應(yīng)對數(shù)據(jù)處理&建模、提升業(yè)務(wù)迭代速度、多源多源異構(gòu)數(shù)據(jù)多源異構(gòu)數(shù)據(jù)應(yīng)用市場引擎中臺能力(數(shù)據(jù)標(biāo)準(zhǔn)化)推數(shù)據(jù)治理/數(shù)據(jù)中臺的能力包括數(shù)據(jù)處理和數(shù)據(jù)服務(wù)。數(shù)據(jù)處理OneETL能夠支持輸入、轉(zhuǎn)換、清晰、輸出各種算子，同時支持多租戶。同時，博睿數(shù)據(jù)對OneETL做了可視化的編排方式，使其既能處理數(shù)據(jù)又能做到租戶間隔離。而數(shù)據(jù)中臺的另一塊核心業(yè)務(wù)：數(shù)據(jù)服務(wù)，則由OneService來實現(xiàn)，能夠提供統(tǒng)一的BQL(業(yè)務(wù)側(cè)在查底層數(shù)據(jù)時不會感知到指標(biāo)不同的存儲方式)、聯(lián)邦查詢(不同數(shù)據(jù)庫的指標(biāo)能夠呈現(xiàn)在同一個結(jié)果集中)、數(shù)據(jù)治理(通過指標(biāo)的元數(shù)據(jù)看到指標(biāo)類型與維度然后進(jìn)一步通過指標(biāo)查詢；根據(jù)流量情況，在流量高峰時降級處理數(shù)據(jù)；提供多租戶)等。狀態(tài)監(jiān)控json1.使用門檻低，能夠?qū)崿F(xiàn)可視化拖拽，通過DAG實現(xiàn)算子靈活編排2.擴(kuò)展性好，插件化算子設(shè)計能夠?qū)崿F(xiàn)輸入、計算、輸出算子插件化擴(kuò)展3.具備日志、json半結(jié)構(gòu)化數(shù)據(jù)處理能力，支持嵌套結(jié)構(gòu)的節(jié)省處理4.部署成本低，與spark/fink相比，自研DAG及算子的部署成本節(jié)約一半結(jié)果數(shù)據(jù)<原始數(shù)據(jù)任務(wù)緩存服務(wù)發(fā)現(xiàn)服務(wù)注冊指標(biāo)注冊指標(biāo)模塊任務(wù)信息獲取任務(wù)分發(fā)OneETL的三個關(guān)鍵技術(shù)點(diǎn)技術(shù)點(diǎn)一：任務(wù)編排DAGDAG(Directedacyclicgraph:有向無環(huán)圖):如分流后不能有交集·原則：單輸物多輸出1.易于維護(hù)2.靈活性強(qiáng)3.可重用性高4.易于并行執(zhí)行技術(shù)點(diǎn)二：OneETLSPI插件1.松耦合2.擴(kuò)展性強(qiáng)3.透明化引入SPI插件雖然可以增加靈活性，但把插件包加載到po1.定義插件類加載器PluginClassLoader,通過定義指定的類加載器加載插件、采用默認(rèn)類加載器會出現(xiàn)NoSuchMethodError2.定義插件發(fā)現(xiàn)類PluginDiscovery,通過jar或者指定的pom文件用來發(fā)現(xiàn)插件。3.加載指定的插件，加載通過PluginDiscovery發(fā)現(xiàn)的插件4.定義打包邏輯，在工程打包的時候通過指定打包方式將插件打包至指定目錄供引用插件的模塊插件依賴資源管理目標(biāo)1.對線程資源進(jìn)行有效管理2.實現(xiàn)資源共享及獨(dú)享并提升數(shù)據(jù)集成穩(wěn)定性及提升資源利用率3.實現(xiàn)公有任務(wù)資源共享，私有任務(wù)資源獨(dú)占，并支持共享及獨(dú)享可切換worker2數(shù)據(jù)服務(wù)ProcessParsePlan元數(shù)據(jù)定義元數(shù)據(jù)建模DispatchCalculation元數(shù)據(jù)規(guī)范數(shù)據(jù)治理租戶行為監(jiān)控性能監(jiān)控資源監(jiān)控用量監(jiān)控租戶管理關(guān)鍵能力二、性能提升數(shù)據(jù)服務(wù)關(guān)鍵處理流程3查詢流元數(shù)據(jù)操作Bonree做數(shù)據(jù)治理的實操七步驟1.明確治理目標(biāo)和范圍2.搭建數(shù)據(jù)中臺基礎(chǔ)架構(gòu)OO器OpanAPIRedisClickhouconflg/entyontrOnoETL3.數(shù)據(jù)接入與整合將分散在不同系統(tǒng)和平臺的數(shù)據(jù)接入到數(shù)據(jù)中臺，進(jìn)行統(tǒng)一存儲和管理。通過數(shù)據(jù)整合和清洗，消除重復(fù)、錯誤和不一致的數(shù)據(jù)，提高數(shù)據(jù)質(zhì)量。數(shù)據(jù)倉庫消息隊列一拉取Plugins...Plugins..4.元數(shù)據(jù)管理在數(shù)據(jù)中臺中建立元數(shù)據(jù)管理體系，記錄數(shù)據(jù)的定義、來源、關(guān)聯(lián)關(guān)系等信息。這有助于提高數(shù)據(jù)的可理解性，方便數(shù)據(jù)的檢索和使用。0H方one.service.service.throughput.reque次次one_apm_datasource_吐neservice.service.throughputroquesiCountPerMi吐ne.servioe.snkoe.eror次one_apm_datasource_gran次neervie而sumgequestcount-0.0.suone,serviee.ervieeperformancee無ono_mpm_datasourco_grantintofocoone.seriee.service.performance.nomma次次one.service.service.performancerespon向應(yīng)時間isumyequestcount=0,one,servke,serviee,performaneeresponone,ervke.servikeperfomancereapomone,serviee,servieeperformanceresponsone_apm_datasource_minjmin_response_tiservice.seniceperfomancerea向應(yīng)時間次次service.performancc.ver次次無%one.sericeserniceperformance.verySlo無%one,serviee,servicetraceollectio次次0one,servie,servieetracediean次次5.數(shù)據(jù)安全與合規(guī)確保數(shù)據(jù)中臺的安全和隱私，實施訪問控制、加密、備份等措施6.數(shù)據(jù)服務(wù)開放通過數(shù)據(jù)服務(wù)層，將數(shù)據(jù)中臺中的數(shù)據(jù)以BQL、數(shù)據(jù)報表等形式提供給業(yè)務(wù)部門。這有助dimension['serviceld']asservicelfrm(metric['one.service.sum(metric['one.service.instance.performance.normalCount'])assum(metric['one.service.instance.error.errorRequestCount'])as"errorCount",sum(metric['one.service.instance.throughput.requestCount']andmonitor_time<'2024-06-1213:7.數(shù)據(jù)治理流程和策略優(yōu)化根據(jù)數(shù)據(jù)治理的實際效果和需求變化，不斷優(yōu)化數(shù)據(jù)中臺的治理