AloudataBIG-主動元數(shù)據(jù)DataOps建設(shè)新支點

大應(yīng)科技/趙尉淋極客邦科技2024年會議規(guī)劃會議時間：已結(jié)束會議時間：已結(jié)束會議時間：已結(jié)束會議時間：已結(jié)束全球人工智能開發(fā)與應(yīng)用大會會議時間：12月20-21日會議時間：已結(jié)束會議時間：12月20-21日4月5月6月8月8月10月12月全球人工智能開發(fā)與應(yīng)用大會會議時間：已結(jié)束會議時間：已結(jié)束會議時間：10月18-19日·20年數(shù)據(jù)領(lǐng)域經(jīng)驗，大應(yīng)科技聯(lián)合創(chuàng)始人，現(xiàn)任首席數(shù)據(jù)架構(gòu)師和客戶成功官，對金融業(yè)務(wù)數(shù)智化有深刻理解和豐富實戰(zhàn)經(jīng)驗·原螞蟻集團、菜鳥集團數(shù)據(jù)平臺部數(shù)據(jù)架構(gòu)師。菜鳥物流數(shù)據(jù)體系主要設(shè)計者和建設(shè)者。曾主導(dǎo)螞蟻集團2020年全域數(shù)據(jù)架構(gòu)升級和治理工作 ·主動元數(shù)據(jù)平臺是DataOps體系的新支點·什么是主動元數(shù)據(jù)平臺·什么是算子級血緣工具生態(tài)和鏈路復(fù)雜性劇烈膨脹的現(xiàn)代數(shù)據(jù)工程架構(gòu)加劇數(shù)據(jù)協(xié)同與管理、交付困境企業(yè)數(shù)據(jù)應(yīng)用場景增加，參與數(shù)據(jù)管道構(gòu)建團隊增多，數(shù)據(jù)管道TT數(shù)據(jù)量成倍增加，ETL任務(wù)成倍增長，ETL工程師人均維護數(shù)據(jù)流中的表和數(shù)據(jù)管道的數(shù)量成倍增加，依靠ETL工程師很難在高度復(fù)雜數(shù)據(jù)流中找到優(yōu)化方案數(shù)據(jù)交付weteogrosbat越來越多的業(yè)務(wù)場景要求需求響應(yīng)效率從月/周到天/持多維度明細下探，強調(diào)數(shù)據(jù)分析一致性，以及技術(shù)上weteogrosbatDataOps架構(gòu)理念：數(shù)據(jù)旅程各環(huán)節(jié)緊密銜接，快速響應(yīng)需求架DataOps突破現(xiàn)代數(shù)據(jù)工程架構(gòu)困境，實現(xiàn)“數(shù)據(jù)優(yōu)先”■通過引入DataOps,實現(xiàn)“數(shù)據(jù)優(yōu)先定位：面向數(shù)據(jù)管理做優(yōu)化目標：追求數(shù)據(jù)的高可用性(不遲、不錯、不重、不漏)機制：核心產(chǎn)出數(shù)據(jù)資產(chǎn)，數(shù)據(jù)運維方式隱式，盡量自動化一站式、一體化建設(shè)InfoQ極客傳媒DataOps體系建設(shè)的“一個目標、兩個實現(xiàn)”流程優(yōu)化技術(shù)升級從“人盯人”升級成“事盯人”從“人治”升級成“機治”數(shù)據(jù)優(yōu)先即業(yè)務(wù)優(yōu)先從“人盯人”升級成“事盯人”從“人治”升級成“機治”敏捷、可靠、自動■推動數(shù)據(jù)探查、開發(fā)、測試、部署、運維和監(jiān)控等DataOps工作流高效運轉(zhuǎn)包括數(shù)據(jù)表的元數(shù)據(jù)，涵蓋了腳本、模型、指標、報表以及數(shù)據(jù)使用行為等與數(shù)據(jù)相關(guān)的所有元數(shù)據(jù)精準通過自動化采集、動態(tài)更新、多種解析方法和智能挖掘，構(gòu)建全面、準確且實時更新的算子級數(shù)據(jù)血緣圖譜能夠?qū)崟r監(jiān)控數(shù)據(jù)變更，預(yù)測數(shù)據(jù)質(zhì)量問題和合規(guī)風(fēng)險，并提供智能化的被動元數(shù)據(jù)被動元數(shù)據(jù)主動元數(shù)據(jù)監(jiān)控等全部DataOps活動數(shù)據(jù)流(有“治”):實現(xiàn)主動數(shù)據(jù)管理控制流主動元數(shù)據(jù)平臺主動元數(shù)據(jù)平臺數(shù)據(jù)解耦據(jù)標平臺數(shù)據(jù)編排智晰物化據(jù)標平臺工作流(有“序”):實現(xiàn)敏捷數(shù)據(jù)協(xié)同工作流(有“序”):實現(xiàn)敏捷數(shù)據(jù)協(xié)同屬性開發(fā)測試生味生融科描大告生味生融科描大告算子級血緣解析算子級血緣解析元數(shù)據(jù)語義挖掘元數(shù)據(jù)語義挖掘反向元數(shù)據(jù)集成主動元數(shù)據(jù)服務(wù)反向元數(shù)據(jù)集成主動元數(shù)據(jù)服務(wù)可配置化提供各類服務(wù)API,與客戶的數(shù)據(jù)主動元數(shù)據(jù)平臺能力圖譜數(shù)據(jù)庫數(shù)據(jù)庫智能數(shù)據(jù)助手血緣頁面集成釘釘/企業(yè)IM集成服務(wù)API調(diào)智能數(shù)據(jù)助手元數(shù)據(jù)知識圖譜數(shù)據(jù)開發(fā)運維助手數(shù)據(jù)開發(fā)運維助手數(shù)據(jù)治理運營助手HipAccuracy看板看板指標算法模型非結(jié)構(gòu)化實體報表數(shù)據(jù)質(zhì)量管控平臺OBRMD_C_T84_VBS.列1精準刻畫血緣關(guān)系1月度業(yè)務(wù)分析報表月度業(yè)務(wù)分析報表季度業(yè)務(wù)季度業(yè)務(wù)分析報表醉擱表期末余額TabisnTabisnpACOUCT全鏈路端到端連通全鏈路端到端連通3擱3精確理解字段口徑全連通一張圖全疆路可視自定義資產(chǎn)可按規(guī)范接入血緣，打通從源通到應(yīng)用端全鏈路精準刻畫字段加工口徑，自動理解計算語義塔比數(shù)據(jù)專家的SCL任務(wù)腳本理解能力“四大”顯著特性，解決數(shù)據(jù)管理中的多項“頑疾”精細準確主動元數(shù)據(jù)平臺●5分鐘看清復(fù)雜字段口徑復(fù)雜SQL代碼高精度解析，字段計算口徑的自動提取和準確裁剪解決血緣泛化問題，實現(xiàn)精準溯源和影響面分析，根治了表/列血緣發(fā)散過快引發(fā)大量噪音的問題，10倍提升數(shù)據(jù)盤點效率全面集成調(diào)度或數(shù)據(jù)異常消息，輔助精準定位上游“估下游影響面量化評估字段級(指標)相似度，主動識別全域重復(fù)資產(chǎn)，促進持續(xù)且主動的重復(fù)模型治理，自動識別鏈路冗余依賴，生成模型優(yōu)化建議會案例分享：招商銀行基于列算子血緣的模型優(yōu)化和變更協(xié)同應(yīng)用實踐以主動元數(shù)據(jù)為基石，圍繞著DataOps基于算子血緣構(gòu)建的智能數(shù)據(jù)助手應(yīng)用于數(shù)倉持續(xù)優(yōu)化理念構(gòu)建一站式智能數(shù)據(jù)研發(fā)平臺基于算子血緣構(gòu)建的智能數(shù)據(jù)助手應(yīng)用于全鏈路變更協(xié)同升級現(xiàn)有血緣圖譜到高精準的算子級血緣圖譜案例分享：杭州銀行基于主動元數(shù)據(jù)平臺實現(xiàn)重點鏈路主動保障風(fēng)險監(jiān)測&異常歸因持續(xù)分析全鏈路變更及質(zhì)量異常，輔助異主動評估下游影響，通知受影響的下游應(yīng)腳本變更元數(shù)據(jù)變更事件影響分析口徑變化任務(wù)調(diào)度事件影響分析口徑變化任務(wù)調(diào)度事件鏈路風(fēng)險報告質(zhì)量檢測事件鏈路風(fēng)險報告任務(wù)異常變更異常任務(wù)異常100%精準的表血緣，業(yè)務(wù)應(yīng)用也有限不可見作業(yè)腳本內(nèi)部黑盒基于開源血緣軟件看不清字段影響作業(yè)腳本作業(yè)腳本內(nèi)部白盒化字段D2字段日3像數(shù)據(jù)庫引擎一樣去解析代碼細節(jié)作業(yè)腳本內(nèi)部黑盒字段日3輸入喪日基于開源血緣軟件看不清加工邏輯看不清加工邏輯能夠清晰展現(xiàn)數(shù)據(jù)流向，使數(shù)據(jù)前因后果之間形成邏輯上的連通高精準能夠精確描述和記錄數(shù)據(jù)的每一次處理和轉(zhuǎn)換，哪怕最微小的數(shù)據(jù)變化極細致能夠為每個數(shù)據(jù)操作提供細粒度跟蹤，精細管控數(shù)據(jù)質(zhì)量和流動實時保鮮能夠?qū)崟r解析數(shù)據(jù)血緣，及時反映數(shù)據(jù)最新狀態(tài)和應(yīng)用程序變更基于算子級血緣，實現(xiàn)真正的“敏捷協(xié)同和主動管理”C看得清清晰理解數(shù)據(jù)的來源和去向F管得住確保數(shù)據(jù)的質(zhì)量和合規(guī)性E治得動在數(shù)據(jù)生命周期的任何環(huán)節(jié)中動態(tài)管理和優(yōu)化數(shù)據(jù)做得快實現(xiàn)敏捷的數(shù)據(jù)協(xié)同做到真正的”敏捷數(shù)據(jù)協(xié)同”和“主動智能的數(shù)據(jù)管理”以上，實現(xiàn)這一指標的前提是元II只有準確才敢用III只有不漏才可用