字節(jié)跳動(dòng)一站式數(shù)據(jù)治理架構(gòu)與實(shí)踐-字節(jié)跳動(dòng)

治理王慧祥字節(jié)跳動(dòng)全域數(shù)據(jù)治理負(fù)責(zé)人?機(jī)遇與挑戰(zhàn)治理理念?分布式數(shù)據(jù)治理架構(gòu)及實(shí)踐?數(shù)據(jù)驅(qū)動(dòng)治理?智能化治理探索?總結(jié)&未來(lái)展望數(shù)據(jù)治理挑戰(zhàn)治理效益與業(yè)務(wù)影響的矛盾治理涉及的組織和管理難度大作難度大缺乏適配性強(qiáng)的產(chǎn)品工具具字節(jié)治理挑戰(zhàn)文化與效率、業(yè)務(wù)第一?互娛?電商業(yè)務(wù)影響?數(shù)據(jù)延遲?質(zhì)量問(wèn)題?數(shù)據(jù)生命周期02字節(jié)治理理念分布式數(shù)據(jù)自治?梳理業(yè)務(wù)與數(shù)據(jù)部門(mén)，設(shè)立公司級(jí)別數(shù)據(jù)治理委員會(huì)/部門(mén)?定期梳理公司數(shù)據(jù)資產(chǎn)，確保資產(chǎn)歸屬與治理權(quán)責(zé)明確?組織定期檢查業(yè)務(wù)治理過(guò)程是否符高，省人力?業(yè)務(wù)自決策，各級(jí)業(yè)務(wù)/個(gè)人都可自驅(qū)治理力業(yè)務(wù)發(fā)展?以業(yè)務(wù)為目標(biāo)對(duì)齊優(yōu)先級(jí)切”?業(yè)務(wù)內(nèi)治理目標(biāo)對(duì)齊策業(yè)務(wù)影響小-靈活的自治模式業(yè)務(wù)影響小-靈活的自治模式分布式數(shù)據(jù)治理平臺(tái)業(yè)務(wù)影響小、治理效率高、適配性強(qiáng)沉淀各業(yè)務(wù)治理經(jīng)驗(yàn)，提升治理效率適配性強(qiáng)-產(chǎn)品建設(shè)覆蓋治理全鏈路治理治理推動(dòng)角色治理執(zhí)行角色分分布式數(shù)據(jù)治理平臺(tái)-邏輯架構(gòu)治理用戶層治理評(píng)估層治理方案層流程框架層基礎(chǔ)能力層管管理角色健康分體健康分體系資產(chǎn)大盤(pán)SLA大盤(pán)報(bào)警大盤(pán)規(guī)則規(guī)則域存儲(chǔ)/計(jì)算治理規(guī)則質(zhì)量治理規(guī)則部門(mén)/項(xiàng)目/數(shù)據(jù)團(tuán)隊(duì)/個(gè)人資源組/隊(duì)列/庫(kù)數(shù)倉(cāng)層級(jí)/優(yōu)先級(jí)/成本提升健康分低存儲(chǔ)/計(jì)算資源消息域SLA報(bào)警任務(wù)運(yùn)行報(bào)警健康分驅(qū)動(dòng)規(guī)劃驅(qū)動(dòng) 健康分扣分分析問(wèn)題定位實(shí)施治理健康分更新 確定范圍設(shè)定目標(biāo)選取規(guī)則執(zhí)行診斷消息觸達(dá)實(shí)施治理進(jìn)展更新 報(bào)警訂閱問(wèn)題處置根因登記復(fù)盤(pán)總結(jié)大盤(pán)分析MetadataMetadata倉(cāng)庫(kù)表/任務(wù)/報(bào)警…收益核算量/vcore…優(yōu)化工具集TTL/溫存/申報(bào)SLA…治理規(guī)則引擎統(tǒng)計(jì)規(guī)則/算法規(guī)則分布式數(shù)據(jù)治理平臺(tái)-核心能力規(guī)劃治理規(guī)劃治理資產(chǎn)清晰規(guī)則豐富動(dòng)線完整收益準(zhǔn)確?數(shù)據(jù)治理的基礎(chǔ)?對(duì)全域數(shù)據(jù)進(jìn)行維度劃分、打標(biāo)及相關(guān)指標(biāo)計(jì)算?根據(jù)資產(chǎn)特征生成?管理者視角?根據(jù)資產(chǎn)指標(biāo)生成?推動(dòng)者視角?根據(jù)治理手段生成?實(shí)施者視角?評(píng)估體系達(dá)標(biāo)?成本縮減?優(yōu)化性能03分布式數(shù)據(jù)治理架構(gòu)及實(shí)踐治理效果跟蹤規(guī)則迭代資源大盤(pán)業(yè)務(wù)方向 (劃分人員)治理分析SLA大盤(pán)治理方案系統(tǒng)規(guī)則池專項(xiàng)治理合并小文件刪表報(bào)警大盤(pán)溫存參數(shù)優(yōu)化沉淀常態(tài)化規(guī)則 規(guī)則管理日常掃描計(jì)算/存儲(chǔ)健康分關(guān)閉任務(wù)TT治理效果跟蹤規(guī)則迭代資源大盤(pán)業(yè)務(wù)方向 (劃分人員)治理分析SLA大盤(pán)治理方案系統(tǒng)規(guī)則池專項(xiàng)治理合并小文件刪表報(bào)警大盤(pán)溫存參數(shù)優(yōu)化沉淀常態(tài)化規(guī)則 規(guī)則管理日常掃描計(jì)算/存儲(chǔ)健康分關(guān)閉任務(wù)TTL原子操作能力操作pipeline(自動(dòng)化)治理評(píng)估質(zhì)量健康分實(shí)時(shí)健康分連續(xù)7天務(wù)康分消息推送工作臺(tái)存等待7天物理刪除治理看板/排行榜治理大盤(pán)業(yè)務(wù)看板嵌入分布式數(shù)據(jù)治理-體系建設(shè)最最小的業(yè)務(wù)打擾及規(guī)劃式診高效的組織形式最高的執(zhí)行效率具，執(zhí)行經(jīng)驗(yàn)的傳承與協(xié)業(yè)務(wù)業(yè)務(wù)單元(劃分資產(chǎn))業(yè)務(wù)單元內(nèi)跨業(yè)務(wù)單元(平臺(tái)級(jí))無(wú)無(wú)效資產(chǎn)低效資產(chǎn)低效資產(chǎn)低低ROI資產(chǎn)方案2使用規(guī)劃診斷能力，根據(jù)資產(chǎn)維度、標(biāo)簽2使用規(guī)劃診斷能力，根據(jù)資產(chǎn)維度、標(biāo)簽、相關(guān)指標(biāo)等信息成時(shí)間創(chuàng)建方案1通過(guò)治理全景、業(yè)務(wù)目標(biāo)、數(shù)據(jù)運(yùn)營(yíng)資產(chǎn)推送信息，發(fā)現(xiàn)資產(chǎn)問(wèn)題3使用平臺(tái)工具，如TTL調(diào)整、刪表、轉(zhuǎn)溫存、參數(shù)優(yōu)化、任務(wù)下線等手段，實(shí)施治理操作4通過(guò)治理操作明細(xì)，在治理過(guò)程中管控治理進(jìn)度，并根據(jù)階段性目標(biāo)校準(zhǔn)治理策略(激進(jìn)OR穩(wěn)妥)分布式數(shù)據(jù)治理-治理動(dòng)線制定診斷方案推動(dòng)方案資產(chǎn)干系人治理推動(dòng)者/執(zhí)行者視角55方案完結(jié)后，核對(duì)收益是否符盤(pán)治理問(wèn)題實(shí)施者視角分布式數(shù)據(jù)治理-推動(dòng)者動(dòng)線業(yè)務(wù)目標(biāo)常態(tài)化治理跟蹤資產(chǎn)大盤(pán)治理全景業(yè)務(wù)目標(biāo)常態(tài)化治理跟蹤資產(chǎn)大盤(pán)治理全景新方向Y規(guī)N則分析診斷分析診斷調(diào)整規(guī)則 制定策略圈選資產(chǎn)設(shè)定周期跟蹤治理效果調(diào)整規(guī)則Y規(guī)則/元數(shù)據(jù)管理Y診斷方案分布式數(shù)據(jù)治理-實(shí)施者動(dòng)線治理操作入口明細(xì)營(yíng)推送明細(xì)營(yíng)推送SLA治理資產(chǎn)狀態(tài)Review?刪表命中操作1:預(yù)計(jì)收益amax(a,資產(chǎn)A預(yù)計(jì)收益asum(a,b)max(c,資產(chǎn)B命中操作1:預(yù)計(jì)收益amax(a,資產(chǎn)A預(yù)計(jì)收益asum(a,b)max(c,資產(chǎn)B預(yù)計(jì)收益db命中規(guī)則z的操作3:預(yù)計(jì)收益cmax(a,b,c)預(yù)計(jì)收益csum(c,e,g)max(e,f)預(yù)計(jì)收益e命中規(guī)則z的操作3:預(yù)計(jì)收益fmaxgh)分布式數(shù)據(jù)治理-創(chuàng)建方案&目標(biāo)多少？資產(chǎn)B資產(chǎn)B資產(chǎn)C命中操作2:命中操作2:預(yù)計(jì)收益b命中操作1:命中操作1:預(yù)計(jì)收益c命中操作2:預(yù)計(jì)收益d命命中規(guī)則x,y操作1:預(yù)計(jì)收益a命中規(guī)則x的操作2:預(yù)計(jì)收益命命中規(guī)則y的操作1:預(yù)計(jì)收益e命命中規(guī)則x的操作1:預(yù)計(jì)收益g命中規(guī)則y,z的操作4:預(yù)計(jì)收本高力建設(shè)分布式數(shù)據(jù)治理-治理實(shí)施&操分布式數(shù)據(jù)治理-治理實(shí)施&操作8080+默認(rèn)規(guī)則治理場(chǎng)景個(gè)性化需求精細(xì)化治理健康分體系治理全景規(guī)劃診斷事后治理規(guī)則規(guī)則庫(kù)事前檢測(cè)規(guī)則事中監(jiān)控規(guī)則治理健康分體系治理全景規(guī)劃診斷事后治理規(guī)則規(guī)則庫(kù)事前檢測(cè)規(guī)則事中監(jiān)控規(guī)則治理主數(shù)據(jù)管理元數(shù)據(jù)接入系統(tǒng)數(shù)倉(cāng)分分布式數(shù)據(jù)治理-治理實(shí)施&操作(開(kāi)放性建設(shè))治理產(chǎn)品模塊開(kāi)放接口/數(shù)據(jù) (增刪改) (增刪改) (增刪改)操作事件存儲(chǔ)資產(chǎn)域參數(shù)優(yōu)化生命周期收益數(shù)據(jù)自動(dòng)化收集收益離線更新模塊計(jì)算收益元數(shù)據(jù)格式轉(zhuǎn)換(統(tǒng)一化表達(dá))擴(kuò)展元數(shù)據(jù)關(guān)聯(lián)操作存儲(chǔ)收益元數(shù)據(jù)操作事件存儲(chǔ)資產(chǎn)域參數(shù)優(yōu)化生命周期收益數(shù)據(jù)自動(dòng)化收集收益離線更新模塊計(jì)算收益元數(shù)據(jù)格式轉(zhuǎn)換(統(tǒng)一化表達(dá))擴(kuò)展元數(shù)據(jù)關(guān)聯(lián)操作存儲(chǔ)收益元數(shù)據(jù)據(jù)APIServer操作實(shí)時(shí)同步模塊來(lái)源明細(xì)埋點(diǎn)模塊分布式數(shù)據(jù)治理-收益統(tǒng)計(jì)&結(jié)果驗(yàn)收數(shù)倉(cāng)離線APP層合并合并計(jì)算資產(chǎn)域結(jié)果(評(píng)估/收益)標(biāo)準(zhǔn)化：?內(nèi)存節(jié)約量/利用率?CPU節(jié)約量/利用率?產(chǎn)出小文件數(shù)量?…?節(jié)約物理存儲(chǔ)量?質(zhì)量監(jiān)控治理數(shù)?安全風(fēng)險(xiǎn)處置數(shù)操作明細(xì)上報(bào)結(jié)果操作TaskExecutorTaskGeneratorAnalyze上報(bào)結(jié)果操作TaskExecutorTaskGeneratorAnalyzeEngineSourceAdaptorCH數(shù)據(jù)查詢服務(wù)DQLParser交心跳\狀態(tài)上報(bào)結(jié)果返回…操作HDFS|HMS|YARN|離線調(diào)度系統(tǒng)|SPARK|FLINKMessageQueueMysqlClickHouse分布式數(shù)據(jù)治理-平臺(tái)架構(gòu)EETL存儲(chǔ)介質(zhì)04數(shù)據(jù)驅(qū)動(dòng)治理通通如往期治理經(jīng)數(shù)據(jù)驅(qū)動(dòng)治理如何高效定位資產(chǎn)問(wèn)題產(chǎn)數(shù)據(jù)，構(gòu)建完備的元數(shù)據(jù)組織方式，元數(shù)據(jù)，根據(jù)不同場(chǎng)景設(shè)計(jì)治理策略(存儲(chǔ)、計(jì)算等)何高優(yōu)治理業(yè)務(wù)資產(chǎn)數(shù)據(jù)司的治理評(píng)估體系，提煉核心資產(chǎn)問(wèn)題項(xiàng)如何快速完成資產(chǎn)治理資資產(chǎn)體系04經(jīng)驗(yàn)復(fù)用0103評(píng)估體系02規(guī)則體系CN治理POCSGCN治理POCSGHDFS整體數(shù)據(jù)架構(gòu)臺(tái)分層體系分層體系A(chǔ)PPDSDI理系統(tǒng)圖平臺(tái)數(shù)據(jù)域YarnYarn/SparkSLASLA保障制01.01.02.03.04.數(shù)據(jù)驅(qū)動(dòng)-資產(chǎn)體系建設(shè)評(píng)估體系成本收益曲線成員排名評(píng)估體系成本收益曲線成員排名監(jiān)控告警任務(wù)穩(wěn)定性元信息完整性SLAbuffer不足監(jiān)控配置數(shù)據(jù)驅(qū)動(dòng)-評(píng)估體系建設(shè)TTL不合理TTL不合理優(yōu)隊(duì)列存儲(chǔ)存儲(chǔ)角催辦診斷2323數(shù)據(jù)驅(qū)動(dòng)-規(guī)則體系建設(shè)11??資產(chǎn)維度?特征細(xì)節(jié)?指標(biāo)范圍?存儲(chǔ)規(guī)則?計(jì)算規(guī)則?質(zhì)量規(guī)則?報(bào)警規(guī)則?數(shù)據(jù)建設(shè)?分析挖掘?規(guī)則建模?完備的治理規(guī)則能力?存儲(chǔ)、計(jì)算、質(zhì)量、報(bào)警4大維度(80+)?全局規(guī)則&自定義規(guī)則生命周期永久/近7天產(chǎn)出為空/暴力掃描任務(wù)生命周期xxx天/近xxx天產(chǎn)出為空?統(tǒng)計(jì)類規(guī)則&挖掘類規(guī)則近90天無(wú)訪問(wèn)表/數(shù)據(jù)傾斜任務(wù)相似庫(kù)表/相似任務(wù)?根據(jù)規(guī)則圈選資產(chǎn)范圍?用戶自定義規(guī)則數(shù)據(jù)驅(qū)動(dòng)-智能提效理目標(biāo)推薦溫存推薦TTL推薦05智能化治理探索強(qiáng)化治理能力Yarn離線任務(wù)執(zhí)行實(shí)例離線任務(wù)數(shù)據(jù)SYarn離線任務(wù)執(zhí)行實(shí)例離線任務(wù)數(shù)據(jù)Service詢埋點(diǎn)數(shù)據(jù)aggbystat智能化治理實(shí)踐-基于血緣和熱度的推薦熱度數(shù)據(jù)作為判斷數(shù)據(jù)訪問(wèn)訪問(wèn)次數(shù)概念提升業(yè)務(wù)治理效率終端服務(wù)joinbyappidjoinbytaskidjoinbyinstanceidjoinbyservicetokenHDFSHDFSHDFS儲(chǔ)埋點(diǎn)數(shù)據(jù) AppState AppState作業(yè)優(yōu)化設(shè)置作業(yè)元信息設(shè)置 報(bào)警規(guī)則引擎 AppState AppState作業(yè)優(yōu)化設(shè)置作業(yè)元信息設(shè)置 報(bào)警規(guī)則引擎pyspark推薦參數(shù)預(yù)覽調(diào)參設(shè)置收益統(tǒng)計(jì)告警管理健康分作業(yè)指標(biāo)智能化治理實(shí)踐-任務(wù)參數(shù)自動(dòng)優(yōu)化最合適的參數(shù)SparkEngine：shuffle溢寫(xiě)分裂shuffle分級(jí)限流oom自適應(yīng)blacklist功能優(yōu)化leEngine資源優(yōu)化規(guī)則Shuffle優(yōu)化規(guī)則任務(wù)讀寫(xiě)優(yōu)化規(guī)則sparksparkjarsparksparksql智能化治理實(shí)踐-其他算法探索06總結(jié)治理目標(biāo)治理方案規(guī)劃診斷治理周期治理實(shí)施治理收益治理全景絕對(duì)治理目標(biāo)治理方案規(guī)劃診斷治理周期治理實(shí)施治理收益治理全景絕對(duì)值通知催辦進(jìn)度跟進(jìn)健康分分?jǐn)?shù)值治理大盤(pán)操作動(dòng)作收益歸屬收益計(jì)算總結(jié)平臺(tái)功能數(shù)據(jù)賦能低業(yè)務(wù)影響資產(chǎn)清資產(chǎn)清晰規(guī)則豐富動(dòng)線完成收益明確治治