趙國(guó)祥：抖音集團(tuán)大數(shù)據(jù)血緣演進(jìn)與應(yīng)用

DAMSDATA&AIMANAGEMENTsUMMIT抖音集團(tuán)大數(shù)據(jù)血緣演進(jìn)與應(yīng)用抖音數(shù)據(jù)資產(chǎn)管理平臺(tái)消費(fèi)促生產(chǎn)消費(fèi)促生產(chǎn)數(shù)據(jù)檢索表類資產(chǎn)資產(chǎn)日錄資產(chǎn)使用資產(chǎn)互動(dòng)資產(chǎn)級(jí)生產(chǎn)類數(shù)據(jù)分析類數(shù)據(jù)指標(biāo)類數(shù)據(jù)我的庫(kù)表管理中心理能力開放高線元數(shù)A&實(shí)驗(yàn)類數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)DAMS中國(guó)數(shù)據(jù)智能管理峰會(huì)抖音集團(tuán)血緣整體介紹抖音集團(tuán)血緣系統(tǒng)架構(gòu)抖音集團(tuán)血緣應(yīng)用場(chǎng)景未來(lái)展望DAMS中國(guó)數(shù)據(jù)智能管理峰會(huì)抖音集團(tuán)血緣整體介紹億級(jí)元數(shù)據(jù)：Metadata,指描述數(shù)據(jù)的數(shù)據(jù)，提供了有關(guān)數(shù)據(jù)的信息，具體實(shí)現(xiàn)時(shí)分為數(shù)據(jù)實(shí)體和數(shù)據(jù)血緣數(shù)據(jù)實(shí)體：大數(shù)據(jù)領(lǐng)域元數(shù)據(jù)方向，數(shù)據(jù)對(duì)象通常被抽象為邏輯實(shí)體存儲(chǔ)，具備唯一ID和實(shí)體屬性數(shù)據(jù)血緣：大數(shù)據(jù)領(lǐng)域元數(shù)據(jù)方向，元數(shù)據(jù)實(shí)體之間關(guān)系單獨(dú)抽象，也是大數(shù)據(jù)任務(wù)代碼的結(jié)構(gòu)化描述語(yǔ)宣抖音集團(tuán)血緣建設(shè)背景■看鏈路：大數(shù)據(jù)是一個(gè)超大的數(shù)據(jù)鏈路，抖音有百萬(wàn)級(jí)調(diào)度任務(wù)，需要結(jié)合數(shù)據(jù)血緣才能看清整體■保質(zhì)量：每日萬(wàn)級(jí)線上數(shù)據(jù)任務(wù)變更，需要考慮對(duì)于鏈路影響，需要借助血緣評(píng)估全鏈路影響面■保安全：產(chǎn)品體系中用戶類、高密指標(biāo)等敏感數(shù)據(jù)，也需要依賴血緣數(shù)據(jù)傳播能力，能夠精準(zhǔn)發(fā)現(xiàn)高密數(shù)據(jù)■降成本：公司消耗超大規(guī)模的計(jì)算/存儲(chǔ)資源，需結(jié)合血緣系統(tǒng)精準(zhǔn)發(fā)現(xiàn)低價(jià)值無(wú)效資源，進(jìn)行有效治理大數(shù)據(jù)鏈路大數(shù)據(jù)鏈路數(shù)據(jù)采集血緣埋點(diǎn)血緣數(shù)據(jù)生產(chǎn)血緣數(shù)據(jù)采集血緣埋點(diǎn)血緣數(shù)據(jù)生產(chǎn)血緣服務(wù)血緣產(chǎn)品血緣血緣粒度實(shí)體級(jí)血緣列級(jí)血緣行級(jí)血緣算子級(jí)血緣血緣模型抽象數(shù)據(jù)血緣簡(jiǎn)單的抽象為點(diǎn)和邊，就能解決所有問(wèn)題嗎?模型1:寫慢讀快columncolumntbc1.)tac2.模型2:寫快讀慢血緣模型抽象3類6類實(shí)體抽象血緣衡量指標(biāo)血血緣質(zhì)量分血緣覆蓋率：任務(wù)成功解析數(shù)量/任務(wù)接入數(shù)量任務(wù)接入數(shù)量血緣完整率：完整任務(wù)數(shù)量/任務(wù)接入數(shù)量血緣質(zhì)量分92血緣應(yīng)用血緣血緣應(yīng)用血緣分析數(shù)據(jù)處理數(shù)據(jù)接入數(shù)據(jù)源口徑探查口徑探查血緣分析產(chǎn)品血緣效能工具箱全鏈路覆蓋精細(xì)化血緣精準(zhǔn)度高PUSH接入模式PUSH接入模式應(yīng)用場(chǎng)景廣手動(dòng)手動(dòng)DAMS中國(guó)數(shù)據(jù)智能管理峰會(huì)抖音集團(tuán)血緣系統(tǒng)架構(gòu)血緣系統(tǒng)建設(shè)挑戰(zhàn)風(fēng)風(fēng)全面精準(zhǔn)的血緣血緣系統(tǒng)解決方案架構(gòu)置息配信置息配信血緣應(yīng)用表血緣應(yīng)用統(tǒng)一解析服務(wù)統(tǒng)一解析服務(wù)分析統(tǒng)一解析服務(wù)血緣解析問(wèn)題·Atlr:開源語(yǔ)法分析器，可解析所有代碼血緣血緣DAMS中國(guó)數(shù)據(jù)智能管理峰會(huì)血緣接入服務(wù)-生產(chǎn)血緣統(tǒng)一Schema,將計(jì)算任務(wù)代碼白盒化，實(shí)現(xiàn)任務(wù))(計(jì)算任務(wù)平臺(tái)，標(biāo)識(shí)，狀態(tài)簽關(guān)鍵點(diǎn)1:Schenaless支持MO、Redis等Schemeless血緣計(jì)算平臺(tái)通過(guò)Non-DDL方式讀寫sohemaless存儲(chǔ)解析白動(dòng)關(guān)聯(lián)Scheneless表、字段上下游血緣表血緣輸出表表血緣(表，邏輯表關(guān)鍵點(diǎn)2:算子血緣支持SQLselect,non-select字段血緣解析(where.join.order.group算子級(jí)標(biāo)簽，支持業(yè)務(wù)全鏈路傳據(jù)消除不同Region之間的血緣斷裂問(wèn)題，打通全Region血緣C區(qū)域血緣元數(shù)據(jù)總線CatalogDAMS中國(guó)數(shù)據(jù)智能管理峰會(huì)血緣接入服務(wù)-應(yīng)用血緣連通數(shù)據(jù)產(chǎn)品應(yīng)用末端與大數(shù)據(jù)之間的血緣，真正實(shí)現(xiàn)全鏈路血緣業(yè)務(wù)產(chǎn)品業(yè)務(wù)產(chǎn)品定制產(chǎn)品頁(yè)面(人工)頁(yè)面(人工)DAMSDAMS中國(guó)數(shù)據(jù)智能管理峰會(huì)抖音集團(tuán)血緣應(yīng)用場(chǎng)景血緣應(yīng)用整體介紹數(shù)據(jù)開發(fā)場(chǎng)景的應(yīng)用數(shù)據(jù)變更的影響面評(píng)估(01精準(zhǔn)選擇待回溯鏈路04上游數(shù)據(jù)變化及時(shí)感知05實(shí)時(shí)開發(fā)任務(wù)提效03DAMS中國(guó)數(shù)據(jù)智能管理峰會(huì)數(shù)據(jù)治理場(chǎng)景的應(yīng)用及時(shí)性保障：及時(shí)性保障：SLA簽署、鏈路調(diào)度、鏈路告警成本計(jì)算：成本大盤、治理成本計(jì)算：成本大盤、治理RO1評(píng)估00+100+1000+100+10