FFA2024分論壇-生產(chǎn)實(shí)踐 合輯-部分1

節(jié)點(diǎn)自愈節(jié)點(diǎn)自愈算法算法豐富的Connector生態(tài)場(chǎng)景使用場(chǎng)景使用方式商業(yè)化數(shù)倉(cāng)數(shù)倉(cāng)熱點(diǎn)機(jī)器單個(gè)機(jī)器瞬時(shí)負(fù)載過(guò)高熱點(diǎn)機(jī)器單個(gè)機(jī)器瞬時(shí)負(fù)載過(guò)高作業(yè)硬件故障作業(yè)硬件故障網(wǎng)絡(luò)異常網(wǎng)絡(luò)異常硬件故障熱點(diǎn)機(jī)器網(wǎng)絡(luò)異常某機(jī)器掉盤(pán)導(dǎo)致該節(jié)點(diǎn)上的作業(yè)進(jìn)行Checkpoint載過(guò)高導(dǎo)致該節(jié)點(diǎn)上所有相關(guān)作業(yè)出現(xiàn)延遲交換機(jī)故障導(dǎo)致轉(zhuǎn)發(fā)表機(jī)器通信時(shí)頻繁丟包導(dǎo)致作業(yè)大規(guī)模頻繁重啟排查時(shí)間長(zhǎng)：大量作業(yè)失敗，很難通過(guò)人工排查短時(shí)間內(nèi)定位到真正的問(wèn)題節(jié)點(diǎn)爆炸半徑大：?jiǎn)栴}節(jié)點(diǎn)出現(xiàn)在高優(yōu)隊(duì)列則涉及較多高優(yōu)任務(wù)，若未能及時(shí)排除異常節(jié)點(diǎn)則會(huì)導(dǎo)致資損投票選出投票選出延遲檢測(cè)器延遲檢測(cè)器020213·根據(jù)作業(yè)報(bào)警配置確定觸發(fā)閾值 ·延遲并發(fā)數(shù)小于整體并發(fā)30%32 32·作業(yè)必須存在高于閾值的延遲 ·問(wèn)題并發(fā)數(shù)小于整體并發(fā)30% ·問(wèn)題并發(fā)吞吐低于平均值80%000111222·作業(yè)必須存在高于閾值的延遲 ·問(wèn)題并發(fā)吞吐低于平均值50% ·問(wèn)題并發(fā)算子延遲高于平均值80% ·問(wèn)題并發(fā)數(shù)小于整體并發(fā)30%000111222102102 ·問(wèn)題并發(fā)數(shù)小于整體并發(fā)30%·節(jié)點(diǎn)上所有問(wèn)題作業(yè)擁有投票權(quán)·不少于50%的作業(yè)認(rèn)為該節(jié)點(diǎn)為可疑節(jié)點(diǎn)則輸出根據(jù)Task失敗情況尋找可疑節(jié)點(diǎn)，以下情況將被記錄 心跳超時(shí)之間網(wǎng)絡(luò)錯(cuò)誤TaskManager出現(xiàn)兩次記錄出現(xiàn)三次記錄 ·數(shù)據(jù)傾斜難以判定·指標(biāo)可能存在延遲·數(shù)據(jù)質(zhì)量問(wèn)題也可能導(dǎo)致假陽(yáng)性·網(wǎng)絡(luò)丟包率波動(dòng)并未導(dǎo)致作業(yè)失敗·拉慢節(jié)點(diǎn)：調(diào)低指定節(jié)點(diǎn)在調(diào)度時(shí)的選擇權(quán)重·拉黑節(jié)點(diǎn)：禁止新進(jìn)程調(diào)度到指定節(jié)點(diǎn)·驅(qū)逐作業(yè)：驅(qū)逐節(jié)點(diǎn)上部分或所有作業(yè)·業(yè)務(wù)或機(jī)器指標(biāo)得出的·業(yè)務(wù)或機(jī)器指標(biāo)得出的·業(yè)務(wù)和機(jī)器指標(biāo)相互印·黑名單聚合節(jié)點(diǎn)MasterFailover與Task單點(diǎn)恢復(fù)異常節(jié)點(diǎn)自愈耗時(shí)長(zhǎng)任務(wù)斷流時(shí)間長(zhǎng)Task單點(diǎn)恢復(fù)Task單點(diǎn)恢復(fù)MasterFailover-為什么耗時(shí)長(zhǎng)? 如何做到不斷流? ·Task上報(bào)信息，Master做信息重建 ·結(jié)合作業(yè)狀態(tài)判斷是否需要ReleaseTask ·ReleaseTask行為延時(shí)處理 ·OperatorCoordinator狀態(tài)重建TM側(cè)rr 映射關(guān)系SharedSlotSourceReaderSourceReaderSourceReaderSplitAssign的流程(以Flip-27KafkaSource為例)·chechpoint狀態(tài)滯后1 ·Coordinator恢復(fù)失敗集齊后統(tǒng)一FailorCancel,避免額外狀態(tài)管理A2A2A2…Netty通信模型 ·上游主動(dòng)清理不完整subpartition(社區(qū)已實(shí) 只重啟失敗TaskRegion+計(jì)次回退-rAbnormalerrorrateAnoTHANKTHANKYOU實(shí)例級(jí)穩(wěn)定性體系建設(shè)實(shí)踐實(shí)例級(jí)穩(wěn)定性體系總結(jié)實(shí)例級(jí)穩(wěn)定性體系總結(jié)價(jià)值與展望全球部署X個(gè)地域X千個(gè)用戶實(shí)例實(shí)時(shí)鏈路大屏FlinkTPS超大規(guī)?？傄?guī)模X百萬(wàn)核雙十一峰值TPS突破XX億阿里云控制臺(tái)&SDK數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)阿里云控制臺(tái)&SDK數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)日常應(yīng)急80%來(lái)自單客戶動(dòng)失敗動(dòng)慢日常應(yīng)急80%來(lái)自單客戶日常應(yīng)急80%來(lái)自單客戶作業(yè)非作業(yè)非動(dòng)失敗動(dòng)慢處置報(bào)警處置不易找到關(guān)鍵指標(biāo)不易找到關(guān)鍵指標(biāo)處置報(bào)警處置不易找到關(guān)鍵指標(biāo)不易找到關(guān)鍵指標(biāo)處置報(bào)警處置不易找到關(guān)鍵指標(biāo)不易找到關(guān)鍵指標(biāo)不科學(xué)不科學(xué)問(wèn)題思路問(wèn)題思路2.運(yùn)維能力不夠系統(tǒng)化3.產(chǎn)品穩(wěn)定性度量困難2.運(yùn)維能力不夠系統(tǒng)化3.產(chǎn)品穩(wěn)定性度量困難問(wèn)題思路問(wèn)題思路1.單客戶問(wèn)題頻發(fā)2.運(yùn)維能力不夠系統(tǒng)化3.產(chǎn)品穩(wěn)定性度量困難1.穩(wěn)定性視角由集群級(jí)1.單客戶問(wèn)題頻發(fā)2.運(yùn)維能力不夠系統(tǒng)化3.產(chǎn)品穩(wěn)定性度量困難問(wèn)題思路問(wèn)題思路并圍繞其增強(qiáng)自動(dòng)化3.使用可用率度量穩(wěn)定性Flink作業(yè)能否成功啟動(dòng)與停止建設(shè)以提高關(guān)鍵鏈路的可用率為目標(biāo)的實(shí)例級(jí)穩(wěn)定性體系Flink實(shí)例級(jí)穩(wěn)定性體系項(xiàng)目大圖變更熔斷外部協(xié)作外部協(xié)作發(fā)現(xiàn)診斷恢復(fù)異常預(yù)防發(fā)現(xiàn)診斷恢復(fù)異常預(yù)防Flink實(shí)例級(jí)穩(wěn)定性體系項(xiàng)目大圖變更熔斷外部協(xié)作外部協(xié)作發(fā)現(xiàn)診斷恢復(fù)異常預(yù)防發(fā)現(xiàn)診斷恢復(fù)異常預(yù)防實(shí)例級(jí)穩(wěn)定性體系實(shí)例級(jí)穩(wěn)定性體系04可用率運(yùn)營(yíng)提升方案04可用率運(yùn)營(yíng)提升方案作業(yè)啟動(dòng)、停止、刪除作業(yè)啟動(dòng)、停止、刪除用戶探針8阿里云控制臺(tái)&SDK探針作業(yè)管控面計(jì)算面K8s集群用戶探針8阿里云控制臺(tái)&SDK管控面計(jì)算面為每個(gè)VC創(chuàng)建獨(dú)立Namespace不參與計(jì)費(fèi)K8s集群監(jiān)控作業(yè)定義部署多地?zé)醾涓呖捎梅€(wěn)定灰度分批推平日均百萬(wàn)頻次探測(cè)殘留資源巡檢CREATETEMPORARYTABLECREATETEMPORARYTABLEdatagen_source(作業(yè)定義部署多地?zé)醾涓呖捎梅€(wěn)定灰度分批推平日均百萬(wàn)頻次探測(cè)殘留資源巡檢CREATETEMPORARYTABLECREATETEMPORARYTABLEdatagen_source(04可用率運(yùn)營(yíng)提升方案實(shí)例級(jí)灰度發(fā)布實(shí)例級(jí)灰度切流。變更三板斧實(shí)例月不可用時(shí)間速算實(shí)例級(jí)灰度發(fā)布實(shí)例級(jí)灰度切流。變更三板斧實(shí)例月不可用時(shí)間速算2.指標(biāo)類(lèi)巡檢類(lèi)型問(wèn)題2.指標(biāo)類(lèi)巡檢類(lèi)型問(wèn)題2.指標(biāo)類(lèi)巡檢類(lèi)型問(wèn)題類(lèi)型問(wèn)題AlOps智能巡檢+LLMOps智能巡檢(算法服務(wù))實(shí)體&觀測(cè)觀測(cè)數(shù)據(jù)實(shí)體&觀測(cè)觀測(cè)數(shù)據(jù)維度維度查詢(xún)Tool時(shí)序畫(huà)像時(shí)序建?！L(fēng)險(xiǎn)判別時(shí)序畫(huà)像LLM知識(shí)庫(kù)樣本建模—SRE介入診斷結(jié)果反饋打標(biāo)診斷結(jié)果AlOps智能巡檢+LLMOps智能巡檢(算法服務(wù))實(shí)體&觀測(cè)觀測(cè)數(shù)據(jù)實(shí)體&觀測(cè)觀測(cè)數(shù)據(jù)維度維度查詢(xún)Tool時(shí)序畫(huà)像時(shí)序建?！L(fēng)險(xiǎn)判別時(shí)序畫(huà)像LLM知識(shí)庫(kù)樣本建模—SRE介入診斷結(jié)果反饋打標(biāo)診斷結(jié)果*大模型引擎：*大模型引擎：*可見(jiàn)性：產(chǎn)品線：流/批節(jié)點(diǎn)異常集群水位趨勢(shì)風(fēng)險(xiǎn)事件集群水位趨勢(shì)風(fēng)險(xiǎn)事件陡增公開(kāi)僅租戶內(nèi)可見(jiàn)flink智能體說(shuō)明：你是一個(gè)flink的集群資源管理員，能夠回答集群相關(guān)的任何問(wèn)題。集群的水位是cpu使用數(shù)/cpu總數(shù)的百分比。智能體說(shuō)明：其中集群邏輯水位百分比=集群使用的CPU核數(shù)/集群的CPU總核數(shù)。如果水位過(guò)高，可能是cpu使用過(guò)高，也可能是cpu總數(shù)過(guò)低。cpu使用過(guò)高是由于flink作業(yè)導(dǎo)致的，cpu總數(shù)過(guò)低是由于集群節(jié)點(diǎn)數(shù)少，提供的cpu過(guò)少導(dǎo)致的。分析時(shí)請(qǐng)先從異常情況開(kāi)始進(jìn)行下鉆分析。陡降分析的時(shí)候，建議查詢(xún)前后1小時(shí)的數(shù)據(jù)。注意時(shí)間數(shù)據(jù)格式為YYYY-MM-DDHH:MM,陡降*可見(jiàn)性：流/批集群水位趨勢(shì)風(fēng)險(xiǎn)事件集群水位趨勢(shì)風(fēng)險(xiǎn)事件陡增flink其中集其中集于flinkf分析時(shí)分析的工具綁定：Flink集Flink集群CPU邏輯水位查詢(xún)工具v自由調(diào)用V陡降VFlink集群作業(yè)數(shù)查詢(xún)工具陡降V集群水位趨勢(shì)風(fēng)險(xiǎn)事件集群水位趨勢(shì)風(fēng)險(xiǎn)事件陡陡降陡增流/批流/批節(jié)點(diǎn)異常*可見(jiàn)性：公開(kāi)僅租戶內(nèi)可見(jiàn)產(chǎn)品線：flink集群的其中集工具綁定：分析時(shí)HH:MNFlink集群CPU邏輯水位查詢(xún)工具v自由調(diào)用請(qǐng)問(wèn)8.1日01:30收到了a集群CPU邏輯水位超限報(bào)警，flink集群資源管理員V2(flink_manager_v2)8.1日01:38集群CPU邏輯水位超限據(jù)的順因是作業(yè)數(shù)量的端加導(dǎo)致cPU使用率上開(kāi)。該時(shí)段內(nèi)作業(yè)平均地加了約■個(gè)，與此同時(shí)，cPU使用達(dá)到了78.53的高水位，接近或超過(guò)了系閾值，而CPU總核數(shù)保持穩(wěn)定，未有增加，因此作業(yè)負(fù)載的增加是導(dǎo)致此次報(bào)警的主要原04可用率運(yùn)營(yíng)提升方案SLI、SLO、可用率與SLA定義實(shí)踐探測(cè)作業(yè)生命周期總耗時(shí)<=X分鐘可用率(服務(wù)周期總時(shí)長(zhǎng)-SLOBreak總時(shí)長(zhǎng))/服務(wù)周期總時(shí)長(zhǎng)SLA可用率不達(dá)標(biāo)會(huì)產(chǎn)生賠付SLI、SLO、可用率與SLA定義實(shí)踐探測(cè)作業(yè)生命周期總耗時(shí)<=X分鐘可用率(服務(wù)周期總時(shí)長(zhǎng)-SLOBreak總時(shí)長(zhǎng))/服務(wù)周期總時(shí)長(zhǎng)SLA可用率不達(dá)標(biāo)會(huì)產(chǎn)生賠付20/30分鐘20/30分鐘15分鐘 粒度集群級(jí)影響面根據(jù)異常組件推測(cè)理論影響面人工統(tǒng)計(jì)，格式雜亂，信息不全 現(xiàn)在現(xiàn)在粒度實(shí)例級(jí)影響面根據(jù)探針結(jié)果獲得實(shí)際影響面自動(dòng)拉取播報(bào)，信息全面準(zhǔn)確 通知卡片實(shí)例級(jí)影響面快照與累積明細(xì)影響面輔助應(yīng)急決策當(dāng)前管控狀態(tài)當(dāng)前計(jì)算狀態(tài)華北2(北京)0◎●華北3(張家口)◎◎◎◎○●華北6(烏蘭察布)◎o◎◎o◎◎華東1(杭州)◎◎◎◎○◎◎◎◎◎◎◎華南1(深圳)◎o◎o◎·中國(guó)香港○o◎o日本(東京)◎◎○◎◎◎○美國(guó)(弗吉尼亞)◎◎◎◎◎o美國(guó)(硅谷)◎◎◎◎印度尼西亞(雅加達(dá))◎◎○●馬來(lái)西亞(吉隆坡)○◎○◎○○●英國(guó)(倫敦)◎◎0德國(guó)(法蘭克福)◎O◎◎◎◎ 大數(shù)據(jù)技術(shù)智能助理白機(jī)器人計(jì)算平臺(tái)大數(shù)據(jù)技術(shù)智能助理白機(jī)器人計(jì)算平臺(tái)Flink子產(chǎn)品狀態(tài)通知異常異常實(shí)例級(jí)影響面快照與累積影響面明細(xì)影響面輔助應(yīng)急決策明細(xì)影響面輔助應(yīng)急決策 通知卡片實(shí)例級(jí)影響面快照與累積明細(xì)影響面輔助應(yīng)急決策 「異常處置」診斷定界定位診斷實(shí)時(shí)看護(hù)作業(yè)運(yùn)行生命周期的全過(guò)程能力啟動(dòng)e.g.由于剩余資源不足，導(dǎo)致作業(yè)無(wú)階段法啟動(dòng)，請(qǐng)擴(kuò)容解決法正常恢復(fù)，請(qǐng)重啟解決e.g.由于產(chǎn)品老版本過(guò)低隱患，導(dǎo)致停止作業(yè)慢，請(qǐng)重啟解決豐富異常診斷規(guī)則覆蓋高頻且復(fù)雜問(wèn)題場(chǎng)景用戶啟動(dòng)Flink作業(yè)網(wǎng)絡(luò)接入網(wǎng)絡(luò)接入應(yīng)用網(wǎng)關(guān)管控面JobManager主容器啟動(dòng)Super集群資源創(chuàng)建VC集群資源創(chuàng)建計(jì)算面作業(yè)運(yùn)行面向業(yè)務(wù)增加診斷項(xiàng)原子面向場(chǎng)景組織診斷DAG 接口層運(yùn)行風(fēng)運(yùn)行風(fēng)險(xiǎn)配置風(fēng)險(xiǎn)數(shù)據(jù)風(fēng)險(xiǎn)停止緩慢資源異常網(wǎng)絡(luò)異?？煺债惓＿\(yùn)行異常啟動(dòng)緩慢啟動(dòng)失敗歷史錯(cuò)誤變更抖動(dòng)節(jié)點(diǎn)宕機(jī)決策樹(shù)服務(wù)層決策樹(shù)事前風(fēng)險(xiǎn)事前風(fēng)險(xiǎn)存儲(chǔ)層數(shù)據(jù)層事件日志數(shù)據(jù)層事件日志數(shù)據(jù)源 接口層運(yùn)行風(fēng)運(yùn)行風(fēng)險(xiǎn)配置風(fēng)險(xiǎn)數(shù)據(jù)風(fēng)險(xiǎn)停止緩慢資源異常網(wǎng)絡(luò)異?？煺债惓＿\(yùn)行異常啟動(dòng)緩慢啟動(dòng)失敗歷史錯(cuò)誤變更抖動(dòng)節(jié)點(diǎn)宕機(jī)決策樹(shù)服務(wù)層決策樹(shù)事前風(fēng)險(xiǎn)事前風(fēng)險(xiǎn)存儲(chǔ)層數(shù)據(jù)層事件日志數(shù)據(jù)層事件日志數(shù)據(jù)源 接口層運(yùn)行風(fēng)運(yùn)行風(fēng)險(xiǎn)配置風(fēng)險(xiǎn)數(shù)據(jù)風(fēng)險(xiǎn)停止緩慢資源異常網(wǎng)絡(luò)異?？煺债惓＿\(yùn)行異常啟動(dòng)緩慢啟動(dòng)失敗歷史錯(cuò)誤變更抖動(dòng)節(jié)點(diǎn)宕機(jī)決策樹(shù)服務(wù)層決策樹(shù)事前風(fēng)險(xiǎn)事前風(fēng)險(xiǎn)存儲(chǔ)層數(shù)據(jù)層事件日志數(shù)據(jù)層事件日志數(shù)據(jù)源 田運(yùn)行中部署詳情狀態(tài)總覽數(shù)據(jù)曲線田運(yùn)行中部署詳情狀態(tài)總覽數(shù)據(jù)曲線運(yùn)行事件狀態(tài)集管理作業(yè)日志自動(dòng)調(diào)優(yōu)血緣關(guān)系智能診斷告警配置健康評(píng)分：76開(kāi)始診斷健康評(píng)分：76開(kāi)始診斷山√資源分析V展開(kāi)詳情將作業(yè)并發(fā)從7改為35立刻應(yīng)用vState分析 ◎運(yùn)行中停止創(chuàng)建快照刪除大數(shù)據(jù)技術(shù)智能助理由機(jī)器人服務(wù)執(zhí)行中，請(qǐng)稍候服務(wù)執(zhí)行中，請(qǐng)稍候德國(guó)(法蘭克福)計(jì)算面發(fā)生時(shí)間：發(fā)生時(shí)間：>作業(yè)分析>作業(yè)分析影響面影響客戶：當(dāng)前3/累計(jì)3影響實(shí)例：當(dāng)前13/累計(jì)138異常工單[1]來(lái)源：計(jì)算集群批量實(shí)例影響客戶：當(dāng)前3/累計(jì)3影響實(shí)例：當(dāng)前13/累計(jì)138異常工單[1]來(lái)源：計(jì)算集群批量實(shí)例SLOBreak異常影響：用戶實(shí)例(VC)啟停異常全局觀測(cè)定界：定位：網(wǎng)卡未掛載“已關(guān)閉”ChatOps自助機(jī)器人報(bào)警自動(dòng)化處置卡片 容量容量降級(jí)業(yè)務(wù)故障日常服務(wù)故障日常K8s節(jié)點(diǎn)物理機(jī)名稱(chēng)5分鐘15分鐘60分鐘X月X日XX用戶Flink任務(wù)批量啟【】客訴工單【】GOC應(yīng)急【】不達(dá)標(biāo)【】錯(cuò)誤●定界準(zhǔn)確性【】準(zhǔn)確【】自愈【】不達(dá)標(biāo)【】無(wú)效事中事中事后線上問(wèn)題可以明確歸屬到對(duì)應(yīng)服務(wù)可運(yùn)營(yíng)可用率波動(dòng)具備可解釋性根因根因可用率目標(biāo)合理并具備提升路徑線上問(wèn)題可以明確歸屬到對(duì)應(yīng)服務(wù)可運(yùn)營(yíng)可用率波動(dòng)具備可解釋性根因根因可用率目標(biāo)合理并具備提升路徑圖日?qǐng)D日外部協(xié)同外部協(xié)同產(chǎn)品可用率線上全部實(shí)例可用率的均值賠付實(shí)例占比可用率不達(dá)標(biāo)的實(shí)例占比配置錯(cuò)誤Advisor發(fā)現(xiàn)問(wèn)題Advisor發(fā)現(xiàn)問(wèn)題使得各相關(guān)方看到項(xiàng)目的價(jià)值甚至是預(yù)期外的收獲是可用率目標(biāo)持續(xù)提升的關(guān)鍵探針探針 穩(wěn)定性協(xié)同協(xié)同客戶1.1服務(wù)周期：一個(gè)服務(wù)周期為一個(gè)自然月。1.2服務(wù)周期總分鐘數(shù)：服務(wù)周期內(nèi)的總天數(shù)×24(小時(shí))×60(分鐘)計(jì)算。1.3服務(wù)不可用分鐘數(shù)：在連續(xù)3分鐘(或者更長(zhǎng)的時(shí)間內(nèi)，客戶所有試圖與指定的Flnk全托管實(shí)例建立連接的嘗試均失敗，則視為這段時(shí)間內(nèi)該Fink全托管實(shí)例服務(wù)不可用。在一個(gè)服務(wù)周期內(nèi)單個(gè)Fnk全托管實(shí)例不可用分鐘數(shù)之和即服務(wù)不可用分鐘數(shù)。1.4月度服務(wù)費(fèi)用：客戶在一個(gè)自然月中就單個(gè)Fink全托管實(shí)例所支付的服務(wù)費(fèi)用總額，如果客戶一次性支付了多個(gè)月份的服務(wù)費(fèi)用，則將按照所購(gòu)買(mǎi)的月數(shù)分?jǐn)傆?jì)算月度服務(wù)費(fèi)用。1.2服務(wù)周期總分鐘數(shù)：服務(wù)周期內(nèi)的總天數(shù)×24(小時(shí))×60(分鐘)計(jì)算。實(shí)時(shí)計(jì)算優(yōu)化實(shí)踐陶王飛|抖音集團(tuán)數(shù)據(jù)工程師羊藝超|抖音集團(tuán)數(shù)據(jù)工程師未來(lái)規(guī)劃未來(lái)規(guī)劃視頻《體然我行我素》knchotsoWrn0年坑選平-上萬(wàn)睡火監(jiān)程箱-你玩的相干稿美首頁(yè)特點(diǎn)視頻場(chǎng)景特點(diǎn)：流量大直播場(chǎng)景特點(diǎn)：狀態(tài)大數(shù)據(jù)源數(shù)據(jù)存儲(chǔ)書(shū)數(shù)據(jù)存儲(chǔ)書(shū)業(yè)務(wù)應(yīng)用品品報(bào)表分析實(shí)時(shí)數(shù)倉(cāng)異?；謴?fù)慢資源消耗大異?；謴?fù)慢資源消耗大66子作業(yè)1(機(jī)房A)子作業(yè)2(機(jī)房B)子作業(yè)2(機(jī)房C)優(yōu)化DWD擴(kuò)展Shuffle優(yōu)化Shuffle優(yōu)化視頻*1天累計(jì)作業(yè)(高優(yōu)場(chǎng)景&寬表建模)高低優(yōu)作業(yè)&隊(duì)列拆分自動(dòng)化容災(zāi)JIT編譯失敗占40%資源占40%資源GC資源消耗20萬(wàn)+頭部任務(wù)分析問(wèn)題總結(jié)能力推廣資源消耗20萬(wàn)+業(yè)務(wù)應(yīng)用數(shù)據(jù)存儲(chǔ)實(shí)時(shí)數(shù)倉(cāng)業(yè)務(wù)應(yīng)用數(shù)據(jù)存儲(chǔ)推薦策略數(shù)據(jù)產(chǎn)品推薦策略數(shù)據(jù)產(chǎn)品視頻*1天流量熱點(diǎn)借助cache,請(qǐng)求仍然達(dá)到千萬(wàn)級(jí)。無(wú)論是成本還是鏈路穩(wěn)定性，壓力大?，F(xiàn)狀：億級(jí)RPS下，維表關(guān)聯(lián)在開(kāi)啟緩存，且緩存命中率90%+時(shí)，維表關(guān)聯(lián)qps仍高達(dá)千萬(wàn)級(jí)視頻(幾千億條)、用戶維表(離線)、監(jiān)控規(guī)則(百萬(wàn)條)作業(yè)1(機(jī)房A)作業(yè)2(機(jī)房B)作業(yè)2(機(jī)房C)大流量維表關(guān)聯(lián)優(yōu)化-解決方案【subtask1【subtask2【subtask2【subtaskN算子算子waterwater據(jù)【subtask1【subtaskN【subtaskN維表構(gòu)建時(shí)間一應(yīng)用場(chǎng)景：大流量場(chǎng)景下的維表關(guān)聯(lián)，業(yè)務(wù)對(duì)維度更新感知接受時(shí)間在分鐘級(jí)別收益：部分Flink作業(yè)無(wú)需訪問(wèn)Abase,節(jié)約400萬(wàn)+qps。相關(guān)任務(wù)追數(shù)據(jù)場(chǎng)景下不再有外部訪問(wèn)瓶頸。視頻*1天作業(yè)數(shù)據(jù)重復(fù)下大流量?jī)绲扔?jì)算-解決方案冪等處理：保留同1min最新結(jié)果1小時(shí)粒度結(jié)果大流量?jī)绲扔?jì)算-性能優(yōu)化數(shù)據(jù)時(shí)間粒度：數(shù)據(jù)時(shí)間粒度：1分鐘=60000msbucketsize=上卷時(shí)間粒度/數(shù)據(jù)時(shí)間粒度上卷時(shí)間粒度：1天=86400000msmaxDiffTimes[1440]590005910059000輸入數(shù)據(jù)：(10,10,1),1653840299000基礎(chǔ)時(shí)間戳=946656000000(對(duì)應(yīng)日期2000-01-0100:00:00)bucket=(timestamp-基礎(chǔ)時(shí)間戳)%上卷時(shí)間粒度/數(shù)據(jù)時(shí)間粒度=(1653840299000-946656000000)%86400000/6bucket上的最大時(shí)間戳偏移量：bucket_diff_time=(timestamp-基礎(chǔ)時(shí)間戳)%上卷時(shí)間粒度%數(shù)據(jù)時(shí)間粒度=(1653840299000-946656000000)%86400000%6maxDiffTimes[4]<59000,所以metrics[4]="10.10.1.max1440個(gè)分鐘1440個(gè)分鐘bucket視頻*1天作業(yè)視頻*1分鐘作業(yè)視頻*1天作業(yè)視頻*1分鐘作業(yè)8流量營(yíng)收…流量營(yíng)收…>>狀態(tài))→穩(wěn)定性差&重啟恢復(fù)大2000core、18T慢狀態(tài))→穩(wěn)定性差&重啟恢復(fù)大狀態(tài)優(yōu)化-場(chǎng)景分析直播間特點(diǎn)：開(kāi)關(guān)播時(shí)間、開(kāi)播時(shí)長(zhǎng)不固定最大30天最大30天開(kāi)播時(shí)長(zhǎng)狀態(tài)大小占比分析時(shí)長(zhǎng)<1天多存了6天+少存分析結(jié)論：狀態(tài)固定TTL與直播間動(dòng)態(tài)TTL矛盾導(dǎo)致99%+狀態(tài)存儲(chǔ)時(shí)長(zhǎng)過(guò)長(zhǎng)，5‰oo+過(guò)短解決思路：對(duì)齊狀態(tài)TTL和直播間TTL,實(shí)現(xiàn)直播間關(guān)播后才刪除狀態(tài)大狀態(tài)優(yōu)化-方案設(shè)計(jì)直播流量數(shù)據(jù)MQ直播間關(guān)播MQ啟發(fā)啟發(fā)流量接收關(guān)播消息刪除流量接收關(guān)播消息刪除聚合結(jié)果MQ直播流量數(shù)據(jù)MQ直播間維表聚合結(jié)果MQRetract機(jī)制刪除狀態(tài)高低解耦擴(kuò)展性差優(yōu)不兼容高中資源消耗高中6方案落地table.exec.state.ttl=30d①運(yùn)行參數(shù)配置/**+USECOMPACTIONFILTER('path'='xxx.xxx.clearudf','field'='room性能優(yōu)化方案收益優(yōu)化分類(lèi)優(yōu)化手段優(yōu)化收益>業(yè)務(wù)視角：支持直播間場(chǎng)次30天累計(jì)計(jì)算技術(shù)視角：直播場(chǎng)次作業(yè)狀態(tài)平均下降60%;CPU資源使用上漲CPU漲幅：400%→70%場(chǎng)景(作業(yè)平穩(wěn)運(yùn)行)場(chǎng)景(作業(yè)平穩(wěn)運(yùn)行)目標(biāo)目標(biāo)流處理批處理分析結(jié)論：追lag場(chǎng)景下流處理的低吞吐現(xiàn)狀與預(yù)期的高吞吐目標(biāo)存在矛盾解決思路：流處理作業(yè)動(dòng)態(tài)監(jiān)測(cè)消費(fèi)積壓指標(biāo)判斷作業(yè)對(duì)高吞吐和低延遲的傾向性，通過(guò)在當(dāng)前算子上引入Sorter排序及動(dòng)態(tài)調(diào)整MiniBatch大小的能力實(shí)現(xiàn)流批執(zhí)行模式動(dòng)態(tài)切換6大流量回溯優(yōu)化-方案設(shè)計(jì)③動(dòng)態(tài)啟用Sorter并調(diào)整MiniBatch大小①積壓檢測(cè)②檢測(cè)結(jié)果傳遞自動(dòng)檢測(cè)積壓狀態(tài)的時(shí)間間隔createtabledwd_log_live_show_even'scan.partition-lag.discovery'scan.backlog.max-avg-partit'scan.backlog.min-avg-parti方案收益未來(lái)規(guī)劃未來(lái)規(guī)劃未來(lái)規(guī)劃恢復(fù)場(chǎng)景優(yōu)化通用優(yōu)化場(chǎng)景優(yōu)化通用優(yōu)化汽車(chē)之家實(shí)時(shí)平臺(tái)4.0建設(shè)實(shí)踐Paimon豐富的功能給數(shù)倉(cāng)帶來(lái)提效 用的功能·數(shù)據(jù)實(shí)時(shí)/批量寫(xiě)入·豐富的合并引擎 ·數(shù)據(jù)全增量的查詢(xún)·歷史版本回溯99 計(jì)計(jì)算引擎AoMg0M加速數(shù)據(jù)加工個(gè)計(jì)算查詢(xún)個(gè)計(jì)算查詢(xún)臺(tái)臺(tái)FDFDM存儲(chǔ)層臺(tái)臺(tái)個(gè)數(shù)據(jù)加工離線鏈路通過(guò)使用Paimon流量寬表加速流量數(shù)據(jù)的清洗 Paimon流量檢查數(shù)據(jù)完整性策略：流量數(shù)據(jù)加工鏈路的時(shí)效性整體提升1小時(shí)以上排序過(guò)Paimon的數(shù)據(jù)文件查詢(xún)SQL:select*from查詢(xún)SQL:select*fromtablewherefield='c'排序合并之后，通過(guò)查看排序字段的值在每個(gè)文件的范圍在執(zhí)行計(jì)劃階段更加容易濾掉不需要的文件Mapper數(shù)12131個(gè)24-1367個(gè)業(yè)務(wù)庫(kù)數(shù)據(jù)實(shí)時(shí)入湖通過(guò)調(diào)度任務(wù)天/小時(shí)周期同步業(yè)務(wù)庫(kù)數(shù)據(jù)入倉(cāng)主鍵表通過(guò)業(yè)務(wù)庫(kù)CDC數(shù)據(jù)更新Paimon主鍵表業(yè)務(wù)庫(kù)數(shù)據(jù)時(shí)效性從天/小時(shí)級(jí)別提升到分鐘級(jí)別 設(shè)置源設(shè)置源Topic信息接入作業(yè)：1482接入作業(yè)_mysql_binlog_chuangkeyun_mw0_3306√□cky_stars_formal.s□cky_stars_formal.starcky_stars.star_product_it□全選2.設(shè)置目標(biāo)Paimon的信息_rtsnapshot.time-retained1數(shù)據(jù)源表： 計(jì)算引擎/表類(lèi)型Paimon表Hive表Hive引擎spark引擎優(yōu)化后，不同引擎查詢(xún)Paimon表對(duì)HDFS訪問(wèn)次數(shù)均有減少，低于對(duì)Hive表的訪問(wèn)次數(shù)家使用 ·使用Hive引擎查詢(xún)，Paimon表對(duì)HDFS的請(qǐng)求次數(shù)較優(yōu)化前減少83%,比Hive表減少65% ·使用Spark引擎查詢(xún)，Paimon表對(duì)HDFS的請(qǐng)求次數(shù)較優(yōu)化前減少49計(jì)算引擎/表類(lèi)型Paimon表(優(yōu)化前)Paimon表(優(yōu)化后)Hive表Hive引擎spark引擎排序合并localsampleglobalsample讀取數(shù)據(jù)排序合并localsample排序合并解決采樣階段瓶頸： --table_confsort-compaction.local-sample.m解決數(shù)據(jù)大小傾斜： --table_confsort-compaction.range-strategy=SIZE效果：資源相同的情況下效率會(huì)有2倍以上的提升13分鐘22秒013分鐘22秒0自動(dòng)調(diào)度18分鐘47秒0自動(dòng)調(diào)度11分鐘5秒0自動(dòng)調(diào)度12分鐘7秒0自動(dòng)調(diào)度10分鐘15秒0自動(dòng)調(diào)度17分鐘6秒0自動(dòng)調(diào)度10分鐘38秒0自動(dòng)調(diào)度13分鐘10秒0自動(dòng)調(diào)度13分鐘35秒0自動(dòng)調(diào)度自動(dòng)調(diào)度0自動(dòng)調(diào)度0自動(dòng)調(diào)度0自動(dòng)調(diào)度0自動(dòng)調(diào)度0自動(dòng)調(diào)度0自動(dòng)調(diào)度0自動(dòng)調(diào)度背景背景：·實(shí)時(shí)集群資源緊張，資源需求日益增長(zhǎng)，較21年任務(wù)數(shù)和計(jì)算量都增長(zhǎng)了一倍·實(shí)時(shí)離線任務(wù)分別在獨(dú)立集群，不能互相錯(cuò)峰利用資源錯(cuò)峰利用服務(wù)器資源，保證資源被充分利用在治理任務(wù)過(guò)程中沉淀出治理方案和引擎改造，賦能給用戶隊(duì)列監(jiān)控隊(duì)列監(jiān)控調(diào)度客戶端開(kāi)發(fā)客戶端Spark客戶端離線隊(duì)列 任務(wù)離線資源 8.將伸縮容后的配置持久化8.將伸縮容后的配置持久化真正執(zhí)行伸縮容操作3.通知任務(wù)伸縮容.從prometheus拉取metric,計(jì)算健康及資源評(píng)分9.反饋伸縮容結(jié)果，異?；謴?fù)策略處理平臺(tái)服務(wù)平臺(tái)服務(wù)1.請(qǐng)求伸縮容Yarn提供基于時(shí)間，資源量等規(guī)則的隊(duì)列調(diào)度機(jī)制，將任務(wù)調(diào)度到實(shí)時(shí)隊(duì)列 ·混部時(shí)間段調(diào)度規(guī)則：指定時(shí)間段開(kāi)啟任務(wù)到隊(duì)列的動(dòng)態(tài)綁定，例如：00:50~09:00 背景背景：燈塔平臺(tái)燈塔平臺(tái)診斷類(lèi)型：內(nèi)存浪費(fèi)CPU浪費(fèi)CPU內(nèi)存比例不合理重啟時(shí)間配置時(shí)間過(guò)長(zhǎng)(核數(shù))(個(gè))(個(gè))負(fù)責(zé)人診斷類(lèi)型：內(nèi)存浪費(fèi)診斷類(lèi)型：診斷類(lèi)型：CPU浪費(fèi)分析造成Full分析造成Fullgc的原因，0數(shù)據(jù)/空閑slot數(shù)量占比24小時(shí)內(nèi)FullGC次數(shù)24小時(shí)內(nèi)CPU綜合使用率小于25%的時(shí)間占比24小時(shí)內(nèi)CPU(分TaskManager)綜合使用率[含補(bǔ)償…24小內(nèi)GC釋放的內(nèi)存大小的平均相對(duì)占比24小時(shí)內(nèi)任務(wù)網(wǎng)絡(luò)隊(duì)列占滿的時(shí)間占比必須CPU使用率低，請(qǐng)減少Slot數(shù)或者降低Slot與CPU的PU綜合使用率小于25%的時(shí)間映射比例，如果存在數(shù)據(jù)傾斜，請(qǐng)調(diào)整數(shù)據(jù)交換策0---線程ID線程名線程組>18LegacySourceThread-Source:kafkaV2-with-wakanda-…FlinkTask比>120LegacySourceThread-So>>116LegacySourceThread-Source:kafkaV2-with-wakanda-.FlinkTask..47.48%2377ms實(shí)現(xiàn)步驟：請(qǐng)求的時(shí)候?qū)⒄?qǐng)求的時(shí)候?qū)? 效果：任務(wù)診斷助手、任務(wù)指標(biāo)查詢(xún)助手感知+規(guī)劃智能智能查詢(xún)排查平臺(tái)@實(shí)時(shí)平臺(tái)助手②實(shí)時(shí)任務(wù)5265為什么重啟@實(shí)時(shí)平臺(tái)助手②實(shí)時(shí)任務(wù)5265為什么重啟任務(wù)5688為什么消費(fèi)延遲任務(wù)5688為什么消費(fèi)延遲任務(wù)5688為什么消費(fèi)延遲任務(wù)5688在最近1小時(shí)內(nèi)，平均延遲數(shù)為70085779。了100,可能會(huì)導(dǎo)致任務(wù)處理能力下降，從而導(dǎo)致任·主機(jī)名：128-246-100.If.autohome.cc,·主機(jī)名：128-248-27.If.autohome.cc,load1:94這兩臺(tái)主機(jī)的load1值均超過(guò)了閾值80,說(shuō)明@王剛正在查詢(xún)?nèi)蝿?wù)指標(biāo)，稍后將根據(jù)查詢(xún)到的信息實(shí)時(shí)平臺(tái)助手鹵機(jī)器人17:08@王剛1.錯(cuò)誤分類(lèi)：用戶配置(代碼)2.錯(cuò)誤原因：堆內(nèi)存不足導(dǎo)致的內(nèi)存溢出異常。3.錯(cuò)誤原因分析：根據(jù)異常堆棧信息，“java.lang.OutOfMemoryError:Javaheap4.改進(jìn)或優(yōu)化建議：增加taskmanager內(nèi)存，參數(shù)用戶用戶回復(fù)4094最近3小時(shí)cpu4094最近3小時(shí)cpu使用率查詢(xún)時(shí)間：2024-11-0816:42:26到-If_hadoop_apollo_28_240_2...隨時(shí)隨地按需查詢(xún)隨時(shí)隨地按需查詢(xún)指標(biāo)頁(yè)面復(fù)雜，指標(biāo)眾多，翻看耗時(shí)結(jié)果解析用戶回復(fù)查詢(xún)模版回復(fù)查詢(xún)參數(shù)未來(lái)規(guī)劃未來(lái)規(guī)劃1.探索Paimon+StarRocks近實(shí)時(shí)OLAP場(chǎng)景2.Flink引擎版本升級(jí)3.推廣FlinkCDC替換自研的業(yè)務(wù)庫(kù)CDC微信掃描二維碼，關(guān)注我的公眾號(hào)DataOps能力建設(shè)未來(lái)規(guī)劃與展望是否新增任務(wù)務(wù)數(shù)是否新增任務(wù)準(zhǔn)確性驗(yàn)證管理規(guī)范能力DataOps是一種協(xié)同數(shù)據(jù)管理實(shí)踐，專(zhuān)注于提升跨組織的數(shù)據(jù)管理者與數(shù)據(jù)消費(fèi)者之間DataOps是一套實(shí)踐、流程程的數(shù)據(jù)觀點(diǎn)與敏捷軟件工程中的自動(dòng)化和方法相結(jié)合，以提高質(zhì)量、速度和協(xié)作，促進(jìn)信通院DataOps是一種現(xiàn)代數(shù)據(jù)研發(fā)DataOps以安全、高質(zhì)量、高通過(guò)人員、技術(shù)和流程間的緊密協(xié)同關(guān)系，實(shí)現(xiàn)對(duì)數(shù)據(jù)研發(fā)運(yùn)營(yíng)管理全生命周期的持續(xù)優(yōu)化，進(jìn)而提升組織數(shù)據(jù)研發(fā)運(yùn)營(yíng)管理工作的自動(dòng)化、敏捷化、協(xié)同化水構(gòu)建高效協(xié)同機(jī)制構(gòu)建高效協(xié)同機(jī)制產(chǎn)質(zhì)量產(chǎn)質(zhì)量平臺(tái)·全流程管控沉淀至工具平臺(tái)●搭建需求全鏈路度量及反饋體系精化數(shù)據(jù)運(yùn)營(yíng)，實(shí)現(xiàn)降本增效●搭建需求全鏈路度量及反饋體系精化數(shù)據(jù)運(yùn)營(yíng)，實(shí)現(xiàn)降本增效管控規(guī)劃持續(xù)開(kāi)放共建開(kāi)發(fā)版本控制運(yùn)維自動(dòng)化測(cè)試反饋?zhàn)詫W(xué)習(xí)自學(xué)習(xí)ExtensionPipelineOpenEventOpenAPI規(guī)劃-流程管理-能力介紹規(guī)劃-流程管理-能力介紹定義需求管理流程作業(yè)變更與需求綁定需求流程需求開(kāi)始需求評(píng)審開(kāi)發(fā)&自測(cè)部署上線驗(yàn)收交付綁定開(kāi)發(fā)流程狀態(tài)更新綁定作業(yè)開(kāi)發(fā)數(shù)據(jù)測(cè)試流水線發(fā)布規(guī)劃-流程管理-方案實(shí)現(xiàn)規(guī)劃-流程管理-方案實(shí)現(xiàn)【營(yíng)收活動(dòng)POO開(kāi)發(fā)進(jìn)行中已進(jìn)行5天8|田|8復(fù)制標(biāo)題和鏈接|…求排完成+新增任務(wù)需求模版*實(shí)時(shí)需求需價(jià)值回收需求交付需求臨收kStreamingsQL智能/DE指×需求管理綁定需綁定需求創(chuàng)建需求C【營(yíng)收激勵(lì)】拓展寶石積分激勵(lì)…直播中臺(tái)-國(guó)內(nèi)數(shù)據(jù)需求開(kāi)發(fā)-環(huán)境管理-能力介紹->線上環(huán)通過(guò)項(xiàng)目控制臺(tái)開(kāi)啟多環(huán)境，定義任務(wù)在不同環(huán)境之間的流轉(zhuǎn)規(guī)則(測(cè)試環(huán)境->線上環(huán)境)以及元信息映射(數(shù)據(jù)源/隊(duì)列/配置)來(lái)實(shí)現(xiàn)生產(chǎn)和測(cè)試環(huán)境隔離。提交部署提交部署數(shù)數(shù)據(jù)源/隊(duì)列/配置開(kāi)發(fā)-環(huán)境管理-方案實(shí)現(xiàn)進(jìn)行環(huán)境配置加載，不同環(huán)境部署的代碼會(huì)在提交階段根據(jù)環(huán)境配置動(dòng)態(tài)生成。生產(chǎn)版本測(cè)試版本草稿版本復(fù)查人上線說(shuō)明數(shù)上線檢查提交環(huán)境配置上線檢查重構(gòu)測(cè)試-數(shù)據(jù)自測(cè)-能力介紹需求ID請(qǐng)輸入信息Owner請(qǐng)輸入信息日期范圍開(kāi)-結(jié)新增測(cè)試新增測(cè)試測(cè)試ID創(chuàng)建日期測(cè)試表名需求IDOwner搜索重置-則名城不面代碼開(kāi)發(fā)實(shí)時(shí)自測(cè)模塊實(shí)時(shí)自測(cè)模塊勾選自測(cè)規(guī)則輕量級(jí)自測(cè)一鍵質(zhì)量測(cè)試產(chǎn)出單次質(zhì)量一鍵提測(cè)按鈕一鍵提測(cè)按鈕測(cè)試規(guī)范測(cè)試規(guī)范通知QAQA測(cè)試Source參數(shù)合理性TM/JM資源推薦Source參數(shù)合理性報(bào)警配置報(bào)警配置Mini-Batch參數(shù)合理性部署-上線檢測(cè)-方案實(shí)現(xiàn)部署-上線檢測(cè)-方案實(shí)現(xiàn)數(shù)據(jù)數(shù)據(jù)寫(xiě)出數(shù)據(jù)寫(xiě)出數(shù)據(jù)檢查不通過(guò)，任務(wù)上線被阻斷，請(qǐng)修改任務(wù)配置再次嘗試遍歷篩選匹配規(guī)則流式任務(wù)上線杉遍歷篩選匹配規(guī)則結(jié)果結(jié)果是式中是式中式部署-發(fā)布管控-能力介紹部署-發(fā)布管控-能力介紹通知通知流水線編排插件集成觸發(fā)流水線流水線編排插件集成技術(shù)技術(shù)基于開(kāi)放能力，進(jìn)行發(fā)布流水線定義與編排部署-發(fā)布管控-方案實(shí)現(xiàn)采集抽樣新任務(wù)上線×原有任務(wù)迭代×新增指標(biāo)×雙胞切換×值周運(yùn)維×縮減資源×任務(wù)泊理×任務(wù)下線×DwD×DIM×DwsxAPP×ADS×ODs×DU3353否是時(shí)效性目標(biāo)：5分鐘發(fā)現(xiàn)，5分鐘響應(yīng)處理，30分鐘恢復(fù)?；€操作GG黃鑫0915EECC'sink.metrics.bucketA規(guī)劃-需求管理開(kāi)發(fā)-環(huán)境管理測(cè)試-數(shù)據(jù)自測(cè)100%管控部署-上線檢測(cè)/發(fā)布管控運(yùn)維-基線監(jiān)控質(zhì)量質(zhì)量規(guī)劃規(guī)劃●自動(dòng)容災(zāi)入湖場(chǎng)景的應(yīng)用實(shí)踐演講人|陳吉通(顧軒)阿里云高級(jí)開(kāi)發(fā)工程師，DataXMaintainer02DataWorks數(shù)據(jù)集成入湖解決方案的架構(gòu)和原理03DataWorks數(shù)據(jù)集成入湖場(chǎng)景的產(chǎn)品化案例分享04未來(lái)規(guī)劃Q發(fā)布阿里云正式對(duì)外(公有云、專(zhuān)有云)提供服務(wù)發(fā)布實(shí)時(shí)同步實(shí)時(shí)同步數(shù)據(jù)入湖彈性擴(kuò)縮容2011201420192020數(shù)據(jù)平臺(tái)事業(yè)部成立同步中心公有云商業(yè)化獨(dú)享資源組發(fā)布新版引擎重構(gòu)升級(jí)數(shù)據(jù)上云的核心樞紐：異構(gòu)數(shù)據(jù)存儲(chǔ)、可靠、安全、低成本、可彈性擴(kuò)展的數(shù)據(jù)同步平臺(tái)離線/實(shí)時(shí)全覆蓋支持離線同步，實(shí)現(xiàn)數(shù)據(jù)主動(dòng)抽取離線/實(shí)時(shí)全覆蓋支持離線同步，實(shí)現(xiàn)數(shù)據(jù)主動(dòng)抽取實(shí)時(shí)同步被動(dòng)接受變更刷新，變更動(dòng)態(tài)同步離線支持50+種數(shù)據(jù)源，實(shí)時(shí)支持10+種數(shù)據(jù)源支持復(fù)雜網(wǎng)絡(luò)無(wú)論數(shù)據(jù)源在哪里，公網(wǎng)、IDC、VPC內(nèi)等數(shù)據(jù)集成都具備成熟的辦法可以提供連接到數(shù)據(jù)源的網(wǎng)絡(luò)解決方案同步解決方案整庫(kù)遷移、批量上云增量同步、分庫(kù)分表一鍵實(shí)時(shí)全增量安全控制開(kāi)發(fā)生產(chǎn)環(huán)境隔離數(shù)據(jù)源權(quán)限安全控制，可分享獨(dú)享資源組保障高可用運(yùn)維監(jiān)控流量控制、臟數(shù)據(jù)控制資源組使用監(jiān)控任務(wù)告警設(shè)置，支持電話、短信、郵件、釘釘10萬(wàn)億流量控制權(quán)限檢查權(quán)限檢查啟動(dòng)集成任務(wù)開(kāi)發(fā)態(tài)運(yùn)行態(tài)開(kāi)發(fā)態(tài)運(yùn)行態(tài)基于基于FlinkCDC框架+DataX(重構(gòu)后的新版流批一體同步引擎6整庫(kù)級(jí)別同步整庫(kù)級(jí)別同步性能成本Pkshuffle避免數(shù)據(jù)熱點(diǎn)DML/DDL全事件流解析功能特性豐富的T節(jié)點(diǎn)能力彈性擴(kuò)縮容關(guān)系型數(shù)據(jù)庫(kù)關(guān)系型數(shù)據(jù)庫(kù)甲增量同步增量同步FlinkCDCSource事件解析數(shù)據(jù)分發(fā)表映射字符串替換Transformer算子阿里云DLF數(shù)據(jù)湖構(gòu)建目的端數(shù)據(jù)湖獲取源表表結(jié)構(gòu)映射目標(biāo)表表結(jié)構(gòu)、生成目標(biāo)表建表語(yǔ)句映射目標(biāo)表表結(jié)構(gòu)、生成目標(biāo)表建表語(yǔ)句·執(zhí)行目標(biāo)表建表→→·完成全量數(shù)據(jù)遷移 對(duì)齊啟動(dòng)點(diǎn)位啟動(dòng)增量同步·全量初始化階段和業(yè)務(wù)高峰期需要較多的資源·全量初始化階段和業(yè)務(wù)高峰期需要較多的資源·數(shù)據(jù)集成需要支持資源的動(dòng)態(tài)擴(kuò)縮，達(dá)到動(dòng)態(tài)調(diào)優(yōu)和節(jié)省資源。消息隊(duì)列消息隊(duì)列針對(duì)數(shù)據(jù)集成業(yè)務(wù)場(chǎng)景，利用AutoCopilot針對(duì)數(shù)據(jù)集成業(yè)務(wù)場(chǎng)景，利用AutoCopilot能力實(shí)現(xiàn)彈性擴(kuò)縮容業(yè)務(wù)場(chǎng)景：客戶成本下降近50%客戶成本下降近50%未來(lái)規(guī)劃rrrDataScientistsMutabilitycauseddivergenceacrosClusterWorkerWorkerNodeManagerWorkerWorkerjobs鷹角基于Flink+Paimon+Trino朱正軍|鷹角大數(shù)據(jù)開(kāi)發(fā)工程師鷹角數(shù)據(jù)平臺(tái)架構(gòu)明日舟泡舊泡姆明日舟泡舊泡姆消息隊(duì)列數(shù)據(jù)同步消息隊(duì)列數(shù)據(jù)同步觀遠(yuǎn)數(shù)據(jù)數(shù)據(jù)質(zhì)量平臺(tái)數(shù)據(jù)質(zhì)量平臺(tái)數(shù)據(jù)權(quán)限質(zhì)量管理平臺(tái)引擎PolarDB/Hologres(算法側(cè))引擎引擎Trino1、實(shí)時(shí)入湖用戶門(mén)檻高2、歷史快照存儲(chǔ)成本高場(chǎng)景2、歷史快照存儲(chǔ)成本高戰(zhàn)3、