FFA2023平臺建設(shè)專場資料匯總

?100+核心能力?10+Flink生態(tài)項目?100+核心能力?10+Flink生態(tài)項目??????????????????????????30+FlinkCommitters搜索推薦數(shù)據(jù)中臺流批一體數(shù)倉任務規(guī)模搜索推薦數(shù)據(jù)中臺流批一體數(shù)倉任務規(guī)模計算資源在線機器學習計算能力峰值69億記錄/秒 業(yè)務實時化變革的根本基礎(chǔ)數(shù)據(jù)處理連續(xù)性盡可能讓業(yè)務長時業(yè)務實時化變革的根本基礎(chǔ)數(shù)據(jù)處理連續(xù)性盡可能讓業(yè)務長時間實時在線，將實時數(shù)據(jù)處理帶入更廣闊空間將離線數(shù)據(jù)處理和實時數(shù)據(jù)處理有機數(shù)據(jù)無障礙流動打破數(shù)據(jù)孤島，上下游全面實時化，化簡流動中的架構(gòu)考慮和業(yè)務變化處理了解數(shù)據(jù)含義與相互之間的關(guān)系，了解業(yè)務處理進度，獲得洞察技術(shù)民主化讓每個人都可以參與實技術(shù)民主化讓每個人都可以參與實時數(shù)據(jù)分析與處理 率/nexmark/nexmark?Kafka?Starrocks?ApachePaimon?IapacheIceberg?支持通過Catalog來實現(xiàn)元數(shù)據(jù)的自動發(fā)現(xiàn)和管理，?配合CTAS語法，實現(xiàn)數(shù)據(jù)的同步和表結(jié)構(gòu)變更自動同步。?支持讀取數(shù)據(jù)變更和表結(jié)構(gòu)變更并同步到下游，數(shù)據(jù)和表結(jié)構(gòu)變更都可以保證順序。ASTABLEmysql.`user_db[0-9]+`.`user[0-9]+`;ee.0業(yè)0 無斷流降低開銷阿里云Flink基于單點重啟機制的快速恢復能力：32代碼開發(fā)完全一套代碼，核心作業(yè)配置132代碼開發(fā)完全一套代碼，核心作業(yè)配置13作業(yè)調(diào)度4作業(yè)運行視化編輯器完善的錯誤提示03支持SQL數(shù)據(jù)探理和文件夾組織支持Catalog管理表信息版，快速上手項分析），(作業(yè)吞吐低，延遲高過低配置資源利用率低)(啟動速度慢(作業(yè)吞吐低，延遲高過低配置資源利用率低)(啟動速度慢過高配置進行scaledownscaleup內(nèi)存的調(diào)優(yōu)策略主要是根據(jù)作業(yè)內(nèi)存實際利用率，以及GC的metric來動態(tài)調(diào)整tm的內(nèi)存?09：00~19：00是業(yè)務高峰，期間使用30并發(fā)度。?19：00到次日09：00是業(yè)務低谷，期間使用10并發(fā)度。狀態(tài)兼容性檢查基于狀態(tài)遷移的兼容性提升狀態(tài)集列表的展示與監(jiān)控作業(yè)啟動的狀態(tài)恢復、開源Flink遷移上云的狀態(tài)復用，作業(yè)間的狀態(tài)復用、本地狀態(tài)的快速恢復（未來）狀態(tài)中間數(shù)據(jù)查詢與修改、基于狀態(tài)的作業(yè)分析狀態(tài)定時或手動生成與清理ACBDACBD作業(yè)告警-Flink控制臺作業(yè)的數(shù)據(jù)曲線大盤BatchBatchStreamStream88Databaseprestopresto88left_streamright_streamleft_streamright_streamstateOperatorstateLogicalPlanPhysicalPlanExecPlanTransformationleft_streamright_streamleft_streamright_streamstateOperatorstateLogicalPlanPhysicalPlanExecPlanTransformation右流有長周期state保存需求（18d）loadloadSource(1/3)->Calc(1/3)->DimJoin(1/3)Source(2/3)->Calc(2/3)->DimJoin(2/3)Source(3/3)->Calc(3/3)->DimJoin(3/3)CacheCache(1/3)CacheCache(2/3)CacheCache(3/3)TableCache(1/3)TableCache(1/3)TableSource(1/3)->Calc(1/3)Source(2/3)->Calc(2/3)Source(3/3)->Calc(3/3)111144222333CacheCache(2/3) Cache(3/3)TableTableSource(1/3)->Calc(1/3)Source(2/3)->Calc(2/3)Source(3/3)->Calc(3/3)數(shù)據(jù)熱點111111142223CacheCache(1/3)CacheCache(2/3)CacheCache(3/3)Source(1/3)->Calc(1/3)Source(2/3)->Calc(2/3)Source(3/3)->Calc(3/3)111412321112CacheCache(1/3)CacheCache(2/3)CacheCache(3/3)TableAABB+I[a0,a1,b0,b1]-U[a0,a1,b0,b1]-U[b0,b1]+I[a0,a1,null,null]-D[a0,a1,null,null]+I[a0,a1,null,null]-D[a0,a1,null,null]table.exec.stream.join.mini-batch-enabledtable.exec.mini-batch.allow-latencytable.exec.stream.join.mini-batch-enabledtable.exec.mini-batch.allow-latencyAABB-U[b0,b1]-U[b0,b1]消息折疊-U[b0,b1]+I[a0,a1,b0,b1]-U[a0,a1,b0,b1]CACBACACBABSink(table=[default_catalog.default_database.report],fields=[EXPR$0,+-TableSourceScan(table=[[default_catalog,default_database,advice[1]:[ADVICE]Theexpression`CONCAT(_UTF-16LE'2023_WINTER:',voucher_code)`computedoninputupsertkey`voucher_code`lostuniqueness.Pleaserefertothedocumentationformoredetails. 構(gòu)建流批一體開發(fā)運行范式和用戶體驗統(tǒng)一數(shù)據(jù)流批場景存儲構(gòu)建流式湖倉數(shù)據(jù)治理體系A(chǔ)I輔助FlinkSQL開發(fā)基于大語言模型提升智能診斷構(gòu)建流批一體開發(fā)運行范式和用戶體驗統(tǒng)一數(shù)據(jù)流批場景存儲構(gòu)建流式湖倉數(shù)據(jù)治理體系A(chǔ)I輔助FlinkSQL開發(fā)基于大語言模型提升智能診斷探索實時情感分析、輿情研判等場景王柳焮|阿里云智能集團瓴羊技術(shù)專家 ……………數(shù)倉建模金融風控特征計算湖倉一體數(shù)倉建模金融風控特征計算湖倉一體實時任務數(shù)流批一體任務數(shù)實時任務數(shù)流批一體任務數(shù)流批一體流批一體ApacheFlinkYarn全托管ApacheFlinkYarn全托管私有云…………CatalogCatalog……PhysicaltablePhysicaltableAliyunAliyunFlinkKubernetesKubernetes公共云公共云管采管采用……新增列修改列類型重命名列121212varchar刪除表新增表重命名表12新增列修改列類型重命名列121212varchar刪除表新增表重命名表1212 刪除列刪除列12清空表清空表正常處理：Flink會將此DDL消息將會繼續(xù)下發(fā)給目標數(shù)據(jù)源，由目標數(shù)據(jù)源來識別處理?支持寫入目標庫已有表或自動建表。?支持配置表名轉(zhuǎn)換規(guī)則以及目標表名前后綴。?通過完成、告警、失敗等不同的映射狀態(tài)，可關(guān)注并處理每一張來源表到目標表到映射狀態(tài)。?自動在目標表添加變更記錄的描述字段，包括變更發(fā)生時間、操作類型等，以便業(yè)務識別與使用。?支持手動添加全局字段。StreamconnectorBatchconnectorComputeSourceCatalogStreamconnectorBatchconnectorComputeSourceCatalog>離線物理表是否可以直接引用，并與實時PhysicaltablePhysicaltable CatalogDataSource……pay_amttotal_feestat_date…………pay_amttotal_feestat_date……Sourcestream_metastatstat_datetotaltotal_fee………………?打通Stream&Batch一體，開發(fā)人員只需維護同一套代碼?打通Stream&Batch一體，開發(fā)人員只需維護同一套代碼，即可同時處理流計算與?解決業(yè)務口徑不對齊帶來的數(shù)據(jù)質(zhì)量風險，省去繁雜的需求和接口對焦等人力&時間成本存儲業(yè)務層面業(yè)務層面?開發(fā)人員在Flink流和批任務兩個作業(yè)間來回切換，開發(fā)體驗割裂，容易出現(xiàn)變更遺漏?數(shù)據(jù)一致性和質(zhì)量難以保障?流批存儲系統(tǒng)隔離（面向不同寫入場景），提供的數(shù)據(jù)服務不一致，維護成本高Flink-1.15Flink-1.14Flink-1.13……AliyunFlinkFlink-1.15Flink-1.14Flink-1.13……AliyunFlinkVvr-8.0.1-flink-1.17 Vvr-6.0.7-flink-1.15 ……Vvr-4.0.18-flink-1.13全托管全托管KubernetesKubernetestaskmanager、jobfailove文件存儲 …………計算任務只負責導入明細數(shù)據(jù)到視圖中，聚合邏輯全部放在服務任務中實時事件表實時事件表Hbase表針對熱點數(shù)據(jù)的特征加工，基礎(chǔ)特征的明細方案無法滿足大數(shù)分維度/mi//分維度天流批事件表Hbase表Hbase表實時事件表可支撐數(shù)據(jù)量可支撐數(shù)據(jù)量特征開發(fā)的靈活性特征快上的能力運維成本計算/資源成本預計算方案大中快大中全計算方案大大中大大出。每5s觸發(fā)過去24小時的滑動窗口計算任一賣家累計銷售金額。通過回拉3天點位進行高性能測試。出。每5s觸發(fā)過去24小時的滑動窗口計算任一賣家累計銷售金額。通過回拉3天點位進行高性能測試。?自定義狀態(tài)算子相較于官方窗口?更快的數(shù)據(jù)回追能力?更優(yōu)的作業(yè)穩(wěn)定性?更好的checkpoint成功率3天數(shù)據(jù)回追時長……T-1T-1TTT………T-1T-1TTT…數(shù)據(jù)源…………數(shù)據(jù)同步湖倉體系數(shù)據(jù)應用AdAd-hoc資產(chǎn)中心（統(tǒng)一元數(shù)據(jù)）資產(chǎn)中心（統(tǒng)一元數(shù)據(jù)）跨源支持數(shù)據(jù)在湖與倉之間流通，可以輕松匯集和保存海量業(yè)務數(shù)據(jù)基于Flink與DataX架構(gòu)的數(shù)據(jù)流通體系再方便的入湖工具，歷史數(shù)據(jù)都有遷移成本！增量數(shù)據(jù)入湖，歷史數(shù)據(jù)不遷移，提供統(tǒng)一引擎服務智能識別分區(qū)湖倉一體場景深化落地全鏈路SQL調(diào)試智能診斷湖倉一體場景深化落地全鏈路SQL調(diào)試智能診斷全域元數(shù)據(jù)中心前往官網(wǎng)了解更多前往官網(wǎng)了解更多ApacheFlinkContributor 能不能幫我導一份一樣的到測試環(huán)境？很簡單的！我要提這個數(shù)，做個統(tǒng)計，幫我寫一個作業(yè)數(shù)據(jù)遷移實時風控會話串聯(lián)分析數(shù)據(jù)按維度做聚合動態(tài)復雜規(guī)則ETL數(shù)據(jù)探索專用領(lǐng)域內(nèi)特殊優(yōu)化的流數(shù)據(jù)遷移實時風控會話串聯(lián)分析數(shù)據(jù)按維度做聚合動態(tài)復雜規(guī)則ETL數(shù)據(jù)探索專用領(lǐng)域內(nèi)特殊優(yōu)化的流此處的“專業(yè)”與“非專業(yè)”，實際上指的是一個平臺用戶在遇到數(shù)據(jù)需求時，是否需要關(guān)注和學習Flink開發(fā)知識?！澳芘艿木托??！薄澳銕臀铱匆幌隆！比缓髮У侥莻€地方”…………始終保持主要業(yè)務運行在新的正式版本上……JobTemplateparserTransformnEngine(Fink)DAGAssembler JobTemplateJobTemplateparser Engine(Fink)DAG Engine(Fink)DAGAssembler JobTemplateparser Engine(Fink)DAGAssembler flink-connectorflink-connector-elasticsearch7flink-connector-elasticsearch8.asJsonString()轉(zhuǎn)化為JSON字符串.asMap()2.asJsonString()轉(zhuǎn)化為JSON字符串.asMap()2轉(zhuǎn)化為Map<String,Object>對象436.getMetadata()獲取數(shù)據(jù)所攜帶的元數(shù)據(jù)信息.getTimestamp()11.toRow().isFinalEvent()是否為數(shù)據(jù)流中的最后一筆轉(zhuǎn)化為Flink.toRow().isFinalEvent()是否為數(shù)據(jù)流中的最后一筆支持聯(lián)動到FlinkSQL55獲取業(yè)務時間大部分的成熟業(yè)務的Flink作業(yè)，其實都是配置+半固定拓撲而descriptor+全靈活拓撲則可以支撐專業(yè)使用，并為非專業(yè)使用做好基底但在專業(yè)用戶角度上，處理大量非結(jié)構(gòu)化、異構(gòu)數(shù)據(jù)時，用SQL往往難以表達。從ES集群A讀數(shù)據(jù)過濾出測試環(huán)境從ES集群A讀數(shù)據(jù)從ES集群A讀數(shù)據(jù)過濾出測試環(huán)境從ES集群A讀數(shù)據(jù)過濾出正式環(huán)境從從ES集群B讀數(shù)據(jù)過濾出測試環(huán)境從從ES集群A讀數(shù)據(jù)輸出到日志觀察容易實現(xiàn)向?qū)阶鳂I(yè)構(gòu)造2018上2018下2019上2019下2020上2020下2021上2021下2022上2022下2023上2018上2018下2019上2019下2020上2020下2021上2021下2022上2022下2023上2018上2018下2019上2019下2020上2020下2021上2021下2022上2022下2023上2018上2018下2019上2019下2020上2020下2021上2021下2022上2022下2023上讓每一個實時作業(yè)都基于相同的配置語義人力/代碼讓每一個實時作業(yè)都基于相同的配置語義人力/代碼相同語義地理解計算任務0SDK通?UDF數(shù)SDK通?連接器數(shù)0-作業(yè)數(shù)2018上2018下2019上2019下2020上2020下2021上2021下2022上2022下2023上2018上2018下2019上2019下2020上2020下2021上2021下2022上2022下2023上2018上2018下2019上2019下2020上2020下2021上2021下2022上2022下2023上2018上2018下2019上2019下2020上2020下2021上2021下2022上2022下2023上86420))0-作業(yè)數(shù)K8sBenthosBootstrapKubernetesZooKeeperKubernetesZooKeeperJarRepositoryBusiness JarsJFlink-SDKBootstrapBootstrapNamespaces借由K8S進行資源調(diào)配借由K8S進行資源調(diào)配基于Prometheus的標準采集每個作業(yè)獨立命名空間借助K8S標簽劃分機器通過伴生Filebeat采集同步官方Flink鏡像發(fā)版 “都有什么數(shù)據(jù)”……權(quán)限異構(gòu)數(shù)據(jù)源的客戶端差異遲滯的結(jié)構(gòu)變化信息口口相傳才能知道從何處提取數(shù)據(jù)，經(jīng)驗局限……dynamicrule……dynamicrule……cataliasesregisterschemaschema元數(shù)據(jù)自動發(fā)現(xiàn)Flink流loc:myhost:myport/dw/dwm_login_return_payschema:… 可自動生成 翻譯為Flinkoperatortype:ElasticSearchloc:myhost:myport/jflink-alias/jflink-operator-schema:… 可自動生成 翻譯為FlinkoperatorwebsocketwebsocketFlinkTail流websocketwebsocketFlinkTail流字段建?？捎糜谏蒄link流中流轉(zhuǎn)對象的Schema，按IO和處理邏輯過濾出參考典范可視化編排此典范，調(diào)整并派生為自己想要的新作業(yè)支持高頻度反復調(diào)試支持高頻度反復調(diào)試----------------->----------------->追加一個追加一個LocalSink捕獲輸出并回顯調(diào)度本地啟動jarAliothAliothWebAliothT-SERVER(backend)StateMachineAutomatorWatchDogBootstrapManagerAliothAliothWebAliothT-SERVER(backend)StateMachineAutomatorWatchDogBootstrapManagerAliothAliothWebAliothT-SERVER(backend)StateMachineAutomatorWatchDogBootstrapManagerAliothAliothWebAliothT-SERVER(backend)StateMachineAutomatorWatchDogBootstrapManager列出候選資產(chǎn)拆解任務藍圖列出候選資產(chǎn)拆解任務藍圖分配數(shù)分人力確認交付方式計算任務1 (Flink)計算任務1 (Flink) 資產(chǎn)發(fā)現(xiàn)流計算任務2計算任務2 (Flink)…………作業(yè)典范作業(yè)典范作業(yè)典范-……-……-……012:0015:0018:0021:0024:0003:0006:0009:000__________________________________________________________________________________12:0015:0018:0021:0024:0003:0006:0009:00?修改可縮容算子并行度?修改可縮容算子并行度?用新作業(yè)帶保存點啟動?修改可擴展算子并行度調(diào)整作業(yè)?用新作業(yè)帶保存點啟動快速重啟快速重啟調(diào)整作業(yè)調(diào)整作業(yè)實現(xiàn)對各資源池適配的統(tǒng)一自適應02100210432100拉起FlinkJAR拉起FlinkJAR----------------->調(diào)度提數(shù)任務----------------->苛刻的資源條件FaaSFaaS-……-……FaaSFaaS-……借助實時計算的事實標準Flink和它的生態(tài)我們在2023年完成了全量互娛計費數(shù)據(jù)計算業(yè)務的Flink化大一統(tǒng)目標實時支付風控實時支付風控用戶畫像服務全鏈路監(jiān)控用戶畫像Alioth平臺自身的全部數(shù)據(jù)需求TP-AP數(shù)據(jù)同步……支持可視化編排Tailanything屏蔽差異實時支持可視化編排Tailanything屏蔽差異實時Flink試跑數(shù)據(jù)探索監(jiān)控告警異常分析作業(yè)托管擴縮容極限縮容需求與資產(chǎn)導向形成數(shù)據(jù)閉環(huán)支持各種資源場景K8S獨立Flink集群一站式作業(yè)一站式作業(yè)生命周期管理平臺陳子豪|小米軟件研發(fā)工程師ApacheFlinkContributor 數(shù)據(jù)源數(shù)據(jù)源終端設(shè)備服務端（容器/日志/Metric）物聯(lián)網(wǎng)（工廠/車輛/智能設(shè)備）數(shù)據(jù)庫數(shù)據(jù)采集數(shù)據(jù)采集終端采集服務端采集物聯(lián)網(wǎng)采集數(shù)據(jù)庫變更采集數(shù)據(jù)通道數(shù)據(jù)通道數(shù)據(jù)湖（Iceberg）離線計算（Spark）（Talos）資源調(diào)度（Yarn）計算引擎數(shù)據(jù)查詢數(shù)據(jù)查詢查詢引擎查詢加速數(shù)據(jù)搜索（ElasticSearch）監(jiān)控大屏失敗自動重啟失敗積壓報警異常日志收集監(jiān)控大屏失敗自動重啟失敗積壓報警異常日志收集異常智能分析QueueQueue……Cluster集群管理集群管理標簽管理任務管理行為審計平臺語法檢測在線調(diào)試QueueQueueQueue……Cluster多數(shù)據(jù)源配置繁多多數(shù)據(jù)源配置繁多調(diào)試功能場景有限用戶隊列資源冗余用戶作業(yè)資源浪費缺乏故障逃生能力缺乏高優(yōu)保障機制開發(fā)提效運維提效開發(fā)提效運維提效資源動態(tài)調(diào)整優(yōu)化推薦異常自愈智能化運維統(tǒng)一元數(shù)據(jù)智能診斷智能運維統(tǒng)一權(quán)限數(shù)據(jù)血緣統(tǒng)一計算資源統(tǒng)一元數(shù)據(jù)智能診斷智能運維統(tǒng)一權(quán)限數(shù)據(jù)血緣統(tǒng)一計算資源項目管理項目管理資源管理版本管理行為審計平臺數(shù)據(jù)集成數(shù)據(jù)集成異常感知與自愈異常感知與自愈TalosQTalosQ統(tǒng)一坐標及服務「catalog.database.table」統(tǒng)一table視角，不同引擎視角下均是一張表屏蔽賬號密碼信息—Flink:簡單的流式入湖作業(yè)`iceberg_xxxx`.`tmp`.`table_mi``id`,`name`,`age``talos_xxxx`.`default`.`topic_mi`;—Presto:簡單的數(shù)據(jù)查詢SELECT*FROM`iceberg_xxxx`.`tmp`.`table_mi`; FlinkSpark IcebergIceberg(project,table)(select,insert)PhysicalPlanPhysicalPlanIcebergTableAPIRangerTalosTableAPIRangerTable鏈路節(jié)點異常，受影響節(jié)點會收到報警作業(yè)積壓數(shù)據(jù)產(chǎn)出受影響下游受影響節(jié)點鏈路節(jié)點異常，受影響節(jié)點會收到報警作業(yè)積壓數(shù)據(jù)產(chǎn)出受影響下游受影響節(jié)點空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)stream_jobqueue?buffer資源可靈活使用?缺點：資源管理不可控，容易擴容失敗空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)可優(yōu)化空間作業(yè)空間作業(yè)空間作業(yè)空間作業(yè)可優(yōu)化集團層面推進降本增效降本進入深水區(qū)，治理需要新的突破點業(yè)務邏輯開發(fā)優(yōu)化流量波動資源浪費資源優(yōu)化……用戶無法快速定位并解決問題高優(yōu)任務質(zhì)量要求高字段類型不匹配熱點機器依賴組件異常未申請權(quán)限業(yè)務問題集群問題……智能診斷智能診斷異常感知與自愈鏈路預警動態(tài)資源，彈性伸縮數(shù)據(jù)驅(qū)動技術(shù)支撐價值量化治理閉環(huán)價值量化智能優(yōu)化治理指標核心指標穩(wěn)定性指標Yarn 畫像數(shù)據(jù)特性推廣特性推廣分級灰度優(yōu)化建議資源預估難，調(diào)優(yōu)門檻高無法匹配動態(tài)流量，資源冗余浪費彈性趨于穩(wěn)態(tài)，推薦調(diào)優(yōu)內(nèi)存、并發(fā)動態(tài)調(diào)整，按需分配主動式應對負載突增，觸發(fā)擴容資源預估難，調(diào)優(yōu)門檻高無法匹配動態(tài)流量，資源冗余浪費彈性趨于穩(wěn)態(tài)，推薦調(diào)優(yōu)內(nèi)存、并發(fā)動態(tài)調(diào)整，按需分配主動式應對負載突增，觸發(fā)擴容負載突增，需人工介入負載突增，需人工介入ResourceManager擴/縮ContainerTaskManagerDynamicSchedulerManager……主動探測指標上報ResourceManager擴/縮ContainerTaskManagerDynamicSchedulerManager……主動探測指標上報申請/釋放申請/釋放SlotTaskManagerTaskManager判定結(jié)果判定結(jié)果ContainerContainerX單機資源不足Container ResourceManager ContainerContainerX單機資源不足Container ResourceManager Container擴容切換節(jié)點 ContainerContainer主動探測 穩(wěn)定性問題解決方案周期性觸發(fā)無法應對負載突增，積壓情況壓情況短時間內(nèi)觸發(fā)多次彈性導致頻繁重啟，甚至觸發(fā)失敗策略.增加彈性冷凍間隔.攢批編排Container擴/縮容.優(yōu)化重啟策略部分節(jié)點單機資源不足解決重復、簡單運維問題，提高效率診斷結(jié)果指標數(shù)據(jù)數(shù)據(jù)存儲沉淀了幾十種診斷規(guī)則線上異常診斷覆蓋率達80%數(shù)據(jù)開發(fā)全鏈路介入解決重復、簡單運維問題，提高效率