FFA2024分論壇-流式湖倉(cāng) 合輯-部分2

Row:(pk3,nil,f2)writeSortBuffer:(pk3,nil,f2),(pk2,f1,nil),(pk3,f1,nil),(pk1,nil,f2),(pk2,nil,f2),(pk1,f1,nil)sortSortBuffer:(pk1,f1,nil),(pk1,nil,f2),(pk2,f1,nil),(pk2,nil,f2)(pk3,f1,nil),(pk3,nil,f2)mergeFile:(pk1,f1,f2),(pk2,f1,f2)(pk3,f1,f2)flush/compact}1col_0col_0col_1……………..PackChangelogReaderPackChangelogReaderpk1,f1b,f2b,f1a,f2apk1,f1b,f2b,f1a,f2acol_0col_1[pk_col][pk_col][pk_col][pk_col][col_1]BinlogTableAsyncRefreshAsyncRefreshKeyValueFormatPartialcacheLookup DataFile MetaFullcacheLookupFullcacheLookupStateSnapshotrefreshasynchronousSnapshotOperatorOperatorInputStreamOperatorOperatorBucketPartitionerOperatorBucket1Bucket2BucketBucket1Bucket2Bucket6Bucket4BucketBucket6Bucket4spark.paimon.${config_key}SETspark.paimon.scan.timestamp-mills=ts1;spark.paimon.${catalogName}.${dbName}.${tableName}.${config_key}SETspark.paimon.scan.timestamp-mills=ts1;SETspark.paimon.*.default.T1.scan.timestamp-mills=ts2;數(shù)據(jù)質(zhì)量（Data數(shù)據(jù)質(zhì)量（Dataquality）查詢性能（Performance）實(shí)時(shí)分析（Realtime）數(shù)據(jù)治理（Governance）開(kāi)放生態(tài)（Open）靈活統(tǒng)一（Singlesourceoftruth）可擴(kuò)展性（Scalability）高性價(jià)比（Costefficiency）極速統(tǒng)一極速統(tǒng)一簡(jiǎn)單易用…StarRocks主鍵表:高性能實(shí)時(shí)寫入和更新 ↓! !!!數(shù)據(jù)湖查詢加速WarehouseLocalCacheStarRocksPaimonLocalCacheAllinPaimonStarRocks數(shù)據(jù)湖查詢加速WarehouseLocalCacheStarRocksPaimonLocalCacheAllinPaimonStarRocksStarRocksStarRocksPaimonSinkPaimonSinkPaimon數(shù)據(jù)湖倉(cāng)分層建模WarehouseADSStarRocksPaimon中?數(shù)據(jù)量vs中?數(shù)據(jù)量vs超?數(shù)據(jù)量數(shù)倉(cāng)為基礎(chǔ)vs數(shù)據(jù)湖為基礎(chǔ)封閉內(nèi)表格式封閉內(nèi)表格式vs開(kāi)放湖表格式開(kāi)箱即?開(kāi)箱即?vs中等運(yùn)維難度計(jì)算引擎統(tǒng)?計(jì)算引擎統(tǒng)?vs?湖多引擎StarRocks能?vs其他引擎能?StarRocks存算分離集群Warehouse-2查詢?nèi)蝿?wù)StarRocks存算分離集群Warehouse-2查詢?nèi)蝿?wù)StarRocksControlPlaneStarOS元倉(cāng)分析DLF湖表元數(shù)據(jù)等StarRocksStarRocksSR的主鍵模型基于deleteandinsert模式實(shí)現(xiàn)SR通過(guò)主鍵索引定位原來(lái)這條記錄打個(gè)刪除標(biāo)記，update記錄appendPartialUpdate解決業(yè)務(wù)部分列更新的需求客戶問(wèn)題客戶問(wèn)題Schema變更操作繁瑣阿里云StarRocks與Flink團(tuán)隊(duì)推出的CTAS&CDAS功能，StarRocks建表、Flink-CDC任務(wù)創(chuàng)建、實(shí)時(shí)同步Schema變更StarRocks側(cè)提供了Begin、Prepare、Commit等接口StarRocks湖倉(cāng)融合數(shù)倉(cāng)：業(yè)務(wù)數(shù)據(jù)通過(guò)Flink加工后實(shí)時(shí)同步給StarRocks客戶問(wèn)題客戶問(wèn)題這也是我們遷移到StarRocks的主要原因FlinkStarRocks湖倉(cāng)融合StarRocks湖倉(cāng)融合數(shù)據(jù)湖：Paimon性能好、維護(hù)成本低客戶問(wèn)題StarRocks數(shù)據(jù)湖分析StarRocks數(shù)據(jù)湖分析實(shí)時(shí)湖分析：PaimonvsHudi，時(shí)效性提StarRocks相對(duì)Trino提升3-10倍+客戶問(wèn)題查詢查詢THANKYOU業(yè)務(wù)背景架構(gòu)設(shè)計(jì)阿里媽媽是阿里巴巴集團(tuán)旗下的一家數(shù)字營(yíng)銷平臺(tái)，主要為商家3.數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)戰(zhàn)略：通過(guò)數(shù)據(jù)分析支4.提供技術(shù)服務(wù)：為阿里媽媽全線廣告客戶提供營(yíng)銷洞察、策略制定2.優(yōu)化預(yù)算：實(shí)時(shí)監(jiān)控可以幫助廣告主合理分配預(yù)算，將3.市場(chǎng)反應(yīng)：實(shí)時(shí)分析能讓廣告主了解市場(chǎng)4.個(gè)性化營(yíng)銷：基于實(shí)時(shí)洞察，廣告主可以實(shí)現(xiàn)更加精準(zhǔn)的I建設(shè)中建設(shè)中備主name>`.sys.remove_orphan_files('<datab 1.建表參數(shù)設(shè)置3.開(kāi)啟異步compaction1.建表參數(shù)設(shè)置2.追數(shù)適當(dāng)調(diào)大sink并行度THANKYOU3.數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)戰(zhàn)略：通過(guò)數(shù)據(jù)分4.提供技術(shù)服務(wù)：為阿里媽媽全線支持。請(qǐng)掃微信?維碼采用湖Paimon方案入湖業(yè)務(wù)查詢?nèi)牒I(yè)務(wù)查詢THANKYOU湖倉(cāng)一體湖倉(cāng)一體大數(shù)據(jù)搜索AI湖倉(cāng)一體大數(shù)據(jù)搜索AI湖倉(cāng)一體0001010101100010110101011010多種數(shù)據(jù)形態(tài)多種數(shù)據(jù)形態(tài)多元計(jì)算方式提升訓(xùn)練數(shù)據(jù)準(zhǔn)備效率提升訓(xùn)練數(shù)據(jù)準(zhǔn)備效率(Hive,Spark,StarRocks,Trino,…)(Hive,Spark,StarRocks,Trino,…)Thrift協(xié)議（開(kāi)源兼容）REST協(xié)議（湖表兼容）集中式的統(tǒng)一存儲(chǔ)（Singlesourceoftruth）BinlogAccesslogFlinkBinlogAccesslogFlinkCDCFlinkVVP???支持按Catalog/DB/Table進(jìn)行湖表compaction?支持按Catalog/DB/Tabl?支持按Catalog/DB/Table清理臨時(shí)文件(Hive,Spark,StarRocks,Trino,…)Apache米用戶場(chǎng)景價(jià)值與優(yōu)勢(shì)Database①一鍵入湖CTASCDASQueriesQueriesQueries②流讀流寫flinkQueriesQueriesQueries②流讀流寫flinkspark④AD-HOC查詢ApachePaimonApachePaimonApachePaimonApachePaimonApachePaimonOpenLakeOpenLake全鏈路實(shí)時(shí)化流批一體化開(kāi)放兼容主流分析引擎THANKYOU大數(shù)據(jù)負(fù)責(zé)人，負(fù)責(zé)整裝場(chǎng)景下的大數(shù)據(jù)開(kāi)發(fā)Part1、家裝行業(yè)特點(diǎn)及其實(shí)時(shí)數(shù)據(jù)解決方案QQ“孫小圣”例會(huì)/述職/盤客Part2、流式湖倉(cāng)在貝殼家裝業(yè)務(wù)中的探索與實(shí)踐Lambda階段確客直簽確客直簽見(jiàn)面認(rèn)購(gòu)見(jiàn)面認(rèn)購(gòu)量房到店量房到店如次數(shù)、首末時(shí)間等聚合型結(jié)果，部分更新模型聚合模型聚合模型THANKYOU湖倉(cāng)架構(gòu)模式的思考數(shù)據(jù)湖系統(tǒng)能力建設(shè)數(shù)據(jù)湖關(guān)鍵能力建設(shè)數(shù)據(jù)湖在數(shù)據(jù)領(lǐng)域的應(yīng)用未來(lái)展望?任務(wù)開(kāi)發(fā)，測(cè)試/灰度，鏈路管理/數(shù)據(jù)管理數(shù)據(jù)入湖多云存儲(chǔ)支持多維管理flinkactionjar writetaskwritetask 開(kāi)啟/關(guān)閉內(nèi)存托管開(kāi)啟/關(guān)閉內(nèi)存托管突發(fā)數(shù)據(jù)下寫失敗臟數(shù)據(jù)控制臟數(shù)據(jù)控制減少寫失敗限流控制減少寫限流控制減少寫?回放容量?回放時(shí)間?topic管理?topic清理?從0開(kāi)始構(gòu)建狀態(tài)時(shí)間久?從0開(kāi)始構(gòu)建狀態(tài)浪費(fèi)資源topic------------------------>paimon↓topic?分區(qū)和bucket保持一致?提前N天錄入數(shù)據(jù)到paimonstate?壓測(cè)任務(wù)保持相同UID?整體鏈路使用湖表?支持實(shí)時(shí)指標(biāo)+準(zhǔn)實(shí)時(shí)指標(biāo)+離線計(jì)算指標(biāo)融合告警?