Iceberg新一代數(shù)據(jù)湖技術(shù)實(shí)踐

1、Iceberg在騰訊內(nèi)部的優(yōu)化和實(shí)踐Iceberg新一代數(shù)據(jù)湖技術(shù)數(shù)據(jù)湖技術(shù)Iceberg基本原理Iceberg應(yīng)用落地Flink Iceberg Sink實(shí)現(xiàn)后續(xù)規(guī)劃目錄數(shù)據(jù)湖技術(shù)41什么是數(shù)據(jù)湖存儲(chǔ)集中海量處理方便快速分析統(tǒng)一視圖多種引擎數(shù)據(jù)湖對(duì)比數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)湖數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)來(lái)源社交媒體，移動(dòng)應(yīng)用，傳感器打點(diǎn)，業(yè)務(wù)日志關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)類型非結(jié)構(gòu)化，半結(jié)構(gòu)化結(jié)構(gòu)化數(shù)據(jù)質(zhì)量原始，全量加工，挑選Schema在讀取的時(shí)候關(guān) (schema-on-read)變化在規(guī)劃和設(shè)計(jì)階段定義好，為快速 查詢優(yōu)化 (schema-on-write)固定業(yè)務(wù)大數(shù)據(jù)分析，全文檢索，數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)報(bào)表，展示，商業(yè)智

2、能投入產(chǎn)出基于廉價(jià)的硬件，提供盡可能快的查詢基于昂貴的硬件，提供最快的查詢數(shù)據(jù)湖系統(tǒng)的核心能力數(shù)據(jù)湖數(shù)據(jù)質(zhì)量ACID事務(wù)多種引擎流批一體多種底層存儲(chǔ)元數(shù)據(jù) 可擴(kuò)展數(shù)據(jù)修改數(shù)據(jù)湖技術(shù)三劍客數(shù)據(jù)湖系統(tǒng)的核組件構(gòu)建于存儲(chǔ)系統(tǒng)和文件格式之上的數(shù)據(jù)組織方式保證ACID事務(wù)，及一定的并發(fā)能力提供“行”級(jí)別的數(shù)據(jù)修改、刪除的能力確保schema的準(zhǔn)確性，提供“熱”變更能力Iceberg基本原理92Iceberg作為表格式Apache Iceberg is an open table format for huge analytic datasets.Iceberg adds tables to Presto

3、 and Spark that use a high-performance format that works just like a SQL table.Iceberg的核心思想快照(snapshot)：在時(shí)間軸上線性的記錄表的所有變化在某一時(shí)刻，表的所有數(shù)據(jù)文件的列表每次更新操作會(huì)生成新的快照，并原子性的commit實(shí)現(xiàn)原子性讀寫(xiě)分離時(shí)間旅行和版本回滾增量消費(fèi)Iceberg的元數(shù)據(jù)管理元數(shù)據(jù)：結(jié)構(gòu) (schema)分區(qū)信息屬性快照歷史記錄分層：HMS或者文件內(nèi)容當(dāng)前的元數(shù)據(jù)JSON文件快照Manifest listManifestData fileS1v1.jsonS1v2.jsonS2

4、Hive MetaStorev0.jsonIceberg應(yīng)用落地133為什么選擇Iceberg優(yōu)化數(shù)據(jù)入庫(kù)流程Iceberg提供ACID事務(wù)能力，上游數(shù)據(jù)寫(xiě)入即可見(jiàn)，不影 響當(dāng)前數(shù)據(jù)處理任務(wù)，這大大簡(jiǎn)化了ETLIceberg提供upsert/merge into 能力，可以極大的縮小 數(shù)據(jù)入庫(kù)延遲支持更多的分析引擎優(yōu)秀的內(nèi)核抽象使之不綁定于特定引擎，目前在支持的 有Spark, Flink, Presto, Hive提供了對(duì)基于流式的增量計(jì)算模型和基于批處理的全量 表計(jì)算模型的支持統(tǒng)一數(shù)據(jù)存儲(chǔ)和靈活的文件組織批任務(wù)和流任務(wù)可以使用相同的存儲(chǔ)模型(文件系統(tǒng)，對(duì) 象存儲(chǔ))，數(shù)據(jù)不再孤立。Icebe

5、rg支持隱藏分區(qū)和分區(qū)進(jìn)化，方便業(yè)務(wù)進(jìn)行數(shù)據(jù)分 區(qū)策略更新Parquet, ORC, Avro列存行存兼顧增量處理能力Iceberg支持流式數(shù)據(jù)的落地和增量消費(fèi)Spark Structured Streaming適配Flink sink/source適配基于Iceberg改造數(shù)倉(cāng)的構(gòu)建方式Flink Sink / Spark Structured Streaming write + Iceberg構(gòu)建準(zhǔn)實(shí)時(shí)數(shù)據(jù)接入層Spark DataFrame / SQL進(jìn)行數(shù)據(jù)修正Flink source / Spark Structured Streaming read進(jìn)行增量消費(fèi)Spark / Hiv

6、e / Presto進(jìn)行交互式查詢Flink Iceberg Sink實(shí)現(xiàn)164Flink sink的基本原理組件類型功能并行WriterStreamOperator累積上游數(shù)據(jù)在checkpoint時(shí)發(fā)送barrier之前flush DataFile，并向下游發(fā)送 DataFile信息是CommitterSinkFunction接收上游的DataFile信息；在checkpoint時(shí)把DataFile信息填入Manifest，并把Manifest寫(xiě)入 state在checkpoint成功后向Iceberg commit否后續(xù)規(guī)劃185Flink Iceberg Sink后續(xù)規(guī)劃融入內(nèi)部平臺(tái)和系統(tǒng)，提高易用性，釋放Iceb