基于Apache InLong全場(chǎng)景數(shù)據(jù)集成

景數(shù)據(jù)集成演講人-莫云卿-騰訊-高級(jí)大數(shù)據(jù)工程師DataFunSummit#2023莫云卿>大數(shù)據(jù)平臺(tái)建設(shè)，自研調(diào)度系統(tǒng)、離線作業(yè)開(kāi)發(fā)平臺(tái)>騰訊全鏈路數(shù)據(jù)開(kāi)發(fā)平臺(tái)WeData研發(fā)，WeData最早期數(shù)據(jù)質(zhì)量、數(shù)據(jù)地圖、數(shù)據(jù)安全建設(shè)者CONTENT01行業(yè)趨勢(shì)及挑戰(zhàn)。3應(yīng)用實(shí)踐平臺(tái)與產(chǎn)品設(shè)計(jì)平臺(tái)規(guī)劃行業(yè)趨勢(shì)及挑戰(zhàn)DataFunSummit#2023大數(shù)據(jù)技術(shù)多樣化發(fā)展，騰訊云原生服務(wù)厚積薄發(fā)大數(shù)據(jù)技術(shù)歷經(jīng)18年發(fā)展開(kāi)源騰訊的大數(shù)據(jù)技術(shù)沉淀騰訊云擁有業(yè)界領(lǐng)先大數(shù)據(jù)技術(shù)與口碑產(chǎn)品生態(tài)服務(wù)：近百技術(shù)貢獻(xiàn)者/數(shù)百萬(wàn)代碼貢獻(xiàn)/豐富運(yùn)維工具沉淀/開(kāi)放騰訊業(yè)界領(lǐng)先的大數(shù)據(jù)服務(wù)實(shí)踐數(shù)據(jù)集成的必要性業(yè)務(wù)驅(qū)動(dòng)業(yè)務(wù)數(shù)據(jù)需求豐富業(yè)務(wù)涉及技術(shù)組件、硬件、及軟件豐富，監(jiān)數(shù)字化進(jìn)程不統(tǒng)一維的訴求難以統(tǒng)一技術(shù)驅(qū)動(dòng)大數(shù)據(jù)生態(tài)繁雜：開(kāi)源Hadoop生態(tài)日漸完善，越來(lái)越多的技術(shù)棧興起，傳統(tǒng)業(yè)務(wù)數(shù)據(jù)庫(kù)、NoSQL、數(shù)HTAP發(fā)展短期承壓：HTAP缺少大一統(tǒng)的產(chǎn)品或技術(shù)，客戶選擇數(shù)據(jù)集成產(chǎn)品的訴求不斷變遷總線式架構(gòu)組件豐富靈活數(shù)據(jù)云原生革新場(chǎng)景豐富化對(duì)象多樣化生態(tài)一體化點(diǎn)對(duì)點(diǎn)數(shù)據(jù)抽取工具點(diǎn)對(duì)點(diǎn)數(shù)據(jù)抽取工具總線式數(shù)據(jù)傳輸通道全場(chǎng)景數(shù)據(jù)集成系統(tǒng)生態(tài)化數(shù)據(jù)集成服務(wù)數(shù)據(jù)集成工具的發(fā)展平臺(tái)與產(chǎn)品設(shè)計(jì)DataFunSummit#2023數(shù)據(jù)集成DataInLong：產(chǎn)品概述DataInLongDataInLong源于由騰訊開(kāi)源并孵化成功的ASF頂級(jí)項(xiàng)目ApacheInLong（應(yīng)龍），內(nèi)部InLong（應(yīng)龍）Oteam依托InLong海量數(shù)據(jù)集成框架支持百…ApacheInLong：功能架構(gòu)圖…BulkloadRealtimeSort大數(shù)據(jù)：數(shù)倉(cāng)：HiveIcebergHbaseHive文件系統(tǒng)：更多：FTP數(shù)據(jù)上報(bào)：kafkaCOSHDFSAppRealtimeSort關(guān)系型數(shù)據(jù)庫(kù)：DBSyncCKDorisCKDorisSqlserver數(shù)據(jù)庫(kù)：NoSQL：HbaseoracleMysqlMysqlMongoHDFSHDFSLogu輕量/標(biāo)準(zhǔn)鏈路靈活可選：可根據(jù)用戶鏈路u星型鏈路模型：支持異構(gòu)讀寫(xiě)數(shù)據(jù)源任意能靈活高效統(tǒng)一協(xié)議【高性能、低時(shí)延隊(duì)列組件，可靠容災(zāi)架構(gòu)方案】靠u4A級(jí)安全能力：從用戶、功能角色、傳輸可靠安全可信基于秘鑰的認(rèn)證體系以及跨網(wǎng)絡(luò)支持，提供賬號(hào)、網(wǎng)絡(luò)、數(shù)據(jù)、技術(shù)上云驅(qū)動(dòng)ApacheInLong社區(qū)快速的發(fā)展以及貢獻(xiàn)值活躍度不斷增高，公司內(nèi)外部客戶逐步落地，也存在一定的困難，平臺(tái)也面臨著如下問(wèn)題：高公共基礎(chǔ)：統(tǒng)一身份認(rèn)證統(tǒng)一元數(shù)據(jù)統(tǒng)一調(diào)度云監(jiān)控安全防護(hù)：云網(wǎng)絡(luò)云安全執(zhí)行資源：云容器>全托管+資源彈性公共基礎(chǔ)：統(tǒng)一身份認(rèn)證統(tǒng)一元數(shù)據(jù)統(tǒng)一調(diào)度云監(jiān)控安全防護(hù)：云網(wǎng)絡(luò)云安全執(zhí)行資源：云容器>全托管+資源彈性>豐富的數(shù)據(jù)源：服務(wù)管理服務(wù)管理…執(zhí)行引擎容器底座 Agent采集容器底座 Agent采集--MQ數(shù)據(jù)源數(shù)據(jù)采集數(shù)據(jù)上報(bào)…IHiveIcebergkuduI(TBDS/EMR/DLC)-畫(huà)畫(huà)…ESCKDorisI 數(shù)據(jù)采集/寫(xiě)入數(shù)據(jù)采集/寫(xiě)入………AgentAPPCOSHDFSFTP…Mysql…Sqlserver…kafkaPulsar 任務(wù)管理資源管理……監(jiān)控采集…CreateDelete資源調(diào)度DataProxyDataProxy…任務(wù)管理資源管理……監(jiān)控采集…CreateDelete資源調(diào)度DataProxyDataProxy…資源調(diào)度策略設(shè)計(jì)平臺(tái)優(yōu)勢(shì)平臺(tái)優(yōu)勢(shì):資源管理:??資源分區(qū)策略?資源利用率提升任務(wù)調(diào)度:??運(yùn)行時(shí)自適應(yīng)?公共任務(wù)資源彈性整庫(kù)遷移:支持指定表、整庫(kù)搬遷、自定義正則匹配等多種源表選源表與目標(biāo)表支持同名匹配、基于變量提取的自定義匹配等多整庫(kù)遷移支持異常重啟、忽略異常、部分停止等多種策略DDL感知:支持新建表、刪除表、添加列、刪除列等常見(jiàn)的DDLl類TargetTable3…TargetTable2平臺(tái)優(yōu)勢(shì):SourceTable1SourceTable1SinkSourceTable3SourceTable2FlinkSortSource…TargetTable1TargetTable1處理Sink端臟數(shù)據(jù)Sink歸檔臟數(shù)據(jù)到外部系統(tǒng)臟數(shù)據(jù)歸檔處理Sink端臟數(shù)據(jù)Sink歸檔臟數(shù)據(jù)到外部系統(tǒng)定義：?jiǎn)螚l數(shù)據(jù)在源端讀取、在目標(biāo)端寫(xiě)入時(shí)發(fā)生非主觀異常且不能自恢復(fù)導(dǎo)致無(wú)法讀取、寫(xiě)入的數(shù)據(jù) Source處理Source端臟數(shù)據(jù)平臺(tái)優(yōu)勢(shì):??InLong獨(dú)有功能，避免臟數(shù)據(jù)對(duì)正常同步鏈路的干擾?對(duì)臟數(shù)據(jù)分類、Format，方便臟數(shù)據(jù)回溯?插件化設(shè)計(jì)，可歸檔到任意外部系統(tǒng)臟數(shù)據(jù)管理臟數(shù)據(jù)管理:?可插拔臟數(shù)據(jù)Sink?自定義臟數(shù)據(jù)Format?明確的臟數(shù)據(jù)類型系統(tǒng)要求臟數(shù)據(jù)歸檔時(shí)必須指明具體的臟數(shù)?和指標(biāo)系統(tǒng)協(xié)同BAuditSDKAuditSDKBAuditSDKAuditSDKAuditSDK數(shù)據(jù)審計(jì)與監(jiān)控AuditAuditreportAuditAuditSDK總線架構(gòu)異構(gòu)轉(zhuǎn)換總線架構(gòu)異構(gòu)轉(zhuǎn)換無(wú)門(mén)檻DataInLong基于星型數(shù)據(jù)轉(zhuǎn)換結(jié)構(gòu)提供中央數(shù)據(jù)模型，支持30+種數(shù)據(jù)源及目標(biāo)類型按需搭配構(gòu)建數(shù)據(jù)鏈路，最大化降低異構(gòu)數(shù)據(jù)源適配成本，提升數(shù)據(jù)鏈路搭建及傳輸效率，助力企業(yè)構(gòu)建統(tǒng)一數(shù)據(jù)傳輸通道。DataInLongDataInLongCOSTKE生態(tài)對(duì)接uWeData：uInlong+DLC/CDWDoris等，提供快捷數(shù)據(jù)傳輸uInlong+ElasticSearch/BI，提供實(shí)時(shí)數(shù)據(jù)快捷入倉(cāng)入uInlong+云數(shù)據(jù)庫(kù)/云中間件/DTS，連接基礎(chǔ)數(shù)據(jù)平臺(tái)【方案融合/產(chǎn)品連接，支持基礎(chǔ)、中間件、工具、應(yīng)用各類云產(chǎn)品】全場(chǎng)景數(shù)據(jù)集成【支持不同類型、時(shí)效、策略、提取方式下全場(chǎng)景的數(shù)據(jù)集成訴求】u業(yè)務(wù)場(chǎng)景覆蓋實(shí)時(shí)、離線同步，支持秒級(jí)、分鐘u技術(shù)場(chǎng)景涵蓋采集與主動(dòng)上報(bào)數(shù)據(jù)傳輸方式，支u支持30+數(shù)據(jù)源類型，包含關(guān)系型數(shù)據(jù)庫(kù)、大數(shù)據(jù)、u多種同步方式，支持全量、增量、全增量融合的u單表同步、整庫(kù)遷移【業(yè)務(wù)場(chǎng)景】【數(shù)據(jù)場(chǎng)景】【技術(shù)場(chǎng)景】l離線數(shù)據(jù)業(yè)務(wù)，業(yè)務(wù)需按T+1定期采集ODS層數(shù)據(jù)，無(wú)需轉(zhuǎn)換處理離線同步離線同步單表增量單表增量異構(gòu)數(shù)據(jù)同步異構(gòu)數(shù)據(jù)同步被動(dòng)拉取被動(dòng)拉取l監(jiān)控?cái)?shù)據(jù)變更，實(shí)時(shí)進(jìn)行數(shù)據(jù)分析及報(bào)表展示，需要清洗非標(biāo)數(shù)據(jù)實(shí)時(shí)同步實(shí)時(shí)同步-日志變更異構(gòu)數(shù)據(jù)同步異構(gòu)數(shù)據(jù)同步被動(dòng)拉取被動(dòng)拉取l實(shí)時(shí)進(jìn)行業(yè)務(wù)日志采集，投遞到ES進(jìn)行廣告業(yè)務(wù)指標(biāo)分析實(shí)時(shí)同步實(shí)時(shí)同步-文件傳輸異構(gòu)數(shù)據(jù)同步異構(gòu)數(shù)據(jù)同步ETLETL/ELT主動(dòng)上報(bào)主動(dòng)上報(bào)l正在進(jìn)行架構(gòu)調(diào)整，需進(jìn)行原有數(shù)據(jù)遷移，且不可影響現(xiàn)有離線業(yè)務(wù)離線同步離線同步整庫(kù)/單表全增量整庫(kù)/單表全增量同構(gòu)數(shù)據(jù)同步同構(gòu)數(shù)據(jù)同步被動(dòng)拉取被動(dòng)拉取DataInLongDataInLong全場(chǎng)景數(shù)據(jù)集成應(yīng)用實(shí)踐DataFunSummit#2023開(kāi)箱即用的產(chǎn)品體驗(yàn)【敏捷產(chǎn)品體驗(yàn)、開(kāi)箱即用免運(yùn)維】u開(kāi)箱即用，提供一站式產(chǎn)品服務(wù)，輕松管理數(shù)據(jù)源、資u低代碼敏捷開(kāi)發(fā)，提供畫(huà)布式任務(wù)配置方式完成ETL鏈u無(wú)需資源運(yùn)維，所有基礎(chǔ)資源提供全托管服務(wù)，采用包u支持全鏈路（任務(wù)/數(shù)據(jù)流/節(jié)點(diǎn)/資源）多對(duì)象監(jiān)控于復(fù)雜策略精準(zhǔn)控制畫(huà)布式無(wú)代碼拖拽配置復(fù)雜策略精準(zhǔn)控制資源托管一鍵配置指標(biāo)監(jiān)控與展示資源托管一鍵配置全鏈路數(shù)據(jù)開(kāi)發(fā)與治理平臺(tái)敏捷搭建DataInLong提供了開(kāi)放的技術(shù)能力，可DataInLong提供了開(kāi)放的技術(shù)能力，可與統(tǒng)一調(diào)度、統(tǒng)一元數(shù)據(jù)、統(tǒng)一安全等技術(shù)/產(chǎn)品服務(wù)快速深度融合。同時(shí)，支持平滑無(wú)縫升級(jí)至騰訊云數(shù)據(jù)臺(tái)WeData，提供全鏈路數(shù)據(jù)開(kāi)發(fā)、治理與資產(chǎn)管理、數(shù)據(jù)獨(dú)立獨(dú)立DataInLong數(shù)據(jù)集成數(shù)據(jù)集成（DataInLong）數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)WeData數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)WeData全鏈路平滑適配遷移推薦搭配產(chǎn)品：大數(shù)據(jù)處理套件數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)WeData大數(shù)據(jù)處理套件異構(gòu)數(shù)據(jù)批量搬遷入倉(cāng)入湖DataInLong（數(shù)據(jù)集成）提供了DataInLong（數(shù)據(jù)集成）提供了簡(jiǎn)單、快速、靈活、成本低的技術(shù)和產(chǎn)品方案，采用星型模型抽象轉(zhuǎn)換公共數(shù)據(jù)類型靈活適配幾十種異構(gòu)數(shù)據(jù)轉(zhuǎn)DataInLong支持用戶靈活接入業(yè)務(wù)處理邏輯實(shí)現(xiàn)多層數(shù)倉(cāng)間數(shù)據(jù)快速、無(wú)縫扭轉(zhuǎn)，幫助用戶最大效率、最低成本完成異構(gòu)數(shù)DataInLongDataInLongDataInLongCOSTKE轉(zhuǎn)換能力強(qiáng)大周期靈活推薦搭配產(chǎn)品：策略多樣粒度豐富全方位監(jiān)控?cái)?shù)據(jù)一致DDL響應(yīng)、指標(biāo)、臟數(shù)據(jù)歸檔movie【適合場(chǎng)景】：整庫(kù)搬遷【同步模式】：根據(jù)來(lái)源與目標(biāo)間表對(duì)象映射策略，自動(dòng)路由來(lái)源多或單表數(shù)據(jù)至目標(biāo)表中策略多樣粒度豐富全方位監(jiān)控?cái)?shù)據(jù)一致DDL響應(yīng)、指標(biāo)、臟數(shù)據(jù)歸檔movie【適合場(chǎng)景】：整庫(kù)搬遷【同步模式】：根據(jù)來(lái)源與目標(biāo)間表對(duì)象映射策略，自動(dòng)路由來(lái)源多或單表數(shù)據(jù)至目標(biāo)表中。整庫(kù)下，默認(rèn)字段同步映射，來(lái)源與目標(biāo)表之間可按照指定策略、或者字段內(nèi)容動(dòng)態(tài)映射推薦搭配產(chǎn)品：DataInLongDataInLong基于FlinkCDCConnector體系提供高效率、低延遲、準(zhǔn)確的實(shí)時(shí)數(shù)據(jù)同步遷移方案，支持通過(guò)單表以及整庫(kù)粒度實(shí)現(xiàn)業(yè)務(wù)與湖倉(cāng)數(shù)DataInLong支持用戶全量+增量、或者僅增量方式建立數(shù)據(jù)同步機(jī)制，提供實(shí)例、數(shù)據(jù)庫(kù)、表或字段級(jí)實(shí)時(shí)數(shù)據(jù)傳輸方案，幫助用戶最快效率完【適合場(chǎng)景】：?jiǎn)伪硗健⒎謳?kù)分表同步與回流【同步模式】：依據(jù)字段映射關(guān)系，進(jìn)行指定字段數(shù)據(jù)之間非按序同步。默認(rèn)對(duì)表內(nèi)字段進(jìn)行業(yè)務(wù)數(shù)據(jù)過(guò)濾保持來(lái)源于目標(biāo)關(guān)聯(lián)字段間數(shù)據(jù)一致，同步期間非關(guān)聯(lián)的字段變更不影響同步數(shù)據(jù)?！緮?shù)據(jù)轉(zhuǎn)換】flink函數(shù)主動(dòng)上報(bào)海量采集主動(dòng)上報(bào)海量采集推薦搭配產(chǎn)品：廣告、推薦、企業(yè)畫(huà)像等業(yè)務(wù)需要收集在線網(wǎng)站、APP、系統(tǒng)的用戶行為及系統(tǒng)日志等各種業(yè)務(wù)數(shù)據(jù)，DataInLong支持廣告、推薦、企業(yè)畫(huà)像等業(yè)務(wù)需要收集在線網(wǎng)站、APP、系統(tǒng)的用戶行為及系統(tǒng)日志等各種業(yè)務(wù)數(shù)據(jù)，DataInLong支持通過(guò)配置Agent式主動(dòng)上報(bào)對(duì)用戶行為、系統(tǒng)日志、訂單等結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，從而完成快速數(shù)據(jù)傳輸與高效分析，有效支撐在成功案例：公有云電商、傳媒、互聯(lián)網(wǎng)行業(yè)客戶全鏈路數(shù)據(jù)平臺(tái)?元數(shù)據(jù)、數(shù)據(jù)資產(chǎn)管理與治理企業(yè)云原生數(shù)據(jù)湖構(gòu)建?多種同步方式，多種數(shù)據(jù)源快速搭建云數(shù)據(jù)湖?實(shí)時(shí)數(shù)據(jù)秒級(jí)同步iceberg，完成冷熱數(shù)據(jù)計(jì)算某公有云電商：某公有云電商：Dat