基于Flink的海量數(shù)據(jù)涌傳輸系統(tǒng)課件

1、基于Flink的異構(gòu)海量數(shù)據(jù)涌傳輸系統(tǒng)技術(shù)創(chuàng)新 變革未來Agenda異構(gòu)數(shù)據(jù)涌傳輸?shù)奶魬?zhàn)基于Flink的解決方案 未來規(guī)劃挑戰(zhàn)MySQLH.ve/HSQLHDFSTableauRed.s/ AbaseKaf/a ?數(shù)據(jù)源種類多傳輸方式多全量增量流式頻繁有新數(shù)據(jù)源出現(xiàn)對(duì)架構(gòu)的可擴(kuò)展性要求高挑戰(zhàn)對(duì)于單/務(wù)，數(shù)據(jù)L大，實(shí)現(xiàn)細(xì)節(jié)繁多。SLA(性能穩(wěn)定性等）要A高。MySQL上萬分庫(kù)單庫(kù)干億行PK極端不均勻HDFS10w+文件Protobuf/Parqu et/JSON/CSV/ Binary Hive500TB+Parquet/ORC/ SequeceFile 傳統(tǒng)架構(gòu)etc.技術(shù)棧零散,M * N模

2、式缺乏統(tǒng)的數(shù)據(jù)*理和功能支持框架開發(fā)和運(yùn)維成本高,性能和穩(wěn)定性保證難度大現(xiàn)有開源方案DataX (開源版本)類型系統(tǒng)完善，數(shù)據(jù)源類型支持較完整單機(jī)模式，橫向擴(kuò)展性不足不支持流式傳輸Sqoop關(guān)系型DB到Hadoop導(dǎo)入較為成熟新增數(shù)據(jù)源較為困難基于MR，性能非最優(yōu)缺乏性能和架構(gòu)可擴(kuò)展性強(qiáng)，支持流批統(tǒng)一傳輸?shù)目蚣?。Agenda異構(gòu)數(shù)據(jù)涌傳輸?shù)奶魬?zhàn)基于Flink的解決方案 未來規(guī)劃基于Flink的統(tǒng)一傳輸架構(gòu)線上業(yè)務(wù)支撐曰均任務(wù)數(shù) 2w，曰均傳輸數(shù)據(jù)萬億級(jí)別Flink OverviewExactly &nceScalabilityLayered APIHigh PerformanceStream

3、& Batch&peration FocusPlugin Framework技術(shù)棧統(tǒng)所有數(shù)據(jù)對(duì)應(yīng)獨(dú)立的Input/Output插件,M+N模式框架層面提供統(tǒng)基礎(chǔ)功能分布式計(jì)笢Flink類型系統(tǒng)自動(dòng)并行度流量控制臟F據(jù)處理小流量N試Type System所有輸入源數(shù)據(jù)類型先轉(zhuǎn)換為DTS類型，再統(tǒng)一轉(zhuǎn)換為輸出源數(shù)據(jù)類型。對(duì)于每種類型，分別有對(duì)應(yīng)的序列化/反序列化器，用于分布式數(shù)據(jù)傳輸。基礎(chǔ)類型BoolColumnBytesColumnDateColumnDoubleColumnLongColumnStringColumn復(fù)合類型ListColumnTMapColumnK, VAuto Parall

4、elismAuto Parallelism對(duì)Flink架增加了Job預(yù)處理后處理流程，根據(jù)以下指標(biāo)計(jì)算輸入輸出最佳并發(fā)度輸入原/片數(shù)輸入原總行數(shù)輸入原總大小輸入原可承壓輸出原可承壓用戶配置并發(fā)Messenger Framework在框架層面解決 Flink多節(jié)點(diǎn)間 數(shù)據(jù)收集的問題。任務(wù)運(yùn)行指標(biāo)收集臟數(shù)據(jù)收集支持多種目標(biāo)數(shù)據(jù)灑Messenger - MetricsMessenger - Dirty Data用于收集和處理臟數(shù)據(jù)，寫入中間數(shù)據(jù)庫(kù)/Kafka等臟數(shù)據(jù)收集少量任務(wù)運(yùn)行日志預(yù)覽增量臟數(shù)據(jù)寫入全量Log日志查詢等任務(wù)質(zhì)量控制控制任務(wù)失敗的臟數(shù)據(jù)閾值支持絕對(duì)行數(shù)閾值支持相對(duì)百分比閾值實(shí)現(xiàn)優(yōu)化Flink相關(guān)改進(jìn)Monitor & Alarm單Job監(jiān)控看板 總讀取寫入進(jìn)/總分片數(shù)當(dāng)前-成分片數(shù)當(dāng)前讀取寫入行數(shù)當(dāng)前讀取寫入大小失敗讀取寫入行數(shù)Monitor & Alarm系統(tǒng)整-監(jiān)控看板 已啟動(dòng)Job數(shù)量正在運(yùn)行Job數(shù)量已成功Job數(shù)量已失敗Job數(shù)量Job運(yùn)行時(shí)間