2023學(xué)年完整公開課版Flink概述

Flink概述

有很多人將大數(shù)據(jù)的計(jì)算引擎分成了四代：首先第一代的計(jì)算引擎，無疑就是Hadoop承載的MapReduce。支持DAG的框架被劃分為第二代計(jì)算引擎,如Tez。接下來就是以Spark為代表的第三代的計(jì)算引擎。Flink的誕生就被歸在了第四代。大數(shù)據(jù)計(jì)算引擎發(fā)展Apache

Flink是一個(gè)開源的、分布式的、流式實(shí)時(shí)計(jì)算框架。正如傳統(tǒng)大數(shù)據(jù)技Hadoop的MapReduce，Storm以及Spark等大數(shù)據(jù)計(jì)算框架。用于數(shù)據(jù)流上的有狀態(tài)的計(jì)算(Stateful

Computations

over

Data

Streams)。Flink是什么2017-06-01，F(xiàn)link1.3.0發(fā)布，支持了增量檢查點(diǎn)機(jī)制。2020-02-11，F(xiàn)link1.10.0發(fā)布，是一個(gè)歷時(shí)非常長、代碼變動非常大的版本，也是Flink社區(qū)迄今為止規(guī)模最大的一次版本升級。Flink發(fā)展歷程Flink

的特性分布式：Flink程序可以運(yùn)行在多臺機(jī)器上，F(xiàn)link的一個(gè)集群可以支持上千個(gè)節(jié)點(diǎn)高性能：Flink支持高吞吐、低延遲高可用：Flink程序本身的穩(wěn)定性?？梢赃B續(xù)處理流式數(shù)據(jù)準(zhǔn)確性：Flink可以保證數(shù)據(jù)處理的準(zhǔn)確性。Flink提供有狀態(tài)的計(jì)算，當(dāng)數(shù)據(jù)處理失敗時(shí)，能夠無縫的從失敗中恢復(fù)，并保證Exactly-onceFlink架構(gòu)分析Deploy層：Flink的部署模式。

Core層：支持Flink計(jì)算的全部核心實(shí)現(xiàn)API層：該層主要實(shí)現(xiàn)面向無界Steam的流處理和面向Batch批處理的API?！魈幚鞤ataStreamAPI——批處理DataSetAPILibrary層：Flink的應(yīng)用框架層Flink基本組件DataSource：表示數(shù)據(jù)源組件，主要用來接收數(shù)據(jù)。Transformation：表示算子，主要用于對數(shù)據(jù)進(jìn)行處理。DataSink：表示輸出組件，主要用來把計(jì)算結(jié)果輸出到其他存儲介質(zhì)中。FlinkvsStormvs

SparkStreamingFlink典型應(yīng)用場景實(shí)時(shí)ETL：實(shí)時(shí)清洗、歸并和結(jié)構(gòu)化處理實(shí)時(shí)報(bào)表：實(shí)時(shí)監(jiān)控和展現(xiàn)業(yè)務(wù)、客戶類指標(biāo)，讓數(shù)字化運(yùn)營實(shí)時(shí)化監(jiān)控預(yù)警：對系統(tǒng)