流式計算應(yīng)用2

計算應(yīng)用學(xué)習(xí)流式01三種流式計算框架02流式計算框架對比目錄三種流式計算框架1三種流式計算框架

我們知道，大數(shù)據(jù)的計算模式主要分為批量計算(batchcomputing)、流式計算(streamcomputing)、交互計算(interactivecomputing)、圖計算(graphcomputing)等。其中，流式計算和批量計算是兩種主要的大數(shù)據(jù)計算模式，分別適用于不同的大數(shù)據(jù)應(yīng)用場景。目前主流的流式計算框架有Storm、SparkStreaming、Flink三種。三種流式計算框架

在Storm中，需要先設(shè)計一個實時計算結(jié)構(gòu)，我們稱之為拓?fù)洌╰opology）。之后，這個拓?fù)浣Y(jié)構(gòu)會被提交給集群，其中主節(jié)點（masternode）負(fù)責(zé)給工作節(jié)點（workernode）分配代碼，工作節(jié)點負(fù)責(zé)執(zhí)行代碼。在一個拓?fù)浣Y(jié)構(gòu)中，包含spout和bolt兩種角色。數(shù)據(jù)在spouts之間傳遞，這些spouts將數(shù)據(jù)流以tuple元組的形式發(fā)送；而bolt則負(fù)責(zé)轉(zhuǎn)換數(shù)據(jù)流。三種流式計算框架

SparkStreaming，即核心SparkAPI的擴展，不像Storm那樣一次處理一個數(shù)據(jù)流。相反，它在處理數(shù)據(jù)流之前，會按照時間間隔對數(shù)據(jù)流進(jìn)行分段切分。Spark針對連續(xù)數(shù)據(jù)流的抽象，我們稱為DStream（DiscretizedStream）。DStream是小批處理的RDD（彈性分布式數(shù)據(jù)集），RDD則是分布式數(shù)據(jù)集，可以通過任意函數(shù)和滑動數(shù)據(jù)窗口（窗口計算）進(jìn)行轉(zhuǎn)換，實現(xiàn)并行操作。三種流式計算框架

針對流數(shù)據(jù)和批數(shù)據(jù)的計算框架。把批數(shù)據(jù)看作流數(shù)據(jù)的一種特例，延遲性較低(毫秒級)，且能夠保證消息傳輸不丟失不重復(fù)。

Flink創(chuàng)造性地統(tǒng)一了流處理和批處理，作為流處理看待時輸入數(shù)據(jù)流是無界的，而批處理被作為一種特殊的流處理，只是它的輸入數(shù)據(jù)流被定義為有界的。Flink程序由Stream和Transformation這兩個基本構(gòu)建塊組成，其中Stream是一個中間結(jié)果數(shù)據(jù)，而Transformation是一個操作，它對一個或多個輸入Stream進(jìn)行計算處理，輸出一個或多個結(jié)果Stream。流式計算框架對比2流式計算框架對比這三種計算框架的對比如下：流式計算框架對比模型Storm和Flink是真正的一條一條處理數(shù)據(jù)；而SparkStreaming其實都是小批處理，一次處理一批數(shù)據(jù)（小批量）。APIStorm使用基礎(chǔ)API進(jìn)行開發(fā)，比如實現(xiàn)一個簡單的sum求和操作；而SparkStreaming和Flink中都提供封裝后的高階函數(shù)，可以直接拿來使用，這樣就比較方便了。保證次數(shù)在數(shù)據(jù)處理方面，Storm可以實現(xiàn)至少處理一次，但不能保證僅處理一次，這樣就會導(dǎo)致數(shù)據(jù)重復(fù)處理問題，所以針對計數(shù)類的需求，可能會產(chǎn)生一些誤差；SparkStreaming和Flink通過事務(wù)可以保證對數(shù)據(jù)實現(xiàn)僅一次的處理。

流式計算框架對比容錯機制Storm可以通過ACK機制實現(xiàn)數(shù)據(jù)的容錯機制，而SparkStreaming和Flink可以通過CheckPoint機制實現(xiàn)容錯機制。狀態(tài)管理Storm中沒有實現(xiàn)狀態(tài)管理，SparkStreaming實現(xiàn)了基于DStream的狀態(tài)管理，而Flink實現(xiàn)了基于操作的狀態(tài)管理。延時表示數(shù)據(jù)處理的延時情況，因此Storm和Flink接收到一條數(shù)據(jù)就處理一條數(shù)據(jù)，其數(shù)據(jù)處理的延時性是很低的；而SparkStreaming都是小型批處理，它們數(shù)據(jù)處理的延時性相對會偏高。吞吐