Spark大數(shù)據(jù)分析 課件 6.1 認(rèn)識(shí)Spark Streaming

認(rèn)識(shí)SparkStreaming

目錄/Contents01

什么是流式計(jì)算01

什么是SparkStreaming01

SparkStreaming工作原理什么是流式計(jì)算01什么是流式計(jì)算在日常生活中，我們通常會(huì)先把數(shù)據(jù)存儲(chǔ)在一張表中，然后再進(jìn)行加工、分析，這里就涉及到一個(gè)時(shí)效性的問(wèn)題。如果我們處理以年、月為單位的級(jí)別的數(shù)據(jù)，那么多數(shù)據(jù)的實(shí)時(shí)性要求并不高；但如果我們處理的是以天、小時(shí)，甚至分鐘為單位的數(shù)據(jù)，那么對(duì)數(shù)據(jù)的時(shí)效性要求就比較高。在第二種場(chǎng)景下，如果我們?nèi)耘f采用傳統(tǒng)的數(shù)據(jù)處理方式，統(tǒng)一收集數(shù)據(jù)，存儲(chǔ)到數(shù)據(jù)庫(kù)中，之后在進(jìn)行分析，就可能無(wú)法滿足時(shí)效性的要求。1、流式計(jì)算誕生背景什么是流式計(jì)算流式處理可以用于兩種不同場(chǎng)景：事件流和持續(xù)計(jì)算。(1)事件流事件流具能夠持續(xù)產(chǎn)生大量的數(shù)據(jù)，這類數(shù)據(jù)最早出現(xiàn)于傳統(tǒng)的銀行和股票交易領(lǐng)域，也在互聯(lián)網(wǎng)監(jiān)控、無(wú)線通信網(wǎng)等領(lǐng)域出現(xiàn)、需要以近實(shí)時(shí)的方式對(duì)更新數(shù)據(jù)流進(jìn)行復(fù)雜分析如趨勢(shì)分析、預(yù)測(cè)、監(jiān)控等。簡(jiǎn)單來(lái)說(shuō)，事件流采用的是查詢保持靜態(tài)，語(yǔ)句是固定的，數(shù)據(jù)不斷變化的方式。(2)持續(xù)計(jì)算比如對(duì)于大型網(wǎng)站的流式數(shù)據(jù)：網(wǎng)站的訪問(wèn)PV/UV、用戶訪問(wèn)了什么內(nèi)容、搜索了什么內(nèi)容等，實(shí)時(shí)的數(shù)據(jù)計(jì)算和分析可以動(dòng)態(tài)實(shí)時(shí)地刷新用戶訪問(wèn)數(shù)據(jù)，展示網(wǎng)站實(shí)時(shí)流量的變化情況，分析每天各小時(shí)的流量和用戶分布情況；2、流式計(jì)算主要應(yīng)用場(chǎng)景什么是SparkStreaming02什么是SparkStreaming1、基本概念SparkStreaming是構(gòu)建在Spark上的實(shí)時(shí)計(jì)算框架，它擴(kuò)展了Spark處理大規(guī)模流式數(shù)據(jù)的能力。SparkStreaming可結(jié)合批處理和交互查詢，適合一些需要對(duì)歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)進(jìn)行結(jié)合分析的應(yīng)用場(chǎng)景。SparkStreaming是Spark的核心組件之一，為Spark提供了可拓展、高吞吐、容錯(cuò)的流計(jì)算能力。如下圖所示，SparkStreaming可整合多種輸入數(shù)據(jù)源，如Kafka、Flume、HDFS，甚至是普通的TCP套接字。經(jīng)處理后的數(shù)據(jù)可存儲(chǔ)至文件系統(tǒng)、數(shù)據(jù)庫(kù)，或顯示在儀表盤(pán)里。什么是SparkStreamingSparkStreaming是SparkcoreAPI的擴(kuò)展，支持實(shí)時(shí)數(shù)據(jù)流的處理，并且具有可擴(kuò)展，高吞吐量，容錯(cuò)的特點(diǎn)。SparkStreaming具有如下顯著特點(diǎn)。（1）易用性可以像編寫(xiě)離線批處理一樣去編寫(xiě)流式程序，支持java/scala/python編程語(yǔ)言（2）容錯(cuò)性SparkStreaming在沒(méi)有額外代碼和配置的情況下可以恢復(fù)丟失的工作。（3）易整合性流式處理與批處理和交互式查詢相結(jié)合非常方便。什么是SparkStreamingSparkStreaming核心術(shù)語(yǔ)(1)離散流（DStream）(2)批數(shù)據(jù)（batchdata）(3)時(shí)間片或批處理時(shí)間間隔（batchinterval）(4)窗口長(zhǎng)度（windowlength）(5)滑動(dòng)時(shí)間間隔(6)InputDStreamSparkStreaming工作原理03SparkStreaming工作原理SparkStreaming支持從多種數(shù)據(jù)源提取數(shù)據(jù)，如：Kafka、Flume、Twitter、ZeroMQ、Kinesis以及TCP套接字，并且可以提供一些高級(jí)API來(lái)表達(dá)復(fù)雜的處理算法，如：map、reduce、join和window等。最后，SparkStreaming支持將處理完的數(shù)據(jù)推送到