spark機(jī)器學(xué)習(xí)案例實(shí)戰(zhàn)第二天

Spark機(jī)器學(xué)習(xí)案例實(shí)戰(zhàn)—08概述支持從多種數(shù)據(jù)源提取數(shù)據(jù)，如：Kafka、Flume、Twitter、ZeroMQ、Kinesis處理復(fù)雜的算法，如：map、reduce、join和window等可以將Spark的機(jī)器學(xué)習(xí)（machinelearning）

和圖計(jì)算（graphprocessing）的算法應(yīng)用于SparkStreaming的數(shù)據(jù)流當(dāng)中概述SparkStreaming從實(shí)時(shí)數(shù)據(jù)流接入數(shù)據(jù)，再將其劃分為一個(gè)個(gè)小批量供后續(xù)Sparkengine處理，所以實(shí)際上，SparkStreaming是按一個(gè)個(gè)小批量來(lái)處理數(shù)據(jù)流的。其實(shí)在內(nèi)部，一個(gè)DStream就是包含了一系列RDDs。StreamingContextvalconf=newSparkConf().setAppName(appName).setMaster(master)valssc=newStreamingContext(conf,Seconds(1))valsc=...//已有的SparkContextvalssc=newStreamingContext(sc,Seconds(1))StreamingContext創(chuàng)建DStream對(duì)象，并定義好輸入數(shù)據(jù)源?；跀?shù)據(jù)源DStream定義好計(jì)算邏輯和輸出。調(diào)用streamingContext.start()啟動(dòng)接收并處理數(shù)據(jù)。調(diào)用streamingContext.awaitTermination()等待流式處理結(jié)束（不管是手動(dòng)結(jié)束，還是發(fā)生異常錯(cuò)誤）你可以主動(dòng)調(diào)用streamingContext.stop()來(lái)手動(dòng)停止處理流程。DStreamsDStream內(nèi)部是由一系列連續(xù)的RDD組成的，每個(gè)RDD都是不可變、分布式的數(shù)據(jù)集。每個(gè)RDD都包含了特定時(shí)間間隔內(nèi)的一批數(shù)據(jù)。DStreams任何作用于DStream的算子，其實(shí)都會(huì)被轉(zhuǎn)化為對(duì)其內(nèi)部RDD的操作。例如，在前面的例子中，我們將lines這個(gè)DStream轉(zhuǎn)成wordsDStream對(duì)象，其實(shí)作用于lines上的flatMap算子，會(huì)施加于lines中的每個(gè)RDD上，并生成新的對(duì)應(yīng)的RDD，而這些新生成的RDD對(duì)象就組成了words這個(gè)DStream對(duì)象。DStreamsDStreams窗口（