spark培訓(xùn)4架構(gòu)及實現(xiàn)剖析

主要內(nèi)內(nèi)部原運(yùn)行模主要內(nèi)內(nèi)部原運(yùn)行模 概念—分布在集群中的只讀對象集合（由多個Partition構(gòu)成可 在磁盤或內(nèi)存中（多 級別通過并行“轉(zhuǎn)換”操作構(gòu)失效后自動重RDD基本操作RDD基本操作可通過Scala集合或者Hadoop數(shù)據(jù)集構(gòu)造一個新的通過已有的RDD產(chǎn)生新的舉例：map，通過RDD計算得到一個或者一舉例OperatorOperatorRDD

RDD

12345612345672345678MAP(+1作用在RDD上的Transformation與Transformation與ActionTransformationTransformation與Action

queryquery

beacons=beacons=spark.textFile(“hdfs://...”)cachedBeacons=8

query..??storage一個完整的實importSparkContext._objectWordCountdefmain(args:Array[String]){if(args.length!=3){println("usageisorg.test.WordCount<master><input>Master地 作業(yè)名}

依賴的jarSpark

valsc=newSparkContext(args(0),"WordCount",valtextFile=

輸入數(shù)據(jù)所 ，比如valresult=textFile.flatMap(line=>.map(word=>(word,1)).reduceByKey(_+}}

主要內(nèi)內(nèi)部原運(yùn)行模SparkSpark調(diào)度并執(zhí)行Spark內(nèi)部原RDD

構(gòu)造操作符

wordcount—生成邏輯查詢計valtextFile=valresult=.flatMap(line=>RDD[(String,.map(word=>(word,RDD[(String,RDD[(String,RDD[(String, wordcount—生成邏輯查詢計 StageStageStageStagewordcount—生成物理查詢計StageStageStageStage

Stage Stage

wordcount—調(diào)度并執(zhí)行StageStageStageStageStageStageStageSpark中task類每個stage的task數(shù)目FirstStage:由hdfsblock或hbaseOtherStages:由用戶設(shè)置，默認(rèn)與第Spark中基本概念總Stage：由一系列可以并行執(zhí)行的Task構(gòu)DAG：RDD操作符組成的邏輯執(zhí)行由若干分片（Partition）組成的并行 計算—map

partitionsortpartition,sort,combineandspillto

copy mergesort reduce

buffer

memoryandother other 計算— 計算— 計算—

reduceByKey(_+User

Local P

計算—shuffleCoreMapTask

Core MapTask

K5,K1,K5,K1,K3,K5,…

計算—shuffleTotalshufflefileM*1millionfiles,if1kmapperand1kWritebufferCore*R*256MB,if8coresand1000 計算—shuffleCore

Core

K5,…

計算—shuffleTotalshufflefilenumberM*Core*Writebuffersize–Core*R* 計算—shufflereduceByKey(_+User

Local P

計算—shuffle

PP

K5,K3,K5,K3,K1,K5,…K5,K3,K1,K5,… 計算—reduceByKey(_+

User

Local P

計算— P K3,K1,K3,K1,K5,…K5,K1,K5,K1,K3,K5,…

計算—K5,K1,K3,K5,K1,K3,K5,…

K3,K3,K1,K5,K5,f(V5,K3,K1,K5,…functionK3,K1,K5,…

計算—MemorynotK5,K5,K3,K1,

K3,K3,

K3,K3,K5,K3,K5,K3,K1,spilltoK5,K1,K5,K1,

spilltoK5,K5,K3,K1, 計算—MemorynotK1,K1,f(V1,K5,K3,K5,K3,K1,K5,K3,K1,

計算—

K5,K1,K3,K5,K5,K1,K3,K5,…K3,K1,K5,…

K3,K3,K1,K1,K5,K5,f(V5, 計算—User

1,2,1,3,1,3,

1,2,1,1,3,fNomap-side

1,(a,d,2,3,(e, 計算—shuffle比SparkMMmergegroup主要內(nèi)內(nèi)部原運(yùn)行模Spark程序框WorkerWorkerWorker程序原型模式：獨立（Standlone）模

程序原型模式：YARN分布式MRMR

AppSparkSpark20,0001.0:90,0002.0:220,000Spark生態(tài)系統(tǒng)Spark生態(tài)系統(tǒng)Sparkcore:16,000Sparkcore:16,000Blockmanager:Broadcast:Accumulators:Netw