Spark作業(yè)執(zhí)行流程

Spark作業(yè)執(zhí)行流程2Standalone模式下存在的角色：Client：客戶端進程，負責提交作業(yè)到MasterMaster：Standalone模式中主控節(jié)點，負責接收Client提交的作業(yè)，管理Worker，并命令Worker啟動Driver和ExecutorWorker：Standalone模式中slave節(jié)點上的守護進程，負責管理本節(jié)點的資源，定期向Master匯報心跳，接收Master的命令，啟動Driver和Executor3Standalone模式下存在的角色：Driver：一個Spark作業(yè)運行時包括一個Driver進程，也是作業(yè)的主進程，負責作業(yè)的解析、生成Stage并調度Task到Executor上。包括DAGScheduler，TaskSchedulerExecutor：即真正執(zhí)行作業(yè)的地方，一個集群一般包含多個Executor，每個Executor接收Driver的命令LaunchTask，一個Executor可以執(zhí)行一到多個Task4作業(yè)相關的名詞：Stage：一個Spark作業(yè)一般包含一到多個StageTask：一個Stage包含一到多個Task，通過多個Task實現(xiàn)并行運行的功能DAGScheduler：實現(xiàn)將Spark作業(yè)分解成一到多個Stage，每個Stage根據(jù)RDD的Partition個數(shù)決定Task的個數(shù)，然后生成相應的Taskset放到TaskScheduler中TaskScheduler：實現(xiàn)Task分配到Executor上執(zhí)行5提交作業(yè)有兩種方式：Driver（作業(yè)的master，負責作業(yè)的解析、生成stage并調度task到，包含DAGScheduler）運行在Worker上Driver運行在客戶端6運行在Worker上：7運行在Worker上：客戶端提交作業(yè)給MasterMaster讓一個Worker啟動Driver，即SchedulerBackend。Worker創(chuàng)建一個DriverRunner線程，DriverRunner啟動SchedulerBackend進程另外Master還會讓其余Worker啟動Exeuctor，即ExecutorBackend。Worker創(chuàng)建一個ExecutorRunner線程，ExecutorRunner會啟動ExecutorBackend進程8運行在Worker上：ExecutorBackend啟動后會向Driver的SchedulerBackend注冊。SchedulerBackend進程中包含DAGScheduler，它會根據(jù)用戶程序，生成執(zhí)行計劃，并調度執(zhí)行。對于每個stage的task，都會被存放到TaskScheduler中，ExecutorBackend向SchedulerBackend匯報的時候把TaskScheduler中的task調度到ExecutorBackend執(zhí)行所有stage都完成后作業(yè)結束9運行在客戶端上：10運行在客戶端上：客戶端啟動后直接運行用戶程序，啟動Driver相關的工作：DAGScheduler和BlockManagerMaster等客戶端的Driver向Master注冊Master還會讓Worker啟動Exeuctor。Worker創(chuàng)建一個ExecutorRunner線程，ExecutorRunner會啟動ExecutorBackend進程11運行在客戶端上：ExecutorBackend啟動后會向Driver的SchedulerBackend注冊。Driver的DAGScheduler