教學(xué)YarnClient模式工作流程

主講：侯磊目錄01了解Yarn02Yarn-Client模式了解Yarn1了解Yarn背景Yarn是一個分布式的資源管理系統(tǒng)，用以提高分布式的集群環(huán)境下的資源利用率，這些資源包括內(nèi)存、IO、網(wǎng)絡(luò)、磁盤等。其產(chǎn)生的原因是為了解決原MapReduce框架的不足。最初MapReduce的committer們還可以周期性的在已有的代碼上進行修改，可是隨著代碼的增加以及原MapReduce框架設(shè)計的不足，在原MapReduce框架上進行修改變得越來越困難，所以MapReduce的committer們決定從架構(gòu)上重新設(shè)計MapReduce,使下一代的MapReduce(MRv2/Yarn)框架具有更好的擴展性、可用性、可靠性、向后兼容性和更高的資源利用率以及能支持除了MapReduce計算框架外的更多的計算框架。了解YarnYarn架構(gòu)Yarn/MRv2最基本的想法是將原JobTracker主要的資源管理和job調(diào)度/監(jiān)視功能分開作為兩個單獨的守護進程。有一個全局的ResourceManager(RM)和每個Application有一個ApplicationMaster(AM)，Application相當(dāng)于map-reducejob或者DAGjobs。ResourceManager和NodeManager(NM)組成了基本的數(shù)據(jù)計算框架。ResourceManager協(xié)調(diào)集群的資源利用，任何client或者運行著的applicatitonMaster想要運行job或者task都得向RM申請一定的資源。ApplicatonMaster是一個框架特殊的庫，對于MapReduce框架而言有它自己的AM實現(xiàn)，用戶也可以實現(xiàn)自己的AM，在運行的時候，AM會與NM一起來啟動和監(jiān)視tasks。Yarn-Client模式2Yarn-Client模式Y(jié)arn-Client模式中，Driver在客戶端本地運行，這種模式可以使得SparkApplication和客戶端進行交互，因為Driver在客戶端，所以可以通過webUI訪問Driver的狀態(tài)，默認(rèn)是http://hadoop1:4040訪問，而YARN通過http://hadoop1:8088訪問。Yarn-Client模式Y(jié)ARN-client的工作流程分為以下幾個步驟：1.SparkYarnClient向YARN的ResourceManager申請啟動ApplicationMaster。同時在SparkContent初始化中將創(chuàng)建DAGScheduler和TASKScheduler等，由于我們選擇的是Yarn-Client模式，程序會選擇YarnClientClusterScheduler和YarnClientSchedulerBackend；2.ResourceManager收到請求后，在集群中選擇一個NodeManager，為該應(yīng)用程序分配第一個Container，要求它在這個Container中啟動應(yīng)用程序的ApplicationMaster，與YARN-Cluster區(qū)別的是在該ApplicationMaster不運行SparkContext，只與SparkContext進行聯(lián)系進行資源的分派；Yarn-Client模式3.Client中的SparkContext初始化完畢后，與ApplicationMaster建立通訊，向ResourceManager注冊，根據(jù)任務(wù)信息向ResourceManager申請資源（Container）；4.一旦ApplicationMaster申請到資源（也就是Container）后，便與對應(yīng)的NodeManager通信，要求它在獲得的Container中啟動啟動CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend啟動后會向Client中的SparkContext注冊并申請Task；Yarn-Client模式5.Client中的SparkContext分配Task給CoarseGrainedExecutorBackend執(zhí)行，CoarseGrainedExecutorBackend運行Task并向Driver匯報運行的狀態(tài)和進度，以讓