如何把資源分配給Spark

主講：張義目錄0102Spark與YARN的關(guān)系YARN如何獲取分配資源Spark與YARN的關(guān)系1Spark與YARN的關(guān)系當在YARN上運行Spark時，Hadoop看不到任何關(guān)于YARN的事情，它只是另一個應(yīng)用程序，就像MapReduce是運行在YARN上的應(yīng)用程序一樣。這非常好，因為在YARN上運行Spark時，我們所知道的關(guān)于YARN架構(gòu)、資源分配和調(diào)優(yōu)的所有知識都能派上用場。Spark與YARN的關(guān)系也就是YARN依賴于兩個關(guān)鍵實體：ResourceManager（用于管理Hadoop集群中可用的資源），以及ApplicationMaster（負責(zé)從ResourceManager請求資源并將其分配給在每個節(jié)點上運行的NodeManager,以便集群可以執(zhí)行各個任務(wù)）。ApplicationMaster是應(yīng)用程序特有的（在討論MapReduce執(zhí)行之前，指的是MapReduce框架特有的ApplicationMaster）。當運行Spark作業(yè)時，YARN使用Spark專門的ApplicationMaster。YARN如何獲取分配資源2YARN如何獲取分配資源YARN通過容器的邏輯抽象來分配資源，其是一組資源，如內(nèi)存和CPU。例如，容器可以由2個CPU內(nèi)核和4GB的RAM組成。當Spark的ApplicationMaster從ResourceManager請求資源時，通過估計作業(yè)的資源需求，請求特定數(shù)量的容器來完成該作業(yè)。基于集群中資源的可用性，ApplicationMaster要求NodeManager在工作節(jié)點上啟動特定數(shù)量的容器。YARN如何獲取分配資源當在YARN上運行Spark時，Spark就處于YARN架構(gòu)之上，如所有其他框架和應(yīng)用程序一樣，它們使用相同的過程請求資源。因此，YARN容器是YARN向Spark作業(yè)分配資源的方式。無論Spark如何使用每個作業(yè)的驅(qū)動程序和執(zhí)行器等實體，在實際分配資源時，所有的Spark看到的都是一堆YARN資源容器。所有的執(zhí)行器和驅(qū)動程序在這些容器內(nèi)運行。ApplicationMaster處理所有的容器內(nèi)通信。YARN如何獲取分配資源ApplicationMaster本身在單個容器中運行。執(zhí)行器也在YARN容器中運行（每個容器1個執(zhí)行器）。第18章討論MapReduce資源分配時，討論過map和reduce容器。在某種意義上，每個map或reduce任務(wù)都被假定在自己的容器內(nèi)運行。當涉及Spark執(zhí)行器時，在執(zhí)行器容器任務(wù)中有一個粒度更細的實體。每個執(zhí)行器容器都有一組實際執(zhí)行工作的任務(wù)。Spark使用YA