內(nèi)存與CPU之間的關(guān)系

主講：張義目錄0102配置Application容器大小內(nèi)存與CPU之間的關(guān)系配置Application容器大小1配置Application容器大小前面我們配置了map和reduce任務(wù)容器的大小，還需要配置ApplicationMaster容器的大小，也就是配置ApplicationMaster內(nèi)存，以滿足集群的處理要求。每個(gè)應(yīng)用程序都要生成一個(gè)ApplicationMaster容器。通過(guò)將ApplicationMaster容器的大小調(diào)整為1GB或2GB可以獲得具有較少數(shù)據(jù)量的應(yīng)用程序。對(duì)于更大的應(yīng)用程序，將容器配置得更大為明智之舉。配置Application容器大小如在yarn-site.xml中進(jìn)行如下配置：<property><name>yarn.app.mapreduce.am.resource.mb</name><value>3072</value></property><property><name>mand-opts</name><value>-Xmx2364m</value></property>配置Application容器大小第一個(gè)參數(shù)yarn.app.mapreduce.am.resource.mb設(shè)置ApplicationMaster容器的大小，這是ApplicationMaster需要的內(nèi)存量。第二個(gè)參數(shù)mand-opts設(shè)置了運(yùn)行ApplicationMaster代碼的JVM的大小。JVM的默認(rèn)大小為1GB，因此參數(shù)的默認(rèn)值顯示為-Xmx1024m。內(nèi)存與CPU之間的關(guān)系2內(nèi)存與CPU之間的關(guān)系如果有足夠的可用內(nèi)存，則可以創(chuàng)建更多的容器，請(qǐng)記住，每個(gè)容器都需要一個(gè)CPU才能運(yùn)行。因此，實(shí)際集群運(yùn)行的容器上限為所有節(jié)點(diǎn)上的CPU總和。這就是為什么要使用有足夠RAM的服務(wù)器，并且還需要有足夠的CPU來(lái)運(yùn)行任務(wù)。疑問(wèn)的是，如果用戶運(yùn)行需要數(shù)千個(gè)map和reduce的任務(wù)會(huì)發(fā)生什么呢？該用戶可以不讓其他作業(yè)運(yùn)行，直到完成這個(gè)作業(yè)。幸運(yùn)的是，在現(xiàn)實(shí)生活中，情況并非如此。當(dāng)集群的容量只有一千個(gè)容器時(shí)，用戶通常會(huì)提交需要數(shù)萬(wàn)甚至數(shù)十萬(wàn)個(gè)容器的作業(yè)。內(nèi)存與CPU之間的關(guān)系Hadoop的調(diào)度器(公平調(diào)度器和容量調(diào)度器）通過(guò)在多個(gè)應(yīng)用程序之間合理地分配可用資源，保證多個(gè)作業(yè)和