Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)與案例實(shí)戰(zhàn)（微課版）課件 5.7 YARN概述（完）

Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——

YARN概述目錄content02YARN功能01YARN簡(jiǎn)介YARN簡(jiǎn)介MapReduce1.0既是一個(gè)計(jì)算框架，也是一個(gè)資源管理調(diào)度框架YARN簡(jiǎn)介YARN是一個(gè)純碎的資源管理調(diào)度框架，而不是一個(gè)計(jì)算框架.MapReduce1.0中的資源管理調(diào)度功能，被單獨(dú)剝離出來(lái)形成了YARN。Hadoop2.0以后YARN簡(jiǎn)介被剝離了資源管理調(diào)度功能的MapReduce框架就變成了MapRedece2.0，它是運(yùn)行在YARN之上的一個(gè)純碎的計(jì)算框架，不再自己負(fù)責(zé)資源調(diào)度管理服務(wù)，而是由YARN為其提供資源管理調(diào)度服務(wù)。YARN簡(jiǎn)介YARN是一個(gè)純碎的資源調(diào)度框架。MapRedece2.0運(yùn)行在YARN之上的一個(gè)純碎的計(jì)算框架。YARN簡(jiǎn)介YARN是一種新的Hadoop資源管理器；是一個(gè)通用資源管理系統(tǒng)；可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度；為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來(lái)了好處。YARN功能ResourceManagerApplicationMasterNodeManagerYARN--ResourceManager的功能ResourceManager功能處理客戶端請(qǐng)求資源分配和調(diào)度監(jiān)控NodeManager啟動(dòng)ApplicationMaster監(jiān)控ApplicationMasterYARN--ResourceManager的功能ResourceManager處理客戶端請(qǐng)求啟動(dòng)pplicationaster負(fù)責(zé)接受來(lái)自ApplicationMaster的應(yīng)用程序資源請(qǐng)求，把集群中的資源以“容器”的形式分配給提出申請(qǐng)的應(yīng)用程序，容器的選擇通常會(huì)考慮應(yīng)用程序所要處理的數(shù)據(jù)的位置，進(jìn)行就近選擇從而實(shí)現(xiàn)“計(jì)算向數(shù)據(jù)靠攏”調(diào)度器應(yīng)用程序管理器負(fù)責(zé)管理整個(gè)系統(tǒng)中所有應(yīng)用程序，包括應(yīng)用程序提交、與調(diào)度器協(xié)商資源以啟動(dòng)ApplicationMaster、監(jiān)控ApplicationMaster運(yùn)行狀態(tài)并在失敗時(shí)重新啟動(dòng)它等。YARN--ResourceManager功能容器（container）作為動(dòng)態(tài)資源分配單位，每個(gè)容器中都封裝了一定數(shù)量的CPU、內(nèi)存、磁盤等資源，從而限定每個(gè)應(yīng)用程序可以使用的資源量。YARN會(huì)為每個(gè)任務(wù)分配一個(gè)容器，且該任務(wù)只能使用該容器中封裝的資源。YARN--ApplicationMaster的功能ApplicationMaster為應(yīng)用程序申請(qǐng)資源，并分配給內(nèi)部任務(wù)；功能2：任務(wù)調(diào)度、監(jiān)控和容錯(cuò)。功能1：YARN--NodeMaster的功能NodeMaster單個(gè)節(jié)點(diǎn)上的資源管理功能2：處理ResourceManger的命令。功能1：功能3：處理ApplicationMaster的命令。YARN功能YARN的資源管理和執(zhí)行框架都是按主/從范例實(shí)現(xiàn)的——Slave節(jié)點(diǎn)管理器（NM）運(yùn)行、監(jiān)控每個(gè)節(jié)點(diǎn)，并向集群的Master資源管理器(RM)報(bào)告資源的可用性狀態(tài)，資源管理器最終為系統(tǒng)里所有應(yīng)用分配資源。本章