2023學(xué)年完整公開課版高可靠性Yarn2

高可靠性Yarn（二）主要內(nèi)容2Yarn的工作原理Yarn的優(yōu)點(diǎn)Yarn的基本缺陷Yarn

HA3一、Yarn的工作原理4Yarn的工作原理作業(yè)提交作業(yè)初始化任務(wù)運(yùn)行任務(wù)分配進(jìn)度和狀態(tài)更新作業(yè)完成5Yarn的工作原理圖

6作業(yè)提交

client調(diào)用job.waitForCompletion方法，向整個(gè)集群提交MapReduce作業(yè)。新的作業(yè)ID(應(yīng)用ID)由資源管理器分配。作業(yè)的client核實(shí)作業(yè)的輸出,計(jì)算輸入的split,將作業(yè)的資源(包括Jar包,配置文件,split信息)拷貝給HDFS。最后,通過調(diào)用資源管理器的submitApplication()來提交作業(yè)。7作業(yè)初始化

當(dāng)資源管理器收到submitApplication()的請求時(shí),就將該請求發(fā)給調(diào)度器(scheduler),調(diào)度器分配container,然后資源管理器在該container內(nèi)啟動(dòng)應(yīng)用管理器進(jìn)程,由節(jié)點(diǎn)管理器監(jiān)控(第5a和5b步)。

MapReduce作業(yè)的應(yīng)用管理器是一個(gè)主類為MRAppMaster的Java應(yīng)用。其通過創(chuàng)造一些bookkeeping對象來監(jiān)控作業(yè)的進(jìn)度,得到任務(wù)的進(jìn)度和完成報(bào)告(第6步)。然后其通過分布式文件系統(tǒng)得到由客戶端計(jì)算好的輸入split(第7步)。然后為每個(gè)輸入split創(chuàng)建一個(gè)map任務(wù),根據(jù)mapreduce.job.reduces創(chuàng)建reduce任務(wù)對象。8任務(wù)分配

如果作業(yè)很小，應(yīng)用管理器會選擇在其自己的JVM中運(yùn)行任務(wù)。如果不是小作業(yè),那么應(yīng)用管理器向資源管理器請求container來運(yùn)行所有的map和reduce任務(wù)。這些請求是通過心跳來傳輸?shù)?包括每個(gè)map任務(wù)的數(shù)據(jù)位置,比如存放輸入split的主機(jī)名和機(jī)架(rack).調(diào)度器利用這些信息來調(diào)度任務(wù),盡量將任務(wù)分配給存儲數(shù)據(jù)的節(jié)點(diǎn),或者退而分配給和存放輸入split的節(jié)點(diǎn)相同機(jī)架的節(jié)點(diǎn)。9任務(wù)運(yùn)行

當(dāng)一個(gè)任務(wù)由資源管理器的調(diào)度分配給一個(gè)container后,應(yīng)用管理器通過聯(lián)系節(jié)點(diǎn)管理器來啟動(dòng)container。任務(wù)由一個(gè)主類為YarnChild的Java應(yīng)用執(zhí)行。

在運(yùn)行任務(wù)之前首先本地化任務(wù)需要的資源,比如作業(yè)配置,JAR文件,以及分布式緩存的所有文件。最后,運(yùn)行map或reduce任務(wù)。 YarnChild運(yùn)行在一個(gè)專用的JVM中,但是YARN不支持JVM重用。10進(jìn)度和狀態(tài)更新

YARN中的任務(wù)將其進(jìn)度和狀態(tài)（包括counter）返回給應(yīng)用管理器，客戶端每秒（通過gressmonitor.pollinterval設(shè)置）向應(yīng)用管理器請求進(jìn)度更新，展示給用戶。11作業(yè)完成

除了向應(yīng)用管理器請求作業(yè)進(jìn)度外，客戶端每5分鐘都會通過調(diào)用waitForCompletion()來檢查作業(yè)是否完成。時(shí)間間隔可以通過pletion.pollinterval來設(shè)置。作業(yè)完成之后,應(yīng)用管理器和container會清理工作狀態(tài),OutputCommiter的作業(yè)清理方法也會被調(diào)用。作業(yè)的信息會被作業(yè)歷史服務(wù)器存儲以備之后用戶核查。12二、Yarn的優(yōu)點(diǎn)13Yarn的優(yōu)點(diǎn)與舊MapReduce相比，YARN采用了一種分層的集群框架，具有以下幾種優(yōu)勢。

1）Hadoop2.0提出了HDFSFederation；它讓多個(gè)NameNode分管不同的目錄進(jìn)而實(shí)現(xiàn)訪問隔離和橫向擴(kuò)展。對于運(yùn)行中NameNode的單點(diǎn)故障，通過NameNode熱備方案（NameNodeHA）實(shí)現(xiàn)。

2）YARN通過將資源管理和應(yīng)用程序管理兩部分剝離開來，分別由ResourceManager和ApplicationMaster進(jìn)程來實(shí)現(xiàn)。其中，ResouceManager專管資源管理和調(diào)度，而ApplicationMaster則負(fù)責(zé)與具體應(yīng)用程序相關(guān)的任務(wù)切分、任務(wù)調(diào)度和容錯(cuò)等。

3）YARN具有向后兼容性，用戶在MR1上運(yùn)行的作業(yè)，無需任何修改即可運(yùn)行在YARN之上。

14Yarn的優(yōu)點(diǎn)4）對于資源的表示以內(nèi)存為單位（在目前版本的Yarn中沒有考慮CPU的占用），比之前以剩余slot數(shù)目為單位更合理。5）支持多個(gè)框架，YARN不再是一個(gè)單純的計(jì)算框架，而是一個(gè)框架管理器，用戶可以將各種各樣的計(jì)算框架移植到Y(jié)ARN之上，由YARN進(jìn)行統(tǒng)一管理和資源分配，由于將現(xiàn)有框架移植到Y(jié)ARN之上需要一定的工作量，當(dāng)前YARN僅可運(yùn)行MapReduce這種離線計(jì)算框架。6）框架升級容易，在YARN中，各種計(jì)算框架不再是作為一個(gè)服務(wù)部署到集群的各個(gè)節(jié)點(diǎn)上（比如MapReduce框架，不再需要部署JobTracker、TaskTracker等服務(wù)），而是被封裝成一個(gè)用戶程序庫（lib）存放在客戶端，當(dāng)需要對計(jì)算框架進(jìn)行升級時(shí)，只需升級用戶程序庫即可。15三、Yarn的基本缺陷16Yarn的基本缺陷 MapReduce的第一個(gè)版本既有優(yōu)點(diǎn)也有缺點(diǎn)。MRv1是目前使用的標(biāo)準(zhǔn)的大數(shù)據(jù)處理系統(tǒng)。但是，這種架構(gòu)存在不足，主要表現(xiàn)在大型集群上。當(dāng)集群包含的節(jié)點(diǎn)超過4,000個(gè)時(shí)（其中每個(gè)節(jié)點(diǎn)可能是多核的），就會表現(xiàn)出一定的不可預(yù)測性。其中一個(gè)最大的問題是級聯(lián)故障，由于要嘗試復(fù)制數(shù)據(jù)和重載活動(dòng)的節(jié)點(diǎn)，所以一個(gè)故障會通過網(wǎng)絡(luò)泛洪形式導(dǎo)致整個(gè)集群嚴(yán)重惡化。

但MRv1的最大問題是多租戶。隨著集群規(guī)模的增加，一種可取的方式是為這些集群采用各種不同的模型。MRv1的節(jié)點(diǎn)專用于Hadoop，所以可以改變它們的用途以用于其他應(yīng)用程序和工作負(fù)載。當(dāng)大數(shù)據(jù)和Hadoop成為云部署中一個(gè)更重要的使用模型時(shí)，這種能力也會增強(qiáng)，因?yàn)樗试S在服務(wù)器上對Hadoop進(jìn)行物理化，而無需虛擬化且不會增加管理、計(jì)算和輸入/輸出開銷。17四、yarnHA18Yarn

HA架構(gòu)圖19YarnHA

ResourceManager由一對分別處于Active和Standby狀態(tài)的ResourceManager組成，它使用基于Zookeeper的選舉算法來決定ResourceManager的狀態(tài)。其中，ZKFC僅為ResourceManager的一個(gè)進(jìn)程服務(wù)，不是單獨(dú)存在的（區(qū)別于HDFS，它是獨(dú)立