單元9 任務(wù)9.3部署與操作Spark on YARN_第1頁
單元9 任務(wù)9.3部署與操作Spark on YARN_第2頁
單元9 任務(wù)9.3部署與操作Spark on YARN_第3頁
單元9 任務(wù)9.3部署與操作Spark on YARN_第4頁
單元9 任務(wù)9.3部署與操作Spark on YARN_第5頁
已閱讀5頁,還剩11頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

單元9

Spark計(jì)算框架部署任務(wù)9.3部署與操作SparkonYARN任務(wù)9.3部署與操作SparkonYARN【任務(wù)場景】經(jīng)理:小張,你把Spark集群部署到Hadoop集群吧,這樣能夠充分利用計(jì)算資源。小張:如果將Spark部署到Hadoop集群的話,我們可以使用SparkonYARN模式,這種模式下,直接在HadoopYARN中啟動Spark任務(wù)。經(jīng)理:那就部署SparkonYARN模式吧。小張:好的。任務(wù)9.3部署與操作SparkonYARN任務(wù)布置:配置SparkonYARN模式,提交Spark任務(wù)到Y(jié)ARN中,并從YARN中查看計(jì)算任務(wù)。知識點(diǎn)1:SparkonYARN運(yùn)行原理

SparkonYARN是工作中或生產(chǎn)上用的非常多的一種運(yùn)行模式。其主要優(yōu)勢是可以將Spark、MapReduce、Flink等框架跑在同一個(gè)YARN集群中,使用YARN統(tǒng)一管理控制計(jì)算資源,多種計(jì)算框架可以共享集群資源,按需分配,這樣可以提升整個(gè)資源的利用率。

HDFSYARN:資源管理和調(diào)度框架MapReduceSparkStormFlink...知識點(diǎn)1:SparkonYARN運(yùn)行原理

當(dāng)在YARN上運(yùn)行Spark作業(yè),每個(gè)Sparkexecutor作為一個(gè)YARN容器(container)運(yùn)行。Spark可以使得多個(gè)Tasks在同一個(gè)容器(container)里面運(yùn)行。這是個(gè)很大的優(yōu)點(diǎn)。

有兩種部署模式可用于在YARN上啟動Spark應(yīng)用程序。cluster模式和client模式。

在cluster模式下,Spark驅(qū)動程序在集群上由YARN管理的應(yīng)用程序主進(jìn)程內(nèi)運(yùn)行,客戶端可以在啟動應(yīng)用程序后離開,Cluster模式主要用于生產(chǎn)環(huán)境中,因?yàn)镈river運(yùn)行在Yarn集群中某一臺nodeManager中,每次提交任務(wù)的Driver所在的機(jī)器都是隨機(jī)的,不會產(chǎn)生某一臺機(jī)器網(wǎng)卡流量激增的現(xiàn)象,缺點(diǎn)是任務(wù)提交后不能看到日志。只能通過yarn查看日志。在client模式中,driver運(yùn)行在client進(jìn)程中,applicationmaster只用于向YARN請求資源。client模式適用于測試場景,因?yàn)镈river運(yùn)行在本地,任務(wù)執(zhí)行后可直接看到執(zhí)行結(jié)果,但是此模式下Driver會與yarn集群中的Executor進(jìn)行大量的通信,會造成客戶機(jī)網(wǎng)卡流量的大量增加。知識點(diǎn)1:SparkonYARN運(yùn)行原理Yarn-cluster模式提交任務(wù)流程如下:1.客戶機(jī)提交Application應(yīng)用程序,發(fā)送請求到RS(ResourceManager),請求啟動AM(ApplicationMaster)。2.RS收到請求后隨機(jī)在一臺NM(NodeManager)上啟動AM(相當(dāng)于Driver端)。3.AM啟動,AM發(fā)送請求到RS,請求一批container用于啟動Executor。4.RS返回一批NM節(jié)點(diǎn)給AM。5.AM連接到NM,發(fā)送請求到NM啟動Executor。6.Executor反向注冊到AM所在的節(jié)點(diǎn)的Driver。Driver發(fā)送task到Executor。知識點(diǎn)1:SparkonYARN運(yùn)行原理Yarn-client模式提交任務(wù)流程:1.客戶端提交一個(gè)Application,在客戶端啟動一個(gè)Driver進(jìn)程。2.Driver進(jìn)程會向RS(ResourceManager)發(fā)送請求,啟動AM(ApplicationMaster)。3.RS收到請求,隨機(jī)選擇一臺NM(NodeManager)啟動AM。這里的NM相當(dāng)于Standalone中的Worker節(jié)點(diǎn)。4.AM啟動后,會向RS請求一批container資源,用于啟動Executor。5.RS會找到一批NM返回給AM,用于啟動Executor。AM會向NM發(fā)送命令啟動Executor。6.Executor啟動后,會反向注冊給Driver,Driver發(fā)送task到Executor,執(zhí)行情況和結(jié)果返回給Driver端。知識點(diǎn)1:SparkonYARN運(yùn)行原理

在YARN上啟動Spark,需配置HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群配置文件的目錄。這些配置用于寫入HDFS并連接到Y(jié)ARNResourceManager。此目錄中包含的配置將分發(fā)到Y(jié)ARN集群,以便應(yīng)用程序使用的所有容器都使用相同的配置。

與Spark支持的其他集群管理器在--master

參數(shù)中指定master的地址不同,在YARN模式下,ResourceManager的地址是從Hadoop配置中獲取的。因此,--master參數(shù)為yarn?;蛑苯有薷呐渲梦募park-defaults.conf中的“spark.master”,將模式配置配置為yarn。SparkonYARN部署流程1.檢查依賴的Hadoop環(huán)境我們需要將Spark部署在HadoopMaster節(jié)點(diǎn)上用來提交任務(wù),首先檢查已部署Hadoop環(huán)境并統(tǒng)計(jì)集群信息。節(jié)點(diǎn)類型節(jié)點(diǎn)名稱IP地址組件Mastermaster01192.168.137.214NameNodeSecondaryNameNodeResourceManagerSpark客戶端Workerworker01192.168.137.215DataNodeNodeManagerWorkerworker02192.168.137.216DataNodeNodeManagerSparkonYARN部署流程2.在Hadoop集群的Master節(jié)點(diǎn)上部署Spark。(1)下載并解壓Spark安裝包下載spark-3.2.0-bin-hadoop3.2.tgz文件,解壓并放到/opt/目錄下。[root@master01~]#tar-zxvfspark-3.2.0-bin-hadoop3.2.tgz[root@master01~]#mvspark-3.2.0-bin-hadoop3.2/opt/spark(2)準(zhǔn)備spark-shell運(yùn)行所需要的jar包[root@master01~]#hdfsdfs-mkdir/spark_jars[root@master01~]#hdfsdfs-put/opt/spark/jars/*/spark_jars修改spark-env.sh配置文件[root@localhost~]#vim/opt/spark/conf/spark-env.shspark.yarn.jars=hdfs://master01:9000/spark_jars/*SparkonYARN部署流程(3)配置yarn以運(yùn)行Spark任務(wù)在/opt/hadoop/etc/hadoop/yarn-site.xml添加如下配置

<property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value></property><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property>(4)將修改的Hadoop部署配置文件同步到其他節(jié)點(diǎn)[root@master01~]#yuminstall-yrsync[root@master01~]#rsync-a/opt/hadoopworker01:/opt/[root@master01~]#rsync-a/opt/hadoopworker02:/opt/SparkonYARN部署流程(5)配置系統(tǒng)環(huán)境變量在master節(jié)點(diǎn)上修改profile文件[root@master01~]#vim/etc/profileSPARK_HOME=/opt/sparkSPARK_CONF_DIR=$SPARK_HOME/confexportPATH=$PATH:$SPARK_HOME/binexportHADOOP_CONF_DIR=/opt/hadoop/etc/hadoopexportYARN_CONF_DIR=/opt/hadoop/etc/hadoop[root@master01~]#source/etc/profile(6)安裝pyspark[root@master01~]#yuminstall-ypython3[root@master01~]#pipinstallpysparkSparkonYARN部署流程3.驗(yàn)證SparkonYARN提交spark-submit任務(wù),查看任務(wù)執(zhí)行情況[root@master01~]#spark-submit--classorg.apache.spark.examples.SparkPi--masteryarn--deploy-modecluster--driver-memory4g--executor-memory2g--executor-cores2--queuedefaultexamples/jars/spark-examples*.jar10查看YARN的WebUI,確認(rèn)sp

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論