sparkonyarn遇到的幾個問題

1、sparkonyarn 遇到的幾個問題1 概述Spark 的 on Yarn 模式，其資源分配是交給 Yarn 的 ResourceManager來進(jìn)行管理的，但是目前的 Spark 版本， Application 日志的 查看，只能通過 Yarn 的 yarn logs 命令實(shí)現(xiàn)。在部署和運(yùn)行 Spark Application 的過程中，如果不注意一些 小的細(xì)節(jié)，也許會導(dǎo)致一些問題的出現(xiàn)。2 防火墻部署好 Spark 的包和配置文件， on yarn 的兩種模式都無法運(yùn) 行，在 NodeManager 端的日志都是說 Connection Refused ，連接不上 Driver 所在的客

2、戶端節(jié)點(diǎn)，但是客戶端的 80 端 口可以正常訪問！ 檢查防火墻，果然客戶端只開啟的對 80 端口的訪問，其他都禁止了！ 如果你的程序在運(yùn)行的時候也有類似連接被拒絕的情況，最 好也是先檢查下防火墻的配置！3 Spark Driver 程序 host 的指定部署完 Spark 后，分別使用 yarn-cluster 模式和 yarn-client 模式運(yùn)行 Spark 自帶的計(jì)算 pi 的示例Spark 的一些配置文件除了一些基本屬性外，均未做配置， 結(jié)果運(yùn)行的時候兩種運(yùn)行模式出現(xiàn)了不同的狀況。 yarn-cluster 模式可以正常運(yùn)行， yarn-client 模式總是運(yùn)行失 敗。查看 Res

3、ourceManager、 NodeManager 端的日志，發(fā)現(xiàn)程 序總是找不到 ApplicationMaster ，這就奇怪了！并且，客戶 端的 Driver 程序開啟的端口， 在 NodeManager 端訪問被拒絕！ 非 Spark 的其他 MR 任務(wù)，能夠正常執(zhí)行。檢查客戶端配置文件，發(fā)現(xiàn)原來在客戶端的 /etc/hosts 文件中，客戶端的一個 IP 對應(yīng)了多個 Host，Driver 程序會默 認(rèn)去取最后對應(yīng)的那個Host，比如是hostB,但是在NodeManager端是配置的其他 Host, hostA，所以導(dǎo)致程序 無法訪問。為了不影響其他的程序使用客戶端的Host列表，

4、這里在 Spark 配置文件 spark-defaults.conf中使用屬性 spark.driver.host來指定 yarn-client 模式運(yùn)行中和 Yarn 通信的 DriverHost ，此 時 yarn-client 模式可以正常運(yùn)行。上面配置完了之后， 發(fā)現(xiàn) yarn-cluster 模式又不能運(yùn)行了！ 想 想原因，肯定是上面那個配置參數(shù)搞的鬼，注釋掉之后， yarn-cluster 模式可以繼續(xù)運(yùn)行。 原因是， yarn-cluster 模式下， spark 的入口函數(shù)是在客戶端運(yùn)行，但是 Driver 的其他功能 是在 ApplicationMaster 中運(yùn)行的，上面的

5、那個配置相當(dāng)于指 定了 ApplicationMaster 的地址，實(shí)際上的 ApplicationMaster 在 yarn-master 模式下是由 ResourceManager 隨機(jī)指定的。4 on Yarn 日志的查看測試環(huán)境下，通過 yarn logs -applicationId xxx 可以查看運(yùn)行結(jié)束的 Application 的日志， 但是搞到另一個環(huán) 境下發(fā)現(xiàn)使用上述命令查看日志時，總是提示如下信息：Logs not available at /tmp/nm/remote/logs/hadoop/logs/application_xxx_xxxLog aggregatio

6、n has not completed or is not enabled.去對應(yīng)的 NodeManger 目錄下，確實(shí)找不到日志文件。但是 /tmp/nm/remote/logs 卻是在 yarn-site.xml 中指定了的目錄， 這 個是對的，到底什么原因呢？難道是 Yarn 的日志聚集沒有起日eu!ejuooj|nepQje6eueujepoujeAjesujeAdoopeqeqoede'6joOdNI 9乙J"巾 1/60 170-80-LOS6o|/uuu/ejep/ eje sjip 6o| poo6 ;uejn° - 00000_xxx_xxx_J9

7、uiejuooeuiejuoo o)s6o| 6uipeo|dri ：|duu|o問ai66/6oidd/ uow6ai66e6o |je6eueujou!印 uocyo6eueujopoirOAJOSueAdoopei|oipede£o OdNI 9乙J"巾 1/60 170-80-LOS6o|/uuu/ejep/ eje sjip 6o| poo6 juejn° 'Z00000-L0_xxx_xxx_J9uiejuooou!印uoo o)s6o| 6uipeo|dri ：|duu|o問ai66/6oidd/ uow6ai66e6o |je6eueujo

8、u!印 uocyo6eueujopoirOAJOSueAdoopei|oipede£o OdNI 9乙J"巾 1/60 170-80-LOS du4®soi|/xxxxxx_uonec)!|dde/s6o|/”eds/sbo|/oioujai/uju/duj# je xxx_xxx_uo!jeo!|dde ddeoj e|y-6o| ete6ej66e 6u屮印s ：|dLU|Joie6ej66v6o-|ddvuone6ej66e6o |je6eueujou!印 uocyo6eueujopoirOAJOSueAdoopei|oipede£o OdNI &

9、#163;L97l7L：60 M)七0FL0乙 :孚口陰 uoneoi|ddvJeBeue|/|epoN2宙助xecutor: Deleting path : /data/nm/log/application_xxx_xxx2014-08-04 09:14:47,607 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.l ogaggregation.AppLogAggregatorImpl: Finished aggregate log-file for app application_xxx_xxx可見，日志聚集確實(shí)起作用了，但是為什么通過命令不能查 看！猛然見看到日志中“ /tmp/nm/remote/logs/spark/logs/ application_xxx_xxx/hostB.tmp”，日志的路徑有問題， 在使用 yarn logs 命令查看的時候， 用的是 hadoop 用戶，實(shí)際 Spark Application 的提交執(zhí)行用的 是 spark 用戶，而 yarn logs 命令默認(rèn)去找的是當(dāng)前用戶的路 徑，這就是查看不到日志的原因。切換到spark 用戶再查看，日志終于出來了！5 小節(jié)問題是比較嚴(yán)重， Application 都直接無法運(yùn)行了，但是引起 問題的原