設(shè)置默認(rèn)分區(qū)數(shù)

主講：張義目錄01設(shè)置默認(rèn)分區(qū)數(shù)設(shè)置默認(rèn)分區(qū)數(shù)1設(shè)置默認(rèn)分區(qū)數(shù)可以使用spark.default.parallelism配置屬性設(shè)置RDD中的默認(rèn)分區(qū)數(shù)，如下所示:spark-shell--confspark.default.parallelism=10可以像這樣檢查默認(rèn)的并行度:scala>sc.defaultParallelism設(shè)置默認(rèn)分區(qū)數(shù)spark.default.parallelism屬性確定以下操作返回的默認(rèn)分區(qū)數(shù):諸如reduceByKey和join的轉(zhuǎn)換并行操作（未設(shè)置分區(qū)數(shù)）spark.default.parallelisms屬性還有一個(gè)默認(rèn)值，這聽起來很混亂!其確定默認(rèn)分區(qū)數(shù)量。對(duì)于涉及分布式shuffle的join和reduceByKey等操作，默認(rèn)值是父RDD中最大的分區(qū)數(shù)。設(shè)置默認(rèn)分區(qū)數(shù)如果操作沒有父級(jí)RDD（例如使用parallelize命令時(shí))，則取決于正在使用的集群管理器。在YARN的情況下，是兩個(gè)中較大者，或者集群中所有執(zhí)行器節(jié)點(diǎn)上的內(nèi)核總數(shù)。設(shè)置默認(rèn)分區(qū)數(shù)在理想情況下，分區(qū)數(shù)量應(yīng)該與分配給應(yīng)用程序的CPU數(shù)量相同。除非你有一個(gè)非常大的數(shù)據(jù)集，否則這將導(dǎo)致分區(qū)不正確。設(shè)置默認(rèn)分區(qū)數(shù)雖然太少的分區(qū)限制了Spark操作的并發(fā)性，但太多的分區(qū)也可能是一個(gè)問題，因?yàn)槟憧赡鼙仨毺幚碛捎趩?dòng)太多任務(wù)而導(dǎo)致的過多開銷。當(dāng)有立即完成的任務(wù)(幾秒鐘)或不執(zhí)行任何讀取或?qū)懭氩僮鲿r(shí),就會(huì)知道分區(qū)太多。在這些情況下,并行度可能太高了。但是，太多的任務(wù)雖然增加了開銷，但它并不像太少的任務(wù)那樣糟糕，那樣會(huì)使你陷入將數(shù)據(jù)溢出到磁盤的危險(xiǎn)境地。設(shè)置默認(rèn)分區(qū)數(shù)理想的分區(qū)數(shù)量取決于數(shù)據(jù)集的大小、分配給每個(gè)任務(wù)的RAM數(shù)量以及用于分區(qū)的分區(qū)器的類型等。一個(gè)很好的經(jīng)驗(yàn)法則是將每個(gè)R