2023學年完整公開課版算子調(diào)優(yōu)

算子調(diào)優(yōu)

使用mapPartitions算子提高性能使用coalesce算子提高性能使用foreachPartition算子進行數(shù)據(jù)庫連接Repartition的使用/01基本介紹

使用mapPartitions算子提高性能使用mapPartitions算子提高性能（一）mapPartition的優(yōu)點：使用普通的map操作，假設一個partition中有1萬條數(shù)據(jù)，那么function就要被執(zhí)行1萬次，但是使用mapPartitions操作之后，function僅僅會被執(zhí)行一次，顯然性能得到了很大的提升。mapPartition的缺點：使用普通的map操作，調(diào)用一次function執(zhí)行一條數(shù)據(jù)，不會出現(xiàn)內(nèi)存不夠使用的情況；但是使用mapPartitions操作，很顯然，如果數(shù)據(jù)量太過于大的時候，由于內(nèi)存有限導致發(fā)生OOM，內(nèi)存溢出。使用mapPartitions算子提高性能（二）

總結(jié)：

通過以上以上優(yōu)缺點的對比，我們可以得出一個結(jié)論；就是在數(shù)據(jù)量不是很大的情況下使用mapPartition操作，性能可以得到一定的提升。

在使用mapPartition前，我們需要預先估計一下每個partition的量和每個executor可以被分配到的內(nèi)存資源。

然后嘗試去運行程序。使用mapPartitions算子提高性能（三）如果程序沒有問題就大可放心的使用即可，下圖是一個實際的應用例子，僅供參考。/02基本介紹

使用coalesce算子提高性能先看看默認情況下，執(zhí)行完filter操作以后的各個partition的情況，如下圖所示；使用coalesce算子提高性能（一）問題：

從上面的圖中可以很明顯的看出，經(jīng)過一次filter操作以后，每個partition的數(shù)據(jù)量不同程度的變少了，這里就出現(xiàn)了一個問題；由于每個partition的數(shù)據(jù)量不一樣，出現(xiàn)了數(shù)據(jù)傾斜的問題。

比如上圖中執(zhí)行filter之后的第一個partition的數(shù)據(jù)量還有9000條。使用coalesce算子提高性能（二）解決方案：

針對上述出現(xiàn)的問題，我們可以將filter操作之后的數(shù)據(jù)進行壓縮處理；一方面減少partition的數(shù)量，從而減少task的數(shù)量；另一方面通過壓縮處理之后，盡量讓每個partition的數(shù)據(jù)量差不多，減少數(shù)據(jù)傾斜情況的出現(xiàn)，從而避免某個task運行速度特別慢。coalesce算子就是針對上述出現(xiàn)的問題的一個解決方案，下圖是一個解決案例。

使用coalesce算子提高性能（三）coalesce算子就是針對上述出現(xiàn)的問題的一個解決方案，下圖是一個解決案例。

使用coalesce算子提高性能（四）/03基本介紹

使用foreachPartition算子進行數(shù)據(jù)庫連接使用foreachPartition算子進行數(shù)據(jù)庫連接

默認的foreach對于每一條數(shù)據(jù)，都要單獨調(diào)用一次function并創(chuàng)建一個數(shù)據(jù)庫連接，如果數(shù)據(jù)量很大，對于spark作業(yè)是非常消耗性能的。而對于foreachPartition來說，對于function函數(shù)，只調(diào)用一次，只獲取一個數(shù)據(jù)庫連接，一次將數(shù)據(jù)全部寫入數(shù)據(jù)庫。但是數(shù)據(jù)量很大的話，可能會引發(fā)OOM的問題。不過在生產(chǎn)環(huán)境中一般都是使用foreachPartition。使用foreachPartition算子進行數(shù)據(jù)庫連接示例：使用foreachPartition算子進行數(shù)據(jù)庫連接/04基本介紹

repartition的使用repartition的使用

在spark項目中，如果在某些地方使用了SparkSQL，那么使用了SparkSQL的那個stage的并行度就沒有辦法通過手動設置了，而是由程序自己決定。那么，我們通過什么樣的手段來提高這些stage的并行度呢？其實解決這個問題的辦法就是使partition的數(shù)量增多，從而間接的提高了task的并發(fā)度，要提高partition的數(shù)量，該怎么做呢？

就是使用repartition算子，對SparkSQL查詢出來的數(shù)據(jù)重新進行分區(qū)操作，此時可以增加分區(qū)的個數(shù)。具體使用如下圖所示：1.使用mapPartitions算子提高性能

2.