2023學年完整公開課版RDD簡單實例

RDD簡單實例目錄CONTENTS2RDD使用例子1RDD簡介RDD簡介PART0101RDD簡介是Spark中最重要的核心概念，是Spark應用中存儲數(shù)據(jù)的數(shù)據(jù)結構。RDD，彈性分布式數(shù)據(jù)集（ResilienntDistributedDatasets）RDD其實就是分布式的只讀元素集合。一個Spark應用，本質(zhì)上就是對RDD進行轉化（Transformation）和行動（Action）操作，Spark會自動將RDD中的數(shù)據(jù)分發(fā)到集群上，并將操作并行化執(zhí)行，計算得到最終的結果。RDD簡介RDD理解的知識點框架圖：RDD使用例子PART0202RDD使用例子

本節(jié)介紹一個RDD使用例子，將數(shù)據(jù)文件讀入為RDD，并作相應的轉化、行動操作，在過程中展示RDD的知識點。##input.txt##INFOThisisamessagewithcontentINFOThisissomeothercontent(空行)INFOHerearemoremessagesWARNThisisawarning(空行)ERRORSomethingbadhappenedWARNMoredetailsonthebadthingINFObacktonormalmessages1、創(chuàng)建數(shù)據(jù)文件，如下：RDD使用例子//讀取輸入文件scala>valinput=sc.textFile("input.txt")//切分為單詞并且刪掉空行scala>valtokenized=input.map(line=>line.split("")).filter(words=>words.size>0)//提取出每行的第一個單詞(日志等級)并進行計數(shù)scala>valcounts=tokenized.map(words=>(words(0),1)).reduceByKey{(a,b)=>a+b}2、在spark-shell中編寫代碼如下，得到counts，表示每種提示類型的出現(xiàn)次數(shù)RDD使用例子如查看input的血緣關系，可以看到創(chuàng)建出了一個HadoopRDD

對象，然后對該RDD執(zhí)行映射操作，最終得到了返回的RDD3、使用toDebugString獲取RDD的血緣關系RDD使用例子可以看到血緣關系中記錄了從input經(jīng)過若干轉化操作得到counts，其中reduceByKey需要進行數(shù)據(jù)混洗。4、同樣的，我們可以查看counts的血緣關系如下RDD使用例子這里同一縮進等級的操作為一個Stage，同一個Stage里的操作可以流水線并行——前面的操作map、filter等不需要數(shù)據(jù)混洗，為窄依賴，劃分為一個StagereduceByKey需要數(shù)據(jù)混洗，為寬依賴，劃分為一個Stage5、在上圖中我們還可以看到，血緣關系中具有不同的縮進等級RDD使用例子6、在監(jiān)控界面上查看任務的劃分與執(zhí)行情況，默認地址為http://localhost:4040，打開如下，可以看到盡管我們做了數(shù)據(jù)的讀入、轉化操作，但由于惰性求值的特性，還沒有任務執(zhí)行。RDD使用例子7、使用collect操作，獲取counts的內(nèi)容，由于該操作是行動操作，Spark會開始運行任務，在監(jiān)控界面查看如下，一個Job，兩個Stage，與上面的血緣關系一致。RDD使用例子8、點擊該任務可以查看任務詳情如下，可以看到具體的Stage劃分可視化。RDD使用例子9、使用cache將counts緩存，重新調(diào)用collect函數(shù)，Spark會根據(jù)緩存自動截斷血緣，加快計算，此時在監(jiān)控界面再次查看任務如下，可以看到只剩下一個Stage，前面的Stage由于緩存跳過計算。//緩存RDD