Spark大數(shù)據(jù)分析實(shí)務(wù) 課件 項(xiàng)目5 基于Spark SQL實(shí)現(xiàn)廣告流量檢測(cè)數(shù)據(jù)預(yù)處理-技能拓展+測(cè)試題V1.0

基于SparkSQL實(shí)現(xiàn)廣告流量檢測(cè)數(shù)據(jù)預(yù)處理技能拓展+測(cè)試題技能拓展Datasets是一個(gè)特定域的強(qiáng)類型的不可變數(shù)據(jù)集，每個(gè)Datasets都有一個(gè)非類型化視圖DataFrame（DataFameDataSet[Row]的一種表示形式）。DataFrame可以通過調(diào)用as(Encoder)方法轉(zhuǎn)換Datasets，而Datasets則可以通過調(diào)用toDF()方法轉(zhuǎn)換成DataFrame，兩者之間可以互相靈活轉(zhuǎn)換。操作Datasets可以像操作RDD一樣使用各種轉(zhuǎn)換（Transformation）操作并行操作，轉(zhuǎn)換算子采用“惰性”執(zhí)行方式。技能拓展當(dāng)調(diào)用Action算子時(shí)才會(huì)觸發(fā)真正的計(jì)算執(zhí)行創(chuàng)建Datasets需要顯式提供Encoder將對(duì)象序列化為二進(jìn)制形式進(jìn)行存儲(chǔ)，而不是使用Java序列化或Kryo序列化方式Datasets使用專門的編碼器序列化對(duì)象在網(wǎng)絡(luò)間傳輸處編碼器動(dòng)態(tài)生成代碼，可以在編譯時(shí)檢查類型，不需要將對(duì)象反序列化就可以進(jìn)行過濾、排序等操作。避免了緩存（Cache）過程中頻繁的序列化和反序列化，有效減少了內(nèi)存的使用和Java對(duì)象頻繁垃圾回收（GarbageCollection，GC）的開銷。技能拓展Datasets創(chuàng)建的方式有如下兩種方式。通過caseclass創(chuàng)建Datasets，創(chuàng)建結(jié)果如下圖。技能拓展DataFrame調(diào)用as[Encoder]方法數(shù)創(chuàng)建Datasets，創(chuàng)建結(jié)果如下圖。知識(shí)測(cè)試（1）下列操作中，DataFrame刪除字段列操作的是（）A.drop()B.withColumn()C.select()D.join()（2）DataFrame中drop()方法后返回值的類型是（）。A.ArrayB.RowC.DataFrameD.Column知識(shí)測(cè)試（3）下列操作中，DataFrame新增字段列操作的是（）A.drop()B.withColumn()C.select()D.join()（4）【多選題】Spark支持將現(xiàn)有的Hive中的用戶自定義函數(shù)集成至SparkSQL中使用，其中現(xiàn)有的Hive中的用戶自定義函數(shù)類別包括（）A.UDFsB.UDAFsC.UDTFsD.FDAFs知識(shí)測(cè)試（5）【多選題】下列表述屬于內(nèi)連接的代碼是（）A.df.join(df,Seq("city","state"),"inner").showB.df.join(df,Seq("city","state")).showC.df.join(df,Seq("city","state"),"left").showD.df.join(df,Seq("city","state"),"right").show（6）【多選題】下列表述說法正確的是（）。A.format()方法指定輸出文件格式的方法，如format("json")輸出JSON文件格式。B.mode()方法用于指定數(shù)據(jù)保存的模式，可以接收的參數(shù)有Overwrite、Append、Ignore和ErrorIfExists。C.mode("Overwrite")表示在目標(biāo)目錄下追加數(shù)據(jù)。D.options()方法用于設(shè)置一些額外的選項(xiàng)，如壓縮級(jí)別、編碼方式等。知識(shí)測(cè)試（7）下列選項(xiàng)中，能夠正確的將的DataFrame保存到people.json文件中的語句是（）。A.df.write.json("people.json")B.df.json("people.json")C.df.write.format("csv").save("people.json")D.df.write.csv("people.json")（8）下列選項(xiàng)中，可將DataFrame輸出至Hive表的方法是（）。A.saveAsStreamingFiles()B.saveAsTable()C.saveAsTextFiles()D.saveAsObjectFiles()知識(shí)測(cè)試（9）【多選題】下列關(guān)于用戶自定義函數(shù)說法正確的是（）。A.Spark支持用戶自定義函數(shù)。B.Spark支持將Hive中的用戶自定義函數(shù)集成至SparkSQL中調(diào)用。C.用戶定義好所需函數(shù)后即可在SparkSQL中直接使用。D.注冊(cè)函數(shù)的操作有兩種。（10）【多選題】下列方法中可注冊(cè)用戶自定義函數(shù)的是（）。A.org.apache.spark.udf.registerB.spark.udf.registerC.spark.udfD.org.apache.spark.sql.functions.udf技能測(cè)試1.測(cè)試要點(diǎn)讀取Hive中的表并創(chuàng)建DataFrame。掌握DataFrame表的聯(lián)合操作得到新的DataFrame。掌握使用DataFrame方法對(duì)數(shù)據(jù)信息進(jìn)行統(tǒng)計(jì)。技能測(cè)試2.需求說明某公司的人力資源管理系統(tǒng)內(nèi)容組織結(jié)構(gòu)如下圖。技能測(cè)試當(dāng)前人力資源系統(tǒng)的數(shù)據(jù)包含以下幾個(gè)部分。職工基本信息：存放職工的基本信息，職工基本信息字段說明如下表。字段字段說明name職工姓名id職工IDsex職工性別age職工年齡year入職年份position職位depID所在部門ID技能測(cè)試部門基本信息：存放部門信息，部門基本信息字段說明如下表。字段字段說明department部門名稱depID編號(hào)技能測(cè)試職工考勤信息：存放職工的考勤信息，職工考勤信息字段說明如下表。字段字段說明year年month月overtime加班次數(shù)latetime遲到次數(shù)absenteeism曠工次數(shù)leaveearlytime早退次數(shù)技能測(cè)試職工工資清單：存放職工每月的工資清單信息，職工工資清單如下表。為了更好地了解員工的情況，優(yōu)化人力資源管理，提高組織效率和人效，通過SparkSQL技術(shù)對(duì)人力資源系統(tǒng)的數(shù)據(jù)分析，實(shí)現(xiàn)對(duì)各個(gè)部門每年職工薪資的總數(shù)的查詢、部門職工的薪資Top10的查詢、部門職工平均工資的排名、各部門每年職工薪資的總數(shù)查詢分析。字段字段說明id員工IDsalary薪資，單位：元技能測(cè)試3.實(shí)現(xiàn)步驟對(duì)人力資源系