南開21春學(xué)期《大數(shù)據(jù)開發(fā)技術(shù)（二）》在線作業(yè)答案

1、21春學(xué)期（1709、1803、1809、1903、1909、2003、2009、2103）大數(shù)據(jù)開發(fā)技術(shù)（二）在線作業(yè)試卷總分:100 得分:100一、單選題 (共 25 道試題,共 50 分)1.Spark Streming中（）函數(shù)可以合并兩個(gè)DStream，生成一個(gè)包含兩個(gè)DStream中所有元素的新DStream對(duì)象A.mapB.flatMapC.filterD.union答案:D2.請(qǐng)問RDD的（）操作用于將相同鍵的數(shù)據(jù)聚合A.joinB.zipC.combineByKeyD.collect答案:C3.Dstream窗口操作中（）方法基于滑動(dòng)窗口對(duì)源DStream中的元素進(jìn)行聚合操

2、作，得到一個(gè)新的DstreamA.windowB.countByWindowC.reduceByWindowD.reduceByKeyAndWindow答案:C4.Scala函數(shù)組合器可以接收一個(gè)可以處理嵌套列表的函數(shù)，然后把返回結(jié)果連接起來的方法是（）A.mapB.foreachC.flattenD.flatmap答案:D5.GraphX中（）方法可以查詢邊信息A.numVerticesB.numEdgesC.verticesD.edges答案:D6.Spark Streming中（）函數(shù)可以對(duì)源DStream中的每一個(gè)元素應(yīng)用func方法進(jìn)行計(jì)算，如果func函數(shù)返回結(jié)果為true，則保留

3、該元素，否則丟棄該元素，返回一個(gè)新的DstreamA.mapB.flatMapC.filterD.union答案:C7.GraphX中（）方法可以查詢頂點(diǎn)個(gè)數(shù)A.numVerticesB.numEdgesC.verticesD.edges答案:A8.PairRDD可以通過（）獲得僅包含鍵的RDDA.keyB.keysC.valueD.values答案:B9.Spark GraphX中類Graph的mask方法可以（）A.反轉(zhuǎn)圖中所有邊的方向B.按照設(shè)定條件取出子圖C.取兩個(gè)圖的公共頂點(diǎn)和邊作為新圖，并保持前一個(gè)圖頂點(diǎn)與邊的屬性D.合并邊相同的屬性答案:C10.var a=10; for(a&l

4、t;-1 until 20) println(a); 共循環(huán)了（）次A.10B.11C.20D.19答案:D11.Scala中合并兩個(gè)數(shù)組的方法是（）A.lineB.addC.appendD.concat答案:D12.Mllib中線性會(huì)館算法中的參數(shù)intercept表示（）A.要運(yùn)行的迭代次數(shù)B.梯度下降的步長(zhǎng)C.是否給數(shù)據(jù)加干擾特征或者偏差特征D.Lasso 和ridge 的正規(guī)化參數(shù)答案:C13.以下哪個(gè)函數(shù)可以對(duì)RDD進(jìn)行去重（）A.sortByB.filterC.distinctD.intersection答案:C14.GraphX中（）方法可以查詢度數(shù)A.degreesB.degr

5、eeC.verticesD.edges答案:A15.GraphX中（）是存放著Edg對(duì)象的RDDA.RDDEdgeB.EdgeRDDC.RDD(VertexId,VD)D.VertexRDD答案:A16.Scala函數(shù)組合器可以過濾移除使得傳入的函數(shù)的返回值為false的元素的方法是（）A.filterB.flattenC.groubyD.flatmap答案:A17.var a=10; do a+=1; while(a<20) 共循環(huán)了（）次A.9B.10C.11D.12答案:B18.Spark GraphX中類Graph的joinVertices方法可以（）A.收集鄰居頂點(diǎn)的頂點(diǎn)Id和

6、頂點(diǎn)屬性B.收集鄰居頂點(diǎn)的頂點(diǎn)IdC.向指定頂點(diǎn)發(fā)送信息并聚合信息D.將頂點(diǎn)信息更新到圖中答案:D19.Dstream輸出操作中（）方法在Driver中打印出DStream中數(shù)據(jù)的前12個(gè)元素。A.printB.saveAsTextFilesC.saveAsObjectFilesD.saveAsHadoopFiles答案:C20.Scala函數(shù)組合器可以通過一個(gè)函數(shù)重新計(jì)算列表中所有元素，并且返回一個(gè)相同數(shù)目元素的新列表的方法是（）A.mapB.foreachC.flattenD.flatmap答案:A21.spark-submit配置項(xiàng)中（）表示啟動(dòng)的executor數(shù)量A.-num-exe

7、cutors NUMB.-executor-memory MEMC.-total-executor-cores NUMD.-executor-coures NUM答案:A22.Spark中運(yùn)行交互式SQL查詢的大規(guī)模并行查詢引擎是（）A.Spark CoreB.Spark SQLC.BlinkDBD.Mllib答案:C23.以下哪個(gè)函數(shù)可以求兩個(gè)RDD的笛卡爾積（）A.unionB.substractC.intersectionD.cartesian答案:D24.Scala源代碼被編譯成（）字節(jié)碼，所以它可以運(yùn)行于JVM之上A.SparkB.ScalaC.JavaD.JDK答案:C25.Spa

8、rk GraphX中類Graph的aggregateMessages方法可以（）A.收集鄰居頂點(diǎn)的頂點(diǎn)Id和頂點(diǎn)屬性B.收集鄰居頂點(diǎn)的頂點(diǎn)IdC.向指定頂點(diǎn)發(fā)送信息并聚合信息D.將頂點(diǎn)信息更新到圖中答案:C二、多選題 (共 10 道試題,共 20 分)26.以下哪個(gè)方法可以創(chuàng)建RDD（）A.parallelizeB.makeRDDC.textFileD.loadFile答案:ABC27.Spark DataFrame中（）方法可以返回一個(gè)Array對(duì)象A.collectB.takeC.takeAsListD.collectAsList答案:AB28.PairRDD中（）函數(shù)可以進(jìn)行分組A.ma

9、pValuesB.groupByC.groupByKeyD.reduceByKey答案:BC29.MLBase包括（）A.MllibB.MLIC.SparkRD.GraphX答案:AB30.決策樹是（）的常用算法A.分類B.聚類C.降維D.回歸答案:AD31.Spark的RDD持久化操作有()方式A.cacheB.presistC.storageD.long答案:AB32.Scala中可以用（）方法來連接兩個(gè)或多個(gè)列表A.:B.#:C.List.:()D.List.concat()答案:BCD33.Spark是一個(gè)（）計(jì)算框架A.快速B.分布式C.可擴(kuò)展D.容錯(cuò)答案:ABCD34.Spark可

10、以從（）分布式文件系統(tǒng)中讀取數(shù)據(jù)A.HDFSB.HbaseC.HiveD.Tachyon答案:ABCD35.Spark中DataFrame的（）方法是查詢指定字段的數(shù)據(jù)信息A.selectB.selectExprC.colD.apply答案:ABCD三、判斷題 (共 15 道試題,共 30 分)36.Scala函數(shù)組合器中flatmap結(jié)合了map和flatten的功能，接收一個(gè)可以處理嵌套列表的函數(shù)，然后把返回結(jié)果連接起來答案:正確37.DataFrame是一個(gè)分布式的Row對(duì)象的數(shù)據(jù)集合答案:正確38.Scala列表中l(wèi)ast返回一個(gè)列表，包含除了第一個(gè)元素之外的其他元素答案:錯(cuò)誤39.S

11、park Streaming中時(shí)間片也可稱為批處理時(shí)間間隔(batch interval)，時(shí)間片是人為地對(duì)數(shù)據(jù)進(jìn)行定量的標(biāo)準(zhǔn)，作為拆分?jǐn)?shù)據(jù)的依據(jù)，一個(gè)時(shí)間片的數(shù)據(jù)對(duì)應(yīng)一個(gè)RDD 實(shí)例。答案:正確40.PairRDD中mapValues是針對(duì)鍵值對(duì)（Key，Value）類型的數(shù)據(jù)中的key和Value進(jìn)行Map操作答案:錯(cuò)誤41.RDD的subtract用于用于將前一個(gè)RDD 中在后一個(gè)RDD 出現(xiàn)的元素刪除答案:正確42.RDD中join操作最后只返回兩個(gè)RDD 都存在的鍵的連接結(jié)果。答案:正確43.RDD的filter函數(shù)返回一個(gè)存儲(chǔ)符合過濾條件的所有元素的新RDD答案:正確44.Scala中數(shù)組的第一個(gè)元素索引為1答案:錯(cuò)誤45.RDD的行動(dòng)操作是用于觸發(fā)轉(zhuǎn)換操作的操作，這個(gè)時(shí)候才會(huì)真正開始進(jìn)行計(jì)算。答案:正確46.Spark中DataFrame 的查詢操作也是一個(gè)懶操作， 僅僅生成一個(gè)查詢計(jì)劃， 只有觸發(fā)Action