Spark大數(shù)據(jù)技術(shù)與應(yīng)用知到智慧樹(shù)章節(jié)測(cè)試課后答案2024年秋山西職業(yè)技術(shù)學(xué)院

Spark大數(shù)據(jù)技術(shù)與應(yīng)用知到智慧樹(shù)章節(jié)測(cè)試課后答案2024年秋山西職業(yè)技術(shù)學(xué)院緒論單元測(cè)試

大數(shù)據(jù)的起源是以下哪個(gè)領(lǐng)域（）

A:電信B:互聯(lián)網(wǎng)C:公共管理D:金融

答案:互聯(lián)網(wǎng)

模塊一單元測(cè)試

與MapReduce相比，Spark更適合處理以下哪種類型的任務(wù)（）

A:較多迭代次數(shù)的短任務(wù)B:較多迭代次數(shù)的長(zhǎng)任務(wù)C:較少迭代次數(shù)的短任務(wù)D:較少迭代次數(shù)的長(zhǎng)任務(wù)

答案:較多迭代次數(shù)的短任務(wù)Standalone模式下配置Spark集群時(shí)，master節(jié)點(diǎn)的工作端口號(hào)需要在conf文件夾下的哪個(gè)文件指明（）

A:regionserverB:spark-defaults.confC:spark-env.shD:slaves

答案:spark-env.sh以下關(guān)于SPARK中的sparkcontext，描述錯(cuò)誤的是：（）

A:控制整個(gè)application的生命周期B:SparkContext為Spark的主要入口點(diǎn)C:可以控制dagsheduler組件D:可以控制taskscheduler組件

答案:控制整個(gè)application的生命周期以下對(duì)Spark中Work的主要工作描述錯(cuò)誤的是（）

A:會(huì)運(yùn)行業(yè)務(wù)邏輯代碼B:接收master分配過(guò)來(lái)的資源指令C:管理當(dāng)前節(jié)點(diǎn)內(nèi)存D:不會(huì)運(yùn)行業(yè)務(wù)邏輯代碼

答案:會(huì)運(yùn)行業(yè)務(wù)邏輯代碼配置Standalone模式下的Spark集群，Worker節(jié)點(diǎn)需要在conf文件夾下的哪個(gè)文件中指明（）

A:spark-defaults.confB:slavesC:regionserverD:spark-env.sh

答案:slavesSpark支持的分布式部署方式中哪個(gè)是錯(cuò)誤的（）

A:sparkonYARNB:SparkonlocalC:standaloneD:sparkonmesos

答案:SparkonlocalSpark單機(jī)偽分布式模式，它的特點(diǎn)是在一臺(tái)節(jié)點(diǎn)上既有Master服務(wù)，又有Worker服務(wù)（）

A:對(duì)B:錯(cuò)

答案:對(duì)在部署Spark獨(dú)立模式時(shí)，配置spark內(nèi)部通信的端口為（）

A:9870B:7070C:16010D:7077

答案:7077在部署Spark獨(dú)立模式時(shí)，配置spark的web端口為（）

A:8080B:7077C:9870D:4040

答案:7077Spark的bin目錄是spark運(yùn)行腳本目錄，該目錄中包含了加載spark的配置信息，提交作業(yè)等執(zhí)行命令的腳本（）

A:錯(cuò)B:對(duì)

答案:對(duì)

模塊二單元測(cè)試

valrdd=sc.parallelize(1to10).filter(_%2==0)rdd.collect上述代碼的執(zhí)行結(jié)果為（）

A:Array(2,4,6,8,10)B:Array(1,3,5,7,9)C:Array(1,2,3,4,5,6,7,8,9,10)D:Array(1,10)

答案:Array(2,4,6,8,10)下面哪個(gè)操作是窄依賴（）

A:sortB:joinC:filterD:group

答案:filter下面哪個(gè)操作肯定是寬依賴（）

A:sampleB:flatMapC:mapD:reduceByKey

答案:reduceByKey以下操作中，哪個(gè)不是SparkRDD編程中的操作。（）

A:reduce()B:reduceByKey(func)C:getLastOne()D:filter()

答案:getLastOne()valwords=Array("one"，"two"，"two"，"three"，"three","three")

valwordPairsRDD=sc.parallelize(words).map(word=>(word,1))

wordCountsWithReduce=wordPairsRDD.reduceByKey(_+_)上述語(yǔ)句的執(zhí)行結(jié)果wordCountsWithReduce中包含的元素是（）。

A:(“one”,1)，(“two”,2),(“three”,2)B:(“one”,3)，(“two”,2),(“three”,1)C:(“one”,1)，(“two”,2)，(“three”,3)D:(“one”,1)，(“two”,2),(“three”,1)

答案:(“one”,1)，(“two”,2)，(“three”,3)有一個(gè)鍵值對(duì)RDD，名稱為pairRDD，包含4個(gè)元素，分別是("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)，則pairRDD.keys操作得到的RDD中所包含的元素是（)。

A:”Hadoop”,”Spark”,”Hive"B:(”Hadoop”,1)，(”Spark”,1)，(”Hive”,1)C:("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)D:”Hadoop”,”Spark”,”Hive”,”Spark”

答案:(”Hadoop”,1)，(”Spark”,1)，(”Hive”,1)有一個(gè)RDD，名稱為pairRDD，包含4個(gè)元素，分別是("Hadoop",1)、("Spark"，1)、("Hive",1)和("Spark",1)，則pairRDD.values操作得到的RDD中所包含的元素是（）。

A:1，1，1，lB:4C:("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)D:”Hadoop”,1，”Spark”,1

答案:1，1，1，l有一個(gè)鍵值對(duì)RDD，名稱為pairRDD，包含4個(gè)元素，分別是("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)，則pairRDD.mapValues(x=>x+1)操作得到的RDD中所包含的元素是（）。

A:("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)B:2,2,2,2C:("Hadoop",2)、("Spark",2)、("Hive",2)和("Spark",2)D:1,1,1，1

答案:("Hadoop",2)、("Spark",2)、("Hive",2)和("Spark",2)RDD操作包括哪兩種類型。（）

A:行動(dòng)(Action)B:分組（GroupBy)C:連接(Join)D:轉(zhuǎn)換(Transformation）

答案:行動(dòng)(Action)；轉(zhuǎn)換(Transformation）以下操作中，哪些是行動(dòng)（(Action）操作。（）

A:map()B:collect()C:groupByKey()D:reduce()

答案:collect()；reduce()

模塊三單元測(cè)試

SparkSession內(nèi)部封裝了SparkContext，所以底層計(jì)算還是由SparkContext完成的。（）

A:對(duì)B:錯(cuò)

答案:對(duì)DataFrame的sort方法可以按照多個(gè)字段對(duì)數(shù)據(jù)進(jìn)行排序。（）

A:錯(cuò)B:對(duì)

答案:對(duì)SparkSQL支持從哪些格式的外部結(jié)構(gòu)化數(shù)據(jù)文件中讀取數(shù)據(jù)創(chuàng)建DataFrame。（）

A:parquetB:csvC:jsonD:txt

答案:parquet；csv；json；txtDataFrame的show（）方法默認(rèn)展示多少條數(shù)據(jù)（）

A:40B:30C:10D:20

答案:20DataFrame的first()方法返回的數(shù)據(jù)類型是（）

A:SeqB:RowC:ArrayD:List

答案:Row對(duì)于stuDF數(shù)據(jù)下列哪些方法不能對(duì)按age進(jìn)行降序排列（）

A:stuDF.orderBy(“age”，desc)B:stuDF.sort(desc(“age”))C:stuDF.orderBy(desc(“age”))D:stuDF.sort($”age”.desc)

答案:stuDF.orderBy(“age”，desc)DataFrame數(shù)據(jù)輸出中mode方法的參數(shù)不正確的是（）

A:errorB:warnC:appendD:overwrite

答案:warnDataFrame數(shù)據(jù)輸出保存文件類型錯(cuò)誤的是（）

A:csvB:jsonC:pandasD:parquet

答案:pandasDataSet支持從哪些類型進(jìn)行創(chuàng)建錯(cuò)誤的是（）

A:從已經(jīng)存在的文件創(chuàng)建B:從已存在的RDD創(chuàng)建C:從已存在的DataFrame創(chuàng)建D:從已有的Scala集合創(chuàng)建

答案:從已經(jīng)存在的文件創(chuàng)建Spark中DataFrame和RDD最大的區(qū)別是？（）

A:科學(xué)統(tǒng)計(jì)支持B:外部數(shù)據(jù)源支持C:多了schemaD:存儲(chǔ)方式不一樣

答案:多了schema

模塊四單元測(cè)試

通過(guò)調(diào)用（）中定義的各種操作算子來(lái)定義我們需要的各種實(shí)時(shí)計(jì)算邏輯。

A:StreamingContextB:DStreamC:awaitTerminationD:String

答案:DStreamDStream底層是基于（）實(shí)現(xiàn)

A:RDDB:PddC:ADDD:DDR

答案:RDD通過(guò)HDFS文件系統(tǒng)創(chuàng)建（），所以先要在HDFS上新建存放數(shù)據(jù)文件的目錄。

A:SparkConfB:StreamC:SparkstreamingD:DStream

答案:DStreamDStream中提供了很多轉(zhuǎn)換操作函數(shù)，通過(guò)（）函數(shù)會(huì)生成一個(gè)新的DStream。

A:窗口操作B:全屏操作C:轉(zhuǎn)換操作D:輸出操作

答案:轉(zhuǎn)換操作window窗口操作函數(shù)是基于源DStream產(chǎn)生的窗口化的批數(shù)據(jù)，計(jì)算后會(huì)得到一個(gè)新的DStream。（）

A:錯(cuò)B:對(duì)

答案:對(duì)下列是常用的輸出操作方法有（）

A:saveAsObjectFiles方法B:print()方法C:saveAsHadoopFiles方法D:foreachRDD()方法E:saveAsTextFiles方法

答案:saveAsObjectFiles方法；print()方法；saveAsHadoopFiles方法；foreachRDD()方法；saveAsTextFiles方法（）窗口操作函數(shù)是利用func對(duì)滑動(dòng)窗口的元素進(jìn)行聚合操作，得到一個(gè)新的DStream。

A:contByWindowB:reduceByKeyAndWindowC:WindowD:reduceByWindow

答案:reduceByWindow使用transform操作后，除了可以使用DStream提供的一些轉(zhuǎn)換方法之外，還能夠通過(guò)transform中的（）參數(shù)直接調(diào)用任意RDD上的操作函數(shù)。

A:func函數(shù)B:cogroup函數(shù)C:flatMap函數(shù)