Spark大數(shù)據(jù)技術(shù)與應(yīng)用知到章節(jié)答案智慧樹(shù)2023年山西職業(yè)技術(shù)學(xué)院

Spark大數(shù)據(jù)技術(shù)與應(yīng)用知到章節(jié)測(cè)試答案智慧樹(shù)2023年最新山西職業(yè)技術(shù)學(xué)院第一章測(cè)試

與MapReduce相比，Spark更適合處理以下哪種類(lèi)型的任務(wù)（）

參考答案:

較多迭代次數(shù)的短任務(wù)

Standalone模式下配置Spark集群時(shí)，master節(jié)點(diǎn)的工作端口號(hào)需要在conf文件夾下的哪個(gè)文件指明（）

參考答案:

spark-env.sh

以下關(guān)于SPARK中的sparkcontext，描述錯(cuò)誤的是：（）

參考答案:

控制整個(gè)application的生命周期

以下對(duì)Spark中Work的主要工作描述錯(cuò)誤的是（）

參考答案:

會(huì)運(yùn)行業(yè)務(wù)邏輯代碼

配置Standalone模式下的Spark集群，Worker節(jié)點(diǎn)需要在conf文件夾下的哪個(gè)文件中指明（）

參考答案:

slaves

Spark支持的分布式部署方式中哪個(gè)是錯(cuò)誤的（）

參考答案:

Sparkonlocal

Spark單機(jī)偽分布式模式，它的特點(diǎn)是在一臺(tái)節(jié)點(diǎn)上既有Master服務(wù)，又有Worker服務(wù)（）

參考答案:

對(duì)

在部署Spark獨(dú)立模式時(shí)，配置spark內(nèi)部通信的端口為（）

參考答案:

7077

在部署Spark獨(dú)立模式時(shí)，配置spark的web端口為（）

參考答案:

7077

Spark的bin目錄是spark運(yùn)行腳本目錄，該目錄中包含了加載spark的配置信息，提交作業(yè)等執(zhí)行命令的腳本（）

參考答案:

對(duì)

第二章測(cè)試

valrdd=sc.parallelize(1to10).filter(_%2==0)rdd.collect上述代碼的執(zhí)行結(jié)果為（）

參考答案:

Array(2,4,6,8,10)

下面哪個(gè)操作是窄依賴(lài)（）

參考答案:

filter

下面哪個(gè)操作肯定是寬依賴(lài)（）

參考答案:

reduceByKey

以下操作中，哪個(gè)不是SparkRDD編程中的操作。（）

參考答案:

getLastOne()

valwords=Array("one"，"two"，"two"，"three"，"three","three")

valwordPairsRDD=sc.parallelize(words).map(word=>(word,1))

wordCountsWithReduce=wordPairsRDD.reduceByKey(_+_)上述語(yǔ)句的執(zhí)行結(jié)果wordCountsWithReduce中包含的元素是（）。

參考答案:

(“one”,1)，(“two”,2)，(“three”,3)

有一個(gè)鍵值對(duì)RDD，名稱(chēng)為pairRDD，包含4個(gè)元素，分別是("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)，則pairRDD.keys操作得到的RDD中所包含的元素是（)。

參考答案:

(”Hadoop”,1)，(”Spark”,1)，(”Hive”,1)

有一個(gè)RDD，名稱(chēng)為pairRDD，包含4個(gè)元素，分別是("Hadoop",1)、("Spark"，1)、("Hive",1)和("Spark",1)，則pairRDD.values操作得到的RDD中所包含的元素是（）。

參考答案:

1，1，1，l

有一個(gè)鍵值對(duì)RDD，名稱(chēng)為pairRDD，包含4個(gè)元素，分別是("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)，則pairRDD.mapValues(x=>x+1)操作得到的RDD中所包含的元素是（）。

參考答案:

("Hadoop",2)、("Spark",2)、("Hive",2)和("Spark",2)

RDD操作包括哪兩種類(lèi)型。（）

參考答案:

行動(dòng)(Action);轉(zhuǎn)換(Transformation）

以下操作中，哪些是行動(dòng)（(Action）操作。（）

參考答案:

collect();reduce()

第三章測(cè)試

SparkSession內(nèi)部封裝了SparkContext，所以底層計(jì)算還是由SparkContext完成的。（）

參考答案:

對(duì)

DataFrame的sort方法可以按照多個(gè)字段對(duì)數(shù)據(jù)進(jìn)行排序。（）

參考答案:

對(duì)

SparkSQL支持從哪些格式的外部結(jié)構(gòu)化數(shù)據(jù)文件中讀取數(shù)據(jù)創(chuàng)建DataFrame。（）

參考答案:

csv;txt;parquet;json

DataFrame的show（）方法默認(rèn)展示多少條數(shù)據(jù)（）

參考答案:

20

DataFrame的first()方法返回的數(shù)據(jù)類(lèi)型是（）

參考答案:

Row

對(duì)于stuDF數(shù)據(jù)下列哪些方法不能對(duì)按age進(jìn)行降序排列（）

參考答案:

stuDF.orderBy(“age”，desc)

DataFrame數(shù)據(jù)輸出中mode方法的參數(shù)不正確的是（）

參考答案:

warn

DataFrame數(shù)據(jù)輸出保存文件類(lèi)型錯(cuò)誤的是（）

參考答案:

pandas

DataSet支持從哪些類(lèi)型進(jìn)行創(chuàng)建錯(cuò)誤的是（）

參考答案:

從已經(jīng)存在的文件創(chuàng)建

Spark中DataFrame和RDD最大的區(qū)別是？（）

參考答案:

多了schema

第四章測(cè)試

通過(guò)調(diào)用（）中定義的各種操作算子來(lái)定義我們需要的各種實(shí)時(shí)計(jì)算邏輯。

參考答案:

DStream

DStream底層是基于（）實(shí)現(xiàn)

參考答案:

RDD

通過(guò)HDFS文件系統(tǒng)創(chuàng)建（），所以先要在HDFS上新建存放數(shù)據(jù)文件的目錄。

參考答案:

DStream

DStream中提供了很多轉(zhuǎn)換操作函數(shù)，通過(guò)（）函數(shù)會(huì)生成一個(gè)新的DStream。

參考答案:

轉(zhuǎn)換操作

window窗口操作函數(shù)是基于源DStream產(chǎn)生的窗口化的批數(shù)據(jù)，計(jì)算后會(huì)得到一個(gè)新的DStream。（）

參考答案:

對(duì)

下列是常用的輸出操作方法有（）

參考答案:

saveAsTextFiles方法;print()方法;saveAsObjectFiles方法;saveAsHadoopFiles方法;foreachRDD()方法

（）窗口操作函數(shù)是利用func對(duì)滑動(dòng)窗口的元素進(jìn)行聚合操作，得到一個(gè)新的DStream。

參考答案:

reduceByWindow

使用transform操作后，除了可以使用DStream提供的一些轉(zhuǎn)換方法之外，還能夠通過(guò)transform中的（）參數(shù)直接調(diào)用任意RDD上的操作函數(shù)。