Spark大數(shù)據(jù)技術(shù)與應(yīng)用智慧樹知到期末考試答案2024年

Spark大數(shù)據(jù)技術(shù)與應(yīng)用智慧樹知到期末考試答案2024年Spark大數(shù)據(jù)技術(shù)與應(yīng)用下面不屬于SparkStreaming基本輸入源的是（）。

A:文件流B:套接字流C:RDD隊列流D:雙向數(shù)據(jù)流答案:雙向數(shù)據(jù)流DataFram的join方法支持的連接類型有（）

A:full_outerB:left_outerC:innerD:cross答案:cross###inner###full_outer###left_outer以下哪些屬于轉(zhuǎn)換算子（）

A:reduce()B:map()C:collect()D:mapValue()答案:map()###mapValue()SparkSQL的SparkSession對象可以通過哪些方法從存放到HDFS上的結(jié)構(gòu)化數(shù)據(jù)文件創(chuàng)建DataFrame。（）

A:read.text()B:read.json()C:read.csv()D:read.load()答案:read.text()###read.csv()###read.json()DataFrame輸出數(shù)據(jù)的jdbc方法可以傳入一個Properties對象，一般會將什么參數(shù)信息加入這個對象中（）

A:表名B:密碼C:urlD:用戶名答案:url###用戶名###密碼RDD數(shù)據(jù)集的五個特性（）

A:key-value數(shù)據(jù)類型的RDD分區(qū)器B:每個分區(qū)都有一個優(yōu)先位置列表C:每一個分區(qū)都有一個計算函數(shù)D:RDD依賴于其他RDD的列表E:分區(qū)列表答案:分區(qū)列表###每一個分區(qū)都有一個計算函數(shù)###RDD依賴于其他RDD的列表###key-value數(shù)據(jù)類型的RDD分區(qū)器###每個分區(qū)都有一個優(yōu)先位置列表flatMap算子實現(xiàn)了那種功能（）

A:映射轉(zhuǎn)換功能B:過濾功能C:扁平化功能D:去重功能答案:映射轉(zhuǎn)換功能###扁平化功能DataFrame輸出數(shù)據(jù)的jdbc方法需要傳入哪些參數(shù)（）

A:密碼B:用戶名C:urlD:庫名答案:url###用戶名###密碼StreamingContext的創(chuàng)建有兩種方式（）

A:通過SparkConf對象完成創(chuàng)建B:使用makeRDD算子創(chuàng)建C:使用textFile算子創(chuàng)建D:需要借助SparkContext對象完成答案:通過SparkConf對象完成創(chuàng)建###需要借助SparkContext對象完成DStream有狀態(tài)轉(zhuǎn)換操作包括哪兩種。（）

A:滑動窗口轉(zhuǎn)換操作B:update操作C:updateStateByKey操作D:reduceByKey操作答案:updateStateByKey操作###滑動窗口轉(zhuǎn)換操作SparkStreaming支持多種數(shù)據(jù)源，可以從（）數(shù)據(jù)源創(chuàng)建DStream

A:RDD隊列B:Kafka消息隊列等等。C:自定義的數(shù)據(jù)源D:HDFS文件系統(tǒng)答案:RDD隊列###HDFS文件系統(tǒng)###Kafka消息隊列等等###自定義的數(shù)據(jù)源以下關(guān)于流數(shù)據(jù)特征的描述，哪些是正確的。（）

A:數(shù)據(jù)快速持續(xù)到達，潛在大小也許是無窮無盡的B:數(shù)據(jù)順序顛倒，或者不完整，系統(tǒng)無法控制將要處理的新到達的數(shù)據(jù)元素的順序C:數(shù)據(jù)來源眾多，格式復(fù)雜D:數(shù)據(jù)量大，但是不十分關(guān)注存儲，一旦流數(shù)據(jù)中的某個元素經(jīng)過處理，要么被丟棄，要么被歸檔存儲答案:數(shù)據(jù)快速持續(xù)到達，潛在大小也許是無窮無盡的###數(shù)據(jù)來源眾多，格式復(fù)雜###數(shù)據(jù)量大，但是不十分關(guān)注存儲，一旦流數(shù)據(jù)中的某個元素經(jīng)過處理，要么被丟棄，要么被歸檔存儲###數(shù)據(jù)順序顛倒，或者不完整，系統(tǒng)無法控制將要處理的新到達的數(shù)據(jù)元素的順序下列哪些函數(shù)可以創(chuàng)建RDD（）

A:parallelize()B:makeRDD（）C:textFileD:txtFile()答案:makeRDD()###parallelize()###textFile創(chuàng)建StreamingContext有兩種方式，是通過（）對象完成創(chuàng)建。

A:sparkB:SparkConfC:SparkContextD:StreamingContext答案:SparkConf###SparkContext在RDD讀取JSON文件中，導(dǎo)入隱式轉(zhuǎn)換參數(shù)formats是下列哪幾個方法轉(zhuǎn)化數(shù)據(jù)所依賴的參數(shù)、（）

A:parse()B:split()C:extract()D:equals()答案:parse()###extract()下列哪些屬于輸出函數(shù)（）

A:saveAsTextFiles(prefix,[suffix])B:foreachRDD(func)C:print()D:countByValueAndWindow(windowLength,slideInterval,[numTasks])答案:print()###saveAsTextFiles(prefix,[suffix])###foreachRDD(func)在內(nèi)存中創(chuàng)建RDD可以使用下列哪些函數(shù)（）

A:parallelize()B:textFile()C:paralleliz()D:makeRDD()答案:parallelize()###makeRDD()collectAsList方法與collect方法說法正確的是（）

A:collect方法返回的是一個Array數(shù)組。B:collectAsList方法返回一個Array數(shù)組。C:collect方法返回一個List集合。D:collectAsList方法返回的是一個List集合。答案:collectAsList方法返回的是一個List集合###collect方法返回的是一個Array數(shù)組DataFrame數(shù)據(jù)輸出中mode方法的參數(shù)為error代表如果指定的位置已有數(shù)據(jù)則拋出相應(yīng)的異常。（）

A:錯B:對答案:對Storm和Flink是完全的純實時流式計算框架。而SparkStreaming是準實時流式計算框架。（）

A:錯誤B:正確答案:正確DStream本質(zhì)上是一系列按照時間持續(xù)不斷產(chǎn)生的RDD，DStream中的每個RDD都包含了一個時間段內(nèi)的數(shù)據(jù)。（）

A:錯誤B:正確答案:正確union操作，將源DStream和otherStream的元素聯(lián)合返回一個新的DStream。（）

A:正確B:錯誤答案:正確foreachRDD函數(shù)是DStream提供的一個功能強大的方法，它可以將數(shù)據(jù)發(fā)送到外部系統(tǒng)。（）

A:錯誤B:正確答案:正確sortByKey是對單值類型的數(shù)據(jù)進行操作的。（）

A:錯B:對答案:錯鍵值對類型RDD，主要用于完成聚合計算。（）

A:錯B:對答案:對reduceByKeyAndWindow該函數(shù)含義與表5-1中reduceByKey函數(shù)一致，只不過對應(yīng)的數(shù)據(jù)源不同。reduceByKeyAndWindow的數(shù)據(jù)源是基于該DStream的窗口長度中的所有數(shù)據(jù)。（）

A:正確B:錯誤答案:正確DataFrame的col(colName:String)方法可以查詢多個字段信息。（）

A:對B:錯答案:錯從內(nèi)存創(chuàng)建RDD，也就是要把內(nèi)存中的數(shù)據(jù)作為處理的數(shù)據(jù)源（）

A:正確B:錯誤答案:正確DataFrame表示為DataSet[Row]，是DataSet的子集。（）

A:錯B:對答案:對countByKey算子可以統(tǒng)計鍵值對RDD中每一個key出現(xiàn)的次數(shù)，并且把結(jié)果保存到一個map集合中。（）

A:錯誤B:正確答案:正確Spark的sbin目錄，該目錄存放的是啟動和停止Saprk相關(guān)服務(wù)的腳本。（）

A:錯B:對答案:對groupByKey算子的作用是（）

A:只對鍵值對中的value數(shù)據(jù)進行操作，不對key值做任何處理B:只對鍵值對中的key數(shù)據(jù)進行操作，不對value值做任何處理C:將數(shù)據(jù)源中的數(shù)據(jù)，相同key的數(shù)據(jù)分在一個組中，形成一個二元組.D:對鍵值對中的value數(shù)據(jù)進行操作，對key值做聚合運算答案:AI參考:選項C:將數(shù)據(jù)源中的數(shù)據(jù)，相同key的數(shù)據(jù)分在一個組中，形成一個二元組。\n\ngroupByKey是一種在分布式數(shù)據(jù)結(jié)構(gòu)上進行操作的算子，它主要用于在MapReduce框架中實現(xiàn)鍵值對的分組。這個操作的作用是將輸入數(shù)據(jù)按照相同的key值進行分組，并將每個分組作為一個二元組輸出。也就是說，對于輸入的每一組鍵值對，如果它們的key值相同，那么它們會被放在同一個分組中。這是一種常見的在分布式計算中用于數(shù)據(jù)聚合和分區(qū)的方法。因此，選項C是正確的答案。'DataFrame的col(colName:String)方法返回值類型為（）

A:RDD類型B:DataFrame類型C:Array類型D:Column類型答案:AI參考:正確選項是D:Column類型。\n\nDataFrame的col(colName:String)方法用于獲取DataFrame中指定名稱的列，返回值類型為Column類型。因此，選項D是正確答案。選項A、B、C都不正確，因為它們都不是該方法的返回值類型。'以下被稱為過濾算子的是（）

A:sampleB:mapC:GolmD:filter答案:AI參考:正確答案是D:filter。\n\n過濾算子是一種用于從輸入數(shù)據(jù)中過濾出滿足特定條件的元素的算法。它通常用于處理數(shù)據(jù)流或連續(xù)數(shù)據(jù)流，以確定哪些元素應(yīng)該被保留，哪些元素應(yīng)該被丟棄。\n\n選項A、B和C都不是過濾算子，它們分別表示抽樣算子、映射算子和卷積算子。而選項D的“filter”一詞恰好表示過濾算子的含義，因此是正確的答案。'借助Schema將RDD轉(zhuǎn)換為DataFrame，哪個不是必要步驟（）

A:通過SparkSession對象的create()方法將RDD與Schema整合得到DataFrame。B:通過SparkSession對象的createDataFrame()方法將RDD與Schema整合得到DataFrame。C:將已經(jīng)存在的RDD借助算子轉(zhuǎn)換為元組或列表形式的RDD。D:使用StructType創(chuàng)建一個和轉(zhuǎn)換得到的RDD的結(jié)構(gòu)匹配的Schema。答案:AI參考:從題目描述來看，選項C：“將已經(jīng)存在的RDD借助算子轉(zhuǎn)換為元組或列表形式的RDD”不是將RDD轉(zhuǎn)換為DataFrame的必要步驟。這是因為Spark的DataFrame是通過SparkSession對象的createDataFrame()方法，結(jié)合RDD和Schema來生成的，而不是通過直接轉(zhuǎn)換已有的RDD為元組或列表。其他選項A、B和D都是將RDD與Schema整合得到DataFrame的必要步驟。因此，正確答案是C。'collect行動算子的作用是（）

A:聚合RDD中的所有元素，最終返回一個與RDD數(shù)據(jù)集中元素類型相同的一個數(shù)據(jù)B:將兩個不同的RDD數(shù)據(jù)集中的數(shù)據(jù)進行連接，相同key的value會連接在一起，形成元組C:以數(shù)組的形式，返回數(shù)據(jù)集的所有元素。D:只對鍵值對中的value數(shù)據(jù)進行操作，不對key值做任何處理答案:AI參考:正確選項是【A:聚合RDD中的所有元素，最終返回一個與RDD數(shù)據(jù)集中元素類型相同的一個數(shù)據(jù)】。\n\ncollect行動算子用于將RDD中的所有元素收集到driver節(jié)點，并返回一個包含這些元素的Java、Python或Scala數(shù)組，或者在Hadoop模式下返回一個Hadoop的Writable數(shù)組。因此，選項A是正確的。選項B和D都是錯誤的，因為它們都涉及鍵值對的操作，而collect行動算子不處理鍵值對。選項C也不完全準確，因為它只是返回數(shù)據(jù)集的所有元素，而不僅僅是數(shù)組形式。'創(chuàng)建DStream，使用（）變量獲取textFileStream方法，該方法將監(jiān)視指定的HDFS目錄并處理在該目錄中創(chuàng)建的任何文件。

A:MapredB:SseC:SscD:Src答案:AI參考:正確選項是C:Ssc。\n\n在SparkStreaming中，DStream是由一個KafkaConsumer、文件系統(tǒng)(如HDFS)或網(wǎng)絡(luò)流創(chuàng)建的。在創(chuàng)建DStream時，我們通常會用到一個StreamingContext對象(簡稱Ssc)，該對象是SparkStreaming程序的主入口點，用于啟動和停止應(yīng)用程序，以及處理輸入數(shù)據(jù)。\n\n具體到題目中，創(chuàng)建DStream并使用StreamingContext變量獲取textFileStream方法，該方法將監(jiān)視指定的HDFS目錄并處理在該目錄中創(chuàng)建的任何文件。因此，選項C是正確的。\n\n其他選項如Mapred、Sse、Src等并不是SparkStreaming中用于創(chuàng)建DStream的方法或變量。'saveAsTextFiles方法，它是以（）文件形式存儲每一批次的DStream數(shù)據(jù)。

A:TextB:PrefixC:SuffixD:Hadoop答案:AI參考:正確選項是A:Text。\n\nsaveAsTextFiles是SparkStreaming中用于將DStream數(shù)據(jù)保存為文本文件的方法，它會以文本文件的形式存儲每一批次的DStream數(shù)據(jù)。選項B、C、D都不符合題意。因此，正確選項是A:Text。'在本課程中，啟動spark集群的命令是（）

A:Start-yarn.shB:Start-spark.shC:start-spark-all.shD:start-dfs.sh答案:AI參考:正確選項是：B:Start-spark.sh。\n\n在Spark集群中，啟動命令通常為"Start-spark.sh"，這是一個Shell腳本文件，用于啟動Spark集群。其他選項中，"Start-yarn.sh"是Hadoop的啟動命令，"start-spark-all.sh"和"start-dfs.sh"不是Spark集群的啟動命令。因此，選項B是正確答案。'spark要想訪問mysql需要拷貝哪個包（）

A:commons-dbcp-1.4.jarB:commons-dbutils-1.4.jarC:commons-pool-1.3.jarD:mysql-connector-java-5.1.47.jar答案:AI參考:正確答案是D:mysql-connector-java-5.1.47.jar。這個jar包是Spark訪問MySQL所需要的包，所以只需要將它拷貝到Spark的配置路徑下就可以實現(xiàn)Spark與MySQL的連接。其他的選項與訪問MySQL無關(guān)，因此不正確。'parallelize函數(shù)的第一個參數(shù)表示什么？（）

A:boolean類型的值。B:集合C:分區(qū)數(shù)D:路徑答案:AI參考:答案：C:分區(qū)數(shù)\n\nparallelize函數(shù)的第一個參數(shù)通常表示要并行化的數(shù)據(jù)集的分區(qū)數(shù)。在許多并行計算框架中，parallelize函數(shù)用于將數(shù)據(jù)集劃分為多個分區(qū)，并為每個分區(qū)分配一個線程或進程進行處理。因此，選項C是正確的答案。選項A、B和D都不符合常規(guī)用法。'在SparkShell啟動過程中，系統(tǒng)自動初始化了一個（）對象。

A:SparkStreamingB:SparkSqlC:SparkSessionD:DataFrame答案:AI參考:在SparkShell啟動過程中，系統(tǒng)自動初始化了一個SparkSession對象。因此，正確選項是C：SparkSession。SparkSession是Spark2.0以后版本引入的一個新概念，它代表了一個使用Spark的會話，可以用來創(chuàng)建DataFrame或Dataset。在啟動SparkShell時，系統(tǒng)會自動創(chuàng)建一個默認的SparkSession，用于執(zhí)行Shell中的操作。其他選項如SparkStreaming、SparkSql和DataFrame都是在SparkSession的基礎(chǔ)上進一步使用的對象。'DataFrame的select方法和selectExpr方法說法正確的是（）

A:select方法不能傳入多個字段B:select方法可以直接對指定字段調(diào)用UDF函數(shù)C:selectExpr方法可以指定字段的別名D:select方法可以對指定字段進行特殊處理答案:AI參考:正確選項是：C:selectExpr方法可以指定字段的別名。\n\n對于DataFrame的select方法和selectExpr方法，它們都可以用于選擇DataFrame中的數(shù)據(jù)，但是用法有所不同。select方法可以直接傳入字段名來選擇數(shù)據(jù)，而selectExpr方法則可以通過指定字段的別名來選擇數(shù)據(jù)。因此，選項C是正確的說法。選項A和B的說法不準確，選項D則沒有明確說明對指定字段進行特殊處理的具體內(nèi)容。'下列哪個數(shù)據(jù)結(jié)構(gòu)擁有Schema信息（）

A:ListB:樣例類C:RDDD:DataFrame答案:AI參考:正確答案是D：DataFrame。\n\n在數(shù)據(jù)結(jié)構(gòu)中，擁有Schema信息的是DataFrame，它是一種用于處理數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù)集，具有明確的Schema信息，包括列名、數(shù)據(jù)類型等。而List、樣例類和RDD等數(shù)據(jù)結(jié)構(gòu)通常沒有明確的Schema信息。因此，選項D是正確答案。'在flatMap算子中傳遞一個匿名函數(shù)，通過匿名函數(shù)調(diào)用split方法，可以（）

A:對數(shù)據(jù)進行去重B:對數(shù)據(jù)進行過濾C:對數(shù)據(jù)進行切分D:將數(shù)據(jù)進行分區(qū)答案:AI參考:在flatMap算子中傳遞一個匿名函數(shù)，通過匿名函數(shù)調(diào)用split方法，可以對數(shù)據(jù)進行切分。\n\nflatMap是Kotlin高階函數(shù)，用于將一個Kotlin集合（或可迭代的對象）轉(zhuǎn)換成一個新的集合，然后與另一個可迭代的對象“flat”在一起。在flatMap中，可以通過傳遞一個函數(shù)作為參數(shù)，對輸入數(shù)據(jù)進行轉(zhuǎn)換。\n\nsplit方法通常用于將字符串按照指定的分隔符進行切分，得到一個字符串列表。因此，在flatMap中通過匿名函數(shù)調(diào)用split方法，可以將數(shù)據(jù)進行切分。\n\n因此，答案是C：對數(shù)據(jù)進行切分。'創(chuàng)建（）對象，是SparkStreaming流處理的編程入口點。

A:DStreamB:SparkStreamingC:StreamingContextD:SparkConf答案:AI參考:正確選項是【C:StreamingContext】\n\n創(chuàng)建StreamingContext對象是SparkStreaming流處理的編程入口點。StreamingContext是SparkStreaming的一個重要的內(nèi)部類，它管理著一個時間窗口和一系列流式數(shù)據(jù)的輸入輸出。因此，在SparkStreaming程序中，必須首先創(chuàng)建StreamingContext對象。其他選項A、B、D都與SparkStreaming的流處理無關(guān)。'DataFram的join方法傳入的參數(shù)哪個是錯誤的（）

A:連接類型B:可以多個連接字段C:只能傳入一個連接字段D:一個DataFrame答案:AI參考:在DataFram的join方法中，傳入的參數(shù)應(yīng)該是多個連接字段，因此選項C是錯誤的。join方法需要指定要連接的兩個DataFrame的字段，這些字段可以是多個，以便在連接時能夠?qū)⑺鼈兤ヅ淦饋?。選項A、B和D都是正確的參數(shù)，它們分別是連接類型、連接字段和要連接的DataFrame本身。因此，正確答案是C:只能傳入一個連接字段。'下列哪個方法不能獲取到DataFrame的第一行數(shù)據(jù)（）

A:first()B:take()C:head(1)D:head()答案:AI參考:正確選項是B:take()。\n\ntake()方法是Pandas庫中DataFrame對象的一個方法，用于獲取DataFrame的某一行或某一列的數(shù)據(jù)。但是，take()方法只能獲取到DataFrame的第一列數(shù)據(jù)，而不能獲取到第一行數(shù)據(jù)。因此，B選項是錯誤的。\n\n其他選項中，A:first()方法可以獲取到DataFrame的第一行數(shù)據(jù)；C:head(1)和D:head()方法都可以獲取到DataFrame的前五行數(shù)據(jù)，但不會跳過第一行。因此，這些選項都是正確的。'DataFrame的哪個方法容易造成內(nèi)存溢出（）

A:takeB:collectC:firstD:show答案:AI參考:正確選項是【A:take】\n\n在DataFrame中，take方法容易造成內(nèi)存溢出，因為它直接將整個DataFrame加載到內(nèi)存中，如果數(shù)據(jù)量過大，就會導(dǎo)致內(nèi)存溢出。collect方法也會將整個DataFrame加載到內(nèi)存中，但它在處理大數(shù)據(jù)時通常更加高效。first方法和show方法不會造成內(nèi)存溢出，因為它們只讀取DataFrame中的一小部分數(shù)據(jù)。因此，答案是A:take。'SparkSQL特點正確的是（）

A:提供了統(tǒng)一的數(shù)據(jù)訪問B:標準化數(shù)據(jù)庫連接C:容易集成D:不兼容Hive答案:AI參考:正確選項為：A、提供了統(tǒng)一的數(shù)據(jù)訪問；C、容易集成。\n\nSparkSQL是Spark生態(tài)系統(tǒng)中的一個組件，它提供了統(tǒng)一的數(shù)據(jù)訪問接口，支持多種數(shù)據(jù)源和數(shù)據(jù)格式，如Parquet、JSON、CSV等。它還提供了豐富的SQL查詢功能和DataFrame/DatasetAPI，使得用戶可以方便地進行數(shù)據(jù)分析和處理。此外，SparkSQL還易于與其他組件集成，如SparkStreaming、MLlib等。\n\n選項B、標準化數(shù)據(jù)庫連接和D、不兼容Hive都是不正確的，因為SparkSQL是Spark生態(tài)系統(tǒng)中的一個組件，它有自己的數(shù)據(jù)訪問和數(shù)據(jù)處理方式，與數(shù)據(jù)庫和Hive并不是完全一樣的。但它提供了統(tǒng)一的接口和API，使得用戶可以方便地進行數(shù)據(jù)分析和處理，同時也可以與其他組件進行集成。'在RDD中，窄依賴的特點為（）

A:父RDD的每個分區(qū)的數(shù)據(jù)對應(yīng)子RDD的多個分區(qū)，既一分區(qū)對多分區(qū)。B:父RDD的每個分區(qū)的數(shù)據(jù)對應(yīng)子RDD的一個分區(qū)，既一分區(qū)對一分區(qū)。C:多個父RDD的分區(qū)對應(yīng)于多個子RDD的分區(qū)，既多分區(qū)對多分區(qū)D:多個父RDD的分區(qū)對應(yīng)于一個子RDD的分區(qū)，既多分區(qū)對一分區(qū)答案:AI參考:正確選項為：A:父RDD的每個分區(qū)的數(shù)據(jù)對應(yīng)子RDD的多個分區(qū)，既一分區(qū)對多分區(qū)。\n\n窄依賴的特點是父RDD的每個分區(qū)的數(shù)據(jù)對應(yīng)子RDD的多個分區(qū)，即一個分區(qū)對多個分區(qū)，這種依賴關(guān)系會導(dǎo)致在分區(qū)級別的shuffle減少，從而提升任務(wù)執(zhí)行效率。而其他選項B、C、D描述的情況并不符合窄依賴的特點。'在SparkShell中輸入createtablestudent（nameString,idInt）可以創(chuàng)建student表。