Spark基礎(chǔ)知識(shí)單選題100道及答案

Spark基礎(chǔ)知識(shí)單選題100道及答案1.Spark中負(fù)責(zé)管理集群資源的組件是（）A.DriverB.ExecutorC.ResourceManagerD.Master答案：D2.以下哪種數(shù)據(jù)結(jié)構(gòu)在Spark中用于分布式彈性數(shù)據(jù)集（）A.ArrayB.ListC.RDDD.Map答案：C3.Spark應(yīng)用程序的入口點(diǎn)是（）A.main函數(shù)B.start函數(shù)C.run函數(shù)D.execute函數(shù)答案：A4.在Spark中，對(duì)RDD進(jìn)行轉(zhuǎn)換操作后返回的是（）A.原RDDB.新的RDDC.一個(gè)空RDDD.一個(gè)錯(cuò)誤提示答案：B5.以下哪個(gè)不是Spark支持的數(shù)據(jù)源（）A.HDFSB.MySQLC.ExcelD.Cassandra答案：C6.Spark中用于對(duì)RDD進(jìn)行分組的操作是（）A.mapB.filterC.groupByKeyD.reduce答案：C7.當(dāng)在Spark中對(duì)RDD進(jìn)行持久化時(shí)，默認(rèn)的存儲(chǔ)級(jí)別是（）A.MEMORY_ONLYB.MEMORY_AND_DISKC.DISK_ONLYD.OFF_HEAP答案：A8.以下關(guān)于SparkRDD的分區(qū)描述正確的是（）A.分區(qū)數(shù)固定不可變B.分區(qū)越多性能一定越好C.分區(qū)是為了并行處理數(shù)據(jù)D.分區(qū)之間不能進(jìn)行數(shù)據(jù)交換答案：C9.SparkStreaming中處理實(shí)時(shí)數(shù)據(jù)的基本抽象是（）A.DStreamB.RDDC.DataFrameD.Dataset答案：A10.在SparkSQL中，用于創(chuàng)建DataFrame的方法是（）A.createDataFrameB.newDataFrameC.buildDataFrameD.generateDataFrame答案：A11.Spark中用于對(duì)RDD進(jìn)行排序的操作是（）A.sortByB.orderByC.arrangeD.rank答案：A12.以下哪種模式不是SparkSQL支持的數(shù)據(jù)源讀取模式（）A.AppendB.OverwriteC.ErrorIfExistsD.Update答案：D13.當(dāng)在Spark中使用廣播變量時(shí)，其作用是（）A.提高數(shù)據(jù)傳輸速度B.減少數(shù)據(jù)傳輸量C.增加數(shù)據(jù)安全性D.優(yōu)化計(jì)算邏輯答案：B14.Spark中用于將多個(gè)RDD合并成一個(gè)RDD的操作是（）A.unionB.joinC.intersectD.subtract答案：A15.在SparkStreaming中，批處理時(shí)間間隔指的是（）A.數(shù)據(jù)采集的時(shí)間間隔B.數(shù)據(jù)處理的時(shí)間間隔C.數(shù)據(jù)存儲(chǔ)的時(shí)間間隔D.數(shù)據(jù)傳輸?shù)臅r(shí)間間隔答案：B16.SparkSQL中用于過(guò)濾DataFrame數(shù)據(jù)的方法是（）A.whereB.filterC.selectD.groupBy答案：B17.以下關(guān)于Spark的分布式緩存描述錯(cuò)誤的是（）A.可以緩存RDDB.緩存數(shù)據(jù)在所有節(jié)點(diǎn)上都有副本C.緩存數(shù)據(jù)會(huì)一直存在D.能提高數(shù)據(jù)訪問(wèn)速度答案：C18.Spark中對(duì)RDD進(jìn)行聚合操作時(shí)，常用的函數(shù)是（）A.sumB.countC.reduceByKeyD.average答案：C19.在Spark中，使用累加器的目的是（）A.進(jìn)行分布式計(jì)算B.對(duì)分布式數(shù)據(jù)進(jìn)行累加C.優(yōu)化計(jì)算性能D.存儲(chǔ)中間結(jié)果答案：B20.SparkStreaming支持的數(shù)據(jù)源不包括（）A.KafkaB.FlumeC.RabbitMQD.Redis答案：D21.SparkSQL中用于選擇DataFrame列的方法是（）A.selectB.chooseC.pickD.extract答案：A22.以下哪種操作不屬于SparkRDD的轉(zhuǎn)換操作（）A.flatMapB.collectC.mapValuesD.distinct答案：B23.Spark中用于對(duì)RDD進(jìn)行連接操作的是（）A.joinB.connectC.linkD.merge答案：A24.在SparkStreaming中，窗口操作可以（）A.對(duì)一段時(shí)間內(nèi)的數(shù)據(jù)進(jìn)行處理B.對(duì)特定窗口大小的數(shù)據(jù)進(jìn)行過(guò)濾C.對(duì)數(shù)據(jù)進(jìn)行窗口化顯示D.對(duì)數(shù)據(jù)進(jìn)行窗口化存儲(chǔ)答案：A25.SparkSQL中創(chuàng)建臨時(shí)視圖的方法是（）A.createTempViewB.makeTempViewC.buildTempViewD.generateTempView答案：A26.以下關(guān)于Spark的部署模式，錯(cuò)誤的是（）A.StandaloneB.YARNC.MesosD.HBase答案：D27.Spark中用于對(duì)RDD進(jìn)行抽樣的操作是（）A.sampleB.takeSampleC.randomSampleD.selectSample答案：A28.在Spark中，廣播變量和累加器都需要（）A.在Driver端定義B.在Executor端定義C.在所有節(jié)點(diǎn)上定義D.在Master節(jié)點(diǎn)上定義答案：A29.SparkStreaming中數(shù)據(jù)處理的基本流程是（）A.采集-處理-存儲(chǔ)B.采集-存儲(chǔ)-處理C.處理-采集-存儲(chǔ)D.存儲(chǔ)-采集-處理答案：A30.SparkSQL中用于對(duì)DataFrame進(jìn)行分組聚合的方法是（）A.groupBy.aggB.group.aggregateC.byGroup.aggD.aggByGroup答案：A31.以下關(guān)于SparkRDD的惰性求值，說(shuō)法正確的是（）A.所有操作立即執(zhí)行B.轉(zhuǎn)換操作立即執(zhí)行，行動(dòng)操作延遲執(zhí)行C.行動(dòng)操作立即執(zhí)行，轉(zhuǎn)換操作延遲執(zhí)行D.所有操作都延遲執(zhí)行答案：D32.Spark中用于控制RDD分區(qū)數(shù)的方法是（）A.repartitionB.rebalanceC.resizeD.restructure答案：A33.在SparkStreaming中，檢查點(diǎn)機(jī)制的作用是（）A.提高數(shù)據(jù)處理速度B.確保數(shù)據(jù)處理的容錯(cuò)性C.優(yōu)化數(shù)據(jù)存儲(chǔ)D.減少數(shù)據(jù)傳輸量答案：B34.SparkSQL中用于對(duì)DataFrame進(jìn)行排序的方法是（）A.orderByB.sortC.rankByD.arrangeBy答案：A35.以下哪種數(shù)據(jù)類(lèi)型不能直接作為SparkRDD的元素類(lèi)型（）A.IntB.StringC.MapD.CustomObject（自定義對(duì)象，未實(shí)現(xiàn)序列化）答案：D36.Spark中用于對(duì)RDD進(jìn)行過(guò)濾操作的函數(shù)是（）A.filterB.rejectC.removeD.exclude答案：A37.在Spark中，使用廣播變量時(shí)，需要調(diào)用（）方法來(lái)廣播數(shù)據(jù)。A.broadcastB.spreadC.distributeD.scatter答案：A38.SparkStreaming中窗口操作的滑動(dòng)間隔（）窗口大小。A.必須小于B.可以小于、等于或大于C.必須等于D.必須大于答案：B39.SparkSQL中用于連接兩個(gè)DataFrame的方法是（）A.joinB.unionC.intersectD.subtract答案：A40.以下關(guān)于Spark的配置參數(shù)，說(shuō)法錯(cuò)誤的是（）A.可以通過(guò)代碼設(shè)置B.可以通過(guò)配置文件設(shè)置C.配置參數(shù)一旦設(shè)置不能修改D.不同的部署模式可能有不同的配置參數(shù)答案：C41.Spark中對(duì)RDD進(jìn)行map操作時(shí)，返回的RDD元素個(gè)數(shù)（）原RDD元素個(gè)數(shù)。A.大于B.小于C.等于D.不確定答案：C42.在SparkStreaming中，數(shù)據(jù)采集階段可以從（）獲取數(shù)據(jù)。A.僅文件系統(tǒng)B.多種數(shù)據(jù)源C.僅網(wǎng)絡(luò)端口D.僅數(shù)據(jù)庫(kù)答案：B43.SparkSQL中用于對(duì)DataFrame進(jìn)行去重的方法是（）A.distinctB.uniqueC.removeDuplicatesD.dropDuplicates答案：A44.以下關(guān)于SparkRDD的依賴關(guān)系，描述正確的是（）A.窄依賴和寬依賴沒(méi)有區(qū)別B.窄依賴不會(huì)產(chǎn)生shuffleC.寬依賴不會(huì)產(chǎn)生shuffleD.所有依賴都會(huì)產(chǎn)生shuffle答案：B45.Spark中用于對(duì)RDD進(jìn)行扁平化操作的是（）A.flatMapB.mapFlatC.unrollMapD.expandMap答案：A46.在Spark中，累加器的值可以在（）獲取。A.任何地方B.僅Driver端C.僅Executor端D.Master節(jié)點(diǎn)答案：B47.SparkStreaming中數(shù)據(jù)處理的并行度取決于（）A.批處理時(shí)間間隔B.窗口大小C.RDD的分區(qū)數(shù)D.數(shù)據(jù)源的數(shù)量答案：C48.SparkSQL中用于對(duì)DataFrame進(jìn)行聚合計(jì)算的函數(shù)是（）A.sumB.countC.avgD.以上都是答案：D49.以下關(guān)于Spark的運(yùn)行架構(gòu)，說(shuō)法錯(cuò)誤的是（）A.包含Driver和ExecutorB.Driver負(fù)責(zé)調(diào)度和管理C.Executor負(fù)責(zé)執(zhí)行計(jì)算任務(wù)D.Master和Worker是完全獨(dú)立的組件，沒(méi)有聯(lián)系答案：D50.Spark中用于對(duì)RDD進(jìn)行鍵值對(duì)操作時(shí)，提取鍵的函數(shù)是（）A.keysB.getKeysC.extractKeysD.selectKeys答案：A51.在SparkStreaming中，對(duì)DStream進(jìn)行窗口操作時(shí)，窗口大小和滑動(dòng)間隔（）是固定的。A.一定B.不一定C.必須D.絕對(duì)不答案：B52.SparkSQL中用于從DataFrame中刪除列的方法是（）A.dropB.removeC.deleteD.erase答案：A53.以下關(guān)于SparkRDD的緩存，說(shuō)法正確的是（）A.緩存數(shù)據(jù)不會(huì)占用內(nèi)存B.緩存數(shù)據(jù)后不能再進(jìn)行其他操作C.合理使用緩存可以提高性能D.緩存數(shù)據(jù)會(huì)自動(dòng)清除答案：C54.Spark中用于對(duì)RDD進(jìn)行聚合操作并返回結(jié)果的函數(shù)是（）A.reduceB.foldC.aggregateD.以上都可以答案：D55.在Spark中，使用累加器時(shí)需要注意（）A.不同Executor之間不能共享累加器B.累加器只能用于數(shù)值類(lèi)型C.累加器的初始值必須為0D.累加器的更新操作必須是原子性的答案：D56.SparkStreaming中對(duì)DStream進(jìn)行轉(zhuǎn)換操作后返回的是（）A.原DStreamB.新的DStreamC.一個(gè)空DStreamD.一個(gè)錯(cuò)誤提示答案：B57.SparkSQL中用于將DataFrame寫(xiě)入文件的方法是（）A.writeB.saveC.exportD.output答案：A58.以下關(guān)于Spark的任務(wù)調(diào)度，說(shuō)法錯(cuò)誤的是（）A.有DAG調(diào)度器和Task調(diào)度器B.DAG調(diào)度器負(fù)責(zé)將作業(yè)分解為階段C.Task調(diào)度器負(fù)責(zé)將任務(wù)分配給ExecutorD.調(diào)度過(guò)程中不會(huì)考慮資源情況答案：D59.Spark中用于對(duì)RDD進(jìn)行隨機(jī)打亂操作的是（）A.shuffleB.randomizeC.scrambleD.mix答案：A60.在SparkStreaming中，數(shù)據(jù)處理的延遲主要受（）影響。A.數(shù)據(jù)源的類(lèi)型B.批處理時(shí)間間隔C.窗口大小D.網(wǎng)絡(luò)帶寬答案：B61.SparkSQL中用于對(duì)DataFrame進(jìn)行條件查詢的方法是（）A.whereB.filterC.selectWhereD.queryWhere答案：A62.以下關(guān)于SparkRDD的分區(qū)策略，說(shuō)法正確的是（）A.只有一種分區(qū)策略B.分區(qū)策略不會(huì)影響性能C.可以根據(jù)數(shù)據(jù)特點(diǎn)選擇合適的分區(qū)策略D.分區(qū)策略由系統(tǒng)自動(dòng)決定，用戶不能干預(yù)答案：C63.Spark中用于對(duì)RDD進(jìn)行鍵值對(duì)分組操作的函數(shù)是（）A.groupByKeyB.groupKeysC.byGroupKeyD.keyGroup答案：A64.在Spark中，廣播變量在Executor端（）修改。A.可以隨意B.不能C.經(jīng)過(guò)授權(quán)可以D.部分可以答案：B65.SparkStreaming中數(shù)據(jù)處理的吞吐量指的是（）A.單位時(shí)間內(nèi)處理的數(shù)據(jù)量B.數(shù)據(jù)處理的總時(shí)長(zhǎng)C.數(shù)據(jù)傳輸?shù)乃俣菵.數(shù)據(jù)存儲(chǔ)的容量答案：A66.SparkSQL中用于對(duì)DataFrame進(jìn)行連接操作時(shí)指定連接條件的方法是（）A.onB.whereC.joinOnD.connectOn答案：A67.以下關(guān)于Spark的資源管理，說(shuō)法錯(cuò)誤的是（）A.可以通過(guò)配置參數(shù)調(diào)整資源分配B.資源管理只涉及內(nèi)存分配C.不同的部署模式資源管理方式不同D.合理的資源管理可以提高應(yīng)用性能答案：B68.Spark中用于對(duì)RDD進(jìn)行元素個(gè)數(shù)統(tǒng)計(jì)的函數(shù)是（）A.countB.sizeC.lengthD.number答案：A69.在SparkStreaming中，對(duì)DStream進(jìn)行輸出操作時(shí)，數(shù)據(jù)（）會(huì)被保存。A.一定B.不一定C.必須D.絕對(duì)不答案：B70.SparkSQL中用于對(duì)DataFrame進(jìn)行排序并指定排序方式（升序或降序）的方法是（）A.orderBy.asc/descB.sortBy.asc/descC.rankBy.asc/descD.arrangeBy.asc/desc答案：A71.以下關(guān)于SparkRDD的轉(zhuǎn)換操作特點(diǎn)，說(shuō)法錯(cuò)誤的是（）A.轉(zhuǎn)換操作是懶執(zhí)行的B.轉(zhuǎn)換操作返回新的RDDC.轉(zhuǎn)換操作不會(huì)改變?cè)璕DD的數(shù)據(jù)D.轉(zhuǎn)換操作一定會(huì)增加RDD的分區(qū)數(shù)答案：D72.Spark中用于對(duì)RDD進(jìn)行鍵值對(duì)映射操作的函數(shù)是（）A.mapValuesB.mapKeysC.mapPairsD.mapKeyValue答案：A73.在Spark中，累加器可以用于（）A.僅統(tǒng)計(jì)數(shù)值B.統(tǒng)計(jì)數(shù)值和其他類(lèi)型的數(shù)據(jù)（實(shí)現(xiàn)了相應(yīng)操作）C.僅統(tǒng)計(jì)字符串D.僅統(tǒng)計(jì)布爾值答案：B74.SparkStreaming中窗口操作的窗口大?。ǎ┦枪潭ǖ摹.一定B.不一定C.必須D.絕對(duì)不答案：B75.SparkSQL中用于對(duì)DataFrame進(jìn)行聚合操作并指定別名的方法是（）A.agg(columnNameasaliasName)B.aggregate(columnNameasaliasName)C.groupBy.agg(columnNameasaliasName)D.byGroup.agg(columnNameasaliasName)答案：C76.以下關(guān)于Spark的部署，說(shuō)法正確的是（）A.Standalone模式適合大規(guī)模生產(chǎn)環(huán)境B.YARN模式需要依賴Hadoop的YARN資源管理器C.Mesos模式只能用于Spark應(yīng)用D.部署模式選擇不影響應(yīng)用性能答案：B77.Spark中用于對(duì)RDD進(jìn)行過(guò)濾操作并返回滿足條件的第一個(gè)元素的函數(shù)是（）A.findB.firstC.takeD.head答案：A78.在Spark中，若要對(duì)RDD的每個(gè)分區(qū)執(zhí)行一個(gè)函數(shù)，該函數(shù)可以返回多個(gè)結(jié)果，應(yīng)使用以下哪個(gè)函數(shù)？（）A.mapPartitionsB.foreachPartitionC.flatMapPartitionsD.transformPartitions答案：C79.SparkStreaming中，當(dāng)使用Kafka作為數(shù)據(jù)源時(shí)，以下哪個(gè)配置參數(shù)用于指定Kafka的bootstrap.servers？（）A.spark.streaming.kafka.bootstrap.serversB.spark.kafka.bootstrap.serversC.kafka.bootstrap.serversD.streaming.kafka.bootstrap.servers答案：A80.在SparkSQL中，若要將DataFrame注冊(cè)為Hive表，以下哪個(gè)方法是正確的？（）A.registerAsTableB.createOrReplaceTempViewC.saveAsTableD.registerAsHiveTable答案：C81.關(guān)于SparkRDD的checkpoint，以下說(shuō)法錯(cuò)誤的是（）A.checkpoint會(huì)將RDD持久化到可靠存儲(chǔ)B.執(zhí)行checkpoint后，RDD的lineage會(huì)被截?cái)郈.checkpoint只能在Driver端調(diào)用D.對(duì)一個(gè)RDD可以多次執(zhí)行checkpoint且每次都會(huì)覆蓋之前的結(jié)果答案：D82.在Spark中，對(duì)RDD進(jìn)行coalesce操作時(shí)，以下哪種說(shuō)法是正確的？（）A.coalesce操作只能減少分區(qū)數(shù)B.coalesce操作只能增加分區(qū)數(shù)C.coalesce操作一定不會(huì)產(chǎn)生shuffleD.coalesce操作可以同時(shí)增加和減少分區(qū)數(shù)答案：A83.SparkStreaming中，對(duì)于窗口操作，窗口的起始時(shí)間是由（）決定的。A.第一個(gè)數(shù)據(jù)到達(dá)的時(shí)間B.批處理時(shí)間間隔C.窗口大小和滑動(dòng)間隔共同決定D.系統(tǒng)隨機(jī)生成答案：C84.在SparkSQL中，使用以下哪種函數(shù)可以對(duì)DataFrame的列進(jìn)行字符串拼接操作？（）A.concatB.joinStringsC.stringConcatD.mergeStrings答案：A85.關(guān)于Spark的Executor內(nèi)存管理，以下說(shuō)法正確的是（）A.Executor的內(nèi)存全部用于存儲(chǔ)RDD數(shù)據(jù)B.Executor的內(nèi)存分為堆內(nèi)內(nèi)存和堆外內(nèi)存，且兩者不能同時(shí)使用C.可以通過(guò)配置參數(shù)調(diào)整Executor堆內(nèi)和堆外內(nèi)存的比例D.Executor的內(nèi)存使用情況不會(huì)影響Spark作業(yè)的性能答案：C86.在Spark中，對(duì)RDD進(jìn)行l(wèi)ookup操作時(shí)，該操作適用于（）類(lèi)型的RDD。A.普通RDDB.鍵值對(duì)RDDC.包含復(fù)雜對(duì)象的RDDD.任何類(lèi)型的RDD答案：B87.SparkStreaming中，為了確保數(shù)據(jù)的一致性和容錯(cuò)性，在使用有狀態(tài)的操作時(shí)，需要開(kāi)啟（）。A.檢查點(diǎn)機(jī)制B.廣播變量C.累加器D.數(shù)據(jù)壓縮答案：A88.在SparkSQL中，若要對(duì)DataFrame進(jìn)行行列同時(shí)篩選，以下哪種操作是正確的？（）A.select().where()B.filter().pick()C.choose().filter()D.extract().where()答案：A89.關(guān)于Spark的Shuffle機(jī)制，以下說(shuō)法錯(cuò)誤的是（）A.Shuffle過(guò)程中會(huì)進(jìn)行數(shù)據(jù)的重新分區(qū)和排序B.Shuffle是導(dǎo)致Spark作業(yè)性能下降的主要原因之一C.可以通過(guò)調(diào)整Shuffle的并行度來(lái)優(yōu)化性能D.Shuffle在窄依賴的RDD操作中也會(huì)頻繁發(fā)生答案：D90.在Spark中，對(duì)RDD進(jìn)行fold操作時(shí)，初始值的類(lèi)型必須與（）的類(lèi)型一致。A.RDD元素B.RDD分區(qū)C.累加器D.廣播變量答案：A91.SparkStreaming中，當(dāng)數(shù)據(jù)源的數(shù)據(jù)量非常大時(shí)，為了提高數(shù)據(jù)處理效率，可以（）。A.增加批處理時(shí)間間隔B.減少RDD的分區(qū)數(shù)C.增加RDD的分區(qū)數(shù)D.減少窗口大小答案：C92.在SparkSQL中，若要對(duì)DataFrame進(jìn)行數(shù)據(jù)透視操作（pivot），以下哪個(gè)函數(shù)是正確的？（）A.pivotB.unpivotC.transposeD.rotate答案：A93.關(guān)于Spark在YARN集群模式下的運(yùn)行，以下說(shuō)法錯(cuò)誤的是（）A.Driver程序可以在YARN集群的任意節(jié)點(diǎn)上運(yùn)行B.Exec