分布式計(jì)算框架知到智慧樹章節(jié)測(cè)試課后答案2024年秋大連東軟信息學(xué)院

分布式計(jì)算框架知到智慧樹章節(jié)測(cè)試課后答案2024年秋大連東軟信息學(xué)院緒論單元測(cè)試

UserCF算法符合人們對(duì)于“趣味相投”的認(rèn)知,即興趣相似的用戶往往有相同的物品喜好。（）。

A:對(duì)B:錯(cuò)

答案:對(duì)

第一章單元測(cè)試

Spark是一種快速、分布式、可擴(kuò)展、容錯(cuò)的集群計(jì)算框架（）。

A:對(duì)B:錯(cuò)

答案:對(duì)Spark的主要特點(diǎn)（）。

A:運(yùn)行速度快B:運(yùn)行模式多樣C:容易使用，簡(jiǎn)潔的API設(shè)計(jì)有助于用戶輕松構(gòu)建并行程序D:通用性，Spark提供了完整而強(qiáng)大的技術(shù)棧

答案:運(yùn)行速度快；運(yùn)行模式多樣；容易使用，簡(jiǎn)潔的API設(shè)計(jì)有助于用戶輕松構(gòu)建并行程序；通用性，Spark提供了完整而強(qiáng)大的技術(shù)棧Spark任務(wù)執(zhí)行器中有存儲(chǔ)模塊，當(dāng)需要多輪迭代計(jì)算時(shí)，中間結(jié)果可以寫入（）。

A:內(nèi)存B:U盤C:CPUD:硬盤

答案:內(nèi)存；硬盤Spark的資源管理器為任務(wù)執(zhí)行器分配資源，包括分配CPU和內(nèi)存（）。

A:錯(cuò)B:對(duì)

答案:對(duì)Spark應(yīng)用的計(jì)算邏輯會(huì)被解析成DAG，這個(gè)解析操作由以下哪個(gè)功能模塊完成（）。

A:ExecutorB:DriverC:ClientD:ApplicationMaster

答案:Executor；Driver當(dāng)Spark運(yùn)行時(shí)，每次執(zhí)行一個(gè)應(yīng)用程序，第一步應(yīng)該是（）。

A:并向任務(wù)執(zhí)行器發(fā)送應(yīng)用程序代碼和文件B:啟動(dòng)任務(wù)執(zhí)行器C:在任務(wù)執(zhí)行器上執(zhí)行TaskD:DriverProgram即應(yīng)用程序的“指揮所”會(huì)向集群資源管理器申請(qǐng)資源

答案:DriverProgram即應(yīng)用程序的“指揮所”會(huì)向集群資源管理器申請(qǐng)資源Spark圖計(jì)算的產(chǎn)品是（）。

A:FlumeB:GraphXC:PregelD:PowerGraph

答案:GraphX

第二章單元測(cè)試

Spark的運(yùn)行架構(gòu)包括哪些（）。

A:集群資源管理器（Clustermanager）B:任務(wù)控制節(jié)點(diǎn)DriverProgramC:執(zhí)行進(jìn)程（Executor）D:WorkerNode

答案:集群資源管理器（Clustermanager）；任務(wù)控制節(jié)點(diǎn)DriverProgram；執(zhí)行進(jìn)程（Executor）；WorkerNodescala語言是一種（）式編程語言。

A:函數(shù)式B:面向過程C:指令式D:面向?qū)ο?/p>

答案:函數(shù)式Scala關(guān)于變量定義、賦值，正確的是（）

A:vala=3B:vala:String=3C:varb="HelloWorld!";b="123"D:varb:Int=3;b=6

答案:vala=3；varb="HelloWorld!";b="123"；varb:Int=3;b=6下面輸出與其他不一致的是（）

A:print("HelloWorld\n")B:valw="World";println("Hello$w")C:println("HelloWorld")D:printf("Hello%s","World\n")

答案:valw="World";println("Hello$w")varstrList=List("BigData","Hadoop","Spark")；strList.tail運(yùn)行的返回結(jié)果是（）

A:BigDataB:HadoopC:Hadoop,SparkD:Spark

答案:Hadoop,Spark

第三章單元測(cè)試

關(guān)于元組Tuple說法正確的是？（）

A:訪問元組tuple第一個(gè)元素的方式為tuple._1B:元組可以包含不同類型的元素C:元組最多只有2個(gè)元素D:元組是不可變的

答案:訪問元組tuple第一個(gè)元素的方式為tuple._1；元組可以包含不同類型的元素；元組是不可變的RDD操作包括哪兩種類型（）

A:連接joinB:分組GroupByC:轉(zhuǎn)換TransformationD:行動(dòng)Action

答案:轉(zhuǎn)換Transformation；行動(dòng)Action以下關(guān)于RDD的持久化的描述，正確的是（）

A:persist(MEMORY_ONLY)：表示將RDD作為反序列化的對(duì)象存儲(chǔ)于JVM中，如果內(nèi)存不足，就要按照LRU原則替換緩存中的內(nèi)容B:使用cache()方法時(shí)，會(huì)調(diào)用persist(MEMORY_ONLY)C:通過持久化（緩存）機(jī)制可以避免重復(fù)計(jì)算的開銷D:persist(MEMORY_AND_DISK)：表示將RDD作為反序列化的對(duì)象存儲(chǔ)在JVM中，如果內(nèi)存不足，超出的分區(qū)將會(huì)被存放在硬盤上

答案:persist(MEMORY_ONLY)：表示將RDD作為反序列化的對(duì)象存儲(chǔ)于JVM中，如果內(nèi)存不足，就要按照LRU原則替換緩存中的內(nèi)容；使用cache()方法時(shí)，會(huì)調(diào)用persist(MEMORY_ONLY)；通過持久化（緩存）機(jī)制可以避免重復(fù)計(jì)算的開銷；persist(MEMORY_AND_DISK)：表示將RDD作為反序列化的對(duì)象存儲(chǔ)在JVM中，如果內(nèi)存不足，超出的分區(qū)將會(huì)被存放在硬盤上下面哪個(gè)操作是窄依賴？（）

A:filterB:joinC:sortD:group

答案:filter有一個(gè)pairRDD，包含元素為（“Spark”，1），（“Hadoop”，1），（“Python”，1）。則pairRDD.keys的結(jié)果為：（）

A:（“Spark”，1），（“Hadoop”，1），（“Python”，1）B:Spark,Hadoop,PythonC:1,1,1D:Array(Spark,Hadoop,Python)

答案:Spark,Hadoop,Pythonvalrdd1=sc.parallelize(List(1,2,3));

valrdd2=sc.parallelize(List(1,2,4));

valrdd3=rdd1.union(rdd2);

上述語句執(zhí)行以后，rdd3的元素是：（）

A:Array(1,2)B:Array(1,2,3,1,2,4)C:Array(3,4)D:Array(1,2,3,4)

答案:Array(1,2,3,1,2,4)RDD中按照制定列（第2列）的降序排序的是：（）

A:pairRDD.sortByKey()B:pairRDD.sortBy(x=>x._2)C:pairRDD.sortBy(_._2,false)D:pairRDD.sortBy(x=>x._2,false)

答案:pairRDD.sortBy(_._2,false)；pairRDD.sortBy(x=>x._2,false)“1718060010870”，race"輸出格式為學(xué)號(hào)、姓名、平均成績(jī),兩個(gè)RDD可以采用的合并方法為：（）

A:intersectionB:joinC:unionD:subtract

答案:join

第四章單元測(cè)試

SparkSQL是一個(gè)用來處理結(jié)構(gòu)化數(shù)據(jù)的Spark組件（）。

A:對(duì)B:錯(cuò)

答案:對(duì)使用編程方式定義RDD時(shí)，主要包括三個(gè)步驟（）

A:制作“表中的記錄”B:把“表頭”和“表中的記錄”拼裝在一起C:制作“表頭”D:制作映射表

答案:制作“表中的記錄”；把“表頭”和“表中的記錄”拼裝在一起；制作“表頭”在Ubuntu中安裝MySQL的基本步驟包括（）

A:安裝過程中，需要指定root賬戶的密碼B:安裝MySQLC:更新軟件源D:啟動(dòng)MySQL服務(wù)

答案:安裝過程中，需要指定root賬戶的密碼；安裝MySQL；更新軟件源；啟動(dòng)MySQL服務(wù)利用SparkSQL，查詢工資的最小值（）

A:df.agg("salary"->"count")B:df.agg("salary"->"avg")C:df.agg("salary"->"max")D:df.agg("salary"->"min")

答案:df.agg("salary"->"min")MySQL服務(wù)啟動(dòng)和關(guān)閉的命令分別是（）

A:servicemysqlendB:servicemysqlbeginC:servicemysqlstartD:servicemysqlstop

答案:servicemysqlstart；servicemysqlstop把一個(gè)DataFrame保存到people.json文件中，下面哪個(gè)語句正確：（）

A:df.json(“people.json”)B:df.write.csv(“people.json”)C:df.write.json(“people.json”)D:df.write.format(“csv”).save(“people.json”)

答案:df.write.json(“people.json”)統(tǒng)計(jì)每種商品購買總數(shù)的SQL語句（）

A:selectitem_id,count(*)fromuser_behaviorB:selectitem_id,count(*)fromuser_behaviorgroupbyitem_idC:selectitem_id,count(*)fromuser_behaviorwherebehavior='buy'groupbyitem_idD:selectbehavior,count(*)fromuser_behaviorwherebehavior='buy'groupbyitem_id

答案:selectitem_id,count(*)fromuser_behaviorwherebehavior='buy'groupbyitem_id利用SparkSQL，篩選出工資高于4000的記錄（）

A:df.where(“salary>4000”)B:df.filter(df(“salary“)>4000)C:df.filter(“salary>4000”)D:df.where(df(“salary“)>4000)

答案:df.where(“salary>4000”)；df.filter(df(“salary“)>4000)；df.filter(“salary>4000”)；df.where(df(“salary“)>4000)

第五章單元測(cè)試

下面論述中錯(cuò)誤的是（）

A:機(jī)器學(xué)習(xí)可以看作是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對(duì)象是人工智能B:機(jī)器學(xué)習(xí)和人工智能是不存在關(guān)聯(lián)關(guān)系的兩個(gè)獨(dú)立領(lǐng)域C:機(jī)器學(xué)習(xí)強(qiáng)調(diào)三個(gè)關(guān)鍵詞：算法、經(jīng)驗(yàn)、性能D:推薦系統(tǒng)、金融反欺詐、語音識(shí)別、自然語言處理和機(jī)器翻譯、模式識(shí)別、智能控制等領(lǐng)域，都用到了機(jī)器學(xué)習(xí)的知識(shí)

答案:機(jī)器學(xué)習(xí)和人工智能是不存在關(guān)聯(lián)關(guān)系的兩個(gè)獨(dú)立領(lǐng)域“詞頻－逆向文件頻率”（TF-IDF）是一種在文本挖掘中廣泛使用的特征向量化方法，以下說法正確的是（）

A:文件頻率DF(t,D)：是包含詞語t的文檔的個(gè)數(shù)B:文件頻率DF(t,D)：是包含詞語t的文檔的個(gè)數(shù)C:詞頻TF(t,d)：是詞語t在文檔d中出現(xiàn)的次數(shù)。D:詞頻TF(t,d)：是包含詞語t的文檔的個(gè)數(shù)

答案:文件頻率DF(t,D)：是包含詞語t的文檔的個(gè)數(shù)；詞頻TF(t,d)：是詞語t在文檔d中出現(xiàn)的次數(shù)。SparkMllib中用卡方選擇器進(jìn)行特征選擇，選擇最好的幾個(gè)特征的參數(shù)是（）

A:setFeaturesColB:setNumTopFeaturesC:setOutputColD:setLabelCol

答案:setNumTopFeaturesLogistic回歸將輸出概率限定在[0,1]之間。下列哪個(gè)函數(shù)起到這樣的作用？（）

A:ReLU函數(shù)B:tanh函數(shù)C:Sigmoid函數(shù)D:LeakyReLU函數(shù)

答案:Sigmoid函數(shù)“從有標(biāo)簽的歷史數(shù)據(jù)中來預(yù)測(cè)下季度的收益會(huì)在20-30萬還是30-40萬”，這是一個(gè)什么問題？（）

A:聚類問題B:分類問題C:規(guī)則問題D:回歸問題

答案:分類問題

第六章單元測(cè)試

推薦算法中相似度度量方法包括（）。

A:歐式距離B:余弦相似度C:Jacc