Spark編程基礎(chǔ)期末試卷1

試卷部分：4/4______________________學(xué)年第____學(xué)期______________________課程期末考試試卷（A）共頁(yè)（閉卷考試）適用學(xué)生：_________________________________學(xué)院___________專業(yè)____級(jí)____班姓名___________學(xué)號(hào)___________題目一二三四總分得分一．單選題：本大題共15小題，每小題2分，共30分。1.下列哪個(gè)不是大數(shù)據(jù)的特征？（）A.VolumeB.VarietyC.VelocityD.Variance2.下列List的定義中不正確的是（）。A.valnumber:List[Int]=1::2::3::NilB.valname:List[String]="Tom"::("Jack"::("Lucy"::Nil))C.vallist:String=List(“a”,“b”,“c”)D.valnumber:List[Int]=List(1,2,3,4,5)3.在圖的創(chuàng)建過(guò)程中，哪個(gè)不是圖的創(chuàng)建方法（）。A.applyB.fromEdgesC.fromVertexsD.fromEdgeTuples4.下列函數(shù)的定義中不正確的是（）。A.defadd(x:Int,y:Int):Int={x+y}B.defminus(x:Int,y:Int)=>{returnx–y}C.defaddFun(x:Int)(y:Int)=x*yD.valadd=(a:Double,b:Double)=>a+b5.Spark堆內(nèi)內(nèi)存中表示執(zhí)行內(nèi)存，主要用于存放計(jì)算過(guò)程中的臨時(shí)數(shù)據(jù)，如執(zhí)行Shuffle時(shí)占用的內(nèi)存是（）。A.StorageMemoryB.ExecutionMemoryC.UserMemoryD.ReservedMemory6.下列不是Spark的部署模式的是（）。A.單機(jī)式B.單機(jī)偽分布式C.列分布式D.完全分布式7.下列哪個(gè)不可以作為SparkStreaming的輸入數(shù)據(jù)流？（）A.KafkaB.TwitterC.TCP套接字D.Openstack8.下列不是劃窗操作重要參數(shù)是（）。A.批處理間隔B.窗口間隔C.滑動(dòng)間隔D.輸入流間隔9.下面的Scala語(yǔ)句能正確執(zhí)行的是（）。A.vala=2;a=3B.vara=2;a=3C.vara=2;a=“3”D.vala=2;a=“3”10.下面哪個(gè)端口不是spark自帶服務(wù)的端口。（）A.8080B.4040C.8090D.1808011.關(guān)于廣播變量，下面哪個(gè)是錯(cuò)誤的。（）A任何函數(shù)調(diào)用B是只讀的C存儲(chǔ)在各個(gè)節(jié)點(diǎn)D存儲(chǔ)在磁盤或HDFS12.Master的ElectedLeader事件后做了哪些操作。（）A.通知driverB.通知workerC.注冊(cè)applicationD.直接ALIVE13.下面哪個(gè)不是圖內(nèi)部存在的操作（）。A.圖結(jié)構(gòu)轉(zhuǎn)換操作B.圖關(guān)聯(lián)操作C.圖近鄰聚合操作D.圖劃分操作14.下面哪個(gè)不是MLlib的特征選擇方法（）。A.VectoerSlicerB.KafSelectorC.RformulaD.ChiSqSelector15.按照任務(wù)劃分，下列不是機(jī)器學(xué)習(xí)模型的是（）。A.回歸模型B.分類模型C.結(jié)構(gòu)化學(xué)習(xí)模型D.結(jié)構(gòu)化統(tǒng)計(jì)模型二．填空題：本大題8小題，共10空，每空2分，共20分。1.Spark的基本計(jì)算單元是____________________________。2.Scala運(yùn)行在________________之上，源代碼通過(guò)scalac編譯器編譯成Java字節(jié)碼，Scala兼容現(xiàn)有的Java程序。3.如果想把一列特征進(jìn)行數(shù)值化，使得相應(yīng)的特征索引化要使用________________方法。4.默認(rèn)的存儲(chǔ)級(jí)別是________________。5.在Spark運(yùn)行架構(gòu)中，以下________________組件負(fù)責(zé)任務(wù)控制。6.Task是運(yùn)行在________________中Executor上的工作單元。7.Scala使用兩個(gè)關(guān)鍵字來(lái)聲明變量：________________和________________。8.Dstream的轉(zhuǎn)換操作中，將RDD進(jìn)行聚合的操作是________________。三．簡(jiǎn)答題：本大題有5小題，每小題6分，共30分。1.driver的功能是什么？2.spark工作機(jī)制？3.RDD機(jī)制？4.Spark技術(shù)棧有哪些組件，每個(gè)組件都有什么功能，適合什么應(yīng)用場(chǎng)景？四．程序題：共20分。使用Spark編程對(duì)文件E:\\hello.txt中的單詞進(jìn)行統(tǒng)計(jì)，完成程序中的代碼。importorg.apache.spark.rdd.RDDimportorg.apache.spark.{SparkConf,SparkContext}objectSparkWordCountWithScala{defmain(args:Array[String]):Unit={valconf=newSparkConf() //設(shè)置運(yùn)行模式為local1._____________________________//設(shè)置任務(wù)名conf.setAppName("WordCount")//創(chuàng)建SparkCore的程序入口valsc=newSparkContext(conf)//讀取文件生成RDDvalfile:RDD[String]=sc.textFile("E:\\hello.txt")//把每一行數(shù)據(jù)按照“,”分割2._________________________________________//讓每一個(gè)單詞都出現(xiàn)一次3._________________________________________//單詞計(jì)數(shù)4._________________