數(shù)據(jù)工程師培訓(xùn)題庫(四)

.【說明】a) 客觀題30題，每題2分，總計60分b) 主觀題4題，每題10分，總計40分c) 滿分100分?！静欢椷x擇題（每題2分共60分）】1、 下列與HDFS有關(guān)的說法正確的是（ ）AHDFS DataNode節(jié)點上的磁盤需要做RAID1，用來保證數(shù)據(jù)的可靠性BHDFS可以在磁盤之間通過balance操作，平衡磁盤之間的負載情況CHDFS建議DataNode之間的數(shù)據(jù)盤個數(shù)、容量大小不一致，以體現(xiàn)HDFS的負載均衡能力D規(guī)劃HDFS集群時，建議Active NameNode和Standby NameNode分配在不同的機架上 2、 以下哪個服務(wù)作為HDFS高可靠協(xié)調(diào)服務(wù)的共享存儲？（ ）A. ZooKeeperB. JournalNodesC. NameNodeD. ZKFailoverController3、 在集群中配置HDFS的副本數(shù)為3，設(shè)置數(shù)據(jù)塊大小為128M，此時我們上傳一份64M的數(shù)據(jù)文件，該數(shù)據(jù)文件占用HDFS空間大小為（ ）A . 64MB . 128MC . 384MD . 192M4、 在Yarn服務(wù)中，不包含以下哪種角色（ ）A . ResourceManagerB . NodeManagerC . ApplicationMasterD . Contianer5、 ResourceManager是YARN的主要組成部分，有關(guān)其功能描述不正確的是（ ）A . 它直接將集群所擁有的資源按需分配給運行在YARN上的應(yīng)用程序B . 它負責(zé)將集群中的所有資源進行統(tǒng)一管理和分配C . 它接受各個節(jié)點的資源匯報信息D . 它把資源按照策略分配給各應(yīng)用TDH數(shù)據(jù)平臺認證工程師試題姓名：_ 分?jǐn)?shù)：_6、 當(dāng)前用戶提交了一個wordcount詞頻統(tǒng)計的任務(wù)，最后任務(wù)執(zhí)行失敗，可能的原因有哪些（ ）A . 當(dāng)前集群中沒有足夠的資源，不足以滿足當(dāng)前wordcount任務(wù)的需求B . 執(zhí)行該任務(wù)的用戶沒有權(quán)限訪問HDFS上的數(shù)據(jù)文件C . 用戶在執(zhí)行任務(wù)之前在HDFS相應(yīng)的目錄下創(chuàng)建了提交任務(wù)時指定的輸出目錄D . 以上原因都有可能7、 以下關(guān)于外表和托管表描述正確的是（ ）A、外表的數(shù)據(jù)存儲在本地，托管表的數(shù)據(jù)存儲在hdfs上B、刪除托管表只會刪除Inceptor上的元數(shù)據(jù)不會刪除數(shù)據(jù)文件，刪除外表兩者都會被刪除C、刪除外表只會刪除Inceptor上的元數(shù)據(jù)不會刪除數(shù)據(jù)文件，刪除托管表兩者都會被刪除D、刪除托管表或外表，incepotr上的元數(shù)據(jù)和數(shù)據(jù)文件都會被刪除8、 SQL運行中如果出現(xiàn)maptask數(shù)據(jù)特別多，執(zhí)行時間又很短時可以通過小文件合并來進行優(yōu)化，以下是合并參數(shù)有（ ）A. SET ngmr.partition.automerge = TRUE;B. SET ngmr.partition.mergesize = n;C. SET ngmr.partition.mergesize.mb = m;D. SET mapred.reduce.tasks = N;9、 以下關(guān)于inceptor日志信息描述正確的有（ ）A. Inceptor server日志存放于各節(jié)點的/var/log/inceptorsqlx/hive-server.logB. 可以通過inceptor server 4040查看SQL錯誤日志C. Excutor日志存放于excutor節(jié)點的/var/log/inceptorsqlx/spark-excutor.logD ExcutorGC日志存放于excutor節(jié)點的/var/log/inceptorsqlx/spark-excutor.gc.log10、 tableA 有10G的數(shù)據(jù)，tableB有100G的數(shù)據(jù)，兩個表通過共有的id列做關(guān)聯(lián)查詢name列，以下方式可以優(yōu)化計算效率的是（ ）A. select /*+MAPJOIN(a)*/ , from tableA a join tableB b on a.id=b.idB. select /*+MAPJOIN(b)*/ , from tableA a join tableB b on a.id=b.idC. 建表時將tableA 和 tableB 根據(jù)id字段分相同數(shù)量的桶D. 建表時將tableA 和 tableB 根據(jù)name字段分相同數(shù)量的桶11、 以下屬于HMaster功能的是（ ）A 為Region Server 分配regionB 存儲數(shù)據(jù)元信息C 對region進行compact操作D 管理用戶對table的增刪改查操作12、 Hyperbase與Inceptor的關(guān)系，描述正確的是（ ）A 兩者不可或缺，Inceptor保證Hyperbase的服務(wù)的正常運行B 兩者沒有任何關(guān)系C Inceptor可以訪問HyperbaseD 兩者相輔相成13、 下列創(chuàng)建全局索引的語句，正確的是（ ）A add_index t1, index_name, COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=trueB add_global_index t1, index_name, COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=trueC add_fulltext_index t1, index_name, COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=trueD create_global_index t1, index_name, COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true14、 以下對流處理計算框架描述不正確的是（ ）A Spark Streaming是基于微批（batch）對數(shù)據(jù)進行處理的B Apache Storm是基于時間（event）對數(shù)據(jù)進行處理的C Transwarp StreamSQL可基于微批或事件對數(shù)據(jù)進行處理D 以上說法都不對15、 某交通部門通過使用流監(jiān)控全市過往24小時各個卡口數(shù)據(jù)，要求每分鐘更新一次，原始流為org_stream，以下實現(xiàn)正確的是（ ）A. CREATE STREAMWINDOW traffic_stream AS SELECT * FROM original_stream STREAM w1 AS (length 1 minute slide 24 hour);B. CREATE STREAM traffic_stream AS SELECT * FROM original_stream STREAMWINDOW w1 AS (length 1 minute slide 24 hour);C. CREATE STREAM traffic_stream AS SELECT * FROM original_stream STREAMWINDOW w1 AS (length 24 hour slide 1 minute);D. CREATE STREAM traffic_stream AS SELECT * FROM original_stream AS (length 24 second slide 1 minute);16、 Zookeeper服務(wù)描述正確的為（ ）A . Zookeeper中每一個server互為leader。B . Zookeeper中只有一個leader，并通過備份機制產(chǎn)生。C . Zookeeper中不存在leader,所有server共同提供服務(wù)。D . Zookeeper通過選舉機制確定leader，有且僅有一個。17、 通過Hue修改HDFS目錄或文件的權(quán)限可以通過以下哪些方式實現(xiàn)（ ）A Hdfs相應(yīng)的權(quán)限B 通過Hue超級用戶hue登錄C 以hdfs用戶登錄D 以上都可以18、 通過Oozie使用ssh，必須滿足以下條件（ ）A 以root用戶登錄各個節(jié)點B Oozie用戶可以免密鑰登錄 C Oozie用戶必須要有bash權(quán)限D(zhuǎn) . 所訪問必須是集群的節(jié)點19、 有關(guān)使用sqoop抽取數(shù)據(jù)的原理的描述不正確的是（ ）A . sqoop在抽取數(shù)據(jù)的時候可以指定map的個數(shù)，map的個數(shù)決定在hdfs生成的數(shù)據(jù)文件的個數(shù)B . sqoop抽取數(shù)據(jù)是個多節(jié)點并行抽取的過程，因此map的個數(shù)設(shè)置的越多性能越好C . sqoop任務(wù)的切分是根據(jù)split字段的（最大值-最小值）/map數(shù)D . sqoop抽取數(shù)據(jù)的時候需要保證執(zhí)行當(dāng)前用戶有權(quán)限執(zhí)行相應(yīng)的操作20、 在使用sqoop連接關(guān)系型數(shù)據(jù)時，下面哪個命令可以查看關(guān)系型數(shù)據(jù)庫中有哪些表？（ ）A. sqoop list-databases -username root -password 111111 -connect jdbc:mysql:/5:3306/B. sqoop list-databases -username root -P -connect jdbc:mysql:/5:3306/C. sqoop list-databases -username root -password-file file:/root/.pwd -connect jdbc:mysql:/5:3306/D. sqoop list-tables -username root -password 111111 -connect jdbc:mysql:/5:3306/test21、 要將采集的日志數(shù)據(jù)作為kafka的數(shù)據(jù)源，則flume sink需要設(shè)置為下列哪項參數(shù)（ ）A . hdfsB . kafkaC . org.apache.flume.sink.kafka.KafkaSinkD . topicname22、 下列是關(guān)于flume和sqoop對比的描述，不正確的是（ ）A . flume主要用來采集日志而sqoop主要用來做數(shù)據(jù)遷移B . flume主要采集流式數(shù)據(jù)而sqoop主要用來遷移規(guī)范化數(shù)據(jù)C . flume和sqoop都是分布式處理任務(wù)D . flume主要用于采集多數(shù)據(jù)源小數(shù)據(jù)而sqoop用來遷移單數(shù)據(jù)源數(shù)據(jù)23、 有關(guān)Elasticsearch描述有誤的一項是（ ）A 它會利用多播形式發(fā)現(xiàn)節(jié)點。B 主節(jié)點(master node) 通過選舉方式產(chǎn)生。C 主節(jié)點(master node)進行集群的管理，只負責(zé)集群節(jié)點添加和刪除。D 主節(jié)點會去讀集群狀態(tài)信息，必要的時候進行恢復(fù)工作。24、 下面措施中，不能保證kafka數(shù)據(jù)可靠性的是（ ）A . kafka會將所有消息持久化到硬盤中保證其數(shù)據(jù)可靠性B . kafka通過Topic Partition設(shè)置Replication來保證其數(shù)據(jù)可靠性C . kafka通過設(shè)置消息重發(fā)機制保證其數(shù)據(jù)可靠性D . kafka無法保證數(shù)據(jù)可靠性25、 TDH提供哪幾種認證模式？（ ）A 所有服務(wù)使用簡單認證模式所有服務(wù)都無需認證即可互相訪問B 所有服務(wù)都啟用Kerberos認證，用戶要提供Kerberos principal和密碼（或者keytab）來訪問各個服務(wù)C 所有服務(wù)都啟用Kerberos同時Inceptor啟用LDAP認證D 所有服務(wù)都啟用LDAP認證26、 開啟LDAP后，應(yīng)該使用哪個命令連接Inceptor（ ）A. transwarp -t -h $ip。B. beeline -u jdbc:hive2:/$ip:10000 -n $username -p $password。C. beeline -u jdbc:hive2:/$ip:10000/default;principal=hive/node1TDH。D. beeline -u jdbc:hive2:/$ip:10000/default;principal=user1TDH。27、 Inceptor server服務(wù)無法啟動時，該如何查看日志是（ ）A 查看TDH manager所在節(jié)點/var/log/inceptorsql*/目錄下的hive-server2.log日志B 查看Inceptor server所在節(jié)點/var/log/inceptorsql*/目錄下的hive-server2.log日志C 查看Resource Manager所在節(jié)點/var/log/Yarn*/目錄下的yarn-yarn-resourcemanager-poc-node1.log日志D 查看任意節(jié)點/var/log/inceptorsql*/目錄下的hive-server2.log日志28、 現(xiàn)有一批數(shù)據(jù)需要進行清洗，要求對其中null通過update轉(zhuǎn)換為0，刪除重復(fù)的記錄，添加部分新的記錄，則該表應(yīng)該設(shè)計為（ ）A. Te