應聘大數(shù)據(jù)面試筆試重點全套

應聘大數(shù)據(jù)面試筆試重點整體請比較MR、HBase、Hive、Presto、Storm、Spark主從架構的異同。請比較Flume、MR、Pig、Storm、Spark在數(shù)據(jù)處理時做了對數(shù)據(jù)做了哪些處理？數(shù)據(jù)采集數(shù)據(jù)分析指標為什么要和維度相結(jié)合？數(shù)據(jù)采集方式有哪幾種？每種采集方式的原理是什么？在做大數(shù)據(jù)分析時，有時候需要偽造一些數(shù)據(jù)，其原理是什么？用什么工具來實現(xiàn)？音視頻數(shù)據(jù)屬于非結(jié)構化數(shù)據(jù)，如何進行大數(shù)據(jù)分析？在flume中一個agent如何連接到另外一個agent？請加以說明畫圖說明kafka如何與flume結(jié)合？請解釋說明數(shù)據(jù)預處理流程5個關鍵節(jié)點。打標簽是什么樣的數(shù)據(jù)行為？有什么意義？kafka的數(shù)據(jù)存在內(nèi)存還是磁盤？為什么？數(shù)據(jù)存儲HDFS對小文件處理有哪些實現(xiàn)方法？請說明HDFS文件壓縮機制，什么叫分片？數(shù)據(jù)倉庫設計時為什么要建立貼源層？請舉例說明什么叫維度表，什么叫事實表？請說明數(shù)據(jù)庫ACID、CAP、BASE含義。HRegion是如何劃分的？有幾種方式訪問HRegion？請說明MemStore與storefile的區(qū)別？舉例畫表說明Hbase物理視圖、概念視圖。請說明Hbase和Hive異同點。數(shù)據(jù)處理請描述hadoop的shuffle過程。請描述在Windows下利用eclipse如何進行MR開發(fā)并上傳到Linuxhadoop下的過程？請描述在Linuxhadoop下利用進行MR開發(fā)的過程？請用pig寫出如何進行單詞統(tǒng)計的程序。請說明pigLatin關鍵詞LOAD、STORE、DUMP、FILTER、DISTINCT、FOREACH、GENERATE、STREAM、JOIN、COGROUP、GROUP、CROSS、ORDER、LIMIT、UNION、SPLIT、DESCRIBE、EXPLAIN、ILLUSTRATE、REGISTER、DEFINE的含義。舉例說明pig特有的數(shù)據(jù)類型Tuple、Bag、Map的含義。MR核心組件有哪些？這些組件分別起到什么作用？Java中的數(shù)據(jù)類型boolean、byte、int、float、long、double、String在MR中分別對應的數(shù)據(jù)類型是什么？數(shù)據(jù)挖掘與分析請畫出數(shù)據(jù)倉庫數(shù)據(jù)整合流程并加以解釋。舉例說明信息熵、信息增益率、最大熵的含義。如何結(jié)合數(shù)據(jù)分析業(yè)務場景理解信息增益率？請舉例說明innerjoin、leftjoin、rightjoin、fulljoin、隱式join的含義。請說明Hive文件格式有哪些。請從數(shù)據(jù)結(jié)構角度說明行存儲和列存儲的區(qū)別。請舉例說明Hive復雜數(shù)據(jù)類型Array、Map、Struct、Union。請列出Hive創(chuàng)建表，分區(qū)，外部表，桶的HQL語句。結(jié)合例子說明如何在Hive中創(chuàng)建自定義函數(shù)？請舉例說明HQL中兩種分布式join算法的含義。舉例說明Hive自定義函數(shù)的開發(fā)，并如何注冊函數(shù)？列出storm安裝過程并描述安裝過程關鍵點。請畫出Storm集群拓撲圖并對拓撲圖每個構件加以描述。列出ooize安裝過程并描述安裝過程關鍵點。列出presto安裝過程并描述安裝過程關鍵點。舉一個presto簡單業(yè)務場景查詢例子。列出presto安裝過程并描述安裝過程關鍵點。舉一個tez簡單業(yè)務場景查詢例子。列出tez安裝過程并描述安裝過程關鍵點。請畫圖示例說明spark中如何進行cogroup。請舉例說明RDD依賴（寬依賴、窄依賴）。請對下表加以解釋：請對下表加以解釋：列出Spark安裝過程并描述安裝過程關鍵點。請畫圖并舉例說明Spark運行和調(diào)度。請說明spark中物理/邏輯執(zhí)行計劃。機