《經(jīng)濟(jì)法基礎(chǔ)》課件大數(shù)據(jù)技術(shù)導(dǎo)論(張寺寧)習(xí)題答案

項(xiàng)目一大數(shù)據(jù)的特性有哪些？答：Volume（數(shù)據(jù)量大）、Variety（數(shù)據(jù)類型繁多）、Velocity（處理速度快）、Value（價(jià)值密度低）、Online（在線）。大數(shù)據(jù)時(shí)代產(chǎn)生的原因有哪些？答：外部原因：（1)存儲設(shè)備容量不斷增加。（2)CPU處理能力大幅提升。（3)網(wǎng)絡(luò)帶寬不斷增加。根本原因：數(shù)據(jù)產(chǎn)生方式的巨大變化是大數(shù)據(jù)時(shí)代產(chǎn)生的本質(zhì)原因。一般情況下，大數(shù)據(jù)處理流程分為哪幾個階段？答：大數(shù)據(jù)處理流程分為五步，分別是數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲和數(shù)據(jù)計(jì)算、數(shù)據(jù)分析、數(shù)據(jù)可視化。谷歌公司在大數(shù)據(jù)的發(fā)展中起了重要作用，谷歌“三架馬車”指的是什么？答：在2003年，谷歌公司發(fā)表了谷歌分布式文件系統(tǒng)（GoogleFileSystem，GFS）的論文。在2004年，谷歌又發(fā)表了谷歌大數(shù)據(jù)分布式計(jì)算框架MapReduce的論文。在2006年，谷歌又發(fā)表了大表BigTable的論文。這三篇論文是大數(shù)據(jù)技術(shù)發(fā)展史上重要的里程碑，史稱谷歌大數(shù)據(jù)的“三架馬車”。請結(jié)合自己的專業(yè)談?wù)勅绾卫么髷?shù)據(jù)技術(shù)解決具體問題。答：略項(xiàng)目二敘述大數(shù)據(jù)處理和傳統(tǒng)數(shù)據(jù)處理有什么不同？答：傳統(tǒng)數(shù)據(jù)處理平臺在大數(shù)據(jù)時(shí)代將面臨嚴(yán)重挑戰(zhàn)。主要在以下幾個方面：（1）由于傳統(tǒng)數(shù)據(jù)處理平臺多部署于單機(jī)環(huán)境下，用于處理結(jié)構(gòu)化數(shù)據(jù)。計(jì)算數(shù)據(jù)量也較小，數(shù)據(jù)存儲大多采用關(guān)系型數(shù)據(jù)庫。數(shù)據(jù)計(jì)算效率依賴單機(jī)的性能，數(shù)據(jù)處理速度方面存在瓶頸，對于大數(shù)據(jù)量的處理無法達(dá)到實(shí)時(shí)性要求。（2）傳統(tǒng)的數(shù)據(jù)處理方法以計(jì)算為中心，所有數(shù)據(jù)必須匯總傳輸?shù)揭慌_機(jī)器進(jìn)行計(jì)算，計(jì)算完畢后再返回，增加了數(shù)據(jù)傳輸時(shí)間。隨著數(shù)據(jù)量的增加，處理速度會越來越慢。（3）傳統(tǒng)數(shù)據(jù)處理平臺數(shù)據(jù)來源單一，多用于處理結(jié)構(gòu)化數(shù)據(jù)，對于非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)無能為力。大數(shù)據(jù)處理平臺具有以下特點(diǎn)。（1）分布式數(shù)據(jù)計(jì)算（2）動態(tài)擴(kuò)展性（3）容錯性強(qiáng)（4）I/O傳輸速度快Hadoop的設(shè)計(jì)思想是什么？答：Hadoop的設(shè)計(jì)思想如下。（1）能夠大幅度降低高性能計(jì)算成本用戶可以通過家庭或者工作中普通的PC機(jī)組成大數(shù)據(jù)服務(wù)集群，集群節(jié)點(diǎn)數(shù)量根據(jù)機(jī)器性能可以達(dá)到數(shù)千個。不必花費(fèi)高昂的代價(jià)去購買集群服務(wù)器用于環(huán)境搭建。使高性能計(jì)算實(shí)現(xiàn)成本降低，適用面更廣泛。（2）具有良好的穩(wěn)定性和可靠性爭對集群中單個或多個服務(wù)器節(jié)點(diǎn)失效問題，Hadoop具有自動維護(hù)數(shù)據(jù)的多份復(fù)本，同時(shí)在任務(wù)失敗后能夠重新部署計(jì)算任務(wù)的機(jī)制，從而保障了服務(wù)器集群的穩(wěn)定性和可靠性。（3）能夠大幅度提高數(shù)據(jù)計(jì)算和存儲效率Hadoop采用并行數(shù)據(jù)處理機(jī)制，把海量數(shù)據(jù)分割成多個小型的數(shù)據(jù)塊，并通過數(shù)據(jù)分發(fā)機(jī)制，把數(shù)據(jù)分發(fā)給集群上面的其他節(jié)點(diǎn)進(jìn)行處理，減少了系統(tǒng)對于海量數(shù)據(jù)存儲和處理的時(shí)間。（4）以數(shù)據(jù)為中心秉承機(jī)柜內(nèi)數(shù)據(jù)傳輸速度大于機(jī)柜間傳輸速度的思想（即移動計(jì)算比移動數(shù)據(jù)更高效），對于海量數(shù)據(jù)采用“一次寫，多次讀”的方式，使文件不會被頻繁寫入和修改，保證了集群各個節(jié)點(diǎn)的數(shù)據(jù)處理的高效性。大數(shù)據(jù)有幾種計(jì)算模式？代表技術(shù)分別是什么？答：計(jì)算模式應(yīng)用場景實(shí)時(shí)性代表技術(shù)批處理計(jì)算模式大規(guī)模數(shù)據(jù)的離線批量處理不高M(jìn)apReduce、Spark、Flink等流計(jì)算模式流數(shù)據(jù)的在線實(shí)時(shí)計(jì)算高Storm、Flink、Spark-Streaming、S4等圖計(jì)算大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理不高Pregel、Giraph、GraphX等交互查詢分析模式大規(guī)模數(shù)據(jù)的交互查詢分析較高Hive、Impala等敘述大數(shù)據(jù)處理平臺5種主流架構(gòu)和各自的特點(diǎn)？答：（1）傳統(tǒng)大數(shù)據(jù)架構(gòu)傳統(tǒng)大數(shù)據(jù)架構(gòu)主要為了解決傳統(tǒng)BI的問題，傳統(tǒng)BI經(jīng)過長期的發(fā)展已經(jīng)形成了一套成熟和穩(wěn)定的系統(tǒng)，但是隨著大數(shù)據(jù)時(shí)代的到來，傳統(tǒng)BI系統(tǒng)遇到諸多挑戰(zhàn)。由于傳統(tǒng)BI系統(tǒng)處理數(shù)據(jù)量較少，且多為結(jié)構(gòu)化數(shù)據(jù)的處理。在大數(shù)據(jù)時(shí)代面對大規(guī)模的結(jié)構(gòu)化數(shù)據(jù)和文件、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)的沖擊，傳統(tǒng)BI遇到性能瓶頸問題。因此，我們必須對傳統(tǒng)BI系統(tǒng)進(jìn)行升級改造，引入大數(shù)據(jù)處理技術(shù)搭建架構(gòu)，稱之為傳統(tǒng)大數(shù)據(jù)架構(gòu)。傳統(tǒng)大數(shù)據(jù)架構(gòu)與傳統(tǒng)BI相比，在數(shù)據(jù)分析的業(yè)務(wù)上沒有發(fā)生任何變化，僅僅是為了增加系統(tǒng)的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理能力，提升了系統(tǒng)性能。由于傳統(tǒng)BI業(yè)務(wù)數(shù)據(jù)多為離線批處理，對實(shí)時(shí)性要求不高。所以傳統(tǒng)大數(shù)據(jù)架構(gòu)也以批處理為主，不具備實(shí)時(shí)性，一般采用MapReduce、Spark等技術(shù)進(jìn)行批處理。這種架構(gòu)主要應(yīng)用在以BI為主的業(yè)務(wù)需求上，不過僅用于數(shù)據(jù)處理性能遇到瓶頸問題時(shí)的系統(tǒng)改造上。（2）流式架構(gòu)隨著大數(shù)據(jù)時(shí)代的發(fā)展和傳感器的廣泛應(yīng)用，出現(xiàn)了越來越多的實(shí)時(shí)處理數(shù)據(jù)需求，比如實(shí)時(shí)監(jiān)控預(yù)警，實(shí)時(shí)路徑規(guī)劃，實(shí)時(shí)在線報(bào)表等。傳統(tǒng)大數(shù)據(jù)架構(gòu)為批量數(shù)據(jù)處理，無法滿足實(shí)時(shí)性的需求。這時(shí)就需要搭建能夠?qū)?shù)據(jù)進(jìn)行實(shí)時(shí)處理，時(shí)延小的系統(tǒng)架構(gòu)，這就是流式架構(gòu)。流式架構(gòu)，顧名思義就是整個架構(gòu)只具備對數(shù)據(jù)的實(shí)時(shí)流計(jì)算功能，而不具備對數(shù)據(jù)的批量處理功能。在流式架構(gòu)中，數(shù)據(jù)全程以流的形式處理，沒有ETL過程。經(jīng)過流處理加工后的數(shù)據(jù)，被直接推送顯示出來。流式架構(gòu)僅以窗口的形式進(jìn)行存儲，本身不支持歷史數(shù)據(jù)的重演和統(tǒng)計(jì)分析，不過我們可以根據(jù)實(shí)際需求，在數(shù)據(jù)直接實(shí)時(shí)推送顯示出來時(shí)，把符合我們預(yù)設(shè)條件的，有價(jià)值的數(shù)據(jù)存入數(shù)據(jù)庫中，以便后續(xù)數(shù)據(jù)分析和應(yīng)用。流式架構(gòu)數(shù)據(jù)處理一般采用的流計(jì)算框架比如SparkStreaming、Storm、Flink等。流式架構(gòu)多用于實(shí)時(shí)預(yù)警，實(shí)時(shí)監(jiān)控等對數(shù)據(jù)處理實(shí)時(shí)性要求比較高，同時(shí)又不需要支持歷史數(shù)據(jù)統(tǒng)計(jì)分析和重演的系統(tǒng)。（3）Lambda架構(gòu)Lambda架構(gòu)是現(xiàn)今企業(yè)用的最多的主流大數(shù)據(jù)架構(gòu)。很多企業(yè)大數(shù)據(jù)架構(gòu)基本都是Lambda架構(gòu)或者其變種。Lambda架構(gòu)主要運(yùn)用于同時(shí)需要實(shí)時(shí)流處理和離線批量處理的場景。為了保證數(shù)據(jù)的實(shí)時(shí)處理和批量處理二者并存，Lambda架構(gòu)的數(shù)據(jù)通道分為兩條：實(shí)時(shí)流和離線。實(shí)時(shí)流依照流式架構(gòu)處理，進(jìn)行實(shí)時(shí)在線流計(jì)算，以增量計(jì)算為主。而離線則主要為數(shù)據(jù)批量處理，以全量計(jì)算為主保障數(shù)據(jù)一致性。（4）Kappa架構(gòu)Lambda架構(gòu)運(yùn)用非常廣泛，也能解決大多數(shù)業(yè)務(wù)場景的實(shí)時(shí)和批量處理需求。但是Lambda架構(gòu)也有其自身不足。Lambda查詢結(jié)果來自于批處理層和快速計(jì)算層。而批處理層多用MapReduce、Spark等批處理技術(shù)，而快速計(jì)算層多用Flink、SparkStreaming和Storm等流計(jì)算技術(shù)。系統(tǒng)開發(fā)時(shí)就需要開發(fā)兩種完全不同的代碼，這非常不方便。因此，在Lambda架構(gòu)的基礎(chǔ)上又提出了Kappa架構(gòu)。Kappa架構(gòu)的變革就是，在批處理層不再使用批處理技術(shù)，而也使用快速處理層的流計(jì)算技術(shù)。這樣一來，批處理層和快速處理層都是使用了相同的流處理邏輯，實(shí)現(xiàn)框架統(tǒng)一化，從而簡化了系統(tǒng)開發(fā)工作。（5）Unifield架構(gòu)在傳統(tǒng)Lambda架構(gòu)下，理論上快速處理層的輸出結(jié)果與批處理層的輸出結(jié)果在業(yè)務(wù)意義上是完全相同，如果我們分別用兩張數(shù)據(jù)庫的表來存儲批處理層和快速處理層的計(jì)算結(jié)果，那么這兩張數(shù)據(jù)庫表的表結(jié)構(gòu)應(yīng)該是相同的。只是數(shù)據(jù)記錄不一樣。但在實(shí)際應(yīng)用中我們需要根據(jù)自己的需求對快速處理層做出改動。Unifield架構(gòu)就是以Lambda架構(gòu)為基礎(chǔ)，對其進(jìn)行進(jìn)一步改造，在快速處理層新增了機(jī)器學(xué)習(xí)模型。Hadoop生態(tài)系統(tǒng)組件有哪些，各自的作用是什么？（1）底層底層結(jié)構(gòu)包括HDFS，MapReduce和Zookeeper。其中，HDFS是Hadoop分布式文件存儲系統(tǒng)。MapReduce是Hadoop的分布式并行運(yùn)算框架。Zookeeper是一種基于HDFS和HBase的開源的分布式協(xié)調(diào)服務(wù)組件，由Facebook貢獻(xiàn)給Apache基金會。Zookeeper對Hadoop集群提供分布式鎖服務(wù)，用于解決多個進(jìn)程同步控制問題，防止“臟數(shù)據(jù)”，保證分布式任務(wù)執(zhí)行的一致性。（2）數(shù)據(jù)收集處理轉(zhuǎn)換層數(shù)據(jù)收集處理轉(zhuǎn)換層結(jié)構(gòu)包括HBase、Hive、Pig、Mahout、Sqoop和Flume。HBase（分布式列存數(shù)據(jù)庫）是一個針對結(jié)構(gòu)化數(shù)據(jù)的可伸縮、高可靠、高性能、分布式和面向列的動態(tài)模式數(shù)據(jù)庫。和傳統(tǒng)關(guān)系數(shù)據(jù)庫不同，HBase采用了BigTable的數(shù)據(jù)模型，即增強(qiáng)的稀疏排序映射表（Key/Value）。在HBase中，數(shù)據(jù)的鍵由行關(guān)鍵字、列關(guān)鍵字和時(shí)間戳構(gòu)成。HBase提供了對大規(guī)模數(shù)據(jù)的隨機(jī)、實(shí)時(shí)讀寫訪問，同時(shí)，HBase中保存的數(shù)據(jù)可以使用MapReduce來處理。Hive是一種基于平面文件而構(gòu)建的分布式數(shù)據(jù)倉庫，主要用于數(shù)據(jù)展示，Hive提供了基于SQL的數(shù)據(jù)庫查詢語言，簡化了MapReduce編程難度。利用Hive，用戶只需寫SQL語句，而不需要編寫復(fù)雜的MapReduce程序就能運(yùn)行MapReduce任務(wù)。Pig是一種基于大數(shù)據(jù)集的批量數(shù)據(jù)處理平臺，用于提供數(shù)據(jù)流處理的語言和運(yùn)行環(huán)境，Pig提供一種專用的語言PigLatin。Pig主要用于數(shù)據(jù)準(zhǔn)備階段，提供數(shù)據(jù)加載、合并、過濾排序等數(shù)據(jù)操作功能。Sqoop是一個數(shù)據(jù)接口，主要用來對HDFS和傳統(tǒng)關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行數(shù)據(jù)傳輸。在數(shù)據(jù)傳輸過程中，也可以利用Sqoop來做數(shù)據(jù)清洗。Flume是一種分布式海量日志采集和傳輸?shù)南到y(tǒng)。用于對日志數(shù)據(jù)的收集和簡單的處理。它將數(shù)據(jù)從產(chǎn)生、傳輸、處理并最終寫入目標(biāo)的路徑的過程抽象為一條數(shù)據(jù)流，在數(shù)據(jù)流中，數(shù)據(jù)源是數(shù)據(jù)發(fā)送方，F(xiàn)lume支持收集各種不同協(xié)議數(shù)據(jù)源數(shù)據(jù)。收集完數(shù)據(jù)后，F(xiàn)lume數(shù)據(jù)流能夠?qū)θ罩緮?shù)據(jù)進(jìn)行簡單處理，例如過濾、格式轉(zhuǎn)換等。隨后，F(xiàn)lume數(shù)據(jù)流能夠?qū)⑻幚砗玫臄?shù)據(jù)寫往各種數(shù)據(jù)庫。總的來說，F(xiàn)lume是一個可擴(kuò)展、適合復(fù)雜環(huán)境的海量日志收集工具。（3）數(shù)據(jù)挖掘?qū)訑?shù)據(jù)挖掘?qū)又饕抢脭?shù)據(jù)挖掘組件Mahout執(zhí)行數(shù)據(jù)挖掘任務(wù)。Mahout是Apache旗下的一個開源算法庫，主要用來做數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)，Mahout中包含許多已實(shí)現(xiàn)的算法，例如分類、回歸、聚類、協(xié)同過濾等。傳統(tǒng)的Mahout是提供的是Java的API，用戶應(yīng)用會編譯成MapReduce的工作任務(wù)，運(yùn)行在MapReduce的框架上，計(jì)算效率低?，F(xiàn)在，Spark的出現(xiàn)基本替代了MapReduce，Mahout也已經(jīng)停止接受新的MapReduce算法了，轉(zhuǎn)向支持Spark。（4）監(jiān)控和運(yùn)維層監(jiān)控和運(yùn)維層主要是利用監(jiān)控和運(yùn)維組件對整個集群資源調(diào)度和任務(wù)運(yùn)行進(jìn)行監(jiān)控。在MRv1中一般使用Ambari來對集群進(jìn)行監(jiān)控。Ambari是一款Hadoop集群監(jiān)控工具，提供對Hadoop集群進(jìn)行部署，配置，升級和監(jiān)控的服務(wù)。HadoopMRv2版本生態(tài)系統(tǒng)在MRv1的基礎(chǔ)上引入了Yarn框架進(jìn)行集群的資源管理調(diào)度。因?yàn)镸apReduce本質(zhì)上是一個大數(shù)據(jù)批處理平臺。隨著社會的發(fā)展，批處理框架也越來越多，例如Spark、Flink等。同時(shí)，數(shù)據(jù)在線實(shí)時(shí)處理需求大幅增加。而MRv1不擅長處理實(shí)時(shí)數(shù)據(jù)，同時(shí)還有一些機(jī)器學(xué)習(xí)類的任務(wù)也不太適合用MRv1執(zhí)行。所以，Strom、Flink和SparkStreaming等實(shí)時(shí)計(jì)算框架應(yīng)運(yùn)而生，敘述實(shí)時(shí)計(jì)算和批量計(jì)算的定義和區(qū)別。答：批量計(jì)算指大規(guī)模數(shù)據(jù)的離線批量計(jì)算，計(jì)算數(shù)據(jù)量大，實(shí)時(shí)性要求不高，時(shí)延一般為小時(shí)級。實(shí)時(shí)計(jì)算指數(shù)據(jù)的在線實(shí)時(shí)計(jì)算，數(shù)據(jù)計(jì)算量較大，但是實(shí)時(shí)要求非常高，時(shí)延一般為秒級或毫秒級。畫出Hadoop2.x生態(tài)系統(tǒng)架構(gòu)圖項(xiàng)目三Hadoop開發(fā)環(huán)境單機(jī)、偽分布式、完全分布式的差別是什么？答：單機(jī)模式下Hadoop運(yùn)行只有一個Java進(jìn)程，單機(jī)模式Hadoop只能讀取系統(tǒng)目錄下的本地文件。偽分布式配置Hadoop進(jìn)程運(yùn)行包含多個Java進(jìn)程，節(jié)點(diǎn)既作為NameNode，也作為DataNode，偽分布式配置Hadoop可以讀取本地文件也可以讀取HDFS文件。完全分布式配置Hadoop進(jìn)程運(yùn)行包含多個Java進(jìn)程，NameNode和DataNode節(jié)點(diǎn)由不同的機(jī)器擔(dān)任，完全分布式配置Hadoop可以讀取本地文件也可以讀取HDFS文件。Hadoop偽分布式環(huán)境為什么要設(shè)置免密碼登錄？答：Hadoop集群運(yùn)行時(shí)，NameNode要遠(yuǎn)程啟動DataNode守護(hù)進(jìn)程，NameNode和DataNode之間需要遠(yuǎn)程SSH通信。所以我們需要安裝SSH。但是Hadoop沒有區(qū)分完全分布式和偽分布式，對于偽分布式Hadoop仍然會采用與集群相同的處理方式，按次序啟動DataNode進(jìn)程，只不過在偽分布式中NameNode和DataNode都為localhost，所以對于偽分布式，也必須要安裝SSH。Hadoop偽分布式core-site.xml需要配置哪些屬性，每個屬性的作用是什么？答：<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop//hadoop-2.7.1/tmp</value><description>設(shè)置hadoop默認(rèn)配置目錄</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value><description>設(shè)置hdfs集群訪問路徑</description></property></configuration>hadoop.tmp.dir用于設(shè)置hadoop默認(rèn)配置目錄，fs.defaultFS用于設(shè)置hdfs集群訪問路徑。Hadoop偽分布式hdfs-site.xml需要配置哪些屬性，每個屬性的作用是什么？答：<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>.dir</name><value>file:/usr/local/hadoop/hadoop-2.7.1/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/hadoop-2.7.1/tmp/dfs/data</value></property></configuration>dfs.replication用于設(shè)置文件備份副本數(shù)，.dir是保存FsImage鏡像的目錄，作用是存放hadoop的名稱節(jié)點(diǎn)namenode里的metadata；dfs.datanode.data.dir是存放HDFS文件系統(tǒng)數(shù)據(jù)文件的目錄，作用是存放hadoop的數(shù)據(jù)節(jié)點(diǎn)datanode里的多個數(shù)據(jù)塊。使用HDFS命令進(jìn)行如下操作：在HDFS上創(chuàng)建一個文件夾test，本地上傳一個文件到test目錄下，瀏覽該文件的內(nèi)容。答：可以參考如下格式hdfsdfs-mkdir/testhdfsdfs-put./test.txt/testhdfsdfs-cat/test/test.txt項(xiàng)目四1.常用的大數(shù)據(jù)采集工具有哪些？答：Flume和Kafka，scribe等。數(shù)據(jù)預(yù)處理的作用是什么，有哪幾種數(shù)據(jù)預(yù)處理的方法？答：從數(shù)據(jù)源采集的原始數(shù)據(jù)一般都是“臟”的，所謂“臟”就是數(shù)據(jù)不正常，會影響后續(xù)數(shù)據(jù)存儲和處理過程，甚至數(shù)據(jù)分析的準(zhǔn)確性。常見的“臟”數(shù)據(jù)有數(shù)據(jù)缺失、數(shù)據(jù)值異常、數(shù)據(jù)格式不合要求等，這時(shí)候就需要我們對原始數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理操作，保證數(shù)據(jù)采集的數(shù)據(jù)質(zhì)量，以便后續(xù)步驟的順利進(jìn)行。一般數(shù)據(jù)預(yù)處理主要分為以下幾個方面數(shù)據(jù)清洗，數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)集成，數(shù)據(jù)規(guī)約。什么是爬蟲，爬蟲的作用是什么？答：網(wǎng)絡(luò)爬蟲是一個模擬人類請求網(wǎng)站行為的程序或腳本。網(wǎng)絡(luò)爬蟲可以自動請求網(wǎng)頁并使用一定的規(guī)則把我們所需要的有價(jià)并值的數(shù)據(jù)抓取下來。網(wǎng)頁的基本結(jié)構(gòu)包含哪些？答：網(wǎng)頁一般由三部分組成，分別是HTML（超文本標(biāo)記語言）、CSS（層疊樣式表）和JavaScript（活動腳本語言）。其中，HTML是整個網(wǎng)頁的框架。整個網(wǎng)頁由一些成對出現(xiàn)的HTML標(biāo)簽組成。一個網(wǎng)頁一般分為有head和body兩部分，body內(nèi)部可以包含一些HTML標(biāo)簽，HTML標(biāo)簽里填充具體的網(wǎng)頁內(nèi)容，同時(shí)HTML標(biāo)簽可以具有屬性，比如href屬性用于設(shè)置該標(biāo)簽被點(diǎn)擊時(shí)進(jìn)行超鏈接跳轉(zhuǎn)。CSS主要負(fù)責(zé)定義網(wǎng)頁的外觀樣式，比如長，寬，顏色等等。爬蟲程序如何進(jìn)行數(shù)據(jù)爬?。看穑号老x爬取網(wǎng)頁數(shù)據(jù)的基本過程類似于我們?yōu)g覽網(wǎng)頁的過程。主要分為兩個步驟。（1）Http-Request在Http-Request階段，爬蟲程序?qū)π枰廊?shù)據(jù)的網(wǎng)頁服務(wù)器發(fā)送Http請求，并等待網(wǎng)頁服務(wù)器的Http響應(yīng)。（2）Http-Response在Http-Response階段，網(wǎng)頁服務(wù)器接收到請求后，驗(yàn)證請求的合法性，然后將爬蟲程序請求的網(wǎng)頁數(shù)據(jù)封裝好，發(fā)送Http響應(yīng)。爬蟲程序接收網(wǎng)頁服務(wù)器響應(yīng)，經(jīng)過程序代碼的解析處理，獲取需要爬取的網(wǎng)頁內(nèi)容。項(xiàng)目五大數(shù)據(jù)計(jì)算框架的類別有哪些？常見的大數(shù)據(jù)計(jì)算框架有哪些？畫出HDFS架構(gòu)圖。什么叫NoSQL數(shù)據(jù)庫，NoSQL數(shù)據(jù)庫的作用是什么？答：非關(guān)系（NoSQL）數(shù)據(jù)庫是一種易擴(kuò)展、大數(shù)據(jù)量、高性能和靈活數(shù)據(jù)模型的數(shù)據(jù)庫。NoSQL數(shù)據(jù)庫主要用于存儲非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。HBase數(shù)據(jù)庫前身是什么？答：谷歌bigtable。HBase數(shù)據(jù)庫是哪種NoSQL數(shù)據(jù)庫？HBase如何標(biāo)識每條數(shù)據(jù)？答：HBase是基于Hadoop的面向列的NoSQL數(shù)據(jù)庫。HBase的數(shù)據(jù)存儲在數(shù)據(jù)單元中，每個數(shù)據(jù)單元通過行鍵、列簇、列限定符和時(shí)間戳共同組成的索引來標(biāo)識的。敘述HBase數(shù)據(jù)庫如何進(jìn)行數(shù)據(jù)存儲。答：假設(shè)有一張表，HBase會根據(jù)行鍵的值對該表中的行進(jìn)行分區(qū)，每個行區(qū)間構(gòu)成一個分區(qū)（Region），分區(qū)內(nèi)包含了位于這個行區(qū)間內(nèi)的所有數(shù)據(jù)。默認(rèn)一張表的初始分區(qū)數(shù)為2個，隨著表中數(shù)據(jù)不斷增加，Region不斷增大，當(dāng)增大到超過閾值的時(shí)候，一個Region就會分為兩個Region。表中的行越來越多，Region就越來越多。這么多Region需要一個“管家”來管理，這個管家就是RegionServer。RegionServer的管理原則為每個RegionServer負(fù)責(zé)管理一個或多個Region。不同的Region可以分布在不同的RegionServer上，但一個Region不會拆分到多個RegionServer上。Region并不是數(shù)據(jù)存儲的最小單元。Region往下還可以細(xì)分，每個Region又由一個或者多個Store組成，每個Store保存一個列族的數(shù)據(jù)。每個Store又由一個MemS