《基于新信息技術(shù)的Hadoop大數(shù)據(jù)技術(shù)》 課件 項目8 Hive的安裝部署

Hadoop大數(shù)據(jù)技術(shù)——Hive數(shù)據(jù)倉庫工具湖南軟件職業(yè)技術(shù)大學(xué)Hive概述數(shù)據(jù)計算是MapReduce數(shù)據(jù)存儲是HDFSHive適合離線數(shù)據(jù)處理Hive最初是構(gòu)建在Hadoop之上的數(shù)據(jù)倉庫。Hive定義了一種類SQL的查詢語言——HQLHive是將HQL轉(zhuǎn)換為MR的語言翻譯器。Hive是由faceBook開源，最初用于解決海量結(jié)構(gòu)化的日志數(shù)據(jù)統(tǒng)計問題，它可以作為ETL工具。Hive是什么Hive產(chǎn)生的背景湖南軟件職業(yè)技術(shù)大學(xué)

Hive

的誕生源于

Facebook

的日志分析需求，面對海量的結(jié)構(gòu)化數(shù)據(jù)，

Hive

能夠以較低的成本完成以往需要大規(guī)模數(shù)據(jù)庫才能完成的任務(wù)，并且學(xué)習(xí)門檻相對較低，應(yīng)用開發(fā)靈活且高效。后來Facebook將

Hive

開源給了

Apache，成為

Apache

的一個頂級項目，至此Hive在大數(shù)據(jù)應(yīng)用方面得到了快速的發(fā)展和普及。Hive的優(yōu)缺點(diǎn)

Hive的優(yōu)點(diǎn)Hive適合數(shù)據(jù)的批處理，解決了傳統(tǒng)關(guān)系型數(shù)據(jù)庫在海量數(shù)據(jù)處理上的瓶頸。Hive構(gòu)建在Hadoop之上，充分利用了集群的存儲資源、計算資源。Hive學(xué)習(xí)使用成本低，支持標(biāo)準(zhǔn)的SQL語法，這樣就免去了編寫MapReduce程序的過程，減少了開發(fā)成本。具有良好的擴(kuò)展性，且能夠?qū)崿F(xiàn)與其他組件的集成開發(fā)。

湖南軟件職業(yè)技術(shù)大學(xué)Hive的缺點(diǎn)HQL的表達(dá)能力依然有限，不支持迭代計算，有些復(fù)雜的運(yùn)算用HQL不易表達(dá)，還需要單獨(dú)編寫MapReduce來實(shí)現(xiàn)。Hive的運(yùn)行效率低、延遲高，這是因為Hive底層計算引擎默認(rèn)為MapReduce，而MapReduce是離線計算框架。Hive的調(diào)優(yōu)比較困難，由于HQL語句最終會轉(zhuǎn)換為MapReduce任務(wù)，所以Hive的調(diào)優(yōu)還需要考慮MapReduce層面的優(yōu)化。Hive在Hadoop生態(tài)系統(tǒng)中的位置湖南軟件職業(yè)技術(shù)大學(xué)HIve在生態(tài)圈的位置Hive和Hadoop的關(guān)系

Hive利用HDFS來存儲數(shù)據(jù)，利用MapReduce來查詢分析數(shù)據(jù)，那么Hive與Hadoop之間的關(guān)系總結(jié)如下。

湖南軟件職業(yè)技術(shù)大學(xué)

Hive需要構(gòu)建在Hadoop集群之上。

Hive中的所有數(shù)據(jù)都存儲在Hadoop分布式文件系統(tǒng)中。

對HQL查詢語句的解釋、優(yōu)化、生成查詢計劃等過程均是由

Hive

完成的，而查詢計劃被轉(zhuǎn)化為

MapReduce

任務(wù)之后需要運(yùn)行在

Hadoop

集群之上。湖南軟件職業(yè)技術(shù)大學(xué)Hive原理及架構(gòu)Hive的設(shè)計原理

Hive的原理Hive

是一種構(gòu)建在Hadoop之上的數(shù)據(jù)倉庫工具，可以使用HQL

語句對數(shù)據(jù)進(jìn)行分析和查詢，而Hive

的底層數(shù)據(jù)都存儲在HDFS中。Hive

在加載數(shù)據(jù)過程中不會對數(shù)據(jù)進(jìn)行任何的修改，只是將數(shù)據(jù)移動到指定的HDFS目錄下，因此，Hive

不支持對數(shù)據(jù)的修改。

湖南軟件職業(yè)技術(shù)大學(xué)支持索引，加快數(shù)據(jù)查詢。內(nèi)置大量用戶自定義函數(shù)(userdefinefunction，簡稱UDF)來對時間、字符串進(jìn)行操作，支持用戶擴(kuò)展UDF

函數(shù)來完成內(nèi)置函數(shù)無法實(shí)現(xiàn)的操作。可以直接使用存儲在Hadoop

文件系統(tǒng)中的數(shù)據(jù)。1324不同的存儲類型，例如，純文本文件、HBase

中的文件。HQL語句最終會被轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行在Hadoop集群之上。5Hive的設(shè)計原理Hive的特點(diǎn)Hive的體系結(jié)構(gòu)湖南軟件職業(yè)技術(shù)大學(xué)Hive的體系架構(gòu)如圖Hive的運(yùn)行機(jī)制湖南軟件職業(yè)技術(shù)大學(xué)（1）用戶通過用戶接口連接hive，編寫HQL語句。（2）Hive解析查詢并指定邏輯查詢計劃。（3）Hive將查詢轉(zhuǎn)換成MapReduce作業(yè)。（4）Hive在Hadoop上執(zhí)行MapReduce作業(yè)。Hive的轉(zhuǎn)換過程湖南軟件職業(yè)技術(shù)大學(xué)

HQL轉(zhuǎn)換為MapReduce作業(yè)的過程如圖所示，有如下幾個步驟：（1）由Hive驅(qū)動模塊中的解釋器對用戶輸入的HQL語句進(jìn)行詞法和語法解析，將HQL語句轉(zhuǎn)換為語法樹的形式。（2）抽象語法樹的結(jié)構(gòu)仍然很復(fù)雜，步方便直接翻譯為MapReduce程序，因此還需要把語法樹轉(zhuǎn)換為查詢塊。（3）把查詢塊轉(zhuǎn)換為邏輯查詢計劃，里面包含很多邏輯操作符。（4）重寫邏輯查詢計劃進(jìn)行優(yōu)化，合并多余操作，減少M(fèi)apReduce任務(wù)數(shù)量。（5）將邏輯操作符轉(zhuǎn)換為需要執(zhí)行的具體MapReduce任務(wù)。（6）對生成的MapReduce進(jìn)行優(yōu)化，生成最終的任務(wù)執(zhí)行計劃。（7）由Hive驅(qū)動模塊中的執(zhí)行器，執(zhí)行最終的MapReduce任務(wù)并輸出運(yùn)行結(jié)果。Hive的數(shù)據(jù)類型湖南軟件職業(yè)技術(shù)大學(xué)

Hive的基本數(shù)據(jù)類型Hive的數(shù)據(jù)類型湖南軟件職業(yè)技術(shù)大學(xué)

Hive的復(fù)雜數(shù)據(jù)類型Hive的數(shù)據(jù)存儲湖南軟件職業(yè)技術(shù)大學(xué)表

Hive的表在邏輯上由存儲的數(shù)據(jù)和描述表中數(shù)據(jù)形式的相關(guān)元數(shù)據(jù)組成。數(shù)據(jù)一般存放在HDFS中，但它也可以放在其他任何Hadoop文件系統(tǒng)中，包括本地文件系統(tǒng)或S3。Hive把元數(shù)據(jù)存放在關(guān)系型數(shù)據(jù)庫中，而不是放在HDFS中。在Hive中創(chuàng)建表時，默認(rèn)情況下Hive負(fù)責(zé)管理數(shù)據(jù)。這意味著Hive把數(shù)據(jù)移入它的“倉庫目錄”。另外一種選擇是創(chuàng)建一個外部表(externaltable)，這會讓Hive到倉庫目錄以外的位置訪問數(shù)據(jù)。分區(qū)（Partition）

Hive把表組織成分區(qū)。這是一種根據(jù)分區(qū)列（如日期）的值對表進(jìn)行粗略劃分的機(jī)制。使用分區(qū)可以加快數(shù)據(jù)分片的查詢速度。以分區(qū)的常用情況為例，如日志文件的每條記錄包含一個時間戳。如果我們根據(jù)日期來對它進(jìn)行分區(qū)，那么同一天的記錄就會被存放在同一個分區(qū)中。這樣做的優(yōu)點(diǎn)是：對于限制到某個或者某些特定日期的查詢，它們的處理可以變得非常高效。因為它們只需要掃描查詢范圍內(nèi)分區(qū)中的文件。