云計(jì)算與大數(shù)據(jù)技術(shù) 課件 第14章 Hive數(shù)據(jù)倉庫

Hive簡介Hive簡介

Hive是Facebook為了解決海量數(shù)據(jù)的統(tǒng)計(jì)分析。而開發(fā)的構(gòu)建在Hadoop之上的一個(gè)大數(shù)據(jù)分析和統(tǒng)計(jì)工具。Hive在某種程度上可以被看作用戶編程接口，采用了SQL的查詢語言HQL（HiveQL），便于熟悉SQL的用戶查詢數(shù)據(jù)。Hive簡介Hive本身并不能存儲(chǔ)和處理數(shù)據(jù)，它依賴于HDFS，又不能直接訪問HDFS數(shù)據(jù)，需要先把HQL語句轉(zhuǎn)換成MapReduce任務(wù)，然后采用批處理的方式在Hadoop上對(duì)海量數(shù)據(jù)進(jìn)行處理。Hive工作流程Hive工作流程

Hive通過其提供的一系列交互接口，接收用戶的SQL指令。它使用自己的Driver程序，結(jié)合元數(shù)據(jù)（Metastore），將這些指令翻譯為MapReduce任務(wù)。然后，Hive將這些任務(wù)提交到Hadoop集群中執(zhí)行。最后，執(zhí)行結(jié)果會(huì)被返回給用戶交互接口，供用戶查看和使用。Hive工作流程在整個(gè)過程中，Hive充當(dāng)了用戶與Hadoop之間的橋梁，使得用戶能夠通過簡單的SQL指令對(duì)大規(guī)模數(shù)據(jù)進(jìn)行查詢和分析。

Hive的數(shù)據(jù)存儲(chǔ)模型Hive的數(shù)據(jù)存儲(chǔ)模型

Hive中所有的數(shù)據(jù)都被存儲(chǔ)在HDFS中，沒有專門的數(shù)據(jù)存儲(chǔ)格式（可支持Text、Avro、ORC、SequenceFile、ParquetFile、RCFile等），只需要在創(chuàng)建表時(shí)指定Hive數(shù)據(jù)中的列分隔符和行分隔符，Hive就可以解析數(shù)據(jù)。Hive的數(shù)據(jù)存儲(chǔ)模型創(chuàng)建一個(gè)內(nèi)部表cityInfo（cityID,cityName,population），代碼如下：createtablecityInfo(>cityIDstring,>cityNamestring,>populationint)>rowformatdelimited>fieldsterminatedby','>storedastextfile;Hive的數(shù)據(jù)存儲(chǔ)模型Hive中的數(shù)據(jù)模型包括數(shù)據(jù)庫（Database）、表（Table）、分區(qū)（Partition）和桶（Bucket）。Hive的數(shù)據(jù)存儲(chǔ)模型（1）數(shù)據(jù)庫（Database）：在HDFS中，數(shù)據(jù)庫表現(xiàn)為${hive.Metastore.warehouse.dir}目錄下的一個(gè)文件夾。在創(chuàng)建表時(shí)，如果不指定數(shù)據(jù)庫，則默認(rèn)為“default”數(shù)據(jù)庫。（2）表（Table）：在HDFS中，表表現(xiàn)為所屬數(shù)據(jù)庫目錄下的一個(gè)文件夾。Hive中默認(rèn)創(chuàng)建的是內(nèi)部表，這種表的數(shù)據(jù)由Hive來管理。當(dāng)刪除表時(shí)，表的數(shù)據(jù)和元數(shù)據(jù)都會(huì)被刪除。Hive的數(shù)據(jù)存儲(chǔ)模型（3）分區(qū)（Partition）：在Hive表查詢時(shí)，可能只需要掃描表中的某部分?jǐn)?shù)據(jù)，不需要掃描表中的全部內(nèi)容，因此在建表時(shí)引入了分區(qū)的概念。在Hive表查詢時(shí)，如果指定了分區(qū)字段作為篩選條件，那么只需要到對(duì)應(yīng)的分區(qū)目錄中檢索數(shù)據(jù)即可，減少了處理的數(shù)據(jù)量，從而有效地提高了效率。Hive的數(shù)據(jù)存儲(chǔ)模型（4）桶（Bucket）：桶可以被理解為將“大表”細(xì)分為“小表”的一種數(shù)據(jù)結(jié)構(gòu)。這種設(shè)計(jì)主要是為了提高查詢效率，使得進(jìn)行抽樣查詢時(shí)更加便捷。Hive的數(shù)據(jù)存儲(chǔ)模型桶是Hive數(shù)據(jù)模型中的最小單元。當(dāng)某數(shù)據(jù)被加載到桶中時(shí)，首先會(huì)根據(jù)字段的值對(duì)其進(jìn)行哈希處理，然后用哈希結(jié)果除以桶的數(shù)量來決定該數(shù)據(jù)應(yīng)該存儲(chǔ)在哪個(gè)桶中。這樣就確保了每個(gè)桶中都有數(shù)據(jù)，但每個(gè)桶中的數(shù)據(jù)條數(shù)可能并不相等。Hive的數(shù)據(jù)存儲(chǔ)模型數(shù)據(jù)加載-哈希取值-分桶Hive的數(shù)