14.2 Hive數(shù)據存儲模型

Hive的數(shù)據存儲模型Hive的數(shù)據存儲模型

Hive中所有的數(shù)據都被存儲在HDFS中，沒有專門的數(shù)據存儲格式（可支持Text、Avro、ORC、SequenceFile、ParquetFile、RCFile等），只需要在創(chuàng)建表時指定Hive數(shù)據中的列分隔符和行分隔符，Hive就可以解析數(shù)據。Hive的數(shù)據存儲模型創(chuàng)建一個內部表cityInfo（cityID,cityName,population），代碼如下：createtablecityInfo(>cityIDstring,>cityNamestring,>populationint)>rowformatdelimited>fieldsterminatedby','>storedastextfile;Hive的數(shù)據存儲模型Hive中的數(shù)據模型包括數(shù)據庫（Database）、表（Table）、分區(qū)（Partition）和桶（Bucket）。Hive的數(shù)據存儲模型（1）數(shù)據庫（Database）：在HDFS中，數(shù)據庫表現(xiàn)為${hive.Metastore.warehouse.dir}目錄下的一個文件夾。在創(chuàng)建表時，如果不指定數(shù)據庫，則默認為“default”數(shù)據庫。（2）表（Table）：在HDFS中，表表現(xiàn)為所屬數(shù)據庫目錄下的一個文件夾。Hive中默認創(chuàng)建的是內部表，這種表的數(shù)據由Hive來管理。當刪除表時，表的數(shù)據和元數(shù)據都會被刪除。Hive的數(shù)據存儲模型（3）分區(qū)（Partition）：在Hive表查詢時，可能只需要掃描表中的某部分數(shù)據，不需要掃描表中的全部內容，因此在建表時引入了分區(qū)的概念。在Hive表查詢時，如果指定了分區(qū)字段作為篩選條件，那么只需要到對應的分區(qū)目錄中檢索數(shù)據即可，減少了處理的數(shù)據量，從而有效地提高了效率。Hive的數(shù)據存儲模型（4）桶（Bucket）：桶可以被理解為將“大表”細分為“小表”的一種數(shù)據結構。這種設計主要是為了提高查詢效率，使得進行抽樣查詢時更加便捷。Hive的數(shù)據存儲模型桶是Hive數(shù)據模型中的最小單元。當某數(shù)據被加載到桶中時，首先會根據字段的值對其進行哈希處理，然后用哈希結果除以桶的數(shù)量來決定該數(shù)據應該存儲在哪個桶中。這樣就確保了每個桶中都有數(shù)據，但每個桶中的數(shù)據條數(shù)可能并不相等。Hive的數(shù)據存儲模型數(shù)據加載-哈希取值-分桶Hive的數(shù)據存儲模型桶是一種技術，用于將數(shù)據分解為更小、更易管