Hive內(nèi)部培訓(xùn)資料

Hive內(nèi)部培訓(xùn)順豐科技-系統(tǒng)與數(shù)據(jù)集成研發(fā)中心-數(shù)據(jù)集成研發(fā)部第一章第二章第三章第四章Hive是什么Hive特性

怎么用HiveHive的調(diào)優(yōu)及發(fā)展Hive是什么？?Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供類SQL查詢功能。?本質(zhì)是將HQL轉(zhuǎn)換為MapReduce程序Hive關(guān)注以下幾點(diǎn)：在Hadoop中的數(shù)據(jù)可擴(kuò)展的SQL處理可擴(kuò)展到100PB+結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)---現(xiàn)階段公司只是用到結(jié)構(gòu)化的數(shù)據(jù)Hive的架構(gòu)簡(jiǎn)介–在Hadoop生態(tài)圈的位置建立在Hive之上的交換層讓傳統(tǒng)DBA或者Java工程師輕松就能完成更多的工作最終轉(zhuǎn)化成MapReduceJobHive將元數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中，如mysql、derby。Hive中的元數(shù)據(jù)包括表的名字，表的列和分區(qū)及其屬性，表的屬性（是否為外部表等），表的數(shù)據(jù)所在目錄等。解釋器、編譯器、優(yōu)化器完成HQL查詢語(yǔ)句從詞法分析、語(yǔ)法分析、編譯、優(yōu)化以及查詢計(jì)劃的生成。生成的查詢計(jì)劃存儲(chǔ)在HDFS中，并在隨后有MapReduce調(diào)用執(zhí)行。Hive的數(shù)據(jù)存儲(chǔ)在HDFS中，大部分的查詢由MapReduce完成（包含*的查詢，比如select*fromtbl不會(huì)生成MapRedcue任務(wù)）。Hive的架構(gòu)簡(jiǎn)介–接口1、Hive將元數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中，如mysql、derby。Hive中的元數(shù)據(jù)包括表的名字，表的列和分區(qū)及其屬性，表的屬性（是否為外部表等），表的數(shù)據(jù)所在目錄等。

2、解釋器、編譯器、優(yōu)化器完成HQL查詢語(yǔ)句從詞法分析、語(yǔ)法分析、編譯、優(yōu)化以及查詢計(jì)劃的生成。生成的查詢計(jì)劃存儲(chǔ)在HDFS中，并在隨后有MapReduce調(diào)用執(zhí)行。

3、Hive的數(shù)據(jù)存儲(chǔ)在HDFS中，大部分的查詢由MapReduce完成（包含*的查詢，比如select*fromtbl不會(huì)生成MapRedcue任務(wù)）。

Hive和普通關(guān)系數(shù)據(jù)庫(kù)的異同

HiveRDBMS查詢語(yǔ)言HQLSQL數(shù)據(jù)存儲(chǔ)HDFSRawDeviceorLocalFS索引無(wú)有執(zhí)行MapReduceExcutor執(zhí)行延遲高低處理數(shù)據(jù)規(guī)模大小1、查詢語(yǔ)言。專門設(shè)計(jì)了類SQL的查詢語(yǔ)言HQL。熟悉SQL開發(fā)的開發(fā)者可以很方便的使用Hive進(jìn)行開發(fā)。

2、數(shù)據(jù)存儲(chǔ)位置。Hive的數(shù)據(jù)都是存儲(chǔ)在HDFS中的。3、數(shù)據(jù)格式。Hive中沒(méi)有定義專門的數(shù)據(jù)格式，數(shù)據(jù)格式可以由用戶指定.4、數(shù)據(jù)更新。Hive中不支持對(duì)數(shù)據(jù)的改寫即沒(méi)有更新5、執(zhí)行。Hive中大多數(shù)查詢的執(zhí)行是通過(guò)

MapReduce來(lái)實(shí)現(xiàn)的。

6、執(zhí)行延遲。hive延遲較高。但由于MR框架大數(shù)據(jù)量的訪問(wèn)優(yōu)勢(shì)明顯。

7、可擴(kuò)展性。由于Hive是建立在Hadoop之上的，因此Hive的可擴(kuò)展性是和Hadoop的可擴(kuò)展性是一致的（Oracle在理論上的擴(kuò)展能力也只有100臺(tái)左右。

8、數(shù)據(jù)規(guī)模。由于Hive建立在集群上并可以利用MapReduce進(jìn)行并行計(jì)算，因此可以支持很大規(guī)模的數(shù)據(jù)

第一章第二章第三章第四章Hive是什么Hive基本操作

怎么用HiveHive的調(diào)優(yōu)及發(fā)展Hive基本操作–DDLCreate/Drop/AlterDatabaseCreate/Drop/AlterTableAlterTable/Partition/ColumnCreate/Drop/AlterViewCreate/DropIndexCreate/DropFunctionShowDescribeHive基本操作–托管表和外部表Hive默認(rèn)創(chuàng)建ManagedTable，由Hive來(lái)管理數(shù)據(jù)，意味著Hive會(huì)將數(shù)據(jù)移動(dòng)到數(shù)據(jù)倉(cāng)庫(kù)目錄。另外一種選擇是創(chuàng)建ExternalTable，這時(shí)Hive會(huì)到倉(cāng)庫(kù)目錄以外的位置訪問(wèn)數(shù)據(jù)。如何選擇？如果所有處理都由Hive完成，應(yīng)該使用ManagedTable。如果要用Hive和其它工具來(lái)處理同一個(gè)數(shù)據(jù)集，應(yīng)該使用ExternalTables。托管表外部表CREATE/LOAD把數(shù)據(jù)已到倉(cāng)庫(kù)目錄創(chuàng)建表時(shí)指明外部數(shù)據(jù)的位置DROP元數(shù)據(jù)和數(shù)據(jù)會(huì)被一起刪除只刪除元數(shù)據(jù)Hive基本操作–DATABASE在Hive中創(chuàng)建數(shù)據(jù)庫(kù)及托管表(內(nèi)部表)1、登錄進(jìn)入Hivesudo-uhdfshive;2、查看數(shù)據(jù)庫(kù)showdatabases;3、創(chuàng)建數(shù)據(jù)庫(kù)createdatabaseifnotexistsabc_test;4、進(jìn)入abc_test數(shù)據(jù)庫(kù)useabc_test;5、查看數(shù)據(jù)庫(kù)下所有的表showtables;6、創(chuàng)建托管表(內(nèi)部表：刪除表，數(shù)據(jù)同時(shí)被刪除)droptableifexistsabc_table_01;createtableabc_table_01(

idintcomment'序列',

namestringcomment'名稱')comment'創(chuàng)建托管表(內(nèi)部表)'rowformatdelimitedfieldsterminatedby'\001';7、查看表結(jié)構(gòu)

descformattedabc_table_01;Hive基本操作–PartitionHive外部表與分區(qū)表建立。1、創(chuàng)立外部表(刪除外部表，數(shù)據(jù)不會(huì)被刪除)droptableifexistsabc_table_02;createexternaltableabc_table_02(

idintcomment'序列',

namestringcomment'名稱')comment'創(chuàng)建外部表'rowformatdelimitedfieldsterminatedby'\001'location'/test/fin_abc/fin_abc/fct/abc_table_02';2、創(chuàng)建立分區(qū)表

droptableifexistsabc_table_03;createexternaltableabc_table_03(

idintcomment'序列',

namestringcomment'名稱')comment'創(chuàng)建外部表'partitionedby(hq_month_codestring)rowformatdelimitedfieldsterminatedby'\001'location'/test/fin_abc/fin_abc/bsl/abc_table_03';3、添加分區(qū)

altertableabc_table_03addpartition(hq_month_code='201501')location'/test/fin_abc/fin_abc/bsl/abc_table_03/201501';Hive基本操作–TABLEOPERATINGHive數(shù)據(jù)庫(kù)和表的DDL操作1、修改表名

altertableabc_table_01renametoabc_table_01_new;2、添加字段(不能刪除字段)

altertableabc_table_01_newaddcolumns(abcstring);3、修改字段

altertableabc_table_01_newchangeabcnew_abcstring;4、刪除分區(qū)

altertableabc_table_03droppartition(hq_month_code='201501');5、查看分區(qū)showpartitionsabc_table_03;6、刪除表

droptableabc_table_01_new;7、刪除數(shù)據(jù)庫(kù)

dropdatabaseifexistsabc_testcascade;Hive基本操作–TABLEOPERATINGHive表的DML操作1、插入數(shù)據(jù)insertoverwritetableabc_table_01selectcount(*)asid,'test1'fromabc_table_01;insertintotableabc_table_01select1asid,'test12'fromabc_table_01;2、查詢數(shù)據(jù)

selecta.*fromabc_table_01a;

selecta.*fromabc_table_01alimit10;注意：1、Hive支持并行插入。2、Hive不支持不等值連接。

3、Hive中沒(méi)有控制語(yǔ)句如for、ifelse、while等。Hive基本操作–DMLLoadingfilesintotablesInsertingdataintoHiveTablesfromqueriesWritingdataintothefilesystemfromqueriesNote：MultipleInsertHive基本操作–QueriesWHEREClauseALLandDISTINCTClausesPartitionBasedQueriesHAVINGClauseLIMITClauseREGEXColumnSpecificationhttps:///confluence/display/Hive/LanguageManual+SelectHive基本操作–QueriesJoinInnerjoinHive只支持等值連接；JOIN子句中表的順序很重要，一般最好將最大的表在最后;Outerjoin外連接可以讓你找到連接表中不能匹配的數(shù)據(jù)行;Semijoin目前并不支持IN子查詢，可以使用LEFTSEMIJOIN達(dá)到相同效果（右表最能在ON子句中出現(xiàn)）;Mapjoin該查詢Job沒(méi)有reducer；使用時(shí)充分利用BucketedTable，需要設(shè)置hive.optimize.bucketmapjoin為true;慎重使用！第一章第二章第三章第四章Hive是什么Hive基本操作

怎么用HiveHive的調(diào)優(yōu)及發(fā)展Hive使用–以Mc為例數(shù)據(jù)準(zhǔn)備定義數(shù)據(jù)倉(cāng)庫(kù)放置目錄：HDFS目錄/user/cloudil/cdr/bssap/20120717/bssap

-協(xié)議類型

20120717-年月日(開始時(shí)間)

以bssap為例，自行管理倉(cāng)庫(kù)數(shù)據(jù)，按天查詢創(chuàng)建分區(qū)；建表（支持按時(shí)間分區(qū)的外部表）加載數(shù)據(jù)LOADDATAINPATH'/user/cloudil/bssap-2012-08-05-09/'INTOTABLEbssapPARTITION(date='20120805');數(shù)據(jù)應(yīng)用查詢與ET

第一章第二章第三章第四章Hive是什么Hive基本操作

怎么用HiveHive的調(diào)優(yōu)及發(fā)展Hive調(diào)優(yōu)–數(shù)據(jù)存儲(chǔ)模型數(shù)據(jù)庫(kù)（database）表（table）表（table）傾斜數(shù)據(jù)正常數(shù)據(jù)分區(qū)分區(qū)桶桶桶桶Hive調(diào)優(yōu)-存儲(chǔ)格式??Built-inFormats:–?Parquet–?ORCFile–?RCFile–?Avro–?DelimitedText–?RegularExpression–?S3Logfile–?TypedBytes??3rd-PartyAddons:–?JSON–?XMLHive調(diào)優(yōu)–參數(shù)以下常用設(shè)置set=fin_abc;--指定對(duì)列set=fin_abc;sethive.fetch.task.conversion=more;--對(duì)于簡(jiǎn)單的不需要聚合的類似SELECT不需要起MapReduce.sethive.cli.print.header=true;--打印列名sethive.exec.reducers.max=200;--最大reducers數(shù)setpress.output=false;--控制hive的查詢結(jié)果輸出是否進(jìn)行壓縮，默認(rèn)不壓縮false；setermediate=true;--決定查詢的中間map/reduce的輸出是否為壓縮setmapred.max.split.size=1000000000;--每個(gè)map的最大輸入大小，該值約小，map數(shù)越多;setmapred.min.split.size.per.node=1000000000;