Hadoop平臺(tái)搭建與應(yīng)用（第2版）（微課版）-教案 項(xiàng)目2 Hive環(huán)境搭建與基本操作

第4頁Hadoop平臺(tái)搭建與應(yīng)用教案NO.2教師姓名授課班級(jí)授課形式理實(shí)一體化授課時(shí)間年月日第周授課時(shí)數(shù)6授課章節(jié)名稱項(xiàng)目

2Hive環(huán)境搭建與基本操作教學(xué)目的（1）了解Hive產(chǎn)生的背景、Hive架構(gòu)。（2）識(shí)記HiveSQL常用語句。（4）學(xué)會(huì)Hive的基本操作。教材分析教學(xué)重點(diǎn)教學(xué)難點(diǎn)Hive的基本操作更新、補(bǔ)充、刪節(jié)內(nèi)容課外作業(yè)熟練Hive的安裝與配置教學(xué)過程教學(xué)提示項(xiàng)目

2Hive環(huán)境搭建與基本操作任務(wù)2.1Hive的安裝與配置Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能，將類SQL語句轉(zhuǎn)換為MapReduce任務(wù)，如圖2-1所示，并執(zhí)行此任務(wù)。圖2-1將類SQL語句轉(zhuǎn)換為MapReduce任務(wù)1．Hive數(shù)據(jù)結(jié)構(gòu)Hive中所有的數(shù)據(jù)都存儲(chǔ)在HDFS中，Hive中包含以下數(shù)據(jù)結(jié)構(gòu)。（1）Table：Hive中的Table和數(shù)據(jù)庫中的Table在概念上是類似的，每一個(gè)Table在Hive中都有一個(gè)相應(yīng)的目錄存儲(chǔ)數(shù)據(jù)。（2）Partition（可選）：在Hive中，表中的一個(gè)Partition對(duì)應(yīng)于表中的一個(gè)目錄，所有的Partition的數(shù)據(jù)都存儲(chǔ)在對(duì)應(yīng)的目錄中。（3）Bucket（可選）：Bucket對(duì)指定列計(jì)算Hash，Partition根據(jù)某個(gè)列的Hash值散列到不同的Bucket中，目的是進(jìn)行并行處理，每一個(gè)Bucket對(duì)應(yīng)一個(gè)文件。2．Hive架構(gòu)Hive架構(gòu)如圖2-2所示。Hadoop和MapReduce是Hive架構(gòu)的基礎(chǔ)。用戶接口主要有CLI客戶端、HiveServer客戶端、HWI客戶端和HUE客戶端（開源的ApacheHadoopUI系統(tǒng)），其中最常用的是CLI客戶端。在CLI客戶端啟動(dòng)時(shí)，會(huì)同時(shí)啟動(dòng)一個(gè)Hive副本。在Windows中，可通過JDBC連接HiveServer的圖形界面工具，包括SQuirrelSQLClient、OracleSQLDeveloper及DbVisualizer。HWI通過瀏覽器訪問Hive，通過Web控制臺(tái)與Hadoop集群進(jìn)行交互來分析及處理數(shù)據(jù)。MetaStore用于存儲(chǔ)和管理Hive的元數(shù)據(jù)，使用關(guān)系數(shù)據(jù)庫來保存元數(shù)據(jù)信息（MySQL、Derby等），Hive中的元數(shù)據(jù)包括表的名稱、表的列和分區(qū)及其屬性、表的屬性（是否為外部表等）、表的數(shù)據(jù)所在目錄等。Hive通過解釋器、編譯器和優(yōu)化器完成HQL查詢語句從詞法分析、語法分析、編譯、優(yōu)化到查詢計(jì)劃的生成。生成的查詢計(jì)劃存儲(chǔ)在HDFS中，隨后由MapReduce調(diào)用。大部分的查詢、計(jì)算由MapReduce來完成。圖2-2Hive架構(gòu)3．Hive與傳統(tǒng)關(guān)系型數(shù)據(jù)庫的對(duì)比使用Hive的命令行接口很像操作關(guān)系型數(shù)據(jù)庫，但是Hive和關(guān)系型數(shù)據(jù)庫有很大的不同，具體如下。（1）Hive和關(guān)系型數(shù)據(jù)庫存儲(chǔ)文件的系統(tǒng)不同，Hive使用的是Hadoop的HDFS（Hadoop的分布式文件系統(tǒng)），關(guān)系型數(shù)據(jù)庫使用的是服務(wù)器本地的文件系統(tǒng)。（2）Hive使用的計(jì)算模型是MapReduce，而關(guān)系型數(shù)據(jù)庫使用的是自己設(shè)計(jì)的計(jì)算模型。（3）關(guān)系型數(shù)據(jù)庫都是為實(shí)時(shí)查詢的業(yè)務(wù)而設(shè)計(jì)的，而Hive是為海量數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘而設(shè)計(jì)的，實(shí)時(shí)性很差。因此，Hive的應(yīng)用場景和關(guān)系型數(shù)據(jù)庫有很大的不同。（4）Hive架構(gòu)的基礎(chǔ)是Hadoop，因此很容易擴(kuò)展自己的存儲(chǔ)能力和計(jì)算能力，而關(guān)系型數(shù)據(jù)庫在此方面要差很多。4．Hive的執(zhí)行流程（1）（任意數(shù)據(jù)庫驅(qū)動(dòng)程序，如JDBC、ODBC等）中執(zhí)行。（2）getPlan：Driver根據(jù)查詢編譯器解析Query語句，驗(yàn)證Query語句的語法、查詢計(jì)劃或者查詢條件。（3）getMetaData：編譯器將元數(shù)據(jù)請(qǐng)求發(fā)送給Metastore（任意數(shù)據(jù)庫）。（4）sendMetaData：Metastore將元數(shù)據(jù)作為響應(yīng)發(fā)送給編譯器。（5）sendPlan：編譯器檢查要求并重新發(fā)送Driver的計(jì)劃。此時(shí)，查詢的解析和編譯完成。（6）executePlan：Driver將執(zhí)行計(jì)劃發(fā)送到執(zhí)行引擎，在該過程中的執(zhí)行流程如下。（7）fetchResults：Hive界面從Driver中提取結(jié)果。（8）sendResults：執(zhí)行引擎發(fā)送合成值到Driver。（9）fetchResult：Hive接口從執(zhí)行引擎提取結(jié)果。Hive工具中默認(rèn)使用的是Derby數(shù)據(jù)庫，該數(shù)據(jù)庫使用簡單，操作靈活，但是存在一定的局限性，Hive支持使用第三方數(shù)據(jù)庫（MySQL等），通過配置可以把MySQL集成到Hive工具中，MySQL功能更強(qiáng)大，企業(yè)應(yīng)用也更廣泛。1．MySQL的安裝與配置（1）準(zhǔn)備MySQL安裝包，安裝依賴軟件在docker宿主機(jī)拷貝Mysql安裝包到容器內(nèi)。（2）安裝MySQL。創(chuàng)建simple目錄，并進(jìn)入安裝包所在目錄，通過“l(fā)l”命令查看上一步拷貝到容器內(nèi)的安裝包。解壓mysql安裝包到“/simple”目錄，解壓后的目錄重命名為mysql（重命名操作是為了后續(xù)操作方便）。（3）配置環(huán)境變量，執(zhí)行命令“vim~/.bashrc”，在.bashrc文件最后增加配置如下。exportMYSQL_HOME=/simple/mysqlPATH=$PATH:$MYSQL_HOME/bin執(zhí)行命令“source~/.bashrc”，使得環(huán)境變量立即生效。（4）用戶及權(quán)限相關(guān)配置添加mysql組和mysql用戶，執(zhí)行命令“groupaddmysql”“useradd-r-gmysqlmysql”。進(jìn)入mysql所在的目錄，并更改其所屬的組和用戶。執(zhí)行命令“chgrp-Rmysql.”和“chown-Rmysql.”。執(zhí)行mysql_install_db腳本，對(duì)MySQL中的data目錄進(jìn)行初始化。注意，MySQL服務(wù)進(jìn)程mysqld運(yùn)行時(shí)會(huì)訪問data目錄，所以必須由啟動(dòng)mysqld進(jìn)程的用戶（即之前設(shè)置的mysql用戶）執(zhí)行此腳本，或者使用root用戶執(zhí)行此腳本。執(zhí)行命令時(shí)應(yīng)加上參數(shù)--user=mysql，啟動(dòng)過程中會(huì)生成密碼，將密碼復(fù)制并保存好，第一次登錄時(shí)需要用到。最后一條信息中的“tZYvmX:zD1)j”是登錄Mysql的初始密碼。在mysql目錄中，除了data目錄外，將其余目錄和文件均修改為root用戶所有，mysql用戶只需作為mysql/data目錄中所有文件的所有者即可。（5）配置啟動(dòng)文件為了再次啟動(dòng)MySQL服務(wù)時(shí)，不需要切換到目錄bin，并通過./mysqld_safe--user=mysql進(jìn)行啟動(dòng)操作，對(duì)啟動(dòng)文件進(jìn)行相應(yīng)的配置操作，以便使服務(wù)可以通過執(zhí)行“/etc/init.d/mysql.serverstart”命令進(jìn)行啟動(dòng)。進(jìn)入/etc/init.d目錄，編輯mysql文件。修改mysql文件，在文件中修改2個(gè)目錄的位置，設(shè)置“basedir=/simple/mysql”“datadir=/simple/mysql/data”。啟動(dòng)MySQL服務(wù)。執(zhí)行命令“mysql-uroot-p”，登錄MySQL，提示輸入密碼，將剛才復(fù)制的密碼粘貼到冒號(hào)后面，按“Enter”鍵，進(jìn)入MySQL命令行模式。進(jìn)入命令行模式后，為了方便登錄，需要修改密碼，這里執(zhí)行命令“setpasswordfor'root'@'localhost'=password('123456');”，將密碼修改為“123456”（也可以根據(jù)需要自行設(shè)定）。（6）任務(wù)測試重新啟動(dòng)MySQL服務(wù)并進(jìn)行登錄（密碼使用“123456”）。進(jìn)入MYSQL命令行后創(chuàng)建數(shù)據(jù)庫（提供給Hive使用）。如果登錄時(shí)忘記了密碼，則需要重新設(shè)定密碼。在mysql服務(wù)停止?fàn)顟B(tài)下，可以執(zhí)行命令“mysqld_safe--user=mysql--skip-grant-tables--skip-networking&”跳過密碼驗(yàn)證，之后打開一個(gè)新的窗口，此時(shí)可以免密進(jìn)入MySQL的命令行模式。免密登錄mysql。在命令行中，使用“mysql”數(shù)據(jù)庫，執(zhí)行“UPDATEuserSETauthentication_string=PASSWORD('123456')whereUSER='root'；”命令，重置密碼，并執(zhí)行命令“flushprivileges”刷新權(quán)限。2．基于HDFS和MySQL的Hive環(huán)境搭建（1）解壓Hive進(jìn)入存放安裝包的目錄，執(zhí)行命令“tar–zxvfapache-hive-1.2.1-bin.tar.gz–C/simple/”，把Hive安裝包解壓到/simple目錄中，執(zhí)行完解壓命令之后，在simple目錄中可以查看到解壓后的目錄“apache-hive-1.2.1-bin”，修改目錄名稱為“hive1.2.1”。（2）配置Hive解壓mysql-connector-java-5.1.40.tar.gz，進(jìn)入解壓目錄，拷貝驅(qū)動(dòng)文件“mysql-connector-java-5.1.40-bin.jar”到hive1.2.1目錄的lib目錄下。切換到目錄/simple/hive1.2.1/conf，編輯配置文件hive-env.sh、hive-site.xml、hive-config.sh。編輯環(huán)境變量~/.bashrc。執(zhí)行命令“source~/.bashrc”，使配置的環(huán)境變量立即生效。??隨后，執(zhí)行命令“start-all.sh”，啟動(dòng)Hadoop服務(wù)后，執(zhí)行“./hive”命令。若正確進(jìn)入HiveShell環(huán)境，則表示Hive安裝配置成功。任務(wù)2.2Hive的應(yīng)用1．創(chuàng)建表使用Hive創(chuàng)建表的語法格式如下。CREATE[TEMPORARY][EXTERNAL]TABLE[IFNOTEXISTS][db_name.]table_name[(col_namedata_type[COMMENTcol_comment],...)][COMMENTtable_comment][PARTITIONEDBY(col_namedata_type(COMMENTcol_comment],...)][CLUSTEREDBY（col_name,col_name,...)[SORTEDBY(col_name[ASC|DESC],...)]INTOnum_bucketsBUCKETS][SKEWEDBY(col_name,col_name,...)]ON((col_value,col_value,...),(col_value,col_value,...),...)[STOREDASDIRECTORIES][[ROWFORMATrow_format][STOREDASfile_format]|STOREDBY''[WITHSERDEPROPERTIES(...)]][LOCATIONhdfs_path][TBLPROPERTIES(property_name=property_value,...)][ASselect_statement];2．修改表Hive中的修改表操作包括重命名表、添加列、更新列等。下面對(duì)Hive中的修改表操作進(jìn)行說明。//重命名表操作ALTERTABLEtable_nameRENAMETOnew_table_name//將emp表重命名為emp_newALTERTABLEempRENAMETOemp_new;//添加/更新列操作ALTERTABLEtable_nameADD|REPLACECOLUMNS(col_namedata_type[COMMENTcol_comment],...)//創(chuàng)建測試表createtablestudent(idint,ageint,namestring)rowformatdelimitedfieldsterminatedby'\t';//添加一列addressaltertablestudentaddcolumns(addressstring);//更新所有的列altertablestudentreplacecolumns(idint,namestring);3．查看Hive數(shù)據(jù)庫、表的相關(guān)信息下面對(duì)查看Hive數(shù)據(jù)庫和表的相關(guān)信息的操作進(jìn)行說明。//查看所有數(shù)據(jù)庫showdatabases;//查看數(shù)據(jù)庫中的表showtables;//查看表的所有分區(qū)信息showpartitionstable_name;//查看Hive支持的所有函數(shù)showfunctions;//查看表的信息descextendedt_name;//查看更加詳細(xì)的表信息descformattedtable_name;4．使用LOAD將文本文件的數(shù)據(jù)加載到Hive表中LOAD語法的格式如下。LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]LOAD操作只是單純的復(fù)制/移動(dòng)操作，將數(shù)據(jù)文件移動(dòng)到Hive表對(duì)應(yīng)的位置。filepath可以是相對(duì)路徑，也可以是絕對(duì)路徑。如果指定了LOCAL關(guān)鍵字，則LOAD命令會(huì)查找本地文件系統(tǒng)中的filepath；如果沒有指定LOCAL關(guān)鍵字，則根據(jù)INPATH中的URI查找文件，此處需包含模式的完整URI。如果使用了OVERWRITE關(guān)鍵字，則目標(biāo)表（或者分區(qū)）中的內(nèi)容會(huì)被刪除，并將filepath指向的文件/目錄中的內(nèi)容添加到表/分區(qū)中。如果目標(biāo)表（分區(qū)）已經(jīng)有一個(gè)文件，并且文件名和filepath中的文件名沖突，那么現(xiàn)有的文件會(huì)被新文件所覆蓋。下面通過實(shí)例說明LOAD的相關(guān)操作。5．使用INSERT語句將查詢結(jié)果插入到Hive表中INSERT語法的格式如下。INSERTOVERWRITETABLEtablename1[PARTITION(partcol1=val1,partcol2=val2...)]select_statement1FROMfrom_statement為測試操作創(chuàng)建原始數(shù)據(jù)表如下。DROPTABLEorder_4_partition;CREATETABLEorder_4_partition(orderNumberSTRING,event_timeSTRING)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t';loaddatalocalinpath'/home/hadoop/data/order.txt'overwriteintotableorder_4_partition;insertoverwritetableorder_partitionpartition(event_month='2017-07')select*fromorder_4_partition;6．使用INSERT語句將Hive表中的數(shù)據(jù)導(dǎo)出到文件系統(tǒng)中使用INSERT語句將Hive表中的數(shù)據(jù)導(dǎo)出到文件系統(tǒng)中的語法格式如下。INSERTOVERWRITE[LOCAL]DIRECTORYdirectory1SELECT...FROM...7．基本的SELECT查詢SELECT語法的格式如下。SELECT[ALL|DISTINCT]select_expr,select_expr,..FROMtable_reference[WHEREwhere_condition][GROUPBYcol_list[HAVINGcondition]][CLUSTERBYcol_list|[DISTRIBUTEBYcol_list][SORTBY|ORDERBYcol_list]][LIMITnumber]8．Hive函數(shù)字符串長度函數(shù)為length，語法格式為length(stringA)。字符串反轉(zhuǎn)函數(shù)為reverse，語法格式為reverse(stringA)。字符串連接函數(shù)為concat，語法格式為concat(stringA,stringB…)。帶分隔符字符串連接函數(shù)為concat_ws，語法格式為concat_ws(stringSEP,stringA,stringB…)。字符串截取函數(shù)為substr、substring，語法格式為substr(stringA,intstart)、substring(stringA,intstart)。返回指定字符個(gè)數(shù)的字符串截取函數(shù)為substr，語法格式為substr(stringA,intstart,intlen)。字字符串大寫字母轉(zhuǎn)換為小寫字母的函數(shù)為lower，語法格式為lower(stringA)。刪除字符串兩側(cè)空格的函數(shù)為trim，語法格式為trim(stringA)。刪除字符串左側(cè)空格的函數(shù)為ltrim，語法格式為ltrim(stringA)。刪除字符串右側(cè)空格的函數(shù)為rtrim，語法格式為rtrim(stringA)。正則表達(dá)式替換函數(shù)為regexp_replace，語法格式為regexp_replace(stringA,stringB,C)，即將字符串A中的符合正則表達(dá)式B的部分替換為C。正則表達(dá)式解析函數(shù)為regexp_extract，語法格式為regexp_extract(stringsubject,stringpattern,intindex)，即將字符串subject按照正則表達(dá)式pattern的規(guī)則拆分，返回指定的index字符。URL解析函數(shù)為parse_url，語法格式為parse_url(stringurlString,stringpartToExtract[,stringkeyToExtract])，該函數(shù)返回URL中指定的部分。partToExtract的有效值為HOST、PATH、QUERY、REF、PROTOCOL、AUTHORITY、FILE和USERINFO。JSON解析函數(shù)為get_json_object，語法格式為get_json_object(stringjson_string,stringpath)，用于解析字符串json_string，返回path指定的內(nèi)容；如果輸入的JSON字符串無效，那么返回NULL?？崭褡址瘮?shù)為space，語法格式為space(intn)。重復(fù)字符串函數(shù)為repeat，語法格式為repeat(stringstr,intn)。首字符轉(zhuǎn)換為ASCII的函數(shù)為ascii，語法格式為ascii(stringstr)，用于返回字符串str第一個(gè)字符的ASCII。左補(bǔ)足函數(shù)為lpad，語法格式為lpad(stringstr,intlen,stringpad)，用于將str用pad左補(bǔ)足到len位。右補(bǔ)足函數(shù)為rpad，語法格式為rpad(stringstr,intlen,stringpad)，用于將str用pad右補(bǔ)足到len位。分割字符串函數(shù)為split，語法格式為split(stringstr,stringpat)，用于按照pat字符串分割str，返回分割后的字符串?dāng)?shù)組。集返回str在strList中第一次出現(xiàn)的位置，strList是用逗號(hào)分割的字符串，如果沒有找str字符，則返回0。9．分區(qū)表操作在Hive中，SELECT查詢一般會(huì)掃描整張表的內(nèi)容，該操作將會(huì)導(dǎo)致查詢性能的下降，同時(shí)，大部分查詢操作實(shí)際上只需要掃描表中部分?jǐn)?shù)據(jù)，因此，為了解決這個(gè)問題，Hive在創(chuàng)建表時(shí)引入了partition概念。Hive中分區(qū)表指的是在創(chuàng)建表時(shí)指定的partition的分區(qū)空間。Hive可以將數(shù)據(jù)按照某列或者某些列進(jìn)行分區(qū)管理，目前互聯(lián)網(wǎng)應(yīng)用每天都要存儲(chǔ)大量的日志文件，其中存儲(chǔ)日志必然會(huì)產(chǎn)生日志日期的屬性，因此，在產(chǎn)生分區(qū)時(shí)，可以按照產(chǎn)生日志的日期列進(jìn)行劃分，把每天的日志當(dāng)作一個(gè)分區(qū)。Hive將數(shù)據(jù)組織成分區(qū)，主要是為了提高數(shù)據(jù)的查詢速度。而存儲(chǔ)的每一條記錄到底存儲(chǔ)到哪個(gè)分區(qū)中是由用戶決定的，即用戶在加載數(shù)據(jù)的時(shí)候必須顯式地指定該部分?jǐn)?shù)據(jù)存儲(chǔ)到哪個(gè)分區(qū)中。假設(shè)在Hive創(chuàng)建的表中存在id、content、d_date、d_time4列，其創(chuàng)建分區(qū)表的操作如下。在表定義時(shí)創(chuàng)建單分區(qū)表，按數(shù)據(jù)產(chǎn)生的日期屬性進(jìn)行分區(qū)。在表定義時(shí)創(chuàng)建雙分區(qū)表，按數(shù)據(jù)產(chǎn)生的日期和時(shí)間屬性進(jìn)行分區(qū)。如果表已創(chuàng)建，則可以在此基礎(chǔ)上添加分區(qū)，語法格式如下。ALTERTABLEtable_nameADDpartition_spec[LOCATION'location1']partition_spec[LOCATION'location2']...如果分區(qū)已經(jīng)存在，則可以對(duì)分區(qū)進(jìn)行刪除操作，語法格式如下。ALTERTABLEtable_nameDROPpartition_spec,partition_spec,...將數(shù)據(jù)加載到分區(qū)表中的語法的格式如下。LOADDATA[LOCAL]INPA