數(shù)據(jù)倉(cāng)庫(kù)Hive應(yīng)用實(shí)戰(zhàn) 教案21-24課時(shí)-Hive數(shù)據(jù)庫(kù)基本操作

湖南汽車工程職業(yè)學(xué)院教師授課教案第5周第1-4課時(shí)累計(jì)24課時(shí)課程名稱大數(shù)據(jù)倉(cāng)庫(kù)HIVE授課課題Hive基本操作授課專業(yè)班級(jí)大數(shù)據(jù)2101、大數(shù)據(jù)2102、大數(shù)據(jù)2103教學(xué)目標(biāo)能熟練創(chuàng)建、查看數(shù)據(jù)庫(kù)；能熟練查詢、選擇數(shù)據(jù)庫(kù)；教學(xué)要點(diǎn)教學(xué)重點(diǎn)創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)教學(xué)難點(diǎn)數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)路徑課型一體化授課教法與學(xué)法（教具）示范演示法、任務(wù)驅(qū)動(dòng)教學(xué)法、分組合作教學(xué)法課后作業(yè)完成智課堂作業(yè)、看視頻熟練操作教學(xué)后記（教師課后填寫）授課教師王海霞、黃史記【課前復(fù)習(xí)】1、Hadoop和Hive強(qiáng)調(diào)優(yōu)化磁盤的（讀和寫）的性能，而限制列的值的長(zhǎng)度相對(duì)來(lái)說(shuō)并不重要。2、TIMESTAMPS表示的是UTC時(shí)間，Hive本身提供了不同時(shí)區(qū)間互相轉(zhuǎn)換的內(nèi)置函數(shù)，即（

to_utc_timestamp函數(shù)）和

from_utc_timestamp函數(shù)。3、Hive和C語(yǔ)言中的struct或者“對(duì)象”類似，都可以通過(guò)（點(diǎn)）符號(hào)訪問(wèn)元素內(nèi)容。4、MAP是一組（鍵-值）對(duì)元組集合，使用數(shù)組表示法可以訪問(wèn)元素。5、CSV，Comma-separatedvalues的縮寫，是用（半角逗號(hào)）作為字段值的分隔符的文本文件；TSV，Tab-separatedvalues的縮寫，是用（制表符）作為字段值的分隔符的文本文件。6、傳統(tǒng)數(shù)據(jù)庫(kù)是（寫時(shí)模式），即數(shù)據(jù)在寫入數(shù)據(jù)庫(kù)時(shí)對(duì)模式進(jìn)行檢查。Hive不會(huì)在數(shù)據(jù)加載時(shí)進(jìn)行驗(yàn)證，而是在查詢時(shí)進(jìn)行，也就是（讀時(shí)模式）。7、Hadoop的通用和強(qiáng)大體現(xiàn)在它能夠存儲(chǔ)和處理任何類型的結(jié)構(gòu)化、（半結(jié)構(gòu)化）或（非結(jié)構(gòu)化）數(shù)據(jù)。8、Hive不是一個(gè)數(shù)據(jù)庫(kù)，而是一個(gè)友好且為我們所熟悉的接口，可以查詢存儲(chǔ)在（HDFS）上的底層數(shù)據(jù)文件?！咀鳂I(yè)點(diǎn)評(píng)】展示超星學(xué)生作業(yè)完成情況，并做點(diǎn)評(píng)。【學(xué)習(xí)目標(biāo)】能熟練創(chuàng)建、查看數(shù)據(jù)庫(kù)；能熟練查詢、選擇數(shù)據(jù)庫(kù)；【課程導(dǎo)入】HiveQL是Hive査詢語(yǔ)言。和普遍使用的所有SQL方言一樣，基于ANSI標(biāo)準(zhǔn)SQL。HiveQL可能和MySQL方言最接近，但是兩者還是存在顯著性差異。Hive不支持行級(jí)插人操作、更新操作和刪除操作，Hive也不支持事務(wù)。Hive增加了在Hadoop背景下的可以提供更高性能的擴(kuò)展，以及個(gè)性化的擴(kuò)展，甚至還增加了一些外部程序。當(dāng)然了，大部分的HiveQL是很常見(jiàn)的。本章是HiveQL數(shù)據(jù)定義語(yǔ)言部分（DDL）的開(kāi)始，主要是創(chuàng)建、查詢、修改和刪除數(shù)據(jù)庫(kù)。Hive中數(shù)據(jù)庫(kù)的概念本質(zhì)上僅僅是表的一個(gè)目錄或者命名空間。然而，對(duì)于具有很多組和用戶的大集群來(lái)說(shuō)，這是非常有用的，因?yàn)檫@樣可以避免表命名沖突。通常會(huì)使用數(shù)據(jù)庫(kù)來(lái)將生產(chǎn)表組織成邏輯組?！拘抡n講授】默認(rèn)數(shù)據(jù)庫(kù)Hive安裝完成并初始化元數(shù)據(jù)后，會(huì)自動(dòng)產(chǎn)生一個(gè)默認(rèn)的數(shù)據(jù)庫(kù)default。hive>showdatabases;OKdefaultTimetaken:0.041seconds,Fetched:1row(s)二、創(chuàng)建數(shù)據(jù)庫(kù)1、創(chuàng)建數(shù)據(jù)庫(kù)的語(yǔ)法形式CREATE(DATABASE|SCHEMA)[IFNOTEXISTS]database_name[COMMENTdatabase_comment][LOCATIONhdfs_path][WITHDBPROPERTIES(property_name=property_value,...)];IFNOTEXISTS是可選子句，通知用戶是否具有相同名字的數(shù)據(jù)庫(kù)存在；不使用該子句，如果該database_name數(shù)據(jù)庫(kù)已經(jīng)存在的話，將會(huì)拋出錯(cuò)誤信息。COMMENT是可選子句，用戶使用該子句為該數(shù)據(jù)庫(kù)增加描述信息。LOCATION是可選子句，修改原來(lái)默認(rèn)存儲(chǔ)位置，并指定數(shù)據(jù)存儲(chǔ)在hdfs_path路徑，且該路徑可以是不存在的。WITHDBPROPERTIES是可選子句，可為數(shù)據(jù)庫(kù)設(shè)置與其相關(guān)的Key-Value（鍵-值對(duì)）格式的數(shù)據(jù)庫(kù)屬性，Key可以自定義?！纠?-1】創(chuàng)建一個(gè)studentdb數(shù)據(jù)庫(kù)實(shí)例，并為該數(shù)據(jù)庫(kù)添加了描述信息、設(shè)置了存儲(chǔ)位置及數(shù)據(jù)庫(kù)屬性?！纠?-2】創(chuàng)建一個(gè)最簡(jiǎn)單的coursedb的數(shù)據(jù)庫(kù)實(shí)例?！纠?-3】使用SCHEMA關(guān)鍵字創(chuàng)建teacherdb數(shù)據(jù)庫(kù)實(shí)例。2、查看數(shù)據(jù)庫(kù)【學(xué)生練習(xí)】1、以下不屬于Hive基礎(chǔ)數(shù)據(jù)類型的是（）CA、INTB、FLOATC、CHARD、STRING

2、TIMESTAMP數(shù)據(jù)類型的值不可以是（）DA、整數(shù)B、浮點(diǎn)數(shù)C、STRINGD、BINARY3、TINYINT表示2byte有符號(hào)整數(shù)。（）錯(cuò)【新課講授】二、集合數(shù)據(jù)類型數(shù)據(jù)類型描述字面語(yǔ)法示例STRUCT和C語(yǔ)言中的struct或者“對(duì)象”類似，都可以通過(guò)“點(diǎn)”符號(hào)訪問(wèn)元素內(nèi)容。例如，如果某個(gè)列的數(shù)據(jù)類型是STRUCT{firstSTRING，lastSTRING}，那么第1個(gè)元素可以通過(guò)“字段名.first”來(lái)引用。struct（‘John’，’Doe’）MAPMAP是一組鍵-值對(duì)元組集合，使用數(shù)組表示法（例如[‘key’]）可以訪問(wèn)元素。例如，如果某個(gè)列的數(shù)據(jù)是MAP，其中鍵->值對(duì)是‘first’->‘John’和‘last’>‘Doe’那么可以通過(guò)“字段名[‘last’]”獲取最后1個(gè)元素。map（first’，Jor’，last’，Doe’）ARRAY數(shù)組是一組具有相同類型和名稱的變量的集合，這些變量稱為數(shù)組的元素，每個(gè)數(shù)組元素都有一個(gè)編號(hào)，編號(hào)從零開(kāi)始。例如，數(shù)組值為[“John’，‘Doe’]，那么第2個(gè)元素可以通過(guò)“數(shù)組名[1]”進(jìn)行引用。Array（‘John’，‘Doe’）【學(xué)生練習(xí)】1、以下不是Hive中的列支持的集合數(shù)據(jù)類型的是（）BA、structB、BINARYC、mapD、array2、數(shù)組sports（‘Football’,’Basketball’,’Badminton’,’Tabletennis’,’Volleyball’）中存放了各項(xiàng)球類運(yùn)動(dòng)，獲取第3個(gè)數(shù)組元素的正確方式是（）AA、sports[2]B、sports[3]C、sportsD、sports[Badminton]3、TIMESTAMPS表示的是UTC時(shí)間，Hive本身提供了不同時(shí)區(qū)間互相轉(zhuǎn)換的內(nèi)置函數(shù)，即（

to_utc_timestamp函數(shù)）和

from_utc_timestamp函數(shù)。4、Hive和C語(yǔ)言中的struct或者“對(duì)象”類似，都可以通過(guò)（點(diǎn)）符號(hào)訪問(wèn)元素內(nèi)容。5、MAP是一組（鍵-值）對(duì)元組集合，使用數(shù)組表示法可以訪問(wèn)元素?！拘抡n講授】三、文本文件數(shù)據(jù)編碼CSV，Comma-separatedvalues的縮寫，是用半角逗號(hào)（‘，’）作為字段值的分隔符的文本文件；TSV，Tab-separatedvalues的縮寫，是用制表符（Tab，'\t'）作為字段值的分隔符的文本文件；TSV和CSV都是文本文件。Hive是支持TSV和CSV文件格式的。分隔符描述\n對(duì)于文本文件來(lái)說(shuō)，每行都是一條記錄，因此換行符可以分割記錄^A(Ctrl+A)用于分隔字段（列）。在CREATETABLE語(yǔ)句中可以使用八進(jìn)制編碼\001表示^B用于分隔ARRARY或者STRUCT中的元素，或用于MAP中鍵-值對(duì)之間的分隔。在CREATETABLE語(yǔ)句中可以使用八進(jìn)制編碼\002表示^C用于MAP中鍵和值之間的分隔。在CREATETABLE語(yǔ)句中可以使用八進(jìn)制編碼\003表示【學(xué)生練習(xí)】1、CSV，Comma-separatedvalues的縮寫，是用（半角逗號(hào)）作為字段值的分隔符的文本文件；TSV，Tab-separatedvalues的縮寫，是用（制表符）作為字段值的分隔符的文本文件。2、Hadoop的通用和強(qiáng)大體現(xiàn)在它能夠存儲(chǔ)和處理任何類型的結(jié)構(gòu)化、（半結(jié)構(gòu)化）或（非結(jié)構(gòu)化）數(shù)據(jù)。3、Hive不是一個(gè)數(shù)據(jù)庫(kù)，而是一個(gè)友好且為我們所熟悉的接口，可以查詢存儲(chǔ)在（HDFS）上的底層數(shù)據(jù)文件。4、用戶在表結(jié)構(gòu)申明時(shí)可以不使用默認(rèn)分隔符，而指定使用其他分隔符。（）對(duì)5、Hive只支持txt格式文本文件，不支持TSV和CSV文件格式的文本文件。（）錯(cuò)6、Hive到目前為止對(duì)于LINESTERMINATEDBY…僅支持字符‘\n’，即行與行之間的分隔符只能為‘\n’。（）對(duì)【新課講授】四、讀時(shí)模式傳統(tǒng)數(shù)據(jù)庫(kù)中，當(dāng)用戶寫入數(shù)據(jù)時(shí)，不管是采用裝載外部數(shù)據(jù)的方式，還是采用將一個(gè)查詢的輸出結(jié)果寫入的方式，或者是使用UPDATE語(yǔ)句等等，數(shù)據(jù)庫(kù)對(duì)于存儲(chǔ)都具有完全的控制力。數(shù)據(jù)庫(kù)就是“守門人”，傳統(tǒng)數(shù)據(jù)庫(kù)是寫時(shí)模式(schemaonwrite)，即數(shù)據(jù)在寫入數(shù)據(jù)庫(kù)時(shí)對(duì)模式進(jìn)行檢查。Hive對(duì)底層存儲(chǔ)并沒(méi)有這樣的控制。因此，Hive不會(huì)在數(shù)據(jù)加載時(shí)進(jìn)行驗(yàn)證，而是在查詢時(shí)進(jìn)行，也就是讀時(shí)模式（schemaonread）?！緦W(xué)生練習(xí)】1、傳統(tǒng)數(shù)據(jù)庫(kù)是（寫時(shí)模式），即數(shù)據(jù)在寫入數(shù)據(jù)庫(kù)時(shí)對(duì)模式進(jìn)行檢查。Hive不會(huì)在數(shù)據(jù)加載時(shí)進(jìn)行驗(yàn)證，而是在查詢時(shí)進(jìn)行，也就是（讀時(shí)模式）。2、Hadoop的通用和強(qiáng)大體現(xiàn)在它能夠存儲(chǔ)和處理任何類型的結(jié)構(gòu)化、（半結(jié)構(gòu)化）或（非結(jié)構(gòu)化）數(shù)據(jù)。3、Hive不是一個(gè)數(shù)據(jù)庫(kù)，而是一個(gè)友好且為我們所熟悉的接口，可以查詢存儲(chǔ)在（HDFS）上的底層數(shù)據(jù)文件。4、以下對(duì)于Hive的讀時(shí)模式描述錯(cuò)誤的是（）DA、Hive并不控制數(shù)據(jù)如何