數(shù)據(jù)倉(cāng)庫(kù)Hive應(yīng)用實(shí)戰(zhàn) 教案29-32課時(shí)-數(shù)據(jù)類型和文件格式

湖南汽車工程職業(yè)學(xué)院教師授課教案第4周第5-8課時(shí)累計(jì)32課時(shí)課程名稱大數(shù)據(jù)倉(cāng)庫(kù)HIVE授課課題Hive基本操作授課專業(yè)班級(jí)大數(shù)據(jù)2101、大數(shù)據(jù)2102、大數(shù)據(jù)2103教學(xué)目標(biāo)能熟記Hive的基本數(shù)據(jù)類型及其特點(diǎn)；能熟記Hive的集合數(shù)據(jù)類型及其特點(diǎn)；能理解常用文本文件數(shù)據(jù)編碼；能闡述清楚Hive的讀時(shí)模式教學(xué)要點(diǎn)教學(xué)重點(diǎn)Hive的集合數(shù)據(jù)類型教學(xué)難點(diǎn)Hive的集合數(shù)據(jù)類型課型一體化授課教法與學(xué)法（教具）示范演示法、任務(wù)驅(qū)動(dòng)教學(xué)法、分組合作教學(xué)法課后作業(yè)完成智課堂作業(yè)、看視頻熟練操作教學(xué)后記（教師課后填寫）授課教師王海霞、黃史記【課前復(fù)習(xí)】1、當(dāng)執(zhí)行hive

--help

命令時(shí)返回結(jié)果中不會(huì)出現(xiàn)在Service

List后面的服務(wù)是（）BA、cliB、hiveC、hiveserverD、hwi2、以下哪個(gè)Hive的命名空間中不具有可寫的權(quán)限（）DA、hivevarB、hiveconfC、systemD、env3、以下命令中修改變量值用法錯(cuò)誤的是（）DA、hive>

set

hivevar:name=qiuqiu;B、hive>

set

name=qiuqiu;C、hive>

set

hiveconf:hive.cli.print.current.db=true;D、hive>

set

env:

HOME=/root;4、HiveCLI中增加（）選項(xiàng)可以開啟靜默模式，這樣可以在輸出結(jié)果中去掉“OK”和“

Time

taken”等行，以及其他一些無(wú)關(guān)緊要的輸出信息。DA、-eB、-iC、-fD、-S5、CLI通過(guò)鍵盤的（）鍵支持自動(dòng)補(bǔ)全功能。CA、EnterB、CtrlC、TabD、Shift6、以下在hive

CLI中執(zhí)行

bash

shell命令，操作正確的是（）AA、hive>!/bin/echo

"Iliketoplaybadminton.";B、hive>/bin/echo

"Iliketoplaybadminton.";C、hive>

/bin/echo

"Iliketoplaybadminton."D、hive>!/bin/echo

"Iliketoplaybadminton."7、Hive腳本使用（）符號(hào)添加注釋。CA、#B、<!---->C、--D、//8、設(shè)置讓CLI打印出字段名稱的命令正確的是（）AA、hive>

set

hive.cli.print.

header=true;B、hive>

set

hiveconf:hive.cli.print.current.db=true;C、hive>set

hive.cli.print.

header;D、hive>

set

hiveconf:hive.cli.print.current.db;【作業(yè)點(diǎn)評(píng)】展示智課堂學(xué)生作業(yè)完成情況，并做點(diǎn)評(píng)。【學(xué)習(xí)目標(biāo)】能熟記Hive的基本數(shù)據(jù)類型及其特點(diǎn)；能熟記Hive的集合數(shù)據(jù)類型及其特點(diǎn)；能理解常用文本文件數(shù)據(jù)編碼；能闡述清楚Hive的讀時(shí)模式【課程導(dǎo)入】Hive支持關(guān)系型數(shù)據(jù)庫(kù)中的大多數(shù)基本數(shù)據(jù)類型，同時(shí)也支持關(guān)系型數(shù)據(jù)庫(kù)中很少出現(xiàn)的3種集合數(shù)據(jù)類型。這些數(shù)據(jù)類型是如何在文本文件中進(jìn)行表示的？文本存儲(chǔ)中為了解決各種性能問(wèn)題以及其他問(wèn)題有哪些替代方案？和大多數(shù)的數(shù)據(jù)庫(kù)相比，Hive具有一個(gè)獨(dú)特的功能，那就是其對(duì)于數(shù)據(jù)在文件中的編碼方式具有非常大的靈活性。大多數(shù)的數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)具有完全的控制，這種控制既包括對(duì)數(shù)據(jù)存儲(chǔ)到磁盤的過(guò)程的控制，也包括對(duì)數(shù)據(jù)生命周期的控制。Hive將這些方面的控制權(quán)轉(zhuǎn)交給用戶，以便更加容易地使用各種各樣的工具來(lái)管理和處理數(shù)據(jù)?！拘抡n講授】一、基本數(shù)據(jù)類型數(shù)據(jù)類型長(zhǎng)度例子TINYINT1byte有符號(hào)整數(shù)20SMALINT2byte有符號(hào)整數(shù)20INT4byte有符號(hào)整數(shù)20BIGINT8byte有符號(hào)整數(shù)20BOOLEAN布爾類型，true或者falseTRUEFLOAT單精度浮點(diǎn)數(shù)3.14159DOUBLE雙精度浮點(diǎn)數(shù)3.14159STRING字符序列，可以指定字符集?？梢允褂脝我?hào)或者雙引號(hào)‘nowisthetime’，“forallgoodmen”TIMESTAMP整數(shù)，浮點(diǎn)數(shù)或者字符串1327882394（unix新紀(jì)元秒），1327882394.123456789（unix新紀(jì)元秒并跟隨有納秒數(shù)），‘2020-02-0108:12:55.123456789’（JDBC所兼容的java.sql.Timestamp時(shí)間格式）BINARY字節(jié)數(shù)組【學(xué)生練習(xí)】1、以下不屬于Hive基礎(chǔ)數(shù)據(jù)類型的是（）CA、INTB、FLOATC、CHARD、STRING

2、TIMESTAMP數(shù)據(jù)類型的值不可以是（）DA、整數(shù)B、浮點(diǎn)數(shù)C、STRINGD、BINARY3、TINYINT表示2byte有符號(hào)整數(shù)。（）錯(cuò)【新課講授】二、集合數(shù)據(jù)類型數(shù)據(jù)類型描述字面語(yǔ)法示例STRUCT和C語(yǔ)言中的struct或者“對(duì)象”類似，都可以通過(guò)“點(diǎn)”符號(hào)訪問(wèn)元素內(nèi)容。例如，如果某個(gè)列的數(shù)據(jù)類型是STRUCT{firstSTRING，lastSTRING}，那么第1個(gè)元素可以通過(guò)“字段名.first”來(lái)引用。struct（‘John’，’Doe’）MAPMAP是一組鍵-值對(duì)元組集合，使用數(shù)組表示法（例如[‘key’]）可以訪問(wèn)元素。例如，如果某個(gè)列的數(shù)據(jù)是MAP，其中鍵->值對(duì)是‘first’->‘John’和‘last’>‘Doe’那么可以通過(guò)“字段名[‘last’]”獲取最后1個(gè)元素。map（first’，Jor’，last’，Doe’）ARRAY數(shù)組是一組具有相同類型和名稱的變量的集合，這些變量稱為數(shù)組的元素，每個(gè)數(shù)組元素都有一個(gè)編號(hào)，編號(hào)從零開始。例如，數(shù)組值為[“John’，‘Doe’]，那么第2個(gè)元素可以通過(guò)“數(shù)組名[1]”進(jìn)行引用。Array（‘John’，‘Doe’）【學(xué)生練習(xí)】1、以下不是Hive中的列支持的集合數(shù)據(jù)類型的是（）BA、structB、BINARYC、mapD、array2、數(shù)組sports（‘Football’,’Basketball’,’Badminton’,’Tabletennis’,’Volleyball’）中存放了各項(xiàng)球類運(yùn)動(dòng)，獲取第3個(gè)數(shù)組元素的正確方式是（）AA、sports[2]B、sports[3]C、sportsD、sports[Badminton]3、TIMESTAMPS表示的是UTC時(shí)間，Hive本身提供了不同時(shí)區(qū)間互相轉(zhuǎn)換的內(nèi)置函數(shù)，即（

to_utc_timestamp函數(shù)）和

from_utc_timestamp函數(shù)。4、Hive和C語(yǔ)言中的struct或者“對(duì)象”類似，都可以通過(guò)（點(diǎn)）符號(hào)訪問(wèn)元素內(nèi)容。5、MAP是一組（鍵-值）對(duì)元組集合，使用數(shù)組表示法可以訪問(wèn)元素?！拘抡n講授】三、文本文件數(shù)據(jù)編碼CSV，Comma-separatedvalues的縮寫，是用半角逗號(hào)（‘，’）作為字段值的分隔符的文本文件；TSV，Tab-separatedvalues的縮寫，是用制表符（Tab，'\t'）作為字段值的分隔符的文本文件；TSV和CSV都是文本文件。Hive是支持TSV和CSV文件格式的。分隔符描述\n對(duì)于文本文件來(lái)說(shuō)，每行都是一條記錄，因此換行符可以分割記錄^A(Ctrl+A)用于分隔字段（列）。在CREATETABLE語(yǔ)句中可以使用八進(jìn)制編碼\001表示^B用于分隔ARRARY或者STRUCT中的元素，或用于MAP中鍵-值對(duì)之間的分隔。在CREATETABLE語(yǔ)句中可以使用八進(jìn)制編碼\002表示^C用于MAP中鍵和值之間的分隔。在CREATETABLE語(yǔ)句中可以使用八進(jìn)制編碼\003表示【學(xué)生練習(xí)】1、CSV，Comma-separatedvalues的縮寫，是用（半角逗號(hào)）作為字段值的分隔符的文本文件；TSV，Tab-separatedvalues的縮寫，是用（制表符）作為字段值的分隔符的文本文件。2、Hadoop的通用和強(qiáng)大體現(xiàn)在它能夠存儲(chǔ)和處理任何類型的結(jié)構(gòu)化、（半結(jié)構(gòu)化）或（非結(jié)構(gòu)化）數(shù)據(jù)。3、Hive不是一個(gè)數(shù)據(jù)庫(kù)，而是一個(gè)友好且為我們所熟悉的接口，可以查詢存儲(chǔ)在（HDFS）上的底層數(shù)據(jù)文件。4、用戶在表結(jié)構(gòu)申明時(shí)可以不使用默認(rèn)分隔符，而指定使用其他分隔符。（）對(duì)5、Hive只支持txt格式文本文件，不支持TSV和CSV文件格式的文本文件。（）錯(cuò)6、Hive到目前為止對(duì)于LINESTERMINATEDBY…僅支持字符‘\n’，即行與行之間的分隔符只能為‘\n’。（）對(duì)【新課講授】四、讀時(shí)模式傳統(tǒng)數(shù)據(jù)庫(kù)中，當(dāng)用戶寫入數(shù)據(jù)時(shí)，不管是采用裝載外部數(shù)據(jù)的方式，還是采用將一個(gè)查詢的輸出結(jié)果寫入的方式，或者是使用UPDATE語(yǔ)句等等，數(shù)據(jù)庫(kù)對(duì)于存儲(chǔ)都具有完全的控制力。數(shù)據(jù)庫(kù)就是“守門人”，傳統(tǒng)數(shù)據(jù)庫(kù)是寫時(shí)模式(schemaonwrite)，即數(shù)據(jù)在寫入數(shù)據(jù)庫(kù)時(shí)對(duì)模式進(jìn)行檢查。Hive對(duì)底層存儲(chǔ)并沒(méi)有這樣的控制。因此，Hive不會(huì)在數(shù)據(jù)加載時(shí)進(jìn)行驗(yàn)證，而是在查詢時(shí)進(jìn)行，也就是讀時(shí)模式（schemaonread）?！緦W(xué)生練習(xí)】1、傳統(tǒng)數(shù)據(jù)庫(kù)是（寫時(shí)模式），即數(shù)據(jù)在寫入數(shù)據(jù)庫(kù)時(shí)對(duì)模式進(jìn)行檢查。Hive不會(huì)在數(shù)據(jù)加載時(shí)進(jìn)行驗(yàn)證，而是在查詢時(shí)進(jìn)行，也就是（讀時(shí)模式）。2、Hadoop的通用和強(qiáng)大體現(xiàn)在它能夠存儲(chǔ)和處理任何類型的結(jié)構(gòu)化、（半結(jié)構(gòu)化）或（非結(jié)構(gòu)化）數(shù)據(jù)。3、Hive不是一個(gè)數(shù)據(jù)庫(kù)，而是一個(gè)友好且為我們所熟悉的接口，可以查詢存儲(chǔ)在（HDFS）上的底層數(shù)據(jù)文件。4、以下對(duì)于Hive的讀時(shí)模式描述錯(cuò)誤的是（