Hive大數(shù)據(jù)存儲(chǔ)與處理 教案 第6章 廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化 教案

第6章廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化教案課程名稱：Hive大數(shù)據(jù)存儲(chǔ)與處理課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論36學(xué)時(shí)，實(shí)驗(yàn)28學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：10學(xué)時(shí)材料清單《Hive大數(shù)據(jù)存儲(chǔ)與處理》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)本章先介紹了Hive視圖的創(chuàng)建、查看與刪除方法，其次介紹了如何配置Fetch抓取、設(shè)置map和reduce任務(wù)數(shù)以及配置并行執(zhí)行，然后介紹了使用子查詢的方法，最后介紹了優(yōu)化配置GROUPBY語句和LIMIT語句。本章通過優(yōu)化Hive配置與HQL語句，實(shí)現(xiàn)廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化，幫助讀者掌握各種Hive優(yōu)化方法?；疽笳莆誋ive查詢優(yōu)化的方法。掌握Hive視圖的使用方法。了解配置Fetch抓取的方法。掌握Hive設(shè)置map和reduce任務(wù)數(shù)的方法。掌握Hive配置并行執(zhí)行的方法。掌握子查詢的使用方法。掌握GROUPBY語句的優(yōu)化配置方法。掌握LIMIT語句的優(yōu)化配置方法。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。如何在Hive中創(chuàng)建一個(gè)新的視圖？為什么我們需要配置Fetch抓取？它對查詢性能有什么影響？子查詢在解決哪些復(fù)雜查詢場景中特別有效？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問?；蛘呤菍σ龑?dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。在Hive中使用視圖是否會(huì)引入性能開銷？LIMIT語句在大數(shù)據(jù)查詢中為何需要特殊優(yōu)化？Hive的動(dòng)態(tài)分區(qū)功能如何幫助優(yōu)化大規(guī)模數(shù)據(jù)處理？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。除了GROUPBY和LIMIT之外，還有哪些高級(jí)SQL操作可以在Hive中進(jìn)行優(yōu)化？Hive是否還有其他優(yōu)化配置方法？有哪些？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)Hive查詢優(yōu)化的方法。Hive視圖的使用方法。配置Fetch抓取的方法。Hive設(shè)置map和reduce任務(wù)數(shù)的方法。Hive配置并行執(zhí)行的方法。子查詢的使用方法。GROUPBY語句的優(yōu)化配置方法。LIMIT語句的優(yōu)化配置方法。重點(diǎn)Hive視圖的使用方法。子查詢的使用方法。GROUPBY語句的優(yōu)化配置方法。LIMIT語句的優(yōu)化配置方法。難點(diǎn)掌握子查詢的使用方法。教學(xué)過程設(shè)計(jì)理論教學(xué)過程創(chuàng)建視圖。查看與刪除視圖。配置Fetch抓取。合理設(shè)置map和reduce任務(wù)數(shù)。配置并行執(zhí)行。使用子查詢優(yōu)化查詢語句。優(yōu)化配置GROUPBY語句。使用GROUPBY代替COUNT(DISTINCT)去重統(tǒng)計(jì)。優(yōu)化配置LIMIT語句。實(shí)驗(yàn)教學(xué)過程創(chuàng)建視圖。查看與刪除視圖。使用視圖統(tǒng)計(jì)不同節(jié)目的用戶觀看人數(shù)。配置Fetch抓取。合理設(shè)置map和reduce任務(wù)數(shù)。配置并行執(zhí)行。優(yōu)化統(tǒng)計(jì)直播頻道數(shù)。使用子查詢優(yōu)化查詢語句。優(yōu)化配置GROUPBY語句。使用GROUPBY代替COUNT(DISTINCT)去重統(tǒng)計(jì)。優(yōu)化配置LIMIT語句。使用子查詢統(tǒng)計(jì)節(jié)目類型為直播的頻道Top10。教材與參考資料教材何煌，張良均．Hive大數(shù)據(jù)存儲(chǔ)與處理[M]．北京：人民郵電出版社．2024．參考資料[1] 張軍，張良均．Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)