大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)第2章 搭建大數(shù)據(jù)集群環(huán)境 -教學(xué)設(shè)計(jì)

PAGE7黑馬程序員《大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)》教學(xué)設(shè)計(jì)課程名稱：大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)授課年級(jí)：20xx年級(jí)授課學(xué)期：20xx學(xué)年第一學(xué)期教師姓名：某某老師2019年9月1日課題名稱第2章搭建大數(shù)據(jù)集群環(huán)境計(jì)劃學(xué)時(shí)10課時(shí)內(nèi)容分析“磨刀不誤砍柴工”，要想順利完成本項(xiàng)目各個(gè)步驟實(shí)驗(yàn)，首先必須得學(xué)會(huì)搭建一個(gè)屬于自己的大數(shù)據(jù)集群環(huán)境。本章將針對(duì)項(xiàng)目所應(yīng)用到相關(guān)技能搭建大數(shù)據(jù)集群環(huán)境。教學(xué)目標(biāo)及基本要求了解虛擬機(jī)的安裝和克隆熟悉Linux系統(tǒng)的網(wǎng)絡(luò)配置和SSH配置掌握Hadoop集群的搭建和配置掌握Hive安裝掌握Sqoop的安裝教學(xué)重點(diǎn)Hadoop集群的搭建和配置Hive安裝Sqoop安裝教學(xué)難點(diǎn)Hadoop集群的搭建和配置虛擬機(jī)安裝與配置Hive安裝教學(xué)方式教師課堂教學(xué)要以講演法講授為主，并結(jié)合多媒體進(jìn)行教學(xué)教學(xué)過程第一課時(shí)（虛擬機(jī)安裝和克隆、Linux系統(tǒng)的網(wǎng)絡(luò)配置、SSH服務(wù)配置）一、回顧第一章內(nèi)容，講解Hadoop集群構(gòu)建的準(zhǔn)備工作1.回顧第一章學(xué)習(xí)知識(shí)，引出本節(jié)主題帶領(lǐng)學(xué)生回顧第一章與項(xiàng)目相關(guān)的內(nèi)容，要想順利開展后續(xù)項(xiàng)目內(nèi)容，首先得學(xué)會(huì)搭建基于Hadoop的大數(shù)據(jù)集群環(huán)境。因此，本章將針對(duì)構(gòu)建大數(shù)據(jù)集群環(huán)境的準(zhǔn)備工作進(jìn)行詳細(xì)講解。2.明確學(xué)習(xí)目標(biāo)（1）了解虛擬機(jī)安裝（2）了解虛擬機(jī)克?。?）熟悉Linux系統(tǒng)網(wǎng)絡(luò)配置（4）熟悉SSH服務(wù)配置二、進(jìn)行重點(diǎn)知識(shí)講解1．虛擬機(jī)安裝教師可以參考課件以講演法的方式講解虛擬機(jī)的安裝。先介紹創(chuàng)建虛擬機(jī)的步驟；使用ISO鏡像文件來初始化Linux系統(tǒng)；通過重啟虛擬機(jī)的引導(dǎo)系統(tǒng)完成虛擬機(jī)安裝。2．虛擬機(jī)克隆教師可以參考課件以講演法的方式講解虛擬機(jī)的克隆。先介紹虛擬機(jī)的克隆有兩種方式，再具體介紹一下這兩種克隆的方式，最后針對(duì)完整克隆方式進(jìn)行分步驟演示克隆虛擬機(jī)。3．Linux系統(tǒng)網(wǎng)絡(luò)配置教師可以參考課件以講演法的方式講述Linux系統(tǒng)網(wǎng)絡(luò)配置。先介紹虛擬機(jī)的主機(jī)名的配置和IP地址的映射配置，再介紹配置Linux系統(tǒng)的網(wǎng)絡(luò)參數(shù)的步驟，最后通過重啟Linux系統(tǒng)，執(zhí)行“ifconfig”指令查看IP的配置是否生效，在執(zhí)行“ping”指令檢測網(wǎng)絡(luò)連接是否正常，若連接正常，說明Linux系統(tǒng)網(wǎng)絡(luò)配置成功，否則不成功。4．SSH服務(wù)配置教師可以參考課件以講演法的方式講述SSH服務(wù)配置。先介紹SSH服務(wù)的作用；介紹SSH遠(yuǎn)程登錄功能和SSH免密登錄功能的配置；通過在hadoop01主機(jī)上輸入“sshhadoop02”指令訪問hadoop02主機(jī)做測試，若是不再需要輸入密碼，則說明hadoop01到hadoop02的單向SSH服務(wù)配置成功，需要說明的是Hadoop集群的所有機(jī)器上都需要進(jìn)行SSH服務(wù)配置。三、歸納總結(jié)，隨堂練習(xí)，布置作業(yè)1．對(duì)課堂上講解的知識(shí)點(diǎn)進(jìn)行總結(jié)。2．讓學(xué)生自己動(dòng)手操作安裝虛擬機(jī)、克隆虛擬機(jī)、配置Linux系統(tǒng)的網(wǎng)絡(luò)以及SSH服務(wù)，以此來鞏固本節(jié)的學(xué)習(xí)內(nèi)容。第二課時(shí)（上機(jī)操作）上機(jī)一：搭建大數(shù)據(jù)集群環(huán)境的安裝準(zhǔn)備按照教材中2.1小節(jié)的內(nèi)容及在教師輔導(dǎo)下完成。第三課時(shí)（Hadoop集群部署模式、JDK安裝、Hadoop安裝）一、回顧前兩節(jié)課內(nèi)容，講述Hadoop集群搭建1．對(duì)前兩節(jié)課遇到的問題進(jìn)行答疑2．回顧上節(jié)課內(nèi)容，引出本節(jié)課的主題通過前兩節(jié)課的學(xué)習(xí)與實(shí)際操作，學(xué)生完成了大數(shù)據(jù)集群環(huán)境搭建的準(zhǔn)備工作。本節(jié)課將針對(duì)Hadoop集群的構(gòu)建進(jìn)行詳細(xì)講解。3．明確學(xué)習(xí)目標(biāo)（1）熟悉Hadoop集群部署模式（2）掌握J(rèn)DK安裝（3）掌握Hadoop安裝二、進(jìn)行重點(diǎn)知識(shí)的講解1.Hadoop集群部署模式教師可以參考課件以講演法的方式來講述Hadoop集群部署模式。先介紹Hadoop集群部署一共有三種方式；然后對(duì)每一種部署模式進(jìn)行詳細(xì)介紹；最后針對(duì)完全分布式模式安裝、配置Hadoop集群進(jìn)行介紹。2.JDK安裝教師可以參考課件以講演法的方式來講述JDK安裝。先介紹安裝JDK的原因，由于Hadoop是由Java語言開發(fā)的，Hadoop集群的使用依賴于Java環(huán)境，因此在安裝Hadoop集群前，需要先安裝并配置好JDK；再介紹JDK下載的路徑和安裝的步驟；接著介紹配置JDK環(huán)境變量；最后通過執(zhí)行“java-version”驗(yàn)證JDK安裝、配置是否成功，若出現(xiàn)JDK的版本則說明JDK安裝、配置成功。3.Hadoop安裝教師可以參考課件以講演法的方式講述Hadoop安裝。先介紹Hadoop的下載路徑和安裝；再介紹配置Hadoop環(huán)境變量；介紹通過執(zhí)行“hadoopversion”指令查看Hadoop安裝是否成功，若出現(xiàn)Hadoop的版本號(hào)，則說明Hadoop安裝成功。三、歸納總結(jié)，隨堂練習(xí)，布置作業(yè)1．對(duì)課堂上講解的知識(shí)點(diǎn)進(jìn)行總結(jié)。2．讓學(xué)生自己動(dòng)手操作安裝JDK和Hadoop，以此來鞏固本節(jié)的學(xué)習(xí)內(nèi)容。第四課時(shí)（Hadoop集群配置、Hadoop集群測試、通過UI界面查看Hadoop運(yùn)行狀態(tài)）一、回顧上節(jié)課內(nèi)容，1.對(duì)上節(jié)課留的作業(yè)進(jìn)行答疑2．回顧上節(jié)課內(nèi)容，引出本節(jié)課的主題上一節(jié)中，主要講解了Hadoop集群部署模式、JDK和Hadoop的安裝。本節(jié)將針對(duì)Hadoop集群的配置、Hadoop集群測試以及通過UI界面查看Hadoop運(yùn)行狀態(tài)進(jìn)行詳細(xì)講解。3．明確學(xué)習(xí)目標(biāo)（1）掌握Hadoop集群配置（2）掌握Hadoop集群測試（3）了解通過UI界面查看Hadoop運(yùn)行狀態(tài)二、進(jìn)行重點(diǎn)知識(shí)的講解1．Hadoop集群配置教師可以參考課件以講演法的方式來講述Hadoop集群配置。介紹配置文件的重要性，通過對(duì)Hadoop提供的只讀配置文件和自定義配置文件進(jìn)行相關(guān)的修改，來保證Hadoop集群可以協(xié)調(diào)運(yùn)行；接著針對(duì)每個(gè)配置文件進(jìn)行詳細(xì)介紹；介紹Hadoop集群的配置，先通過修改hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml以及slaves文件來配置Hadoop集群主節(jié)點(diǎn)；再將集群主節(jié)點(diǎn)的配置文件分發(fā)到其他子節(jié)點(diǎn)；在hadoop01、hadoop02以及hadoop03節(jié)點(diǎn)上分別執(zhí)行“source/etc/profile”指令，使得配置文件生效；至此，Hadoop集群的安裝配置以及完成。2．Hadoop集群測試教師可以參考課件以講演法的方式來講述Hadoop集群測試。（1）介紹完成Hadoop集群的安裝和配置暫且不能啟動(dòng)集群，需要對(duì)文件系統(tǒng)進(jìn)行初始化后才能啟動(dòng)集群，因此需要對(duì)主節(jié)點(diǎn)的文件系統(tǒng)進(jìn)行格式化處理。介紹執(zhí)行格式化處理的指令后，若出現(xiàn)“successfullyformatted”信息則說明格式化文件系統(tǒng)成功，可以正常啟動(dòng)Hadoop集群了。（2）介紹啟動(dòng)和關(guān)閉Hadoop集群有兩種方式和過兩種方式分別演示啟動(dòng)和關(guān)閉Hadoop集群3．通過UI界面查看Hadoop集群運(yùn)行狀態(tài)教師可以參考課件以講演法的方式來講述通過UI界面查看Hadoop集群運(yùn)行狀態(tài)。先介紹Hadoop集群啟動(dòng)后開放的端口號(hào)50070和8088；在本地宿主機(jī)的hosts文件中添加集群服務(wù)IP映射，以便后續(xù)通過UI界面查看Hadoop的運(yùn)行狀態(tài)；關(guān)閉Hadoop集群所有節(jié)點(diǎn)的防火墻；最后通過宿主機(jī)的瀏覽器分別訪問http://hadoop01:50070和查看HDFS和YARN集群狀態(tài)。三、歸納總結(jié)，隨堂練習(xí)，布置作業(yè)1．對(duì)課堂上講解的知識(shí)點(diǎn)進(jìn)行總結(jié)。2．讓學(xué)生自己動(dòng)手進(jìn)行Hadoop集群配置、Hadoop集群測試以及通過UI界面查看Hadoop集群運(yùn)行狀態(tài)的操作，以此來鞏固本節(jié)的學(xué)習(xí)內(nèi)容。第五-六課時(shí)（上機(jī)練習(xí)）上機(jī)二：Hadoop完全分布式集群搭建按照教材中2.2小節(jié)的內(nèi)容及在教師輔導(dǎo)下完成。第七課時(shí)（Hive的安裝模式、Hive的安裝）一、回顧前幾節(jié)課內(nèi)容，1.對(duì)Hadoop完全分布式集群搭建遇到的問題進(jìn)行答疑2．回顧Hadoop完全分布式集群搭建內(nèi)容，引出本節(jié)課的主題在前幾節(jié)中，主要講解了搭建大數(shù)據(jù)集群環(huán)境的準(zhǔn)備工作和Hadoop完全分布式集群搭建內(nèi)容，接下來在已有環(huán)境的基礎(chǔ)上實(shí)現(xiàn)Hive的安裝。3．明確學(xué)習(xí)目標(biāo)（1）了解Hive的安裝模式（2）掌握Hive的安裝與配置二、進(jìn)行重點(diǎn)知識(shí)的講解1．Hive安裝模式講解教師對(duì)Hive的三種安裝模式，嵌入模式、本地模式、遠(yuǎn)程模式進(jìn)行講解。2．Hive安裝（1）教師在虛擬機(jī)中演示安裝Mysql數(shù)據(jù)庫為后續(xù)安裝本地模式Hive提供外部數(shù)據(jù)庫儲(chǔ)存元數(shù)據(jù)。（2）教師在虛擬機(jī)中安裝Hive演示Hive的嵌入模式。（3）教師在虛擬機(jī)中對(duì)Hive進(jìn)行配置實(shí)現(xiàn)Hive的本地模式安裝。三、歸納總結(jié)，隨堂練習(xí)，布置作業(yè)1．對(duì)課堂上講解的知識(shí)點(diǎn)進(jìn)行總結(jié)。2．讓學(xué)生自己動(dòng)手進(jìn)行Hive安裝配置的操作，以此來鞏固本節(jié)的學(xué)習(xí)內(nèi)容。第八課時(shí)（上機(jī)練習(xí)）上機(jī)三：Hive安裝配置按照教材中2.3小節(jié)的內(nèi)容及在教師輔導(dǎo)下完成。第九課時(shí)（Sqoop安裝，上機(jī)操作）一、回顧前幾節(jié)課內(nèi)容，1.對(duì)Hive安裝遇到的問題進(jìn)行答疑2．回顧Hive安裝內(nèi)容，引出本節(jié)課的主題在前幾節(jié)中，我們完成了Hadoop和Hive的安裝，本節(jié)課將安裝Sqoop數(shù)據(jù)遷移工具實(shí)現(xiàn)將Hadoop和Hive中儲(chǔ)存的數(shù)據(jù)內(nèi)容轉(zhuǎn)移到關(guān)系型數(shù)據(jù)庫Mysql中，為實(shí)現(xiàn)web程序的可視化數(shù)據(jù)做準(zhǔn)備。3．明確學(xué)習(xí)目標(biāo)（1）掌握Sqoop的安裝二、