信息技術(shù)基礎(chǔ)（拓展模塊） 課件 學(xué)習(xí)單元5大數(shù)據(jù) 5.5

學(xué)習(xí)單元五

大數(shù)據(jù)5.5搭建大數(shù)據(jù)環(huán)境線上課前導(dǎo)學(xué)課前自測(cè)推課前學(xué)習(xí)資源包頭腦風(fēng)暴任務(wù)調(diào)研Hadoop是一個(gè)開(kāi)源的、分布式的數(shù)據(jù)處理框架，旨在解決海量數(shù)據(jù)的存儲(chǔ)和處理問(wèn)題。它最初由Apache開(kāi)發(fā)，目前已成為最流行的分布式數(shù)據(jù)處理平臺(tái)之一。Hadoop包括兩個(gè)核心組件：HadoopDistributedFileSystem（HDFS）和HadoopMapReduce。HDFS是一個(gè)分布式文件系統(tǒng)，能夠存儲(chǔ)海量數(shù)據(jù)，并在不同的計(jì)算機(jī)節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)分發(fā)和備份。

MapReduce則是一種分布式數(shù)據(jù)處理模型，能夠?qū)Ａ繑?shù)據(jù)進(jìn)行分布式計(jì)算。Hadoop支持Java、Python、Scala等多種編程語(yǔ)言，同時(shí)也提供了眾多工具和生態(tài)系統(tǒng)，包括Hive、Pig、Spark等，使得數(shù)據(jù)處理和分析更加高效和靈活。小思考

Hadoop為什么能夠成為最流行的分布式數(shù)據(jù)處理平臺(tái)之一？它有哪些優(yōu)勢(shì)和特點(diǎn)？線上課前導(dǎo)學(xué)頭腦風(fēng)暴任務(wù)調(diào)研課前自測(cè)參考網(wǎng)站：極客時(shí)間：/開(kāi)源中國(guó)：/大數(shù)據(jù)文摘：/參考書籍：《Hadoop權(quán)威指南》《Spark快速大數(shù)據(jù)分析》《大數(shù)據(jù)架構(gòu)模式》《數(shù)據(jù)倉(cāng)庫(kù)工具包》《大數(shù)據(jù)平臺(tái)架構(gòu)：原理、方法與案例》線上課前導(dǎo)學(xué)任務(wù)調(diào)研課前自測(cè)頭腦風(fēng)暴1Hadoop是什么？2Hadoop有哪兩個(gè)核心組件？3Hadoop支持哪些編程語(yǔ)言？線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)經(jīng)過(guò)線上課前預(yù)習(xí)，我們應(yīng)該了解到，搭建大數(shù)據(jù)環(huán)境是實(shí)現(xiàn)大數(shù)據(jù)技術(shù)的重要一環(huán)，對(duì)于企業(yè)和社會(huì)的數(shù)據(jù)處理和分析都有著重要的意義。

學(xué)習(xí)如何搭建大數(shù)據(jù)環(huán)境，需要先了解大數(shù)據(jù)的基本架構(gòu)和技術(shù)原理，包括分布式文件系統(tǒng)、分布式計(jì)算模型、數(shù)據(jù)存儲(chǔ)和管理、數(shù)據(jù)處理和分析等。

在搭建大數(shù)據(jù)環(huán)境的過(guò)程中，我們還需要關(guān)注大數(shù)據(jù)的安全問(wèn)題，學(xué)習(xí)大數(shù)據(jù)安全的基本概念和防護(hù)措施，了解大數(shù)據(jù)隱私保護(hù)的方法和標(biāo)準(zhǔn)。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)1.了解Hadoop安裝部署模式；2.

Hadoop搭建前的環(huán)境準(zhǔn)備；3.

Hadoop偽分布搭建與應(yīng)用。目前來(lái)說(shuō)，Hadoop的安裝部署的模式一共有三種，單機(jī)模式、偽分布模式、全分布模式。考慮到硬件條件限制，我們將安裝第二種偽分布模式并將Namenode、Datanode和、SecondaryNamenode配置到同一節(jié)點(diǎn)。單機(jī)模式單機(jī)模式所需要的系統(tǒng)資源是最少的，也是默認(rèn)的安裝模式。偽分布模式偽分布也就是單節(jié)點(diǎn)集成模式，其所有守護(hù)進(jìn)程都運(yùn)行在同一臺(tái)機(jī)器上Namenode是整個(gè)文件系統(tǒng)的管理節(jié)點(diǎn)。全分布模式完全分布模式是比本地模式與偽分布模式更加復(fù)雜的模式，真正利用多臺(tái)Linux主機(jī)來(lái)進(jìn)行部署Hadoop，對(duì)集群進(jìn)行規(guī)劃，使得Hadoop各個(gè)模塊分別部署在不同的多臺(tái)機(jī)器上。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1Hadoop安裝部署我們選擇CentOS7作為安裝對(duì)象，通過(guò)Vmwareworkstation虛擬機(jī)運(yùn)行系統(tǒng)。本教程默認(rèn)已經(jīng)完成系統(tǒng)安裝。1.設(shè)置服務(wù)器的主機(jī)名稱線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備重啟服務(wù)器或注銷root重新登錄后生效。2.關(guān)閉防火墻并查看防火墻狀態(tài)[root@localhost~]#hostnamectlset-hostnamemaster[root@master~]#cat/etc/hostnamemaster[root@master~]#systemctlstopfirewalld[root@master~]#systemctlstatusfirewalld●firewalld.service-firewalld-dynamicfirewalldaemonLoaded:loaded(/usr/lib/systemd/system/firewalld.service;enabled;vendorpreset:enabled)Active:inactive(dead)since三2022-08-3122:29:41CST;12sagoDocs:man:firewalld(1)Process:826ExecStart=/usr/sbin/firewalld--nofork--nopid$FIREWALLD_ARGS(code=exited,status=0/SUCCESS)MainPID:826(code=exited,status=0/SUCCESS)線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備4.安裝java環(huán)境(1)創(chuàng)建文件夾/opt/software，用于存放安裝軟件包。3.創(chuàng)建Hadoop用戶使用root安裝Hadoop的運(yùn)行環(huán)境，hadoop用戶運(yùn)行Hadoop，添加hadoop用戶，并為該用戶設(shè)置密碼為：hadoop(2)創(chuàng)建/usr/local/src目錄，作為軟件安裝目錄。[root@master~]#useraddhadoop[root@master~]#passwdhadoop更改用戶hadoop的密碼。新的密碼：重新輸入新的密碼：passwd：所有的身份驗(yàn)證令牌已經(jīng)成功更新。[root@master~]#mkdir/opt/software[root@master~]#mkdir-p/usr/local/src線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備(3)查詢兩個(gè)目錄的屬性，目錄所有者為root用戶。[root@master~]#ll/opt/總用量0drwxr-xr-x.2rootroot610月312018rhdrwxr-xr-x.2rootroot68月3122:46software[root@master~]#ll/usr/local/總用量0drwxr-xr-x.2rootroot64月112018bindrwxr-xr-x.2rootroot64月112018etcdrwxr-xr-x.2rootroot64月112018gamesdrwxr-xr-x.2rootroot64月112018includedrwxr-xr-x.2rootroot64月112018libdrwxr-xr-x.2rootroot64月112018lib64drwxr-xr-x.2rootroot64月112018libexecdrwxr-xr-x.2rootroot64月112018sbindrwxr-xr-x.5rootroot497月520:28sharedrwxr-xr-x.2rootroot64月112018src[root@master~]#線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備(4)上傳jdk安裝包將jdk安裝包，Hadoop安裝包上傳至linux服務(wù)器。安裝包下載地址：/s/17OlEl73envfKt6ch9tmMcg?pwd=chpi提取碼chpi。這里默認(rèn)已經(jīng)上傳完成。(5)卸載自帶的OpenJDK查詢：[root@mastersoftware]#lshadoop-2.7.1.tar.gzjdk-8u231-linux-x64.tar.gz[root@mastersoftware]#rpm-qa|grepjavajava-1.7.0-openjdk-headless-61-.el7_8.x86_64python-javapackages-3.4.1-11.el7.noarchtzdata-java-2020a-1.el7.noarchjava-1.8.0-openjdk-headless-62.b10-1.el7.x86_64java-1.8.0-openjdk-62.b10-1.el7.x86_64javapackages-tools-3.4.1-11.el7.noarchjava-1.7.0-openjdk-61-.el7_8.x86_64線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備刪除文件：(6)安裝jdk至服務(wù)器軟件安裝目錄/usr/local/src[root@mastersoftware]#rpm-e--nodepsjava-1.8.0-openjdk-62.b10-1.el7.x86_64[root@mastersoftware]#rpm-e--nodepsjava-1.8.0-openjdk-headless-62.b10-1.el7.x86_64[root@mastersoftware]#rpm-e--nodepsjava-1.7.0-openjdk-headless-61-.el7_8.x86_64[root@mastersoftware]#rpm-e–nodepsjava-1.7.0-openjdk-61-.el7_8.x86_64[root@mastersoftware]#tar-zxvfjdk-8u231-linux-x64.tar.gz-C/usr/local/src/線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備(7)設(shè)置java環(huán)境變量修改/etc/pofile配置文件，在文件最后增加如下兩行：使設(shè)置生效：檢查java是否可用：[root@master~]#vim/etc/profileexportJAVA_HOME=/usr/local/src/jdk1.8.0_231#JAVA_HOME指向JAVA安裝目錄exportPATH=$PATH:$JAVA_HOME/bin#將JAVA安裝目錄加入PATH路徑[root@master~]#source/etc/profile[root@master~]#echo$JAVA_HOME/usr/local/src/jdk1.8.0_231線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備5.安裝Hadoop(1)將Hadoop安裝到/usr/local/src(2)配置環(huán)境變量修改/etc/pofile配置文件，在文件最后增加如下兩行：(3)使設(shè)置生效并檢查[root@mastersoftware]#tar-zxvfhadoop-2.7.1.tar.gz-C/usr/local/src/[root@mastersoftware]#vim/etc/profileexportHADOOP_HOME=/usr/local/src/hadoop-2.7.1/exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin[root@mastersoftware]#source/etc/profile[root@mastersoftware]#hadoop線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備(4)修改目錄所有者和所屬組[root@mastersoftware]#chown-Rhadoop:hadoop/usr/local/src/[root@mastersoftware]#ll/usr/local/src/總用量0drwxr-xr-x.9hadoophadoop1496月292015hadoop-2.7.1drwxr-xr-x.7hadoophadoop24510月52019jdk1.8.0_231線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備6.SSH免密碼登入(1)在master主機(jī)上生成密鑰對(duì)(2)Hadoop用戶在master節(jié)點(diǎn)免密登錄本機(jī)[hadoop@mastersoftware]$ssh-keygen-trsa-P''Generatingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/home/hadoop/.ssh/id_rsa):Createddirectory'/home/hadoop/.ssh'.Youridentificationhasbeensavedin/home/hadoop/.ssh/id_rsa.Yourpublickeyhasbeensavedin/home/hadoop/.ssh/id_rsa.pub.Thekeyfingerprintis:SHA256:6eh4jjG8/oZTeZQnva1xsEyxrfTBbde/eX+IGL2llI4hadoop@masterThekey'srandomartimageis:+---[RSA2048]----+|||.||o=..|[hadoop@mastersoftware]$ssh-copy-idhadoop@master1.偽分布系統(tǒng)設(shè)置(1)基礎(chǔ)環(huán)境配置偽分布式環(huán)境是指：在一臺(tái)服務(wù)器上模擬Hadoop集群工作的一種模式。這里，我們?cè)趍aster節(jié)點(diǎn)進(jìn)行偽分布式系統(tǒng)的配置。

基礎(chǔ)配置包括：安裝JAVA，安裝Hadoop，配置JAVA,HADOOP環(huán)境變量，修改Hadoop配置文件，設(shè)置SSH免密碼登錄等，我們已經(jīng)在前面的操作中完成，下面直接進(jìn)行偽分布式集群配置。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)3Hadoop偽分布搭建與應(yīng)用(2)進(jìn)入Hadoop配置文件目錄線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)3Hadoop偽分布搭建與應(yīng)用(3)修改core-site.xml配置文件fs.defaultFS設(shè)置的是HDFS的地址，設(shè)置運(yùn)行在本地的9000端口上。[hadoop@mastersoftware]$cd/usr/local/src/hadoop-2.7.1/etc/hadoop/[hadoop@masterhadoop]$vimcore-site.xml<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property></configuration>(4)修改hdfs-site.xml配置文件

dfs.replication設(shè)置的是HDFS存儲(chǔ)的臨時(shí)備份數(shù)量，因?yàn)閭畏植寄Ｊ街兄挥幸粋€(gè)節(jié)點(diǎn)，所以設(shè)置為1。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)3Hadoop偽分布搭建與應(yīng)用(5)修改hadoop-env.sh配置文件將原本的JAVA_HOME替換為絕對(duì)路徑：[hadoop@masterhadoop]$vimhdfs-site.xml<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>[hadoop@masterhadoop]$vimhadoop-env.sh#Thejavaimplementationtouse.exportJAVA_HOME=/usr/local/src/jdk1.8.0_231(6)格式化NameNode格式化是對(duì)HDFS中的DataNode進(jìn)行分塊，統(tǒng)計(jì)所有分塊后的初始元數(shù)據(jù)，存儲(chǔ)在NameNode中。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)3Hadoop偽分布搭建與應(yīng)用(7)啟動(dòng)HDFS(8)使用jps命令監(jiān)視進(jìn)程運(yùn)行狀態(tài)[hadoop@masterhadoop]$hdfsnamenode-format[hadoop@masterhadoop]$start-dfs.sh[hadoop@masterhadoop]$jps18691DataNode18548NameNode18842SecondaryNameNode18991Jps(9)使用瀏覽器查詢節(jié)點(diǎn)狀態(tài)線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)3Hadoop偽分布搭建與應(yīng)用2.偽分布式集群測(cè)試(1)在集群上創(chuàng)建目錄/wcinput線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)3Hadoop偽分布搭建與應(yīng)用(3)向集群目錄/wcinput上傳一個(gè)文件創(chuàng)建一個(gè)本地data.txt文件上傳至集群/wcinput

目錄，文件內(nèi)容如下：(2)通過(guò)命令查看[hadoop@masterhadoop]$hdfsdfs