信息技術基礎（拓展模塊） 課件 學習單元5大數(shù)據(jù) 5.5

學習單元五

大數(shù)據(jù)5.5搭建大數(shù)據(jù)環(huán)境線上課前導學課前自測推課前學習資源包頭腦風暴任務調研Hadoop是一個開源的、分布式的數(shù)據(jù)處理框架，旨在解決海量數(shù)據(jù)的存儲和處理問題。它最初由Apache開發(fā)，目前已成為最流行的分布式數(shù)據(jù)處理平臺之一。Hadoop包括兩個核心組件：HadoopDistributedFileSystem（HDFS）和HadoopMapReduce。HDFS是一個分布式文件系統(tǒng)，能夠存儲海量數(shù)據(jù)，并在不同的計算機節(jié)點之間進行數(shù)據(jù)分發(fā)和備份。

MapReduce則是一種分布式數(shù)據(jù)處理模型，能夠對海量數(shù)據(jù)進行分布式計算。Hadoop支持Java、Python、Scala等多種編程語言，同時也提供了眾多工具和生態(tài)系統(tǒng)，包括Hive、Pig、Spark等，使得數(shù)據(jù)處理和分析更加高效和靈活。小思考

Hadoop為什么能夠成為最流行的分布式數(shù)據(jù)處理平臺之一？它有哪些優(yōu)勢和特點？線上課前導學頭腦風暴任務調研課前自測參考網站：極客時間：/開源中國：/大數(shù)據(jù)文摘：/參考書籍：《Hadoop權威指南》《Spark快速大數(shù)據(jù)分析》《大數(shù)據(jù)架構模式》《數(shù)據(jù)倉庫工具包》《大數(shù)據(jù)平臺架構：原理、方法與案例》線上課前導學任務調研課前自測頭腦風暴1Hadoop是什么？2Hadoop有哪兩個核心組件？3Hadoop支持哪些編程語言？線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結經過線上課前預習，我們應該了解到，搭建大數(shù)據(jù)環(huán)境是實現(xiàn)大數(shù)據(jù)技術的重要一環(huán)，對于企業(yè)和社會的數(shù)據(jù)處理和分析都有著重要的意義。

學習如何搭建大數(shù)據(jù)環(huán)境，需要先了解大數(shù)據(jù)的基本架構和技術原理，包括分布式文件系統(tǒng)、分布式計算模型、數(shù)據(jù)存儲和管理、數(shù)據(jù)處理和分析等。

在搭建大數(shù)據(jù)環(huán)境的過程中，我們還需要關注大數(shù)據(jù)的安全問題，學習大數(shù)據(jù)安全的基本概念和防護措施，了解大數(shù)據(jù)隱私保護的方法和標準。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結1.了解Hadoop安裝部署模式；2.

Hadoop搭建前的環(huán)境準備；3.

Hadoop偽分布搭建與應用。目前來說，Hadoop的安裝部署的模式一共有三種，單機模式、偽分布模式、全分布模式?？紤]到硬件條件限制，我們將安裝第二種偽分布模式并將Namenode、Datanode和、SecondaryNamenode配置到同一節(jié)點。單機模式單機模式所需要的系統(tǒng)資源是最少的，也是默認的安裝模式。偽分布模式偽分布也就是單節(jié)點集成模式，其所有守護進程都運行在同一臺機器上Namenode是整個文件系統(tǒng)的管理節(jié)點。全分布模式完全分布模式是比本地模式與偽分布模式更加復雜的模式，真正利用多臺Linux主機來進行部署Hadoop，對集群進行規(guī)劃，使得Hadoop各個模塊分別部署在不同的多臺機器上。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)1Hadoop安裝部署我們選擇CentOS7作為安裝對象，通過Vmwareworkstation虛擬機運行系統(tǒng)。本教程默認已經完成系統(tǒng)安裝。1.設置服務器的主機名稱線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備重啟服務器或注銷root重新登錄后生效。2.關閉防火墻并查看防火墻狀態(tài)[root@localhost~]#hostnamectlset-hostnamemaster[root@master~]#cat/etc/hostnamemaster[root@master~]#systemctlstopfirewalld[root@master~]#systemctlstatusfirewalld●firewalld.service-firewalld-dynamicfirewalldaemonLoaded:loaded(/usr/lib/systemd/system/firewalld.service;enabled;vendorpreset:enabled)Active:inactive(dead)since三2022-08-3122:29:41CST;12sagoDocs:man:firewalld(1)Process:826ExecStart=/usr/sbin/firewalld--nofork--nopid$FIREWALLD_ARGS(code=exited,status=0/SUCCESS)MainPID:826(code=exited,status=0/SUCCESS)線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備4.安裝java環(huán)境(1)創(chuàng)建文件夾/opt/software，用于存放安裝軟件包。3.創(chuàng)建Hadoop用戶使用root安裝Hadoop的運行環(huán)境，hadoop用戶運行Hadoop，添加hadoop用戶，并為該用戶設置密碼為：hadoop(2)創(chuàng)建/usr/local/src目錄，作為軟件安裝目錄。[root@master~]#useraddhadoop[root@master~]#passwdhadoop更改用戶hadoop的密碼。新的密碼：重新輸入新的密碼：passwd：所有的身份驗證令牌已經成功更新。[root@master~]#mkdir/opt/software[root@master~]#mkdir-p/usr/local/src線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備(3)查詢兩個目錄的屬性，目錄所有者為root用戶。[root@master~]#ll/opt/總用量0drwxr-xr-x.2rootroot610月312018rhdrwxr-xr-x.2rootroot68月3122:46software[root@master~]#ll/usr/local/總用量0drwxr-xr-x.2rootroot64月112018bindrwxr-xr-x.2rootroot64月112018etcdrwxr-xr-x.2rootroot64月112018gamesdrwxr-xr-x.2rootroot64月112018includedrwxr-xr-x.2rootroot64月112018libdrwxr-xr-x.2rootroot64月112018lib64drwxr-xr-x.2rootroot64月112018libexecdrwxr-xr-x.2rootroot64月112018sbindrwxr-xr-x.5rootroot497月520:28sharedrwxr-xr-x.2rootroot64月112018src[root@master~]#線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備(4)上傳jdk安裝包將jdk安裝包，Hadoop安裝包上傳至linux服務器。安裝包下載地址：/s/17OlEl73envfKt6ch9tmMcg?pwd=chpi提取碼chpi。這里默認已經上傳完成。(5)卸載自帶的OpenJDK查詢：[root@mastersoftware]#lshadoop-2.7.1.tar.gzjdk-8u231-linux-x64.tar.gz[root@mastersoftware]#rpm-qa|grepjavajava-1.7.0-openjdk-headless-61-.el7_8.x86_64python-javapackages-3.4.1-11.el7.noarchtzdata-java-2020a-1.el7.noarchjava-1.8.0-openjdk-headless-62.b10-1.el7.x86_64java-1.8.0-openjdk-62.b10-1.el7.x86_64javapackages-tools-3.4.1-11.el7.noarchjava-1.7.0-openjdk-61-.el7_8.x86_64線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備刪除文件：(6)安裝jdk至服務器軟件安裝目錄/usr/local/src[root@mastersoftware]#rpm-e--nodepsjava-1.8.0-openjdk-62.b10-1.el7.x86_64[root@mastersoftware]#rpm-e--nodepsjava-1.8.0-openjdk-headless-62.b10-1.el7.x86_64[root@mastersoftware]#rpm-e--nodepsjava-1.7.0-openjdk-headless-61-.el7_8.x86_64[root@mastersoftware]#rpm-e–nodepsjava-1.7.0-openjdk-61-.el7_8.x86_64[root@mastersoftware]#tar-zxvfjdk-8u231-linux-x64.tar.gz-C/usr/local/src/線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備(7)設置java環(huán)境變量修改/etc/pofile配置文件，在文件最后增加如下兩行：使設置生效：檢查java是否可用：[root@master~]#vim/etc/profileexportJAVA_HOME=/usr/local/src/jdk1.8.0_231#JAVA_HOME指向JAVA安裝目錄exportPATH=$PATH:$JAVA_HOME/bin#將JAVA安裝目錄加入PATH路徑[root@master~]#source/etc/profile[root@master~]#echo$JAVA_HOME/usr/local/src/jdk1.8.0_231線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備5.安裝Hadoop(1)將Hadoop安裝到/usr/local/src(2)配置環(huán)境變量修改/etc/pofile配置文件，在文件最后增加如下兩行：(3)使設置生效并檢查[root@mastersoftware]#tar-zxvfhadoop-2.7.1.tar.gz-C/usr/local/src/[root@mastersoftware]#vim/etc/profileexportHADOOP_HOME=/usr/local/src/hadoop-2.7.1/exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin[root@mastersoftware]#source/etc/profile[root@mastersoftware]#hadoop線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備(4)修改目錄所有者和所屬組[root@mastersoftware]#chown-Rhadoop:hadoop/usr/local/src/[root@mastersoftware]#ll/usr/local/src/總用量0drwxr-xr-x.9hadoophadoop1496月292015hadoop-2.7.1drwxr-xr-x.7hadoophadoop24510月52019jdk1.8.0_231線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備6.SSH免密碼登入(1)在master主機上生成密鑰對(2)Hadoop用戶在master節(jié)點免密登錄本機[hadoop@mastersoftware]$ssh-keygen-trsa-P''Generatingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/home/hadoop/.ssh/id_rsa):Createddirectory'/home/hadoop/.ssh'.Youridentificationhasbeensavedin/home/hadoop/.ssh/id_rsa.Yourpublickeyhasbeensavedin/home/hadoop/.ssh/id_rsa.pub.Thekeyfingerprintis:SHA256:6eh4jjG8/oZTeZQnva1xsEyxrfTBbde/eX+IGL2llI4hadoop@masterThekey'srandomartimageis:+---[RSA2048]----+|||.||o=..|[hadoop@mastersoftware]$ssh-copy-idhadoop@master1.偽分布系統(tǒng)設置(1)基礎環(huán)境配置偽分布式環(huán)境是指：在一臺服務器上模擬Hadoop集群工作的一種模式。這里，我們在master節(jié)點進行偽分布式系統(tǒng)的配置。

基礎配置包括：安裝JAVA，安裝Hadoop，配置JAVA,HADOOP環(huán)境變量，修改Hadoop配置文件，設置SSH免密碼登錄等，我們已經在前面的操作中完成，下面直接進行偽分布式集群配置。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)3Hadoop偽分布搭建與應用(2)進入Hadoop配置文件目錄線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)3Hadoop偽分布搭建與應用(3)修改core-site.xml配置文件fs.defaultFS設置的是HDFS的地址，設置運行在本地的9000端口上。[hadoop@mastersoftware]$cd/usr/local/src/hadoop-2.7.1/etc/hadoop/[hadoop@masterhadoop]$vimcore-site.xml<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property></configuration>(4)修改hdfs-site.xml配置文件

dfs.replication設置的是HDFS存儲的臨時備份數(shù)量，因為偽分布模式中只有一個節(jié)點，所以設置為1。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)3Hadoop偽分布搭建與應用(5)修改hadoop-env.sh配置文件將原本的JAVA_HOME替換為絕對路徑：[hadoop@masterhadoop]$vimhdfs-site.xml<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>[hadoop@masterhadoop]$vimhadoop-env.sh#Thejavaimplementationtouse.exportJAVA_HOME=/usr/local/src/jdk1.8.0_231(6)格式化NameNode格式化是對HDFS中的DataNode進行分塊，統(tǒng)計所有分塊后的初始元數(shù)據(jù)，存儲在NameNode中。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)3Hadoop偽分布搭建與應用(7)啟動HDFS(8)使用jps命令監(jiān)視進程運行狀態(tài)[hadoop@masterhadoop]$hdfsnamenode-format[hadoop@masterhadoop]$start-dfs.sh[hadoop@masterhadoop]$jps18691DataNode18548NameNode18842SecondaryNameNode18991Jps(9)使用瀏覽器查詢節(jié)點狀態(tài)線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)3Hadoop偽分布搭建與應用2.偽分布式集群測試(1)在集群上創(chuàng)建目錄/wcinput線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)3Hadoop偽分布搭建與應用(3)向集群目錄/wcinput上傳一個文件創(chuàng)建一個本地data.txt文件上傳至集群/wcinput

目錄，文件內容如下：(2)通過命令查看[hadoop@masterhadoop]$hdfsdfs