單元4 任務(wù)4.4-本地開(kāi)發(fā)環(huán)境部署

《大數(shù)據(jù)平臺(tái)部署與運(yùn)維》單元4HDFS分布式存儲(chǔ)任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署01理解JDK、Maven的概念與作用02能夠正確完成本地開(kāi)發(fā)環(huán)境安裝部署學(xué)習(xí)目標(biāo)任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署【任務(wù)場(chǎng)景】經(jīng)理：小張，后面我們要使用Java開(kāi)發(fā)應(yīng)用了，你了解Java開(kāi)發(fā)環(huán)境嗎？小張：Java運(yùn)行依賴于JDK，需要在本地安裝JDK，開(kāi)發(fā)項(xiàng)目還要考慮各種jar包的管理，一般會(huì)用Maven來(lái)做jar包管理。經(jīng)理：先在你自己的Windows電腦上準(zhǔn)備一下開(kāi)發(fā)環(huán)境吧，把Java編譯環(huán)境JDK、Jar包管理工具M(jìn)aven安裝好。開(kāi)發(fā)工具推薦使用目前最常用的IntelliJIDEA，功能強(qiáng)大便捷，社區(qū)版免費(fèi)使用，可以滿足我們?nèi)粘Ｊ褂?。小張：好的。任?wù)4.4本地開(kāi)發(fā)環(huán)境部署【任務(wù)布置】本任務(wù)要求理解JDK、Maven概念與作用，要求學(xué)生在Windows本機(jī)安裝配置JDK與Maven，安裝IDEA并完成初始化配置。任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署4.4.1認(rèn)識(shí)JDKJDK：JavaDevelopmentKit是Java的標(biāo)準(zhǔn)開(kāi)發(fā)工具包（普通用戶只需要安裝JRE來(lái)運(yùn)行Java程序。而程序開(kāi)發(fā)者必須安裝JDK來(lái)編譯、調(diào)試程序）。它提供了編譯、運(yùn)行Java程序所需的各種工具和資源，包括Java編譯器、Java運(yùn)行環(huán)境JRE，以及常用的Java基礎(chǔ)類庫(kù)等，是整個(gè)JAVA的核心。任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署JRE：Javaruntimeenvironment是運(yùn)行基于Java語(yǔ)言編寫的程序所不可缺少的運(yùn)行環(huán)境，用于解釋執(zhí)行Java的字節(jié)碼文件。JVM：JavaVirtualMachine是Java的虛擬機(jī)，是JRE的一部分。它是整個(gè)java實(shí)現(xiàn)跨平臺(tái)的最核心的部分，負(fù)責(zé)解釋執(zhí)行字節(jié)碼文件，是可運(yùn)行java字節(jié)碼文件的虛擬計(jì)算機(jī)。所有平臺(tái)的上的JVM向編譯器提供相同的接口，而編譯器只需要面向虛擬機(jī)，生成虛擬機(jī)能識(shí)別的代碼，然后由虛擬機(jī)來(lái)解釋執(zhí)行。因?yàn)镴VM會(huì)將字節(jié)碼文件解析成所有計(jì)算機(jī)都可以理解的機(jī)器碼，從而在不同的平臺(tái)上運(yùn)行。任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署4.4.2認(rèn)識(shí)MavenMaven是一個(gè)Jar包管理工具，也是構(gòu)建工具，能把項(xiàng)目抽象成POM(projectobjectmodel)，Maven使用POM對(duì)項(xiàng)目進(jìn)行構(gòu)建、打包、文檔化等操作。最重要的是解決了項(xiàng)目需要類庫(kù)的依賴管理，簡(jiǎn)化了項(xiàng)目開(kāi)發(fā)環(huán)境。Maven采用了不同方式對(duì)項(xiàng)目構(gòu)建進(jìn)行抽象，比如源碼位置總是在src/main/java，配置文件則在src/main/resources中，編譯好的類總是放在項(xiàng)目的target目錄下。任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署總的來(lái)說(shuō)，Maven實(shí)現(xiàn)了以下目標(biāo)：1.使構(gòu)建項(xiàng)目變得很容易，Maven屏蔽了構(gòu)建的復(fù)雜過(guò)程。比如，你只需要輸入mavenpackage就可以構(gòu)建整個(gè)Java項(xiàng)目。2.統(tǒng)一了構(gòu)建項(xiàng)目的方式，不同人、不同公司的項(xiàng)目都有同樣的描述項(xiàng)目和構(gòu)建項(xiàng)目的方式，Maven通過(guò)pom.xml來(lái)描述項(xiàng)目，并提供一系列插件來(lái)構(gòu)建項(xiàng)目。3.提出了一套開(kāi)發(fā)項(xiàng)目的最佳實(shí)踐，而不用每個(gè)項(xiàng)目都有不同結(jié)構(gòu)和構(gòu)建方式，比如源代碼在src/main/java中，測(cè)試代碼在src/test/java中，項(xiàng)目需要的配置文件則放在src/main/resources中。4.包含不同環(huán)境項(xiàng)目的構(gòu)建方式5.解決了類庫(kù)依賴的問(wèn)題，只需要聲明使用的類庫(kù)，Maven會(huì)自動(dòng)從倉(cāng)庫(kù)下載依賴的jar包，并能協(xié)助你管理jar包之間的沖突。任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署4.4.2認(rèn)識(shí)IDEAIntelliJIDEA是由JetBrains公司開(kāi)發(fā)的Java編程語(yǔ)言的開(kāi)發(fā)集成環(huán)境。IntelliJ在業(yè)界被公認(rèn)為最好的java開(kāi)發(fā)工具，尤其在智能代碼助手、代碼自動(dòng)提示、重構(gòu)、J2EE支持、各類版本工具(git、svn等)、JUnit、CVS整合、代碼分析、創(chuàng)新的GUI設(shè)計(jì)等方面的功能可以說(shuō)是超常的。IDEA優(yōu)勢(shì)：1.強(qiáng)大的整合能力：比如Git、Maven、Spring等支持；2.提示功能的快速、便捷；3.提示功能的范圍比較廣；4.好用的快捷鍵和代碼模板；5.精準(zhǔn)搜索。任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署【工作流程】安裝JDK安裝Maven安裝IDEA創(chuàng)建Maven項(xiàng)目任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署【操作步驟】1.安裝JDK進(jìn)入Oracle官網(wǎng)下載Windows版JDK安裝包，Hadoopv3開(kāi)始只支持JDK1.8以上的版本，這里我們選擇JDK1.8版本。任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署打開(kāi)安裝包后按照步驟進(jìn)行安裝，新版JDK會(huì)自動(dòng)配置環(huán)境變量，無(wú)需手動(dòng)添加環(huán)境變量。打開(kāi)Windows自帶cmd，執(zhí)行命令查看是否安裝成功：java–version若出現(xiàn)下面JDK信息，則代表安裝成功。任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署2.安裝Maven運(yùn)行Maven依賴于Java環(huán)境，請(qǐng)確保已完成前面的JDK安裝步驟。進(jìn)入Maven官網(wǎng)下載Maven安裝包，選擇apache-maven-版本號(hào)-bin.zip進(jìn)行下載。任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署解壓Maven壓縮包，解壓后將文件夾重命名為maven-3.8.3，版本號(hào)與下載的Maven版本號(hào)保持一致。桌面「此電腦」圖標(biāo)右擊>屬性>高級(jí)系統(tǒng)設(shè)置>高級(jí)>環(huán)境變量，進(jìn)入環(huán)境變量界面。任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署在系統(tǒng)變量中新建MAVEN_HOME的環(huán)境變量，變量值為剛才解壓的目錄。將MAVEN_HOME配置到系統(tǒng)環(huán)境變量path中，雙擊path變量，新建，輸入%MAVEN_HOME%\bin后點(diǎn)擊確定即可。環(huán)境變量path的作用：提供Windows命令行中指令的可執(zhí)行文件路徑，當(dāng)我們?cè)诿钚兄墟I入指令時(shí)，根據(jù)環(huán)境變量中的path值，找到對(duì)應(yīng)的指令可執(zhí)行文件進(jìn)行執(zhí)行。簡(jiǎn)單來(lái)說(shuō)就是配置在path中的目錄參數(shù)，在命令行中的任何目錄下都可以使用。任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署打開(kāi)Windows自帶cmd，執(zhí)行命令查看是否安裝成功：mvn-version若出現(xiàn)下面Maven信息，則代表安裝成功。接下來(lái)需要配置本地Maven倉(cāng)庫(kù)目錄，本地倉(cāng)庫(kù)相當(dāng)于是遠(yuǎn)程倉(cāng)庫(kù)的一個(gè)緩存，當(dāng)項(xiàng)目需要下載jar包的時(shí)候首先去本地Maven倉(cāng)庫(kù)去找，如果找到則從本地Maven倉(cāng)庫(kù)下載，找不到則去遠(yuǎn)程倉(cāng)庫(kù)去找。默認(rèn)的本地倉(cāng)庫(kù)路徑為${user.home}/.m2/repository，因?yàn)轫?xiàng)目的依賴會(huì)從遠(yuǎn)程倉(cāng)庫(kù)下載后會(huì)緩存到本地倉(cāng)庫(kù)，如果使用默認(rèn)的本地倉(cāng)庫(kù)路徑則會(huì)使C盤越來(lái)越大。所以我們需要修改配置，將本地倉(cāng)庫(kù)指定到空間較大的目錄。在一個(gè)磁盤中創(chuàng)建一個(gè)文件夾，取名為repository。具體路徑依據(jù)個(gè)人情況而定，建議放到非C盤，且容量較大的磁盤。任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署打開(kāi)Maven安裝目錄，進(jìn)入conf目錄，打開(kāi)settings.xml進(jìn)行編輯。找到localRepository配置，修改為剛才創(chuàng)建的目錄。注意要將此項(xiàng)配置移出注釋。任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署保存配置文件后在Windows自帶cmd執(zhí)行命令，檢驗(yàn)是否設(shè)置成功：mvnhelp:system打開(kāi)剛才創(chuàng)建的文件夾，查看是否有文件生成，有文件生成代表修改已生效。接下來(lái)需要修改Maven遠(yuǎn)程倉(cāng)庫(kù)源，Maven默認(rèn)遠(yuǎn)程倉(cāng)庫(kù)服務(wù)器在國(guó)外，速度不穩(wěn)定，可以替換為阿里源，提高開(kāi)發(fā)效率。任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署再次打開(kāi)settings.xml進(jìn)行編輯，加入阿里源。<mirror>

<id>alimaven</id>

<mirrorOf>central</mirrorOf>

<name>aliyunmaven</name>

<url>/nexus/content/repositories/central/</url></mirror>

任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署3.安裝社區(qū)版IDEA本教材后續(xù)任務(wù)都將基于IntelliJIDEA（下文簡(jiǎn)稱IDEA）進(jìn)行開(kāi)發(fā)，現(xiàn)在我們來(lái)安裝IDEA，社區(qū)版IDEA可以滿足日常開(kāi)發(fā)需求，進(jìn)入Jetbrains官網(wǎng)下載社區(qū)版IDEA。下載完成后按照步驟進(jìn)行，即可完成安裝。Jetbrains官網(wǎng)也提供了IDEA教育版下載鏈接，教育版需注冊(cè)Jetbrains賬戶，并提供相關(guān)材料，認(rèn)證通過(guò)后可使用IDEA教育版進(jìn)行開(kāi)發(fā)，具體步驟請(qǐng)參考Jetbrains官網(wǎng)。任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署初始化配置，修改常用配置項(xiàng)。（1）文件字符編碼任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署（2）配置Maven任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署4.使用IDEA創(chuàng)建Hadoop項(xiàng)目打開(kāi)IDEA，新建Maven項(xiàng)目，項(xiàng)目名為HDFS-helloworld。任務(wù)4.4本地開(kāi)發(fā)環(huán)境部署展開(kāi)項(xiàng)目，修改pom.xml，加入Hadoop依賴。pom.xml文件全內(nèi)容為以下所示<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="/POM/4.0.0"xmlns:xsi="/2001/XMLSchema-instance"xsi:schemaLocation="/POM/4.0.0/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion>

<groupId>org.example</groupId><artifactId>HDFS-helloworld</artifactId><version>1.0-SNAPSHOT</version>

<dependencies><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>RELEASE</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>3.1.1</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>3.1.1</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>3.1.1</version></dependency><dependency><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-core</artifactId><version>2.8.2</version>