Hadoop大數(shù)據(jù)平臺構(gòu)建與應(yīng)用(工作手冊式)（微課版） 課件 8.1 Flume安裝與配置

Flume安裝與配置主講：李強(qiáng)任務(wù)描述Flume的安裝相對來說比較簡單，本任務(wù)的核心配置是設(shè)置Flume代理的配置文件，并通過這個代理實(shí)例完成數(shù)據(jù)的采集。任務(wù)分析Flume安裝后只需要增加運(yùn)行的環(huán)境變量，并設(shè)置Java的安裝目錄即可；使用Flume需要編輯一個配置文件，在配置文件當(dāng)中描述Source、Channel與Sink的具體實(shí)現(xiàn)，而后再運(yùn)行一個Agent實(shí)例，在運(yùn)行Agent實(shí)例的過程中會讀取配置文件的內(nèi)容，F(xiàn)lume就會完成數(shù)據(jù)采集的任務(wù)，Source組件可以設(shè)置為系統(tǒng)日志、文件目錄、Kafka等類型，Sink可以傳輸給HDFS、Hive或HBase等，在本任務(wù)應(yīng)用案例中，監(jiān)控采集文件目錄的日志并傳輸?shù)紿DFS文件中。8.1.1安裝Flume組件1．解壓安裝文件下載好的安裝包都需上傳到指定目錄下，本手冊指定為/root/目錄，使用ls命令可以查看上傳的安裝包（具體上傳方式請參考項(xiàng)目1），如圖8-1所示。代碼8-1解壓安裝包tar-zxfapache-flume-1.9.0-bin.tar.gz-C/usr/local/src/ls/usr/local/src/圖8-1查看安裝包使用tar命令解壓Flume到/usr/local/src文件夾，并切換到安裝目錄下查看，可以使用ls查看解壓后的效果，如代碼8-1所示，效果如圖8-2所示。圖8-2查看解壓好的安裝包2．修改文件夾名稱由于解壓后的文件夾名稱帶有比較復(fù)雜的版本號，為了簡化后續(xù)配置，此處修改文件夾名稱。使用mv命令將解壓的apache-flume-1.9.0-bin目錄重命名為flume，如代碼8-2所示，效果如圖8-3所示：代碼8-2重命名文件夾mv/usr/local/src/apache-flume-1.9.0-bin/usr/local/src/flumels/usr/local/src/圖8-3重命名文件夾3．修改環(huán)境變量文件為了可以在任何目錄下直接執(zhí)行Flume的相關(guān)命令，可以在環(huán)境變量文件中添加Flume的環(huán)境變量。參考項(xiàng)目2，使用“vi/root/.bash_profile”編輯環(huán)境變量文件，將如表8-1所示的配置信息添加到/root/.bash_profile文件的末尾，保存退出。表8-1環(huán)境變量文件的添加內(nèi)容#setflumeenvironmentexportFLUME_HOME=/usr/local/src/flumeexportPATH=$PATH:$FLUME_HOME/bin4．生效環(huán)境變量文件為了刷新環(huán)境變量文件的配置，需要在master節(jié)點(diǎn)執(zhí)行下面的命令使得環(huán)境變量文件生效，如代碼8-3所示。代碼8-3生效環(huán)境配置文件source/root/.bash_profile8.1.2配置Flume1．修改flume-env.sh配置文件flume-env.sh是Flume命令執(zhí)行時去加載Java的環(huán)境變量設(shè)置文件。由于/usr/local/src/flume/conf目錄里的是配置模板文件，需要復(fù)制為flume-env.sh，使用代碼8-4的代碼復(fù)制并修改文件內(nèi)容。打開配置文件后，首先將“exportJAVA_HOME”前面的#去掉；值的內(nèi)容修改為Java的安裝目錄，具體設(shè)置參考內(nèi)容如表8-2所示。代碼8-4修改flume-env.sh文件cd/usr/local/src/flume/confcpflume-env.sh.templateflume-env.shviflume-env.sh表8-2文件的修改內(nèi)容exportJAVA_HOME=/usr/local/src/java2．更新軟件包因?yàn)镠adoop是3.1.4版本的，所帶的guava版本較高，與Flume帶的版本沖突，所以這里要在Flume的lib文件夾下將guava-11.0.2.jar刪除，并將Hadoop的較高版本guava的Jar包復(fù)制進(jìn)來，可以使用代碼8-5中的代碼來完成軟件包的更新，具體的軟件包版本應(yīng)該參加本地的實(shí)際版本進(jìn)行調(diào)整。代碼8-5更新guava包c(diǎn)d/usr/local/src/flume/librmguava-11.0.2.jarcp/usr/local/src/hive/lib/guava-27.0-jre.jar./#放到/usr/local/src/flume/lib當(dāng)前的目錄下3．驗(yàn)證Flume安裝情況至此，F(xiàn)lume的安裝與配置已經(jīng)完成，可以使用中代碼8-6的命令，驗(yàn)證Flume的安裝配置情況。執(zhí)行代碼8-6后，顯示Flume的版本號為1.9.0，表示Flume安裝成功，如圖8-4所示。代碼8-6驗(yàn)證Flumeflume-ngversion圖8-4Flume的安裝版本8.1.3創(chuàng)建代理文件創(chuàng)建代理文件要完成Flume數(shù)據(jù)采集任務(wù)，需要創(chuàng)建一個Agent的配置文件，內(nèi)容包括Source、Channel和Sink類型和屬性配置。在Flume安裝目錄下創(chuàng)建一個simple_hdfs_flume.conf文件，如代碼8-7所示。在該文件中添加內(nèi)容，如表8-3所示，其中a1.sources.r1.spoolDir的選項(xiàng)設(shè)置為“/usr/local/src/hadoop/logs/”，表示采集Hadoop集群運(yùn)行的日志記錄；a1.sinks.k1.hdfs.path設(shè)置為“hdfs://master:9000/tmp/flume”，表示將采集到的日志以文件的形式存儲到HDFS系統(tǒng)該目錄，其他具體的設(shè)置請參考其中的注釋。代理配置文件中各個組件的屬性設(shè)置可以有很多的選擇，具體請參考官方文檔，這里僅舉例說明。代碼8-7創(chuàng)建Flume代理配置文件cd/usr/local/src/flume/conf/visimple_hdfs_flume.conf#設(shè)置agent的名稱為a1，a1的sources組件名稱為r1，a1的sinks組件名稱為k1，a1的channels組件名稱為k1a1.sources=r1a1.sinks=k1a1.channels=c1#下面設(shè)置r1的類型為監(jiān)聽目錄，并設(shè)置監(jiān)聽的目錄以及文件頭屬性a1.sources.r1.type=spooldira1.sources.r1.spoolDir=/usr/local/src/hadoop/logs/a1.sources.r1.fileHeader=true#下面設(shè)置k1的類型為HDFS，并設(shè)置HDFS的目標(biāo)路徑以及文件的相關(guān)的屬性a1.sinks.k1.type=hdfsa1.sinks.k1.hdfs.path=hdfs://master:9000/tmp/flume......省略表8-3代理配置文件內(nèi)容8.1.4啟動Flume并傳輸數(shù)據(jù)啟動Flume并傳輸數(shù)據(jù)參考項(xiàng)目2在master節(jié)點(diǎn)執(zhí)行start-all.sh啟動，并使用jps查看Java進(jìn)程是否正常。在master節(jié)點(diǎn)的一個終端窗口使用中的Flume命令加載simple_hdfs_flume.conf代理配置文件，并啟動Flume進(jìn)行日志數(shù)據(jù)的采集與傳輸，如代碼8-8所示。啟動Flume后，Agent的a1實(shí)例啟動后，會成功創(chuàng)建c1、r1、k1組件實(shí)例，啟動后的最后一段內(nèi)容如圖8-5所示，表示Flume正在監(jiān)控對應(yīng)的目錄，并進(jìn)行數(shù)據(jù)的采集與傳輸中，如果需要查看采集和傳輸?shù)男Ч?，請不要關(guān)閉該窗口，打開新的窗口查看。圖8-5Flume啟動后采集和傳輸?shù)倪^程圖代碼8-8啟動Flumecd/usr/local/src/flume/confflume-ngagent--conf-filesimple_hdfs_flume.conf--namea18.1.5查看Flume傳輸?shù)奈募?shù)據(jù)啟動Flume并傳輸數(shù)據(jù)開啟一個新的master節(jié)點(diǎn)終端，進(jìn)入配置文件中所設(shè)置的HDFS文件存儲路徑，查看該文件路徑的情況，如代碼8-9所示?？梢钥吹皆撐募A下面已經(jīng)傳輸