20.移動(dòng)業(yè)務(wù)感知項(xiàng)目第二部分idc二

1、IDC項(xiàng)目（二） 課程大綱數(shù)據(jù)采集腳本處理程序處理HUE應(yīng)用問(wèn)題總結(jié)說(shuō)明 數(shù)據(jù)采集是項(xiàng)目中很重要的一環(huán)，在大批量的hadoop數(shù)據(jù)中，數(shù)據(jù)采集部分沒(méi)有做好相關(guān)的把控和優(yōu)化，會(huì)導(dǎo)致項(xiàng)目后續(xù)處理流程的時(shí)延增加、數(shù)據(jù)缺失、經(jīng)常性補(bǔ)采等問(wèn)題。IDC項(xiàng)目數(shù)據(jù)采集有三種處理方式使用shell腳本對(duì)數(shù)據(jù)進(jìn)行put（寫(xiě)定時(shí)shell腳本）使用程序?qū)?shù)據(jù)進(jìn)行put使用flume對(duì)數(shù)據(jù)進(jìn)行put（項(xiàng)目三期）數(shù)據(jù)采集Shell腳本put數(shù)據(jù)： 本項(xiàng)目中節(jié)點(diǎn)數(shù)小于25的集群均采用put方式,大于25的采用程序put(部分省份與下游廠商有關(guān)系，不同廠商分析的指標(biāo)不一樣)優(yōu)點(diǎn)： 1、開(kāi)發(fā)簡(jiǎn)單，周期短 2、靈活性高，便于維

2、護(hù) 3、補(bǔ)采數(shù)據(jù)時(shí)也方便缺點(diǎn) 1、不能動(dòng)態(tài)檢測(cè)文件新文件，只能機(jī)械的使用定時(shí)處理 2、實(shí)際使用中對(duì)于批量小文件數(shù)據(jù)put性能效率不高（發(fā)多次請(qǐng)求）shell腳本處理Shell腳本put數(shù)據(jù)： 采用此方式采集數(shù)據(jù)，尤為需要注意點(diǎn)有：1、原始數(shù)據(jù)的存儲(chǔ)方式（通常以目錄形式存儲(chǔ)一個(gè)階段的數(shù)據(jù)）2、數(shù)據(jù)的時(shí)間延遲3、按照時(shí)間定義目錄名4、如何驗(yàn)證數(shù)據(jù)的完整性開(kāi)發(fā)思想：1、編寫(xiě)shell腳本，定時(shí)調(diào)度進(jìn)行put2、取當(dāng)前時(shí)間減去對(duì)應(yīng)的延遲處理時(shí)間，put上一個(gè)時(shí)間間隔的數(shù)據(jù)3、put過(guò)程中注意檢驗(yàn)數(shù)據(jù)完整性（本項(xiàng)目由C+編寫(xiě)的接收程序，接收完成生產(chǎn)對(duì)應(yīng)的.ok數(shù)據(jù)文件）shell腳本處理Shell腳本p

3、ut數(shù)據(jù)： shell腳本部署：1、創(chuàng)建 /watcher/目錄2、編寫(xiě)putDataToHDFS.sh腳本3、配置crontab,內(nèi)容如下：15 * * * * sh -xb /home/superman/idc/watcher1/test.sh 2&1 /home/superman/idc/watcher1/test.logshell腳本處理功能描述 動(dòng)態(tài)監(jiān)控?cái)?shù)據(jù)目錄的變化，將數(shù)據(jù)目錄中新添加的文件，put的HDFS的對(duì)應(yīng)目錄。具體實(shí)現(xiàn) 使用JNotify完成動(dòng)態(tài)監(jiān)控功能。 JNotify是一個(gè) Java 開(kāi)發(fā)的用來(lái)監(jiān)控文件系統(tǒng)事件的工具。能夠監(jiān)聽(tīng)文件夾下的文件的創(chuàng)建、刪除、修改等功能。和

4、hadoop結(jié)合很好的解決了自定義數(shù)據(jù)采集中需要完成的文件新文件監(jiān)聽(tīng)、文件合并、上傳HDFS等功能程序處理程序開(kāi)發(fā)1、創(chuàng)建工程filewatcher2、導(dǎo)入jnotify-0.94.jar包或者引人源碼（方便修改）3、根據(jù)數(shù)據(jù)上來(lái)的文件格式可能需要一些工具類(lèi)，本項(xiàng)目需要引入解壓工具（原始數(shù)據(jù)是以壓縮方式上來(lái)）程序部署 1、當(dāng)前目錄創(chuàng)建idc/watcher目錄2、將程序打成相應(yīng)的jar包（ filewatcher.jar ）和libjnotify.so一同放在idc/watcher目錄下3、需要將libjnotify.so文件放入/opt/cloudera/parcels/CDH/lib/ha

5、doop/lib/native/目錄下（可以在下一步的腳本中寫(xiě)）4、本地創(chuàng)建目錄如/srcdata/idcdata，HDFS下創(chuàng)建 idc/accesslogs/目錄5、 idc/watcher目錄下啟動(dòng)監(jiān)控程序，啟動(dòng)命令如下（在命令后加符號(hào)&即可后臺(tái)處理）啟動(dòng)命令：hadoop jar filewatcher.jar /accesslogs idccache/ 5 hour程序處理程序開(kāi)發(fā)1、創(chuàng)建工程filewatcher2、導(dǎo)入jnotify-0.94.jar包或者引人源碼（方便修改）3、根據(jù)數(shù)據(jù)上來(lái)的文件格式可能需要一些工具類(lèi)，本項(xiàng)目需要引入解壓工具（原始數(shù)據(jù)是以壓縮方式上來(lái)）程序部署

6、1、當(dāng)前目錄創(chuàng)建idc/watcher目錄2、將程序打成相應(yīng)的jar包（ filewatcher.jar ）和libjnotify.so一同放在idc/watcher目錄下3、需要將libjnotify.so文件放入/opt/cloudera/parcels/CDH/lib/hadoop/lib/native/目錄下（可以在下一步的腳本中寫(xiě)）4、本地創(chuàng)建目錄如/srcdata/idcdata，HDFS下創(chuàng)建 idc/accesslogs/目錄5、 idc/watcher目錄下啟動(dòng)監(jiān)控程序，啟動(dòng)命令如下（在命令后加符號(hào)&即可后臺(tái)處理）啟動(dòng)命令：hadoop jar filewatcher.jar

7、 /accesslogs idccache/ 5 hourHUE應(yīng)用程序開(kāi)發(fā)1、創(chuàng)建工程filewatcher2、導(dǎo)入jnotify-0.94.jar包或者引人源碼（方便修改）3、根據(jù)數(shù)據(jù)上來(lái)的文件格式可能需要一些工具類(lèi)，本項(xiàng)目需要引入解壓工具（原始數(shù)據(jù)是以壓縮方式上來(lái)）程序部署 1、當(dāng)前目錄創(chuàng)建idc/watcher目錄2、將程序打成相應(yīng)的jar包（ filewatcher.jar ）和libjnotify.so一同放在idc/watcher目錄下3、需要將libjnotify.so文件放入/opt/cloudera/parcels/CDH/lib/hadoop/lib/native/目錄下（可以在下一步的腳本中寫(xiě)）4、本地創(chuàng)建目錄如/srcdata/idcdata，HDFS下創(chuàng)建 idc/accesslogs