1Pig的部署及使用

Pig的部署及使用2Pig的部署及使用3Pig的部署及使用pig數(shù)據(jù)類型double>float>long>int>bytearraytuple|bag|map|chararray>bytearraydoublefloatlongintchararraybytearray都相當(dāng)于pig的基本類型4Pig的部署及使用tuple相當(dāng)于數(shù)組，但是可以類型不一，舉例('dirkzhang','dallas',41)Bag相當(dāng)于tuple的一個(gè)集合，舉例{('dirk',41),('kedde',2),('terre',31)}，在group的時(shí)候會(huì)生成bagMap相當(dāng)于哈希表，key為chararray，value為任意類型，例如['name'#dirk,'age'#36,'num'#41nulls表示的不只是數(shù)據(jù)不存在，他更表示數(shù)據(jù)是unkown5Pig的部署及使用1.Pig是基于hadoop的一個(gè)數(shù)據(jù)處理的框架。MapReduce是使用java進(jìn)行開發(fā)的，Pig有一套自己的數(shù)據(jù)處理語言，Pig的數(shù)據(jù)處理過程要轉(zhuǎn)化為MR來運(yùn)行。2.Pig的數(shù)據(jù)處理語言是數(shù)據(jù)流方式的，類似于初中做的數(shù)學(xué)題。3.Pig基本數(shù)據(jù)類型：int、long、float、double、chararray、bytearray復(fù)合數(shù)據(jù)類型：Map、Tuple、Bag6Pig的部署及使用.如何安裝Pig(在hadoop0上安裝)把pig-0.11.1.tar.gz復(fù)制到/usr/local下使用命令tar-zxvfpig-0.11.1.tar.gz解壓縮使用命令mvpig-0.11.1pig進(jìn)行重命名編輯文件vi/etc/profile設(shè)置環(huán)境變量exportPIG_HOME=/usr/local/pigexportPATH=......:$PIG_HOME/bin....保存，然后執(zhí)行source/etc/profile7Pig的部署及使用編輯文件$PIG_HOME/conf/perties，增加兩行如下內(nèi)容=hdfs://hadoop0:9000(見/usr/local/hadoop/conf/core-site.xml)mapred.job.tracker=hadoop0:9001(見/usr/local/hadoop/conf/mapred-site.xml)8Pig的部署及使用對(duì)wlan數(shù)據(jù)(手機(jī)上網(wǎng)日志)如何使用pig進(jìn)行分析處理把待處理的數(shù)據(jù)上傳到HDFS中hadoopfs-putHTTP.dat/wlan把HDFS中的數(shù)據(jù)轉(zhuǎn)換為pig可以處理的模式（執(zhí)行pig命令，就進(jìn)入到pig命令行模式下）9Pig的部署及使用A=LOAD'/wlan'AS(t0:long,msisdn:chararray,t2:chararray,t3:chararray,t4:chararray,t5:chararray,t6:long,t7:long,t8