實(shí)戰(zhàn)hadoop2配套未美化版12pig

Pig云創(chuàng)大數(shù)據(jù)目錄Pig簡介實(shí)戰(zhàn)PigPig簡介Pig為什么-是什么現(xiàn)實(shí)需求-概念程序員使用Pig腳本指揮

HDFS、MapReduce程序員使用MR處理

HDFS里數(shù)據(jù)1.太慢2.要求高Pig是用來處理大規(guī)模數(shù)據(jù)集的腳本語言平臺1.編寫MR程序

2.組織處理流1.編寫MR程序

2.組織處理流提交任務(wù)Pig是什么工作過程程序員或分析師根據(jù)業(yè)務(wù)邏輯寫好數(shù)據(jù)流腳本向Pig提交任務(wù)Pig會將寫好的數(shù)據(jù)流處理腳本翻譯成多個(gè)Hdfs，Map和Reduce操作Pig向hadoop提交任務(wù)Pig是什么架構(gòu)PigLatin解釋器PigLatin環(huán)境數(shù)據(jù)類型Pig是什么語法（1）基本數(shù)據(jù)類型：int、long、float、double、chararray和bytearray（2）復(fù)雜數(shù)據(jù)類型：字符串或基本類型與字符串的組合運(yùn)算符（1）算術(shù)運(yùn)算符：+，-，*，/，%（2）三目運(yùn)算符：?:（3）比較運(yùn)算符：==，!=函數(shù)操作名稱功能LOAD載入待處理數(shù)據(jù)FOREACH逐行處理TupleFILTER過濾不滿足條件的TupleDUMP將結(jié)果打印到屏幕STORE將結(jié)果保存到文件Pig實(shí)例部署yum

install

pig例題①使用Pig

Latin實(shí)現(xiàn)WordCountPig簡介Pig是一個(gè)構(gòu)建在Hadoop之上，用來處理大規(guī)模數(shù)據(jù)集的腳本語言平臺。其設(shè)計(jì)思想來源于谷歌的Sawzall，最初由雅虎團(tuán)隊(duì)開發(fā)，并于2008年9月貢獻(xiàn)給Apache。由來程序員或分析師只需要根據(jù)業(yè)務(wù)邏輯寫好數(shù)據(jù)流腳本，

Pig會將寫好的數(shù)據(jù)流處理腳本翻譯成多個(gè)HDFS、Map和Reduce操作。通過這種方式，Pig為Hadoop提供了更高層次的抽象，將程序員從具體的編程中解放出來。作用Pig與各組件關(guān)系pig與HDFS關(guān)系Pig處理的數(shù)據(jù)存在HDFS上pig與YARN關(guān)系Pig使用MapReduce，而MapReduce運(yùn)行在YARN上pig與MapReduce關(guān)系Pig使用MapReducePig與各組件關(guān)系pig與Hive關(guān)系都是使用MapReduce處理存儲在HDFS上的數(shù)據(jù)區(qū)別聯(lián)系存儲時(shí)：Hive將HDFS上的數(shù)據(jù)看成一張張表處理時(shí)：Hive以類SQL形式操作存儲在HDFS上的數(shù)據(jù)實(shí)質(zhì)：Hive翻譯器將HiveQL翻譯成MapReduce執(zhí)行存儲時(shí)：Pig直接處理HDFS上的數(shù)據(jù)處理時(shí)：Pig以腳本形式操作存儲在HDFS上的數(shù)據(jù)實(shí)質(zhì)：Pig翻譯器將Pig

Latin翻譯成MapReduce執(zhí)行個(gè)人認(rèn)為：Hive大公司根據(jù)需求開發(fā)、Pig是牽強(qiáng)實(shí)現(xiàn)Google論文(畫虎不成反類犬)Pig與各組件關(guān)系pig與HBase關(guān)系性質(zhì)不同pig與Spark關(guān)系性質(zhì)不同pig與Storm關(guān)系性質(zhì)不同體系架構(gòu)體系架構(gòu)Pig語法Pig

Latin是Pig的專用語言，它是類似于SQL的面向數(shù)據(jù)流語言，這套腳本語言提供了對數(shù)據(jù)進(jìn)行排序、過濾、求和、分組、關(guān)聯(lián)等各種操作Pig

Latin數(shù)據(jù)類型Pig

Latin語法基本數(shù)據(jù)類型復(fù)雜數(shù)據(jù)類型Filed、Tuple、Bag、Mapint、long、float、doubleChararray、bytearrayPig

Latin運(yùn)算符算術(shù)、比較、關(guān)系等運(yùn)算符加（+），減（-），乘（*），除（/），取余（%）和三目運(yùn)算符（?:），比較運(yùn)算符主要包括等于（==），不等（!=）Pig

Latin函數(shù)操作名稱功能LOAD載入待處理數(shù)據(jù)FOREACH逐行處理TupleFILTER過濾不滿足條件的TupleDUMP將結(jié)果打印到屏幕STORE將結(jié)果保存到文件Filed：存放一個(gè)原子類型數(shù)據(jù)，如一個(gè)字符串或一個(gè)數(shù)字等，例如'lucy'。Tuple：Field的序列，其中每個(gè)File可以是任何一種基本類型，例如（'lucy'，'1234'）。Bag：Tuple集合。每個(gè)Tuple可以包含不同數(shù)目不同類型的Field，例如：（'lucy'，'1234'）（'jack'（'ipod',

'apple'））Map：一組鍵值對的組合，一個(gè)關(guān)系中的鍵值對必須是唯一的，例如：

[name#Mike,phone#]部署Pig部署Pig前提：部署了HDFS、YARN、MapReduce部署實(shí)驗(yàn)部署Ambari部署企業(yè)級部署手工部署實(shí)驗(yàn)部署PigStep1 制定部署規(guī)劃Step2 準(zhǔn)備硬件機(jī)器Step3 準(zhǔn)備機(jī)器軟件環(huán)境修改機(jī)器名、關(guān)閉防火墻、添加域名映射、jdkStep4 部署HDFS、YARN、MapReduceStep5 下載并解壓pigStep6 為Pig配置Hadoop安裝路徑Step7 啟動(dòng)pig命令行Step8 驗(yàn)證pig是否啟動(dòng)成功實(shí)戰(zhàn)Pig實(shí)戰(zhàn)Pig下述命令完成 進(jìn)入Pig命令行，查看并練習(xí)常用命令。 使用Pig

Latin實(shí)現(xiàn)WordCount，該程序處理HDFS上/user/allen/input中的文件。[allen@iclient0

~]#

bin/piggrunt>

help;grunt>

A

=

load

'input';#進(jìn)入allen用戶的Pig命令行

#查看Pig操作#載入待處理文件夾inputgrunt>

B

=

foreach

A

generate

flatten(TOKENIZE((chararray)$0))

as

word; #劃分單詞grunt>

C

=

group

B

by

word; #指定按單詞聚合，即同一個(gè)單詞到一起grunt>

D

=

foreach

C

generate

COUNT(B),group; #同一個(gè)單詞出現(xiàn)次數(shù)相加grunt>

store

D

into

'out/wc-19'; #將處理好的文件存入HDFS下/user/allen/out/wc-19grunt>

dump

D

into

; #將處理結(jié)果D打印到屏幕執(zhí)行時(shí)，用戶可以將結(jié)果存入HDFS，也可以將結(jié)果打印到屏幕。注意，只有最后兩條語句才會觸發(fā)MapReduce程序，這種“懶”策略有利于提高集群利用率。[allen@iclient0

~]#

bin/piggrunt>

help;grunt>

A

=

load

'input';#進(jìn)入allen用戶的Pig命令行

#查看Pig操作#載入待處理文件夾inputgrunt>

B

=

foreach

A

generate

flatten(TOKENIZE((chararray)$0))

as

word; #劃分單詞grunt>

C

=

group

B

by

word; #指定按單詞聚合，即同一個(gè)單詞到一起grunt>

D

=

foreach

C

gener