現(xiàn)場(chǎng)演示與編程過程

云計(jì)算可靠性研究組1/35Hadoop現(xiàn)場(chǎng)演示與編程過程朱軍劉鍇傅雷揚(yáng)安徽農(nóng)業(yè)大學(xué)

云計(jì)算可靠性研究組2/35

Linux公社（）于2006年9月25日注冊(cè)并開通網(wǎng)站，Linux現(xiàn)在已經(jīng)成為一種廣受關(guān)注和支持的一種操作系統(tǒng)，IDC是互聯(lián)網(wǎng)數(shù)據(jù)中心，LinuxIDC就是關(guān)于Linux的數(shù)據(jù)中心。提供包括Ubuntu，F(xiàn)edora，SUSE技術(shù)，以及最新IT資訊等Linux專業(yè)類網(wǎng)站。云計(jì)算可靠性研究組3/35主要內(nèi)容

實(shí)驗(yàn)平臺(tái)簡(jiǎn)介

Hadoop環(huán)境搭建

MapReduce編程云計(jì)算可靠性研究組4/35實(shí)驗(yàn)平臺(tái)簡(jiǎn)介

采用XenServer分布式部署Hadoop浪潮380D5臺(tái)虛擬機(jī)（CentOS）采用VirtualBox分布式部署HadoopPC5臺(tái)虛擬機(jī)（CentOS）云計(jì)算可靠性研究組5/35采用XenServer分布式部署Hadoop云計(jì)算可靠性研究組6/35采用VirtualBox分布式部署Hadoop云計(jì)算可靠性研究組7/35Hadoop環(huán)境搭建Hadoop的三種部署模式Hadoop完全分布式部署HDFS節(jié)點(diǎn)故障演示云計(jì)算可靠性研究組8/35Hadoop的三種部署模式1、單機(jī)模式2、偽分布式模式3、完全分布式模式云計(jì)算可靠性研究組9/35

Linux公社（）于2006年9月25日注冊(cè)并開通網(wǎng)站，Linux現(xiàn)在已經(jīng)成為一種廣受關(guān)注和支持的一種操作系統(tǒng)，IDC是互聯(lián)網(wǎng)數(shù)據(jù)中心，LinuxIDC就是關(guān)于Linux的數(shù)據(jù)中心。提供包括Ubuntu，F(xiàn)edora，SUSE技術(shù)，以及最新IT資訊等Linux專業(yè)類網(wǎng)站。云計(jì)算可靠性研究組10/35IP/hosts:6 7 8 9 0 Namenode/Jobtracker:Secendnamenode:datanode/tasktracker:

Newdatanode:Hadoop完全分布式部署云計(jì)算可靠性研究組11/35完全分布式部署步驟一、安裝配置Java環(huán)境二、配置SSH免密碼登錄三、安裝配置Hadoop云計(jì)算可靠性研究組12/35安裝配置JAVA1、安裝jdk bin/jdk-6u27-x64.bin2、修改環(huán)境變量

vim~/.bash_profile JAVA_HOME=/usr/local/jdk1.6.0_27 export$JAVA_HOME $PATH=$PATH:$JAVA_HOME/bin云計(jì)算可靠性研究組13/35配置SSH免密碼登錄1、生成密鑰

ssh-keygen-trsa

2、拷貝密鑰

ssh-copy-id-i~/.ssh/id_rsa.pubroot@remotehost云計(jì)算可靠性研究組14/35安裝配置Hadoop1、解壓Hadoop2、從src復(fù)制配置文件示例3、修改hadoop-evn.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters、slaves云計(jì)算可靠性研究組15/35core-site-xml<property>

<name>hadoop.tmp.dir</name>

<value>/home/grid/hadoop/tmp</value>#設(shè)定Hadoop臨時(shí)目錄

<description></description>

</property><property>

<name></name>

<value>:9100</value>#設(shè)置文件系統(tǒng)路徑</property></configuration>

<property><name>erval</name>#節(jié)點(diǎn)間心跳檢測(cè)間隔時(shí)間，默認(rèn)10分鐘<value>1000</value></property>云計(jì)算可靠性研究組16/35hdfs-site-xml<property>

<name>dfs.relplication</name>##HDFS的副本數(shù)，默認(rèn)為3，如果DataNode的數(shù)量小于這個(gè)值會(huì)有問題

<value>2</value>

</property><property><name>dfs.permissions</name>##是否對(duì)dfs中的文件進(jìn)行權(quán)限控制<value>false</value></property>云計(jì)算可靠性研究組17/35mapred-site-xml<property>

<name>mapred.job.tracker</name>

<value>:9200</value>##設(shè)置MapReduceJob運(yùn)行的主機(jī)和端口

</property>云計(jì)算可靠性研究組18/35masters/slaves配置 masters：指定Secondnamenode的主機(jī)名

slaves：指定datanode/tasktracker的主機(jī)名 將Hadoop目錄同步到所有節(jié)點(diǎn)服務(wù)器云計(jì)算可靠性研究組19/35啟動(dòng)Hadoop格式化分布式文件系統(tǒng)

bin/hadoopnamenode-format2、關(guān)閉所有節(jié)點(diǎn)的防火墻及Selinux 3、在namenode上執(zhí)行

bin/start-all.sh4、查看進(jìn)程運(yùn)行情況

$JAVA_HOME/bin/jps云計(jì)算可靠性研究組20/35查看Hadoop運(yùn)行狀態(tài)HDFS狀態(tài)：

MapReduce狀態(tài):

查看文件系統(tǒng)情況: bin/hadoopdfsadmin-report列出文件系統(tǒng)目錄: bin/hadoopfs-ls:9100/云計(jì)算可靠性研究組21/35一、增加HDFS節(jié)點(diǎn)

1、新節(jié)點(diǎn)ip/hosts: 0 2、在新節(jié)點(diǎn)上安裝Hadoop，配置應(yīng)與NameNode一致

3、若永久填加該節(jié)點(diǎn)，可修改masters和slaves文件

4、臨時(shí)填加節(jié)點(diǎn)，執(zhí)行命令：

bin/hadoop-daemon.shdatanodestart 5、查看，已變?yōu)?個(gè)live節(jié)點(diǎn)二、新增節(jié)點(diǎn)故障演示

1、人為Kill掉新增節(jié)點(diǎn)的datanode進(jìn)程

2、經(jīng)過心跳檢測(cè)時(shí)間后，查看頁面，新增節(jié)點(diǎn)消失

HDFS節(jié)點(diǎn)故障演示云計(jì)算可靠性研究組22/35

Linux公社（）于2006年9月25日注冊(cè)并開通網(wǎng)站，Linux現(xiàn)在已經(jīng)成為一種廣受關(guān)注和支持的一種操作系統(tǒng)，IDC是互聯(lián)網(wǎng)數(shù)據(jù)中心，LinuxIDC就是關(guān)于Linux的數(shù)據(jù)中心。提供包括Ubuntu，F(xiàn)edora，SUSE技術(shù)，以及最新IT資訊等Linux專業(yè)類網(wǎng)站。云計(jì)算可靠性研究組23/35MapReduce編程MapReduce編程過程編程實(shí)例：矩陣相乘程序調(diào)試和發(fā)布云計(jì)算可靠性研究組24/35MapReduce編程過程就是繼承類與實(shí)現(xiàn)接口的過程。這些類與接口來自于Hadoop的Map-Reduce框架，由框架控制其執(zhí)行流程。Java多態(tài)性：對(duì)象的引用型變量。編程過程的三個(gè)階段：輸入階段計(jì)算階段輸出階段云計(jì)算可靠性研究組25/35MapReduce編程過程云計(jì)算可靠性研究組26/35與輸入相關(guān)的幾個(gè)抽象類InputFormat

文件分割，讀取。FileInputFormat從文件中讀取數(shù)據(jù)。InputSplits

定義了輸入到單個(gè)Map任務(wù)的輸入數(shù)據(jù)。RecordReader

定義了如何從數(shù)據(jù)上轉(zhuǎn)化為一個(gè)(key,value)對(duì)，從而輸出到Mapper類中。云計(jì)算可靠性研究組27/35與計(jì)算相關(guān)的幾個(gè)抽象類Mapper map()方法處理輸入<K1,V1>，產(chǎn)生輸出<K2,V2>。Reducer reduce()方法處理Map的輸入<K2,list(V2)>，產(chǎn)生輸出<K3,V3>。Combiner

實(shí)現(xiàn)Reducer接口，對(duì)map()輸出進(jìn)行規(guī)約。Partitioner

分發(fā)map()輸出給不同的Reduce任務(wù)。云計(jì)算可靠性研究組28/35與輸出相關(guān)的幾個(gè)抽象類OutputFormat

數(shù)據(jù)輸出。FileOutputFormat輸出到文件。RecordWriter

輸出一個(gè)記錄到文件中。 云計(jì)算可靠性研究組29/35其它重要類與接口Configuration類 讀取配置文件。如：core-default.xml、core-site.xml等。Job類 配置、提交Job，控制其執(zhí)行，查詢其狀態(tài)。Writable接口 序列化輸入輸出。任何Key,Value都需要實(shí)現(xiàn)它。WritableComparable接口 可比較的序列化輸入輸出。任何Key都需要實(shí)現(xiàn)它。云計(jì)算可靠性研究組30/35編程實(shí)例：矩陣相乘編程環(huán)境準(zhǔn)備：安裝配置Java環(huán)境安裝配置Hadoop安裝Eclipse(Version:3.5.2)安裝插件hadoop-0.20.2-eclipse-plugin.jar云計(jì)算可靠性研究組31/35實(shí)例：矩陣相乘將問題分解成MapReduce作業(yè)X<(1,1),(a11,b11)>、<(1,1),(a12,b21)>、<(1,1),(a13,b31)>KeyValuemap:計(jì)算各個(gè)Value值（求積）reduce:計(jì)算Key相同的所有Value的和（求和）云計(jì)算可靠性研究組32/35實(shí)例：矩陣相乘輸入階段文件MatrixInputFormatMatrixMatrixInputSplitMatrixInputFormat重要方法：publicintreadFile(JobContextcontext);publicList<InputSplit>getSplits(JobContext context);publicRecordReader<IntPair,IntPair> createRecordReader(InputSplitsplit, TaskAttemptContextcontext)云計(jì)算可靠性研究組33/35實(shí)例：矩陣相乘計(jì)算階段MatrixInputSplitMatrixRecordReader<Key,Value>IntPairMatrixMapperFirstPartitionerMatrixReducer框架調(diào)用關(guān)系：MatrixRecordReader.getCurrentKey(),…

extendsRecordReaderContext.getCurrentKey(),… extendsMapContextMatrixMulti.MatrixMapper.map() extendsMapperMapper.run()TaskTracker(MapTask,ReduceTask)JobTrackerMatrixRecordReader重要方法：publicbooleannextKeyValue();publicIntPairgetCurrentKey();publicIntPairgetCurrentValue();云計(jì)算可靠性研究組34/35實(shí)例：矩陣相乘輸出階段MatrixReducerMultipleOutputFormatLineRecordWriterMultipleOutputFormat方法及調(diào)用關(guān)系：DataOutputStream.write(intb),…LineRecordWriter.write(Kkey,Vvalue)MultiRecordWriter.write(Kkey,Vvalue);MultipleOutputFormatextendsFileOutputFormat .getRecordWriter(TaskAttemptContextjob);