《云計(jì)算(第二版)》教材配套課件12-第六章-Hadoop：Google云計(jì)算的開源實(shí)現(xiàn)1

電子工業(yè)出版社《云計(jì)算(第二版)》配套課件解放軍理工大學(xué)教授主編華東交通大學(xué)制作第6章Hadoop：Google云計(jì)算的開源實(shí)現(xiàn)

《云計(jì)算（第二版）》購買網(wǎng)址：當(dāng)當(dāng)網(wǎng)

京東商城姊妹力作《實(shí)戰(zhàn)Hadoop》購買網(wǎng)址：當(dāng)當(dāng)網(wǎng)

京東商城提綱Hadoop簡介Hadoop分布式文件系統(tǒng)HDFS分布式數(shù)據(jù)處理MapReduce分布式結(jié)構(gòu)化數(shù)據(jù)表HBaseHadoop安裝HDFS使用HBase安裝使用

MapReduce編程

Hadoop簡介

Hadoop——Apache開源組織的一個(gè)分布式計(jì)算框架，可以在大量廉價(jià)的硬件設(shè)備組成的集群上運(yùn)行應(yīng)用程序，為應(yīng)用程序提供了一組穩(wěn)定可靠的接口，旨在構(gòu)建一個(gè)具有高可靠性和良好擴(kuò)展性的分布式系統(tǒng)

Hadoop云計(jì)算系統(tǒng)Google云計(jì)算系統(tǒng)HadoopHDFSGoogleGFSHadoopMapReduceGoogleMapReduceHadoopHBaseGoogleBigtableHadoopZooKeeperGoogleChubbyHadoopPigGoogleSawzallHadoop云計(jì)算系統(tǒng)與Google云計(jì)算系統(tǒng)

Hadoop簡介開源項(xiàng)目Lucene：Java開發(fā)的開源高性能全文檢索工具包

開源項(xiàng)目Nutch：第一個(gè)開源的Web搜索引擎

Hadoop

Hadoop簡介Hadoop項(xiàng)目組成

（1）HadoopCommon（2）Avro（3）Chukwa（4）HBase（5）HDFS（6）Hive（7）MapReduce（8）Pig（9）ZooKeeper

Hadoop優(yōu)點(diǎn)

（1）可擴(kuò)展（2）經(jīng)濟(jì)（3）可靠（4）高效提綱Hadoop簡介Hadoop分布式文件系統(tǒng)HDFS分布式數(shù)據(jù)處理MapReduce分布式結(jié)構(gòu)化數(shù)據(jù)表HBaseHadoop安裝HDFS使用HBase安裝使用

MapReduce編程

設(shè)計(jì)前提與目標(biāo)

設(shè)計(jì)前提與目標(biāo)硬件錯(cuò)誤是常態(tài)而不是異常流式數(shù)據(jù)訪問

超大規(guī)模數(shù)據(jù)集

簡單一致性模型

移動(dòng)計(jì)算比移動(dòng)數(shù)據(jù)更簡單

異構(gòu)軟硬件平臺(tái)間的可移植性

體系結(jié)構(gòu)HDFS主從結(jié)構(gòu)體系NameNode：主控制服務(wù)器，負(fù)責(zé)維護(hù)文件系統(tǒng)的命名空間（Namespace）并協(xié)調(diào)客戶端對文件的訪問，記錄命名空間內(nèi)的任何改動(dòng)或命名空間本身的屬性改動(dòng)DataNode：負(fù)責(zé)它們所在的物理節(jié)點(diǎn)上的存儲(chǔ)管理保障可靠性的措施

1．冗余備份每個(gè)文件存儲(chǔ)成一系列數(shù)據(jù)塊（Block），默認(rèn)塊大小為64MB（可配置）。為了容錯(cuò)，文件的所有數(shù)據(jù)塊都會(huì)有副本（副本數(shù)量即復(fù)制因子，可配置）2．副本存放采用機(jī)架感知（Rack-aware）的策略來改進(jìn)數(shù)據(jù)的可靠性、可用性和網(wǎng)絡(luò)帶寬的利用率

復(fù)制因子為3時(shí)數(shù)據(jù)塊分布情況

保障可靠性的措施

3.心跳檢測NameNode周期性地從集群中的每個(gè)DataNode接受心跳包和塊報(bào)告，收到心跳包說明該DataNode工作正常4.安全模式系統(tǒng)啟動(dòng)時(shí)，NameNode會(huì)進(jìn)入一個(gè)安全模式。此時(shí)不會(huì)出現(xiàn)數(shù)據(jù)塊的寫操作5.數(shù)據(jù)完整性檢測

HDFS客戶端軟件實(shí)現(xiàn)了對HDFS文件內(nèi)容的校驗(yàn)和（Checksum）檢查保障可靠性的措施

6.空間回收

文件被用戶或應(yīng)用程序刪除時(shí)，先把它移動(dòng)到/trash目錄里；只要還在這個(gè)目錄里，文件就可以被迅速恢復(fù)7.元數(shù)據(jù)磁盤失效NameNode可以配置為支持維護(hù)映像文件和事務(wù)日志的多個(gè)副本，任何對映像文件或事務(wù)日志的修改，都將同步到它們的副本上8.快照

快照支持存儲(chǔ)某個(gè)時(shí)間的數(shù)據(jù)復(fù)制，當(dāng)HDFS數(shù)據(jù)損壞時(shí)，可以回滾到過去一個(gè)已知正確的時(shí)間點(diǎn)。HDFS目前還不支持快照功能提升性能的措施

提升性能措施副本選擇HDFS會(huì)盡量使用離程序最近的副本來滿足用戶請求，這樣可以減少總帶寬消耗和讀延時(shí)

負(fù)載均衡HDFS的架構(gòu)支持?jǐn)?shù)據(jù)均衡策略

客戶端緩存HDFS客戶端先把數(shù)據(jù)緩存到本地的一個(gè)臨時(shí)文件，程序的寫操作透明地重定向到這個(gè)臨時(shí)文件流水線復(fù)制DataNode從前一個(gè)節(jié)點(diǎn)接收數(shù)據(jù)的同時(shí)，即時(shí)把數(shù)據(jù)傳給后面的節(jié)點(diǎn)，這就是流水線復(fù)制訪問接口

HadoopAPI（1）org.apache.hadoop.conf（2）org.apache.hadoop.dfs（3）org.apache.hadoop.fs（4）org.apache.hadoop.io（5）org.apache.hadoop.ipc（6）org.apache.hadoop.mapred（7）org.apache.hadoop.metrics（8）org.apache.hadoop.record（9）org.apache.hadoop.tools（10）org.apache.hadoop.util瀏覽器接口典型HDFS安裝會(huì)配置一個(gè)Web服務(wù)器開放自己的命名空間，其TCP端口可配；默認(rèn)配置下http://namenode-name:50070這個(gè)頁面列出了集群里的所有DataNode和集群的基本狀態(tài)

提綱Hadoop簡介Hadoop分布式文件系統(tǒng)HDFS分布式數(shù)據(jù)處理MapReduce分布式結(jié)構(gòu)化數(shù)據(jù)表HBaseHadoop安裝HDFS使用HBase安裝使用

MapReduce編程

邏輯模型MapReduce處理的任務(wù)基本要求：待處理的數(shù)據(jù)集可以分解成許多小的數(shù)據(jù)集，而且每一個(gè)小數(shù)據(jù)集都可以完全并行地進(jìn)行處理

映射階段，用戶輸入的數(shù)據(jù)分割為M個(gè)片斷，對應(yīng)M個(gè)Map任務(wù)。每一個(gè)Map操作的輸入是數(shù)據(jù)片斷中的鍵值對<K1,V1>集合，Map操作調(diào)用用戶定義的Map函數(shù)，輸出一個(gè)中間態(tài)的鍵值對<K2,V2>集合。接著，按照中間態(tài)的K2將輸出的數(shù)據(jù)集進(jìn)行排序，并生成一個(gè)新的<K2,list(V2)>元組，按照K2的范圍將這些元組分割為R個(gè)片斷化簡階段，每一個(gè)Reduce操作的輸入是一個(gè)<K2,list(V2)>片斷，Reduce操作調(diào)用用戶定義的Reduce函數(shù)，生成用戶需要的鍵值對<K3,V3>進(jìn)行輸出實(shí)現(xiàn)機(jī)制

實(shí)現(xiàn)機(jī)制1．分布式并行計(jì)算2．本地計(jì)算3．任務(wù)粒度4．Combine（連接）5．Partition（分區(qū)）6．讀取中間結(jié)果7．任務(wù)管道提綱Hadoop簡介Hadoop分布式文件系統(tǒng)HDFS分布式數(shù)據(jù)處理MapReduce分布式結(jié)構(gòu)化數(shù)據(jù)表HBaseHadoop安裝HDFS使用HBase安裝使用

MapReduce編程

邏輯模型表格里存儲(chǔ)一系列的數(shù)據(jù)行，每行包含一個(gè)可排序的行關(guān)鍵字、一個(gè)可選的時(shí)間戳及一些可能有數(shù)據(jù)的列（稀疏）數(shù)據(jù)行有三種基本類型的定義：行關(guān)鍵字是數(shù)據(jù)行在表中唯一標(biāo)識(shí)，時(shí)間戳是每次數(shù)據(jù)操作對應(yīng)關(guān)聯(lián)的時(shí)間戳，列定義為：<family>:<label>（<列族>:<標(biāo)簽>）行關(guān)鍵字時(shí)間戳列"contents:"列"anchor:"列"mime:""n.www"t9"anchor:""CNN"t8"anchor:my.look.ca""CNN.com"t6"<html>...""text/html"t5"<html>..."t3"<html>..."

物理模型行關(guān)鍵字時(shí)間戳列"contents:""n.www"t5"<html>…"t4"<html>…"t3"<html>…"行關(guān)鍵字時(shí)間戳列"anchor:""n.www"t8"anchor:""CNN"t7"anchor:look.ca""CNN.com"行關(guān)鍵字時(shí)間戳列"mime:""n.www"t6"text/html"物理模型實(shí)際上就是把概念模型中的一個(gè)行進(jìn)行分割，并按照列族存儲(chǔ)查詢時(shí)間戳為t7的“contents:”將返回空值，查詢時(shí)間戳為t8，“anchor:”值為“l(fā)ook.ca”的項(xiàng)也返回空值（空的單元格不存儲(chǔ)

）查詢“contents:”而不指明時(shí)間戳，將返回t5時(shí)刻的數(shù)據(jù)；查詢“anchor:”的“l(fā)ook.ca”而不指明時(shí)間戳，將返回t7時(shí)刻的數(shù)據(jù)（未指明時(shí)間戳，則返回指定列的最新數(shù)據(jù)值

）子表服務(wù)器

客戶端進(jìn)行更新操作時(shí)，首先連接相關(guān)的子表服務(wù)器，之后向子表提交變更。提交的數(shù)據(jù)被添加到子表的HMemcache和子表服務(wù)器的HLog提供服務(wù)時(shí)，子表首先查詢緩存HMemcache。若沒有，再查找磁盤上的HStoreHRegion.flushcache()定期被調(diào)用，把HMemcache中的內(nèi)容寫到磁盤上HStore文件里

調(diào)用HSpact()方法來實(shí)現(xiàn)多個(gè)HStoreFile合并成一個(gè)HStoreFile

HRegion.closeAndMerge()可把兩個(gè)子表合并成一個(gè)；HRegion.closeAndSplit()，可將子表分割為兩個(gè)新子表

調(diào)用flushcache()方法越少，工作量就越少，而HMemcache就要占用更多的內(nèi)存空間，啟動(dòng)時(shí)HLog文件也需要更多的時(shí)間來恢復(fù)數(shù)據(jù)。而調(diào)用flushcache()越頻繁，HMemcache占用內(nèi)存就越少，HLog文件恢復(fù)數(shù)據(jù)時(shí)也就越快主服務(wù)器

主服務(wù)器維護(hù)子表服務(wù)器在任何時(shí)刻的活躍標(biāo)記

與Google的Bigtable不同，Bigtable使用分布式鎖服務(wù)Chubby保證了子表服務(wù)器訪問子表操作的原子性；HBase不具備這樣的Chubby每個(gè)子表都由它所屬的表格名字、首關(guān)鍵字和regionId來標(biāo)識(shí)例如，表名：hbaserepository首關(guān)鍵字：w-nk5YNZ8TBb2uWFIRJo7V==regionId：68906014