《基于新信息技術(shù)的Hadoop大數(shù)據(jù)技術(shù)》 課件 項目5 搭建HDFS分布式集群

Hadoop大數(shù)據(jù)技術(shù)——搭建HDFS分布式集群湖南軟件職業(yè)技術(shù)大學(xué)HDFS架構(gòu)設(shè)計與工作原理HDFS是什么

HDFS源于Google在2003年10月份發(fā)表的GFS（GoogleFileSystem）論文。它其實就是GFS的一個克隆版本。湖南軟件職業(yè)技術(shù)大學(xué)HDFS（HadoopDistributedFileSystem）是Hadoop項目的核心子項目，是分布式計算中數(shù)據(jù)存儲管理的基礎(chǔ)，是基于流數(shù)據(jù)模式訪問和處理超大文件的需求而開發(fā)的，可以運行于廉價的商用服務(wù)器上。《TheGoogleFileSystem》2003年HDFS產(chǎn)生背景

隨著數(shù)據(jù)量的不斷增大，最終會導(dǎo)致數(shù)據(jù)在一個操作系統(tǒng)的磁盤中存儲不下。那么為了存儲這些大規(guī)模數(shù)據(jù)，就需要將數(shù)據(jù)分配到更多操作系統(tǒng)管理的磁盤中進行存儲，但是這樣會導(dǎo)致數(shù)據(jù)的管理和維護非常不方便，所以就迫切需要一種系統(tǒng)來管理和維護多臺機器上的數(shù)據(jù)文件，實際上這種系統(tǒng)就是分布式文件系統(tǒng)，而HDFS只是分布式文件系統(tǒng)中的一種。湖南軟件職業(yè)技術(shù)大學(xué)HDFS的設(shè)計理念來源于非常樸素的思想：理念

即當(dāng)數(shù)據(jù)文件的大小超過單臺計算機的存儲能力時，就有必要將數(shù)據(jù)文件切分并存儲到由若干臺計算機組成的集群中，這些計算機通過網(wǎng)絡(luò)進行連接。集群HDFS集群

HDFS作為一個抽象層架構(gòu)在集群網(wǎng)絡(luò)之上，對外提供統(tǒng)一的文件管理功能，對于用戶來說就感覺像在操作一臺計算機一樣，根本感受不到HDFS底層的多臺計算機，而且HDFS還能夠很好地容忍節(jié)點故障且不丟失任何數(shù)據(jù)。HDFS設(shè)計理念湖南軟件職業(yè)技術(shù)大學(xué)03010402簡單的一致性模型在HDFS文件系統(tǒng)中，一個文件一旦經(jīng)過創(chuàng)建、寫入、關(guān)閉之后，一般就不需要再進行修改，這樣就可以簡單地保證數(shù)據(jù)的一致性。硬件故障的檢測和快速應(yīng)對通過大量普通硬件構(gòu)成的集群中，硬件出現(xiàn)故障是常見的問題。HDFS文件系統(tǒng)一般是由數(shù)十臺甚至成百上千臺服務(wù)器組成，這么多服務(wù)器就意味著高故障率，但是HDFS在設(shè)計之初已經(jīng)充分考慮到這些問題，認(rèn)為硬件故障是常態(tài)而不是異常，所以如何進行故障的檢測和快速自動恢復(fù)也是HDFS的重要設(shè)計目標(biāo)之一。流式數(shù)據(jù)訪問流式數(shù)據(jù)訪問是HDFS選擇的最高效的數(shù)據(jù)訪問方式。流式數(shù)據(jù)訪問可以理解為：讀取數(shù)據(jù)文件就像打開水龍頭一樣，可以不停地讀取。支持超大文件存儲支持超大文件存儲是HDFS最基本的職責(zé)所在。HDFS核心設(shè)計目標(biāo)HDFS設(shè)計目標(biāo)湖南軟件職業(yè)技術(shù)大學(xué)HDFS系統(tǒng)架構(gòu)湖南軟件職業(yè)技術(shù)大學(xué)HDFS采用master/slave架構(gòu)。一個HDFS集群包含一個單獨的NameNode和多個DataNodeHDFS系統(tǒng)架構(gòu)湖南軟件職業(yè)技術(shù)大學(xué)FSImage和Editlog合并的詳細(xì)步驟如下：HDFS優(yōu)缺點

優(yōu)點

高容錯性

數(shù)據(jù)自動保存多個副本，HDFS通過增加多個副本的形式，提高HDFS文件系統(tǒng)的容錯性，某一個副本丟失以后可以自動恢復(fù)。缺點

適合大數(shù)據(jù)處理

能夠處理GB、TB、甚至PB級別的數(shù)據(jù)規(guī)模；能夠處理百萬規(guī)模以上的文件數(shù)量；能夠達(dá)到10000個節(jié)點以上的集群規(guī)模。

流式文件訪問

數(shù)據(jù)文件只能一次寫入，多次讀取，只能追加，不能修改；HDFS能保證數(shù)據(jù)的簡單一致性。

可構(gòu)建在廉價的機器上

HDFS提供了容錯和恢復(fù)機制，比如某一個副本丟失了可以通過其他副本來恢復(fù)，從而保證了數(shù)據(jù)的安全性和系統(tǒng)的可靠性。

不適合低延時數(shù)據(jù)訪問

比如毫秒級別的數(shù)據(jù)響應(yīng)時間，這種場景HDFS是很難做到的。HDFS更適合高吞吐率的場景，就是在某一時間內(nèi)寫入大量的數(shù)據(jù)。

不適合大量小文件的存儲

如果有大量小文件需要存儲，這些小文件的元數(shù)據(jù)信息會占用NameNode大量的內(nèi)存空間。這樣是不可取的，因為NameNode的內(nèi)存總是有限的。如果讀取小文件的尋道時間超過文件數(shù)據(jù)的讀取時間，它就違反了HDFS大數(shù)據(jù)塊的設(shè)計目標(biāo)。

不適合并發(fā)寫入、文件隨機修改

一個文件只能有一個寫操作，不允許多個線程同時進行寫操作；僅支持?jǐn)?shù)據(jù)的append（追加）操作，不支持文件的隨機修改。湖南軟件職業(yè)技術(shù)大學(xué)HDFS讀數(shù)據(jù)流程湖南軟件職業(yè)技術(shù)大學(xué)HDFS讀取數(shù)據(jù)的主要步驟如圖所示:HDFS寫數(shù)據(jù)的主要步驟如圖所示:HDFS寫數(shù)據(jù)流程湖南軟件職業(yè)技術(shù)大學(xué)湖南軟件職業(yè)技術(shù)大學(xué)HDFS高可用（HA）湖南軟件職業(yè)技術(shù)大學(xué)

高可用（HighAvailability

，簡稱HA）為了整個系統(tǒng)的可靠性，我們通常會在系統(tǒng)中部署兩臺或多臺主節(jié)點，多臺主節(jié)點形成主備的關(guān)系，但是某一時刻只有一個主節(jié)點能夠?qū)ν馓峁┓?wù)，當(dāng)某一時刻檢測到對外提供服務(wù)的主節(jié)點“掛”掉之后，備用主節(jié)點能夠立刻接替已掛掉的主節(jié)點對外提供服務(wù)，而用戶感覺不到明顯的系統(tǒng)中斷。這樣對用戶來說整個系統(tǒng)就更加的可靠和高效。HA機制產(chǎn)生的背景二是計劃內(nèi)的NameNode節(jié)點軟件或硬件升級，導(dǎo)致集群在短時間內(nèi)不可用。一是NameNode機器宕機，將導(dǎo)致集群不可用，重啟NameNode之后才可使用；

HA機制產(chǎn)生