大數(shù)據(jù)基礎(chǔ) 課件3-2 HDFS工作原理

浙江經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院儲與計算大數(shù)據(jù)存大數(shù)據(jù)基礎(chǔ)Unit3《大數(shù)據(jù)基礎(chǔ)》.移動商務(wù)營銷課程群3.1.1分布式存儲概述3.1.2HDFS工作原理3.1.3HDFS基礎(chǔ)命令3.1分布式存儲3.1.2HDFS工作原理2003年至2006年，Google發(fā)布了著名的三大論文，分別是：2003年發(fā)布的分布式文件系統(tǒng)GoogleFileSystem，2004年發(fā)布的分布式并行計算框架MapReduce，2006年發(fā)布的大型的分布式數(shù)據(jù)庫Bigtable。

以三大論文為基礎(chǔ)，演化出了開源項目Hadoop，Hadoop的核心是分布式文件存儲系統(tǒng)HDFS和分布式并行計算框架MapReduce。3.1.2HDFS工作原理1HDFS概述

HDFS（HadoopDistributedFileSystem）HDFS全稱Hadoop分布式文件系統(tǒng)，是由Google在2003年發(fā)布的分布式文件系統(tǒng)GoogleFileSystem論文基礎(chǔ)上演化而來的開源版本。HDFS是Hadoop生態(tài)系統(tǒng)中非常重要的一環(huán)，它為管理大數(shù)據(jù)資源池和支撐相關(guān)大數(shù)據(jù)分析應(yīng)用提供了一個具有高可靠性的工具。

3.1.2HDFS工作原理1HDFS概述

HDFS的優(yōu)缺點

HDFS的優(yōu)點：高容錯性，數(shù)據(jù)自動保存多份；被設(shè)計為能夠部署在低廉的硬件上；提供高吞吐量來訪問應(yīng)用程序的數(shù)據(jù)，適合處理大數(shù)據(jù)；流式文件訪問，允許一次寫入，多次讀??；適合進(jìn)行批處理。HDFS的缺點：不善于處理低延遲數(shù)據(jù)訪問；不善于處理小文件存??；不支持并發(fā)寫入，一個文件同時只能被一個寫入者修改。3.1.2HDFS工作原理2HDFS中的基礎(chǔ)概念HDFS中的存儲單元是數(shù)據(jù)塊，它的默認(rèn)大小是64M，也就是HDFS中的文件是被分成一塊塊的64M的數(shù)據(jù)塊存儲的。數(shù)據(jù)塊（Block）維護著文件系統(tǒng)樹及整棵樹內(nèi)所有的文件和目錄，并以兩個文件形式永久保存在本地磁盤上：命名空間鏡像和編輯日志。該節(jié)點也記錄著每個文件中各個數(shù)據(jù)塊所在的數(shù)據(jù)節(jié)點信息。元數(shù)據(jù)節(jié)點（NameNode）是真正存儲數(shù)據(jù)的地方。客戶端（client）和元數(shù)據(jù)節(jié)點可以向數(shù)據(jù)節(jié)點請求寫入或者讀出數(shù)據(jù)塊。該節(jié)點也需要周期性的向元數(shù)據(jù)節(jié)點匯報其存儲的數(shù)據(jù)塊信息。數(shù)據(jù)節(jié)點（DataNode）主要功能是周期性的將元數(shù)據(jù)節(jié)點的命名空間鏡像和編輯日志合并，以防日志文件過大；合并后的命名空間鏡像也會在該節(jié)點保存一份。從元數(shù)據(jù)節(jié)點（SecondaryNameNode）3.1.2HDFS工作原理3HDFS中文件寫入操作流程客戶端（HDFSClient）元數(shù)據(jù)節(jié)點（NameNode）數(shù)據(jù)節(jié)點（DataNode）3.1.2HDFS工作原理4HDFS中文件讀取操作流程客戶端（HDFSClient）元數(shù)據(jù)節(jié)