2023學(xué)年完整公開課版HDFS架構(gòu)

HDFS架構(gòu)目錄一、HDFS架構(gòu)圖二、NameNode三、SecondaryNameNode四、DataNode五、Hearbeats六、Block塊七、Client客戶端一、HDFS架構(gòu)圖

HDFS的架構(gòu)是較為經(jīng)典的主/從架構(gòu)，在架構(gòu)圖中NameNode是主節(jié)點(diǎn)，DataNode是從節(jié)點(diǎn)，HDFSClient是客戶端、HDFS提供了比較豐富的客戶端像cli、api、gui等等支持，SecondaryNameNode作為輔助NameNode工作的一個(gè)輔助節(jié)點(diǎn)。HDFS架構(gòu)圖二、NameNode首先是NameNode，它是HDFS主從架構(gòu)當(dāng)中的主節(jié)點(diǎn)，其實(shí)主要負(fù)責(zé)接受客戶端提交過(guò)來(lái)的讀寫請(qǐng)求、以及一些類似管理的工作，比如說(shuō)，數(shù)據(jù)存到HDFS當(dāng)中每個(gè)文件都會(huì)對(duì)應(yīng)一份元數(shù)據(jù)信息，這些元數(shù)據(jù)信息都是存放在NameNode的內(nèi)存當(dāng)中、由NameNode來(lái)進(jìn)行維護(hù)。NameNode三、SecondaryNameNode

SecondaryNameNode，屬于NameNode的輔助結(jié)點(diǎn)，主要幫助NameNode完成元數(shù)據(jù)文件的合并處理工作，HDFS當(dāng)中元數(shù)據(jù)持久化文件包含了fsimage、edits兩種，在HDFS運(yùn)行過(guò)程當(dāng)中需要對(duì)這兩種文件進(jìn)行合并操作，這項(xiàng)工作就是由SecondaryNameNode來(lái)完成。SecondaryNameNode四、DataNode

DataNode，他作為一個(gè)從節(jié)點(diǎn)出現(xiàn)，主要負(fù)責(zé)數(shù)據(jù)的存放。數(shù)據(jù)文件寫入到HDFS當(dāng)中會(huì)切分為小的數(shù)據(jù)塊block，這些數(shù)據(jù)塊會(huì)存放在DataNode節(jié)點(diǎn)上。在一個(gè)HDFS集群當(dāng)中DataNode結(jié)點(diǎn)可以有任意多臺(tái)，當(dāng)然要根據(jù)你文件系統(tǒng)的數(shù)據(jù)量來(lái)確定，并且后期如果容量不足的情況下，也支持DataNode結(jié)點(diǎn)動(dòng)態(tài)添加、擴(kuò)容。DataNode五、Hearbeats

NameNode與DataNode之間的連線，DataNode在運(yùn)行過(guò)程當(dāng)中一直會(huì)和NameNode結(jié)點(diǎn)保持通信。一方面，在DataNode啟動(dòng)時(shí)，會(huì)給NameNode上報(bào)自己服務(wù)器上有哪些數(shù)據(jù)塊、也就是block的位置存放信息，NameNode接收到這些block位置信息會(huì)維護(hù)好一份完整的元數(shù)據(jù)信息，從而找到具體數(shù)據(jù)存放在哪些DataNode上；另一方面，運(yùn)行過(guò)程當(dāng)中，DataNode會(huì)每隔3秒定時(shí)和NameNode做一次心跳，從而NameNode可以知道DataNode的運(yùn)行狀況。Hearbeats六、Block塊

Block數(shù)據(jù)塊是HDFS最小存儲(chǔ)單元，文件寫入HDFS時(shí)會(huì)被切分成若干個(gè)Block，默認(rèn)為128M，且備份3個(gè)副本。Block塊七、Client客戶端

Client是客戶端，包括文件切分，并與NameNode和DataNode進(jìn)行交互，從NameNode獲取元數(shù)據(jù)信息，向DataNode交互進(jìn)行數(shù)據(jù)的讀取或?qū)懭?。Client客戶端習(xí)題：1、請(qǐng)簡(jiǎn)要描述HDFS的架構(gòu)設(shè)計(jì)？2、