私塾學(xué)習(xí)網(wǎng)hadoop中高級

目前Hadoop1.0存在的架構(gòu)的問題常見的HA

方案Hadoop0.23

是如何解決的HA本節(jié)課程概覽!：

做最好的學(xué)習(xí)社區(qū)第一部分：目前Hadoop1.0架構(gòu)的問題!：

做最好的學(xué)習(xí)社區(qū)Hadoop架構(gòu)的問題NameNodeRack1Rack2Client文件元數(shù)據(jù)信息元數(shù)據(jù)信息DataNodesDataNodesBlock的操作BlocksReplication!：

做最好的學(xué)習(xí)社區(qū)單點(diǎn)故障如果NameNode或者JobTraker關(guān)掉，那么整個集群癱瘓。對于7×24生產(chǎn)環(huán)境，是具有極大的風(fēng)險(xiǎn)。!：

做最好的學(xué)習(xí)社區(qū)第二部分：常見的HA方案!：

做最好的學(xué)習(xí)社區(qū)方案簡介第一種是可以設(shè)置一個NFS的

，

fsimage和editlog， 的是實(shí)時數(shù)據(jù)，這樣當(dāng)namenode掛掉后能夠通過fsimage和editlog進(jìn)行完全恢復(fù)。第二種是設(shè)置Secondary

Namenode。問題：不能迅速的切換，需要花費(fèi)一定時間恢復(fù)。!：

做最好的學(xué)習(xí)社區(qū)!的方案不改變namenode和datanode整體邏輯的基礎(chǔ)上，在其上層開發(fā)出AvaterNode，AvatarNode的意思就是支持互相切換。提供一個Pri

vatar和一個Standby

Avatar，通過virual

IP來設(shè)置IP地址。Pri

vatar對外提供服務(wù)，設(shè)置了NFS

，將FSImage和EditLog中的FSImage和EditLog。Standby

Avatar將NFS過來進(jìn)行同步，并且設(shè)置Standby

Avatar一直處于safemode狀態(tài)，不影響正常操作。這樣Standby

Avatar相當(dāng)于一個熱拷貝，獲得了所有的實(shí)時數(shù)據(jù)。：

做最好的學(xué)習(xí)社區(qū)第三部分：Hadoop0.23

是如何解決的HA!：

做最好的學(xué)習(xí)社區(qū)Hadoop

0.23

HA!：

做最好的學(xué)習(xí)社區(qū)Hadoop

0.23

HA提供2臺機(jī)器做雙機(jī)熱備一臺為Active

節(jié)點(diǎn)，一臺為StandBy節(jié)點(diǎn)同時只有Active節(jié)點(diǎn)對外提供服務(wù)源數(shù)據(jù)

在共享StandBy會時刻到共享

拿Meta信息，以保證切換時不會丟掉數(shù)據(jù)DataNode會向2臺機(jī)器匯報(bào)自己的信息仍需要配置Sencondary

NameNode接解決Edits

log變大問題!：

做最好的學(xué)習(xí)社區(qū)本節(jié)課程小結(jié)了解Hadoop存在的單點(diǎn)的問題