ZooKeeper分布式應(yīng)用的協(xié)調(diào)器課件

ZooKeeper

分布式應(yīng)用的協(xié)調(diào)器ZooKeeper

分布式應(yīng)用的協(xié)調(diào)器主要內(nèi)容ZooKeeper的數(shù)據(jù)模型ZooKeeper的數(shù)據(jù)讀寫機制ZooKeeper的使用方法主要內(nèi)容ZooKeeper的數(shù)據(jù)模型為什么需要ZooKeeper?大部分分布式應(yīng)用需要一個主控、協(xié)調(diào)器或控制器來管理物理分布的子進(jìn)程（如資源、任務(wù)分配等）目前，大部分應(yīng)用需要開發(fā)私有的協(xié)調(diào)程序，缺乏一個通用的機制協(xié)調(diào)程序的反復(fù)編寫浪費，且難以形成通用、伸縮性好的協(xié)調(diào)器ZooKeeper：提供通用的分布式鎖服務(wù)，用以協(xié)調(diào)分布式應(yīng)用（如，為HBase提供服務(wù)）為什么需要ZooKeeper?大部分分布式應(yīng)用需要一個主控、ZooKeeper的數(shù)據(jù)模型層次化目錄結(jié)構(gòu)命名符合常規(guī)文件系統(tǒng)規(guī)范，

不能包含/節(jié)點Znode可以包含數(shù)據(jù)與子

節(jié)點客戶端應(yīng)用可在節(jié)點上設(shè)置

監(jiān)視器節(jié)點數(shù)據(jù)不支持部分讀寫，

而是一次性完整讀寫臨時性節(jié)點ZooKeeper的數(shù)據(jù)模型層次化目錄結(jié)構(gòu)節(jié)點創(chuàng)建屬性臨時性節(jié)點創(chuàng)建的節(jié)點不是持久節(jié)點一旦與客戶端的會話結(jié)束，節(jié)點自動刪除Sequence創(chuàng)建節(jié)點時，編號自動加1例如x-1,x-2,s-3,x-4等節(jié)點創(chuàng)建屬性臨時性節(jié)點ZooKeeper的讀寫機制ZooKeeper是一個由多個Server組成的集群一個Leader，多個Follower每個Server都保存了一份數(shù)據(jù)副本全局?jǐn)?shù)據(jù)一致分布式讀寫更新請求轉(zhuǎn)發(fā)，由Leader實施ZooKeeper的讀寫機制ZooKeeper是一個由多個S使用ZooKeeper的約定更新請求順序執(zhí)行來自同一個Client的更新請求按其發(fā)送順序依次執(zhí)行數(shù)據(jù)更新原子性一次數(shù)據(jù)更新要么成功，要么失敗。不存在部分?jǐn)?shù)據(jù)寫入成功或失敗的情況全局唯一數(shù)據(jù)視圖Client無論連接哪個Server，數(shù)據(jù)視圖都是一致的實時性在一定時間范圍內(nèi)，Client能讀到最新數(shù)據(jù)使用ZooKeeper的約定更新請求順序執(zhí)行ZooKeeper的APIStringcreate(path,data,acl,flags)voiddelete(path,expectedVersion)StatsetData(path,data,expectedVersion)(data,Stat)getData(path,watch)Statexists(path,watch)String[]getChildren(path,watch)voidsync(path)StatsetACL(path,acl,expectedVersion)(acl,Stat)getACL(path)包含監(jiān)視器調(diào)用參數(shù)均包含節(jié)點路徑ZooKeeper的APIStringcreate(pat對比：Chubby的APIhandleOpen(path,…)?Close(handle,…)?GetContentsAndStat(handle,…),GetStat(handle),ReadDir(handle,…)?SetContents(handle),SetACL(handle,…)?Delete(path)?Acquire(),TryAcquire(),Release()?GetSequencer(),SetSequencer(),CheckSequencer()?僅Open包含節(jié)點路徑，生成handle供其他API使用對比：Chubby的APIhandleOpen(path,如何使用ZooKeeper？關(guān)于ZooKeeper的鎖服務(wù)這里的“鎖”并非對ZooKeeper的資源加鎖，用于對第三方資源加鎖用例多個第三方分布式Server需要使用某第三方資源，誰獲取了ZooKeeper中的獨占鎖，誰就可以使用第三方資源，否則等待如何使用ZooKeeper？關(guān)于ZooKeeper的鎖服務(wù)如何使用ZooKeeper？Leader選舉用于在多個節(jié)點中選取主控，如GFS中對外服務(wù)Master節(jié)點的選取1)getData(“/servers/leader”,true)2)如果讀取成功則從數(shù)據(jù)中獲取leader信息，退出3)讀取失敗，執(zhí)行create(“.../servers/leader”,hostname,EPHEMERAL)（注意節(jié)點類型）如果創(chuàng)建成功則自己成為leader，寫入信息，退出5)如果寫入失敗，則返回步驟1getData設(shè)置了監(jiān)視器，如果數(shù)據(jù)發(fā)生變化，會重啟上述流程如何使用ZooKeeper？Leader選舉1)getDat如何使用ZooKeeper？獨占鎖如果分布式應(yīng)用需要對某資源獨占使用，可以申請獨占鎖1)id=create(“.../locks/x-”,SEQUENCE|EPHEMERAL)2)getChildren(“.../locks/”,false)3)如果id是第一個節(jié)點，則獲取獨占鎖，退出4)exists(nameoflastchildbeforeid,true)（注意，設(shè)置了監(jiān)視器）5)如果id之前不存在節(jié)點，返回步驟26)等待通知7)返回步驟2有且僅有一個Client可以獲取到獨占鎖如何使用ZooKeeper？獨占鎖1)id=create如何使用ZooKeeper？共享鎖1)id=create(“.../locks/s-”,SEQUENCE|EPHEMERAL)2)getChildren(“.../locks/”,false)3)如果id之前沒有x-類型的節(jié)點，獲取共享鎖，退出4)exists(nameofthelastx-beforeid,true)5)如果id之前不存在x-類型節(jié)點，返回步驟26)等待事件通知7)返回步驟2如果之前沒有獨占鎖，就可以獲取共享鎖如何使用ZooKeeper？共享鎖1)id=create如何使用ZooKeeper？其他應(yīng)用(小數(shù)據(jù)存儲)例如，GFS中master如何獲知ChunkServer信息？基于ZooKeeper的實現(xiàn)方法ChunkServer執(zhí)行如下操作：1)id=create(“.../chunkservers/cs-”,SEQUENCE|EPHEMERAL)2)向節(jié)點id中寫入ChunkServer元信息Master執(zhí)行如下操作：1)getChildren(“.../chunkservers/”,true)2)讀取子節(jié)點數(shù)據(jù)，獲知ChunkServer元信息如何使用ZooKeeper？其他應(yīng)用(小數(shù)據(jù)存儲)基于Zoo其他ZooKeeper的會話Client通過發(fā)送PING請求與Server保持會話通過PING，可以同時獲知Client與Server是否活躍ZooKeeper的監(jiān)視器監(jiān)視器是一次性的，一次事件通知后就作廢其他ZooKeeper的會話性能ZooKeeper適用于主要負(fù)載為讀的應(yīng)用場合性能ZooKeeper適用于主要ZooKeeper

分布式應(yīng)用的協(xié)調(diào)器ZooKeeper

分布式應(yīng)用的協(xié)調(diào)器主要內(nèi)容ZooKeeper的數(shù)據(jù)模型ZooKeeper的數(shù)據(jù)讀寫機制ZooKeeper的使用方法主要內(nèi)容ZooKeeper的數(shù)據(jù)模型為什么需要ZooKeeper?大部分分布式應(yīng)用需要一個主控、協(xié)調(diào)器或控制器來管理物理分布的子進(jìn)程（如資源、任務(wù)分配等）目前，大部分應(yīng)用需要開發(fā)私有的協(xié)調(diào)程序，缺乏一個通用的機制協(xié)調(diào)程序的反復(fù)編寫浪費，且難以形成通用、伸縮性好的協(xié)調(diào)器ZooKeeper：提供通用的分布式鎖服務(wù)，用以協(xié)調(diào)分布式應(yīng)用（如，為HBase提供服務(wù)）為什么需要ZooKeeper?大部分分布式應(yīng)用需要一個主控、ZooKeeper的數(shù)據(jù)模型層次化目錄結(jié)構(gòu)命名符合常規(guī)文件系統(tǒng)規(guī)范，

不能包含/節(jié)點Znode可以包含數(shù)據(jù)與子

節(jié)點客戶端應(yīng)用可在節(jié)點上設(shè)置

監(jiān)視器節(jié)點數(shù)據(jù)不支持部分讀寫，

而是一次性完整讀寫臨時性節(jié)點ZooKeeper的數(shù)據(jù)模型層次化目錄結(jié)構(gòu)節(jié)點創(chuàng)建屬性臨時性節(jié)點創(chuàng)建的節(jié)點不是持久節(jié)點一旦與客戶端的會話結(jié)束，節(jié)點自動刪除Sequence創(chuàng)建節(jié)點時，編號自動加1例如x-1,x-2,s-3,x-4等節(jié)點創(chuàng)建屬性臨時性節(jié)點ZooKeeper的讀寫機制ZooKeeper是一個由多個Server組成的集群一個Leader，多個Follower每個Server都保存了一份數(shù)據(jù)副本全局?jǐn)?shù)據(jù)一致分布式讀寫更新請求轉(zhuǎn)發(fā)，由Leader實施ZooKeeper的讀寫機制ZooKeeper是一個由多個S使用ZooKeeper的約定更新請求順序執(zhí)行來自同一個Client的更新請求按其發(fā)送順序依次執(zhí)行數(shù)據(jù)更新原子性一次數(shù)據(jù)更新要么成功，要么失敗。不存在部分?jǐn)?shù)據(jù)寫入成功或失敗的情況全局唯一數(shù)據(jù)視圖Client無論連接哪個Server，數(shù)據(jù)視圖都是一致的實時性在一定時間范圍內(nèi)，Client能讀到最新數(shù)據(jù)使用ZooKeeper的約定更新請求順序執(zhí)行ZooKeeper的APIStringcreate(path,data,acl,flags)voiddelete(path,expectedVersion)StatsetData(path,data,expectedVersion)(data,Stat)getData(path,watch)Statexists(path,watch)String[]getChildren(path,watch)voidsync(path)StatsetACL(path,acl,expectedVersion)(acl,Stat)getACL(path)包含監(jiān)視器調(diào)用參數(shù)均包含節(jié)點路徑ZooKeeper的APIStringcreate(pat對比：Chubby的APIhandleOpen(path,…)?Close(handle,…)?GetContentsAndStat(handle,…),GetStat(handle),ReadDir(handle,…)?SetContents(handle),SetACL(handle,…)?Delete(path)?Acquire(),TryAcquire(),Release()?GetSequencer(),SetSequencer(),CheckSequencer()?僅Open包含節(jié)點路徑，生成handle供其他API使用對比：Chubby的APIhandleOpen(path,如何使用ZooKeeper？關(guān)于ZooKeeper的鎖服務(wù)這里的“鎖”并非對ZooKeeper的資源加鎖，用于對第三方資源加鎖用例多個第三方分布式Server需要使用某第三方資源，誰獲取了ZooKeeper中的獨占鎖，誰就可以使用第三方資源，否則等待如何使用ZooKeeper？關(guān)于ZooKeeper的鎖服務(wù)如何使用ZooKeeper？Leader選舉用于在多個節(jié)點中選取主控，如GFS中對外服務(wù)Master節(jié)點的選取1)getData(“/servers/leader”,true)2)如果讀取成功則從數(shù)據(jù)中獲取leader信息，退出3)讀取失敗，執(zhí)行create(“.../servers/leader”,hostname,EPHEMERAL)（注意節(jié)點類型）如果創(chuàng)建成功則自己成為leader，寫入信息，退出5)如果寫入失敗，則返回步驟1getData設(shè)置了監(jiān)視器，如果數(shù)據(jù)發(fā)生變化，會重啟上述流程如何使用ZooKeeper？Leader選舉1)getDat如何使用ZooKeeper？獨占鎖如果分布式應(yīng)用需要對某資源獨占使用，可以申請獨占鎖1)id=create(“.../locks/x-”,SEQUENCE|EPHEMERAL)2)getChildren(“.../locks/”,false)3)如果id是第一個節(jié)點，則獲取獨占鎖，退出4)exists(nameoflastchildbeforeid,true)（注意，設(shè)置了監(jiān)視器）5)如果id之前不存在節(jié)點，返回步驟26)等待通知7)返回步驟2有且僅有一個Client可以獲取到獨占鎖如何使用ZooKeeper？獨占鎖1)id=create如何使用ZooKeeper？共享鎖1)id=create(“.../locks/s-”,SEQUENCE|EPHEMERAL)2)getChildren(“.../locks/”,false)3)如果id之前沒有x-類型的節(jié)點，獲取共享鎖，退出4)exists(name