Zookeeper技術(shù)平臺介紹

1、Zookeeper技術(shù)平臺介紹技術(shù)創(chuàng)新，變革未來內(nèi)容：Zookeeper介紹Zookeeper演示提問解答Zookeeper介紹1、Zookeeper是什么2、Zookeeper總體結(jié)構(gòu)3、Zookeeper數(shù)據(jù)模型4、Zookeeper特點5、Zookeeper功能Zookeeper是什么？Zookeeper是一個高性能，分布式的，開放源碼的分布式應(yīng)用協(xié)調(diào)服務(wù)。它提供了簡單原始的功能，分布式應(yīng)用程序可以基于它實現(xiàn)同步服務(wù)，配置維護(hù)和命名服務(wù)等。它被設(shè)計為易于編程，使用文件系統(tǒng)目錄樹作為數(shù)據(jù)模型。服務(wù)端跑在java上，提供java和C的客戶端API。Zookeeper總體結(jié)構(gòu)Zookeeper

2、服務(wù)自身組成一個集群(2n+1個服務(wù)允許n個失效)。Zookeeper服務(wù)有兩個角色，一個是leader（領(lǐng)導(dǎo)者），負(fù)責(zé)寫服務(wù)和數(shù)據(jù)同步，剩下的是follower（跟隨者），提供讀服務(wù)，leader失效后會在follower中重新選舉新的leader。1、客戶端可以連接到每個server，每個server的數(shù)據(jù)完全相同。2、每個follower都和leader有連接，接受leader的數(shù)據(jù)更新操作。3、Server記錄事務(wù)日志和快照到持久存儲。4、大多數(shù)server可用，整體服務(wù)就可用。Zookeeper數(shù)據(jù)模型Zookeeper表現(xiàn)為一個分層的文件系統(tǒng)目錄樹結(jié)構(gòu)（不同于文件系統(tǒng)的是，節(jié)點可以

3、有自己的數(shù)據(jù)，而文件系統(tǒng)中的目錄節(jié)點只有子節(jié)點）。數(shù)據(jù)模型結(jié)構(gòu)圖如下：圓形節(jié)點可以含有子節(jié)點，多邊形節(jié)點不能含有子節(jié)點。一個節(jié)點對應(yīng)一個應(yīng)用，節(jié)點存儲的數(shù)據(jù)就是應(yīng)用需要的配置信息。順序一致性：按照客戶端發(fā)送請求的順序更新數(shù)據(jù)。原子性：更新要么成功，要么失敗，不會出現(xiàn)部分更新。單一性 ：無論客戶端連接哪個server，都會看到同一個視圖。可靠性：一旦數(shù)據(jù)更新成功，將一直保持，直到新的更新。及時性：客戶端會在一個確定的時間內(nèi)得到最新的數(shù)據(jù)。Zookeeper 特點Zookeeper功能 應(yīng)用配置集中到節(jié)點上，應(yīng)用啟動時主動獲取，并在節(jié)點上注冊一個watcher，每次配置更新都會通知到應(yīng)用。1、數(shù)據(jù)

4、發(fā)布與訂閱2、名空間服務(wù) 分布式命名服務(wù)，創(chuàng)建一個節(jié)點后，節(jié)點的路徑就是全局唯一的，可以作為全局名稱使用。Zookeeper功能 不同的系統(tǒng)都監(jiān)聽同一個節(jié)點，一旦有了更新，另一個系統(tǒng)能夠收到通知。3、分布式通知/協(xié)調(diào)4、分布式鎖 Zookeeper能保證數(shù)據(jù)的強(qiáng)一致性，用戶任何時候都可以相信集群中每個節(jié)點的數(shù)據(jù)都是相同的。一個用戶創(chuàng)建一個節(jié)點作為鎖，另一個用戶檢測該節(jié)點，如果存在，代表別的用戶已經(jīng)鎖住，如果不存在，則可以創(chuàng)建一個節(jié)點，代表擁有一個鎖。Zookeeper功能 每個加入集群的機(jī)器都創(chuàng)建一個節(jié)點，寫入自己的狀態(tài)。監(jiān)控父節(jié)點的用戶會受到通知，進(jìn)行相應(yīng)的處理。離開時刪除節(jié)點，監(jiān)控父節(jié)點的

5、用戶同樣會收到通知。5、集群管理Zookeeper操作演示1、Zookeeper官網(wǎng)下載所需版本的Zookeeper.創(chuàng)建第一個集群節(jié)點創(chuàng)建數(shù)據(jù)存放路徑創(chuàng)建第二第三個集群節(jié)點創(chuàng)建zoo.cfg文件配置zoo.cfg文件zookeeper-3.4.8-node1的配置tickTime=2000initLimit=10syncLimit=5clientPort=2181dataDir=/home/elk/zkdemo/zookeeper-3.4.8-node1/dataserver.1=localhost:2887:3887server.2=localhost:2888:3888server.3=

6、localhost:2889:3889配置zoo.cfg文件zookeeper-3.4.8-node2的配置tickTime=2000initLimit=10syncLimit=5clientPort=2182dataDir=/home/elk/zkdemo/zookeeper-3.4.8-node2/dataserver.1=localhost:2887:3887server.2=localhost:2888:3888server.3=localhost:2889:3889配置zoo.cfg文件zookeeper-3.4.8-node3的配置tickTime=2000initLimit=10

7、syncLimit=5clientPort=2183dataDir=/home/elk/zkdemo/zookeeper-3.4.8-node3/dataserver.1=localhost:2887:3887server.2=localhost:2888:3888server.3=localhost:2889:3889tickTime=2000tickTime這個時間是作為Zookeeper服務(wù)器之間或客戶端與服務(wù)器之間維持心跳的時間間隔,也就是每個tickTime時間就會發(fā)送一個心跳；參數(shù)說明:initLimit=10:initLimit這個配置項是用來配置Zookeeper接受客戶端（這

8、里所說的客戶端不是用戶連接Zookeeper服務(wù)器的客戶端,而是Zookeeper服務(wù)器集群中連接到Leader的Follower 服務(wù)器）初始化連接時最長能忍受多少個心跳時間間隔數(shù)。當(dāng)已經(jīng)超過10個心跳的時間（也就是tickTime）長度后 Zookeeper 服務(wù)器還沒有收到客戶端的返回信息,那么表明這個客戶端連接失敗?？偟臅r間長度就是 10*2000=20 秒；參數(shù)說明:syncLimit=5:syncLimit這個配置項標(biāo)識Leader與Follower之間發(fā)送消息,請求和應(yīng)答時間長度,最長不能超過多少個tickTime的時間長度,總的時間長度就是5*2000=10秒；dataDir=

9、/home/elk/zkdemo/zookeeper-3.4.8-node1/datadataDir顧名思義就是Zookeeper保存數(shù)據(jù)的目錄,默認(rèn)情況下Zookeeper將寫數(shù)據(jù)的日志文件也保存在這個目錄里；clientPort=2181clientPort這個端口就是客戶端連接Zookeeper服務(wù)器的端口,Zookeeper會監(jiān)聽這個端口接受客戶端的訪問請求；server.1=localhost:2887:3887server.2=localhost:2888:3888server.3=localhost:2889:3889格式server.A=B：C：DA：是一個數(shù)字,表示這個是第幾

10、號服務(wù)器B：是這個服務(wù)器的ip地址C：第一個端口用來集群成員的信息交換,表示的是這個服務(wù)器與集群中的Leader服務(wù)器交換信息的端口；D ：是在leader掛掉時專門用來進(jìn)行選舉leader所用參數(shù)說明:3、創(chuàng)建ServerID標(biāo)識除了修改zoo.cfg配置文件,集群模式下還要配置一個文件myid,這個文件在dataDir目錄下,這個文件里面就有一個數(shù)據(jù)就是A的值,在上面配置文件中zoo.cfg中配置的dataDir路徑中創(chuàng)建myid文件4、啟動zookeeper5、檢測集群是否啟動-bash-4.1$ echo stat|nc localhost 2181-bash-4.1$ echo st

11、at|nc localhost 2182-bash-4.1$ echo stat|nc localhost 2183#或者-bash-4.1$ /home/elk/zkdemo/zookeeper-3.4.8-node1/bin/zkCli.sh-bash-4.1$ /home/elk/zkdemo/zookeeper-3.4.8-node2/bin/zkCli.sh-bash-4.1$ /home/elk/zkdemo/zookeeper-3.4.8-node3/bin/zkCli.sh偽集群部署注意事項: 在一臺機(jī)器上部署了3個server；需要注意的是clientPort這個端口如果在1臺機(jī)器上部署多個server,那么每臺機(jī)器都要不同的clientPort。比如 se