Rhcs集群部署文檔

Rhcs集群部署文檔（websphere+db2)安裝環(huán)境介紹

這個(gè)實(shí)例要介紹的是websphere+db2集群的構(gòu)建，整個(gè)RHCS集群共有四臺(tái)服務(wù)器組成，分別由兩臺(tái)主機(jī)搭建web集群，兩臺(tái)主機(jī)搭建db2集群，在這種集群構(gòu)架下，任何一臺(tái)web服務(wù)器故障，都有另一臺(tái)web服務(wù)器進(jìn)行服務(wù)接管，同時(shí)，任何一臺(tái)db2服務(wù)器故障，也有另一臺(tái)db2服務(wù)器去接管服務(wù)，保證了整個(gè)應(yīng)用系統(tǒng)服務(wù)的不間斷運(yùn)行。如下圖所示：

二、安裝前準(zhǔn)備工作Websphere和db2采取默認(rèn)安裝，這里就不再描述。Db2安裝完畢后運(yùn)行db2createdbexoaon/opt/ibm/db2/exoausingcodesetgbkterritorycn創(chuàng)建數(shù)據(jù)庫(kù)

操作系統(tǒng)：統(tǒng)一采用rhel5.6版本。為了方便安裝RHCS套件，在安裝操作系統(tǒng)時(shí)，建議選擇如下這些安裝包：

桌面環(huán)境：xwindowssystem、GNOMEdesktopenvironment。

開(kāi)發(fā)工具：developmenttools、xsoftwaredevelopment、gnomesoftwaredevelopment、kdesoftwaredevelopment。

地址規(guī)劃如下：主機(jī)名Ip地址主機(jī)用途虛擬ipStorgae-server88Iscsi存儲(chǔ)端/rhcs管理端無(wú)W89Websphere主服務(wù)器93W90Websphere備服務(wù)器93Db91Db2主服務(wù)器94Db92Db2備服務(wù)器94資源規(guī)劃主機(jī)名Ip地址掛載磁盤(pán)掛載目錄裁決磁盤(pán)W89/sdb/sdb5/opt/IBM/WebSphere/AppServer/profiles/dev/sdb7W90/sdb/sdb5/opt/IBM/WebSphere/AppServer/profiles/dev/sdb7Db91/sdb/sdb6/opt/ibm/db2/exoa/dev/sdb7Db92/sdb/sdb6/opt/ibm/db2/exoa/dev/sdb7

三、安裝Luci

Luci是RHCS基于web的集群配置管理工具，可以從系統(tǒng)光盤(pán)找到對(duì)應(yīng)的Luci安裝包，安裝如下：

[root@storgae-server~]#rpm-ivhluci-0.12.2-12.el5.centos.1.i386.rpm

安裝完成，執(zhí)行l(wèi)uci初始化操作：

[root@storgae-server~]#luci_admininit

InitializingtheLuciserver

Creatingthe'admin'user

Enterpassword:

Confirmpassword:

Pleasewait...

Theadminpasswordhasbeensuccessfullyset.

GeneratingSSLcertificates...

Luciserverhasbeensuccessfullyinitialized

輸入兩次密碼后，就創(chuàng)建了一個(gè)默認(rèn)登錄luci的用戶admin。

最后，啟動(dòng)luci服務(wù)即可：

[root@storgae-server~]#/etc/init.d/lucistart

服務(wù)成功啟動(dòng)后，就可以通過(guò)https://ip:8084訪問(wèn)luci了。

為了能讓luci訪問(wèn)集群其它節(jié)點(diǎn)，還需要在/etc/hosts增加如下內(nèi)容：

89w90w91db92db2

到這里為止，在storgae-server主機(jī)上的設(shè)置完成。四、在集群節(jié)點(diǎn)安裝RHCS軟件包

為了保證集群每個(gè)節(jié)點(diǎn)間可以互相通信，需要將每個(gè)節(jié)點(diǎn)的主機(jī)名信息加入/etc/hosts文件中，修改完成的/etc/hosts文件內(nèi)容如下：

localhost

89w90w91db92db2

將此文件依次復(fù)制到集群每個(gè)節(jié)點(diǎn)的/etc/hosts文件中。RHCS軟件包的安裝有兩種方式，可以通過(guò)luci管理界面，在創(chuàng)建Cluster時(shí)，通過(guò)在線下載方式自動(dòng)安裝，也可以直接從操作系統(tǒng)光盤(pán)找到所需軟件包進(jìn)行手動(dòng)安裝，由于在線安裝方式受網(wǎng)絡(luò)和速度的影響，不建議采用，這里通過(guò)手動(dòng)方式來(lái)安裝RHCS軟件包。

安裝RHCS，主要安裝的組件包有cman、gfs2和rgmanager，當(dāng)然在安裝這些軟件包時(shí)可能需要其它依賴(lài)的系統(tǒng)包，只需按照提示進(jìn)行安裝即可，下面是一個(gè)安裝清單，在集群的四個(gè)節(jié)點(diǎn)分別執(zhí)行：

#installcman

rpm-ivhperl-XML-NamespaceSupport-1.09-1.2.1.noarch.rpm

rpm-ivhperl-XML-SAX-0.14-8.noarch.rpm

rpm-ivhperl-XML-LibXML-Common-0.13-8.2.2.i386.rpm

rpm-ivhperl-XML-LibXML-1.58-6.i386.rpm

rpm-ivhperl-Net-Telnet-3.03-5.noarch.rpm

rpm-ivhpexpect-2.3-3.el5.noarch.rpm

rpm-ivhopenais-0.80.6-16.el5_5.2.i386.rpm

rpm-ivhcman-2.0.115-34.el5.i386.rpm

#installricci

rpm-ivhmodcluster-0.12.1-2.el5.centos.i386.rpm

rpm-ivhricci-0.12.2-12.el5.centos.1.i386.rpm

#installgfs2

rpm-ivhgfs2-utils-0.1.62-20.el5.i386.rpm

#installrgmanager

rpm-ivhrgmanager-2.0.52-6.el5.centos.i386.rpm五、在集群節(jié)點(diǎn)安裝配置iSCSI客戶端

安裝iSCSI客戶端是為了和iSCSI-target服務(wù)端進(jìn)行通信，進(jìn)而將共享磁盤(pán)導(dǎo)入到各個(gè)集群節(jié)點(diǎn)，這里以集群節(jié)點(diǎn)web1為例，介紹如何安裝和配置iSCSI，剩余其它節(jié)點(diǎn)的安裝和配置方式與web1節(jié)點(diǎn)完全相同。

iSCSI客戶端的安裝和配置非常簡(jiǎn)單，只需如下幾個(gè)步驟即可完成：

[root@web1rhcs]#rpm-ivhiscsi-initiator-utils-71-0.16.el5.i386.rpm

[root@web1rhcs]#/etc/init.d/iscsirestart

[root@web1rhcs]#iscsiadm-mdiscovery-tsendtargets-p46

[root@web1rhcs]#/etc/init.d/iscsirestart

[root@web1rhcs]#fdisk-l

Disk/dev/sdb:10.7GB,10737418240bytes

64heads,32sectors/track,10240cylinders

Units=cylindersof2048*512=1048576bytes

Disk/dev/sdbdoesn'tcontainavalidpartitiontable

通過(guò)fdisk的輸出可知，/dev/sdb就是從iSCSI-target共享過(guò)來(lái)的磁盤(pán)分區(qū)。

至此，安裝工作全部結(jié)束。六、配置RHCS高可用集群

配置RHCS，其核心就是配置/etc/cluster/cluster.conf文件，下面通過(guò)web管理界面介紹如何構(gòu)造一個(gè)cluster.conf文件。

在storgae-server主機(jī)上啟動(dòng)luci服務(wù)，然后通過(guò)瀏覽器訪問(wèn)88:8084/，就可以打開(kāi)luci登錄界面，如圖1所示：圖1

成功登錄后，luci有三個(gè)配置選項(xiàng)，分別是homebase、cluster和storage，其中，cluster主要用于創(chuàng)建和配置集群系統(tǒng)，storage用于創(chuàng)建和管理共享存儲(chǔ)，而homebase主要用于添加、更新、刪除cluster系統(tǒng)和storage設(shè)置，同時(shí)也可以創(chuàng)建和刪除luci登錄用戶。如圖2所示：圖2

1、創(chuàng)建一個(gè)cluster

登錄luci后，切換到cluster選項(xiàng)，然后點(diǎn)擊左邊的clusters選框中的“Createanewcluster”，增加一個(gè)cluster，如圖3所示：圖3

在圖3中，創(chuàng)建的cluster名稱(chēng)為mycluster，“NodeHostname”表示每個(gè)節(jié)點(diǎn)的主機(jī)名稱(chēng)，“RootPassword”表示每個(gè)節(jié)點(diǎn)的root用戶密碼。每個(gè)節(jié)點(diǎn)的root密碼可以相同，也可以不同。

在下面的五個(gè)選項(xiàng)中，“Downloadpackages”表示在線下載并自動(dòng)安裝RHCS軟件包，而“Uselocallyinstalledpackages”表示用本地安裝包進(jìn)行安裝，由于RHCS組件包在上面的介紹中已經(jīng)手動(dòng)安裝完成，所以這里選擇本地安裝即可。剩下的三個(gè)復(fù)選框分別是啟用共享存儲(chǔ)支持（EnableSharedStorageSupport）、節(jié)點(diǎn)加入集群時(shí)重啟系統(tǒng)（Rebootnodesbeforejoiningcluster）和檢查節(jié)點(diǎn)密碼的一致性（Checkifnodepasswordsareidentical），這些創(chuàng)建cluster的設(shè)置，可選可不選，這里不做任何選擇。

“ViewSSLcertfingerprints”用于驗(yàn)證集群各個(gè)節(jié)點(diǎn)與luci通信是否正常，并檢測(cè)每個(gè)節(jié)點(diǎn)的配置是否可以創(chuàng)建集群，如果檢測(cè)失敗，會(huì)給出相應(yīng)的錯(cuò)誤提示信息。如果驗(yàn)證成功，會(huì)輸出成功信息。所有選項(xiàng)填寫(xiě)完成，點(diǎn)擊“Submit”進(jìn)行提交，接下來(lái)luci開(kāi)始創(chuàng)建cluster，如圖4所示：圖4在經(jīng)過(guò)Install----Reboot----Configure----Join四個(gè)過(guò)程后，如果沒(méi)有報(bào)錯(cuò)，“mycluster”就創(chuàng)建完成了，其實(shí)創(chuàng)建cluster的過(guò)程，就是luci將設(shè)定的集群信息寫(xiě)入到每個(gè)集群節(jié)點(diǎn)配置文件的過(guò)程。Cluster創(chuàng)建成功后，默認(rèn)顯示“mycluster”的集群全局屬性列表，點(diǎn)擊cluster-->Clusterlist來(lái)查看創(chuàng)建的mycluster的狀態(tài)，如圖5所示：圖5

從圖5可知，mycluster集群下有四個(gè)節(jié)點(diǎn)，正常狀態(tài)下，節(jié)點(diǎn)Nodes名稱(chēng)和ClusterName均顯示為綠色，如果出現(xiàn)異常，將顯示為紅色。

點(diǎn)擊Nodes下面的任意一個(gè)節(jié)點(diǎn)名稱(chēng)，可以查看此節(jié)點(diǎn)的運(yùn)行狀態(tài)，如圖6所示：圖6

從圖6可以看出，cman和rgmanager服務(wù)運(yùn)行在每個(gè)節(jié)點(diǎn)上，并且這兩個(gè)服務(wù)需要開(kāi)機(jī)自動(dòng)啟動(dòng)，它們是RHCS的核心守護(hù)進(jìn)程，如果這兩個(gè)服務(wù)在某個(gè)節(jié)點(diǎn)沒(méi)有啟動(dòng)，可以通過(guò)命令行方式手工啟動(dòng)，命令如下：

/etc/init.d/cmanstart

/etc/init.d/rgmanagerstart

服務(wù)啟動(dòng)成功后，在圖6中點(diǎn)擊“Updatenodedaemonproperties”按鈕，更新節(jié)點(diǎn)的狀態(tài)。

通過(guò)上面的操作，一個(gè)簡(jiǎn)單的cluster就創(chuàng)建完成了，但是這個(gè)cluster目前還是不能工作的，還需要為這個(gè)cluster創(chuàng)建FailoverDomain、Resources、Service、SharedFenceDevice等，下面依次進(jìn)行介紹。2、創(chuàng)建FailoverDomain

FailoverDomain是配置集群的失敗轉(zhuǎn)移域，通過(guò)失敗轉(zhuǎn)移域可以將服務(wù)和資源的切換限制在指定的節(jié)點(diǎn)間，下面的操作將創(chuàng)建兩個(gè)失敗轉(zhuǎn)移域，分別是webserver-failover和mysql-failover。

點(diǎn)擊cluster，然后在Clusterlist中點(diǎn)擊“mycluster”，接著，在左下端的mycluster欄中點(diǎn)擊FailoverDomains-->AddaFailoverDomain，增加一個(gè)FailoverDomain，如圖7所示：圖7

在圖7中，各個(gè)參數(shù)的含義如下：

Failoverdomainname：創(chuàng)建的失敗轉(zhuǎn)移域名稱(chēng)，起一個(gè)易記的名字即可。

Prioritized：是否在Failoverdomain中啟用域成員優(yōu)先級(jí)設(shè)置，這里選擇啟用。

RestrictFailovertothisdomain’smember:表示是否在失敗轉(zhuǎn)移域成員中啟用服務(wù)故障切換限制。這里選擇啟用。

Donotfailbackservicesinthisdomain：表示在這個(gè)域中使用故障切回功能，也就是說(shuō)，主節(jié)點(diǎn)故障時(shí)，備用節(jié)點(diǎn)會(huì)自動(dòng)接管主節(jié)點(diǎn)服務(wù)和資源，當(dāng)主節(jié)點(diǎn)恢復(fù)正常時(shí)，集群的服務(wù)和資源會(huì)從備用節(jié)點(diǎn)自動(dòng)切換到主節(jié)點(diǎn)。

然后，在Failoverdomainmembership的Member復(fù)選框中，選擇加入此域的節(jié)點(diǎn)，這里選擇的是web1和web2節(jié)點(diǎn)，然后，在“priority”處將web1的優(yōu)先級(jí)設(shè)置為1，web2的優(yōu)先級(jí)設(shè)置為10。需要說(shuō)明的是“priority”設(shè)置為1的節(jié)點(diǎn)，優(yōu)先級(jí)是最高的，隨著數(shù)值的降低，節(jié)點(diǎn)優(yōu)先級(jí)也依次降低。

所有設(shè)置完成，點(diǎn)擊Submit按鈕，開(kāi)始創(chuàng)建Failoverdomain。

按照上面的介紹，繼續(xù)添加第二個(gè)失敗轉(zhuǎn)移域db-failover，在Failoverdomainmembership的Member復(fù)選框中，選擇加入此域的節(jié)點(diǎn)，這里選擇db1和db2節(jié)點(diǎn)，然后，在“priority”處將db1的優(yōu)先級(jí)設(shè)置為2，db2的優(yōu)先級(jí)設(shè)置為8。

3、創(chuàng)建ResourcesResources是集群的核心，主要包含服務(wù)腳本、IP地址、文件系統(tǒng)等，RHCS提供的資源如圖8所示：圖8依次添加IP資源、http服務(wù)資源、db管理腳本資源、ext3文件系統(tǒng)，如圖9所示：圖9

4、創(chuàng)建Service點(diǎn)擊cluster，然后在Clusterlist中點(diǎn)擊“mycluster”，接著，在左下端的mycluster欄中點(diǎn)擊Services-->AddaService，在集群中添加一個(gè)服務(wù)，如圖10所示：圖10所有服務(wù)添加完成后，如果應(yīng)用程序設(shè)置正確，服務(wù)將自動(dòng)啟動(dòng)，點(diǎn)擊cluster，然后在Clusterlist中可以看到兩個(gè)服務(wù)的啟動(dòng)狀態(tài)，正常情況下，均顯示為綠色。如圖11所示：圖11七、配置表決磁盤(pán)

（1）使用表決磁盤(pán)的必要性

在一個(gè)多節(jié)點(diǎn)的RHCS集群系統(tǒng)中，一個(gè)節(jié)點(diǎn)失敗后，集群的服務(wù)和資源可以自動(dòng)轉(zhuǎn)移到其它節(jié)點(diǎn)上，但是這種轉(zhuǎn)移是有條件的，例如，在一個(gè)四節(jié)點(diǎn)的集群中，一旦有兩個(gè)節(jié)點(diǎn)發(fā)生故障，整個(gè)集群系統(tǒng)將會(huì)掛起，集群服務(wù)也隨即停止，而如果配置了存儲(chǔ)集群GFS文件系統(tǒng)，那么只要有一個(gè)節(jié)點(diǎn)發(fā)生故障，所有節(jié)點(diǎn)掛載的GFS文件系統(tǒng)將hung住。此時(shí)共享存儲(chǔ)將無(wú)法使用，這種情況的出現(xiàn)，對(duì)于高可用的集群系統(tǒng)來(lái)說(shuō)是絕對(duì)不允許的，解決這種問(wèn)題就要通過(guò)表決磁盤(pán)來(lái)實(shí)現(xiàn)了。

（2）表決磁盤(pán)運(yùn)行機(jī)制

表決磁盤(pán)，即QuorumDisk，在RHCS里簡(jiǎn)稱(chēng)qdisk，是基于磁盤(pán)的Cluster仲裁服務(wù)程序，為了解決小規(guī)模集群中投票問(wèn)題，RHCS引入了Quorum機(jī)制機(jī)制，Quorum表示集群法定的節(jié)點(diǎn)數(shù)，和Quorum對(duì)應(yīng)的是Quorate，Quorate是一種狀態(tài)，表示達(dá)到法定節(jié)點(diǎn)數(shù)。在正常狀態(tài)下，Quorum的值是每個(gè)節(jié)點(diǎn)投票值再加上QDisk分區(qū)的投票值之和。

QDisk是一個(gè)小于10MB的共享磁盤(pán)分區(qū)，Qdiskd進(jìn)程運(yùn)行在集群的所有節(jié)點(diǎn)上，通過(guò)Qdiskd進(jìn)程，集群節(jié)點(diǎn)定期評(píng)估自身的健康情況，并且把自身的狀態(tài)信息寫(xiě)到指定的共享磁盤(pán)分區(qū)中，同時(shí)Qdiskd還可以查看其它節(jié)點(diǎn)的狀態(tài)信息，并傳遞信息給其它節(jié)點(diǎn)。

（3）RHCS中表決磁盤(pán)的概念

和qdisk相關(guān)的幾個(gè)工具有mkdisk、Heuristics。

mkdisk是一個(gè)集群仲裁磁盤(pán)工具集，可以用來(lái)創(chuàng)建一個(gè)qdisk共享磁盤(pán)也可以查看共享磁盤(pán)的狀態(tài)信息。mkqdisk操作只能創(chuàng)建16個(gè)節(jié)點(diǎn)的投票空間，因此目前qdisk最多可以支持16個(gè)節(jié)點(diǎn)的RHCS高可用集群。

有時(shí)候僅靠檢測(cè)Qdisk分區(qū)來(lái)判斷節(jié)點(diǎn)狀態(tài)還是不夠的，還可以通過(guò)應(yīng)用程序來(lái)擴(kuò)展對(duì)節(jié)點(diǎn)狀態(tài)檢測(cè)的精度，Heuristics就是這么一個(gè)擴(kuò)充選項(xiàng)，它允許通過(guò)第三方應(yīng)用程序來(lái)輔助定位節(jié)點(diǎn)狀態(tài)，常用的有ping網(wǎng)關(guān)或路由，或者通過(guò)腳本程序等，如果試探失敗，qdiskd會(huì)認(rèn)為此節(jié)點(diǎn)失敗，進(jìn)而試圖重啟此節(jié)點(diǎn)，以使節(jié)點(diǎn)進(jìn)入正常狀態(tài)。

（4）創(chuàng)建一個(gè)表決磁盤(pán)

在上面章節(jié)中，已經(jīng)劃分了多個(gè)共享磁盤(pán)分區(qū)，這里將共享磁盤(pán)分區(qū)/dev/sdb7作為qdisk分區(qū)，下面是創(chuàng)建一個(gè)qdisk分區(qū)：

[root@web1~]#mkqdisk-c/dev/sdb7-lmyqdisk

[root@web1~]#mkqdisk–L#查看表決磁盤(pán)信息（5）配置Qdisk

這里通過(guò)Conga的web界面來(lái)配置Qdisk，首先登錄luci，然后點(diǎn)擊cluster，在Clusterlist中點(diǎn)擊“mycluster”，然后選擇“QuorumPartition”一項(xiàng)，如圖12所示：

圖12對(duì)圖12中每個(gè)選項(xiàng)的含義解釋如下：

Interval：表示間隔多長(zhǎng)時(shí)間執(zhí)行一次檢查評(píng)估，單位是秒。

Votes：指定qdisk分區(qū)投票值是多少。

TKO：表示允許檢查失敗的次數(shù)。一個(gè)節(jié)點(diǎn)在TKO*Interval時(shí)間內(nèi)如果還連接不上qdisk分區(qū)，那么就認(rèn)為此節(jié)點(diǎn)失敗，會(huì)從集群中隔離。

MinimumScore：指定最小投票值是多少。

Label：Qdisk分區(qū)對(duì)應(yīng)的卷標(biāo)名，也就是在創(chuàng)建qdisk時(shí)指定的“myqdisk”，這里建議用卷標(biāo)名，因?yàn)樵O(shè)備名有可能會(huì)在系統(tǒng)重啟后發(fā)生變化，但卷標(biāo)名稱(chēng)是不會(huì)發(fā)生改變的。

Device：指定共享存儲(chǔ)在節(jié)點(diǎn)中的設(shè)備名是什么。

Pathtoprogram：配置第三方應(yīng)用程序來(lái)擴(kuò)展對(duì)節(jié)點(diǎn)狀態(tài)檢測(cè)的精度，這里配置的是ping命令

Score：設(shè)定ping命令的投票值。

interval：設(shè)定多長(zhǎng)時(shí)間執(zhí)行ping命令一次。（6）啟動(dòng)Qdisk服務(wù)

在集群每個(gè)節(jié)點(diǎn)執(zhí)行如下命令，啟動(dòng)qdiskd服務(wù)：

[root@web1~]#/etc/init.d/qdiskdstart

qdiskd啟動(dòng)后，如果配置正確，qdisk磁盤(pán)將自動(dòng)進(jìn)入online狀態(tài)：

[root@web1~]#clustat-l

ClusterStatusformycluster@SatAug2101:25:402010

MemberStatus:Quorate

MemberNameIDStatus

--------------------

w21Online,rgmanager

db12Online,rgmanager

db23Online,rgmanager

w14Online,Local,rgmanager

/dev/sdb70Online,QuorumDisk

至此，Qdisk已經(jīng)運(yùn)行起來(lái)了。

八、配置Fence設(shè)備

配置Fence設(shè)備是RHCS集群系統(tǒng)中必不可少的一個(gè)環(huán)節(jié)，通過(guò)Fence設(shè)備可以防止集群資源（例如文件系統(tǒng)）同時(shí)被多個(gè)節(jié)點(diǎn)占有，保護(hù)了共享數(shù)據(jù)的安全性和一致性節(jié)，同時(shí)也可以防止節(jié)點(diǎn)間腦裂的發(fā)生。

GFS是基于集群底層架構(gòu)來(lái)傳遞鎖信息的，或者說(shuō)是基于RHCS的一種集群文件系統(tǒng)，因此使用GFS文件系統(tǒng)也必須要有fence設(shè)備。

RHCS提供的fencedevice有兩種，一種是內(nèi)部fence設(shè)備。常見(jiàn)的有：

IBM服務(wù)器提供的RSAII卡

HP服務(wù)器提供的iLO卡

DELL服務(wù)器提供的DRAC卡

智能平臺(tái)管理接口IPMI

常見(jiàn)的外部fence設(shè)備有：UPS、SANSWITCH、NETWORKSWITCH，另外如果共享存儲(chǔ)是通過(guò)GNBDServer實(shí)現(xiàn)的，那么還可以使用GNBD的fence功能。

點(diǎn)擊cluster，然后點(diǎn)擊“clusterlist”中的“mycluster”，在左下角的mycluster欄目中選擇SharedFenceDevices-->AddaSharableFenceDevice，在這里選擇的FenceDevice為“virtualmachinefencing”，F(xiàn)ence的名稱(chēng)為“v-Fence”，如圖13所示：圖13點(diǎn)擊“addafencedevicetothislevel”為各個(gè)節(jié)