LINUX63下RHCS的安裝文檔

1、LINUX6.3下RHCS的安裝及集群的配置文檔環(huán)境：目前要給華為E6000系列的兩個(gè)刀片安裝RHCS，每一塊刀片有兩個(gè)業(yè)務(wù)網(wǎng)口和一個(gè)管理網(wǎng)口，但是看不見不物理網(wǎng)卡，而是連接到刀片自身攜帶的一個(gè)交換機(jī)板卡。兩臺(tái)刀片主要是實(shí)現(xiàn)服務(wù)器地址的漂移，即運(yùn)行服務(wù)的機(jī)器出現(xiàn)故障，服務(wù)可以順利切換到另外一臺(tái)，當(dāng)然也可以添加其他資源（比如apache，腳本）實(shí)現(xiàn)集群功能，不過(guò)內(nèi)容都相同，只是在配置界面的時(shí)候添加的資源不一樣。刀片1,2的hosts文件：host1host2hosthb1hosthb2host1_ipmihost2_ipmiservice簡(jiǎn)單說(shuō)明一下地址含義，第一組為業(yè)務(wù)地址，配置在網(wǎng)卡eth0

2、上；第二組為心跳地址，配置在網(wǎng)卡eth1上，這個(gè)地址與QDISK有關(guān)；第三組為每一塊刀片的管理地址，配置在BMC芯片上，這個(gè)地址是與fence設(shè)備有關(guān)的，最后一個(gè)地址為服務(wù)地址，即在集群中真正提供服務(wù)的地址。解釋一下RHCS里的幾個(gè)重點(diǎn)的關(guān)鍵詞，弄明白這些個(gè)東西是什么和工作原理很重要。Fence device:即隔離設(shè)備。一個(gè)集群中有兩臺(tái)機(jī)器，其中占有資源提供服務(wù)，當(dāng)這臺(tái)機(jī)器出現(xiàn)問(wèn)題，另一臺(tái)機(jī)器就會(huì)接管資源與服務(wù)，可是如果出問(wèn)題的設(shè)備如果是假死，那么他可能仍然占用著資源(共享存儲(chǔ)之類的)，這樣就可能會(huì)造成兩臺(tái)機(jī)器同時(shí)對(duì)存儲(chǔ)進(jìn)行讀寫而產(chǎn)生錯(cuò)誤，學(xué)名腦裂現(xiàn)象。這時(shí)候就需要fence設(shè)備了，當(dāng)一臺(tái)設(shè)

3、備出現(xiàn)問(wèn)題，則通過(guò)BMC芯片去控制它的電源使它斷電、重啟，這樣資源就會(huì)被釋放了。隔離設(shè)備可以理解為BMC芯片，BMC芯片可以控制服務(wù)器電源的開關(guān)，重啟。之前我們說(shuō)過(guò)每一個(gè)刀片都有一個(gè)BMC口（管理口），但這個(gè)口在操作系統(tǒng)層面上是看不到，不像其他網(wǎng)卡用ifconfig能看到eth0,eth1的詳細(xì)信息。想要管理這個(gè)口可以安裝操作系統(tǒng)自帶的ipmi相關(guān)程序包 64位機(jī)器裝64位的就好，關(guān)于IPMI給的接口的具體用法后面再介紹。程序包安裝完了以后就可以通過(guò)IPMI這個(gè)軟件包與BMC芯片聯(lián)系起來(lái)。另外BMC網(wǎng)口對(duì)應(yīng)一個(gè)管理地址，這個(gè)地址是需要進(jìn)入到刀片BIOS里的IPMI相關(guān)選項(xiàng)里設(shè)置的，要設(shè)置它的用

4、戶名、密碼和IP地址，這些信息在配置集群的時(shí)候會(huì)用到。我們把BMC的地址和eth1的地址設(shè)在同一網(wǎng)段，這樣系統(tǒng)就可以與BMC芯片進(jìn)行通訊了，進(jìn)而控制服務(wù)器的啟停。QDISK：俗稱仲裁盤，通過(guò)心跳地址用來(lái)判斷集群里的設(shè)備狀態(tài)是否正常。一般1G大小的共享存儲(chǔ)即可。Failover Domain:失敗域，即節(jié)點(diǎn)切換策略軟件安裝之前先把ip地址都配置好，包括修改bios里面的ipmi配置。RHCS軟件安裝：安裝RHCS需要用到系統(tǒng)自帶光盤中的一些軟件包，具體如下：HighAvailability LoadBalancer Packages ResilientStorage ScalableFileSy

5、stem Server先將這些包（文件夾）拷貝至/mnt目錄下，也可以不拷貝，把YUM源設(shè)置好就可以了。Yum源的設(shè)置# vi /etc/rhel-source.reporoothost1 # cat rhel-source.repo rhel-sourcename=Red Hat Enterprise Linux $releasever - $basearch - Sourcebaseurl=file:/mnt/Packagesenabled=0gpgcheck=1gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-releaserhel-sour

6、ce-betaname=Red Hat Enterprise Linux $releasever Beta - $basearch - Sourcebaseurl=file:/mnt/Packagesenabled=0gpgcheck=1gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-beta,file:/etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-releaseServername=Serverbaseurl=file:/mnt/Serverenabled=1gpgcheck=0HighAvailabilityname

7、=HighAvailabilitybaseurl=file:/mnt/HighAvailabilityenabled=1gpgcheck=0LoadBalancername=LoadBalancerbaseurl=file:/mnt/LoadBalancerenabled=1gpgcheck=0ScalableFileSystemname=ScalableFileSystembaseurl=file:/mnt/ScalableFileSystemenabled=1gpgcheck=0ResilientStoragename=ResilientStoragebaseurl=file:/mnt/R

8、esilientStorageenabled=1gpgcheck=0保證每個(gè)軟件包的baseurl路徑正確即可。安裝軟件：# yum install cluster-glue resource-agents pacemaker選Y# yum install luci ricci cman openais rgmanager lvm2-cluster gfs2-utils選Y啟動(dòng)HA服務(wù)：# service luci start# service ricci start# service rgmanager start# service cman start改變服務(wù)的運(yùn)行級(jí)別：cman 0:of

9、f 1:off 2:on 3:on 4:on 5:on 6:offrgmanager 0:off 1:off 2:on 3:on 4:on 5:on 6:offluci 0:off 1:off 2:on 3:on 4:on 5:on 6:offricci 0:off 1:off 2:on 3:on 4:on 5:on 6:off修改ricci用戶的密碼Passwd ricci,改為root用戶密碼即可。創(chuàng)建QDISK盤用法：mkqdisk -L | -f | -c -l mkqdisk -c /dev/sdb -l qdisk這里把一塊1G的/dev/qdisk配置成了一塊叫qdisk的仲裁盤

10、Ping一下心跳和BMC口的地址，應(yīng)該都OK。看一下host1能否管理host2電源模塊ipmitool -I lan（第二臺(tái)機(jī)器的BMC口地址） -U root（用戶名） -P Aa123456（密碼） power statusroothost1 # ipmitool -I lan -H -U root -P Aa123456 power statusChassis Power is on集群的創(chuàng)建在確保主節(jié)點(diǎn)的luci,ricci服務(wù)起來(lái)之后，進(jìn)入:8084集群配置頁(yè)面。用你設(shè)置的ricci密碼登陸以后開始創(chuàng)建集群：加節(jié)點(diǎn)：這里的

11、jyapp_01hb,jyapp_02hb就是我們hosthb1,hosthb2。配置基本默認(rèn)，沒(méi)什么好說(shuō)的。Fence Devices的添加：選擇IPMI LAN，當(dāng)然各廠家的FENCE設(shè)備不一樣根據(jù)情況配置。輸入之前配置好的用戶名，密碼，IP地址兩臺(tái)設(shè)備兩個(gè)fence 設(shè)備。創(chuàng)建完成之后跟節(jié)點(diǎn)關(guān)聯(lián)。先添加fence method，方法名隨便，之后關(guān)聯(lián)起來(lái)創(chuàng)建的fence實(shí)例。一一對(duì)應(yīng)即可。FAILOVER DOMAIN配置：失敗域配置，Prioritized即有優(yōu)先級(jí)，Restricetd限定運(yùn)行服務(wù)節(jié)點(diǎn)的機(jī)器范圍，no fackback 不回切，當(dāng)故障機(jī)器恢復(fù)可用以后，服務(wù)不回切。優(yōu)先級(jí)

12、的值越低，優(yōu)先級(jí)別越高，0不可用。RESOURCE添加：資源添加，這里我們只添加一個(gè)服務(wù)器地址（漂移地址）Note：后面我們又添加了一個(gè)腳本資源，腳本的作用是啟動(dòng)一個(gè)中間件然后啟動(dòng)應(yīng)用，而且必須有先后順序，這個(gè)順序的實(shí)現(xiàn)在腳本中可以實(shí)現(xiàn)。而腳本的啟用和服務(wù)地址的啟動(dòng)也有先后順序，必須是先讓服務(wù)地址啟用之后應(yīng)用才可以啟動(dòng)。所以在添加這兩個(gè)資源的時(shí)候就有點(diǎn)不一樣了，需要先添加服務(wù)地址資源，然后添加服務(wù)資源的child resource，先有parent才有child.這樣就有先后順序了。如果在順序上沒(méi)有要求，增加兩個(gè)同級(jí)的資源即可。腳本內(nèi)容及解釋見文檔末尾。SERVICE GROUP添加：服務(wù)配置

13、，選擇好我們的失敗域，自動(dòng)開始打勾，run exclusive,服務(wù)只會(huì)在“沒(méi)有運(yùn)行其他服務(wù)的節(jié)點(diǎn)”上運(yùn)行，可以不選；恢復(fù)策略選擇重新定位，即切換到另一個(gè)節(jié)點(diǎn)。默認(rèn)的不說(shuō)了，需要設(shè)置的說(shuō)一下，多播地址最好設(shè)置一個(gè)，不設(shè)置也默認(rèn)的，但是一個(gè)業(yè)務(wù)系統(tǒng)中如果有多套R(shí)HCS，多播地址就要不一樣了。QDISK，用我們?cè)O(shè)置的label來(lái)識(shí)別，工作機(jī)制是每2秒ping一下網(wǎng)關(guān),ping通得1分，不通不得分，ping 10次，最小得分為1分，則不需要切換。也就是說(shuō)連續(xù)10次ping這個(gè)網(wǎng)關(guān)只要其中有一次是通的則OK。ping到這里就配置完了。我們可以看一下這個(gè)集群的狀態(tài)。rootjyapp_01 # clus

14、tatCluster Status for jyapp_cluster Tue Dec 24 14:25:50 2013Member Status: Quorate Member Name ID Status - - - - jyapp_01hb 1 Online, Local, rgmanager jyapp_02hb 2 Online, rgmanager /dev/block/8:16 0 Online, Quorum Disk Service Name Owner (Last) State - - - - - service:jysg jyapp_01hb started 都ONLIN

15、E,服務(wù)在正常運(yùn)行。rootjyapp_01 # cman_tool statusConfig Version: 19Cluster Name: jyapp_clusterCluster Id: 469Cluster Member: YesCluster Generation: 28Membership state: Cluster-MemberNodes: 2Expected votes: 3Quorum device votes: 1Total votes: 3Node votes: 1Quorum: 2 Active subsystems: 11Flags: Ports Bound: 0

16、 11 177 178 Node name: jyapp_01hbNode ID: 1Multicast addresses: 11 用cman_tool status看到個(gè)票數(shù)都正常，每個(gè)節(jié)點(diǎn)一票，QDISK一票，總共3票，期望值是3票。死一個(gè)節(jié)點(diǎn)，期望值少一票。最后驗(yàn)證一下切換rootjyapp_01 # clusvcadm -r jysgTrying to relocate service:jysg.Successservice:jysg is now running on jyapp_02hb節(jié)點(diǎn)手動(dòng)切換成功。經(jīng)過(guò)測(cè)試，網(wǎng)卡故障，斷電都能正常切換。 腳本：#!/bin/bashstart() su - tuxedo -c tmboot -y RETVAL=$? su - trade -c cd /home/trade/app/bin & tmboot -y RETVAL=$? return $RETVALstop() su - trade -c cd /home/trade/app/bin & tmshutdown -y RETVAL=$? su - tuxedo -c tmshut