HACMP軟件安裝實施工藝指導V10_F

1、信息化標準體系文檔e國建設銀行china construction bankhacmp軟件安裝實施工藝指導(vi. 0)北京數(shù)據(jù)中心開放系統(tǒng)平臺管理部2008-11第1頁共44頁信息技術管理部北京數(shù)據(jù)中心修改記錄編號日期描述版本作者審核發(fā)布日期12008-11-1建立文檔1.02334本文檔中所包含的信息屬于機密信息，如無中國建設銀行的書面許可，任何 人都無權復制或利用。®copy right 2005 by china construetion bank1 說明41.1 文檔說明41.2 注意事項42 hacmp 規(guī)劃52.1 ha (highavailability) 52.2

2、規(guī)劃舉例63 hacmp安裝前準備83.1 硬件環(huán)境準備83.2 介質準備84 povverha (hacmp)軟件安裝94安裝hacmp5.4需要的操作系統(tǒng)軟件包94.2 更新操作系統(tǒng)104.3 hacmp軟件安裝104.4 升級hacmp軟件115 配置 hacmp145設置ip地址145.2 配置共享磁盤卷組vg155.3 定義tty串口通訊設備165.4 創(chuàng)建集群cluster175.5 添加node節(jié)點195.6 創(chuàng)建以太網絡，添加ether網絡通訊接口195.7 創(chuàng)建點對點網絡，添加rs232通訊設備225.8 添力ii service ip label245.9 配置 appli

3、cation server265.10 配置資源組285.11 參數(shù)優(yōu)化315.12 同步資源組3553啟動ha365.14保存 snapshot376 ha服務啟停、監(jiān)控386啟動ha服務386.2 停止ha服務386.3 監(jiān)控ha狀態(tài)397 切換測試417手工停服務切換測試417.2 不停ha服務，在線移動資源組(c-spoc) 427.3 模擬網卡故障測試447.4 模擬服務器異常down機測試441說明1.1文檔說明本文的環(huán)境是在aix5.3操作系統(tǒng)下安裝配置hacmp5.4的步驟，其它版本的 系統(tǒng)安裝配置基本類似，不同z處，請參考ibm的官方文檔。文檔鏈接地址 ibm systems

4、 information centers : hup:publib.bouldc匚 錄分 aix、 軟件、等文檔冃錄。1. 2注意事項配置hacmp的一些注意事項：1、安裝的版木要符合數(shù)據(jù)中心的版木策略要求2、安裝前要做好規(guī)劃，了解應用要實現(xiàn)什么樣的高可靠性需求3、ha可以實現(xiàn)排除單點故障，但不是兀余，因此關鍵部件還要有冗余配置, 如電源模塊、雙hba卡、rootvg鏡像等4、配置為ha的主、備節(jié)點不能是同一臺物理服務器上的兩個邏輯分區(qū)5、存儲廠商在ha環(huán)境下有定制的磁盤解鎖腳本，emc、hds存儲，在ha 的event事件中增加廠商自定義腳木。6、編寫的應用啟停腳木要事先手工執(zhí)行測試，并且確

5、保停止腳木在系統(tǒng)異常 時也可以停止應用，以釋放資源。7、ha配置完成后，不要將ha的服務設置為口啟動模式，即ha服務的啟動, 要手工啟動8、ha配置完成后，要模擬各種故障場景，充分測試接管功能是否正常。2 hacmp規(guī)劃在配置ha前先要做好規(guī)劃工作，規(guī)劃的內容包括以下兒點:1、了解應用要實現(xiàn)什么樣的高可靠性2規(guī)劃cluster拓撲結構3、集群的網絡連接4、共享的 disk、lvm5、規(guī)劃資源組6、集群中節(jié)點的用戶、組id要一致2. 1 ha （high ava訂ab訂ity）什么是高可用(high availability)1、regardless if the down time is pl

6、anned or unplanned down time2、high availability is done by eliminating of single points of failure3、high availability is fault resilient not fault tolerantha常見的部署模式有主備模式、互備模式、concurrent模式等，ha的failover切換動作可以有如下圖所示的兒種切換方式。one to one2. 2規(guī)劃舉例本文檔是以兩個節(jié)點的hncmp主、備基本模式的環(huán)境作為例子進行編寫的。 其它模式的配置安裝，請參考相應文檔。ocrdbcla

7、ixaplaixap2ocrdblreshacmp配置參數(shù)表拓撲定義cluster nameocrdbclnode nameaixap 1aixap2ip labelaixap l svcaixap l btaixap l stbaixap l ttyaixap2 btaixap2 stbaixap2 ttynetworktypeelhemetelhemetelhemetrs232elhemetelhemetrs232network attributepublicpublicpublicserialpublicpublicserialnetwork nameethlethlethlrsleth

8、lethlrslipaddress32192.16 & 100.2adp. id/dcv/ttyo/dcv/ttyoadp.func.servicebootstandbyservicebootstandbyservice資源組劃分res. grp. namenode rel.part. node nameocrdblrescascadingaixaplaixap2建立app應用服務器app namestart scriptstop scriptocrdblapp/hacmp/ocrd

9、blappstart. sh/hacmp/ocrdblappstop. sh配置資源組res. grp. nameservice ipfilesystemsvolume groupapplicationserversocrdblresaixapl svcocrvgolocrdblapp3 hacmp安裝前準備3.1硬件環(huán)境準備在安裝ha軟件z前，首先連接好系統(tǒng)外接硬件設備1、tcp/ip網絡連接，生產網卡與備份網卡的網線需要連接到不同的網絡交換機2、點對點網絡心跳線的連接，我們在這里使用rs232串口作為心跳線3、外接存儲設備連接，hba卡要連接到不同的san交換機，并且安裝存儲廠 商的多路徑

10、軟件，以實現(xiàn)光纖鏈路的冗余。3. 2介質準備介質準備包括hacmp基本包的安裝介質，補丁包的準備，補丁包可以從ibm官方網站下載，鏈接地址訪問 產品選擇 cluster softwarefix centralfix central provides fixes and updates for ycur system*s software hardwareand cperating system.continuecontinue后，按照提示逐步操作，選擇最新的補丁包下載。4 powerha (hacmp) 軟件安裝ibm現(xiàn)在將hacmp名稱更改為powerha安裝軟件時需要注意，配置在clust

11、er集群中的每臺服務器節(jié)點，要求其上安裝 的操作系統(tǒng)的版本及補丁級別保持一致、hacmp軟件的版本及補丁級別保持一 致。4. 1安裝hacmp5. 4需要的操作系統(tǒng)軟件包1、操作系統(tǒng)需要安裝的基本軟件包aix 5lbos componentbos.databos.adt.libbos.adt.libmbos.adt.syscalls.tcp.client.tcp.serverbos.rte.srcbos.rte.libcbos.rte.libcfgbos.rteibcurbos.rte.libpthreadsbos.rte.odmbos.rtevm.rte (required only usi

12、ng concunent logical volume manager for concurrent access)bos.clvm.enh (required only using concurrent logical volume manager for concurrent access)2、需要的rsct軟件包rsct.basic.rtersct. basic hacmppat.basic.hacmppat.clients.hacmprsct.core.secrsct.core.rmc4. 2更新操作系統(tǒng)aix操作系統(tǒng)及其上的軟件按照數(shù)據(jù)中心的版本策略要求將版本更新到相應的 級別。使用

13、下面的命令check# oslevel -s# lppchk v4. 3 hacmp軟件安裝安裝hacmp軟件前，確保/usr> /根文件系統(tǒng)目錄有足夠的free空間，要求free空間大于180mb將hacmp5.4的光盤介質放入光驅，#smit installp選擇軟件包，不用選擇 cluster.es.plugins > cluster.es.worksheets > cluster.doc.en_us.es > cluster.hativoli cluster.haview 軟件包44升級hacmp軟件441下載ha補丁從 hup:/www-912ibmcom/e

14、servei7suppoil/fixes/fixcen(nd 選擇 cluster softwarefix centralfix central provides fixes and updates for ycur system's software hardware, and cperating system.product familycontinuecontinue 后選擇 powerha,選擇最新的補丁 latest service pack,powerha support >powerha cluster manager (hacmp)support for aix

15、5.3 for power systemsfix informationrelated resourcesdownload fixes for powerha for aix 5.3 from this pagein addition, you can search fix central for specific powerha fixes for aix 5.3 by clicking on the "search'1 button at the bottom of this page.aix 5.3powerhareleaseproductselectinformati

16、onpowerha 5.4latest service packview and download日serviceview and download required fixes that not includedpackon initial install cdspecific filesetspowerha (clusterpowerha fixes including powerha/xdfilesets)pprc&ad powerha/xd glvmpowerha/xd hageopowerha/xd hageo fixes將補丁包下載到本地，并以二進制格式上傳到服務器的文件系

17、統(tǒng)h錄下。4.4.2升級hacmp補丁包本文示例是將powerha5.4升級到ha5.4.1sp03的補丁級別。#smit update_all 方式安裝補丁gtceivt findovbtupdate instdlled software to latest leuel (update alltype or select ualues in entry fields press enter after naking all desired changes.entry fields* imput device / directory for software* software to upda

18、tepreuieu only? (update operation ui11 mot occur) contlit software updates?saue replaced f iles?autohatically instal 1 requisite software?extend f ile systems if space needed?uerify install and check file sizes?detailed output?process multiple uolumes?il硼燦閩!1丄皿區(qū)preuiew neu licemse agreenents?.update

19、s ii noyes yes no no uesfl=help esc5二resetesc*9=shelifz=refresh esc*6=connand esc*0=exitf3=cancel esc*7=e(lit enter二dof4=llstesc*8=inage安裝完成后利用lslpp - 1 igrep cluster.es.server.rte查看補丁是否已升級成功,rooteaixapi：:/>lslpp -1 igrep cluster.es.seruer.rtecluster.es.seruer.rte appliedes base seruer run

20、timecluster.es.seruer.rte appliedes base seruer runtimerooteaixap2:/>|升級后重新引導操作系統(tǒng)，使升級生效。5配置hacmp配置規(guī)劃表local nodeaixapltakeover (remote) nodeaixap2communication path to takeover node192.16 & 100.1application serverappsrvlapplication start script/hacmp/application stop script/hacmp/servic

21、e ip labelaixapl_svc5. 1設置ip地址1、編輯/ctc/hosts文件，兩臺服務器的主機名分別為aixapk aixap2# for hacmp3aixapl_svcaixapl_bt192.16 & 100.1aixapl_stb2aixap2_bt192.16 & 100.2aixap2_stb2、編輯/usr/es/sbiii/cluster/etc/rhosts 文件，增加信任關系 aixapl_svcaixapl_btaixapl_stbaixap2_btaixap2_

22、stbaixaplaixap23、為每臺服務器配置ip地址：boot地址、standby地址# smit chi net5. 2配置共享磁盤卷組vg注意，創(chuàng)建卷組時需要手工指定卷組的major number號，以免在兩臺服務器之 間發(fā)生沖突，使用b或s參數(shù)設置卷組的類型。1、aixapl節(jié)點上執(zhí)行在aixapl服務器上創(chuàng)建ocrvgo 1卷組# mkvg -b -v 200 -s 256 -y ocrvgo 1 hdisk4 hdisk5# chvg -an ocrvgo 1 （卷組去掉自動激活選項）# varyoffvg ocrvgo 12、aixap2節(jié)點上執(zhí)行，倒入卷組# importv

23、g -v 200 -y ocrvgo 1 hdisk4# chvg -an ocrvgo 1# varyoffvg ocrvgo 15. 3定義tty串口通訊設備5.3.1增加tty設備smit tty定義tty用性創(chuàng)建成功后，可以看到irootbaixapl:/usr/es/sbin/cluster/etc>lsdeu -cctty ttyo auailable 06-08-01-00 asynchronous terminal5.3.2 tty通訊測試兩臺服務器的心跳設備tty配置完成后，需耍測試tty通訊是否止常，測試方法:1、在aixapl .上執(zhí)行：aixapl#cat /et

24、c/hosts >/dev/ttyoaixap2#cat < /de v/ttyo如果aixap2屏幕上輸il!/etc/hosts表內容，表明aixapl到aixap2的通訊止常2、在 aixap2 _l執(zhí)行：aixap2#cat /etc/hosts >/dev/ttyoaixapl#cat </dev/ttyo如果aixapl屏幕上輸ill/ctc/hosts表內容，表明aixap2到aixapl的通訊正常5. 4創(chuàng)建集群cluster配置ha過程屮均使用extended configuration菜單選項，只需要在一個節(jié)點上執(zhí) 行配置操作，配置完成后，只需同步配

25、置到其它節(jié)點，本例在aixapl服務器上進行配置。# smit hacmp增加-個集群，注意集群名字的命名規(guī)則，參見設訃指南? opsaixapl_bt口回岡file edit options send receive window helpstadd/change/shou an hacmp clustertype or select ualues in entry fields.press enter after making all desired changes.cluster nam巳crdbclto take effectentry fields "mote: hachp

26、 must be restarted on all nodesin order for changefl=helpesc+5=resetesc+9=shellf2二refreshesc+6=connandesc+o-exitf3=cancelesc+7=editenter-dof4 二 listesc+8-inage5. 5添加node節(jié)點添加節(jié)點，節(jié)點的名稱要與主機名一致，使用下面的方法，分別添加aixapl >aixap2 兩個節(jié)點。5. 6創(chuàng)建以太網絡，添加ether網絡通訊接口561添加以太網絡選擇增加預定義的ip-based network ,選擇以太網ether定義網絡名稱e

27、therl,選擇ip替換的方式切換ip地址。5.6.2 添力口 communication interfaces向etherl網絡中添加預定義的通訊接口file edit options send receive window helpconfigure hacmp connunication interfaces/deuicesmoue cursor to desired iten and press enter.change/shou connunication interfaces/deuicesrenoue communication interfaces/deuicesupdate

28、hachp communication interface with operating system settingsselect a categorymoue cursor to desired item and press enter.add discouered connunicat ion interface and deuicesriesfl二helpesc*8-inage /-findfz-befreshesc+0=exit n二find nextf3-cancel enter=do填寫下而的信息：network interface信息使用nets(a(-i命令杳看各接口對應的網

29、絡別名。network interface信息使用netstat -i命令查看各接口對應的網絡別名，見紅色邊框部分，并 選擇相應的節(jié)點名稱。irooteaixapl:/usr/es/sbin/cluster/etonetstat -imanentumetworkaddressipkts ierrsopkts oerrscoll|cn215001*20;14.5e,b?,f3.461757105?9?30enz150廠128：192：235aixapl_bt175710579?30en31500linktt30.14.5e.b?.95.be117130?20en31500192.168.105d

30、ixdpl_stk|117130?20loo1689t1 inkttl28?40287600loo16896127loopback28740287600loo16896：128?4028?600使川同樣的方法，逐一增加aixapl_s(b、aixap2_bt、aixap2_stb網絡接口。5.7創(chuàng)建點對點網絡，添加rs232通訊設備5.7.1添加串口通訊網絡添加預定義的串口網絡，選擇rs232網絡名稱填寫蔦1lansi itcp/ip 118:21 i.5.7.2添加串口設備向rsl網絡中添加，communication device,設備名填寫aixapltty, device path選擇

31、串口設 備/dev/ttyo,選擇相應節(jié)點aixapl同樣的方法添加aixap2的串口設備,aixap2tty5. 8 添加 service ip label選擇配置 hacmp extended resources configuration,如卜圖選擇 add a service ip label/address選擇多節(jié)點。這里將 aixapl_svc 作為 service ip label5 9 配置 application server5-9.1編輯啟停腳本兩臺服務器上分別執(zhí)行：在根目錄下創(chuàng)建/hacmp s錄，為應用服務器編輯啟停腳本 #m kdir /hacmp#cd /hacmp

32、#touch ocrdbapplstart.sh ocrmdbapplstop.sh#chmod 744 *.shrootoaixapl：/hacnp>ls -1 total 0-ruxr-r- 1 rootsystem-ruxrr 1 rootsystem0 mou 0? 09:13 ocrdbapplstart.sh0 mou 07 09:14 ocrdbapplstop.sh/liacmp/ocrdbapp 1 start.sh中存放需要ha帶丿j的應用的丿j動腳木 /hacmp/ocrdbapplstop.sh屮存放需要ha停止的應川的停止腳木 如：啟、停數(shù)據(jù)的腳木5.9.2 添

33、加一個 application server#smit hacmp填寫應川服務器名稱，start腳木、stop腳木路徑，如卜圖e opswareaixapl_bt回岡£ile edit optionsreceive window help圈ib胡占血胡劃比|剖懇|晝彊國add application seruertype or select ualues in entry fields.press enter after making all desired changes.entry fields/hacnp/ocrdbapplstart biacnp/ocrdbapplstop.

34、* seruer mane* start scriptiapplication monitor mane(s)fl=helpf2-refreshf3=cancelf4二listesc+5=resetesc*6=connandesc*7=editesc+8=imageesc*9=shellesc 匕二exitenter=do5. 10配置資源組5.10.1adda 資源組#smit hacmp,選擇擴展的資源組配置創(chuàng)建-個資源組ocrdblres,節(jié)點選擇aixapl aixap2,優(yōu)先級按先后順序排列，aixapl節(jié)點優(yōu) 先級高。山于木例為主備關系，因此下而資源組策略的三個選項按照默認值，不做

35、修改。5102資源組策略含義1、startup policy 啟動策略1) online on home node only資源組只是在優(yōu)先級高的節(jié)點上激活(以前的cascading)2) online on first available node資源組會在任何一個先啟動的節(jié)點上激活3) online on all available nodes資源組在所有節(jié)點上激活(適川于怕c環(huán)境)4) online using distribution policyone resource group per network or node depending on the distribution p

36、olicy2、failover policy 切換策略failover是指當資源組所在的服務器發(fā)生故障時，資源組將要發(fā)生的動作。1) failover to next priority node資源組轉移到下一個優(yōu)先級高的節(jié)點2) failover using dynamic node priorityresource group is moved to the next node in the resource groups node list asrecalculated based on the dynamic node criteria policy3) bring offline o

37、n eitor node在故障節(jié)點的資源組offline,不發(fā)生切換動作。(適川于rac環(huán)境)3> fallback policy 回切策略fallback是指當故障服務器修復后，節(jié)點重新加入集群中時資源組將發(fā)生什么樣的動作。1) fallback to a higher priority node 資源組回切到高優(yōu)先級的節(jié)電上2) never fallback資源組不冋切5.10.3定義資源組屬性向ocrdblres資源組屮增加屬性信息，增加service ip地址、application server共享卷組5. 11參數(shù)優(yōu)化配置hacmp的相關參數(shù)file edi t option

38、s s«nd receive wi ndow helpextended conf igurationdiscouerextendedextendedextendedejcteritledi 機 ihnmisecuritysnapshotmoue cursor to desired item and press enter.hachp-related infornation fron configured modes topology configurationresource configurationcluster seruice settingseuent configurati

39、onand users configurationconfigurationexport definition file for online planning worksheetsimport cluster configuration from online planning worksheets fileextended uerification and synchronization hachp cluster test toolfl=helpesc+9-shellf2二refresh esc 匕二 exitf3=cancel enter=doesc*8-inageansi1tcp/i

40、p ,13:46 對于低端存儲設置為33/24 ,對于咼端存儲設置為1024/512回岡蘭 opsare aixapl_svfile edi t options send receive window helpchange/show i/o pacingtype or select ualues in entry fields press enter after making all desired changes.igh uat巳r mark for pending write i/os pr filelou water narkfor pending writei/os per filee

41、ntry fieldsq3241fl 二 helpesc+5zresetesc*9=shellf2zrefresh esc+6=connand esoo 二 exitf3-cancelesc*7=edit enter=dof4二listesc+8-inage5ll2sync頻率將sync頻率調整為105.11.3修改網絡 failure detection rate為 failure detection rate ill normal 修改成 slowfile edi t options s«nd receive wi ndow helpextended topology confi

42、gurationmoue cursorto desired item and press enter.configure configure configure configure configure configure conf icrurean hachp cluster hachp hachp hachp hachp hachp hachpconfigure topology seruices and group show hachp topologymodessitesnetworkscomnunication interfaces/deuices persistent mode ip

43、 label/addresses global networksseruicesfl=helpesc+9二shellesc+0二exitenter-dolansi tcp/ip 13:49 | f2二refreshf3=cancelesc*8-inage? opsaixapl_sv口回岡file edi t options send receive window helpchange a cluster network module using pre-defined ualuestype or select ualues in entry fields.press enter after m

44、aking all desired changes.* netuork module marne dgscrip®】i'm iiwllswsh*entry fields rs232 bs232serial protocolnote: changes nade in this panel must be propagated to the other nodes by uerifyingand synchronizingthe clusterflzhelpesc+5=resetesc+9=shellf2二refreshesc+6=connandesc+o-exitf3=canc

45、elesc+7=editenter-dof4 二 listesc+8-inage5. 12同步資源組在aixapl上的各項配置完成后，需要同步配置到aixap2服務器上, #smit hacmp同步成功后出現(xiàn)卜而的提示信息，ok如果沒有成功，根據(jù)error提示，逐個解決。5. 13啟動haaixapl節(jié)點上啟動ha,# smit cistartstart infor daemon 處選擇 trueaixapl節(jié)點上啟動完成后，clstat查看cluster狀態(tài)，當substate:為stable是,再啟動備份節(jié)點aixap2 ± hao步驟同上。5. 14保存 snapshotha配

46、置成功后，創(chuàng)建一個snapshot配置信息，將info、odm下載到本地保存。£ opsaixapeile edit optionsreceive xindavsnapsliot of the cluster conf igurationtype or select ualues in entry f ields. press enter after making a 11 desiredchanges.* cluster snapshot name custom-def ined snapshot hethods saue cluster log files in snapshot

47、bfl i t| p! |i i|b ja g r 1 i nocrdbcgg81t10efl=helpesc*5=resetesc*9=she11f2=refresh esc*6=connand esc*9=exitf3=cancel esc*?=ed it enter=dof4=listesc*8=image6 ha服務啟停、監(jiān)控6.1啟動ha服務# smit clstart62停止ha服務停止ha服務的方式有三種分別是:select an action on resource groupsmoue cursor to desired item and press enter.bring

48、resource groups offlinemoue resource groups unnanage resource groupsf3二cancel enter-dofl 二 helpesc+8=inage/二findf2二refresh esc+o-exit n二find mext bring resource groups offline：停止ha服務并將資源纟ii. offline,不發(fā)生接管動作 move resource groups：停止ha服務，將資源組切換到其它節(jié)點 unmanage resource groups：停止ha服務，但資源組仍然保持激活狀態(tài) #smit cl stop6. 3監(jiān)控ha狀態(tài)rootaixap2:/usi7es/sbin/cluster>./clstat 關注： 集群狀態(tài) 節(jié)點狀態(tài) interface狀態(tài)，包括tty狀態(tài) 資源組狀態(tài)eil« edit options $nd q«c«iv« l»ndg o«lp髦|爵宙因釧自中|比10雄圍園clstat - hachp clusterstatushonitorcluster： ocrdbcl(1226751829)hon mou 18 14:16:37 beist 2608state:upmodes:zs