AIX HACMP Oracle雙機(jī)集群實(shí)施方案

1、 AIX HACMP Oracle 雙機(jī)集群實(shí)施方案 一、實(shí)現(xiàn)目標(biāo)1、陣列硬盤分為兩組分別實(shí)現(xiàn) RAID5,并分別歸屬于兩臺(tái)小型機(jī)作為datavg2、兩臺(tái)小型機(jī)分別運(yùn)行兩個(gè)不同的數(shù)據(jù)庫服務(wù)，數(shù)據(jù)存放在datavg上，兩機(jī)實(shí)現(xiàn)雙機(jī)互備3、當(dāng)有任一臺(tái)小機(jī)故障時(shí)，另一臺(tái)小機(jī)將自動(dòng)接管故障機(jī)的數(shù)據(jù)庫應(yīng)用，以保證服務(wù)的持續(xù)高可用性4、雙機(jī)熱備切換描述：現(xiàn)有A、B二臺(tái)機(jī)器。A機(jī)同時(shí)安裝有Weblogic和Oracle，B機(jī)同時(shí)安裝有Oracle和Weblogic。A機(jī)是Weblogic主機(jī)、B機(jī)是Oracle主機(jī)、A機(jī)是Oracle從機(jī)、B是weblogic從機(jī)。正常情況下是A主機(jī)和B主機(jī)提供服務(wù)。當(dāng)A主

2、機(jī)出現(xiàn)故障，Weblogic服務(wù)從A主機(jī)切換到B從機(jī)，與B主機(jī)一起提供服務(wù)。當(dāng)A主機(jī)故障解除后，Weblogic服務(wù)從B從機(jī)切換到A主機(jī)，由A主機(jī)和B主機(jī)提供服務(wù)。當(dāng)B主機(jī)出現(xiàn)故障，Oracle服務(wù)從B主機(jī)切換到A從機(jī)，與A主機(jī)一起提供服務(wù)。當(dāng)B主機(jī)故障解除后，Oracle服務(wù)從A從機(jī)切換到B主機(jī)，由A主機(jī)和B主機(jī)提供服務(wù)。二、硬件配置：三、項(xiàng)目實(shí)施：1、硬件連接2、操作系統(tǒng)及配置2.1、安裝 HACMP 所需擴(kuò)展軟件包，列表如下：bos.adt.libmbos.adt.syscallsbos.clvm.enhbos.datarsct.basic.hacmprsct.basic.rtersct

3、.basic.sppat.basic.hacmppat.basic.rtepat.basic.sppat.clients.hacmppat.clients.hacmppat.clients.rtepat.clients.sp2.2、安裝 oracle 所需擴(kuò)展軟件包，列表如下：（可以和上面的包一起裝）bos.cifs_fs.rtef# smit install2.3、串口心跳2.3.1、串口心跳測(cè)試（使用串口線傳輸心跳信號(hào)）B802# lsdev -C | grepttytty0Avaliable 01-S1-00-00 Asynchronous TerminalB801# stty /dev

4、/tty0 B802 機(jī)向 TTY0 輸入信息B802# stty /dev/tty02.4、網(wǎng)絡(luò)地址配置：B801 服務(wù)器：en0:01/24 boot IPen0:01/24 standby IPB801# smittcpipB801# hostname B801B802 服務(wù)器：en0:02/24 boot IPen0:02/24 standby IPB802# smittcpipB802# hostname B8022.5、datavg配置（可僅在主機(jī)上進(jìn)行，完成后 import 到備機(jī)即可）B801# smitssaraid查看陣列中物理盤的屬性- List SSA physical

5、 disk- List HotSpare/Candidate/system diskB801# smitssaraid- Change use of an SSA phydical diskB801# smitssaraid選擇 raid 成員創(chuàng)建兩個(gè) Array(hdisk)- Add an SSA ArrayB801# lspv列出生成的兩個(gè)物理卷pv(hdisk)B801# smit vg 建 datavg801 和 datavg802,各含一個(gè)hdisk,PP大小 64MB801#lsvg -o 查看兩卷組均已varyon.B801# smitchvg分別定義兩個(gè)datavg的 act

6、ive automatically 屬性為 No關(guān)鍵點(diǎn)：Volume grouop name 分別設(shè)為 datavg801 和 datavg802Activate volume group automatically 設(shè)為 no(表示此處不要做(由集群軟件控制)B801#varyoffvg datavg801 在 B801 機(jī)上卸載兩激活卷組B801# varyoffvg datavg802 以便備機(jī)能將 VG 信息進(jìn)行importvgB802#cfgmgr B802 機(jī)重認(rèn)設(shè)備B802#importvg -y datavg801 hdisk? B802 機(jī)重認(rèn)設(shè)備B802#importvg

7、-y datavg802 hdisk? B802 機(jī)重認(rèn)設(shè)備B802# lsvg -o 查看兩卷組均已varyonB802# smitchvg分別定義兩datavg的 active automatically 屬性為 no關(guān)鍵點(diǎn)：Volume grouop name 分別設(shè)為 datavg801 和 datavg802Activate volume group automatically 設(shè)為 no(表示此處不要做(由集群軟件控制)B802# varyoffvg datavg801 將所有卷組在所有機(jī)器上varyoffB802# varyoffvg datavg802 以便交由 HA 軟件控制

8、varyonvg/varyoff2.6、應(yīng)用系統(tǒng)啟動(dòng)腳本配置B801# touch/etc/801dbstart 生成 B801 服務(wù)器數(shù)據(jù)庫啟動(dòng)腳本B801# touch/etc/801dbstop 生成 B801 服務(wù)器數(shù)據(jù)庫停止腳本B801# touch/etc/802dbstart 生成 B802 服務(wù)器數(shù)據(jù)庫啟動(dòng)腳本B801# touch/etc/802dbstop 生成 B802 服務(wù)器數(shù)據(jù)庫停止腳本B801# chmod +x /etc/80*B802# touch/etc/801dbstartB802# touch/etc/801dbstopB802# touch/etc/80

9、2dbstartB802# touch/etc/802dbstopB802# chmod +x /etc/80*3、HACMP 安裝及配置3.1、安裝 HACMP5.3除HAtivoli/Haview；兩類軟件包外，安裝其他所有 HA 軟件包# smitty install3.2、雙機(jī)網(wǎng)絡(luò)地址配置B801# vi /etc/hosts(最好三個(gè)都不同)04 B802_service03 B802_service02 B802_standby01 B802_standby02 B802_boot01B802_boot B801B802# vi /etc/hosts04 B802_service0

10、3 B802_service02 B802_standby01 B802_standby02 B802_boot01 B802_bootB8023.3、雙機(jī)信任關(guān)系配置B801# vi /.rhostsB802_serviceB801_serviceB802_standbyB801_standbyB802_bootB801_bootB801# cp /.rhosts /etc/hosts.equivB801# cp /.rhosts /usr/es/sbin/cluster/netmon.cfB802 機(jī)同上設(shè)置3.4、HA 服務(wù)配置B801# cat /etc/inittab確定initta

11、b文件末行已加入啟動(dòng) HA 服務(wù)clcomdES:2:once:startsrc -sclcomdES /dev/console 2&1B801# lssrc -s clcomdES確定 HA 服務(wù)當(dāng)前為 ACTIVE 狀態(tài)B801#startsrc -s clcomdES否則以命令啟動(dòng) HA 服務(wù)B802 機(jī)同上設(shè)置（后續(xù) HA 配置則可僅在單臺(tái)主機(jī)如B801 上進(jìn)行）3.5、cluster 配置3.5.1、配置 cluster 邏輯名B801#smit hacmp -Etxtended Configuration-Extended Topology-configgure an HA clu

12、ster -Add a hacmpcluster配置 cluster 名稱關(guān)鍵點(diǎn)：Cluster name 自己定3.5.2、配置 cluster 節(jié)點(diǎn)B801#smit hacmp -Initization -Add node指定 cluster 名稱，并定義NewNode(選擇兩個(gè) boot 地址)關(guān)鍵點(diǎn)：New Nodes 選擇 B801_boot 和 B802_bootB801#smit hacmp-Extended Configuration -Extended Topology-configure HA node -Add a node to HAcluster分別定義兩個(gè) nod

13、e name 為兩機(jī)機(jī)器名，及各自的communication Path 為自己的 boot IP關(guān)鍵點(diǎn)：Node name 設(shè)為 B801，對(duì)應(yīng)communication path 為B801_boot；Node name 設(shè)為 B802，則對(duì)應(yīng)communication path 為B802_boot。3.5.3、配置 cluster 中網(wǎng)絡(luò)類型B801#smit hacmp -Extended Configuration-Extended Topology -configure HA networks -show HA networks確定系統(tǒng)中已有兩種網(wǎng)絡(luò)類型：net_ether_01

14、(系統(tǒng)自定 IP 網(wǎng)絡(luò)，其中包含bootIP和standbyIP的網(wǎng)段)；net_rs232_01(系統(tǒng)自定串口心跳網(wǎng)絡(luò))或 net_hdiskb_01(系統(tǒng)自定磁盤心跳網(wǎng)絡(luò))，并將 net_ether_01屬性 enable IP address takeover via IP aliases 定義為 NO關(guān)鍵點(diǎn)：Enable IP address takeover via IP Aliases 設(shè)為 NOB801#smit hacmp -Extended configuration-Extended Topology-configure HAnetworks -add a network

15、to the HA cluster若上步中無 net_ether_01 和net_rs232_01 信息，則需手動(dòng)指定添加兩種網(wǎng)絡(luò)類型:IP 網(wǎng)絡(luò)類型 ether;rs232 （串口心跳網(wǎng)絡(luò)）或diskhb(磁盤心跳網(wǎng)絡(luò))關(guān)鍵點(diǎn)：(串口心跳 rs232 和磁盤diskhb只要配其中一個(gè)就行了)a.選擇#pre-defined IP-based Network Types 下幾行的 etherb.Enable IP address takeover via IP Aliases 設(shè)為 NOc.選擇#pre-defined IP-serial Device Types 下幾行的 ers232(串口

16、心跳)d.選擇#pre-definedIP-serial Device Types 下幾行的diskhb(磁盤心跳)3.5.4、配置不同類型網(wǎng)絡(luò)中的具體接口或設(shè)備B801#smit hacmp -Extended Configuration-Extended Topology-configure communication -Add-Predefined -Interfaces關(guān)鍵點(diǎn)：a.IP Label/Address 設(shè)為 B801_bootNode Name 設(shè)為 B801b.IP Label/Address 設(shè)為 B801_standbyNode Name 設(shè)為 B801c.IP La

17、bel/Address 設(shè)為 B802_bootNode Name 設(shè)為 B801d.IP Label/Address 設(shè)為 B802_standbyNode Name 設(shè)為 B801B801#smit hacmp -Extended Configuration-Extended Topology-configurecommunication/devices -Add -Predefined -devices(配串口（或者配磁盤心跳）a.選擇net_ether_01；B802 tty0 /dev/tty0b.選擇net_diskhb_01；Device Name 設(shè)為 diskhb_B801；

18、DevicePath 設(shè)為/dev/hdisk9；Node Name 設(shè)為B801;Device Name 設(shè)為diskhb_B802；Device Path 設(shè)為/dev/hdisk9；Node Name 設(shè)為 B802。3.5.5、配置 HA 應(yīng)用B801#smit hacmp -ExtendedConfiguration-ExtendedResources-ResourcesConfiguration -Application-serversaddapp server定義兩機(jī)各自不同的 APP 名，及各自的服務(wù)啟停腳本關(guān)鍵點(diǎn)：a.Server Name 設(shè)為 application_B8

19、01;Start Script 設(shè)為/etc/801dbstart;StopScript 設(shè)為/etc/801dbstopb.Server Name 設(shè)為 application_B802;Start Script 設(shè)為/etc/802dbstart;StopScript 設(shè)為/etc/802dbstop3.5.6、配置 cluster 服務(wù) IPB801#smit hacmp-Extended Configuration -Extended Resources-Resources Configure -IP lables/Addresses-add a service IP-configur

20、able -net_ethernet_01定義兩機(jī)的 IPlables/Addresses 為各自機(jī)器的 service IP關(guān)鍵點(diǎn)：a.IP Label/Address 設(shè)為 B801_serviceb.IP Label/Address 設(shè)為 B801_service3.5.7、配置 cluster 資源組B801#smit hacmp -Extended Configuration-Extended Resources-Resources Group Configure -Add a resource group關(guān)鍵點(diǎn)：a.Resource Group Name 設(shè)為 resource_B

21、801;Participating Nodes 設(shè)為 B801 B802(注意 801,802 前后順序)b.Resource Group Name 設(shè)為 resource_B802;Participating Nodes 設(shè)為 B802 B801(注意 801,802 前后順序)3.5.8、配置 cluster 資源組的資源B801#smit hacmp -ExtendedConfiguration-Extended Resources-Resources Group Configure -Changeattributes -resource_B801分別確定兩 Resources Grou

22、p的 service IP/Address,ApplicationServers和各自所屬 VGs關(guān)鍵點(diǎn)：a.Service IPLabel/Address 設(shè)為 B801_service;ApplicationServers 設(shè)為 application_B801;Volume Groups 設(shè)為 datavg801b.Service IPLabel/Address 設(shè)為 B802_service;ApplicationServers 設(shè)為 application_B802;Volume Groups 設(shè)為 datavg8023.5.9、同步及校驗(yàn) clusterB801#smit hacm

23、p -ExtendedConfiguration-Verification and synchronization將 HA 配置信息同步到從機(jī)如B802 上，并進(jìn)行校驗(yàn)關(guān)鍵點(diǎn)：Automatically correct errors found during 設(shè)為 Yes.3.5.10、啟停 HAB801#smit clstart (now)B802#smit clstart (now)兩機(jī)上同時(shí)啟動(dòng) HA 服務(wù)關(guān)鍵點(diǎn)：Start now,on system restart or boot 設(shè)為 nowB801#lssrc -g clusterB802#lssrc -g cluster兩機(jī)上同

24、時(shí)查看 HA 服務(wù)是否正常（至少得有clstrmgrES有的有clsmuxpdES）B801#ifconfig -aB802#ifconfig -a兩機(jī)上同時(shí)查看bootIP已切換為serviceIPB801#lsvg -oB802#lsvg -o兩機(jī)上同時(shí)查看datavg已varyonB801#smit clstopB802#smit clstop兩機(jī)上同時(shí)停止 HA 服務(wù)關(guān)鍵點(diǎn)：Stop now,on system restart or boot 設(shè)為 nowShutdown mode 設(shè)為 graceful(停節(jié)點(diǎn)但不接管)或 Force(停節(jié)點(diǎn)但不釋放資源)或 Takeover(停節(jié)點(diǎn)

25、，釋放資源，且可以接管)Stop HA 的 3 種模式：Graceful：停節(jié)點(diǎn)，釋放資源，活動(dòng)節(jié)點(diǎn)不接管Force：停節(jié)點(diǎn)，不釋放資源Takeover：停節(jié)點(diǎn)，釋放資源，活動(dòng)節(jié)點(diǎn)接管資源B801#lssrc -g clusterB802#lssrc -g cluster兩機(jī)上同時(shí)查看 HA 服務(wù)是否已停B801#ifconfig -aB802#ifconfig -a兩機(jī)上同時(shí)查看serviceIP已切換為bootIPB801#lsvg -oB802#lsvg -o兩機(jī)上同時(shí)查看datavg已varyoff3.5.11、HA 測(cè)試A.兩機(jī)clstart(now),可見 datavg801 和

26、datavg802 已在兩機(jī)上分別varyon，然后各自拔掉bootIP/service IP 網(wǎng)卡的網(wǎng)線，可見serviceIP切換到本機(jī)的standbyIP網(wǎng)卡上，兩datavg不受影響B(tài).接好上一步中拔掉的網(wǎng)線，在 B801 機(jī)上clstop(now)并確定參數(shù)takeover，則 B801 機(jī)的serviceIP會(huì)切換回bootIP，且 datavg801 在 B801機(jī)上自動(dòng)varyoff,隨后 B802 機(jī)的standbyIP網(wǎng)卡自動(dòng)接管 B801 機(jī)的serviceIP,同時(shí) datavg801 在 B802 機(jī)上被自動(dòng)varyon,此時(shí)來那個(gè)datavg均在 B802 上被va

27、ryonC.在 B801 機(jī)上重新clstart(now)，則 B801 機(jī)會(huì)把自己的serviceIP從B802 機(jī)上收回， B801 機(jī)的bootIP切換為 serviceIP,datavg80 被重新varyon到 B801 上，同時(shí) B802 機(jī)的standbyIP網(wǎng)卡恢復(fù)standbyIPD.在 B802 上再進(jìn)行上述兩步測(cè)試上述測(cè)試正常，clstop(now)關(guān)閉兩機(jī)的 HA 服務(wù)，以便進(jìn)行后續(xù)配置4、oracle 安裝及配置（兩臺(tái)服務(wù)器上均需進(jìn)行）4.1、oracle 安裝環(huán)境檢查4.1.1、mem1G#lsattr -El mem04.1.2、swapmem*1.2#lsps

28、-a4.1.3、/tmp400M#df -k(df -m 或df -g 都可)4.1.4、Hard Disk Space: 4G(安裝所需空間)+3G(安裝源文件)#df -k4.2、AIX 擴(kuò)展軟件包及補(bǔ)丁需求#lslpp -l bos.adt.lib#lslpp -l bos.adt.libm#lslpp -l bos.perf.libbperfstat#lslpp -l bos.perf.libperfstat#lslpp -l ctools#instfix -ik IY58143#instfix -ik IY59386#instfix -ik IY60930#instfix -ik I

29、Y66513#instfix -ik IY70159#instfix -ik IY689894.3、其他參數(shù)限制#smit system-change/show characteristics of OS關(guān)鍵點(diǎn)：Maximum numberof PROCESSES allowed per user 設(shè)為 2048#smitaio-change/show characteristics of AIO關(guān)鍵點(diǎn)：STATE to beconfigured at system restart 設(shè)為avaliable(更改異步 IO（在oracle 中必須打開（AIX6 默認(rèn)打開)4.4、增加用戶和組#s

30、mit group -add group -oinstall/dba#smit user -add user -oracle#passwd oracle關(guān)鍵點(diǎn)：User Name 設(shè)為 oraclePrimary Group 設(shè)為dba,haguserSoft file size設(shè)為-1soft cputime,soft data segment 設(shè)為-1soft stack size設(shè)為-1soft core file size 設(shè)為-1注：軟限(-1 表示沒有限制)4.5、修改環(huán)境變量4.6、創(chuàng)建 oracle 文件系統(tǒng)及處理 oracle 安裝文件4.7、以 oracle 用戶重新登錄并

31、開始安裝 oracle$su - root#/oracle/Disk1/rootpre/rootpre.sh(完畢后關(guān)閉當(dāng)前窗口)$cd /oracle/Disk1$./runInstaller4.8、建立裸設(shè)備并創(chuàng)建實(shí)例（可僅在主機(jī)上，完成后 import 到備機(jī)即可）B801#varyonvg datavg801B801#varyonvg datavg802B801#mklv -y lv_ora1_spfile datavg801 1B801#mklv -y lv_ora1_ctrl01 datavg801 1B801#mklv -y lv_ora1_ctrl02 datavg801 1B

32、801#mklv -y lv_ora1_ctrl03 datavg801 1B801#mklv -y lv_ora1_redo01 datavg801 1B801#mklv -y lv_ora1_redo02 datavg801 1B801#mklv -y lv_ora1_redo03 datavg801 1B801#mklv -y lv_ora1_system datavg801 10B801#mklv -y lv_ora1_sysaux datavg801 10B801#mklv -y lv_ora1_undo01 datavg801 10B801#mklv -y lv_ora1_temp

33、01datavg801 10B801#mklv -y lv_ora1_user01 datavg801 20B801#mklv -y lv_ora2_spfile datavg801 1B801#mklv -y lv_ora2_ctrl01 datavg801 1B801#mklv -y lv_ora2_ctrl02 datavg801 1B801#mklv -y lv_ora2_ctrl03 datavg801 1B801#mklv -y lv_ora2_redo01 datavg801 1B801#mklv -y lv_ora2_redo02 datavg801 1B801#mklv -y

34、 lv_ora2_redo03 datavg801 1B801#mklv -y lv_ora2_system datavg802 10B801#mklv -y lv_ora2_sysaux datavg802 10B801#mklv -y lv_ora2_undo01 datavg802 10B801#mklv -y lv_ora2_temp01 datavg802 10B801#mklv -y lv_ora2_user01 datavg802 20B801#hown oracle /dev/*lv*B801#varyoffvg datavg801B801#varyoffvg datavg80

35、2B802#importvg -y datavg801 hdisk?B802#importvg -y datavg802 hdisk?B802#chown oracle /dev/*lv*B802#smitty chvgDatavg801 和 datavg802 在 B802 上經(jīng)importvg后，屬性恢復(fù)為默認(rèn)設(shè)置，應(yīng)重新定義兩數(shù)據(jù) VG 的 active automativally屬性為 NO關(guān)鍵點(diǎn)：a.Volume group name 設(shè)為 datavg801Active volumegroup automativally設(shè)為 nob.Volume group name 設(shè)為 dat

36、avg802Active volumegroup automativally設(shè)為 noB802#varyoffvg datavg801 在 B802 上卸載 datavg801并在 801 上激活B801#varyoffvg datavg801 以便后續(xù)分別在兩機(jī)上各自建立不同實(shí)例在 B801/B802 上分別以 oracle 用戶身份開始創(chuàng)建實(shí)例ora101 和 ora102，實(shí)例 ora101 的所有數(shù)據(jù)庫文件都建立在邏輯卷裸設(shè)備 rlv_ora1_xxxxx 上，實(shí)例 ora102 所有數(shù)據(jù)庫文件都建立在邏輯卷裸設(shè)備 rlv_ora2_xxxxx 上。在兩機(jī)上分別執(zhí)行 DBCA關(guān)鍵點(diǎn)A.

37、Create adatabaseB.generalpurposeC.globaldatabase name 設(shè)為 ora101 或 ora102 SID 設(shè)為 ora101 或 ora102D.configure thedatabase with enterprise manager 不選E.use the samepasswd for all accountsF.Raw DevicesG.specify flashrecovery area;選 enable archiving 編輯 editarchive mode parameters 中archive log file format 中

38、%t_%s_%r.arc 存儲(chǔ)位置自己寫H.chracter sets 選擇 choosefrom the list of character sets:ZHS16GBKI.connection mode 選 dedicatedserver modeJ.sizing設(shè) serverparameter filename 為/dev/rlv_ora1_spfile(或/dev/rlv_ora2_spfile)K.controlfileFile Name File Drectoryrlv_ora1_ctrl01 /dev/rlv_ora1_ctrl02 /dev/rlv_ora1_ctrl03 /d

39、ev/DatafilesFile Name File Drectoryrlv_ora1_system /dev/rlv_ora1_undo01 /dev/rlv_ora1_sysaux /dev/rlv_ora1_user01 /dev/rlv_ora1_temp01 /dev/Redo Log Group1File Name File Drectoryrlv_ora1_redo01 /dev/2File Name File Drectoryrlv_ora1_redo02 /dev/3File Name File Drectoryrlv_ora1_redo03 /dev/L.createdatabase 選中4.9、復(fù)制本機(jī)共享文件到備機(jī)B801$cp $ORACLE_HOME/dbs/initora101.oraB802:/$ORACLE_HOME/dbs/ 復(fù)制 B801 機(jī)的initora101.ora 到B802 機(jī)的相同路徑下。B802$