SUN V490+OracleHA雙機(jī)改造文檔

1、PAGE 84PAGE FZPU雙機(jī)安裝文檔 (Solaris 10 + Oracle 9i + SVM + Sun Cluster 3.1)文檔版本：RC V1.0 編寫作者 ：Fzpu 印刷約定 藍(lán)色代表系統(tǒng)show run內(nèi)容 紅色代表注釋參考資料:Sun Cluster 3.1 8/05 發(fā)行說明（適用于 Solaris OS）Sun Cluster 軟件安裝指南（適用于 Solaris OS）Sun Cluster 系統(tǒng)管理指南（適用于 Solaris OS） 用于 Oracle 的 Sun Cluster 數(shù)據(jù)服務(wù)指南（適用于 Solaris OS）SolarisVolume Ma

2、nager 管理指南Sun StorageTekCommon Array Manager 軟件安裝指南Sun StorageTek 6140 陣列硬件安裝指南日 期：2008.11.1硬件環(huán)境：管理工作站：無服務(wù)器：2SUN V490磁盤陣列：SUN Stortek 6140軟件環(huán)境：Solaris 10Sun Cluster 3.1SunCluster agent for HA-OracleSolaris Volume Manager主機(jī)命名規(guī)則：服務(wù)器：第一臺V490：web-db1 ；第二臺V490：web-db2Sun cluster + oracle 安裝規(guī)劃（如表K-1所示）： 表

3、K-1操作系統(tǒng) Sun Solaris 10 05/08集群軟件 Sun Cluster 3.1卷管理軟件Solaris Volume Manager數(shù)據(jù)庫軟件 Oracle 節(jié)點1 節(jié)點2 浮動IP地址 6子網(wǎng)掩碼網(wǎng)關(guān) 54IPMP測試IP地址 1 web-db1-ce0-test 2 web-db1-ce1-test 3 web-db2-ce0-test 4 web-db2-ce1-test節(jié)點1對應(yīng)的主機(jī)名web-db1節(jié)點2對應(yīng)的主機(jī)名web-db2Cluster名稱fzpu-cluster系統(tǒng)用戶oracle (dba組)浮動IP對應(yīng)的主機(jī)名web-db一 服務(wù)器V490的安裝： 1

4、.安裝前的規(guī)劃每臺服務(wù)器配有兩個146G的硬盤做raid1，其中web-db1 有16G內(nèi)存做主節(jié)點, web-db2有8G內(nèi)存。系統(tǒng)安裝好之后，兩個節(jié)點的分區(qū)一致，避免出現(xiàn)不可預(yù)料的情況。按圖 1的連接方式，使web-db1和web-db2同時連接6140，確保兩臺主機(jī)都能找到Stortek 6140內(nèi)的硬盤。圖1:2.操作系統(tǒng)安裝 操作系統(tǒng)：Solaris 10注意：在安裝操作系統(tǒng)的過程中千萬要注意兩臺主機(jī)都不要接存儲，不然的話兩臺主機(jī)的系統(tǒng)盤和Stortek 6140的Target 號會不一致，會對以后的安裝產(chǎn)生影響。安裝操作系統(tǒng)EIS補(bǔ)丁詳細(xì)步驟3) 按照以下的規(guī)劃安裝操作系統(tǒng)web-

5、db1與web-db2相同(表K-2)：由于要安裝SC3.1+svm，請預(yù)留系統(tǒng)盤的第5分區(qū)空間1G，用來建立/globaldevices，第七分區(qū)空間512MB用來放置metadb信息 注：/globaldevices - 創(chuàng)建一個512 兆字節(jié)的文件系統(tǒng)供scinstall實用程序針對全局設(shè)備使用。（分片7）meta分區(qū)用于存放卷管理器的狀態(tài)數(shù)據(jù)庫副本在磁盤的最后一個分片上創(chuàng)建一個20 兆字節(jié)的分區(qū)供卷管理器使用。如果群集使用VERITAS Volume Manager (VxVM)并且您要封裝根磁盤，則需要有兩個未使用的盤片以供VxVM 使用。表K-2分區(qū)號 分區(qū)名分區(qū)大小 說明 0 /

6、 91325 MB為分片1 至7 分配空間后磁盤中剩余的空閑空間?？晒㏒olarisOS、Sun Cluster 軟件、數(shù)據(jù)服務(wù)軟件、卷管理器軟件、SunManagement Center 代理和Sun Cluster 模塊代理軟件包、根文件系統(tǒng)以及數(shù)據(jù)庫和應(yīng)用程序軟件使用。 1 Swap 16G 2 Overlap139989 MB整個磁盤 3/var 20G 4/tmp10G 5/globaldevices1GBSun Cluster 軟件稍后會給該盤片指定一個不同的裝載點并將它裝載為一個群集文件系統(tǒng)。 6未使用 7卷管理器512MBmetadb 專用文件系統(tǒng)和磁盤格式 下列匯總是你當(dāng)前的

7、文件系統(tǒng)和磁盤格式, 基于你所提供的信息. 注意: 如果你選擇用戶化, 則你應(yīng)該了解文件系統(tǒng), 它們在磁盤上的期望目的以及如何改變它們可能會影響系統(tǒng)的操作. 文件系統(tǒng)/安裝點 硬盤/分片 大小 = / c1t1d0s0 91325 MB swap c1t1d0s1 16386 MB overlap c1t1d0s2 139989 MB /var c1t1d0s3 20481 MB /tmp c1t1d0s4 10245 MB /globaldevices c1t1d0s5 1033 MB c1t1d0s7 516 MB 4) 設(shè)置OBP變量local-mac-address為true，在OBP

8、下：setenvlocal-mac-address? true或在Solaris下：eeprom local-mac-address?=true注：（此選項為solaris 多路徑必須滿足的條件，local-mac-address? 變量必須使用Ethernet 適配器的默認(rèn)值true。對于以太網(wǎng)適配器，Sun Cluster 軟件不支持local-mac-address? 的值為false。此要求與Sun Cluster 3.0 不同，Sun Cluster 3.0 要求local-mac-address? 的值為false。）5) 配置/etc/hosts，輸入所有cluster節(jié)點和邏輯

9、主機(jī)IP記錄：在兩臺主機(jī)上配置好IPMP連接兩條ce口私網(wǎng)線 配置IPMPweb-db1的/etc/hosts信息# Internet host table#:1 localhost localhost web-db1 loghost web-db2#IPMP test address1 web-db1-ce0-test2 web-db1-ce1-test#logic address6 web-db (全局邏輯地址)web-db1 的/etc/hostname.ce0信息web-db1 netmask + broadcast + group ipmp0 up addif web-db1-ce0

10、-test netmask + broadcast + deprecated -failover upweb-db1 的/etc/hostname.ce1信息web-db1-ce1-test netmask + broadcast + group ipmp0 deprecated -failover upweb-db2的/etc/hosts信息rootweb-db2 # cat /etc/hosts# Internet host table#:1 localhost localhost web-db2 loghost web-db1#IPMP test address3 web-db2-ce0

11、-test4 web-db2-ce1-test#logic address6 web-db (全局邏輯地址)web-db2的/etc/hostname.ce0信息web-db2 netmask + broadcast + group ipmp0 up addif web-db2-ce0-test netmask + broadcast + deprecated -failover upweb-db2的/etc/hostname.ce1信息web-db2-ce1-test netmask + broadcast + group ipmp0 deprecated -failover up以下在兩機(jī)

12、上完成6) 修改文件/etc/defaultrouter，設(shè)置缺省路由vi /etc/defaultrouter 547) 修改文件/etc/system，加入以下3行：exclude: lofsset ce:ce_taskq_disable=1 二Stortek 6140安裝識別.1配置StorEdge 6140：詳細(xì)配置注：StorEdge 6140共有10塊146GFC硬盤，其中8個硬盤做RAID5，剩下的2個做hot spare盤。由于sun cluster需要一個quorum盤， Oracle需使用raw做文件系統(tǒng)，所以劃分了三個partion。Quorum分區(qū)1024MB即可。讓系

13、統(tǒng)重新掃描硬件設(shè)備rootweb-db1 # reboot - -r 運(yùn)行cfgadmal可以看見系統(tǒng)已經(jīng)注冊了控制器，只需啟用多路徑mpxio即可。 rootweb-db1 # cfgadm -alAp_Id Type Receptacle Occupant Conditionc0 scsi-bus connected configured unknownc0:dsk/c0t0d0 CD-ROM connected configured unknownc1 fc-private connected configured unknownc1:5000cca00432dcc9 disk conn

14、ected configured unknownc1:5000cca00432dce1 disk connected configured unknownc2 fc-private connected configured unknownc2:200400a0b82aaf01 disk connected configured unknownc3 fc-private connected configured unknownc3:200500a0b82aaf01 disk connected configured unknownusb0/1 usb-mouse connected config

15、ured okusb0/2 usb-device connected configured okusb0/3 unknown empty unconfigured okusb0/4 unknown empty unconfigured okrootweb-db1 # ls -l /dev/fc總數(shù) 6lrwxrwxrwx 1 root root 51 12月 1日 12:55 fp0 - ././devices/pci8,600000/SUNW,qlc1/fp0,0:devctllrwxrwxrwx 1 root root 51 12月 1日 12:55 fp1 - ././devices/p

16、ci8,600000/SUNW,qlc2/fp0,0:devctllrwxrwxrwx 1 root root 51 12月 1日 12:55 fp2 - ././devices/pci9,600000/SUNW,qlc2/fp0,0:devctl注：（fp0,fp1為HBA卡上的光纖通道,fp2為本地的光線通道fp0,fp1開啟多路徑，fp2關(guān)閉多路徑）rootweb-db1#vi /kernel/drv/fp.conf 添加如下語句。注釋掉 #mpxio-disable=yes; parent=/pci8,600000/SUNW,qlc1 port=0 mpxio-disable=no;

17、name=fp parent=/pci8,600000/SUNW,qlc2 port=0 mpxio-disable=no; name=fp/ fp0,fp1開啟多路徑parent=/pci9,600000/SUNW,qlc2 port=0 mpxio-disable=yes; name=fp/ fp2關(guān)閉多路徑注:（多路徑軟件用于管理指向共享群集存儲設(shè)備的多個I/O 路徑。對于Solaris 8 或Solaris 9 操作系統(tǒng)，安裝并配置Sun StorEdge Traffic Manager 軟對于Solaris 10 操作系統(tǒng)，啟用Solaris 多路徑功能，此功能作為Solaris 1

18、0 軟件的一部分已被默認(rèn)安裝。以上表明在HBA卡FC接口上啟用mpxio，而不是全局啟用。這樣正常陣列設(shè)備識別的磁盤號就為長串字符，而本地磁盤識別的磁盤號為正常的cxtxsx，因為只是在FC口局部啟用的多路徑，而本地禁用多路徑）rootweb-db1# stmsboot u WARNING: This operation will require a reboot.Do you want to continue ? y/n (default: y) yThe changes will come into effect after rebooting the system.Reboot the

19、system now ? y/n (default: y) y在web-server2上執(zhí)行相同的步驟可以看見盤陣已經(jīng)變成multipath-devicesrootweb-db1 # formatSearching for disks.doneAVAILABLE DISK SELECTIONS: 0. c1t0d0 /pci9,600000/SUNW,qlc2/fp0,0/ssdw5000cca00432dcc9,0 1. c1t1d0 /pci9,600000/SUNW,qlc2/fp0,0/ssdw5000cca00432dce1,0 2. c4t600A0B80002A2B3200000

20、66F492B138Dd0 /scsi_vhci/ssdg600a0b80002a2b320000066f492b138d 3. c4t600A0B80002AAF00000007BF492B135Cd0 /scsi_vhci/ssdg600a0b80002aaf00000007bf492b135c 4. c4t600A0B80002AAF00000007C5492B13D6d0 /scsi_vhci/ssdg600a0b80002aaf00000007c5492b13d6Specify disk (enter its number):rootweb-db2 # formatSearching

21、 for disks.doneAVAILABLE DISK SELECTIONS: 0. c1t0d0 /pci9,600000/SUNW,qlc2/fp0,0/ssdw21000000878d59a1,0 1. c1t1d0 /pci9,600000/SUNW,qlc2/fp0,0/ssdw21000000878d0ef5,0 2. c4t600A0B80002A2B320000066F492B138Dd0 /scsi_vhci/ssdg600a0b80002a2b320000066f492b138d 3. c4t600A0B80002AAF00000007BF492B135Cd0 /scs

22、i_vhci/ssdg600a0b80002aaf00000007bf492b135c 4. c4t600A0B80002AAF00000007C5492B13D6d0 /scsi_vhci/ssdg600a0b80002aaf00000007c5492b13d6三Cluster 軟件安裝配置1.Sun軟件的安裝雙機(jī)軟件采用sun公司的sun cluster3.1 ，此軟件已經(jīng)集成到JES（Java Enterprise System）軟件包中。cd /var/spool/stage/JES_05Q4/Solaris_sparc可通過運(yùn)行以下命令進(jìn)行安裝：GUI mode:./installe

23、rCLI mode:./installer -nodisplay2. Sun Cluster環(huán)境配置兩個節(jié)點通訊用rootweb-db1 # vi .rhosts +rootweb-db1 # vi /etc/hosts.equivweb-db1web-db2web-db 3，打EIS補(bǔ)丁軟件安裝完畢之后，也需要打補(bǔ)丁。不過sun cluster安裝完畢之后，系統(tǒng)默認(rèn)已經(jīng)啟動服務(wù)，安裝補(bǔ)丁之前需停用sun cluster服務(wù)。（兩個節(jié)點上做）安裝完畢后，執(zhí)行reboot - -x 重啟之后不進(jìn)入sun cluster環(huán)境安裝SC3.1的patches；rootweb-db1 # lofiadm

24、 -a /opt/iso/eis-dvd.iso /dev/lofi/1rootweb-db1 # lofiadm Block Device File/dev/lofi/1 /opt/iso/eis-dvd.isorootweb-db1 # mount -F /dev/lofi/1 /mnt/iso/rootweb-db1 # mount -F hsfs /dev/lofi/1 /mnt/iso/rootweb-db1 # cd /mnt/iso/sun/installrootweb-db1 # ./setup-standard.shinit 6 重啟系統(tǒng)。rootweb-db1 # unpa

25、ck-patches注：（進(jìn)入cluster補(bǔ)丁包的目錄，用這個命令一次打EIS補(bǔ)丁集）然后執(zhí)行命令 init 6 重啟系統(tǒng)。在web-db2上執(zhí)行以上相同的步驟4.Scintall 配置配置主節(jié)點web-db1 具體內(nèi)容摘錄:rootweb-db1 # scinstall * 主菜單 * 請選擇以下某一帶 (*) 的選項： * 1) 安裝群集或群集節(jié)點 2) 將群集配置為從此安裝服務(wù)器中快速啟動 3) 在此群集節(jié)點中添加對新數(shù)據(jù)服務(wù)的支持 4) 升級此群集節(jié)點 5) 打印此群集節(jié)點的發(fā)行信息 * ?) 菜單選項中的幫助 * q) 退出 選項： 1 * 安裝菜單 * 請選擇以下任一選項： 1)

26、 安裝新群集的所有節(jié)點 2) 只將此機(jī)器安裝為新群集的第一個節(jié)點 3) 將此機(jī)器添加為現(xiàn)有群集中的節(jié)點 ?) 菜單選項中的幫助 q) 返回主菜單 選項： 2 * 只安裝新群集的第一個節(jié)點 * 此選項用于建立新的群集，該群集使用此機(jī)器作為其第一個節(jié)點。 安裝群集框架軟件之后，系統(tǒng)將要求您輸入群集的名稱。 然后，您可以運(yùn)行 sccheck(1M) 來測試此機(jī)器是否滿足 Sun Cluster 預(yù)配置的基本要求。 sccheck(1M) 通過后，系統(tǒng)將要求您輸入最初將加入該群集的其他節(jié)點的名稱 。除非此群集為單節(jié)點群集，否則系統(tǒng)還將要求您輸入某些群集傳輸配置信息 。 可以隨時按 Control-d

27、組合鍵返回 主菜單。 是否要繼續(xù) (yes/no) yes? y 安裝類型 群集名 檢查 群集節(jié)點 群集節(jié)點 Type of Installation Autodiscovery of Cluster Transport Do you want to use autodiscovery (yes/no) yes?y9) Do you want scinstall to reboot for you (yes/no) yes? y 5.執(zhí)行命令 scstat p 檢查確認(rèn)所有cluster節(jié)點都處于online狀態(tài)；具體內(nèi)容摘錄:rootweb-db1 # scstat -p- Cluster

28、Nodes - Node name Status Cluster node: web-db1 Online Cluster node: web-db2 Online- Cluster Transport Paths - Endpoint Endpoint Status Transport path: web-db1:ce1 WEB-DB2:ce1 Path online Transport path: web-db1:ce0 WEB-DB2:ce0 Path online- Quorum Summary - Quorum votes possible: 1 Quorum votes neede

29、d: 1 Quorum votes present: 1- Quorum Votes by Node - Node Name Present Possible Status Node votes: web-db1 1 1 Online Node votes: web-db2 0 0 Online- Quorum Votes by Device - Device Name Present Possible Status - Device Group Servers - Device Group Primary Secondary - Device Group Status - Device Gr

30、oup Status - Multi-owner Device Groups - Device Group Online Status - IPMP Groups - Node Name Group Status Adapter Status IPMP Group: web-db1 ipmp0 Online ce3 Online IPMP Group: web-db1 ipmp0 Online ce2 Online6重新檢測所有的節(jié)點上配置IPMP 是否配好rootweb-db1 # ifconfig -alo0: flags=2001000849 mtu 8232 index 1 inet

31、netmask ff000000 ce0: flags=1000843 mtu 1500 index 2 inet netmask ffffff00 broadcast 55 groupname ipmp0 ether 0:14:4f:44:55:ca ce0:1: flags=9040843 mtu 1500 index 2 inet 1 netmask ffffff00 broadcast 55ce1: flags=9040843 mtu 1500 index 3 inet 2 netmask ffffff00 broadcast 55 groupname ipmp0 ether 0:14

32、:4f:67:3c:92 ce1:1: flags=1040843 mtu 1500 index 3 inet 6 netmask ffffff00 broadcast 55ce2: flags=1008843 mtu 1500 index 5 inet 29 netmask ffffff80 broadcast 55 ether 0:14:4f:85:e6:37 ce3: flags=1008843 mtu 1500 index 4 inet netmask ffffff80 broadcast 27 ether 0:14:4f:85:e6:36 clprivnet0: flags=1009

33、843 mtu 1500 index 6 inet netmask ffffff00 broadcast 55 ether 0:0:0:0:0:17.設(shè)置quorum disk盤在所有節(jié)點執(zhí)行命令scdidadm L 查看硬盤ID，選擇兩Cluster節(jié)點主機(jī)都能看到的硬盤ID；具體內(nèi)容摘錄:查看共享磁盤設(shè)備(se 6140)的全局設(shè)備號（did）。D4 為quorum盤、d5，D6 為RAW設(shè)備。D7為備用rootweb-db1 # scdidadm -L1 web-db1:/dev/rdsk/c0t0d0 /dev/did/rdsk/d1 2 web-db1:/dev/rdsk/c1t1d

34、0 /dev/did/rdsk/d2 3 web-db1:/dev/rdsk/c1t0d0 /dev/did/rdsk/d3 4 web-db1:/dev/rdsk/c4t600A0B80002AAF00000007C5492B13D6d0 /dev/did/rdsk/d4 4 web-db2:/dev/rdsk/c4t600A0B80002AAF00000007C5492B13D6d0 /dev/did/rdsk/d4 5 web-db1:/dev/rdsk/c4t600A0B80002A2B320000066F492B138Dd0 /dev/did/rdsk/d5 5 web-db2:/d

35、ev/rdsk/c4t600A0B80002A2B320000066F492B138Dd0 /dev/did/rdsk/d5 6 web-db1:/dev/rdsk/c4t600A0B80002AAF00000007BF492B135Cd0 /dev/did/rdsk/d6 6 web-db2:/dev/rdsk/c4t600A0B80002AAF00000007BF492B135Cd0 /dev/did/rdsk/d6 7 web-db2:/dev/rdsk/c0t0d0 /dev/did/rdsk/d7 8 web-db2:/dev/rdsk/c1t0d0 /dev/did/rdsk/d8

36、 9 web-db2:/dev/rdsk/c1t1d0 /dev/did/rdsk/d9 2)在節(jié)點1，執(zhí)行命令scsetup指定d6作為quorum disk盤Is it okay to continue (yes/no) yes? yesWhich global device do you want to use (d)? D6Is it okay to proceed with the update (yes/no) yes? yesDo you want to add another quorum disk (yes/no)? no注：（查詢磁盤號d6的容量1024M，作為我們先前設(shè)定

37、的quorum disk）Is it okay to reset “installmode” (yes/no) yes? yes8 。加入所有私網(wǎng)IP地址到/etc/hosts, 可以通過如下方式獲取私網(wǎng)IP地址 # grep ip_address /etc/cluster/ccr/infrastructure每個IP地址必須指定唯一的主機(jī)名，建議如下命名：rootweb-db1 # grep ip_address /etc/cluster/ccr/infrastructureperties.ip_address 29perties.ip_address perties.ip_address

38、30perties.ip_address 四.磁盤資源配置1.在所有節(jié)點上修改文件/kernel/drv/md.conf，修改nmd的值為：max: nmd=1024注：（在Solaris 10 版本中，Solaris Volume Manager 的功能已得到增強(qiáng)，它可以動態(tài)配置卷。不再需要編輯/kernel/drv/md.conf 文件中的nmd 和md_nsets 參數(shù)。根據(jù)需要動態(tài)創(chuàng)建新卷。）2. 重啟所有節(jié)點重新識別設(shè)備：scshutdown ; boot -r3 .在所有節(jié)點運(yùn)行命令：scgdevs第二塊硬盤同步第一塊的磁盤分區(qū)信息注：（在安裝solaris 時本地第二塊硬盤可不分

39、區(qū)）prtvtoc /dev/rdsk/c1t0d0s2 | fmthard -s - /dev/rdsk/c1t1d0s2創(chuàng)建轉(zhuǎn)臺數(shù)據(jù)庫副本，至少要有3個狀態(tài)數(shù)據(jù)庫副本metadb a f -c 3 c1t0d0s7metadb a f -c 3 c1t1d0s74.在主節(jié)點上鏡像本地硬盤： metainit f d101 1 1 c1t0d0s0metainit d102 1 1 c1t1d0s0metainit d100 m d101metainit f d104 1 1 c1t0d0s1metainit d105 1 1 c1t1d0s1metainit d103 m d104meta

40、init f d107 1 1 c1t0d0s3metainit d108 1 1 c1t1d0s3metainit d106 m d107metainit f d110 1 1 c1t0d0s4metainit d111 1 1 c1t1d0s4metainit d109 m d110metainit f d113 1 1 c1t0d0s5metainit d114 1 1 c1t1d0s5metainit d112 m d113metaroot d100注 （在這里我們創(chuàng)建本地兩塊磁盤的RAID1卷，分別是d100,d103,d106,d109,d112,其中d100為根盤的鏡像卷，本地m

41、etadevice的設(shè)備號用100以上的，切在做另一個節(jié)點是設(shè)備好不能與此重復(fù)）5.修改文件/etc/vfstab中對應(yīng)的記錄：rootweb-db1 # cat /etc/vfstab#device device mount FS fsck mount mount#to mount to fsck point type pass at boot options# fd - /dev/fd fd - no -/proc - /proc proc - no -/dev/md/dsk/d103 - - swap - no -/dev/md/dsk/d100 /dev/md/rdsk/d100 /

42、ufs 1 no -/dev/md/dsk/d106 /dev/md/rdsk/d106 /var ufs 1 no -#/dev/dsk/c1t0d0s5 /dev/rdsk/c1t0d0s5 /globaldevices ufs 2 yes -/dev/md/dsk/d109 /dev/md/rdsk/d109 /tmp ufs 2 yes -/devices - /devices devfs - no -ctfs - /system/contract ctfs - no -objfs - /system/object objfs - no -/dev/md/dsk/d112 /dev/m

43、d/rdsk/d112 /global/.devices/node1 ufs 2 no global6.sync ; init 07.在OK狀態(tài)，設(shè)置引導(dǎo)順序OK devaliasOk Nvalias diskmirr /pci9,600000/SUNW,qlc2/fp0,0/ssdw5000cca00432dce1,0:aOk nvstoreOk setenv boot-device disk diskmirr net8. 重啟后，使鏡像掛上卷metattach d100 d102metattach d103 d105metattach d106 d108metattach d109 d11

44、1metattach d112 d1149.在備節(jié)點上鏡像本地硬盤metainit f d201 1 1 c1t0d0s0metainit d202 1 1 c1t1d0s0metainit d200 m d201metainit f d204 1 1 c1t0d0s1metainit d205 1 1 c1t1d0s1metainit d203 m d204metainit f d207 1 1 c1t0d0s3metainit d208 1 1 c1t1d0s3metainit d206 m d207metainit f d110 1 1 c1t0d0s4metainit d111 1 1

45、 c1t1d0s4metainit d209 m d210metainit f d113 1 1 c1t0d0s5metainit d214 1 1 c1t1d0s5metainit d212 m d213metaroot d200注：（本地metadevice的設(shè)備號用200以上的，并不要和主節(jié)點的metadevice重復(fù)，在這里我們創(chuàng)建本地兩塊磁盤的RAID1卷，分別是d200,d203,d206,d209,d212,其中d200為根盤的鏡像卷，）10.修改文件/etc/vfstab中對應(yīng)的記錄：rootweb-db2 # cat /etc/vfstab#device device mou

46、nt FS fsck mount mount#to mount to fsck point type pass at boot options# fd - /dev/fd fd - no -/proc - /proc proc - no -/dev/md/dsk/d203 - - swap - no -/dev/md/dsk/d200 /dev/md/rdsk/d200 / ufs 1 no -/dev/md/dsk/d206 /dev/md/rdsk/d206 /var ufs 1 no -#/dev/dsk/c1t0d0s5 /dev/rdsk/c1t0d0s5 /globaldevice

47、s ufs 2 yes -/dev/md/dsk/d209 /dev/md/rdsk/d209 /tmp ufs 2 yes -/devices - /devices devfs - no -ctfs - /system/contract ctfs - no -objfs - /system/object objfs - no -/dev/md/dsk/d212 /dev/md/rdsk/d212 /global/.devices/node2 ufs 2 no global11.sync ; init 012.在OK下：setenv boot-device rootdisk rootmirr，

48、然后重啟metattach d200 d202metattach d203 d205metattach d206 d208metattach d209 d211metattach d212 d21413.在所有節(jié)點上添加如下一行到文件/etc/system里：set md:mirrored_root_flag=1 查看metadb庫信息 rootweb-db1 # metadb flags first blk block count a m p luo 16 8192 /dev/dsk/c1t0d0s7 a p luo 8208 8192 /dev/dsk/c1t0d0s7 a p luo 1

49、6400 8192 /dev/dsk/c1t0d0s7 a p luo 16 8192 /dev/dsk/c1t1d0s7 a p luo 8208 8192 /dev/dsk/c1t1d0s7 a p luo 16400 8192 /dev/dsk/c1t1d0s7rootweb-db2 # metadb flags first blk block count a m p luo 16 8192 /dev/dsk/c1t0d0s7 a p luo 8208 8192 /dev/dsk/c1t0d0s7 a p luo 16400 8192 /dev/dsk/c1t0d0s7 a p luo

50、16 8192 /dev/dsk/c1t1d0s7 a p luo 8208 8192 /dev/dsk/c1t1d0s7 a p luo 16400 8192 /dev/dsk/c1t1d0s714.在第一個節(jié)點上，用did設(shè)備建立共享硬盤組和meta設(shè)備：1)創(chuàng)建磁盤集ora_datametaset-sora_data -a -h web-db1 web-db2注：（關(guān)于不能使用-M項，-M是用來創(chuàng)建多屬主主機(jī)磁盤的，就是在同一時間兩節(jié)點都可以對磁盤集有讀寫的權(quán)限，這是sun cluster for ORACLE RAC的東西，要滿足一定要件才能創(chuàng)建成功）metaset: 只允許在多屬主磁

51、盤集上使用 -M 選項用法: metaset -s 集名稱 -a -A enable | disable -h 主機(jī)名. metaset -s 集名稱 -a -M -h 主機(jī)名. metaset -s 集名稱 -a -M -l 長度 -L 驅(qū)動器名稱. metaset -s 集名稱 -d -M -h 主機(jī)名. metaset -s 集名稱 -d -M -f -h 所有主機(jī)名 metaset -s 集名稱 -d -M -f 驅(qū)動器名稱. metaset -s 集名稱 -d -M -f 主機(jī)名. metaset -s 集名稱 -A enable | disable metaset -s 集名稱 -

52、t -f metaset -s 集名稱 -r metaset -s 集名稱 -j -M metaset -s 集名稱 -w -M metaset -s 集名稱 -P -M metaset -s 集名稱 -b -M metaset -s 集名稱 -o -M -h 主機(jī)名 metaset -s 集名稱 主機(jī)名 = /etc/nodename 的內(nèi)容 驅(qū)動器名稱 = cNtNdN 無盤片 -M 對于多屬主集是可選的，但在創(chuàng)建集時例外2).將共享磁盤d4，d5 添加到磁盤集ora_data中metaset s ora_data a /dev/did/rdsk/d4s0metaset s ora_dat

53、a a /dev/did/rdsk/d5s0注：（did設(shè)備只映射2個有意義的slice，slice0和7，s7只有8m放一個metadb，s0代表全部可用空）3) 查看磁盤集ora_data屬性 rootweb-db1 # metaset -s ora_data設(shè)置名稱 = ora_data, 設(shè)置數(shù)量 = 1主機(jī) 屬主 web-db1 是 web-db2 驅(qū)動 Dbased4 是 d5 是 創(chuàng)建磁盤集在任意一個節(jié)點操作即可注:(關(guān)于磁盤集屬主的問題，在哪臺機(jī)器上創(chuàng)建先創(chuàng)建了磁盤集那個節(jié)點就默認(rèn)為磁盤集的數(shù)組，在實施中如果還未對cluster配置資源，會發(fā)生節(jié)點不能對磁盤集設(shè)置和寫入的問題，

54、可以用命令在需要切換的節(jié)點上運(yùn)行命令metaset s ora_data t 進(jìn)行切換)4)查看sun cluster中磁盤集ora_data狀態(tài)rootweb-db1 #scstat p - Device Group Servers - Device Group Primary Secondary Device group servers: ora_data dbserver1 dbserver2- Device Group Status - Device Group Status Device group status: ora_data Online5）初始化d5、d6為metadevi

55、cesmetainit -s oracle-data d50 1 1 /dev/did/dsk/d5metainit -s oracle-data d60 1 1 /dev/did/dsk/d6五.ORACLE數(shù)據(jù)庫的規(guī)劃以及安裝1.在web-db1上安裝ORACLE（見附錄1。ORACLE安裝文檔）注：(只在web-db1上操作，安裝過程中不進(jìn)行數(shù)據(jù)庫的創(chuàng)建)2.創(chuàng)建數(shù)據(jù)庫并應(yīng)用oracle 裸設(shè)備 1）創(chuàng)建oracle 裸設(shè)備的配置文件，并加入環(huán)境變量 （兩節(jié)點同時做）DBCA_RAW_CONFIG=/opt/oracle/raw.txtExport DBCA_RAW_CONFIG以下為編

56、輯/opt/oracle/raw.txt內(nèi)容cwmlite = /opt/oracle/oradata/fzpu/cwmlite01.dbfdrsys = /opt/oracle/oradata/fzpu/drsys01.dbffict_data = /opt/oracle/oradata/fzpu/fict_data.dbffqct_data = /opt/oracle/oradata/fzpu/fqct_data.dbffzpu = /opt/oracle/oradata/fzpu/fzpu.dbfindx = /opt/oracle/oradata/fzpu/indx01.dbfkgwl

57、 = /opt/oracle/oradata/fzpu/kgwl.dbfrbs_ts = /opt/oracle/oradata/fzpu/usr_rbs01.dbfsystem = /opt/oracle/oradata/fzpu/system01.dbftemp = /opt/oracle/oradata/fzpu/temp01.dbftools = /opt/oracle/oradata/fzpu/tools01.dbfundotbs1 = /opt/oracle/oradata/fzpu/undotbs01.dbfusers = /opt/oracle/oradata/fzpu/use

58、rs01.dbfuser_idx = /opt/oracle/oradata/fzpu/user_idx.dbfusr_rbs = /opt/oracle/oradata/fzpu/usr_rbs.dbfredo1_1 = /opt/oracle/oradata/fzpu/redo01.logredo1_2 = /opt/oracle/oradata/fzpu/redo02.logredo1_3 = /opt/oracle/oradata/fzpu/redo03.logcontrol1 = /opt/oracle/oradata/fzpu/control01.ctlcontrol2 = /op

59、t/oracle/oradata/fzpu/control02.ctlcontrol3 = /opt/oracle/oradata/fzpu/control03.ctl注：（一共有14個數(shù)據(jù)文件，3個控制文件，3個redo_log）2）規(guī)劃oracle的安裝設(shè)備一共有14個數(shù)據(jù)文件，3個控制文件，3個redo_log根據(jù)應(yīng)用需要建立軟分區(qū)d401-d420，做為orcle的裸設(shè)備，d421做為存放歸檔日志metainit -s ora_data d401 -p d40 20mmetainit -s ora_data d402 -p d40 20mmetainit -s ora_data d40

60、3 -p d40 30Gmetainit -s ora_data d404 -p d40 30Gmetainit -s ora_data d405 -p d40 500mmetainit -s ora_data d406 -p d40 25mmetainit -s ora_data d407 -p d40 500mmetainit -s ora_data d408 -p d40 4Gmetainit -s ora_data d409 -p d40 1Gmetainit -s ora_data d410 -p d40 10Gmetainit -s ora_data d411 -p d40 10m