關(guān)于FZPU雙機安裝文檔(doc 45頁).doc

FZPU雙機安裝文檔 (Solaris 10 + Oracle 9i + SVM + Sun Cluster 3.1)文檔版本：RC V1.0 編寫作者 ：Fzpu 印刷約定 藍(lán)色代表系統(tǒng)show run內(nèi)容 紅色代表注釋參考資料:Sun Cluster 3.1 8/05 發(fā)行說明（適用于 Solaris OS）Sun Cluster 軟件安裝指南（適用于 Solaris OS）Sun Cluster 系統(tǒng)管理指南（適用于 Solaris OS） 用于 Oracle 的 Sun Cluster 數(shù)據(jù)服務(wù)指南（適用于 Solaris OS）SolarisVolume Manager 管理指南Sun StorageTekCommon Array Manager 軟件安裝指南Sun StorageTek 6140 陣列硬件安裝指南日 期：2008.11.1硬件環(huán)境：1） 管理工作站：無2） 服務(wù)器：2SUN V4903） 磁盤陣列：SUN Stortek 6140軟件環(huán)境：1） Solaris 102） Sun Cluster 3.13） SunCluster agent for HA-Oracle4） Solaris Volume Manager主機命名規(guī)則：服務(wù)器：第一臺V490：web-db1 ；第二臺V490：web-db2Sun cluster + oracle 安裝規(guī)劃（如表K-1所示）： 表K-1操作系統(tǒng) Sun Solaris 10 05/08集群軟件 Sun Cluster 3.1卷管理軟件Solaris Volume Manager數(shù)據(jù)庫軟件 Oracle 節(jié)點1 節(jié)點2 浮動IP地址 6子網(wǎng)掩碼網(wǎng)關(guān) 54IPMP測試IP地址 1 web-db1-ce0-test 2 web-db1-ce1-test 3 web-db2-ce0-test 4 web-db2-ce1-test節(jié)點1對應(yīng)的主機名web-db1節(jié)點2對應(yīng)的主機名web-db2Cluster名稱fzpu-cluster系統(tǒng)用戶oracle (dba組)浮動IP對應(yīng)的主機名web-db一 服務(wù)器V490的安裝： 1.安裝前的規(guī)劃每臺服務(wù)器配有兩個146G的硬盤做raid1，其中web-db1 有16G內(nèi)存做主節(jié)點, web-db2有8G內(nèi)存。系統(tǒng)安裝好之后，兩個節(jié)點的分區(qū)一致，避免出現(xiàn)不可預(yù)料的情況。按圖 1的連接方式，使web-db1和web-db2同時連接6140，確保兩臺主機都能找到Stortek 6140內(nèi)的硬盤。圖1:2.操作系統(tǒng)安裝 1） 操作系統(tǒng)：Solaris 10注意：在安裝操作系統(tǒng)的過程中千萬要注意兩臺主機都不要接存儲，不然的話兩臺主機的系統(tǒng)盤和Stortek 6140的Target 號會不一致，會對以后的安裝產(chǎn)生影響。2） 安裝操作系統(tǒng)EIS補丁詳細(xì)步驟3) 按照以下的規(guī)劃安裝操作系統(tǒng)web-db1與web-db2相同(表K-2)：由于要安裝SC3.1+svm，請預(yù)留系統(tǒng)盤的第5分區(qū)空間1G，用來建立/globaldevices，第七分區(qū)空間512MB用來放置metadb信息 注：/globaldevices - 創(chuàng)建一個512 兆字節(jié)的文件系統(tǒng)供scinstall實用程序針對全局設(shè)備使用。（分片7）meta分區(qū)用于存放卷管理器的狀態(tài)數(shù)據(jù)庫副本在磁盤的最后一個分片上創(chuàng)建一個20 兆字節(jié)的分區(qū)供卷管理器使用。如果群集使用VERITAS Volume Manager (VxVM)并且您要封裝根磁盤，則需要有兩個未使用的盤片以供VxVM 使用。表K-2分區(qū)號 分區(qū)名分區(qū)大小 說明 0 / 91325 MB為分片1 至7 分配空間后磁盤中剩余的空閑空間。可供SolarisOS、Sun Cluster 軟件、數(shù)據(jù)服務(wù)軟件、卷管理器軟件、SunManagement Center 代理和Sun Cluster 模塊代理軟件包、根文件系統(tǒng)以及數(shù)據(jù)庫和應(yīng)用程序軟件使用。 1 Swap 16G 2 Overlap139989 MB整個磁盤 3/var 20G 4/tmp10G 5/globaldevices1GBSun Cluster 軟件稍后會給該盤片指定一個不同的裝載點并將它裝載為一個群集文件系統(tǒng)。 6未使用 7卷管理器512MBmetadb 專用文件系統(tǒng)和磁盤格式 下列匯總是你當(dāng)前的文件系統(tǒng)和磁盤格式, 基于你所提供的信息. 注意: 如果你選擇用戶化, 則你應(yīng)該了解文件系統(tǒng), 它們在磁盤上的期望目的以及如何改變它們可能會影響系統(tǒng)的操作. 文件系統(tǒng)/安裝點 硬盤/分片 大小 = / c1t1d0s0 91325 MB swap c1t1d0s1 16386 MB overlap c1t1d0s2 139989 MB /var c1t1d0s3 20481 MB /tmp c1t1d0s4 10245 MB /globaldevices c1t1d0s5 1033 MB c1t1d0s7 516 MB 4) 設(shè)置OBP變量local-mac-address為true，在OBP下：setenvlocal-mac-address? true或在Solaris下：eeprom local-mac-address?=true注：（此選項為solaris 多路徑必須滿足的條件，local-mac-address? 變量必須使用Ethernet 適配器的默認(rèn)值true。對于以太網(wǎng)適配器，Sun Cluster 軟件不支持local-mac-address? 的值為false。此要求與Sun Cluster 3.0 不同，Sun Cluster 3.0 要求local-mac-address? 的值為false。）5) 配置/etc/hosts，輸入所有cluster節(jié)點和邏輯主機IP記錄：在兩臺主機上配置好IPMP連接兩條ce口私網(wǎng)線 配置IPMPweb-db1的/etc/hosts信息# Internet host table#:1 localhost localhost web-db1 loghost web-db2#IPMP test address1 web-db1-ce0-test2 web-db1-ce1-test#logic address6 web-db (全局邏輯地址)web-db1 的/etc/hostname.ce0信息web-db1 netmask + broadcast + group ipmp0 up addif web-db1-ce0-test netmask + broadcast + deprecated -failover upweb-db1 的/etc/hostname.ce1信息web-db1-ce1-test netmask + broadcast + group ipmp0 deprecated -failover upweb-db2的/etc/hosts信息rootweb-db2 # cat /etc/hosts# Internet host table#:1 localhost localhost web-db2 loghost web-db1#IPMP test address3 web-db2-ce0-test4 web-db2-ce1-test#logic address6 web-db (全局邏輯地址)web-db2的/etc/hostname.ce0信息web-db2 netmask + broadcast + group ipmp0 up addif web-db2-ce0-test netmask + broadcast + deprecated -failover upweb-db2的/etc/hostname.ce1信息web-db2-ce1-test netmask + broadcast + group ipmp0 deprecated -failover up以下在兩機上完成6) 修改文件/etc/defaultrouter，設(shè)置缺省路由vi /etc/defaultrouter 547) 修改文件/etc/system，加入以下3行：exclude: lofsset ce:ce_taskq_disable=1 二Stortek 6140安裝識別.1配置StorEdge 6140：詳細(xì)配置注：StorEdge 6140共有10塊146GFC硬盤，其中8個硬盤做RAID5，剩下的2個做hot spare盤。由于sun cluster需要一個quorum盤， Oracle需使用raw做文件系統(tǒng)，所以劃分了三個partion。Quorum分區(qū)1024MB即可。讓系統(tǒng)重新掃描硬件設(shè)備rootweb-db1 # reboot - -r 運行cfgadmal可以看見系統(tǒng)已經(jīng)注冊了控制器，只需啟用多路徑mpxio即可。 rootweb-db1 # cfgadm -alAp_Id Type Receptacle Occupant Conditionc0 scsi-bus connected configured unknownc0:dsk/c0t0d0 CD-ROM connected configured unknownc1 fc-private connected configured unknownc1:5000cca00432dcc9 disk connected configured unknownc1:5000cca00432dce1 disk connected configured unknownc2 fc-private connected configured unknownc2:200400a0b82aaf01 disk connected configured unknownc3 fc-private connected configured unknownc3:200500a0b82aaf01 disk connected configured unknownusb0/1 usb-mouse connected configured okusb0/2 usb-device connected configured okusb0/3 unknown empty unconfigured okusb0/4 unknown empty unconfigured okrootweb-db1 # ls -l /dev/fc總數(shù) 6lrwxrwxrwx 1 root root 51 12月 1日 12:55 fp0 - ././devices/pci8,600000/SUNW,qlc1/fp0,0:devctllrwxrwxrwx 1 root root 51 12月 1日 12:55 fp1 - ././devices/pci8,600000/SUNW,qlc2/fp0,0:devctllrwxrwxrwx 1 root root 51 12月 1日 12:55 fp2 - ././devices/pci9,600000/SUNW,qlc2/fp0,0:devctl注：（fp0,fp1為HBA卡上的光纖通道,fp2為本地的光線通道fp0,fp1開啟多路徑，fp2關(guān)閉多路徑）rootweb-db1#vi /kernel/drv/fp.conf 添加如下語句。注釋掉 #mpxio-disable=yes; parent=/pci8,600000/SUNW,qlc1 port=0 mpxio-disable=no; name=fp parent=/pci8,600000/SUNW,qlc2 port=0 mpxio-disable=no; name=fp/ fp0,fp1開啟多路徑parent=/pci9,600000/SUNW,qlc2 port=0 mpxio-disable=yes; name=fp/ fp2關(guān)閉多路徑注:（多路徑軟件用于管理指向共享群集存儲設(shè)備的多個I/O 路徑。對于Solaris 8 或Solaris 9 操作系統(tǒng)，安裝并配置Sun StorEdge Traffic Manager 軟對于Solaris 10 操作系統(tǒng)，啟用Solaris 多路徑功能，此功能作為Solaris 10 軟件的一部分已被默認(rèn)安裝。以上表明在HBA卡FC接口上啟用mpxio，而不是全局啟用。這樣正常陣列設(shè)備識別的磁盤號就為長串字符，而本地磁盤識別的磁盤號為正常的cxtxsx，因為只是在FC口局部啟用的多路徑，而本地禁用多路徑）rootweb-db1# stmsboot u WARNING: This operation will require a reboot.Do you want to continue ? y/n (default: y) yThe changes will come into effect after rebooting the system.Reboot the system now ? y/n (default: y) y在web-server2上執(zhí)行相同的步驟可以看見盤陣已經(jīng)變成multipath-devicesrootweb-db1 # formatSearching for disks.doneAVAILABLE DISK SELECTIONS: 0. c1t0d0 /pci9,600000/SUNW,qlc2/fp0,0/ssdw5000cca00432dcc9,0 1. c1t1d0 /pci9,600000/SUNW,qlc2/fp0,0/ssdw5000cca00432dce1,0 2. c4t600A0B80002A2B320000066F492B138Dd0 /scsi_vhci/ssdg600a0b80002a2b320000066f492b138d 3. c4t600A0B80002AAF00000007BF492B135Cd0 /scsi_vhci/ssdg600a0b80002aaf00000007bf492b135c 4. c4t600A0B80002AAF00000007C5492B13D6d0 /scsi_vhci/ssdg600a0b80002aaf00000007c5492b13d6Specify disk (enter its number):rootweb-db2 # formatSearching for disks.doneAVAILABLE DISK SELECTIONS: 0. c1t0d0 /pci9,600000/SUNW,qlc2/fp0,0/ssdw21000000878d59a1,0 1. c1t1d0 /pci9,600000/SUNW,qlc2/fp0,0/ssdw21000000878d0ef5,0 2. c4t600A0B80002A2B320000066F492B138Dd0 /scsi_vhci/ssdg600a0b80002a2b320000066f492b138d 3. c4t600A0B80002AAF00000007BF492B135Cd0 /scsi_vhci/ssdg600a0b80002aaf00000007bf492b135c 4. c4t600A0B80002AAF00000007C5492B13D6d0 /scsi_vhci/ssdg600a0b80002aaf00000007c5492b13d6三Cluster 軟件安裝配置1.Sun軟件的安裝雙機軟件采用sun公司的sun cluster3.1 ，此軟件已經(jīng)集成到JES（Java Enterprise System）軟件包中。cd /var/spool/stage/JES_05Q4/Solaris_sparc可通過運行以下命令進行安裝：GUI mode:./installerCLI mode:./installer -nodisplay2. Sun Cluster環(huán)境配置兩個節(jié)點通訊用rootweb-db1 # vi .rhosts +rootweb-db1 # vi /etc/hosts.equivweb-db1web-db2web-db 3，打EIS補丁軟件安裝完畢之后，也需要打補丁。不過sun cluster安裝完畢之后，系統(tǒng)默認(rèn)已經(jīng)啟動服務(wù)，安裝補丁之前需停用sun cluster服務(wù)。（兩個節(jié)點上做）安裝完畢后，執(zhí)行reboot - -x 重啟之后不進入sun cluster環(huán)境安裝SC3.1的patches；rootweb-db1 # lofiadm -a /opt/iso/eis-dvd.iso /dev/lofi/1rootweb-db1 # lofiadm Block Device File/dev/lofi/1 /opt/iso/eis-dvd.isorootweb-db1 # mount -F /dev/lofi/1 /mnt/iso/rootweb-db1 # mount -F hsfs /dev/lofi/1 /mnt/iso/rootweb-db1 # cd /mnt/iso/sun/installrootweb-db1 # ./setup-standard.shinit 6 重啟系統(tǒng)。rootweb-db1 # unpack-patches注：（進入cluster補丁包的目錄，用這個命令一次打EIS補丁集）然后執(zhí)行命令 init 6 重啟系統(tǒng)。在web-db2上執(zhí)行以上相同的步驟4.Scintall 配置配置主節(jié)點web-db1 具體內(nèi)容摘錄:rootweb-db1 # scinstall * 主菜單 * 請選擇以下某一帶 (*) 的選項： * 1) 安裝群集或群集節(jié)點 2) 將群集配置為從此安裝服務(wù)器中快速啟動 3) 在此群集節(jié)點中添加對新數(shù)據(jù)服務(wù)的支持 4) 升級此群集節(jié)點 5) 打印此群集節(jié)點的發(fā)行信息 * ?) 菜單選項中的幫助 * q) 退出 選項： 1 * 安裝菜單 * 請選擇以下任一選項： 1) 安裝新群集的所有節(jié)點 2) 只將此機器安裝為新群集的第一個節(jié)點 3) 將此機器添加為現(xiàn)有群集中的節(jié)點 ?) 菜單選項中的幫助 q) 返回主菜單 選項： 2 * 只安裝新群集的第一個節(jié)點 * 此選項用于建立新的群集，該群集使用此機器作為其第一個節(jié)點。 安裝群集框架軟件之后，系統(tǒng)將要求您輸入群集的名稱。 然后，您可以運行 sccheck(1M) 來測試此機器是否滿足 Sun Cluster 預(yù)配置的基本要求。 sccheck(1M) 通過后，系統(tǒng)將要求您輸入最初將加入該群集的其他節(jié)點的名稱 。除非此群集為單節(jié)點群集，否則系統(tǒng)還將要求您輸入某些群集傳輸配置信息 。 可以隨時按 Control-d 組合鍵返回 主菜單。 是否要繼續(xù) (yes/no) yes? y 安裝類型 群集名 檢查 群集節(jié)點 群集節(jié)點 Type of Installation Autodiscovery of Cluster Transport Do you want to use autodiscovery (yes/no) yes?y9) Do you want scinstall to reboot for you (yes/no) yes? y 5.執(zhí)行命令 scstat p 檢查確認(rèn)所有cluster節(jié)點都處于online狀態(tài)；具體內(nèi)容摘錄:rootweb-db1 # scstat -p- Cluster Nodes - Node name Status - - Cluster node: web-db1 Online Cluster node: web-db2 Online- Cluster Transport Paths - Endpoint Endpoint Status - - - Transport path: web-db1:ce1 WEB-DB2:ce1 Path online Transport path: web-db1:ce0 WEB-DB2:ce0 Path online- Quorum Summary - Quorum votes possible: 1 Quorum votes needed: 1 Quorum votes present: 1- Quorum Votes by Node - Node Name Present Possible Status - - - - Node votes: web-db1 1 1 Online Node votes: web-db2 0 0 Online- Quorum Votes by Device - Device Name Present Possible Status - - - - Device Group Servers - Device Group Primary Secondary - - - Device Group Status - Device Group Status - - - Multi-owner Device Groups - Device Group Online Status - - IPMP Groups - Node Name Group Status Adapter Status - - - - - IPMP Group: web-db1 ipmp0 Online ce3 Online IPMP Group: web-db1 ipmp0 Online ce2 Online-6重新檢測所有的節(jié)點上配置IPMP 是否配好rootweb-db1 # ifconfig -alo0: flags=2001000849 mtu 8232 index 1 inet netmask ff000000 ce0: flags=1000843 mtu 1500 index 2 inet netmask ffffff00 broadcast 55 groupname ipmp0 ether 0:14:4f:44:55:ca ce0:1: flags=9040843 mtu 1500 index 2 inet 1 netmask ffffff00 broadcast 55ce1: flags=9040843 mtu 1500 index 3 inet 2 netmask ffffff00 broadcast 55 groupname ipmp0 ether 0:14:4f:67:3c:92 ce1:1: flags=1040843 mtu 1500 index 3 inet 6 netmask ffffff00 broadcast 55ce2: flags=1008843 mtu 1500 index 5 inet 29 netmask ffffff80 broadcast 55 ether 0:14:4f:85:e6:37 ce3: flags=1008843 mtu 1500 index 4 inet netmask ffffff80 broadcast 27 ether 0:14:4f:85:e6:36 clprivnet0: flags=1009843 mtu 1500 index 6 inet netmask ffffff00 broadcast 55 ether 0:0:0:0:0:17.設(shè)置quorum disk盤1） 在所有節(jié)點執(zhí)行命令scdidadm L 查看硬盤ID，選擇兩Cluster節(jié)點主機都能看到的硬盤ID；具體內(nèi)容摘錄:查看共享磁盤設(shè)備(se 6140)的全局設(shè)備號（did）。D4 為quorum盤、d5，D6 為RAW設(shè)備。D7為備用rootweb-db1 # scdidadm -L1 web-db1:/dev/rdsk/c0t0d0 /dev/did/rdsk/d1 2 web-db1:/dev/rdsk/c1t1d0 /dev/did/rdsk/d2 3 web-db1:/dev/rdsk/c1t0d0 /dev/did/rdsk/d3 4 web-db1:/dev/rdsk/c4t600A0B80002AAF00000007C5492B13D6d0 /dev/did/rdsk/d4 4 web-db2:/dev/rdsk/c4t600A0B80002AAF00000007C5492B13D6d0 /dev/did/rdsk/d4 5 web-db1:/dev/rdsk/c4t600A0B80002A2B32000