多種虛擬機環(huán)境下安裝Oracle11gRAC.docx

多種虛擬機環(huán)境下安裝Oracle11g RAC2016年8月17日目 錄1、安全環(huán)境與網絡規(guī)劃51.1、安裝環(huán)境51.2、網絡規(guī)劃51.3、Oracle軟件組51.4、RAC節(jié)點51.5、存儲組件62、創(chuàng)建虛擬機62.1、VMware vSphere62.2、VMware Workstation162.3、Virtual BOX223、安裝系統(tǒng)263.1、安裝系統(tǒng)(兩節(jié)點)263.2、配置網絡(兩節(jié)點)313.3、刪除自動生成的虛擬網卡(兩節(jié)點)333.4、測試網絡(兩節(jié)點)344、添加共享存儲344.1、VMware vSphere344.1.1、配置rac1節(jié)點344.2.2、配置rac2節(jié)點384.2、VMware Workstation414.2.1、物理機中添加共享磁盤414.2.2、關閉節(jié)點，用記事本編輯vmx文件，例如：rac1.vmx(兩節(jié)點)414.3、Virtual BOX424.3.1、配置rac1節(jié)點424.3.2、配置rac2節(jié)點475、實現(xiàn)共享存儲475.1、劃分共享磁盤(單節(jié)點)475.2、配置ASM磁盤(兩節(jié)點)496、配置Linux系統(tǒng)506.1、用戶組及用戶設置(兩節(jié)點，root用戶)506.1.1、創(chuàng)建Oracle軟件組506.1.2、創(chuàng)建grid、oracle用戶506.1.3、為grid、oracle用戶設置密碼506.2、主機名IP映射文件設置(兩節(jié)點)516.3、配置Linux內核參數(shù)(兩節(jié)點)516.4、設置grid、oracle用戶設置shell limits(兩節(jié)點)526.5、創(chuàng)建Oracle Inventory Directory(兩節(jié)點)536.6、創(chuàng)建Oracle Grid Infrastructure Home目錄(兩節(jié)點)536.7、創(chuàng)建Oracle RDBMS Home目錄(兩節(jié)點)536.8、安裝相應系統(tǒng)支持包(兩節(jié)點64&32bit)536.9、修改grid、oracle用戶環(huán)境變量(兩節(jié)點)547、關閉防火墻557.1、設置SELinux(兩節(jié)點)557.2、關閉防火墻iptables(兩節(jié)點)558、設置grid、oracle用戶ssh等效性569、時鐘同步579.1、使用Linux系統(tǒng)的NTP服務同步時鐘(兩節(jié)點)579.2、使用oracle集群軟件ctss服務同步時鐘(兩節(jié)點)5810、安裝前準備5811、安裝Oracle Grid Infrastructure5911.1、安裝流程5911.2、安裝后檢查7311.3、配置ASM磁盤組7412、安裝Oracle DataBase7712.1、安裝流程7712.2、安裝數(shù)據(jù)庫8613、Oracle RAC維護9613.1、節(jié)點層9613.2、網絡層9613.2.1、列出CRS網卡9613.2.2、獲取CRS網卡信息9613.3、集群層9713.3.1、檢查CRS狀態(tài)9713.3.2、檢查CRS 單個服務9713.3.3、檢查CRS是否自動啟動（root用戶）9713.3.4、啟動、停止、查看CRS（root用戶）9713.3.5、查看Votedisk磁盤位置9713.3.6、維護Votedisk9713.3.7、查看OCR狀態(tài)9813.3.8、維護OCR9813.4、應用層10013.4.1、查看CRS狀態(tài)10013.4.2、onsctl命令10013.4.3、srvctl命令10114、附錄：10214.1、CRS名詞解釋：10214.1.1、CRS一些服務作用10214.1.2、Oracle Cluster Registry(OCR)10214.1.3、Votedisk10214.1.4、Admin Managed和Policy Managed10214.1.5、Grid Name Service(GNS)10314.1.6、Intelligent Management Platform Interface(IPMI)10314.2、安裝問題10314.2.1、安裝界面亂碼10314.2.2、xhost +報錯10314.2.3、網卡名稱與MAC地址不能對應10414.2.4、Linux6.*yum安裝報錯10414.2.5、11g支持Linux系統(tǒng)列表10414.2.6、udev配置RAC ASM的幾種方式10414.2.7、Oracle11.2.0.1問題1051、安全環(huán)境與網絡規(guī)劃1.1、安裝環(huán)境RAC節(jié)點操作系統(tǒng)：Linux 6.4 x86_64Cluster software：Oracle Grid Infrastructure 11gr2(11.2.0.4)Oracle Database software：Oracle11gr2(11.2.0.4)共享存儲：ASM1.2、網絡規(guī)劃節(jié)點名稱Public IPPrivate IPVirtual IPSCAN 名稱SCAN IPrac1192.168.2.2311.1.6.231192.168.2.233rac-scan192.168.2.235rac2192.168.2.2321.1.6.232192.168.2.234注意：Oracle11g新增SCAN-IP，為VIP的一個池概念1.3、Oracle軟件組軟件組件用戶輔助組用戶主目錄ORACLE_BASEORACLE_HOMEGrid Infrastructuregridasmadminasmdbaasmoper/home/grid/u01/app/grid/crs/u01/app/11.2.0/gridOracle RACoracledbadbaoperasmdba/home/oracle/u01/app/oracle/u01/app/oracle/11.2.0/db_11.4、RAC節(jié)點節(jié)點名稱實例名稱數(shù)據(jù)庫名稱內存操作系統(tǒng)rac1rac1rac8GLinux 6.4 x86_64rac2rac28GLinux 6.4 x86_641.5、存儲組件存儲組件文件系統(tǒng)卷大小ASM卷組名ASM冗余磁盤名OCR、VOTING DiskASM5GCRSExternalOCR_VOTE數(shù)據(jù)庫20GDATAExternalASMDATA快速恢復區(qū)5GFRAExternalBACKUP2、創(chuàng)建虛擬機2.1、VMware vSphere以administrator用戶登錄虛擬化主機：對主機右鍵點擊“新建虛擬機”選擇自定義配置，下一步給虛擬機命名 rac1，下一步選擇虛擬機存放位置，下一步選擇虛擬機文件存放位置(盡量放于共享存儲上，空間大且防止數(shù)據(jù)丟失)，下一步選擇高版本，下一步選擇操作系統(tǒng)為Linux，版本為Red Hat Enterprise Linux 6(64位)，下一步配置CPU、內存，下一步選擇網卡，配置兩塊網卡，一塊作為Public，另一塊作為Private，下一步選擇SCSI驅動器類型：LSI Logic并行，下一步選擇創(chuàng)建新磁盤，下一步配置磁盤大小，下一步上述三個選項的解釋：選擇虛擬設備節(jié)點，默認為SCSI(0:0)，選擇模式為非獨立，下一步選擇在虛擬機創(chuàng)建之前編輯選項，繼續(xù)編輯光驅設備，選擇ISO文件，完成查看新建虛擬機配置以相同方式創(chuàng)建另一個節(jié)點rac2。2.2、VMware Workstation新建虛擬機rac1，選擇自定義，下一步選擇安裝操作系統(tǒng)ISO，下一步命名虛擬機，選擇存放位置，下一步配置內存大小，下一步選擇網絡類型為橋接網絡，下一步選擇I/O控制器類型為LSI Logic，下一步選擇磁盤類型為SCSI，下一步配置磁盤大小，并選擇將虛擬磁盤拆分多個文件，下一步指定磁盤文件，下一步以相同方式創(chuàng)建另一個節(jié)點rac2。2.3、Virtual BOX新建虛擬機rac1，命名虛擬機，選擇系統(tǒng)類型為Linux，版本為Red Hat （64bit），下一步配置內存大小，下一步創(chuàng)建虛擬硬盤，創(chuàng)建選擇虛擬磁盤文件類型，下一步選擇動態(tài)分配，下一步選擇文件位置和大小，下一步創(chuàng)建完成設置虛擬機參數(shù)選擇存儲，在右側屬性，點擊分配光驅右邊的，選擇安裝操作系統(tǒng)ISO文件以相同方式創(chuàng)建另一個節(jié)點rac2。3、安裝系統(tǒng)3.1、安裝系統(tǒng)(兩節(jié)點)系統(tǒng)安裝過程都是一致，因此不予詳述。本文只針對安裝過程中部分容易出錯的地方簡述選擇基本存儲設備提示是否丟棄所有的數(shù)據(jù)，yes,discard any data選擇自定義分區(qū)，Create Custom Layout進入分區(qū)界面選擇標準分區(qū)模式，Standard Partition分別創(chuàng)建虛擬內存(swap)、boot分區(qū)、/分區(qū)分區(qū)結果選擇確定格式化選擇寫入磁盤選擇默認即可選擇系統(tǒng)模式，Software Development Workstation，Customize Later，其他默認開始安裝系統(tǒng)安裝后，提示重啟系統(tǒng)，并有一系列配置，其中啟動Kdump根據(jù)提示，再次重啟系統(tǒng)，系統(tǒng)安裝完畢！3.2、配置網絡(兩節(jié)點)此步驟，需要虛擬機有兩塊網卡，分別為Public和Private網卡。雙機IP配置：節(jié)點名稱Public IPPrivate IPrac1192.168.2.2311.1.6.231rac2192.168.2.2321.1.6.232使用root用戶登錄虛擬機，右鍵，選擇Edit Connection按以下步驟操作，分別配置兩塊網卡IP為上表對應項3.3、刪除自動生成的虛擬網卡(兩節(jié)點)所謂虛擬網卡，即執(zhí)行 ifconfig命令列出的virbr0，如圖執(zhí)行以下命令來刪除該虛擬網卡virsh net-listvirsh net-destroy defaultvirsh net-undefine defaultservice libvirtd restart再次使用ifconfig命令查看，該虛擬網卡已不存在3.4、測試網絡(兩節(jié)點)1、物理機ping兩臺虛擬機rac1、rac2的Public IP2、rac1節(jié)點 ping rac2節(jié)點的Public IP和Private IP3、rac2節(jié)點 ping rac1節(jié)點的Public IP和Private IP以上三步完全可以ping通即可。4、添加共享存儲4.1、VMware vSphere4.1.1、配置rac1節(jié)點關閉rac1節(jié)點，右鍵rac1節(jié)點選擇編輯設置，進入配置界面，點擊添加選擇硬盤，下一步創(chuàng)建新的虛擬磁盤配置磁盤大小，選擇厚置備置零（集群專用），指定磁盤的存放位置，下一步驅動器設備選擇SCSI 1:0，模式選擇獨立（集群必須選擇此項），下一步在虛擬機屬性中，選擇剛添加的SCSI controller 1 驅動器，配置其為物理模式（用于支持共享），以保證rac1、rac2節(jié)點的共享訪問重復執(zhí)行上述步驟，添加另外兩塊磁盤，將其驅動器設備選擇為SCSI 1:1；SCSI 1:2。添加3塊共享磁盤的rac1節(jié)點配置信息如下：4.2.2、配置rac2節(jié)點關閉rac2節(jié)點，右鍵rac2節(jié)點選擇編輯設置，進入配置界面，點擊添加選擇硬盤，下一步選擇已有虛擬磁盤，下一步選擇指定的存儲設備，此處需要注意：選擇在rac1節(jié)點中創(chuàng)建的第一塊磁盤驅動器設備選擇SCSI 1:0，模式選擇獨立，下一步同rac1節(jié)點一樣，在rac2節(jié)點屬性中，選擇剛添加的SCSI controller 1驅動器，配置其為物理模式用于共享重復執(zhí)行以上步驟，添加剩余的2塊磁盤。注意，驅動器編號要依次選擇SCSI 1:1、SCSI 1:2。添加3塊共享磁盤的rac2節(jié)點配置信息如下：4.2、VMware Workstation4.2.1、物理機中添加共享磁盤vmware-vdiskmanager.exe -c -s 5G -a lsilogic -t 2 d:Virtual MachinesRACsharedasm1.vmdkvmware-vdiskmanager.exe -c -s 5G -a lsilogic -t 2 d:Virtual MachinesRACsharedasm2.vmdkvmware-vdiskmanager.exe -c -s 20G -a lsilogic -t 2 d:Virtual MachinesRACsharedasm3.vmdk注意：-a 指定磁盤類型 t 2表示直接劃分一個預分配空間的文件。4.2.2、關閉節(jié)點，用記事本編輯vmx文件，例如：rac1.vmx(兩節(jié)點)添加如下內容：#shared disks configuredisk.EnableUUID = TRUEdisk.locking = FALSEdiskLib.dataCacheMaxSize = 0diskLib.dataCacheMaxReadAheadSize = 0 diskLib.dataCacheMinReadAheadSize = 0diskLib.maxUnsyncedWrites = 0scsi1.present = TRUEscsi1.virtualDev = lsilogicscsil.sharedBus = VIRTUALscsi1:0.present = TRUEscsi1:0.mode = independent-persistentscsi1:0.fileName = D:Virtual MachinesRACsharedasm1.vmdkscsi1:0.deviceType = diskscsi1:0.redo = scsi1:1.present = TRUEscsi1:1.mode = independent-persistentscsi1:1.fileName = D:Virtual MachinesRACsharedasm2.vmdkscsi1:1.deviceType = diskscsi1:1.redo = scsi1:2.present = TRUEscsi1:2.mode = independent-persistentscsi1:2.fileName = D:Virtual MachinesRACsharedasm3.vmdkscsi1:2.deviceType = diskscsi1:2.redo = 注意：1、 此處添加了3塊共享盤，因此添加3段內容scsi1:0，scsi1:1，scsi1:2，也即要增加幾塊盤，就要增加相應段數(shù)的內容2、 scsi 1:*.fileName=后面的內容要與你在物理主機使用vmware-vdiskmanager.exe創(chuàng)建的磁盤存儲位置一致3、 重啟兩節(jié)點，查看虛擬機配置，確認共享磁盤文件加載成功（不重啟系統(tǒng)可能不能識別出磁盤）4.3、Virtual BOX4.3.1、配置rac1節(jié)點方法1：rac1節(jié)點的配置也中，選擇存儲，選擇SATA 控制器，然單擊添加硬盤圖標創(chuàng)建新的磁盤，create new disk選擇默認VDI磁盤模式選擇固定大?。ü蚕泶疟P必須選擇此選項），下一步配置共享磁盤存儲路徑及大小新建的磁盤，已經連接到rac1虛擬機選擇此新磁盤。單擊修改（modify）圖標并選擇Shareable重復以上步驟，創(chuàng)建另外2塊磁盤。最后，增加磁盤后的配置信息方法2：1、在物理主機命令行中執(zhí)行以下語句，創(chuàng)建磁盤VBoxManage.execreatehd-filenameasm1.vdi-size5120-formatVDI-variantFixedVBoxManage.execreatehd-filenameasm2.vdi-size5120-formatVDI-variantFixedVBoxManage.execreatehd-filenameasm3.vdi-size204800-formatVDI-variantFixed2、連接rac1虛擬機VBoxManage.exestorageattachrac1-storagectlSATA控制器-port1-device0-typehdd-mediumasm1.vdi-mtypeshareableVBoxManage.exestorageattachrac1-storagectlSATA控制器-port2-device0-typehdd-mediumasm2.vdi-mtypeshareableVBoxManage.exestorageattachrac1-storagectlSATA控制器-port3-device0-typehdd-mediumasm3.vdi-mtypeshareable3、設置磁盤共享VBoxManage.exemodifyhdasm1.vdi-typeshareableVBoxManage.exemodifyhdasm2.vdi-typeshareableVBoxManage.exemodifyhdasm3.vdi-typeshareable4、查看rac1配置信息4.3.2、配置rac2節(jié)點rac2節(jié)點只需配置磁盤驅動器與虛擬機的連接即可，如下：VBoxManage.exestorageattachrac2-storagectlSATA控制器-port1-device0-typehdd-mediumasm1.vdi-mtypeshareableVBoxManage.exestorageattachrac2-storagectlSATA控制器-port2-device0-typehdd-mediumasm2.vdi-mtypeshareableVBoxManage.exestorageattachrac2-storagectlSATA控制器-port3-device0-typehdd-mediumasm3.vdi-mtypeshareable5、實現(xiàn)共享存儲5.1、劃分共享磁盤(單節(jié)點)fdisk l三個分區(qū)作用解釋：fdisk /dev/sdb-作為ocr和voting disk存放文件fdisk /dev/sdc-存放快速恢復區(qū)文件fdisk /dev/sdd-存放數(shù)據(jù)庫文件fdisk /dev/sdbc|d依次n p 1 Enter Enter w，實現(xiàn)分區(qū)fdisk l-再次查看并在rac2節(jié)點查看，確保與rac1完全一致分區(qū)完畢，不要對新加磁盤進行格式化，保持裸設備。5.2、配置ASM磁盤(兩節(jié)點)使用udev管理配置磁盤方式rpm -qa|grep udev-查看是否安裝udev執(zhí)行以下命令，獲取scsi id信息scsi_id -g -u -d /dev/sdb c|d36000c292f99f2349911c3766f3cc53d736000c293f4c9f2c1fdd38a63e5861ad336000c2994d5eda8fbefc5922b14ab651編輯udev配置文件，添加rules文件（/etc/udev/rules.d/）并授權添加以下參數(shù)。方法1：vi /etc/udev/rules.d/99-x-asmdisk.rulesKERNEL=sdb1, BUS=scsi, PROGRAM=scsi_id -g -u -d /dev/$parent,RESULT=36000c292f99f2349911c3766f3cc53d7, NAME=asmdiskOCR, OWNER:=grid, GROUP:=dba,MODE=0660KERNEL=sdc1, BUS=scsi, PROGRAM=scsi_id -g -u -d /dev/$parent,RESULT=36000c293f4c9f2c1fdd38a63e5861ad3, NAME=asmdiskDATA, OWNER:=grid, GROUP:=dba,MODE=0660KERNEL=sdd1, BUS=scsi, PROGRAM=scsi_id -g -u -d /dev/$parent,RESULT=36000c2994d5eda8fbefc5922b14ab651, NAME=asmdiskFRA, OWNER:=grid, GROUP:=dba,MODE=0660注意：1、 一行為一條規(guī)則2、 , 與下一個關鍵詞要有空格3、 GROUP:=后面不確定值，dba與asmadmin都可以啟動udevstart_udevls /dev/asmdisk*方法2：vi /etc/udev/rules.d/99-oracle-asmdevices.rules直接在命令行下輸入并執(zhí)行以下循環(huán)for i in b c d;doecho KERNEL=sd*, BUS=scsi, PROGRAM=/sbin/scsi_id -whitelisted -replace-whitespace -device=/dev/$name, RESULT=/sbin/scsi_id -whitelisted -replace-whitespace -device=/dev/sd$i, NAME=asm-disk$i, OWNER=grid, GROUP=asmadmin, MODE=0660 /etc/udev/rules.d/99-oracle-asmdevives.rulesdone注意：此處的b、c、d是sdb、sdc、sdd去掉sd啟動udevstart_udevls /dev/asm*6、配置Linux系統(tǒng)6.1、用戶組及用戶設置(兩節(jié)點，root用戶)6.1.1、創(chuàng)建Oracle軟件組groupadd -g 601 oinstallgroupadd -g 602 dbagroupadd -g 603 opergroupadd -g 604 asmadmingroupadd -g 605 asmdbagroupadd -g 606 asmoper6.1.2、創(chuàng)建grid、oracle用戶useradd -u 601 -g oinstall -G asmadmin,asmdba,asmoper griduseradd -u 602 -g oinstall -G dba,oper,asmdba oracle6.1.3、為grid、oracle用戶設置密碼passwd gridpasswd oracle6.2、主機名IP映射文件設置(兩節(jié)點)vi /etc/hosts-加入以下內容#public:192.168.2.231 rac1192.168.2.232 rac2#vip:192.168.2.233 rac1-vip192.168.2.234 rac2-vip#priv1.1.6.231 rac1-priv1.1.6.232 rac2-priv#SCAN192.168.2.235 rac-scan6.3、配置Linux內核參數(shù)(兩節(jié)點)vi /etc/sysctl.conf-加入以下內容fs.aio-max-nr = 1048576fs.file-max = 6815744kernel.shmmni = 4096kernel.sem = 250 32000 100 128net.ipv4.ip_local_port_range = 9000 65500net.core.rmem_default = 262144net.core.rmem_max = 4194304net.core.wmem_default = 262144net.core.wmem_max = 1048576sysctl p-使以上設置生效6.4、設置grid、oracle用戶設置shell limits(兩節(jié)點)vi /etc/security/limits.conf-加入以下內容grid soft nproc 2047grid hard nproc 16384grid soft nofile 1024grid hard nofile 65536grid soft stack 10240grid hard stack 32768oracle soft nproc 2047oracle hard nproc 16384oracle soft nofile 1024oracle hard nofile 65536oracle soft stack 10240oracle hard stack 32768vi /etc/pam.d/login-加入以下內容session required pam_limits.so6.5、創(chuàng)建Oracle Inventory Directory(兩節(jié)點)mkdir -p /u01/app/oraInventorychown -R grid.oinstall /u01/app/oraInventorychmod -R 775 /u01/app/oraInventory6.6、創(chuàng)建Oracle Grid Infrastructure Home目錄(兩節(jié)點)mkdir -p /u01/app/gridmkdir -p /u01/app/grid/crsmkdir -p /u01/app/grid/11.2.0chown -R grid.oinstall /u01/app/gridchmod -R 775 /u01/app/grid6.7、創(chuàng)建Oracle RDBMS Home目錄(兩節(jié)點)mkdir -p /u01/app/oraclechown -R oracle.oinstall /u01/app/oraclechmod -R 775 /u01/app/oraclemkdir -p /u01/app/oracle/product/11.2.0/db_1chown -R oracle.oinstall /u01/app/oracle/product/11.2.0/db_1chmod -R 775 /u01/app/oracle/product/11.2.0/db_16.8、安裝相應系統(tǒng)支持包(兩節(jié)點64&32bit)binutilscompat-libstdc+-33 elfutils-libelf elfutils-libelf-devel gcc gcc-c+ glibc glibc-common glibc-devel glibc-headers ksh libaio libaio-devel libgcc libstdc+ libstdc+-devel make numactl-devel sysstatunixODBCunixODBC-devel方法1：拷貝系統(tǒng)光盤內容到本地目錄mkdir /yum/cp /media/* /yum/刪除/etc/yum.repos.d/下內容并創(chuàng)建yum.repovi /etc/yum.repos.d/yum.repoyumname=yumbaseurl=file:/yum/enabled=1方法2：rpm ivh nodeps force *rpm6.9、修改grid、oracle用戶環(huán)境變量(兩節(jié)點)Su grid-切換到grid用戶，修改環(huán)境變量Vi .bash_profile-刪除重復內容，加入以下內容export ORACLE_HOSTNAME=rac1(rac2)export ORACLE_UNQNAME=racexport ORACLE_BASE=/u01/app/grid/crsexport ORACLE_HOME=/u01/app/grid/11.2.0export ORACLE_SID=+ASM1(+ASM2)export ORACLE_TERM=xtermexport PATH=$ORACLE_HOME/bin:/usr/sbin:$PATHexport LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/libexport CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlibexport TMP=/tmpexport TMPDIR=$TMPSu oracle-切換到oracle用戶，修改環(huán)境變量Vi .bash_profile-刪除重復內容，加入以下內容export ORACLE_HOSTNAME=rac1(rac2)export ORACLE_UNQNAME=racexport ORACLE_BASE=/u01/app/oracleexport ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1export ORACLE_SID=rac1(rac2)export ORACLE_TERM=xtermexport PATH=$ORACLE_HOME/bin:/usr/sbin:$PATHexport LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/libexport CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlibexport TMP=/tmpexport TMPDIR=$TMP7、關閉防火墻7.1、設置SELinux(兩節(jié)點)1、立即生效setenforce 0-立即關閉SELinuxgetenforce-查看SELinux狀態(tài)2、永久生效vi /etc/selinux/config-關閉selinux替換SELinux=enforcing為SELinux=disabled7.2、關閉防火墻iptables(兩節(jié)點)service iptables saveservice iptables stop-關閉iptableschkconfig iptables off-設置iptables不隨系統(tǒng)啟動chkconfig -list iptables-查看防火墻狀態(tài)列表8、設置grid、oracle用戶ssh等效性ssh等效性操作過程一樣，因此只需切換到相應用戶執(zhí)行即可su grid-兩節(jié)點cd /home/gridrm -rf /.sshmkdir /.sshchmod 700 /.sshssh-keygen -t rsassh-keygen -t dsa配置同步rac1節(jié)點cat /.ssh/id_rsa.pub /.ssh/authorized_keyscat /.ssh/id_dsa.pub /.ssh/authorized_keysscp /.ssh/authorized_keys rac2:/.ssh/authorized_keysrac2節(jié)點cat /.ssh/id_rsa.pub /.ssh/authorized_keyscat /.ssh/id_dsa.pub /.ssh/authorized_keysscp /.ssh/authorized_keys rac1:/.ssh/authorized_keys檢測連通性-兩節(jié)點ssh racdb1 datessh racdb2 datessh racdb1-priv datessh racdb2-priv date注意：第一次詢問是否要連接，輸入yes即可。9、時鐘同步9.1、使用Linux系統(tǒng)的NTP服務同步時鐘(兩節(jié)點)vi /etc/ntp.conf-主節(jié)點rac1加入以下內容Server 127.127.1.0Fudge 127.127.1.0 stratum 11Broadcastdelay 0.008vi /etc/ntp.conf -其他節(jié)點rac2加入以下內容Server 192.168.2.231 preferDriftfile /var/lib/ntp/driftBroadcastdelay 0.008vi /etc/sysconfig/ntpd-配置NTP服務SYNC_HWCLOCK=yesOPTIONS=-x -u ntp:ntp -p /var/run/ntpd.pid/etc/init.d/ntpd restart-啟動NTP服務chkconfig ntpd on-設置NTP服務隨系統(tǒng)啟動netstat -an |grep 123 -確保該端口以udp方式開放ntpstat-查看NTP服務狀態(tài)9.2、使用oracle集群軟件ctss服務同步時鐘(兩節(jié)點)11G R2 默認有自己的時間同步機制，沒有NTP也是可以的。有NTP的話ctss應該一直運行觀察模式的。使用集群時間同步服務在集群中提供同步服務，需要卸載網絡時間協(xié)議 (NTP) 及其配置。service ntpd stopchkconfig ntpd offmv /etc/ntp.conf /etc/ntp.conf.original -有/etc/ntp.conf這個文件，ctss是不會啟用的rm /var/run/ntpd.pid-此文件保存NTP后臺程序的pid10、安裝前準備本操作需要兩節(jié)點分別執(zhí)行！上傳安裝文件，本次安裝的是Oracle 11.2.0.4版本，共3個安裝包，其中1、2是database包，3是grid包。分別解壓3個包，解壓后產生兩個目錄/setup/database、/setup/grid注意：rac2節(jié)點只上傳grid包，解壓即可。在兩個rac節(jié)點上安裝操作系統(tǒng)程序包cvuqdisk(安裝包在/setup/grid/下)。如果沒有cvuqdisk，集群驗證實用程序就無法發(fā)現(xiàn)共享磁盤(/dev/asm*)，且在安裝后期會收到”Package cvuqdisk not installed”的錯誤。root用戶下安裝cvuqdisk-1.0.9-1.rpm包export CVUQDISK_GRP=oinstallcd /setup/grid/rpmrpm ivh cvuqdisk-1.0.9-1.rpmsu grid-切換到grid用戶cd /setup/grid./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -fixup -verbose 1.log-輸入1.log，方便查看如有報錯，則執(zhí)行下面命令后再次執(zhí)行此命令/tmp/CVU_11.2.0.1.0_grid/runfixup.shrm -rf /tmp/bootstrap./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -fixup -verbose注意：以上命令執(zhí)行結果中，提示網絡問題、時間同步、DNS問題可忽略！./runcluvfy.sh stage post hwos n rac1,rac2 verbose注意：1、 兩條CVU檢查命令的結果均為passed才能繼續(xù)安裝(網絡、時間、DNS問題可忽略)。2、 此時要保證兩節(jié)點4個IP（Public、Private）可以互相ping通11、安裝Oracle Grid Infrastructure11.1、安裝流程本操作只需在一個節(jié)點分別執(zhí)行！圖形界面安裝需要在root用戶執(zhí)行如下命令xhost +出現(xiàn)如上輸出，即可繼續(xù)進行圖形安裝。su gridcd /setup/grid./runInstaller跳過更新選擇安裝選項選擇高級安裝（方便設置參數(shù)）Cluster Name可以隨意命名；SCAN Name需要與/etc/hosts中配置一致；端口默認1521。不配置GNS添加節(jié)點2信息網絡信息采用ASM存儲管理配置ocr及voting disk存儲磁盤組，此處為磁盤組名為CRS更改發(fā)現(xiàn)路徑/dev/asm*，以找到共享磁盤選擇規(guī)劃好的磁盤加入CRS組設置ASM管理密碼（為了方便采用統(tǒng)一設置密碼）密碼不符合oracle規(guī)則警告，選擇yes繼續(xù)不適用IPMI選擇grid軟件ORACLE_BASE及ORACLE_HOME（事先配置了.bash_profile，這里會自動找到路徑）選擇oraInventory目錄（該目錄主要存放安裝日志等）安裝預檢。如果兩節(jié)點ll /dev/asm*，可以查看到一致內容，則Device Checks for ASM警告可以忽略；如果使用Linux系統(tǒng)NTP服務，則出現(xiàn)Network Time Protocol警告（使用ctss則不會報警）可能還會有一些關于DNS、網絡的警告，忽略即可略過警告提醒，選擇yes繼續(xù)安裝概覽安裝提示以root用戶分別在兩節(jié)點執(zhí)行root.sh腳本。注意最后的提示，需要在安裝節(jié)點先執(zhí)行root.sh完畢后，再在其他節(jié)點執(zhí)行（此時可以并行執(zhí)行）！rac1節(jié)點執(zhí)行完畢接下來在其他節(jié)點執(zhí)行root.shINS-20802是監(jiān)聽錯誤。其原因是/etc/hosts中配置了SCAN的地址，此步如果可以ping通SCAN-IP，那么忽略此