多種虛擬機(jī)環(huán)境下安裝Oracle11gRAC

1、多種虛擬機(jī)環(huán)境下安裝Oracle11g RAC2016年8月17日目 錄 TOC o 1-3 h z u HYPERLINK l _Toc459889400 1、安全環(huán)境與網(wǎng)絡(luò)規(guī)劃 PAGEREF _Toc459889400 h 5 HYPERLINK l _Toc459889401 1.1、安裝環(huán)境 PAGEREF _Toc459889401 h 5 HYPERLINK l _Toc459889402 1.2、網(wǎng)絡(luò)規(guī)劃 PAGEREF _Toc459889402 h 5 HYPERLINK l _Toc459889403 1.3、Oracle軟件組 PAGEREF _Toc459889403

2、 h 5 HYPERLINK l _Toc459889404 1.4、RAC節(jié)點(diǎn) PAGEREF _Toc459889404 h 5 HYPERLINK l _Toc459889405 1.5、存儲(chǔ)組件 PAGEREF _Toc459889405 h 6 HYPERLINK l _Toc459889406 2、創(chuàng)建虛擬機(jī) PAGEREF _Toc459889406 h 6 HYPERLINK l _Toc459889407 2.1、VMware vSphere PAGEREF _Toc459889407 h 6 HYPERLINK l _Toc459889408 2.2、VMware Work

3、station PAGEREF _Toc459889408 h 16 HYPERLINK l _Toc459889409 2.3、Virtual BOX PAGEREF _Toc459889409 h 22 HYPERLINK l _Toc459889410 3、安裝系統(tǒng) PAGEREF _Toc459889410 h 26 HYPERLINK l _Toc459889411 3.1、安裝系統(tǒng)(兩節(jié)點(diǎn)) PAGEREF _Toc459889411 h 26 HYPERLINK l _Toc459889412 3.2、配置網(wǎng)絡(luò)(兩節(jié)點(diǎn)) PAGEREF _Toc459889412 h 31 HY

4、PERLINK l _Toc459889413 3.3、刪除自動(dòng)生成的虛擬網(wǎng)卡(兩節(jié)點(diǎn)) PAGEREF _Toc459889413 h 33 HYPERLINK l _Toc459889414 3.4、測試網(wǎng)絡(luò)(兩節(jié)點(diǎn)) PAGEREF _Toc459889414 h 34 HYPERLINK l _Toc459889415 4、添加共享存儲(chǔ) PAGEREF _Toc459889415 h 34 HYPERLINK l _Toc459889416 4.1、VMware vSphere PAGEREF _Toc459889416 h 34 HYPERLINK l _Toc459889417 4

5、.1.1、配置rac1節(jié)點(diǎn) PAGEREF _Toc459889417 h 34 HYPERLINK l _Toc459889418 4.2.2、配置rac2節(jié)點(diǎn) PAGEREF _Toc459889418 h 38 HYPERLINK l _Toc459889419 4.2、VMware Workstation PAGEREF _Toc459889419 h 41 HYPERLINK l _Toc459889420 4.2.1、物理機(jī)中添加共享磁盤 PAGEREF _Toc459889420 h 41 HYPERLINK l _Toc459889421 4.2.2、關(guān)閉節(jié)點(diǎn)，用記事本編輯vm

6、x文件，例如：rac1.vmx(兩節(jié)點(diǎn)) PAGEREF _Toc459889421 h 41 HYPERLINK l _Toc459889422 4.3、Virtual BOX PAGEREF _Toc459889422 h 42 HYPERLINK l _Toc459889423 4.3.1、配置rac1節(jié)點(diǎn) PAGEREF _Toc459889423 h 42 HYPERLINK l _Toc459889424 4.3.2、配置rac2節(jié)點(diǎn) PAGEREF _Toc459889424 h 47 HYPERLINK l _Toc459889425 5、實(shí)現(xiàn)共享存儲(chǔ) PAGEREF _Toc

7、459889425 h 47 HYPERLINK l _Toc459889426 5.1、劃分共享磁盤(單節(jié)點(diǎn)) PAGEREF _Toc459889426 h 47 HYPERLINK l _Toc459889427 5.2、配置ASM磁盤(兩節(jié)點(diǎn)) PAGEREF _Toc459889427 h 49 HYPERLINK l _Toc459889428 6、配置Linux系統(tǒng) PAGEREF _Toc459889428 h 50 HYPERLINK l _Toc459889429 6.1、用戶組及用戶設(shè)置(兩節(jié)點(diǎn)，root用戶) PAGEREF _Toc459889429 h 50 HYP

8、ERLINK l _Toc459889430 6.1.1、創(chuàng)建Oracle軟件組 PAGEREF _Toc459889430 h 50 HYPERLINK l _Toc459889431 6.1.2、創(chuàng)建grid、oracle用戶 PAGEREF _Toc459889431 h 50 HYPERLINK l _Toc459889432 6.1.3、為grid、oracle用戶設(shè)置密碼 PAGEREF _Toc459889432 h 50 HYPERLINK l _Toc459889433 6.2、主機(jī)名IP映射文件設(shè)置(兩節(jié)點(diǎn)) PAGEREF _Toc459889433 h 51 HYPER

9、LINK l _Toc459889434 6.3、配置Linux內(nèi)核參數(shù)(兩節(jié)點(diǎn)) PAGEREF _Toc459889434 h 51 HYPERLINK l _Toc459889435 6.4、設(shè)置grid、oracle用戶設(shè)置shell limits(兩節(jié)點(diǎn)) PAGEREF _Toc459889435 h 52 HYPERLINK l _Toc459889436 6.5、創(chuàng)建Oracle Inventory Directory(兩節(jié)點(diǎn)) PAGEREF _Toc459889436 h 53 HYPERLINK l _Toc459889437 6.6、創(chuàng)建Oracle Grid Infr

10、astructure Home目錄(兩節(jié)點(diǎn)) PAGEREF _Toc459889437 h 53 HYPERLINK l _Toc459889438 6.7、創(chuàng)建Oracle RDBMS Home目錄(兩節(jié)點(diǎn)) PAGEREF _Toc459889438 h 53 HYPERLINK l _Toc459889439 6.8、安裝相應(yīng)系統(tǒng)支持包(兩節(jié)點(diǎn)64&32bit) PAGEREF _Toc459889439 h 53 HYPERLINK l _Toc459889440 6.9、修改grid、oracle用戶環(huán)境變量(兩節(jié)點(diǎn)) PAGEREF _Toc459889440 h 54 HYPE

11、RLINK l _Toc459889441 7、關(guān)閉防火墻 PAGEREF _Toc459889441 h 55 HYPERLINK l _Toc459889442 7.1、設(shè)置SELinux(兩節(jié)點(diǎn)) PAGEREF _Toc459889442 h 55 HYPERLINK l _Toc459889443 7.2、關(guān)閉防火墻iptables(兩節(jié)點(diǎn)) PAGEREF _Toc459889443 h 55 HYPERLINK l _Toc459889444 8、設(shè)置grid、oracle用戶ssh等效性 PAGEREF _Toc459889444 h 56 HYPERLINK l _Toc45

12、9889445 9、時(shí)鐘同步 PAGEREF _Toc459889445 h 57 HYPERLINK l _Toc459889446 9.1、使用Linux系統(tǒng)的NTP服務(wù)同步時(shí)鐘(兩節(jié)點(diǎn)) PAGEREF _Toc459889446 h 57 HYPERLINK l _Toc459889447 9.2、使用oracle集群軟件ctss服務(wù)同步時(shí)鐘(兩節(jié)點(diǎn)) PAGEREF _Toc459889447 h 58 HYPERLINK l _Toc459889448 10、安裝前準(zhǔn)備 PAGEREF _Toc459889448 h 58 HYPERLINK l _Toc459889449 11、

13、安裝Oracle Grid Infrastructure PAGEREF _Toc459889449 h 59 HYPERLINK l _Toc459889450 11.1、安裝流程 PAGEREF _Toc459889450 h 59 HYPERLINK l _Toc459889451 11.2、安裝后檢查 PAGEREF _Toc459889451 h 73 HYPERLINK l _Toc459889452 11.3、配置ASM磁盤組 PAGEREF _Toc459889452 h 74 HYPERLINK l _Toc459889453 12、安裝Oracle DataBase PAG

14、EREF _Toc459889453 h 77 HYPERLINK l _Toc459889454 12.1、安裝流程 PAGEREF _Toc459889454 h 77 HYPERLINK l _Toc459889455 12.2、安裝數(shù)據(jù)庫 PAGEREF _Toc459889455 h 86 HYPERLINK l _Toc459889456 13、Oracle RAC維護(hù) PAGEREF _Toc459889456 h 96 HYPERLINK l _Toc459889457 13.1、節(jié)點(diǎn)層 PAGEREF _Toc459889457 h 96 HYPERLINK l _Toc45

15、9889458 13.2、網(wǎng)絡(luò)層 PAGEREF _Toc459889458 h 96 HYPERLINK l _Toc459889459 13.2.1、列出CRS網(wǎng)卡 PAGEREF _Toc459889459 h 96 HYPERLINK l _Toc459889460 13.2.2、獲取CRS網(wǎng)卡信息 PAGEREF _Toc459889460 h 96 HYPERLINK l _Toc459889461 13.3、集群層 PAGEREF _Toc459889461 h 97 HYPERLINK l _Toc459889462 13.3.1、檢查CRS狀態(tài) PAGEREF _Toc459

16、889462 h 97 HYPERLINK l _Toc459889463 13.3.2、檢查CRS 單個(gè)服務(wù) PAGEREF _Toc459889463 h 97 HYPERLINK l _Toc459889464 13.3.3、檢查CRS是否自動(dòng)啟動(dòng)（root用戶） PAGEREF _Toc459889464 h 97 HYPERLINK l _Toc459889465 13.3.4、啟動(dòng)、停止、查看CRS（root用戶） PAGEREF _Toc459889465 h 97 HYPERLINK l _Toc459889466 13.3.5、查看Votedisk磁盤位置 PAGEREF _

17、Toc459889466 h 97 HYPERLINK l _Toc459889467 13.3.6、維護(hù)Votedisk PAGEREF _Toc459889467 h 97 HYPERLINK l _Toc459889468 13.3.7、查看OCR狀態(tài) PAGEREF _Toc459889468 h 98 HYPERLINK l _Toc459889469 13.3.8、維護(hù)OCR PAGEREF _Toc459889469 h 98 HYPERLINK l _Toc459889470 13.4、應(yīng)用層 PAGEREF _Toc459889470 h 100 HYPERLINK l _T

18、oc459889471 13.4.1、查看CRS狀態(tài) PAGEREF _Toc459889471 h 100 HYPERLINK l _Toc459889472 13.4.2、onsctl命令 PAGEREF _Toc459889472 h 100 HYPERLINK l _Toc459889473 13.4.3、srvctl命令 PAGEREF _Toc459889473 h 101 HYPERLINK l _Toc459889474 14、附錄： PAGEREF _Toc459889474 h 102 HYPERLINK l _Toc459889475 14.1、CRS名詞解釋： PAGE

19、REF _Toc459889475 h 102 HYPERLINK l _Toc459889476 14.1.1、CRS一些服務(wù)作用 PAGEREF _Toc459889476 h 102 HYPERLINK l _Toc459889477 14.1.2、Oracle Cluster Registry(OCR) PAGEREF _Toc459889477 h 102 HYPERLINK l _Toc459889478 14.1.3、Votedisk PAGEREF _Toc459889478 h 102 HYPERLINK l _Toc459889479 14.1.4、Admin Manage

20、d和Policy Managed PAGEREF _Toc459889479 h 102 HYPERLINK l _Toc459889480 14.1.5、Grid Name Service(GNS) PAGEREF _Toc459889480 h 103 HYPERLINK l _Toc459889481 14.1.6、Intelligent Management Platform Interface(IPMI) PAGEREF _Toc459889481 h 103 HYPERLINK l _Toc459889482 14.2、安裝問題 PAGEREF _Toc459889482 h 10

21、3 HYPERLINK l _Toc459889483 14.2.1、安裝界面亂碼 PAGEREF _Toc459889483 h 103 HYPERLINK l _Toc459889484 14.2.2、xhost +報(bào)錯(cuò) PAGEREF _Toc459889484 h 103 HYPERLINK l _Toc459889485 14.2.3、網(wǎng)卡名稱與MAC地址不能對應(yīng) PAGEREF _Toc459889485 h 104 HYPERLINK l _Toc459889486 14.2.4、Linux6.*yum安裝報(bào)錯(cuò) PAGEREF _Toc459889486 h 104 HYPERL

22、INK l _Toc459889487 14.2.5、11g支持Linux系統(tǒng)列表 PAGEREF _Toc459889487 h 104 HYPERLINK l _Toc459889488 14.2.6、udev配置RAC ASM的幾種方式 PAGEREF _Toc459889488 h 104 HYPERLINK l _Toc459889489 14.2.7、Oracle問題 PAGEREF _Toc459889489 h 1051、安全環(huán)境與網(wǎng)絡(luò)規(guī)劃1.1、安裝環(huán)境RAC節(jié)點(diǎn)操作系統(tǒng)：Linux 6.4 x86_64Cluster software：Oracle Grid Infrast

23、ructure 11gr2()Oracle Database software：Oracle11gr2()共享存儲(chǔ)：ASM1.2、網(wǎng)絡(luò)規(guī)劃節(jié)點(diǎn)名稱Public IPPrivate IPVirtual IPSCAN 名稱SCAN IPrac1313133rac-scan35rac2323234注意：Oracle11g新增SCAN-IP，為VIP的一個(gè)池概念1.3、Oracle軟件組軟件組件用戶輔助組用戶主目錄ORACLE_BASEORACLE_HOMEGrid Infrastructuregridasmadminasmdbaasmoper/home/grid/u01/app/grid/crs/u

24、01/app/11.2.0/gridOracle RACoracledbadbaoperasmdba/home/oracle/u01/app/oracle/u01/app/oracle/11.2.0/db_11.4、RAC節(jié)點(diǎn)節(jié)點(diǎn)名稱實(shí)例名稱數(shù)據(jù)庫名稱內(nèi)存操作系統(tǒng)rac1rac1rac8GLinux 6.4 x86_64rac2rac28GLinux 6.4 x86_641.5、存儲(chǔ)組件存儲(chǔ)組件文件系統(tǒng)卷大小ASM卷組名ASM冗余磁盤名OCR、VOTING DiskASM5GCRSExternalOCR_VOTE數(shù)據(jù)庫20GDATAExternalASMDATA快速恢復(fù)區(qū)5GFRAExtern

25、alBACKUP2、創(chuàng)建虛擬機(jī)2.1、VMware vSphere以administrator用戶登錄虛擬化主機(jī)：對主機(jī)右鍵點(diǎn)擊“新建虛擬機(jī)”選擇自定義配置，下一步給虛擬機(jī)命名 rac1，下一步選擇虛擬機(jī)存放位置，下一步選擇虛擬機(jī)文件存放位置(盡量放于共享存儲(chǔ)上，空間大且防止數(shù)據(jù)丟失)，下一步選擇高版本，下一步選擇操作系統(tǒng)為Linux，版本為Red Hat Enterprise Linux 6(64位)，下一步配置CPU、內(nèi)存，下一步選擇網(wǎng)卡，配置兩塊網(wǎng)卡，一塊作為Public，另一塊作為Private，下一步選擇SCSI驅(qū)動(dòng)器類型：LSI Logic并行，下一步選擇創(chuàng)建新磁盤，下一步配置磁盤

26、大小，下一步上述三個(gè)選項(xiàng)的解釋：選擇虛擬設(shè)備節(jié)點(diǎn)，默認(rèn)為SCSI(0:0)，選擇模式為非獨(dú)立，下一步選擇在虛擬機(jī)創(chuàng)建之前編輯選項(xiàng)，繼續(xù)編輯光驅(qū)設(shè)備，選擇ISO文件，完成查看新建虛擬機(jī)配置以相同方式創(chuàng)建另一個(gè)節(jié)點(diǎn)rac2。2.2、VMware Workstation新建虛擬機(jī)rac1，選擇自定義，下一步選擇安裝操作系統(tǒng)ISO，下一步命名虛擬機(jī)，選擇存放位置，下一步配置內(nèi)存大小，下一步選擇網(wǎng)絡(luò)類型為橋接網(wǎng)絡(luò)，下一步選擇I/O控制器類型為LSI Logic，下一步選擇磁盤類型為SCSI，下一步配置磁盤大小，并選擇將虛擬磁盤拆分多個(gè)文件，下一步指定磁盤文件，下一步以相同方式創(chuàng)建另一個(gè)節(jié)點(diǎn)rac2。2.

27、3、Virtual BOX新建虛擬機(jī)rac1，命名虛擬機(jī)，選擇系統(tǒng)類型為Linux，版本為Red Hat （64bit），下一步配置內(nèi)存大小，下一步創(chuàng)建虛擬硬盤，創(chuàng)建選擇虛擬磁盤文件類型，下一步選擇動(dòng)態(tài)分配，下一步選擇文件位置和大小，下一步創(chuàng)建完成設(shè)置虛擬機(jī)參數(shù)選擇存儲(chǔ)，在右側(cè)屬性，點(diǎn)擊分配光驅(qū)右邊的，選擇安裝操作系統(tǒng)ISO文件以相同方式創(chuàng)建另一個(gè)節(jié)點(diǎn)rac2。3、安裝系統(tǒng)3.1、安裝系統(tǒng)(兩節(jié)點(diǎn))系統(tǒng)安裝過程都是一致，因此不予詳述。本文只針對安裝過程中部分容易出錯(cuò)的地方簡述選擇基本存儲(chǔ)設(shè)備提示是否丟棄所有的數(shù)據(jù)，yes,discard any data選擇自定義分區(qū)，Create Custo

28、m Layout進(jìn)入分區(qū)界面選擇標(biāo)準(zhǔn)分區(qū)模式，Standard Partition分別創(chuàng)建虛擬內(nèi)存(swap)、boot分區(qū)、/分區(qū)分區(qū)結(jié)果選擇確定格式化選擇寫入磁盤選擇默認(rèn)即可選擇系統(tǒng)模式，Software Development Workstation，Customize Later，其他默認(rèn)開始安裝系統(tǒng)安裝后，提示重啟系統(tǒng)，并有一系列配置，其中啟動(dòng)Kdump根據(jù)提示，再次重啟系統(tǒng)，系統(tǒng)安裝完畢！3.2、配置網(wǎng)絡(luò)(兩節(jié)點(diǎn))此步驟，需要虛擬機(jī)有兩塊網(wǎng)卡，分別為Public和Private網(wǎng)卡。雙機(jī)IP配置：節(jié)點(diǎn)名稱Public IPPrivate IPrac13131rac23232使用ro

29、ot用戶登錄虛擬機(jī)，右鍵，選擇Edit Connection按以下步驟操作，分別配置兩塊網(wǎng)卡IP為上表對應(yīng)項(xiàng)3.3、刪除自動(dòng)生成的虛擬網(wǎng)卡(兩節(jié)點(diǎn))所謂虛擬網(wǎng)卡，即執(zhí)行 ifconfig命令列出的virbr0，如圖執(zhí)行以下命令來刪除該虛擬網(wǎng)卡virsh net-listvirsh net-destroy defaultvirsh net-undefine defaultservice libvirtd restart再次使用ifconfig命令查看，該虛擬網(wǎng)卡已不存在3.4、測試網(wǎng)絡(luò)(兩節(jié)點(diǎn))1、物理機(jī)ping兩臺(tái)虛擬機(jī)rac1、rac2的Public IP2、rac1節(jié)點(diǎn) ping rac2

30、節(jié)點(diǎn)的Public IP和Private IP3、rac2節(jié)點(diǎn) ping rac1節(jié)點(diǎn)的Public IP和Private IP以上三步完全可以ping通即可。4、添加共享存儲(chǔ)4.1、VMware vSphere4.1.1、配置rac1節(jié)點(diǎn)關(guān)閉rac1節(jié)點(diǎn)，右鍵rac1節(jié)點(diǎn)選擇編輯設(shè)置，進(jìn)入配置界面，點(diǎn)擊添加選擇硬盤，下一步創(chuàng)建新的虛擬磁盤配置磁盤大小，選擇厚置備置零（集群專用），指定磁盤的存放位置，下一步驅(qū)動(dòng)器設(shè)備選擇SCSI 1:0，模式選擇獨(dú)立（集群必須選擇此項(xiàng)），下一步在虛擬機(jī)屬性中，選擇剛添加的SCSI controller 1 驅(qū)動(dòng)器，配置其為物理模式（用于支持共享），以保證rac

31、1、rac2節(jié)點(diǎn)的共享訪問重復(fù)執(zhí)行上述步驟，添加另外兩塊磁盤，將其驅(qū)動(dòng)器設(shè)備選擇為SCSI 1:1；SCSI 1:2。添加3塊共享磁盤的rac1節(jié)點(diǎn)配置信息如下：4.2.2、配置rac2節(jié)點(diǎn)關(guān)閉rac2節(jié)點(diǎn)，右鍵rac2節(jié)點(diǎn)選擇編輯設(shè)置，進(jìn)入配置界面，點(diǎn)擊添加選擇硬盤，下一步選擇已有虛擬磁盤，下一步選擇指定的存儲(chǔ)設(shè)備，此處需要注意：選擇在rac1節(jié)點(diǎn)中創(chuàng)建的第一塊磁盤驅(qū)動(dòng)器設(shè)備選擇SCSI 1:0，模式選擇獨(dú)立，下一步同rac1節(jié)點(diǎn)一樣，在rac2節(jié)點(diǎn)屬性中，選擇剛添加的SCSI controller 1驅(qū)動(dòng)器，配置其為物理模式用于共享重復(fù)執(zhí)行以上步驟，添加剩余的2塊磁盤。注意，驅(qū)動(dòng)器編號(hào)要依

32、次選擇SCSI 1:1、SCSI 1:2。添加3塊共享磁盤的rac2節(jié)點(diǎn)配置信息如下：4.2、VMware Workstation4.2.1、物理機(jī)中添加共享磁盤vmware-vdiskmanager.exe -c -s 5G -a lsilogic -t 2 d:Virtual MachinesRACsharedasm1.vmdkvmware-vdiskmanager.exe -c -s 5G -a lsilogic -t 2 d:Virtual MachinesRACsharedasm2.vmdkvmware-vdiskmanager.exe -c -s 20G -a lsilogic -

33、t 2 d:Virtual MachinesRACsharedasm3.vmdk注意：-a 指定磁盤類型 t 2表示直接劃分一個(gè)預(yù)分配空間的文件。4.2.2、關(guān)閉節(jié)點(diǎn)，用記事本編輯vmx文件，例如：rac1.vmx(兩節(jié)點(diǎn))添加如下內(nèi)容：#shared disks configuredisk.EnableUUID = TRUEdisk.locking = FALSEdiskLib.dataCacheMaxSize = 0diskLib.dataCacheMaxReadAheadSize = 0 diskLib.dataCacheMinReadAheadSize = 0diskLib.maxUn

34、syncedWrites = 0scsi1.present = TRUEscsi1.virtualDev = lsilogicscsil.sharedBus = VIRTUALscsi1:0.present = TRUEscsi1:0.mode = independent-persistentscsi1:0.fileName = D:Virtual MachinesRACsharedasm1.vmdkscsi1:0.deviceType = diskscsi1:0.redo = scsi1:1.present = TRUEscsi1:1.mode = independent-persisten

35、tscsi1:1.fileName = D:Virtual MachinesRACsharedasm2.vmdkscsi1:1.deviceType = diskscsi1:1.redo = scsi1:2.present = TRUEscsi1:2.mode = independent-persistentscsi1:2.fileName = D:Virtual MachinesRACsharedasm3.vmdkscsi1:2.deviceType = diskscsi1:2.redo = 注意：此處添加了3塊共享盤，因此添加3段內(nèi)容scsi1:0，scsi1:1，scsi1:2，也即要增

36、加幾塊盤，就要增加相應(yīng)段數(shù)的內(nèi)容scsi 1:*.fileName=后面的內(nèi)容要與你在物理主機(jī)使用vmware-vdiskmanager.exe創(chuàng)建的磁盤存儲(chǔ)位置一致重啟兩節(jié)點(diǎn)，查看虛擬機(jī)配置，確認(rèn)共享磁盤文件加載成功（不重啟系統(tǒng)可能不能識(shí)別出磁盤）4.3、Virtual BOX4.3.1、配置rac1節(jié)點(diǎn)方法1：rac1節(jié)點(diǎn)的配置也中，選擇存儲(chǔ)，選擇SATA 控制器，然單擊添加硬盤圖標(biāo)創(chuàng)建新的磁盤，create new disk選擇默認(rèn)VDI磁盤模式選擇固定大?。ü蚕泶疟P必須選擇此選項(xiàng)），下一步配置共享磁盤存儲(chǔ)路徑及大小新建的磁盤，已經(jīng)連接到rac1虛擬機(jī)選擇此新磁盤。單擊修改（modify

37、）圖標(biāo)并選擇Shareable重復(fù)以上步驟，創(chuàng)建另外2塊磁盤。最后，增加磁盤后的配置信息方法2：1、在物理主機(jī)命令行中執(zhí)行以下語句，創(chuàng)建磁盤VBoxManage.execreatehd-filenameasm1.vdi-size5120-formatVDI-variantFixedVBoxManage.execreatehd-filenameasm2.vdi-size5120-formatVDI-variantFixedVBoxManage.execreatehd-filenameasm3.vdi-size204800-formatVDI-variantFixed2、連接rac1虛擬機(jī)VBox

38、Manage.exestorageattachrac1-storagectlSATA控制器-port1-device0-typehdd-mediumasm1.vdi-mtypeshareableVBoxManage.exestorageattachrac1-storagectlSATA控制器-port2-device0-typehdd-mediumasm2.vdi-mtypeshareableVBoxManage.exestorageattachrac1-storagectlSATA控制器-port3-device0-typehdd-mediumasm3.vdi-mtypeshareable3

39、、設(shè)置磁盤共享VBoxManage.exemodifyhdasm1.vdi-typeshareableVBoxManage.exemodifyhdasm2.vdi-typeshareableVBoxManage.exemodifyhdasm3.vdi-typeshareable4、查看rac1配置信息4.3.2、配置rac2節(jié)點(diǎn)rac2節(jié)點(diǎn)只需配置磁盤驅(qū)動(dòng)器與虛擬機(jī)的連接即可，如下：VBoxManage.exestorageattachrac2-storagectlSATA控制器-port1-device0-typehdd-mediumasm1.vdi-mtypeshareableVBoxMa

40、nage.exestorageattachrac2-storagectlSATA控制器-port2-device0-typehdd-mediumasm2.vdi-mtypeshareableVBoxManage.exestorageattachrac2-storagectlSATA控制器-port3-device0-typehdd-mediumasm3.vdi-mtypeshareable5、實(shí)現(xiàn)共享存儲(chǔ)5.1、劃分共享磁盤(單節(jié)點(diǎn))fdisk l三個(gè)分區(qū)作用解釋：fdisk /dev/sdb-作為ocr和voting disk存放文件fdisk /dev/sdc-存放快速恢復(fù)區(qū)文件fdisk

41、 /dev/sdd-存放數(shù)據(jù)庫文件fdisk /dev/sdbc|d依次n p 1 Enter Enter w，實(shí)現(xiàn)分區(qū)fdisk l-再次查看并在rac2節(jié)點(diǎn)查看，確保與rac1完全一致分區(qū)完畢，不要對新加磁盤進(jìn)行格式化，保持裸設(shè)備。5.2、配置ASM磁盤(兩節(jié)點(diǎn))使用udev管理配置磁盤方式rpm -qa|grep udev-查看是否安裝udev執(zhí)行以下命令，獲取scsi id信息scsi_id -g -u -d /dev/sdb c|d36000c292f99f2349911c3766f3cc53d736000c293f4c9f2c1fdd38a63e5861ad336000c2994d

42、5eda8fbefc5922b14ab651編輯udev配置文件，添加rules文件（/etc/udev/rules.d/）并授權(quán)添加以下參數(shù)。方法1：vi /etc/udev/rules.d/99-x-asmdisk.rulesKERNEL=sdb1, BUS=scsi, PROGRAM=scsi_id -g -u -d /dev/$parent,RESULT=36000c292f99f2349911c3766f3cc53d7, NAME=asmdiskOCR, OWNER:=grid, GROUP:=dba,MODE=0660KERNEL=sdc1, BUS=scsi, PROGRAM=s

43、csi_id -g -u -d /dev/$parent,RESULT=36000c293f4c9f2c1fdd38a63e5861ad3, NAME=asmdiskDATA, OWNER:=grid, GROUP:=dba,MODE=0660KERNEL=sdd1, BUS=scsi, PROGRAM=scsi_id -g -u -d /dev/$parent,RESULT=36000c2994d5eda8fbefc5922b14ab651, NAME=asmdiskFRA, OWNER:=grid, GROUP:=dba,MODE=0660注意：一行為一條規(guī)則, 與下一個(gè)關(guān)鍵詞要有空格GR

44、OUP:=后面不確定值，dba與asmadmin都可以啟動(dòng)udevstart_udevls /dev/asmdisk*方法2：vi /etc/udev/rules.d/99-oracle-asmdevices.rules直接在命令行下輸入并執(zhí)行以下循環(huán)for i in b c d;doecho KERNEL=sd*, BUS=scsi, PROGRAM=/sbin/scsi_id -whitelisted -replace-whitespace -device=/dev/$name, RESULT=/sbin/scsi_id -whitelisted -replace-whitespace -

45、device=/dev/sd$i, NAME=asm-disk$i, OWNER=grid, GROUP=asmadmin, MODE=0660 /etc/udev/rules.d/99-oracle-asmdevives.rulesdone注意：此處的b、c、d是sdb、sdc、sdd去掉sd啟動(dòng)udevstart_udevls /dev/asm*6、配置Linux系統(tǒng)6.1、用戶組及用戶設(shè)置(兩節(jié)點(diǎn)，root用戶)6.1.1、創(chuàng)建Oracle軟件組groupadd -g 601 oinstallgroupadd -g 602 dbagroupadd -g 603 opergroupadd

46、-g 604 asmadmingroupadd -g 605 asmdbagroupadd -g 606 asmoper6.1.2、創(chuàng)建grid、oracle用戶useradd -u 601 -g oinstall -G asmadmin,asmdba,asmoper griduseradd -u 602 -g oinstall -G dba,oper,asmdba oracle6.1.3、為grid、oracle用戶設(shè)置密碼passwd gridpasswd oracle6.2、主機(jī)名IP映射文件設(shè)置(兩節(jié)點(diǎn))vi /etc/hosts-加入以下內(nèi)容#public:31 rac132 rac

47、2#vip:33 rac1-vip34 rac2-vip#priv31 rac1-priv32 rac2-priv#SCAN35 rac-scan6.3、配置Linux內(nèi)核參數(shù)(兩節(jié)點(diǎn))vi /etc/sysctl.conf-加入以下內(nèi)容fs.aio-max-nr = 1048576fs.file-max = 6815744kernel.shmmni = 4096kernel.sem = 250 32000 100 128net.ipv4.ip_local_port_range = 9000 65500net.core.rmem_default = 262144net.core.rmem_ma

48、x = 4194304net.core.wmem_default = 262144net.core.wmem_max = 1048576sysctl p-使以上設(shè)置生效6.4、設(shè)置grid、oracle用戶設(shè)置shell limits(兩節(jié)點(diǎn))vi /etc/security/limits.conf-加入以下內(nèi)容grid soft nproc 2047grid hard nproc 16384grid soft nofile 1024grid hard nofile 65536grid soft stack 10240grid hard stack 32768oracle soft nproc

49、 2047oracle hard nproc 16384oracle soft nofile 1024oracle hard nofile 65536oracle soft stack 10240oracle hard stack 32768vi /etc/pam.d/login-加入以下內(nèi)容session required pam_limits.so6.5、創(chuàng)建Oracle Inventory Directory(兩節(jié)點(diǎn))mkdir -p /u01/app/oraInventorychown -R grid.oinstall /u01/app/oraInventorychmod -R 775

50、 /u01/app/oraInventory6.6、創(chuàng)建Oracle Grid Infrastructure Home目錄(兩節(jié)點(diǎn))mkdir -p /u01/app/gridmkdir -p /u01/app/grid/crsmkdir -p /u01/app/grid/11.2.0chown -R grid.oinstall /u01/app/gridchmod -R 775 /u01/app/grid6.7、創(chuàng)建Oracle RDBMS Home目錄(兩節(jié)點(diǎn))mkdir -p /u01/app/oraclechown -R oracle.oinstall /u01/app/oraclec

51、hmod -R 775 /u01/app/oraclemkdir -p /u01/app/oracle/product/11.2.0/db_1chown -R oracle.oinstall /u01/app/oracle/product/11.2.0/db_1chmod -R 775 /u01/app/oracle/product/11.2.0/db_16.8、安裝相應(yīng)系統(tǒng)支持包(兩節(jié)點(diǎn)64&32bit)binutilscompat-libstdc+-33 elfutils-libelf elfutils-libelf-devel gcc gcc-c+ glibc glibc-common

52、glibc-devel glibc-headers ksh libaio libaio-devel libgcc libstdc+ libstdc+-devel make numactl-devel sysstatunixODBCunixODBC-devel方法1：拷貝系統(tǒng)光盤內(nèi)容到本地目錄mkdir /yum/cp /media/* /yum/刪除/etc/yum.repos.d/下內(nèi)容并創(chuàng)建yum.repovi /etc/yum.repos.d/yum.repoyumname=yumbaseurl=file:/yum/enabled=1方法2：rpm ivh nodeps force *r

53、pm6.9、修改grid、oracle用戶環(huán)境變量(兩節(jié)點(diǎn))Su grid-切換到grid用戶，修改環(huán)境變量Vi .bash_profile-刪除重復(fù)內(nèi)容，加入以下內(nèi)容export ORACLE_HOSTNAME=rac1(rac2)export ORACLE_UNQNAME=racexport ORACLE_BASE=/u01/app/grid/crsexport ORACLE_HOME=/u01/app/grid/11.2.0export ORACLE_SID=+ASM1(+ASM2)export ORACLE_TERM=xtermexport PATH=$ORACLE_HOME/bin:

54、/usr/sbin:$PATHexport LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/libexport CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlibexport TMP=/tmpexport TMPDIR=$TMPSu oracle-切換到oracle用戶，修改環(huán)境變量Vi .bash_profile-刪除重復(fù)內(nèi)容，加入以下內(nèi)容export ORACLE_HOSTNAME=rac1(rac2)export ORACLE_UNQNAME=racexport O

55、RACLE_BASE=/u01/app/oracleexport ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1export ORACLE_SID=rac1(rac2)export ORACLE_TERM=xtermexport PATH=$ORACLE_HOME/bin:/usr/sbin:$PATHexport LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/libexport CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jli

56、bexport TMP=/tmpexport TMPDIR=$TMP7、關(guān)閉防火墻7.1、設(shè)置SELinux(兩節(jié)點(diǎn))1、立即生效setenforce 0-立即關(guān)閉SELinuxgetenforce-查看SELinux狀態(tài)2、永久生效vi /etc/selinux/config-關(guān)閉selinux替換SELinux=enforcing為SELinux=disabled7.2、關(guān)閉防火墻iptables(兩節(jié)點(diǎn))service iptables saveservice iptables stop-關(guān)閉iptableschkconfig iptables off-設(shè)置iptables不隨系統(tǒng)啟動(dòng)c

57、hkconfig -list iptables-查看防火墻狀態(tài)列表8、設(shè)置grid、oracle用戶ssh等效性ssh等效性操作過程一樣，因此只需切換到相應(yīng)用戶執(zhí)行即可su grid-兩節(jié)點(diǎn)cd /home/gridrm -rf /.sshmkdir /.sshchmod 700 /.sshssh-keygen -t rsassh-keygen -t dsa配置同步rac1節(jié)點(diǎn)cat /.ssh/id_rsa.pub /.ssh/authorized_keyscat /.ssh/id_dsa.pub /.ssh/authorized_keysscp /.ssh/authorized_keys

58、rac2:/.ssh/authorized_keysrac2節(jié)點(diǎn)cat /.ssh/id_rsa.pub /.ssh/authorized_keyscat /.ssh/id_dsa.pub /.ssh/authorized_keysscp /.ssh/authorized_keys rac1:/.ssh/authorized_keys檢測連通性-兩節(jié)點(diǎn)ssh racdb1 datessh racdb2 datessh racdb1-priv datessh racdb2-priv date注意：第一次詢問是否要連接，輸入yes即可。9、時(shí)鐘同步9.1、使用Linux系統(tǒng)的NTP服務(wù)同步時(shí)鐘(兩

59、節(jié)點(diǎn))vi /etc/ntp.conf-主節(jié)點(diǎn)rac1加入以下內(nèi)容Server Fudge stratum 11Broadcastdelay 0.008vi /etc/ntp.conf -其他節(jié)點(diǎn)rac2加入以下內(nèi)容Server 31 preferDriftfile /var/lib/ntp/driftBroadcastdelay 0.008vi /etc/sysconfig/ntpd-配置NTP服務(wù)SYNC_HWCLOCK=yesOPTIONS=-x -u ntp:ntp -p /var/run/ntpd.pid/etc/init.d/ntpd restart-啟動(dòng)NTP服務(wù)chkconfi

60、g ntpd on-設(shè)置NTP服務(wù)隨系統(tǒng)啟動(dòng)netstat -an |grep 123 -確保該端口以u(píng)dp方式開放ntpstat-查看NTP服務(wù)狀態(tài)9.2、使用oracle集群軟件ctss服務(wù)同步時(shí)鐘(兩節(jié)點(diǎn))11G R2 默認(rèn)有自己的時(shí)間同步機(jī)制，沒有NTP也是可以的。有NTP的話ctss應(yīng)該一直運(yùn)行觀察模式的。使用集群時(shí)間同步服務(wù)在集群中提供同步服務(wù)，需要卸載網(wǎng)絡(luò)時(shí)間協(xié)議 (NTP) 及其配置。service ntpd stopchkconfig ntpd offmv /etc/ntp.conf /etc/ntp.conf.original -有/etc/ntp.conf這個(gè)文件，cts