第三部分_GoldenGate常用參數(shù)

1、2022年年3月月27日星期日日星期日GoldenGate參數(shù)參數(shù)概述概述 所有的所有的GoldenGate進(jìn)程均有參數(shù)文件進(jìn)程均有參數(shù)文件ManagerExtractReplicatUtilities所有參數(shù)均有缺省配置所有參數(shù)均有缺省配置實(shí)際應(yīng)用只需對(duì)小部分參數(shù)進(jìn)行配置 所有參數(shù)文件均放在所有參數(shù)文件均放在 ./dirprm目錄下目錄下缺省通過(guò)進(jìn)程名進(jìn)行查找.2022年年3月月27日星期日日星期日Manager參數(shù)參數(shù) MANAGER 參數(shù)舉例參數(shù)舉例PORT 7809DYNAMICPORTLIST 7840-7850PURGEOLDEXTRACTS /ggs/dirdat/rt*, US

2、ECHECKPOINTSAUTOSTART ER *AUTORESTART EXTRACT *, WAITMINUTES 2, RETRIES 5LAGREPORTHOURS 1LAGINFOMINUTES 3LAGCRITICALMINUTES 5ParameterDescriptionAUTOSTART指定在指定在mgr啟動(dòng)時(shí)自動(dòng)啟動(dòng)那些進(jìn)程啟動(dòng)時(shí)自動(dòng)啟動(dòng)那些進(jìn)程.AUTOSTART ER *AUTOSTART extract extszAUTORESTART指定在指定在mgr可以定時(shí)重啟那些進(jìn)程。可以在網(wǎng)絡(luò)中可以定時(shí)重啟那些進(jìn)程。可以在網(wǎng)絡(luò)中斷等故障恢復(fù)后自動(dòng)重起，避免人工干預(yù)斷等故障恢

3、復(fù)后自動(dòng)重起，避免人工干預(yù).AUTORESTART ER *, WAITMINUTES 5, RETRIES 3DYNAMICPORTLIST指定指定GoldenGate可以使用那些端口接受可以使用那些端口接受extract發(fā)送發(fā)送過(guò)來(lái)的數(shù)據(jù)過(guò)來(lái)的數(shù)據(jù).DYNAMICPORTLIST 7840-7850PORT制定制定GoldenGate的的mgr進(jìn)程使用哪個(gè)進(jìn)程使用哪個(gè) TCP/IP端口偵端口偵聽請(qǐng)求聽請(qǐng)求.PORT 7809MANAGER Parameters Port ManagementMANAGER Parameters Event ManagementParameterDescri

4、ptionLAGCRITICAL指定認(rèn)為超過(guò)此時(shí)間即為嚴(yán)重錯(cuò)誤的延遲最大值，如果延遲達(dá)到指定認(rèn)為超過(guò)此時(shí)間即為嚴(yán)重錯(cuò)誤的延遲最大值，如果延遲達(dá)到此時(shí)間值則會(huì)在此時(shí)間值則會(huì)在ggserr.log里面寫入一條里面寫入一條error信息信息LAGCRITICALMINUTES 10LAGINFO指定一個(gè)延遲時(shí)限，如果延遲達(dá)到此時(shí)間值則會(huì)在指定一個(gè)延遲時(shí)限，如果延遲達(dá)到此時(shí)間值則會(huì)在ggserr.log里面里面寫入一條寫入一條info信息信息LAGINFOMINUTES 3LAGREPORT指定在指定在ggserr.log中報(bào)告延遲的時(shí)間間隔中報(bào)告延遲的時(shí)間間隔.LAGREPORTHOURS 1PUR

5、GEOLDEXTRACTS定義自動(dòng)刪除過(guò)時(shí)的隊(duì)列以節(jié)省硬盤空間。一般按照兩個(gè)規(guī)則來(lái)定義自動(dòng)刪除過(guò)時(shí)的隊(duì)列以節(jié)省硬盤空間。一般按照兩個(gè)規(guī)則來(lái)刪除：首先，要滿足檢查點(diǎn)要求，沒(méi)有使用過(guò)的隊(duì)列不能刪除，刪除：首先，要滿足檢查點(diǎn)要求，沒(méi)有使用過(guò)的隊(duì)列不能刪除，保證無(wú)數(shù)據(jù)丟失；其次，可以保留一定的天數(shù)。只有當(dāng)已經(jīng)使用保證無(wú)數(shù)據(jù)丟失；其次，可以保留一定的天數(shù)。只有當(dāng)已經(jīng)使用過(guò)且超過(guò)設(shè)定的天數(shù)后的隊(duì)列會(huì)被自動(dòng)刪除。過(guò)且超過(guò)設(shè)定的天數(shù)后的隊(duì)列會(huì)被自動(dòng)刪除。purgeoldextracts /backup/goldengate/dirdat/*,usecheckpoints, minkeepdays 72022年

6、年3月月27日星期日日星期日Extract 參數(shù)參數(shù)Extract 參數(shù)概覽參數(shù)概覽抽取進(jìn)程有以下方面參數(shù)抽取進(jìn)程有以下方面參數(shù): Checkpoint復(fù)制目標(biāo)復(fù)制目標(biāo)Local SystemMultiple Remote SystemsOne to many GoldenGate Trails數(shù)據(jù)源數(shù)據(jù)源Which TablesWhich Rows and ColumnsWhich Operations數(shù)據(jù)影射和變換數(shù)據(jù)影射和變換Extract參數(shù)文件舉例參數(shù)文件舉例 日志抽取進(jìn)程日志抽取進(jìn)程extract extszuserid goldengate, password *-REPORT

7、AT 01:59-reportrollover at 02:00-transmemory directory (/backup/goldengate/dirtmp,8G,4G),ram 2G,transram 500Mtranlogoptions rawdeviceoffset 0 -raw設(shè)備設(shè)備-warnlongtrans 12h, checkintervals 30mexttrail /backup/goldengate/dirdat/szdynamicresolutionnumfiles 2000tableexclude ctais2.TMP_*;tableexclude ctais2

8、.BAK_*;tableexclude ctais2.MLOG$_*;tableexclude ctais2.RUPD$_*;tableexclude ctais2.KJ_*;-以第一個(gè)以第一個(gè)讀讀到的參數(shù)到的參數(shù)為為準(zhǔn)準(zhǔn)table ctais2.*;Extract參數(shù)文件舉例參數(shù)文件舉例 傳輸進(jìn)程傳輸進(jìn)程extract dpeszsetenv ( NLS_LANG = AMERICAN_AMERICA.ZHS16GBK )passthruREPORT AT 01:59reportrollover at 02:00transmemory directory (/backup/goldengat

9、e/dirtmp,8G,4G), ram 2G,transram 500M-threadoptions iolatencydelay 3000rmthost 99.16.1.12,mgrport 7809, compress rmttrail /oradata/goldengate/dirdat/sz dynamicresolutionnumfiles 3000table ctais2.*;Extract Table參數(shù)參數(shù)Syntax:TABLE , WHERE (), FILTER (), KEYCOLS (), COLS () | , ) , COLSEXCEPT () | , ) ,

10、FETCHCOLS () | , ) , FETCHCOLSEXCEPT () | , ) , SQLEXEC , FETCHBEFOREFILTER , SQLPREDICATE “WHERE ” , COLMAP (), , , ;注意：注意：TABLE的結(jié)尾有一個(gè)分號(hào)。的結(jié)尾有一個(gè)分號(hào)。Extract參數(shù)（一）參數(shù)（一）ParameterDescriptionCHECKPARAMS如果加入該參數(shù)，表示下次運(yùn)行只是檢查一下語(yǔ)法，并不實(shí)際如果加入該參數(shù)，表示下次運(yùn)行只是檢查一下語(yǔ)法，并不實(shí)際運(yùn)行進(jìn)程。運(yùn)行進(jìn)程。注意：該命令只能檢查一些簡(jiǎn)單語(yǔ)法，并不能保證參數(shù)文件是注意：該命令只能檢查一些簡(jiǎn)單

11、語(yǔ)法，并不能保證參數(shù)文件是完全正確的。完全正確的。COMMENT注釋行，也可以用兩個(gè)中劃線注釋行，也可以用兩個(gè)中劃線-代替代替.-checkparams表示本行已經(jīng)被注釋掉表示本行已經(jīng)被注釋掉EXTRACT定義抽取進(jìn)程的名字定義抽取進(jìn)程的名字OBEY可以將外部文件的內(nèi)容包含到本參數(shù)文件中來(lái)。用于將一些可可以將外部文件的內(nèi)容包含到本參數(shù)文件中來(lái)。用于將一些可以重復(fù)利用的參數(shù)文件部分內(nèi)容隔離出來(lái)，便于統(tǒng)一修改。以重復(fù)利用的參數(shù)文件部分內(nèi)容隔離出來(lái)，便于統(tǒng)一修改。Obey tables.txtTABLEEXCLUDE定義所需要排除的表。如果在定義所需要排除的表。如果在table里面定義了使用通配符，

12、那里面定義了使用通配符，那么可以使用該參數(shù)定義排除掉其中的部分表。如：么可以使用該參數(shù)定義排除掉其中的部分表。如：tableexclude ctais2.TMP_*;tableexclude ctais2.TEMPTAB;Extract參數(shù)（二）參數(shù)（二）ParameterDescriptionGETUPDATEAFTERS | IGNOREUPDATEAFTERS是否在隊(duì)列中寫入后影像，缺省復(fù)制是否在隊(duì)列中寫入后影像，缺省復(fù)制GETUPDATEBEFORES | IGNOREUPDATEAFTERS是否在隊(duì)列中寫入前影像，缺省不復(fù)制是否在隊(duì)列中寫入前影像，缺省不復(fù)制GETUPDATES |

13、IGNOREUPDATES是否復(fù)制是否復(fù)制update操作，缺省復(fù)制操作，缺省復(fù)制GETDELETES | IGNOREDELETES是否復(fù)制是否復(fù)制delete操作，缺省復(fù)制操作，缺省復(fù)制GETINSERTS | IGNOREINSERTS是否復(fù)制是否復(fù)制insert操作，缺省復(fù)制操作，缺省復(fù)制GETRUNCATES| IGNORETRUNCATES是否復(fù)制是否復(fù)制truncate操作，缺省不復(fù)制操作，缺省不復(fù)制.Extract參數(shù)（三）參數(shù)（三）ParameterDescriptionRMTHOST指定目標(biāo)系統(tǒng)及其指定目標(biāo)系統(tǒng)及其GoldenGate Manager進(jìn)程的端口號(hào)，也用于進(jìn)程

14、的端口號(hào)，也用于定義是否使用壓縮進(jìn)行傳輸。定義是否使用壓縮進(jìn)行傳輸。rmthost 99.16.1.12,mgrport 7809, compressRMTTRAIL指定寫入到目標(biāo)端的哪個(gè)隊(duì)列。指定寫入到目標(biāo)端的哪個(gè)隊(duì)列。EXTTRAIL指定寫入到本地的哪個(gè)隊(duì)列。指定寫入到本地的哪個(gè)隊(duì)列。SQLEXEC在在extract運(yùn)行時(shí)首先運(yùn)行一個(gè)運(yùn)行時(shí)首先運(yùn)行一個(gè)sql語(yǔ)句。語(yǔ)句。sqlexec Alter session set constraints=deferredPASSTHRU禁止禁止extract與數(shù)據(jù)庫(kù)交互，適用于與數(shù)據(jù)庫(kù)交互，適用于Data Pump傳輸進(jìn)程傳輸進(jìn)程（dpeXX）。）。

15、GETENV | SETENV針對(duì)針對(duì)extract進(jìn)程設(shè)定系統(tǒng)環(huán)境變量。進(jìn)程設(shè)定系統(tǒng)環(huán)境變量。setenv ( NLS_LANG = AMERICAN_AMERICA.ZHS16GBK )ParameterDescriptionREPORT定義自動(dòng)定時(shí)報(bào)告。定義自動(dòng)定時(shí)報(bào)告。REPORT AT 01:59STATOPTIONS定義每次使用定義每次使用stat時(shí)統(tǒng)計(jì)數(shù)字是否需要重置。時(shí)統(tǒng)計(jì)數(shù)字是否需要重置。REPORTCOUNT報(bào)告已經(jīng)處理的紀(jì)錄條數(shù)統(tǒng)計(jì)數(shù)字。報(bào)告已經(jīng)處理的紀(jì)錄條數(shù)統(tǒng)計(jì)數(shù)字。TLTRACE打開對(duì)于數(shù)據(jù)庫(kù)日志的跟蹤日志打開對(duì)于數(shù)據(jù)庫(kù)日志的跟蹤日志TRACE/TRACE2打開對(duì)打開

16、對(duì)GoldenGate進(jìn)程的跟蹤日志，一般用于調(diào)試。進(jìn)程的跟蹤日志，一般用于調(diào)試。DISCARDFILE定義定義discard文件位置，如果處理中有紀(jì)錄出錯(cuò)會(huì)寫入到此文件文件位置，如果處理中有紀(jì)錄出錯(cuò)會(huì)寫入到此文件中。中。discardfile /oradata/goldengate/repkj.dsc,append,megabytes 100mExtract參數(shù)（四）參數(shù)（四）ParameterDescriptionNUMFILES定義本定義本extract為最大多少?gòu)埍眍A(yù)留空間，缺省為為最大多少?gòu)埍眍A(yù)留空間，缺省為500，超過(guò)，超過(guò)500張表需要設(shè)定一個(gè)比實(shí)際表數(shù)略大的值。張表需要設(shè)定一個(gè)

17、比實(shí)際表數(shù)略大的值。numfiles 3000PURGEOLDEXTRACTS同同mgr進(jìn)程，可以設(shè)置自動(dòng)刪除隊(duì)列，建議在進(jìn)程，可以設(shè)置自動(dòng)刪除隊(duì)列，建議在mgr設(shè)置。設(shè)置。REPORTROLLOVER設(shè)定切換一個(gè)日志的時(shí)間和間隔。設(shè)定切換一個(gè)日志的時(shí)間和間隔。reportrollover at 02:00TRANSMEMORY設(shè)定設(shè)定GoldenGate的抽取進(jìn)程能夠使用的內(nèi)存大小。如下參數(shù)的抽取進(jìn)程能夠使用的內(nèi)存大小。如下參數(shù)指定本進(jìn)程最大只能占用指定本進(jìn)程最大只能占用2G內(nèi)存，其中每個(gè)事務(wù)最大占用內(nèi)內(nèi)存，其中每個(gè)事務(wù)最大占用內(nèi)存不能超過(guò)存不能超過(guò)500M，如果超過(guò)則使用指定目錄作為虛擬內(nèi)

18、存，如果超過(guò)則使用指定目錄作為虛擬內(nèi)存，該目錄下的單個(gè)文件大小為該目錄下的單個(gè)文件大小為4G，最多只能在該目錄下占用，最多只能在該目錄下占用8G空間作為緩存：空間作為緩存：transmemory directory (/backup/goldengate/dirtmp,8G,4G),ram 2G,transram 500MExtrac參數(shù)（五）參數(shù)（五）Extrac參數(shù)（六）參數(shù)（六）ParameterDescriptionDBOPTIONS指定對(duì)于某種特定數(shù)據(jù)庫(kù)所需要的特殊參數(shù)。指定對(duì)于某種特定數(shù)據(jù)庫(kù)所需要的特殊參數(shù)。SOURCEDB, USERID ,PASSWORD指定所要登陸的數(shù)據(jù)庫(kù)名

19、稱，用戶名和密碼。對(duì)于指定所要登陸的數(shù)據(jù)庫(kù)名稱，用戶名和密碼。對(duì)于oracle無(wú)需指無(wú)需指定定sourcedb，直接指定用戶名和密碼即可。，直接指定用戶名和密碼即可。Userid goldengate, password goldengateTRANLOGOPTIONS指定在解析數(shù)據(jù)庫(kù)日志時(shí)所需要的特殊參數(shù)。例如，對(duì)于裸設(shè)指定在解析數(shù)據(jù)庫(kù)日志時(shí)所需要的特殊參數(shù)。例如，對(duì)于裸設(shè)備，可能需要加入下列參數(shù)：備，可能需要加入下列參數(shù)：tranlogoptions rawdeviceoffset 0 WARNLONGTRANS指定對(duì)于超過(guò)一定時(shí)間的長(zhǎng)交易可以在指定對(duì)于超過(guò)一定時(shí)間的長(zhǎng)交易可以在ggser

20、r.log里面寫里面寫入警告信息。例如，每隔入警告信息。例如，每隔30分鐘檢查一次長(zhǎng)交易，對(duì)于分鐘檢查一次長(zhǎng)交易，對(duì)于超過(guò)超過(guò)12個(gè)小時(shí)的進(jìn)行告警：個(gè)小時(shí)的進(jìn)行告警：-warnlongtrans 12h, checkintervals 30m2022年年3月月27日星期日日星期日Replicat參數(shù)參數(shù)Replicat 參數(shù)概覽參數(shù)概覽提供如下方面參數(shù)提供如下方面參數(shù): Checkpoint 數(shù)據(jù)影射關(guān)系數(shù)據(jù)影射關(guān)系Optional row-level selection criteriaOptional column mapping facilitiesOptional transforma

21、tion servicesOptional Stored Procedure or SQL query execution 錯(cuò)誤處理機(jī)制錯(cuò)誤處理機(jī)制 其它可選參數(shù)其它可選參數(shù)Replicat 參數(shù)舉例參數(shù)舉例replicat repszsetenv ( NLS_LANG = AMERICAN_AMERICA.ZHS16GBK )userid goldengate, password *sqlexec Alter session set constraints=deferredREPORT AT 01:59reportrollover at 02:00-handlecollisions repe

22、rror default,discarddiscardfile /oradata/goldengate/dirrpt/repsz.dsc,append, megabytes 10-grouptransops 100-batchsqlassumetargetdefsallownoopupdatesdynamicresolutionnumfiles 3000-mapexclude CTAIS2.JC_GY_SWWSWH-map CTAIS2.SHOULIXINXI, target CTAIS2.SHOULIXINXI, keycols ( SHOULIBIANHAO );MAP ctais2.*

23、,TARGET ctais2.*; Replicat MAP參數(shù)參數(shù)MAP , TARGET , EXCEPTIONSONLY, COLMAP (), KEYCOLS (), WHERE (), FILTER ();注意注意map語(yǔ)句必須以一個(gè)分號(hào)結(jié)束；語(yǔ)句必須以一個(gè)分號(hào)結(jié)束；Replicat命令（一）命令（一）ParameterDescriptionCHECKPARAMS檢查參數(shù)語(yǔ)法然后停止。檢查參數(shù)語(yǔ)法然后停止。COMMENT注釋行。注釋行。REPLICAT定義進(jìn)程名稱。定義進(jìn)程名稱。replicat repszUSERID指定登陸目標(biāo)數(shù)據(jù)庫(kù)的用戶名和密碼。指定登陸目標(biāo)數(shù)據(jù)庫(kù)的用戶名和密碼

24、。Userid goldengate, password 123456OBEY將外部文件包含到參數(shù)文件中。將外部文件包含到參數(shù)文件中。ParameterDescriptionASSUMETARGETDEFS假定兩端數(shù)據(jù)結(jié)構(gòu)一致使用此參數(shù)。假定兩端數(shù)據(jù)結(jié)構(gòu)一致使用此參數(shù)。SOURCEDEFS假定兩端數(shù)據(jù)結(jié)構(gòu)不一致，使用此參數(shù)指定源端的數(shù)據(jù)假定兩端數(shù)據(jù)結(jié)構(gòu)不一致，使用此參數(shù)指定源端的數(shù)據(jù)結(jié)構(gòu)定義文件。該文件需要由結(jié)構(gòu)定義文件。該文件需要由GoldenGate工具產(chǎn)生。工具產(chǎn)生。MAPEXCLUDE用于使用在用于使用在map中使用中使用*匹配時(shí)排除掉指定的表，類似匹配時(shí)排除掉指定的表，類似于于源端的

25、于于源端的tablexclude。mapexclude CTAIS2.JC_GY_SWWSWHMAP ctais2.* ,TARGET ctais2.*; GETDELETES | IGNOREDELETES是否復(fù)制是否復(fù)制delete操作，缺省為復(fù)制。操作，缺省為復(fù)制。GETUPDATES /IGNOREUPDATES是否復(fù)制是否復(fù)制update操作，缺省為復(fù)制。操作，缺省為復(fù)制。Replicat命令（二）命令（二）ParameterDescriptionGETINSERTS | IGNOREINSERTS是否復(fù)制是否復(fù)制insert操作，缺省為復(fù)制。操作，缺省為復(fù)制。GETUPDATEAF

26、TERS | IGNOREUPDATEAFTERS是否讀取后影像，缺省為讀取。是否讀取后影像，缺省為讀取。GETUPDATEBEFORES | IGNOREUPDATEBEFORES是否讀取前影像，缺省為不讀取。是否讀取前影像，缺省為不讀取。GETTRUNCATES | IGNORETRUNCATES是否復(fù)制是否復(fù)制truncate操作，缺省為不復(fù)制。操作，缺省為不復(fù)制。allownoopupdates允許執(zhí)行無(wú)實(shí)際變化的允許執(zhí)行無(wú)實(shí)際變化的update。例如，。例如，update a=a會(huì)紀(jì)錄一條會(huì)紀(jì)錄一條update，但是沒(méi)有后影像，無(wú)法正確構(gòu)筑，但是沒(méi)有后影像，無(wú)法正確構(gòu)筑where語(yǔ)句。語(yǔ)句。Replicat命令（三）命令（三）ParameterDescriptionREPERROR定義出錯(cuò)以后定義出錯(cuò)以后replicat的響應(yīng)，一般可以定義為兩種：的響應(yīng)，一般可以定義為兩種：Abend，即一旦出現(xiàn)錯(cuò)誤即停止復(fù)制，此為缺省配置；，即一旦出現(xiàn)錯(cuò)誤即停止復(fù)制，此為缺省配置；Discard，出現(xiàn)錯(cuò)誤后繼續(xù)復(fù)制，只把錯(cuò)誤的數(shù)據(jù)放到，出現(xiàn)錯(cuò)誤后繼續(xù)復(fù)制，只把錯(cuò)誤的數(shù)據(jù)放到discard文件中。文件中。REPERROR DEFAULT, DISCARDD