企業(yè)級數(shù)據(jù)倉庫 從Teradata 到 ADB PG遷移指南

第1頁共75頁企業(yè)級數(shù)據(jù)倉庫遷移指南第2頁共75頁 6 6 6 7 7 7 9 4.1.1數(shù)據(jù)類型轉(zhuǎn)換對照 4.1.2物理模型轉(zhuǎn)換規(guī)則 4.1.3使用已有的定義創(chuàng)建空表 第3頁共75頁 第4頁共75頁 8.3.3基于perlpsql連接數(shù)據(jù)庫函數(shù) 第5頁共75頁 第6頁共75頁1.1編寫目的角色說明遷移后如何進行的相關(guān)的維護，以保證系統(tǒng)1.2遷移原則外部表：允許用戶像訪問標準數(shù)據(jù)庫表一樣訪問外部文件的表的定第7頁共75頁2TD遷移至ADBPG概述2.1遷移總體目標2.2數(shù)據(jù)庫特征比較支持所有BI具改動量很小或沒有；p等外部表導(dǎo)出、COPY第8頁共75頁Teradata有少量特殊語法或函數(shù)rank、qualify等、函數(shù)如charADBPG都有相對應(yīng)的甚至更強大的函數(shù)，只是需要修改sql中的語等分布數(shù)據(jù)，分區(qū)表CRONTAB調(diào)度器+e系統(tǒng)監(jiān)控等管第9頁共75頁2.3遷移總體流程歷史數(shù)據(jù)遷移包括如下步驟：.從TD數(shù)據(jù)庫按規(guī)定分隔符及字符編碼將歷史數(shù)據(jù)導(dǎo)成文本文件，存放確保ADBPG數(shù)據(jù)庫通過gpfi第10頁共75頁應(yīng)用接口遷移包括如下步驟：管理工具部署如下步驟：數(shù)據(jù)卸載數(shù)據(jù)加載第11頁共75頁3TD數(shù)據(jù)卸載及DDL導(dǎo)出規(guī)范.在卸數(shù)前，需要按遷移前協(xié)商好的字符編碼從TD中卸出數(shù)據(jù)，推薦使.在卸數(shù)前，需要按遷移前協(xié)商好的分隔符從TD中卸出數(shù)據(jù)，推薦使用第12頁共75頁4數(shù)據(jù)定義語句(DDL)轉(zhuǎn)換4.1Createtable無第13頁共75頁無式為YYYY-MM-鍵，但是不推薦；不支持CHECK條件及創(chuàng)索引定義第14頁共75頁PIDefinitions索引定義鍵定義4.1.1數(shù)據(jù)類型轉(zhuǎn)換對照character(n),char(n)第15頁共75頁4.1.2物理模型轉(zhuǎn)換規(guī)則第16頁共75頁COMMENTONTABLEsc些散值進行分區(qū)）和RANGE（按時間或按連續(xù)區(qū)間值分區(qū)）第17頁共75頁舉例：第18頁共75頁4.1.3使用已有的定義創(chuàng)建空表轉(zhuǎn)換為：4.2Droptable第19頁共75頁4.3臨時表轉(zhuǎn)換>轉(zhuǎn)換直接將VOLATILE替換為temp/TEMPORARY，或者GLOBAL>允許會話中的其他查詢使用這個可變臨時表設(shè)置如ONCOMMIT在申請分布鍵前進行申明，語法如下：第20頁共75頁舉例：5數(shù)據(jù)操作語句(DML)轉(zhuǎn)換5.1Select5.1.1關(guān)鍵字轉(zhuǎn)換規(guī)則如下：第21頁共75頁5.1.2別名關(guān)鍵字轉(zhuǎn)換5.1.3子查詢別名轉(zhuǎn)換換規(guī)則如下：轉(zhuǎn)換為：第22頁共75頁5.1.4字段別名轉(zhuǎn)換轉(zhuǎn)換為：舉例：第23頁共75頁5.1.5調(diào)用函數(shù)區(qū)別5.2Delete第24頁共75頁其中：法如下：5.3Update第25頁共75頁6函數(shù)轉(zhuǎn)換6.1TD與ADBPG函數(shù)轉(zhuǎn)換對照表第26頁共75頁零處理移動匯總值移動差分值第27頁共75頁6.2函數(shù)轉(zhuǎn)換示例6.2.1Qualify函數(shù)6.2.2CHAR函數(shù)第28頁共75頁6.2.3char_chn函數(shù)octet_length(convert($1,'UNICODE',6.2.4NULLIFZERO函數(shù)$BODY$selectcoalesce(7其他轉(zhuǎn)換第29頁共75頁收集統(tǒng)計信息8ETL流程轉(zhuǎn)換8.1客戶端安全訪問認證組成。如果需要在字段中出現(xiàn)空白字符，需要將字段用引號引每個遠程客戶端訪問權(quán)限記錄格式如下：第30頁共75頁其中，全部數(shù)據(jù)庫。如果需要訪問多個數(shù)據(jù)庫，可以使用逗號(,)分割?；蛱柛S文件名的方式指定，該文件包含需要訪問的所所有的數(shù)據(jù)庫角色。如果需要允許組角色下的所有成員都可訪問，可前使用加號(+)表示。如果是多個角色可以使用逗號(,)分割?；蛘呤褂靡粋€標準的斜桿(/)分割I(lǐng)P地址和一個掩碼長度值。IP地址只能式，不可以使用域名或者主機名。掩碼長度表示的長度。指定的掩碼長度右邊的二進制IP地址位何IP地址。要匹配單個IP地址IPv4使用32作為掩碼長度，IPv6使第31頁共75頁8.2數(shù)據(jù)加載轉(zhuǎn)換8.2.1TD及ADBPG數(shù)據(jù)加載比較具外部表導(dǎo)入、者數(shù)據(jù)量較大時，推薦使用外部表的模式，因為快N倍。8.2.2ADBPG外部表加載數(shù)據(jù)啟動gpfdist服務(wù)例如：第32頁共75頁&&創(chuàng)建外部表第33頁共75頁其中，第34頁共75頁表中。LOGERRORSINTOerror_table：將加載過程中拒絕的數(shù)據(jù)寫在第35頁共75頁其中，第36頁共75頁表中。LOGERRORSINTOerror_table：將加載過程中拒絕的數(shù)據(jù)寫在()第37頁共75頁義數(shù)據(jù)文件的格式。以下是自定義數(shù)據(jù)文件格式的外部表語法：('gpfdist://filehost[:port]/fil其中：第38頁共75頁LOGERRORSINTOerror_table：將加載過程中拒絕的數(shù)據(jù)寫在下：第39頁共75頁('gpfdist://02:8)裝載數(shù)據(jù)其中：停止gpfdist服務(wù)第40頁共75頁8.2.3copy工具加載數(shù)據(jù)管表中已存在什么數(shù)據(jù)，只是追加)。如果從文件拷貝數(shù)據(jù)命令可以使用單條記錄隔離模式。在這種模式下，錯誤的記錄將被忽有正確格式的數(shù)據(jù)繼續(xù)裝載進目標表，隔離的錯誤記錄包括類型的列、無效的編碼格式等。在目前版本，單條記錄錯誤隔離模式全部失敗”的輸入模式，與外部表的隔離模式不同的是外部表加載時條記錄錯誤隔離模式。用戶可以指定可接受的錯誤行數(shù)操作會回滾。需要注意的是，錯誤記錄是按照每個Segment到，所有不包含錯誤的記錄都會加載至目標例如：第41頁共75頁第42頁共75頁表中。LOGERRORSINTOerror_table：將加載過程中拒絕的數(shù)據(jù)寫在第43頁共75頁8.3ETL應(yīng)用工具連接轉(zhuǎn)換8.3.1通用psql連接數(shù)據(jù)庫8.3.2通過DBI連接數(shù)據(jù)庫第44頁共75頁8.3.3基于perlpsql連接數(shù)據(jù)庫函數(shù)##參數(shù)：$gp_database##$db_usr############################################{第45頁共75頁}}第46頁共75頁}}8.3.4基于perlDBI連接數(shù)據(jù)庫函數(shù)##參數(shù)：$gp_database############################################{(“DBI:Pg:dbname=$gp_database;host=$gp_db_第47頁共75頁print_log("[Info][ETL_die("[Error][ETL_BASE-}die("[Error][ETL}第48頁共75頁warn"[Error][ETL_BASE-execute}}}9其他應(yīng)用接口遷移第49頁共75頁10資源負載管理遷移創(chuàng)建多個特定的資源隊列來管理多種類型的數(shù)據(jù)庫操作，例如高的查詢的工作負荷情況來設(shè)置資源隊列的限配置限制條件：第50頁共75頁注意：資源隊列一旦創(chuàng)建，可以將數(shù)據(jù)庫的角色（用戶）指定源隊列中，一個資源隊列可以擁有多個角色，但是一個角色只能分創(chuàng)建資源隊列語法：第51頁共75頁11角色及權(quán)限遷移角色與權(quán)限遷移包括如下內(nèi)容：有效用戶）權(quán)限導(dǎo)出，包括對數(shù)據(jù)庫對象的操作權(quán)限（如登陸據(jù)庫創(chuàng)建后創(chuàng)建相應(yīng)角色；12備份與恢復(fù)管理12.1備份簡述第52頁共75頁的調(diào)度程序)調(diào)度ADBPG數(shù)據(jù)庫的gp_dump后臺自動備份。調(diào)用gpcrondump的調(diào)度作業(yè)應(yīng)該部署在ADBPG的Master主機?？梢韵鄳?yīng)的使用pg_restore命令（歸檔格式的備份文件恢復(fù)時使用12.2非并行備份與恢復(fù)12.2.1非并行備份非并行備份簡述備份文件，包含所有活動Instance實例的數(shù)據(jù)。大多數(shù)情況下，不建議采用該第53頁共75頁pg_dump語法語法說明：第54頁共75頁pg_dumpall語法語法說明：第55頁共75頁12.2.2非并行恢復(fù)非并行恢復(fù)簡述有時，相對于并行恢復(fù)來說非并行恢復(fù)可能是很有必要的，第56頁共75頁有4份備份文件，無法在新的系統(tǒng)上平均分布。而非并行恢復(fù)則是將每個pg_restore語法語法說明：-ddbname|--dbname=dbname第57頁共75頁12.3并行備份與恢復(fù)12.3.1并行備份并行備份簡述有ADBPG系統(tǒng)日志表（比如gp_segment_configuration各實例備份文件命令的一個包裝，備份命令可以直接被調(diào)度器CRON調(diào)用。之外，gpcrondump命令還可備份數(shù)據(jù)庫其他對象，如第58頁共75頁gp_dump備份gp_dump命令將執(zhí)行如下的操作并產(chǎn)件，備份文件的名稱為：備份文件的名稱為：件的名稱為：文件的名稱為：第59頁共75頁活動的)Instance會備份。備份文件的名稱為：注意：14位數(shù)字的時間戳，它是唯一標識備份操作的標識符，且作為gp_dump操作產(chǎn)生的每個備份文件名稱的組成部分。這個時間戳在使用gp_dump語法第60頁共75頁語法說明：第61頁共75頁第62頁共75頁gpcrondump備份錄：第63頁共75頁GPHOME=/usr/local/gre例如：4、在該文件中，每行輸入一個電子郵件地址。例如：jjones@gpcrodump語法第64頁共75頁語法說明：記錄數(shù)據(jù)庫備份信息至public.gpcrondu第65頁共75頁備份日志存放目錄，默認為~/gpAdminLog-ubackupdirectory第66頁共75頁-yreportfile12.3.2并行恢復(fù)并行恢復(fù)簡述備份集合。gp_restore是ADBPG提供的并行恢復(fù)命令。這個命令通過使用gp_restore恢復(fù)gp_restore命令使用由gp_d第67頁共75頁運行由gp_dump生成的gp_dump1<dbid>_<timestamp>文件中作為gp_dump操作產(chǎn)生的每個備份文件名稱的組成部分。這個第68頁共75頁2、確保在系統(tǒng)中，需要恢復(fù)的數(shù)據(jù)庫(Database)已經(jīng)被創(chuàng)建。例gp_restore語法語法說明：第69頁共75頁第70頁共75頁使用gpdbrestore恢復(fù)具備：（這個過程假設(shè)已經(jīng)將備份文件移出GP集群到同一網(wǎng)絡(luò)內(nèi)的其他主機）2、確保在系統(tǒng)中，需要恢復(fù)的數(shù)據(jù)庫(Database)已經(jīng)被創(chuàng)建。例gpdbrestore語法gpdbrestore{-ttimestampkey[-L]|-bYYYYMMDD|-R第71頁共