甲骨文、超高速數(shù)據(jù)轉移實用工具的基礎課件

甲骨文、超高速數(shù)據(jù)轉移實用工具的基礎課件Oracle數(shù)據(jù)庫10g

中的數(shù)據(jù)泵：超高速數(shù)據(jù)轉移實用工具的基礎甲骨文公司Oracle數(shù)據(jù)庫10g中的數(shù)據(jù)泵：數(shù)據(jù)泵：概述什么是數(shù)據(jù)泵？主要特性體系結構性能要記住的事情對原來的exp/imp的一些看法數(shù)據(jù)泵：概述什么是數(shù)據(jù)泵？數(shù)據(jù)泵：什么是數(shù)據(jù)泵？基于服務器的工具，用于在加載和卸載數(shù)據(jù)和元數(shù)據(jù)時獲得高性能可調用：DBMS_DATAPUMP。在內部使用DBMS_METADATA以直接路徑(DirectPath)流的格式寫入數(shù)據(jù)。以XML的格式寫入元數(shù)據(jù)新的客戶端程序expdp和impdp：原來的exp/imp的擴展集流、邏輯備用、網(wǎng)格、可移動表空間和數(shù)據(jù)挖掘初始實例化的基礎。數(shù)據(jù)泵：什么是數(shù)據(jù)泵？基于服務器的工具，用于在加載和卸載數(shù)據(jù)特性：高性能?。∽詣?、雙層并行化用于分區(qū)間并行化的直接路徑用于分區(qū)內并行化的外部表示例：parallel=<活動線程數(shù)量>動態(tài)：在企業(yè)版中可以從一個正在運行的作業(yè)中添加或刪除工作線程自動構建索引，使并行度達到作業(yè)數(shù)同時進行數(shù)據(jù)和元數(shù)據(jù)卸載單線程數(shù)據(jù)卸載：1.5-2Xexp單線程數(shù)據(jù)加載：15X-40Ximp使用索引構建：4-10Ximp特性：高性能?。∽詣?、雙層并行化特性：檢查點/重新啟動作業(yè)進度記錄在一個“主表”中可以顯式地停止并在以后重新啟動：在當前項目完成后停止或立即停止異常終止的作業(yè)也可以重新啟動如果有問題可以在重啟時跳過當前的對象特性：檢查點/重新啟動作業(yè)進度記錄在一個“主表”中特性：網(wǎng)絡模式網(wǎng)絡導入：直接從一個數(shù)據(jù)庫加載另一個數(shù)據(jù)庫網(wǎng)絡導出：將一個遠程數(shù)據(jù)庫卸載至一個本地的轉儲文件集中允許導出只讀數(shù)據(jù)庫數(shù)據(jù)泵在本地運行，元數(shù)據(jù)API遠程運行。使用數(shù)據(jù)庫鏈接，而不是管道。以‘insertinto<本地表>selectfrom<遠程表>@<數(shù)據(jù)庫鏈接>’的方式轉移數(shù)據(jù)直接路徑引擎在兩端均使用很容易阻塞網(wǎng)絡帶寬：小心！特性：網(wǎng)絡模式網(wǎng)絡導入：直接從一個數(shù)據(jù)庫加載特性：細粒度的對象選擇兩種操作（導出和導入）都支持所有的對象類型Exclude（排除）：從操作中排除指定的對象類型Include（包含）：只包含指定的對象類型。例如，只包含檢索程序包、函數(shù)和過程雖然可以指定兩者中的一個或兩個，但新的客戶端程序禁止同時使用兩者兩者都使用一個可選的名稱過濾器，以獲得甚至更高的細粒度：INCLUDEPACKAGE:“LIKE‘PAYROLL%’“EXCLUDETABLE:“IN(‘FOO’,’BAR’,…)’“特性：細粒度的對象選擇兩種操作（導出和導入）都支持特性：監(jiān)控靈活的GET_STATUS調用每個工作線程的狀態(tài)，顯示當前的對象和完成的百分比初始的作業(yè)空間估計和總體完成百分比作業(yè)狀態(tài)和描述工作進度和錯誤特性：監(jiān)控靈活的GET_STATUS調用特性：轉儲文件集管理基于目錄：例如，DMPDIR:export01.dmp

其中DMPDIR

創(chuàng)建為：

SQL>createdirectorydmpdiras‘/data/dumps’支持指定多個帶通配符的文件：

dumpfile=dmp1dir:full1%u.dmp,dmp2dir:full2%u.dmp根據(jù)需要從提供的文件指定中循環(huán)創(chuàng)建文件可以限制文件大小以便管理自動維護轉儲文件集的一致性特性：轉儲文件集管理基于目錄：例如，DMPDIR:expor新的客戶端程序—

expdp/impdp類似（但不完全相同）于exp/imp的外觀支持所有的模式：完整、模式、表、表空間、可傳輸。exp/imp的擴展集支持閃回expdp和

impdp都支持查詢，并且在每一個表的基礎上進行！與正在運行的作業(yè)連接或分離允許每個作業(yè)與多個客戶端程序連接；但一個客戶端程序一次只能與一個作業(yè)連接如果擁有權限，可以連接并控制其他用戶的作業(yè)新的客戶端程序—

expdp/impdp類似（但不完新的客戶端程序—expdp/impdp通過Ctl-C進入交互式模式：ADD_FILE：為作業(yè)添加轉儲文件和通配符文件指定PARALLEL：動態(tài)添加或刪除工作線程STATUS：獲取每個工作線程的詳細狀態(tài)并修改報表時間間隔STOP_JOB{=IMMEDIATE}：停止作業(yè)，使其為可重新啟動。IMMEDIATE不等待工作線程完成當前的工作項目……它們將在重新啟動時重新執(zhí)行START_JOB：重新啟動一個先前停止的作業(yè)KILL_JOB：停止作業(yè)并刪除其所有的資源（主表、轉儲文件），使其為不可重新啟動CONTINUE：退出交互模式，繼續(xù)記錄日志EXIT：退出客戶端程序，使作業(yè)保持運行新的客戶端程序—expdp/impdp通過Ctl-特性：其他的出色特性……使用XML可以容易地進行DDL轉換：REMAP_SCHEMAREMAP_TABLESPACEREMAP_DATAFILE可以隱藏段和存儲屬性可以只提取和加載數(shù)據(jù)、或元數(shù)據(jù)，或提取和加載兩者SQLFILE操作生成可執(zhí)行的DDL腳本如果一個表在加載時已存在，那么您可以：跳過它（默認）、替換它、截取然后加載或者附加到其末尾根據(jù)分配的塊（默認）或統(tǒng)計信息（如果提供）進行空間估計企業(yè)管理器界面集成了9i

和10g可調用！特性：其他的出色特性……使用XML可以容易地進行DDL體系結構：結構圖直接路徑API外部表APIOracle_Loader元數(shù)據(jù)

API：DBMS_METADATAOracle_DataPumpexpdpimpdp企業(yè)管理器

數(shù)據(jù)泵DBMS_DATAPUMP數(shù)據(jù)/元數(shù)據(jù)轉移引擎其他客戶端程序：數(shù)據(jù)挖掘等體系結構：結構圖直接路徑外部表APIOracle_元數(shù)據(jù)O體系結構：流程圖主控制進程用戶A的影子進程轉儲文件集：數(shù)據(jù)、元數(shù)據(jù)和主表用戶A：expdp用戶B的影子進程動態(tài)命令（停止、啟動、并行化等）主表命令和控制隊列狀態(tài)隊列：工作進程和錯誤工作線程B：直接路徑工作線程C：外部表工作線程A：元數(shù)據(jù)用戶B：OEM并行進程1并行進程2日志文件體系結構：流程圖主控制用戶A的轉儲文件集：用戶A無需客戶端！主控制進程轉儲文件集：數(shù)據(jù)、元數(shù)據(jù)和主表主表工作線程B：直接路徑工作線程C：外部表工作線程A：元數(shù)據(jù)并行進程1并行進程2日志文件無需客戶端！主控制轉儲文件集：主表工作線程B：工作數(shù)據(jù)泵：性能調整默認的初始化參數(shù)就非常好！確保disk_asynch_io保持為TRUE擴展I/O！Parallel=不超過兩倍的CPU數(shù)量： 不要超過磁盤最高容量。必然的結果：擴展I/O?。?！為AQ消息發(fā)送和元數(shù)據(jù)API查詢提供足夠的SGA為長時間運行的查詢提供足夠的回滾這就是性能調整！數(shù)據(jù)泵：性能調整默認的初始化參數(shù)就非常好！大型的互聯(lián)網(wǎng)公司

2個事實表：16.2M行，2Gb程序花費時間原來的exp:direct=y0hr10min40sec調整后的exp:direct=ybuffer=2Mrecordlength=64K0hr04min08sec原來的expdp:Parallel=10hr03min12sec原來的imp2hr26min10sec調整后的imp:buffer=2Mrecordlength=64K2hr18min37sec原來的impdp:Parallel=10hr03min05sec每個表有一個索引調整后的imp:buffer=2Mrecordlength=64K2hr40min17secimpdp:Parallel=10hr25min10sec大型的互聯(lián)網(wǎng)公司

2個事實表：16.2M行，2Gb程Oracle應用程序種子數(shù)據(jù)庫：密集的元數(shù)據(jù)：392K個對象，200個模式，10K個表，總共2.1Gb的數(shù)據(jù)原來的exp/imp總共花費：32小時50分鐘exp：2小時13分鐘 imp：30小時37分鐘數(shù)據(jù)泵expdp/impdp總共花費：15小時40分鐘Expdp：1小時55分鐘impdp：13小時45分鐘對于expdp和impdp，Parallel=2Oracle應用程序種子數(shù)據(jù)庫：密集的元數(shù)據(jù)：392K個請記住：設計用于處理大量數(shù)據(jù)的*大型*作業(yè)元數(shù)據(jù)性能幾乎一樣更復雜的基礎架構，更長的啟動時間XML比DDL更大，但更靈活轉儲文件中的數(shù)據(jù)格式與exp相比壓縮了大約15%通過修剪主表實現(xiàn)了子集導入請記?。涸O計用于處理大量數(shù)據(jù)的*大型*作業(yè)原來的exp和imp將永遠支持原來的imp，以允許加載V5–V9i的轉儲文件原來的exp至少在10g中提供，但可能不支持所有新的功能。9iexp可以用于從10g降級不兼容原來的轉儲文件格式和數(shù)據(jù)泵轉儲文件格式原來的exp和imp將永遠支持原來的imp，以允許加10gBeta反饋英國電信：

IanCrocker，性能與存儲顧問

“我們已經(jīng)測試了新的Oracle10g

導出和導入實用工具：Oracle數(shù)據(jù)泵。數(shù)據(jù)泵導出的執(zhí)行速度是原來的兩倍，數(shù)據(jù)泵導入的執(zhí)行速度比原來快十倍。新的可管理性特性在監(jiān)視作業(yè)狀態(tài)時為我們提供更高的靈活性。”AirbusDeutschland： WernerKawollek，操作應用程序管理

“我們已經(jīng)測試了Oracle數(shù)據(jù)泵導出和導入實用工具，豐富的功能給我們留下了深刻的印象。首次測試結果表明與原來的導出和導入實用工具相比性能得到了巨大的提高?！?0gBeta反饋英國電信：Q&問答Q&問答甲骨文、超高速數(shù)據(jù)轉移實用工具的基礎課件Oracle數(shù)據(jù)庫10g

中的數(shù)據(jù)泵：超高速數(shù)據(jù)轉移實用工具的基礎甲骨文公司Oracle數(shù)據(jù)庫10g中的數(shù)據(jù)泵：數(shù)據(jù)泵：概述什么是數(shù)據(jù)泵？主要特性體系結構性能要記住的事情對原來的exp/imp的一些看法數(shù)據(jù)泵：概述什么是數(shù)據(jù)泵？數(shù)據(jù)泵：什么是數(shù)據(jù)泵？基于服務器的工具，用于在加載和卸載數(shù)據(jù)和元數(shù)據(jù)時獲得高性能可調用：DBMS_DATAPUMP。在內部使用DBMS_METADATA以直接路徑(DirectPath)流的格式寫入數(shù)據(jù)。以XML的格式寫入元數(shù)據(jù)新的客戶端程序expdp和impdp：原來的exp/imp的擴展集流、邏輯備用、網(wǎng)格、可移動表空間和數(shù)據(jù)挖掘初始實例化的基礎。數(shù)據(jù)泵：什么是數(shù)據(jù)泵？基于服務器的工具，用于在加載和卸載數(shù)據(jù)特性：高性能?。∽詣?、雙層并行化用于分區(qū)間并行化的直接路徑用于分區(qū)內并行化的外部表示例：parallel=<活動線程數(shù)量>動態(tài)：在企業(yè)版中可以從一個正在運行的作業(yè)中添加或刪除工作線程自動構建索引，使并行度達到作業(yè)數(shù)同時進行數(shù)據(jù)和元數(shù)據(jù)卸載單線程數(shù)據(jù)卸載：1.5-2Xexp單線程數(shù)據(jù)加載：15X-40Ximp使用索引構建：4-10Ximp特性：高性能??！自動、雙層并行化特性：檢查點/重新啟動作業(yè)進度記錄在一個“主表”中可以顯式地停止并在以后重新啟動：在當前項目完成后停止或立即停止異常終止的作業(yè)也可以重新啟動如果有問題可以在重啟時跳過當前的對象特性：檢查點/重新啟動作業(yè)進度記錄在一個“主表”中特性：網(wǎng)絡模式網(wǎng)絡導入：直接從一個數(shù)據(jù)庫加載另一個數(shù)據(jù)庫網(wǎng)絡導出：將一個遠程數(shù)據(jù)庫卸載至一個本地的轉儲文件集中允許導出只讀數(shù)據(jù)庫數(shù)據(jù)泵在本地運行，元數(shù)據(jù)API遠程運行。使用數(shù)據(jù)庫鏈接，而不是管道。以‘insertinto<本地表>selectfrom<遠程表>@<數(shù)據(jù)庫鏈接>’的方式轉移數(shù)據(jù)直接路徑引擎在兩端均使用很容易阻塞網(wǎng)絡帶寬：小心！特性：網(wǎng)絡模式網(wǎng)絡導入：直接從一個數(shù)據(jù)庫加載特性：細粒度的對象選擇兩種操作（導出和導入）都支持所有的對象類型Exclude（排除）：從操作中排除指定的對象類型Include（包含）：只包含指定的對象類型。例如，只包含檢索程序包、函數(shù)和過程雖然可以指定兩者中的一個或兩個，但新的客戶端程序禁止同時使用兩者兩者都使用一個可選的名稱過濾器，以獲得甚至更高的細粒度：INCLUDEPACKAGE:“LIKE‘PAYROLL%’“EXCLUDETABLE:“IN(‘FOO’,’BAR’,…)’“特性：細粒度的對象選擇兩種操作（導出和導入）都支持特性：監(jiān)控靈活的GET_STATUS調用每個工作線程的狀態(tài)，顯示當前的對象和完成的百分比初始的作業(yè)空間估計和總體完成百分比作業(yè)狀態(tài)和描述工作進度和錯誤特性：監(jiān)控靈活的GET_STATUS調用特性：轉儲文件集管理基于目錄：例如，DMPDIR:export01.dmp

其中DMPDIR

創(chuàng)建為：

SQL>createdirectorydmpdiras‘/data/dumps’支持指定多個帶通配符的文件：

dumpfile=dmp1dir:full1%u.dmp,dmp2dir:full2%u.dmp根據(jù)需要從提供的文件指定中循環(huán)創(chuàng)建文件可以限制文件大小以便管理自動維護轉儲文件集的一致性特性：轉儲文件集管理基于目錄：例如，DMPDIR:expor新的客戶端程序—

expdp/impdp類似（但不完全相同）于exp/imp的外觀支持所有的模式：完整、模式、表、表空間、可傳輸。exp/imp的擴展集支持閃回expdp和

impdp都支持查詢，并且在每一個表的基礎上進行！與正在運行的作業(yè)連接或分離允許每個作業(yè)與多個客戶端程序連接；但一個客戶端程序一次只能與一個作業(yè)連接如果擁有權限，可以連接并控制其他用戶的作業(yè)新的客戶端程序—

expdp/impdp類似（但不完新的客戶端程序—expdp/impdp通過Ctl-C進入交互式模式：ADD_FILE：為作業(yè)添加轉儲文件和通配符文件指定PARALLEL：動態(tài)添加或刪除工作線程STATUS：獲取每個工作線程的詳細狀態(tài)并修改報表時間間隔STOP_JOB{=IMMEDIATE}：停止作業(yè)，使其為可重新啟動。IMMEDIATE不等待工作線程完成當前的工作項目……它們將在重新啟動時重新執(zhí)行START_JOB：重新啟動一個先前停止的作業(yè)KILL_JOB：停止作業(yè)并刪除其所有的資源（主表、轉儲文件），使其為不可重新啟動CONTINUE：退出交互模式，繼續(xù)記錄日志EXIT：退出客戶端程序，使作業(yè)保持運行新的客戶端程序—expdp/impdp通過Ctl-特性：其他的出色特性……使用XML可以容易地進行DDL轉換：REMAP_SCHEMAREMAP_TABLESPACEREMAP_DATAFILE可以隱藏段和存儲屬性可以只提取和加載數(shù)據(jù)、或元數(shù)據(jù)，或提取和加載兩者SQLFILE操作生成可執(zhí)行的DDL腳本如果一個表在加載時已存在，那么您可以：跳過它（默認）、替換它、截取然后加載或者附加到其末尾根據(jù)分配的塊（默認）或統(tǒng)計信息（如果提供）進行空間估計企業(yè)管理器界面集成了9i

和10g可調用！特性：其他的出色特性……使用XML可以容易地進行DDL體系結構：結構圖直接路徑API外部表APIOracle_Loader元數(shù)據(jù)

API：DBMS_METADATAOracle_DataPumpexpdpimpdp企業(yè)管理器

數(shù)據(jù)泵DBMS_DATAPUMP數(shù)據(jù)/元數(shù)據(jù)轉移引擎其他客戶端程序：數(shù)據(jù)挖掘等體系結構：結構圖直接路徑外部表APIOracle_元數(shù)據(jù)O體系結構：流程圖主控制進程用戶A的影子進程轉儲文件集：數(shù)據(jù)、元數(shù)據(jù)和主表用戶A：expdp用戶B的影子進程動態(tài)命令（停止、啟動、并行化等）主表命令和控制隊列狀態(tài)隊列：工作進程和錯誤工作線程B：直接路徑工作線程C：外部表工作線程A：元數(shù)據(jù)用戶B：OEM并行進程1并行進程2日志文件體系結構：流程圖主控制用戶A的轉儲文件集：用戶A無需客戶端！主控制進程轉儲文件集：數(shù)據(jù)、元數(shù)據(jù)和主表主表工作線程B：直接路徑工作線程C：外部表工作線程A：元數(shù)據(jù)并行進程1并行進程2日志文件無需客戶端！主控制轉儲文件集：主表工作線程B：工作數(shù)據(jù)泵：性能調整默認的初始化參數(shù)就非常好！確保disk_asynch_io保持為TRUE擴展I/O！Parallel=不超過兩倍的CPU數(shù)量： 不要超過磁盤最高容量。必然的結果：擴展I/O?。?！為AQ消息發(fā)送和元數(shù)據(jù)API查詢提供足夠的SGA為長時間運行的查詢提供足夠的回滾這就是性能調整！數(shù)據(jù)泵：性能調整默認的初始化參數(shù)就非常好！大型的互聯(lián)網(wǎng)公司

2個事實表：16.2M行，2Gb程序花費時間原來的exp:direct=y0hr10min40sec調整后的exp:direct=ybuffer=2Mrecordlength=64K0hr04min08sec原來的expdp:Parallel=10hr03min12sec原來的imp2hr26min10sec調整后的imp:buffer=2Mrecordlength=64K2hr18min37sec原來的impdp:Parallel=10hr03min05sec每個表有一個索引調整后的imp:buffer=2Mrecordlength=64K2hr40min17secimpdp:Parallel=10hr25min10sec大型的互聯(lián)網(wǎng)公司

2個事實表：16