ODI工具抽取數(shù)據(jù)操作手冊

1、ODI工具抽取數(shù)據(jù)操作手冊一、準備工作（以ORACLE 11G為例）1、ODI是oracle的數(shù)據(jù)抽取工具，需要自行安裝oralce數(shù)據(jù)庫。2、請按照ODI安裝說明書安裝rcu資料庫和ODI工具。ODI11G安裝及使用_百度文庫：3、理解：資料檔案庫資料庫分兩種：（1）Master Repository（主資料庫），保存企業(yè)所有IT資源的Topology，保存項目和數(shù)據(jù)模型的安全信息、版本信息，供ODI圖形模塊等使用。通常創(chuàng)建一個即可。Master Repository要盡可能獨立存儲，單獨的Instance，或單獨的Schema。(2) Work Repository（工作資料庫），保存項目

2、和數(shù)據(jù)模型，供ODI圖形模塊等使用。可創(chuàng)建多個。一個Work Repository只能連接一個Master Repository。一個Schema只能存儲一個Work Repository，不過Master Repository倒可與其安裝在同一Schema。4、TopologyTopology Manager（拓撲管理器）主要用來管理下面5類任務，并將信息存儲在主資料庫中，供所有模塊共享使用。（1）物理體系結(jié)構，定義各種技術及其數(shù)據(jù)服務器、物理架構、物理代理。（2）邏輯體系結(jié)構，定義各種技術及其關聯(lián)的邏輯架構、邏輯代理。（3）上下文，用來連接物理架構和邏輯架構。（4）語言，不同技術所能采用的

3、語言特性。（5）資料庫，包含主資料庫及其附屬的工作資料庫。5、知識模塊Oracle Data Integrator之所以能適應不同的、多種多樣的數(shù)據(jù)源，靈活有效的完成數(shù)據(jù)抽取/轉(zhuǎn)換/載入的過程，均是基于其知識模型體系。 Knowledge Modules類似于程序中的插件，Oracle Data Integrator將數(shù)據(jù)整合的任務抽象出六個組成部分：（1）反向工程RKM，Reverse-engineering knowledge modules，用于從數(shù)據(jù)源讀取表及其他對象。 （2）日記JKN，Journalizing knowledge modules，用于為單一或一組表/視圖記錄新建的和

4、修改的數(shù)據(jù)。ODI支持部分數(shù)據(jù)源的Change Data Capture(CDC)功能，前提為ODI項目中啟用該模塊。（3）加載LKM，Loading knowledge modules，用于從數(shù)據(jù)源抽取數(shù)據(jù)。 （4）檢查CKM，Check knowledge modules，用于檢測抽取出的源數(shù)據(jù)的合法性。（5）集成IKM，Integration knowledge modules，用于將Staging Area中的數(shù)據(jù)轉(zhuǎn)換至目標表，基于目標數(shù)據(jù)庫產(chǎn)生對應的轉(zhuǎn)換SQL。（6）服務SKM，Service knowledge modules，提供將數(shù)據(jù)以Web Services的方式展現(xiàn)的功能。

5、6、源系統(tǒng)需要知道源系統(tǒng)的數(shù)據(jù)庫用戶密碼與源系統(tǒng)IP地址或主機名、數(shù)據(jù)庫端口、數(shù)據(jù)庫實例。(以223這臺機為例)。數(shù)據(jù)庫鏈路：jdbc:oracle:thin: 172.17.7.223:1521:gbk數(shù)據(jù)庫用戶/密碼：rcms/123456數(shù)據(jù)：EMP（表）7、創(chuàng)建目標系統(tǒng)的用戶（以 50這臺機為例）。數(shù)據(jù)庫鏈路：jdbc:oracle:thin: 172.17.7.50:1521:orcl數(shù)據(jù)庫用戶/密碼：spaq_odi/spaq_odi并且需要在目標用戶上創(chuàng)建源用戶的表或視圖，表結(jié)構需要與源用戶的表結(jié)構一致。create user spaq_odi identified by spa

6、q_odi default tablespace users; grant connect,resource to spaq_odi; grant create database link to spaq_odi;grant create synonym to spaq_odi;create table EMP( EMPNO NUMBER(4) not null, ENAME VARCHAR2(10), JOB VARCHAR2(9), MGR NUMBER(4), HIREDATE DATE, SAL NUMBER(7,2), COMM NUMBER(7,2), DEPTNO NUMBER(

7、2);二、創(chuàng)建主資料庫1、新建主資料庫用戶（以zzl（主資料縮寫）用戶為例）:create user zzl identified by zzl default tablespace users;grant connect, resource to zzl;2、點擊創(chuàng)建新的主資料檔案庫，填寫資料檔案庫連接資料，JDBC URL原本為jdbc:oracle:thin:，需要手動修改。填寫完資料后，可通過測試連按鈕接測試配置是否正確。如下圖1-2圖1圖2三、創(chuàng)建資料檔案庫連接1、點擊創(chuàng)建新的ODI資料檔案庫登陸，填寫資料檔案庫連接信息，通過“測試連接”可測試配置是否正確。圖1四、創(chuàng)建工作資料庫1、

8、新建工作資料庫數(shù)據(jù)庫用戶(以gzzl(工作資料縮寫)為例)：create user gzzl identified by gzzl default tablespace users;grant connect, resource to gzzl;2、點擊連接到資料檔案庫 拓撲 資料檔案庫 右鍵工作資料檔案庫 新建工作資料檔案庫 如下圖1-3圖1圖2圖33、新建完后會自動提示是否為該工作資料創(chuàng)建登錄名，可選擇幫該工作資料檔案庫創(chuàng)建登陸名。也可連接主資料庫的時候，點擊編輯按鈕“食品安全綜合監(jiān)管項目”連接在工作資料檔案庫項勾上工作資料檔案庫并且點擊放大鏡 添加WORKREP1。操作如圖4-5圖4圖5

9、五、創(chuàng)建物理體系結(jié)構1、創(chuàng)建目標系統(tǒng)物理體系結(jié)構（以ODI_MUBIAO為例）拓撲 物理體系結(jié)構 技術 oracle 右鍵oracle 新建數(shù)據(jù)服務器 如圖1：圖12、定義名稱、實例/dblink（數(shù)據(jù)服務器）、連接用戶及口令：注1：在“Oracle to Oracle”模式時，“實例/dblink”將用于ODI自動創(chuàng)建兩個系統(tǒng)間的dblink，為了使dblink創(chuàng)建成功，需要在目標數(shù)據(jù)庫端配置TNSNAME（=這里的“實例/DBLINK”）；另外如果來源和目標是同一個數(shù)據(jù)庫，那么dblink就是LOOPBACK的，這里的“實例/dblink”名字就不能等于SID。故這里故意加了“.LOOPB

10、ACK”。注2：連接用戶與口令為目標的數(shù)據(jù)庫用戶與口令spaq_odi/spaq_odi 。3、JDBC驅(qū)動程序、JDBC URL：4、保存后新建目標物理方案點擊ODI_MUBIAO 右鍵 新建物理方案5、定義方案（方案）、方案（工作方案）：保存后報沒有選擇上下文的警告，先忽略之。6、創(chuàng)建源系統(tǒng)物理體系結(jié)構與源物理方案（以ODI_YUAN為例）如圖1-3圖1圖2圖3注：連接用戶與口令為目標的數(shù)據(jù)庫用戶與口令rcms/123456。最終結(jié)果如下圖：六、創(chuàng)建邏輯體系結(jié)構1、創(chuàng)建目標系統(tǒng)邏輯體系結(jié)構（以ODI_MUBIAO為例）拓撲 邏輯體系結(jié)構 技術 oracle 右鍵oracle 新建邏輯方案

11、如圖1-2：圖1圖22、創(chuàng)建源系統(tǒng)邏輯體系結(jié)構（以ODI_YUAN為例）七、創(chuàng)建項目1、設計器 項目 點擊 新建項目 （以shipin項目為例）如下圖1-2：圖1圖22、導入知識模塊設計器 項目 shipin 右鍵知識模塊 導入知識模塊如圖1-2圖1圖2溫馨提示：點擊即可全選知識模塊，也可以逐個選擇需要的知識模塊，為簡單起見，全選后確定。不過全部導入比較耗時和占空間，看下面的滾動條和右下腳的空間占用就知道了。八、創(chuàng)建模型1、創(chuàng)建目標系統(tǒng)模型（以ODI_MUBIAO為例）設計器 模型 點擊 新模型按下圖內(nèi)容輸入定義名稱、技術、邏輯方案2、創(chuàng)建源系統(tǒng)模型（以ODI_YUAN為例）3、逆向工程把目標

12、系統(tǒng)（spaq_odi用戶）下的表全部反向工程到我們目標模型內(nèi)。逆向工程頁簽 上下文選擇Global 點擊 按鈕4、創(chuàng)建源系統(tǒng)模型（以ODI_YUAN為例）跟目標模塊一致，逆向工程把源系統(tǒng)的（rcms用戶）下的表全部反向工程到我們的源模塊內(nèi)。5、創(chuàng)建目標模塊ODI_MUBIAO 主鍵：設計器 模型 ODI_MUBIAO EMP 右鍵約束條件 新建關鍵字名稱：PK_EMPNO_1 、關鍵字或索引類型：主鍵 、列：EMPNO圖1圖2注：目標模型的表必須添加主鍵，否則抽取數(shù)據(jù)的時候會出錯。九、創(chuàng)建接口1、設計器 項目 shipin 第一個文件夾 右鍵接口 新建接口2、輸入接口名稱3、映射目標模塊和源

13、模塊的表。點擊“映射”標簽頁 將ODI_MUBIAO內(nèi)的EMP 拖至目標數(shù)據(jù)庫存儲區(qū)域 將ODI_YUAN內(nèi)的EMP拖至 源默認值區(qū)域 提示是否執(zhí)行自動映射，選擇是即可。4、切換到“流”標簽頁。選中SrcSet0，LKM已默認采用LKM Oracle to Oracle (DBLINK)，我們需要把下面的AUTO_CREATE_DB_LINK改為 真。注：如果我們已經(jīng)在數(shù)據(jù)庫中手工創(chuàng)建了DBLINK，并且名字和定義“數(shù)據(jù)服務器”時定義的一樣，這里就保持默認值否。選中“目標+臨時區(qū)域”，可以看到下面已經(jīng)默認使用了IKM Oracle Incremental Update5、切換到“控制”標簽頁。

14、CKM選擇器選上：CKM Oracle ，保存接口。十、執(zhí)行接口1、設計器 項目 shipin 接口 右鍵POP.EMP 執(zhí)行我們不使用代理，保持上面的選項點擊“確定”，將會啟動ELT會話。2、檢查是否執(zhí)行成功操作 會話列表 所有執(zhí)行3、查看數(shù)據(jù)設計器 模型 ODI_MUBIAO 右鍵EMP 查看數(shù)據(jù)到這里如果有數(shù)據(jù)的話，證明已經(jīng)成功將ODI_MUBIAO 內(nèi)的EMP表的數(shù)據(jù)導進ODI_YUAN內(nèi)的EMP表里面了。十一、問題診斷如果出現(xiàn)問題，Operator也提供了比較好的調(diào)式方法：如下圖：1、由上圖可以看到該執(zhí)行到第9步出錯了，可以雙擊該步奏打開會話任務窗口查看錯誤信息。2、點擊“代碼”標簽

15、頁可以查看執(zhí)行哪些條語句出現(xiàn)該錯誤信息。3、對于出錯的會話，可以重新執(zhí)行，并且，可以先修改“目標代碼”標簽頁的內(nèi)容，加入調(diào)式信息十二、ODI 工具12C 創(chuàng)建代理參考該網(wǎng)站：12C 版本中，ODI的代理共分為三種：completely standalone agentstandalone collocated agentJEE agent12C版本在安裝Server的時候，有兩個選項，獨立安裝和企業(yè)安裝。本文將描述企業(yè)安裝的情況下代理的安裝（standalone collocated agent）。首先，進入目錄 oracle_commoncommonbin，運行congfig.cmd,打開配

16、置程序。這里選擇創(chuàng)建新的域，域名稱可自行調(diào)整接下來選擇域的創(chuàng)建模板，勾選 odi collocated standalone agent選項，注意，下方的兩項會自動勾選上，不要做任何調(diào)整！輸入weblogic的管理員賬號和密碼這里我勾選的是開發(fā)模式，這樣就不用每次啟動weblogic的時候輸入賬號和密碼了。如果系統(tǒng)的java環(huán)境需要調(diào)整，可以自行輸入jdk的路徑。接下來輸入RCU的方案，方案的前綴名改為你在創(chuàng)建RCU的時候所使用的前綴。配置完成后，點擊獲取RCU配置這里不需要做調(diào)整，直接選擇下一步這里需要數(shù)據(jù)庫鏈接測試全部通過這里只選擇系統(tǒng)組件。（其他幾個選項的配置過程，在下一篇文章里面會詳細

17、講解）這里出現(xiàn)的代理OracleDIAgent1,就是我們需要的代理程序組件（注意，新增代理組件的時候，組件類型不要選錯）這里填寫代理server的IP地址端口號等相關信息。配置服務器的信息接下去，按照程序提示，一直選擇下一步，直至執(zhí)行完畢即可配置完成后，我們打開ODI Studio的界面，為剛才創(chuàng)建的代理，配置物理代理編輯代理頁面，輸入代理的名稱。注意，這里的物理代理名稱必須與之前創(chuàng)建的代理名稱相同，同時地址與端口號也需要保持一致。接下來為物理代理配置邏輯代理，如下圖至此，所有的配置工作已經(jīng)，全部完成，接下來我們來啟動這個代理進入先前創(chuàng)建的domain目錄下，打開bin文件夾可以看到agent.cmd文件，我們來運行它可以看到，命令行提示代理程序已經(jīng)啟動，那么我們進入ODI studio測試一下代理看看可以看到測試成功，說明之前的配置都已經(jīng)生效了。至此，ODI 12C的 Collocated Standalone Agent完全配置成功了。十三、創(chuàng)建ODI控制臺1、進入ODI安裝目錄，運行config.cmd 文件2、odi_domain 為域的名字可以根據(jù)自己的需求更改。如你已新建ODI域的話， 可以選擇更新現(xiàn)有域，選擇對應的域，即可編輯域，這里我選擇創(chuàng)建新域。3、選上Oracle Enterprise Manager Plugin