數(shù)據(jù)遷移工具匯報(bào)

數(shù)據(jù)遷移工具系統(tǒng)概述1技術(shù)方案2功能介紹3系統(tǒng)特點(diǎn)4成功案例5在油田信息化建設(shè)中，數(shù)據(jù)是核心關(guān)鍵，是信息化建設(shè)最有價(jià)值的資產(chǎn)。而將業(yè)務(wù)應(yīng)用產(chǎn)生的有價(jià)值的數(shù)據(jù)，在整個(gè)油田信息網(wǎng)中可控、及時(shí)、安全的流轉(zhuǎn)，是避免數(shù)據(jù)孤島的關(guān)鍵。數(shù)據(jù)及業(yè)務(wù)人員在數(shù)據(jù)管理過程中，經(jīng)常要面對(duì)的是數(shù)據(jù)的遷移、數(shù)據(jù)的備份、數(shù)據(jù)的清洗及數(shù)據(jù)的同步等需求。而如果利用數(shù)據(jù)庫現(xiàn)有功能去實(shí)現(xiàn)，技術(shù)要求高、操作復(fù)雜、靈活性差、功能受限。一、系統(tǒng)概述

項(xiàng)目背景目前常規(guī)數(shù)據(jù)遷移的方法一般有三種：開發(fā)專用的遷移程序優(yōu)點(diǎn)是操作簡單，操作人員只需要會(huì)使用遷移軟件即可。缺點(diǎn)是需要一定開發(fā)周期，需要研發(fā)人員配合，靈活性差，需求一旦變更，程序就要改造。借助Oracle等數(shù)據(jù)庫的功能實(shí)現(xiàn)需要專業(yè)的數(shù)據(jù)庫管理員或數(shù)據(jù)庫開發(fā)人員才能實(shí)現(xiàn)，技術(shù)要求高，且難以實(shí)現(xiàn)不同類型數(shù)據(jù)庫之間的遷移。采用GoldenGate等第三方的遷移軟件優(yōu)點(diǎn)是功能相對(duì)完善，效率高。缺點(diǎn)是配置復(fù)雜，一般業(yè)務(wù)人員難以掌握，按點(diǎn)收費(fèi)，費(fèi)用高昂。

項(xiàng)目背景一、系統(tǒng)概述通過對(duì)相關(guān)業(yè)務(wù)分析，XX數(shù)據(jù)遷移工具設(shè)計(jì)主要具備三大功能，即數(shù)據(jù)遷移、數(shù)據(jù)同步、文件導(dǎo)入。數(shù)據(jù)遷移應(yīng)該具備以下特點(diǎn)：易用性好，完全的可視化操作界面，方便上手。功能強(qiáng)大，可滿足數(shù)據(jù)管理中的各種數(shù)據(jù)遷移需求。運(yùn)行穩(wěn)定。高效。

設(shè)計(jì)目標(biāo)一、系統(tǒng)概述如何支持不同類型數(shù)據(jù)庫之間的數(shù)據(jù)遷移及同步。如何支持?jǐn)?shù)據(jù)庫結(jié)構(gòu)不同時(shí)，數(shù)據(jù)的遷移及同步。如何支持在遷移及同步過程中做復(fù)雜的數(shù)據(jù)處理及轉(zhuǎn)換計(jì)算。怎么解決數(shù)據(jù)增量同步，并確保高效及實(shí)時(shí)性。如何實(shí)現(xiàn)軟件的易用性。

技術(shù)難點(diǎn)一、系統(tǒng)概述系統(tǒng)概述1技術(shù)方案2功能介紹3系統(tǒng)特點(diǎn)4成功案例5二、技術(shù)方案

開發(fā)一套定制工具，制定一些對(duì)應(yīng)規(guī)則，實(shí)現(xiàn)不同的數(shù)據(jù)庫、不同的表結(jié)構(gòu)之間對(duì)應(yīng)關(guān)系的建立。通過引擎調(diào)用不同的底層驅(qū)動(dòng)，實(shí)現(xiàn)不同數(shù)據(jù)庫之間的數(shù)據(jù)遷移。

設(shè)計(jì)思路數(shù)據(jù)質(zhì)量檢查源庫解析引擎數(shù)據(jù)對(duì)應(yīng)規(guī)則目標(biāo)庫目標(biāo)數(shù)據(jù)事件操作二、技術(shù)方案數(shù)據(jù)庫管理員業(yè)務(wù)人員應(yīng)用程序應(yīng)用程序數(shù)據(jù)遷移工具UI界面數(shù)據(jù)遷移服務(wù)接口數(shù)據(jù)遷移工具界面定制引擎功能調(diào)度引擎多線程調(diào)度引擎日志記錄引擎自動(dòng)運(yùn)行引擎異常處理引擎數(shù)據(jù)庫操作引擎Oracle引擎SQLServer引擎Access引擎DBF引擎Excel引擎……功能操作引擎數(shù)據(jù)遷移引擎數(shù)據(jù)同步引擎文件導(dǎo)入引擎數(shù)據(jù)庫

整體技術(shù)架構(gòu)TCP通信引擎二、技術(shù)方案

數(shù)據(jù)操作流程用戶制定遷移規(guī)則異常監(jiān)控實(shí)時(shí)反饋日志記錄數(shù)據(jù)遷移工具規(guī)則解析數(shù)據(jù)分量加載數(shù)據(jù)遷移前處理數(shù)據(jù)遷移完成數(shù)據(jù)遷移后處理數(shù)據(jù)遷移、同步及文件導(dǎo)入均遵從此流程。二、技術(shù)方案軟件部署源數(shù)據(jù)庫數(shù)據(jù)遷移工具服務(wù)器目標(biāo)數(shù)據(jù)庫數(shù)據(jù)遷移工具可部署在局域網(wǎng)內(nèi)的任何一臺(tái)機(jī)器上，源與目標(biāo)數(shù)據(jù)庫均不需要安裝任何軟件，也不需要變動(dòng)任何庫結(jié)構(gòu)，只需提供訪問帳號(hào)即可。二、技術(shù)方案

數(shù)據(jù)訪問模式數(shù)據(jù)遷移工具工廠設(shè)計(jì)模式Oracle驅(qū)動(dòng)SQLServer驅(qū)動(dòng)ACCESS驅(qū)動(dòng)OLEDB驅(qū)動(dòng)OracleSQLServerACCESSExcel其它數(shù)據(jù)操作基于工廠的軟件設(shè)計(jì)模式，實(shí)現(xiàn)了對(duì)各種不同數(shù)據(jù)庫的支持，如果要增加新的數(shù)據(jù)庫支持，系統(tǒng)變化很小。靈活性及可擴(kuò)展性好。二、技術(shù)方案

關(guān)鍵技術(shù)多種數(shù)據(jù)庫類型支持?jǐn)?shù)據(jù)處理或轉(zhuǎn)換支持虛擬表、存儲(chǔ)過程支持大字段分段遷移數(shù)據(jù)分頁遷移系統(tǒng)概述1技術(shù)方案2功能介紹3系統(tǒng)特點(diǎn)4成功案例5數(shù)據(jù)遷移系統(tǒng)數(shù)據(jù)遷移功能數(shù)據(jù)同步功能數(shù)據(jù)庫管理表對(duì)應(yīng)管理字段對(duì)應(yīng)管理任務(wù)管理運(yùn)行日志管理數(shù)據(jù)庫管理字段對(duì)應(yīng)管理表對(duì)應(yīng)管理運(yùn)行日志管理?xiàng)l件遷移增量遷移觸發(fā)器同步Oracle日志同步手動(dòng)運(yùn)行遠(yuǎn)程調(diào)用文件數(shù)據(jù)操作功能文件導(dǎo)入規(guī)則管理文件操作運(yùn)行管理運(yùn)行日志管理自動(dòng)運(yùn)行功能框架圖三、功能介紹

將源數(shù)據(jù)庫現(xiàn)有數(shù)據(jù)根據(jù)設(shè)定的篩選條件，按照數(shù)據(jù)表或是字段對(duì)應(yīng)規(guī)則，手動(dòng)或是自動(dòng)定時(shí)將數(shù)據(jù)遷移至目標(biāo)數(shù)據(jù)庫。源數(shù)據(jù)庫遷移規(guī)則要遷哪些表數(shù)據(jù)遷移的條件是什么遷移數(shù)據(jù)是否要預(yù)處理什么時(shí)候開始遷移出現(xiàn)異常怎么處理是否要檢測(cè)庫結(jié)構(gòu)一致性源與目標(biāo)表對(duì)應(yīng)關(guān)系如何目標(biāo)數(shù)據(jù)庫規(guī)則解析遷移事件任務(wù)運(yùn)行異常處理數(shù)據(jù)處理遷移引擎數(shù)據(jù)抓取數(shù)據(jù)寫入日志記錄1、數(shù)據(jù)遷移

模塊說明三、功能介紹運(yùn)行結(jié)果Oracle源庫解析引擎數(shù)據(jù)對(duì)應(yīng)規(guī)則Oracle目標(biāo)庫目標(biāo)數(shù)據(jù)事件操作分頁提取數(shù)據(jù)

遷移流程三、功能介紹1、數(shù)據(jù)遷移數(shù)據(jù)同步是指源數(shù)據(jù)庫發(fā)生變動(dòng)時(shí)，目標(biāo)數(shù)據(jù)庫在最短的時(shí)間內(nèi)同步相應(yīng)變動(dòng)。

通過實(shí)時(shí)捕獲變化數(shù)據(jù)，根據(jù)表和字段對(duì)應(yīng)關(guān)系將改變的數(shù)據(jù)同步到源頭數(shù)據(jù)總庫，實(shí)時(shí)保持源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫數(shù)據(jù)的一致性。源數(shù)據(jù)庫目標(biāo)數(shù)據(jù)庫同步規(guī)則要同步哪些表數(shù)據(jù)同步數(shù)據(jù)是否要預(yù)處理出現(xiàn)異常怎么處理是否要檢測(cè)庫結(jié)構(gòu)一致性源與目標(biāo)表對(duì)應(yīng)關(guān)系如何規(guī)則解析同步事件異常處理數(shù)據(jù)處理同步引擎數(shù)據(jù)獲取數(shù)據(jù)寫入日志記錄三、功能介紹

模塊說明2、數(shù)據(jù)同步歸檔日志同步CDC同步觸發(fā)器同步

按照捕獲數(shù)據(jù)變化方式，同步分為解析歸檔日志同步、觸發(fā)器同步及CDC同步三種模式。歸檔日志同步通過開啟數(shù)據(jù)庫歸檔模式，用戶對(duì)數(shù)據(jù)庫的變更會(huì)自動(dòng)寫入歸檔日志中，同步工具通過解析日志的方式，將數(shù)據(jù)變更解析出來，同步到目標(biāo)數(shù)據(jù)庫中。觸發(fā)器同步通過建立同步表的觸發(fā)器，將用戶對(duì)表的各種操作記錄到指定的日志表中，通過解析日志表，獲取用戶數(shù)據(jù)的變更，實(shí)現(xiàn)與目標(biāo)數(shù)據(jù)庫的同步。CDC同步Oracle自帶數(shù)據(jù)定閱技術(shù)，可將數(shù)據(jù)變更信息自動(dòng)同步到別一個(gè)用戶下，同步軟件解析用戶的定閱信息，實(shí)現(xiàn)與目標(biāo)數(shù)據(jù)庫的同步。

模塊說明三、功能介紹2、數(shù)據(jù)同步歸檔日志模式技術(shù)成熟，數(shù)據(jù)庫各版本支持成熟的軟件均采用此模式觸發(fā)器模式適用于較少數(shù)據(jù)量和不頻繁變化的數(shù)據(jù)需對(duì)相關(guān)數(shù)據(jù)表建觸發(fā)器CDC模式數(shù)據(jù)庫版本有要求，10g版本以下效率較低。10.2.0.2版本以前存在內(nèi)存不能釋放的BUG。以歸檔模式為主

模塊說明三、功能介紹2、數(shù)據(jù)同步

解析日志同步中，解析日志和數(shù)據(jù)入庫采用異步模式，避免了網(wǎng)絡(luò)出現(xiàn)異常后同步數(shù)據(jù)丟失。源數(shù)據(jù)庫數(shù)據(jù)緩存文件目標(biāo)數(shù)據(jù)庫解析日志數(shù)據(jù)入庫

模塊流程三、功能介紹2、數(shù)據(jù)同步1、首先通過上次解析的日志文件SEQ號(hào)判斷并獲取新增的日志文件列表。2、然后通過上次解析日志的SCN號(hào)判斷該日志文件要解析的日志記錄。3、最后解析日志文件，并過濾解析的日志記錄，緩存成多個(gè)固定大小的數(shù)據(jù)文件。源數(shù)據(jù)庫歸檔日志文件上次解析日志SEQ要解析的日志文件列表上次解析日志SCN解析日志起始SCN數(shù)據(jù)緩存文件操作日志記錄同步表對(duì)應(yīng)關(guān)系列表

日志解析三、功能介紹2、數(shù)據(jù)同步三、功能介紹1、首先通過上次入庫的SCN號(hào)過濾數(shù)據(jù)，并判斷記錄數(shù)據(jù)是否含所有大字段的表。2、然后再根據(jù)表對(duì)應(yīng)關(guān)系判斷是否可以直接解析重做sql直接入庫，如果不能直接入庫就要根據(jù)唯一健獲取源數(shù)據(jù)。3、最后通過表對(duì)應(yīng)關(guān)系和字段對(duì)應(yīng)關(guān)系入目標(biāo)庫。源數(shù)據(jù)庫解析主鍵獲取數(shù)據(jù)上次入庫記錄SCN入庫記錄起始SCN數(shù)據(jù)緩存文件普通日志記錄簡單對(duì)應(yīng)含有字段記錄表對(duì)應(yīng)關(guān)系復(fù)雜對(duì)應(yīng)源數(shù)據(jù)目標(biāo)數(shù)據(jù)庫解析重做sql語句

數(shù)據(jù)入庫2、數(shù)據(jù)同步3、文件導(dǎo)入

遷移工具的文件操作包括Excel文件的導(dǎo)入、導(dǎo)出和dbf文件的導(dǎo)入、導(dǎo)出。其中Excel文件的導(dǎo)入支持對(duì)應(yīng)關(guān)系模板的定制導(dǎo)入，從而支持復(fù)雜Excel的導(dǎo)入功能。Dbf導(dǎo)入支持名稱模糊匹配功能，實(shí)現(xiàn)了dbf文件的批量導(dǎo)入功能。三、功能介紹

遷移工具所有設(shè)置和操作都支持可視化，都有相應(yīng)的界面供用戶操作，其中表與表對(duì)應(yīng)關(guān)系、字段對(duì)應(yīng)關(guān)系等操作支持拖拽設(shè)置，符合大多數(shù)用戶操作習(xí)慣，具有用戶使用方便、易用、直觀等特點(diǎn)。

數(shù)據(jù)遷移或同步詳細(xì)日志可視化顯示，方便用戶隨時(shí)查看及對(duì)對(duì)應(yīng)狀態(tài)的實(shí)時(shí)檢測(cè)。三、功能介紹4、可視化操作

數(shù)據(jù)遷移工具支持?jǐn)?shù)據(jù)遷移過程中用到的遷移參數(shù)的設(shè)置，包括遷移模式、是否啟動(dòng)多線程遷移等參數(shù)。5、功能界面

參數(shù)設(shè)置三、功能介紹

數(shù)據(jù)遷移工具是一個(gè)綜合管理工具，可以同時(shí)維護(hù)、運(yùn)行多個(gè)不同的數(shù)據(jù)遷移的項(xiàng)目，并通過項(xiàng)目的方式，分類展示出來。5、功能界面數(shù)據(jù)遷移項(xiàng)目數(shù)據(jù)同步項(xiàng)目

項(xiàng)目建立三、功能介紹

通過數(shù)據(jù)庫對(duì)應(yīng)關(guān)系，搭建多個(gè)不同庫之間的虛擬鏈路關(guān)系，設(shè)置數(shù)據(jù)源與目標(biāo)。5、功能界面

數(shù)據(jù)庫對(duì)應(yīng)關(guān)系建立三、功能介紹

虛擬數(shù)據(jù)鏈接搭建好后，需設(shè)置表的對(duì)應(yīng)關(guān)系，即源表是什么，對(duì)應(yīng)表是什么，表名可不一致，結(jié)構(gòu)也可不同。5、功能界面

表對(duì)應(yīng)關(guān)系建立三、功能介紹

支持遷移事件，包括遷移前事件、遷移后事件、插入前事件、插入后事件、修改前事件、修改后事件，事件中支持執(zhí)行sql語句和存儲(chǔ)過程。5、功能界面

遷移事件設(shè)置三、功能介紹

如果源數(shù)據(jù)來源比較復(fù)雜，需要通過sql語句來獲取或是通過存儲(chǔ)過程來獲取，就需要建立虛擬表。5、功能界面

虛擬表建立三、功能介紹

表對(duì)應(yīng)關(guān)系搭建好后，需設(shè)置字段的對(duì)應(yīng)關(guān)系，即源表是什么字段，對(duì)應(yīng)目標(biāo)表是什么字段，支持字段的計(jì)算及合并。5、功能界面

字段對(duì)應(yīng)關(guān)系建立三、功能介紹

字段設(shè)置中支持普通字段、常量、sql表達(dá)式（源）、代碼轉(zhuǎn)換、隨機(jī)Guid、sql表達(dá)式（目錄）等類型。5、功能界面

字段設(shè)置三、功能介紹

設(shè)置遷移條件，只把滿足要求的數(shù)據(jù)遷移過去，支持變量替換，支持字段拖放操作。5、功能界面

遷移條件建立三、功能介紹

對(duì)于一個(gè)項(xiàng)目可定制多個(gè)任務(wù)，任務(wù)觸發(fā)條件可不一樣，運(yùn)行時(shí)間也各自獨(dú)立控制。5、功能界面

任務(wù)定制三、功能介紹

對(duì)于已經(jīng)制定任務(wù)的運(yùn)行、啟閉操作。對(duì)數(shù)據(jù)遷移運(yùn)行信息進(jìn)行詳細(xì)的查詢。5、功能界面

任務(wù)調(diào)度三、功能介紹

數(shù)據(jù)遷移同步工具保存著所有數(shù)據(jù)表同步運(yùn)行詳細(xì)日志，用戶可以按照日期對(duì)日志進(jìn)行分頁查詢。5、功能界面

日志查看三、功能介紹自動(dòng)調(diào)度狀態(tài)中顯示任務(wù)或是同步運(yùn)行詳細(xì)信息，包括任務(wù)下次運(yùn)行時(shí)間、上次運(yùn)行結(jié)果和同步實(shí)時(shí)運(yùn)行狀態(tài)及結(jié)果等信息。5、功能界面

任務(wù)調(diào)度狀態(tài)三、功能介紹遷移工具還支持遠(yuǎn)程調(diào)用功能，通常為了遷移工具運(yùn)行的穩(wěn)定性，會(huì)把遷移工具部署到服務(wù)器上，這樣用戶操作不太方便，所以遷移工具提供客戶端遠(yuǎn)程調(diào)用工具，來運(yùn)行遷移任務(wù)。5、功能界面

任務(wù)遠(yuǎn)程調(diào)用三、功能介紹

文件操作包括Excel、DBF文件的導(dǎo)入與導(dǎo)出，其中Excel的導(dǎo)入通過模板定制功能支持復(fù)雜格式的導(dǎo)入。5、功能界面

文件操作三、功能介紹系統(tǒng)概述1技術(shù)方案2功能介紹3系統(tǒng)特點(diǎn)4成功案例5靈活性a（1）支持多種類型數(shù)據(jù)庫間數(shù)據(jù)遷移或同步。（2）支持不同表結(jié)構(gòu)或是多表間數(shù)據(jù)遷移和同步。（3）支持遷移表分任務(wù)靈活的設(shè)置定時(shí)自動(dòng)遷移。（4）支持遷移時(shí)數(shù)據(jù)的處理及不同代碼自動(dòng)轉(zhuǎn)換。（5）支持視圖、同義詞、虛擬表（sql語句、存儲(chǔ)過程表）作為源表的遷移。四、系統(tǒng)特點(diǎn)靈活性a安全性b（1）數(shù)據(jù)遷移對(duì)源庫只是讀取數(shù)據(jù)，所以只要有只讀權(quán)限帳戶即可。（2）遷移工具只是操作數(shù)據(jù)，不會(huì)對(duì)目標(biāo)庫的表結(jié)構(gòu)及數(shù)據(jù)造成影響。（3）遷移工具可以支持只插入模式，只會(huì)插入數(shù)據(jù)不會(huì)修改目錄庫已有數(shù)據(jù)。（4）遷移工具有詳細(xì)的日志記錄。四、系統(tǒng)特點(diǎn)靈活性a安全性b高效性c（1）數(shù)據(jù)遷移工具支持遷移表和字段的自動(dòng)對(duì)應(yīng)和對(duì)應(yīng)模板Excel導(dǎo)入、導(dǎo)出，提高用戶設(shè)置的高效性。（2）數(shù)據(jù)遷移工具支持多線程，大數(shù)據(jù)量分頁讀取、大字段內(nèi)容分段讀取等功能，提高數(shù)據(jù)遷移效率，局域網(wǎng)內(nèi)可以達(dá)到遷移每秒千多條數(shù)據(jù)。（3）遷移工具支持增量數(shù)據(jù)遷移及同步。四、系統(tǒng)特點(diǎn)靈活性a安全性b高效性c穩(wěn)定性d（1）遷移工具在遷移數(shù)據(jù)時(shí)，如果某個(gè)表或是某條數(shù)據(jù)遷移出錯(cuò)，不會(huì)影響到整個(gè)遷移工具崩潰，遷移工具有很好的容錯(cuò)功能。（2）數(shù)據(jù)同步不會(huì)因?yàn)檫w移工具某段時(shí)間不運(yùn)行而遺漏數(shù)據(jù)，工具會(huì)同步上次時(shí)間運(yùn)行后所有改變的數(shù)據(jù)。四、系統(tǒng)特點(diǎn)靈活性a安全性b高效性c穩(wěn)定性d易用性e四、系統(tǒng)特點(diǎn)對(duì)用戶使用習(xí)慣以及數(shù)據(jù)遷移流程進(jìn)行詳細(xì)的調(diào)研、分析，對(duì)設(shè)計(jì)界面進(jìn)行了優(yōu)化處理，普遍使用可視化拖拽設(shè)置方式，強(qiáng)化遷移工具的易用性、簡便性及智能性。系統(tǒng)概述1技術(shù)方案2功能介紹3系統(tǒng)特點(diǎn)4成功案例5五、成功案例

新疆油田油水井錄入系統(tǒng)（A2）新老