勞動(dòng)與社會(huì)保障數(shù)據(jù)交換平臺(tái)建議方案.doc

利用信息集成技術(shù)構(gòu)建勞動(dòng)與社會(huì)保障數(shù)據(jù)交換平臺(tái)ibm技術(shù)建議方案一、 概述以現(xiàn)有信息網(wǎng)絡(luò)為依托，以現(xiàn)有業(yè)務(wù)信息為樞紐，為勞動(dòng)與社?？蛻?hù)建立統(tǒng)一的數(shù)據(jù)交換平臺(tái)。在建立集中統(tǒng)一的數(shù)據(jù)交換平臺(tái)，實(shí)現(xiàn)提取生產(chǎn)區(qū)的實(shí)際業(yè)務(wù)數(shù)據(jù)，并進(jìn)行數(shù)據(jù)的過(guò)濾、檢測(cè)。統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)。形成統(tǒng)一的交換資源數(shù)據(jù)庫(kù)，為統(tǒng)計(jì)分析提供基礎(chǔ)數(shù)據(jù)。完成全國(guó)聯(lián)網(wǎng)數(shù)據(jù)上報(bào)工作。同時(shí)實(shí)現(xiàn)業(yè)務(wù)資源數(shù)據(jù)庫(kù)的遠(yuǎn)程備份。1. 現(xiàn)狀現(xiàn)在的勞動(dòng)與社保數(shù)據(jù)庫(kù)有近十個(gè)，其中數(shù)據(jù)庫(kù)容量平均是50g，而且數(shù)據(jù)源為異構(gòu)數(shù)據(jù)源，包括oracle、db2、sqlserver等數(shù)據(jù)庫(kù)；2. 系統(tǒng)主要建設(shè)目標(biāo)：l 建立數(shù)據(jù)中心業(yè)務(wù)資源庫(kù)的數(shù)據(jù)采集平臺(tái)，用以實(shí)現(xiàn)對(duì)垂直的下級(jí)業(yè)務(wù)系統(tǒng)數(shù)據(jù)向上級(jí)中心業(yè)務(wù)資源庫(kù)的及時(shí)更新以及數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)中心資源庫(kù)數(shù)據(jù)采集平臺(tái)包括數(shù)據(jù)采集和數(shù)據(jù)轉(zhuǎn)換兩個(gè)主要部分。數(shù)據(jù)采集平臺(tái)起到隔離基層業(yè)務(wù)系統(tǒng)和相關(guān)資源庫(kù)應(yīng)用的作用，使得未來(lái)任何的業(yè)務(wù)系統(tǒng)的變化（系統(tǒng)更新、升級(jí)、數(shù)據(jù)格式改變甚至數(shù)據(jù)庫(kù)系統(tǒng)變更等）都不會(huì)影響整個(gè)資源庫(kù)系統(tǒng)的運(yùn)行。數(shù)據(jù)轉(zhuǎn)換平臺(tái)起到數(shù)據(jù)質(zhì)量管理的作用，對(duì)數(shù)據(jù)的屬性、邏輯正確性、完整性、一致性等進(jìn)行驗(yàn)證查核工作。保障信息資源庫(kù)取得的數(shù)據(jù)是真實(shí)、一致和完整的。數(shù)據(jù)采集和數(shù)據(jù)轉(zhuǎn)換相結(jié)合，將形成一個(gè)長(zhǎng)期穩(wěn)定的數(shù)據(jù)采集平臺(tái)。l 支持?jǐn)?shù)據(jù)分析和綜合決策。在資源庫(kù)基礎(chǔ)上，進(jìn)行數(shù)據(jù)信息的綜合利用，實(shí)現(xiàn)信息分析、數(shù)據(jù)挖掘和決策支持。同時(shí)資源庫(kù)的建設(shè)將為數(shù)據(jù)倉(cāng)庫(kù)及應(yīng)用的建設(shè)打下基礎(chǔ)。l 建立對(duì)外的統(tǒng)一數(shù)據(jù)交換區(qū)，實(shí)現(xiàn)業(yè)務(wù)資源數(shù)據(jù)與交換資源數(shù)據(jù)的數(shù)據(jù)交換、上報(bào)的功能，將數(shù)據(jù)及時(shí)地通過(guò)統(tǒng)一的數(shù)據(jù)交換平臺(tái)，實(shí)現(xiàn)向部里及橫向與其它平級(jí)單位間的數(shù)據(jù)交換。實(shí)現(xiàn)業(yè)務(wù)資源數(shù)據(jù)庫(kù)到交換資源庫(kù)的數(shù)據(jù)交換，實(shí)現(xiàn)向部上報(bào)數(shù)據(jù)的功能。建立統(tǒng)一的交換數(shù)據(jù)區(qū)。l 基于交換平臺(tái)，實(shí)現(xiàn)對(duì)業(yè)務(wù)數(shù)據(jù)的檢測(cè)、過(guò)濾、篩選、抽取等功能。實(shí)現(xiàn)業(yè)務(wù)資源數(shù)據(jù)的數(shù)據(jù)檢測(cè)、過(guò)濾、篩選、抽取。 數(shù)據(jù)交換平臺(tái)是建設(shè)勞動(dòng)與社保數(shù)據(jù)分析區(qū)及數(shù)據(jù)交換區(qū)的核心系統(tǒng)，其主要的作用為： 為地市級(jí)社保信息向上級(jí)提供安全、高效的信息傳遞、采集通道； 保證社保分析數(shù)據(jù)信息交互的數(shù)據(jù)實(shí)時(shí)性和數(shù)據(jù)一致性； 在社保內(nèi)部形成統(tǒng)一的數(shù)據(jù)視圖，方便管理； 提供向部里進(jìn)行數(shù)據(jù)交換的統(tǒng)一平臺(tái)； 屏蔽當(dāng)前勞動(dòng)與社保內(nèi)的i t環(huán)境的復(fù)雜性，方便應(yīng)用開(kāi)發(fā)和管理； 屏蔽當(dāng)前勞動(dòng)與社保管理機(jī)構(gòu)內(nèi)的i t環(huán)境的分布式特性（省級(jí)、地市級(jí)管理），方便應(yīng)用開(kāi)發(fā)和管理；在此，我們建議利用ibm最新的信息整合的技術(shù)和解決方案構(gòu)建一個(gè)統(tǒng)一的公共數(shù)據(jù)交換平臺(tái)方案。下面我們對(duì)這樣的一個(gè)解決方案進(jìn)行詳細(xì)說(shuō)明。二、 勞動(dòng)與社會(huì)保障行業(yè)數(shù)據(jù)交換平臺(tái)方案1. 本解決方案的設(shè)計(jì)出發(fā)點(diǎn)： 快速實(shí)現(xiàn)對(duì)多種異構(gòu)數(shù)據(jù)源的集成 保證勞動(dòng)與社保分析區(qū)數(shù)據(jù)采集、交換區(qū)數(shù)據(jù)的實(shí)時(shí)性、一致性； 建立一套安全可靠的信息交換通道，實(shí)現(xiàn)數(shù)據(jù)在上、下級(jí)管理系統(tǒng)之間的數(shù)據(jù)交換、數(shù)據(jù)同步； 建立統(tǒng)一數(shù)據(jù)視圖，支持真正意義上的勞動(dòng)與社保信息分析區(qū)及交換區(qū)的建立，提供復(fù)雜、分布式環(huán)境下的可讀寫(xiě)操作環(huán)境，并支持今后建立跨業(yè)務(wù)系統(tǒng)條塊的新的業(yè)務(wù)流程； 簡(jiǎn)化應(yīng)用編程的難度，縮短開(kāi)發(fā)和實(shí)施的周期，降低日常維護(hù)難度； 能夠很好地將當(dāng)前業(yè)務(wù)系統(tǒng)與新的綜合業(yè)務(wù)系統(tǒng)的用戶(hù)管理、認(rèn)證及授權(quán)機(jī)制結(jié)合，建立方便、清晰、易管理的用戶(hù)安全認(rèn)證管理機(jī)制； 在分布式的環(huán)境下實(shí)現(xiàn)全局優(yōu)化，保證分析應(yīng)用及數(shù)據(jù)交換的整體性能表現(xiàn)； 適應(yīng)未來(lái)擴(kuò)展性要求，方便應(yīng)用范疇的擴(kuò)展；2. 建議通過(guò)ibm信息集成（ii）技術(shù)方式實(shí)現(xiàn)公共數(shù)據(jù)交換平臺(tái)信息整合方式也稱(chēng)為數(shù)據(jù)整合方式。信息整合就是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行有機(jī)的整合集成，從而實(shí)現(xiàn)對(duì)信息數(shù)據(jù)共享、交換的過(guò)程。ibm信息集成ii的核心在于業(yè)務(wù)數(shù)據(jù)的采集，并不關(guān)心原有業(yè)務(wù)數(shù)據(jù)的流程。因此，ii的核心是數(shù)據(jù)的集成。它采用數(shù)據(jù)包裝器作為連接件，將現(xiàn)有客戶(hù)的異種數(shù)據(jù)庫(kù)（oracle、db2、sqlserver）等連接在一起。ii可以采用xml格式或者關(guān)系型格式對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)定義，平臺(tái)工具內(nèi)嵌數(shù)據(jù)采集監(jiān)測(cè)功能。應(yīng)用的開(kāi)發(fā)支持sql99、xml和web service標(biāo)準(zhǔn)，保障了數(shù)據(jù)使用的通用性。并且可以保證系統(tǒng)的有效性、性能和易開(kāi)發(fā)性。在有效性方面，ii的數(shù)據(jù)采集機(jī)制，對(duì)源數(shù)據(jù)增量識(shí)別的問(wèn)題采用了偵聽(tīng)同步或者數(shù)據(jù)復(fù)制的方式，可以有效地解決數(shù)據(jù)采集同步的問(wèn)題。而ii的數(shù)據(jù)包裝器運(yùn)行在資源庫(kù)系統(tǒng)中心，無(wú)需異地開(kāi)發(fā)。ii能跨本地和異地網(wǎng)提取數(shù)據(jù)，也能在源業(yè)務(wù)系統(tǒng)屏蔽訪(fǎng)問(wèn)時(shí)，由源業(yè)務(wù)系統(tǒng)傳遞xml數(shù)據(jù)包，對(duì)xml數(shù)據(jù)文件進(jìn)行信息分解和提取，能夠滿(mǎn)足不同的源業(yè)務(wù)系統(tǒng)的特點(diǎn)。在性能方面，實(shí)際的測(cè)試表明，ii的數(shù)據(jù)復(fù)制能夠達(dá)到1.26gb/小時(shí)的數(shù)據(jù)提取量，而ii的快速數(shù)據(jù)導(dǎo)入功能更能達(dá)到30gb/小時(shí)，而該測(cè)試結(jié)果還是在一臺(tái)資源緊張的服務(wù)器運(yùn)行出來(lái)的。由于ii的平臺(tái)設(shè)計(jì)的目的就是為了解決數(shù)據(jù)整合的問(wèn)題，因此能夠得到這樣比較理想的測(cè)試結(jié)果，而無(wú)需依賴(lài)于特殊的開(kāi)發(fā)和編程手段?；谏鲜隼碛桑覀兺扑]使用信息集成平臺(tái)來(lái)完成資源庫(kù)的數(shù)據(jù)采集功能，以建立長(zhǎng)期穩(wěn)定的綜合資源數(shù)據(jù)庫(kù)平臺(tái)，滿(mǎn)足中心業(yè)務(wù)數(shù)據(jù)庫(kù)交換和數(shù)據(jù)復(fù)用的需求。通過(guò)ibm數(shù)據(jù)整合平臺(tái)，建立勞動(dòng)與社會(huì)保障業(yè)務(wù)數(shù)據(jù)中心及數(shù)據(jù)分析區(qū)和交換區(qū)我們利用ibm數(shù)據(jù)整合平臺(tái)建立一個(gè)信息集成訪(fǎng)問(wèn)接口，建立起社保信息數(shù)據(jù)交換平臺(tái)，同時(shí)在分級(jí)上下系統(tǒng)間業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)采集平臺(tái)，并在分析數(shù)據(jù)區(qū)、交換數(shù)據(jù)區(qū)間建立一個(gè)可讀寫(xiě)的雙向訪(fǎng)問(wèn)接口，實(shí)現(xiàn)不同數(shù)據(jù)分區(qū)間的數(shù)據(jù)交換。在所提供的統(tǒng)一訪(fǎng)問(wèn)接口的支持下，就可以在一個(gè)整體數(shù)據(jù)庫(kù)的邏輯視圖下（這一視圖跨越地市級(jí)勞動(dòng)與社保信息管理系統(tǒng)），經(jīng)過(guò)相應(yīng)的數(shù)據(jù)轉(zhuǎn)換，來(lái)實(shí)現(xiàn)中心業(yè)務(wù)數(shù)據(jù)，和面向勞動(dòng)與社保信息分析及交換的數(shù)據(jù)流程和業(yè)務(wù)流程，實(shí)現(xiàn)整個(gè)勞動(dòng)與社保分析系統(tǒng)和數(shù)據(jù)交換系統(tǒng)快速開(kāi)發(fā)和部署。在分級(jí)縱向信息整合建立起數(shù)據(jù)中心的過(guò)程中，建議分階段實(shí)現(xiàn)，第一階段旨在利用數(shù)據(jù)映射層，實(shí)現(xiàn)統(tǒng)一查詢(xún)?cè)L問(wèn)，使全省數(shù)據(jù)可共享。第二階段，結(jié)合數(shù)據(jù)整合層的各項(xiàng)功能，進(jìn)行分極系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)的規(guī)范化，提高共享的質(zhì)量和數(shù)據(jù)復(fù)用，并為數(shù)據(jù)交換做準(zhǔn)備。這兩個(gè)階段是信息整合所不可或缺的必要環(huán)節(jié)。第三階段，將部分被頻繁訪(fǎng)問(wèn)、且實(shí)時(shí)性要求有限的數(shù)據(jù)物理集中，提高數(shù)據(jù)查詢(xún)的質(zhì)量，便于決策分析等業(yè)務(wù)應(yīng)用。第四階段，在第二階段數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范化的基礎(chǔ)上，實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)交換。這兩個(gè)階段可根據(jù)實(shí)際業(yè)務(wù)需求取舍，也可更換先后次序。數(shù)據(jù)交換平臺(tái)的架構(gòu)圖如下：數(shù)據(jù)整合平臺(tái)負(fù)責(zé)從市級(jí)業(yè)務(wù)數(shù)據(jù)庫(kù)及外部數(shù)據(jù)源中獲取資源庫(kù)所需的數(shù)據(jù)，實(shí)現(xiàn)中心不同數(shù)據(jù)分區(qū)間的交換。數(shù)據(jù)整合平臺(tái)位于業(yè)務(wù)數(shù)據(jù)庫(kù)和數(shù)據(jù)轉(zhuǎn)換平臺(tái)之間，屏蔽了后續(xù)數(shù)據(jù)處理與數(shù)據(jù)來(lái)源間的直接關(guān)系。整合平臺(tái)主要實(shí)現(xiàn)兩個(gè)方面的功能： 業(yè)務(wù)數(shù)據(jù)中心的數(shù)據(jù)采集和轉(zhuǎn)換 不同數(shù)據(jù)分區(qū)（業(yè)務(wù)數(shù)據(jù)區(qū)、分析區(qū)、交換區(qū)）間的數(shù)據(jù)交換為保證對(duì)數(shù)據(jù)整合平臺(tái)的統(tǒng)一控制和管理，我們采用集中式的數(shù)據(jù)整合平臺(tái)設(shè)計(jì)思路，即在中心部署一個(gè)大的平臺(tái)上完成對(duì)主要業(yè)務(wù)數(shù)據(jù)的采集，及不同數(shù)據(jù)分區(qū)間的數(shù)據(jù)交換。數(shù)據(jù)整合平臺(tái)設(shè)計(jì)的基本原則是在業(yè)務(wù)系統(tǒng)部署軟件，和編寫(xiě)專(zhuān)用接口，所有的軟件部署也都在此平臺(tái)上實(shí)施。2.1實(shí)現(xiàn)數(shù)據(jù)交換在本方案中，根據(jù)與已有系統(tǒng)連接的要求，需要支持實(shí)現(xiàn)與oracle，sql server，db2等異構(gòu)、多個(gè)數(shù)據(jù)庫(kù)系統(tǒng)之間的數(shù)據(jù)復(fù)制，這就面臨著一個(gè)異構(gòu)數(shù)據(jù)庫(kù)之間雙向復(fù)制的技術(shù)要求，這在數(shù)據(jù)庫(kù)領(lǐng)域一直是一個(gè)很難解決的問(wèn)題。而ibm websphere information integrator 恰恰在解決一個(gè)企業(yè)級(jí)異構(gòu)數(shù)據(jù)集成同時(shí)，很好地解決了這一棘手的問(wèn)題。ibm websphere information integrator 能夠支持用戶(hù)在一個(gè)廣泛的異構(gòu)數(shù)據(jù)環(huán)境內(nèi)，定義各個(gè)異構(gòu)數(shù)據(jù)源之間的復(fù)制關(guān)系和復(fù)制機(jī)制，ibm websphere information integrator可以支持表級(jí)的、雙向的、指定時(shí)間點(diǎn)的復(fù)制，能夠提供接近實(shí)時(shí)的，事務(wù)一致的數(shù)據(jù)復(fù)制機(jī)制的定義和實(shí)現(xiàn)。使用ibm websphere information inetgrator 后，ibm db2，ibm informix，microsoft，oracle，和sybase都可以作為復(fù)制源或復(fù)制目標(biāo)； 用戶(hù)可以配置一個(gè)多樣性的拓?fù)洵h(huán)境l 復(fù)制服務(wù)器支持分布式（從一個(gè)數(shù)據(jù)庫(kù)到多個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)遷移）和集中式（從多個(gè)數(shù)據(jù)庫(kù)到一個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)遷移）l 數(shù)據(jù)遷移可以同時(shí)使用標(biāo)準(zhǔn)的sql表達(dá)式或存儲(chǔ)過(guò)程l 數(shù)據(jù)遷移可以定時(shí)的自動(dòng)執(zhí)行，或在一定的時(shí)間間隔執(zhí)行，或連續(xù)執(zhí)行，或者由事件觸發(fā)執(zhí)行數(shù)據(jù)復(fù)制定義關(guān)系如下圖所示：數(shù)據(jù)運(yùn)輸表oraclesql serverany source地市級(jí)管理系統(tǒng)統(tǒng)縣級(jí)管理系統(tǒng)ibm information integrator數(shù)據(jù)復(fù)制引擎外部應(yīng)用管理系統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)oracle從上圖可以看出，使用ibm websphere information integrator后，可以非常方便地實(shí)現(xiàn)跨業(yè)務(wù)平臺(tái)、跨數(shù)據(jù)平臺(tái)、跨地域的業(yè)務(wù)數(shù)據(jù)匯總、統(tǒng)計(jì)分析等工作的開(kāi)展。而從前，我們要實(shí)現(xiàn)這樣一個(gè)應(yīng)用，就需要花費(fèi)大量的精力，進(jìn)行數(shù)據(jù)采集匯總的工作，從各個(gè)地域、各個(gè)業(yè)務(wù)系統(tǒng)、各個(gè)數(shù)據(jù)庫(kù)平臺(tái)上進(jìn)行數(shù)據(jù)遷移，工作量大，而且準(zhǔn)確率和實(shí)時(shí)性都很差。而在本方案中，這一切難題都會(huì)迎刃而解。2.2實(shí)現(xiàn)數(shù)據(jù)采集通過(guò)數(shù)據(jù)整合平臺(tái)，實(shí)現(xiàn)中心對(duì)垂直業(yè)務(wù)數(shù)據(jù)的采集，我們可以提供三種數(shù)據(jù)采集的途徑，分別說(shuō)明如下：批量數(shù)據(jù)抽取 對(duì)于比較規(guī)范的業(yè)務(wù)系統(tǒng)，如果通過(guò)理解其數(shù)據(jù)庫(kù)表結(jié)構(gòu)能夠識(shí)別增量數(shù)據(jù)，則建議采用批量數(shù)據(jù)抽取的方式。批量數(shù)據(jù)抽取的方式一般為非實(shí)時(shí)模式，在業(yè)務(wù)系統(tǒng)空閑時(shí)進(jìn)行運(yùn)行。對(duì)于網(wǎng)絡(luò)條件較好的數(shù)據(jù)源，該方式可直接通過(guò)信息采集平臺(tái)向業(yè)務(wù)數(shù)據(jù)庫(kù)發(fā)送數(shù)據(jù)抽取的sql 語(yǔ)句，增量信息通過(guò)where 條件傳入，采集的數(shù)據(jù)直接保存在信息整合平臺(tái)。對(duì)于網(wǎng)絡(luò)狀況不理想的業(yè)務(wù)系統(tǒng)，該方式可分兩步進(jìn)行。首先在業(yè)務(wù)系統(tǒng)數(shù)據(jù)源將增量信息卸載為文件，然后再將文件傳送到信息采集平臺(tái)。這種模式要求在數(shù)據(jù)源部署卸載及數(shù)據(jù)傳輸程序，管理維護(hù)成本較大，建議盡量采用第一種方式。數(shù)據(jù)復(fù)制數(shù)據(jù)采集平臺(tái)提供對(duì)各類(lèi)主流數(shù)據(jù)庫(kù)的各主要版本數(shù)據(jù)復(fù)制的能力。在復(fù)制的過(guò)程中，系統(tǒng)自動(dòng)抽取數(shù)據(jù)的變化，通過(guò)中間的傳輸，最后加載到目的地。在大多數(shù)情況下，復(fù)制應(yīng)該不干預(yù)現(xiàn)有的應(yīng)用，對(duì)系統(tǒng)的影響應(yīng)該降到最低，復(fù)制過(guò)程有必要進(jìn)行管理和監(jiān)控。復(fù)制可分為兩個(gè)步驟capture用于獲取數(shù)據(jù)源數(shù)據(jù)的增量。對(duì)oracle數(shù)據(jù)源，通過(guò)trigger機(jī)制實(shí)現(xiàn)。apply負(fù)責(zé)將變更的數(shù)據(jù)送到數(shù)據(jù)目標(biāo)。wii提供對(duì)純?cè)隽康膹?fù)制能力，在目標(biāo)端自動(dòng)附加操作類(lèi)型、時(shí)間戳等信息，以用于后續(xù)數(shù)據(jù)轉(zhuǎn)換的處理。wii所提供的數(shù)據(jù)復(fù)制方式提供多種調(diào)度手段，支持分鐘級(jí)數(shù)據(jù)的同步。對(duì)大多數(shù)據(jù)業(yè)務(wù)系統(tǒng)而言，數(shù)據(jù)復(fù)制對(duì)系統(tǒng)有一定影響，但影響有限。建議應(yīng)用在難以提供增量信息，而業(yè)務(wù)負(fù)荷又有一定擴(kuò)展性的系統(tǒng)。數(shù)據(jù)偵聽(tīng)同步數(shù)據(jù)偵聽(tīng)同步的模式與數(shù)據(jù)復(fù)制有一定類(lèi)似，但可大大降低對(duì)業(yè)務(wù)系統(tǒng)正常工作時(shí)間的影響。對(duì)于部分不能提供增量信息，而當(dāng)前業(yè)務(wù)系統(tǒng)負(fù)荷又較重的系統(tǒng)，可采用數(shù)據(jù)偵聽(tīng)的模式。數(shù)據(jù)偵聽(tīng)與數(shù)據(jù)復(fù)制最大的不同是在變更數(shù)據(jù)捕獲方面。數(shù)據(jù)偵聽(tīng)只捕獲變更數(shù)據(jù)的主鍵信息，占整個(gè)記錄的信息量很小。因而對(duì)業(yè)務(wù)系統(tǒng)的工作時(shí)間的影響很小。數(shù)據(jù)偵聽(tīng)同步分兩個(gè)步驟完成數(shù)據(jù)的采集。首先通過(guò)數(shù)據(jù)偵聽(tīng)獲取變更數(shù)據(jù)的主鍵及操作類(lèi)型信息，并同步到數(shù)據(jù)采集平臺(tái)。然后在業(yè)務(wù)系統(tǒng)的空閑時(shí)間，通過(guò)偵聽(tīng)得到的變更信息，重新通過(guò)數(shù)據(jù)采集平臺(tái)訪(fǎng)問(wèn)數(shù)據(jù)源，批量將其他數(shù)據(jù)內(nèi)容信息抽取到數(shù)據(jù)采集平臺(tái)。數(shù)據(jù)同步中可能的意外情況由系統(tǒng)自動(dòng)管理。數(shù)據(jù)采集平臺(tái)通過(guò)提供批量數(shù)據(jù)抽取、數(shù)據(jù)復(fù)制和數(shù)據(jù)偵聽(tīng)同步的方式，針對(duì)省廳的多種不同情況的源業(yè)務(wù)系統(tǒng)，均提出了有效的采集方案，對(duì)建立系統(tǒng)打下了堅(jiān)實(shí)的基礎(chǔ)。3. ibm數(shù)據(jù)整合平臺(tái)的功能我們建議選用ibm數(shù)據(jù)整合平臺(tái)websphere information integrator作為數(shù)據(jù)交換平臺(tái)的核心技術(shù)。將市社保的各類(lèi)數(shù)據(jù)源通過(guò)聯(lián)邦的方式映射到一個(gè)數(shù)據(jù)采集平臺(tái)的邏輯數(shù)據(jù)庫(kù)中。對(duì)所有業(yè)務(wù)數(shù)據(jù)的訪(fǎng)問(wèn)都通過(guò)websphere ii完成，數(shù)據(jù)存儲(chǔ)的異構(gòu)性和不同數(shù)據(jù)庫(kù)操作的異構(gòu)性由websphere ii屏蔽。信息整合平臺(tái)基礎(chǔ)架構(gòu)如下所示：基于聯(lián)邦數(shù)據(jù)映射能力，在數(shù)據(jù)整合平臺(tái)可直接獲取業(yè)務(wù)數(shù)據(jù)庫(kù)的數(shù)據(jù)。在此基礎(chǔ)上，wii還提供異構(gòu)數(shù)據(jù)復(fù)制技術(shù)及數(shù)據(jù)偵聽(tīng)技術(shù)，實(shí)現(xiàn)對(duì)增量信息的識(shí)別和同步。其實(shí)現(xiàn)原理如下圖所示：圖中：聯(lián)邦服務(wù)器（federated database server）通過(guò)稱(chēng)為包裝器（wrapper）的軟件模塊與數(shù)據(jù)源進(jìn)行通信。對(duì)于上述各類(lèi)數(shù)據(jù)源，websphere ii 提供專(zhuān)用的wrapper，每個(gè)wrapper實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源的sql處理，支持異構(gòu)數(shù)據(jù)庫(kù)間數(shù)據(jù)類(lèi)型的轉(zhuǎn)換和函數(shù)的轉(zhuǎn)換。對(duì)關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)源而言，包裝器通過(guò)安裝在信息整合平臺(tái)的該數(shù)據(jù)庫(kù)的客戶(hù)端與其進(jìn)行交互。對(duì)非關(guān)系型數(shù)據(jù)源，包裝器直接進(jìn)行數(shù)據(jù)訪(fǎng)問(wèn)。包裝器從信息整合服務(wù)器接受數(shù)據(jù)訪(fǎng)問(wèn)指令，進(jìn)行轉(zhuǎn)換為數(shù)據(jù)源所支持的sql，通過(guò)數(shù)據(jù)源的客戶(hù)端提交執(zhí)行。然后將結(jié)果返回給信息整合服務(wù)器處理。除包裝器外，信息整合服務(wù)器還有三個(gè)核心的部分。信息整合服務(wù)器維護(hù)一個(gè)全局的數(shù)據(jù)字典，其中保存需在信息整合平臺(tái)被訪(fǎng)問(wèn)的數(shù)據(jù)的相關(guān)描述，包括數(shù)據(jù)源的配置信息，數(shù)據(jù)源表的結(jié)構(gòu)，字段數(shù)據(jù)類(lèi)型，相應(yīng)的索引及數(shù)據(jù)量數(shù)據(jù)分布的統(tǒng)計(jì)信息。（注：該類(lèi)信息無(wú)需用戶(hù)自行輸入，在定義過(guò)程中，系統(tǒng)可從源數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)字典中自動(dòng)獲?。Ａ硗馊?jǐn)?shù)據(jù)字典還記錄數(shù)據(jù)源的cpu，網(wǎng)絡(luò)，i/o等系統(tǒng)資源情況?，F(xiàn)對(duì)ibm信息集成關(guān)鍵技術(shù)進(jìn)行說(shuō)明1）聯(lián)邦技術(shù)采用聯(lián)邦技術(shù)，可通過(guò)簡(jiǎn)單的配置，快速實(shí)現(xiàn)數(shù)據(jù)共享。其主要特點(diǎn)為：l 透明性。所有信息源看起來(lái)就像是一個(gè)信息源。l 異構(gòu)性。從不同數(shù)據(jù)源整合數(shù)據(jù)。l 雙向sql訪(fǎng)問(wèn)。基于標(biāo)準(zhǔn)的通用訪(fǎng)問(wèn)方式，且雙向可讀寫(xiě)。l 可擴(kuò)展性和工具化?？梢栽L(fǎng)問(wèn)任何數(shù)據(jù)源，配置方便。l 避免對(duì)現(xiàn)有數(shù)據(jù)源和應(yīng)用程序進(jìn)行更改。l 其性能可以滿(mǎn)足實(shí)際應(yīng)用程序和可能應(yīng)用程序的需要，包括高級(jí)查詢(xún)優(yōu)化技術(shù)、本地?cái)?shù)據(jù)訪(fǎng)問(wèn)以及透明緩存支持。l 可以充分利用標(biāo)準(zhǔn)的分析、報(bào)告和開(kāi)發(fā)工具等高級(jí)功能。websphere ii查詢(xún)接口提供了基于標(biāo)準(zhǔn)的完整功能包括對(duì)后端數(shù)據(jù)源中缺失能力的補(bǔ)償。 2）sql復(fù)制在多種數(shù)據(jù)源的環(huán)境中，主要采用sql復(fù)制技術(shù)。sql復(fù)制技術(shù)能夠支持網(wǎng)絡(luò)上同構(gòu)或異構(gòu)數(shù)據(jù)庫(kù)之間的數(shù)據(jù)的有效傳輸和冗余性復(fù)制，能夠?qū)崿F(xiàn)多種復(fù)制模式（如：準(zhǔn)實(shí)時(shí)復(fù)制、定時(shí)復(fù)制、雙向復(fù)制、復(fù)制轉(zhuǎn)發(fā)等，復(fù)制范圍可整表復(fù)制或表中部分行復(fù)制或修改單元復(fù)制）。復(fù)制運(yùn)行時(shí)包括三個(gè)組成部分：capture、monitor和apply。其中capture提取復(fù)制數(shù)據(jù)源的變化增量；apply獲取capture的結(jié)果，并根據(jù)復(fù)制映射關(guān)系進(jìn)行轉(zhuǎn)換，按照一定的時(shí)間規(guī)劃，作用于目標(biāo)數(shù)據(jù)；monitor監(jiān)控復(fù)制過(guò)程，并給出監(jiān)控信息。sql復(fù)制實(shí)現(xiàn)機(jī)制能夠解決以下三個(gè)主要問(wèn)題：增量復(fù)制支持對(duì)數(shù)據(jù)的變化增量識(shí)別、提取和復(fù)制，與全量數(shù)據(jù)復(fù)制相比，可避免全量數(shù)據(jù)傳輸?shù)木薮筘?fù)載對(duì)各個(gè)系統(tǒng)的影響。對(duì)db2家族的復(fù)制數(shù)據(jù)源而言，通過(guò)讀取數(shù)據(jù)庫(kù)日志信息獲取數(shù)據(jù)增量，可避免對(duì)數(shù)據(jù)庫(kù)運(yùn)行性能的影響。對(duì)于復(fù)制數(shù)據(jù)源為非db2的數(shù)據(jù)庫(kù)，其獲取數(shù)據(jù)增量的capture方式由數(shù)據(jù)源的trigger機(jī)制實(shí)現(xiàn)(注：這些trigger由db2的復(fù)制機(jī)制自動(dòng)維護(hù))。圖3.1 sql復(fù)制機(jī)制源數(shù)據(jù)與目標(biāo)數(shù)據(jù)間的復(fù)制轉(zhuǎn)換源數(shù)據(jù)與目標(biāo)數(shù)據(jù)之間,往往存在著數(shù)據(jù)類(lèi)型、格式、邏輯等不一致。為了使目標(biāo)數(shù)據(jù)源能夠讀懂、接受復(fù)制數(shù)據(jù)源的數(shù)據(jù)，就必須進(jìn)行復(fù)制轉(zhuǎn)換。在復(fù)制過(guò)程中的常用轉(zhuǎn)換方法有如下兩種：復(fù)制映射和添加計(jì)算列：復(fù)制映射主要指復(fù)制源和目標(biāo)之間的列映射，可以用如下圖所示的配置工具實(shí)現(xiàn)。鼠標(biāo)拖拽產(chǎn)生的箭頭指示源與目標(biāo)列的對(duì)應(yīng)關(guān)系?！疤砑佑?jì)算列”可以使用sql對(duì)復(fù)制源的某列進(jìn)行運(yùn)算，產(chǎn)生一個(gè)計(jì)算列，該列的定義記錄在復(fù)制控制表中，不影響源表。如下圖紫色方框標(biāo)注的兩列：右側(cè)的是目標(biāo)列，其定義長(zhǎng)度為30個(gè)字符；左側(cè)的是對(duì)源表某列作substr字符串截取生成的計(jì)算列，截取前30個(gè)字符。此外常用的sql還有date函數(shù)、case語(yǔ)句等等。圖：復(fù)制映射和添加計(jì)算列兩階段復(fù)制：一致更改數(shù)據(jù)ccd表作中間表兩階段復(fù)制的優(yōu)勢(shì)在于能夠獲取數(shù)據(jù)增量及其類(lèi)別，并結(jié)合多種數(shù)據(jù)轉(zhuǎn)換方法。兩階段復(fù)制中，首先由源表復(fù)制到一致更改數(shù)據(jù)ccd表，后者能夠記錄在源表上所有的更改操作的類(lèi)型（插入、更新及刪除）和結(jié)果，從而捕獲源表中所有的增量信息。第二階段，開(kāi)發(fā)者可以編寫(xiě)存儲(chǔ)過(guò)程、或應(yīng)用程序處理ccd表中的數(shù)據(jù)，再采用復(fù)制方法使數(shù)據(jù)作用到最終目標(biāo)表。可配置、可管理的數(shù)據(jù)分發(fā)數(shù)據(jù)分發(fā)主要指apply的過(guò)程，即將復(fù)制數(shù)據(jù)源的增量應(yīng)用到復(fù)制目標(biāo)。數(shù)據(jù)分發(fā)過(guò)程中的配置和管理，對(duì)復(fù)制的可靠性和可管理十分重要。數(shù)據(jù)分發(fā)提供的配置選擇包括：?jiǎn)?dòng)/停止數(shù)據(jù)應(yīng)用到目標(biāo)表；選擇連續(xù)復(fù)制方式或設(shè)置復(fù)制時(shí)間間隔等；提供自動(dòng)數(shù)據(jù)分組、出錯(cuò)自動(dòng)回滾等功能，處理傳輸過(guò)程中的異常處理，用戶(hù)可配置發(fā)生網(wǎng)絡(luò)或系統(tǒng)故障時(shí)的傳輸重試間隔。3）雙層認(rèn)證授權(quán)機(jī)制websphere ii的雙層認(rèn)證授權(quán)機(jī)制，充分保證異地?cái)?shù)據(jù)訪(fǎng)問(wèn)下的數(shù)據(jù)安全。information integrator用戶(hù)對(duì)數(shù)據(jù)的操作權(quán)限，取決于各個(gè)應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)向它開(kāi)放的用戶(hù)的授權(quán)，是且僅可能是后者的子集。通過(guò)開(kāi)放不同權(quán)限的用戶(hù)給information integrator，可限制通過(guò)ii的用戶(hù)訪(fǎng)問(wèn)的數(shù)據(jù)內(nèi)容和數(shù)據(jù)庫(kù)操作（如插入、修改和刪除），這樣就保證了業(yè)務(wù)數(shù)據(jù)的安全性，不會(huì)出現(xiàn)超越業(yè)務(wù)授權(quán)的所謂超級(jí)用戶(hù)，消除數(shù)據(jù)安全隱患。三、 ibm 信息集成技術(shù)的特點(diǎn)3.1 全局統(tǒng)一的數(shù)據(jù)視圖按照 ibm 的預(yù)想，信息集成基礎(chǔ)構(gòu)架必須為應(yīng)用層提供對(duì)其所需訪(fǎng)問(wèn)數(shù)據(jù)的全局統(tǒng)一的數(shù)據(jù)視圖，使應(yīng)用對(duì)數(shù)據(jù)的訪(fǎng)問(wèn)不受數(shù)據(jù)格式、數(shù)據(jù)位置和訪(fǎng)問(wèn)接口差異的限制。對(duì)數(shù)據(jù)管理系統(tǒng)的發(fā)展不僅是要實(shí)現(xiàn)對(duì)單一數(shù)據(jù)庫(kù)中存儲(chǔ)的信息進(jìn)行管理，而且還要能夠提供對(duì)所有形式數(shù)據(jù)的增值性集成、對(duì)數(shù)據(jù)安排實(shí)施動(dòng)態(tài)管理以滿(mǎn)足可用性、實(shí)時(shí)性同時(shí)滿(mǎn)足性能要求以及提供可繼續(xù)減輕 it 人員管理復(fù)雜數(shù)據(jù)體系結(jié)構(gòu)負(fù)擔(dān)的自主特色功能。為此，ibm 制訂了一項(xiàng)代號(hào)為 xperanto 的計(jì)劃，旨在應(yīng)對(duì)客戶(hù)對(duì)集成結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的需求。依靠在研究上的不斷投資及在關(guān)系數(shù)據(jù)、xml、內(nèi)容管理、聯(lián)邦、搜索和復(fù)制等領(lǐng)域所擁有的可靠的數(shù)據(jù)管理技術(shù)，ibm 正著手開(kāi)發(fā)集成式基礎(chǔ)構(gòu)架（如下圖所示）。ibm 基礎(chǔ)構(gòu)架憑借一系列程序設(shè)計(jì)模型、一套豐富的集成特色功能及與 ibm 的整個(gè)業(yè)務(wù)集成框架的互操作性提供了靈活的訪(fǎng)問(wèn)方式。3.2 靈活的訪(fǎng)問(wèn)方式ibm 的設(shè)想是通過(guò)行業(yè)標(biāo)準(zhǔn)接口提供對(duì)信息集成基礎(chǔ)構(gòu)架的靈活訪(fǎng)問(wèn)。客戶(hù)應(yīng)用訪(fǎng)問(wèn)信息可通過(guò) odbc、jbdc、網(wǎng)絡(luò)服務(wù)、本地客戶(hù)機(jī)或異步客戶(hù)機(jī)接口來(lái)實(shí)現(xiàn)。無(wú)論數(shù)據(jù)是分布在何種數(shù)據(jù)庫(kù),文件或消息隊(duì)列中,應(yīng)用對(duì)數(shù)據(jù)的訪(fǎng)問(wèn)都如同是在對(duì)一個(gè)邏輯的數(shù)據(jù)庫(kù)進(jìn)行. 它所支持的查詢(xún)語(yǔ)言將包括：l 結(jié)構(gòu)化查詢(xún)語(yǔ)言 (sql)：業(yè)界最成熟、功能最強(qiáng)大的查詢(xún)語(yǔ)言，市場(chǎng)應(yīng)用廣泛；l xquery：有關(guān) xml 數(shù)據(jù)訪(fǎng)問(wèn)的新興標(biāo)準(zhǔn)，萬(wàn)維網(wǎng)協(xié)會(huì) (w3c) 目前正在進(jìn)行其標(biāo)準(zhǔn)化工作l ibm db2 content manager： 是面向?qū)ο蟮膽?yīng)用程序編程接口，它支持內(nèi)容管理生命周期，包括富文本和圖像查詢(xún)。無(wú)論采用何種客戶(hù)訪(fǎng)問(wèn)方式和查詢(xún)語(yǔ)言，應(yīng)用程序都應(yīng)能夠訪(fǎng)問(wèn)通過(guò)集成服務(wù)器連接的所有數(shù)據(jù)。這種客戶(hù)訪(fǎng)問(wèn)和查詢(xún)語(yǔ)言靈活性的組合使現(xiàn)有開(kāi)發(fā)和分析工具能夠通過(guò)集成服務(wù)器訪(fǎng)問(wèn)更廣泛的數(shù)據(jù),并直接利用集成服務(wù)器所提供的信息集成功能。它還使基礎(chǔ)構(gòu)架能夠通過(guò)web services適應(yīng)以服務(wù)為導(dǎo)向的體系結(jié)構(gòu)，還可提供與工作流異步集成或輕松調(diào)度長(zhǎng)耗時(shí)的查詢(xún)?nèi)蝿?wù)，并能保護(hù)您在現(xiàn)有和新應(yīng)用程序基礎(chǔ)構(gòu)架上的投資。3.3 豐富的特色功能利用 ibm 信息集成基礎(chǔ)構(gòu)架可實(shí)現(xiàn)對(duì)各種分散于各處的實(shí)時(shí)數(shù)據(jù)的集成，就好像它們來(lái)自同一數(shù)據(jù)源。該基礎(chǔ)構(gòu)架具有聯(lián)邦、搜索、高速緩存、轉(zhuǎn)換和復(fù)制異構(gòu)數(shù)據(jù)等重要的功能：聯(lián)邦: ibm 提供業(yè)界領(lǐng)先的對(duì)相異數(shù)據(jù)源的聯(lián)邦功能。聯(lián)邦的概念是：用戶(hù)可以像對(duì)待一個(gè)數(shù)據(jù)源那樣對(duì)多個(gè)數(shù)據(jù)源實(shí)施查詢(xún)和處理，同時(shí)保持?jǐn)?shù)據(jù)源各自的獨(dú)立性和完整性。視實(shí)施的具體情況，這些數(shù)據(jù)源可能是同構(gòu)或異構(gòu)數(shù)據(jù)源，也可能是集中或分散的數(shù)據(jù)源。ibm 的聯(lián)邦引擎提供了下述功能： 透明度:它具有屏蔽作用，可協(xié)助使用戶(hù)在訪(fǎng)問(wèn)數(shù)據(jù)時(shí),無(wú)法察覺(jué)底層數(shù)據(jù)源的差異、特質(zhì)和實(shí)現(xiàn)方式，并使一組聯(lián)邦數(shù)據(jù)源看上去就像是一個(gè)系統(tǒng)。異構(gòu)性: 一如其名它具有聯(lián)邦異構(gòu)類(lèi)型數(shù)據(jù)的功能，這些數(shù)據(jù)類(lèi)型包括結(jié)構(gòu)化數(shù)據(jù)（例如，關(guān)系數(shù)據(jù)庫(kù)）、半結(jié)構(gòu)化數(shù)據(jù)（例如，xml 文檔）、非結(jié)構(gòu)化數(shù)據(jù)（例如，自由格式文本）。可擴(kuò)展性: 一種可將聯(lián)邦能力擴(kuò)展到幾乎任何數(shù)據(jù)源的功能。可擴(kuò)展性專(zhuān)為這一目的而設(shè)計(jì)，即最大程度降低集成新數(shù)據(jù)源的工作量，同時(shí)靈活地為優(yōu)化查詢(xún)?cè)L問(wèn)提供必要的信息。豐富的函數(shù)功能: 包括通過(guò)支持的查詢(xún)語(yǔ)言提供的函數(shù)、對(duì)后端數(shù)據(jù)源中所缺函數(shù)的補(bǔ)償以及將數(shù)據(jù)源專(zhuān)用功能無(wú)縫嵌入到查詢(xún)語(yǔ)言中的功能。數(shù)據(jù)源自主性: 即可將數(shù)據(jù)源聯(lián)邦在一起，而對(duì)現(xiàn)有應(yīng)用程序或系統(tǒng)沒(méi)有或幾乎沒(méi)有影響。性能優(yōu)化: 使聯(lián)邦查詢(xún)成為一種現(xiàn)實(shí)備選方案的性能特性。憑借超過(guò) 25 年的研究和開(kāi)發(fā)經(jīng)驗(yàn)及專(zhuān)利的優(yōu)化技術(shù)，ibm 可以事實(shí)證明，聯(lián)邦是一個(gè)能夠滿(mǎn)足性能要求的可行方案。搜索: ibm 的基礎(chǔ)構(gòu)架將提供高級(jí)搜索和查詢(xún)功能，包括網(wǎng)絡(luò)爬行、文檔索引建立、多搜索引擎搜索結(jié)果聯(lián)邦、以實(shí)現(xiàn)智能訪(fǎng)問(wèn)為目標(biāo)的文本文檔分類(lèi)和摘要信息建立以及語(yǔ)義理解。2002 年，ibm 組建了“ibm 搜索和文本分析研究院”，以通過(guò)集成式體系結(jié)構(gòu)統(tǒng)一并加速 ibm 在高級(jí)搜索和挖掘功能上的研究和部署。研究成果將可為 ibm 信息集成平臺(tái)以及其它 ibm 方案提供動(dòng)力。高速緩沖存儲(chǔ)器: ibm 的信息集成基礎(chǔ)構(gòu)架將支持在數(shù)據(jù)層級(jí)中的多個(gè)點(diǎn)放置和管理數(shù)據(jù)，以改善性能。這絕非是簡(jiǎn)單的高速緩存功能，而是基于策略的數(shù)據(jù)安排和管理。需要由一系列高速緩存策略才能向發(fā)出請(qǐng)求的應(yīng)用程序提供足夠的性能、實(shí)時(shí)性和可用性特性。轉(zhuǎn)換: 基礎(chǔ)構(gòu)架必須提供豐富的轉(zhuǎn)換特色功能，以便進(jìn)行分析、交換和呈現(xiàn)。轉(zhuǎn)換功能完成不同類(lèi)型數(shù)據(jù)庫(kù)sql語(yǔ)句的動(dòng)態(tài)轉(zhuǎn)換(如數(shù)據(jù)類(lèi)型及函數(shù)的匹配).另外還包括對(duì)數(shù)據(jù)源缺失函數(shù)的補(bǔ)償和原有數(shù)據(jù)源專(zhuān)用功能(如存儲(chǔ)過(guò)程和用戶(hù)自定義函數(shù))的嵌入。復(fù)制: 作為信息集成基礎(chǔ)構(gòu)架的一個(gè)基本特征，復(fù)制功能不可或缺。它是分布式訪(fǎng)問(wèn)特色功能的有益補(bǔ)充，實(shí)現(xiàn)了對(duì)集中式數(shù)據(jù)存儲(chǔ)器的管理，并為高效管理數(shù)據(jù)高速緩沖存儲(chǔ)器提供了必需的基礎(chǔ)構(gòu)架。信息集成可實(shí)現(xiàn)異構(gòu)關(guān)系型數(shù)據(jù)源之間的相互復(fù)制. 支持多點(diǎn)對(duì)一點(diǎn)的數(shù)據(jù)集中模式和一點(diǎn)對(duì)多點(diǎn)的數(shù)據(jù)分發(fā)模式. 包括初始的數(shù)據(jù)同步和增量的鑒別和同步. 并提供對(duì)復(fù)制過(guò)程的監(jiān)控.簡(jiǎn)化全面業(yè)務(wù)集成: 如前所提及，信息集成只是整個(gè)業(yè)務(wù)集成基礎(chǔ)構(gòu)架的一部分。為支持業(yè)務(wù)的改良需求，此基礎(chǔ)構(gòu)架補(bǔ)充了強(qiáng)健的數(shù)據(jù)和內(nèi)容存儲(chǔ)器及附加集成技術(shù)，并采用了行業(yè)標(biāo)準(zhǔn)。數(shù)據(jù)存儲(chǔ)：ibm 現(xiàn)今提供業(yè)內(nèi)領(lǐng)先的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)和內(nèi)容管理系統(tǒng)，并在提供集成 xml 支持方面引領(lǐng)著行業(yè)的發(fā)展。除現(xiàn)有功能（基于關(guān)系數(shù)據(jù)庫(kù)模型）外，xml 儲(chǔ)存還必須完整地包含和充分利用 xml 數(shù)據(jù)模型。xml 儲(chǔ)存設(shè)計(jì)有一個(gè)內(nèi)置 xml 注冊(cè)表，可以輕松管理大量 xml 工件。這些工件包括隨 xml 數(shù)據(jù)數(shù)量和種類(lèi)的增加而可能產(chǎn)生的 xml schema 文檔、文檔類(lèi)型定義 (dtd) 和web services說(shuō)明文檔等。利用互補(bǔ)的集成技術(shù)：開(kāi)發(fā)企業(yè)集成基礎(chǔ)構(gòu)架的關(guān)鍵在于能否自如地組合利用或單獨(dú)利用適用的集成技術(shù)。ibm 繼續(xù)專(zhuān)注于信息集成對(duì)“ibm 軟件集團(tuán)”全線(xiàn)產(chǎn)品，特別是 websphere 業(yè)務(wù)集成系列產(chǎn)品的集成，以提供一套全面的業(yè)務(wù)集成基礎(chǔ)構(gòu)架。websphere 軟件平臺(tái)為數(shù)據(jù)庫(kù)及聯(lián)邦數(shù)據(jù)庫(kù)應(yīng)用程序提供了一個(gè)開(kāi)放、集成式的 java 技術(shù)開(kāi)發(fā)環(huán)境。同時(shí)，ibm 也在投入力量使其能夠與 microsoft visualstudio 順暢協(xié)作并實(shí)現(xiàn)集成。簡(jiǎn)言之，ibm 的集成式解決方案是業(yè)內(nèi)覆蓋領(lǐng)域最廣、最完整的集成式解決方案。 支持行業(yè)標(biāo)準(zhǔn)：ibm 繼續(xù)處于開(kāi)發(fā)和采用行業(yè)標(biāo)準(zhǔn)的最前沿，為在不同開(kāi)發(fā)商工具間實(shí)現(xiàn)廣泛的互操作性提供便利。四、 ibm信息整合解決方案的優(yōu)勢(shì)我們建議的社保信息數(shù)據(jù)交換平臺(tái)解決方案具備以下幾個(gè)關(guān)鍵的技術(shù)優(yōu)勢(shì)：41建立、地市級(jí)管理系統(tǒng)之間的信息交互、地市級(jí)管理系統(tǒng)的信息交互，實(shí)際包含兩方面的含義：u 數(shù)據(jù)交換：實(shí)現(xiàn)、地市級(jí)級(jí)系統(tǒng)之間的數(shù)據(jù)交換，實(shí)現(xiàn)數(shù)據(jù)的物理遷移，數(shù)據(jù)由某個(gè)數(shù)據(jù)源傳遞到某個(gè)目標(biāo)數(shù)據(jù)庫(kù)中；數(shù)據(jù)共享：為跨越社保管理現(xiàn)有的業(yè)務(wù)系統(tǒng)、各個(gè)合作機(jī)構(gòu)的業(yè)務(wù)系統(tǒng)中所有相關(guān)數(shù)據(jù)，進(jìn)行綜合查詢(xún)和分析提供數(shù)據(jù)集成訪(fǎng)問(wèn)支持； 42利用異構(gòu)數(shù)據(jù)透明訪(fǎng)問(wèn)技術(shù)實(shí)現(xiàn)數(shù)據(jù)共享ibm解決方案的核心產(chǎn)品是ibm information integrator，其中核心技術(shù)之一為聯(lián)邦數(shù)據(jù)訪(fǎng)問(wèn)技術(shù)。如下圖所示，通過(guò)采用 ibm information integrator， 將數(shù)據(jù)交換平臺(tái)各級(jí)業(yè)務(wù)管理系統(tǒng)中的各類(lèi)數(shù)據(jù)源，通過(guò)聯(lián)邦的方式映射到一個(gè)邏輯的數(shù)據(jù)庫(kù)中。對(duì)所有數(shù)據(jù)的訪(fǎng)問(wèn)都通過(guò)ibm information integrator完成，數(shù)據(jù)存儲(chǔ)的異構(gòu)性和不同數(shù)據(jù)庫(kù)操作的異構(gòu)性由ibm information integrator屏蔽?；趇bm information integrator可實(shí)現(xiàn)異構(gòu)平臺(tái)的表級(jí)數(shù)據(jù)庫(kù)的通用sql操作。43統(tǒng)一編程接口，簡(jiǎn)化應(yīng)用編程由于對(duì)所有數(shù)據(jù)的訪(fǎng)問(wèn)都通過(guò)ibm information integrator完成，數(shù)據(jù)存儲(chǔ)的異構(gòu)性和不同數(shù)據(jù)庫(kù)操作的異構(gòu)性由ibm information integrator屏蔽。因此對(duì)于新的省級(jí)社保信息綜合業(yè)務(wù)系統(tǒng)（如數(shù)據(jù)實(shí)時(shí)交換、綜合查詢(xún)、數(shù)據(jù)遷移等）的開(kāi)發(fā)者來(lái)說(shuō)，不必了解現(xiàn)有各種業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫(kù)訪(fǎng)問(wèn)接口及編程方法，而只需熟練掌握ibm information integrator所提供的一套編程訪(fǎng)問(wèn)接口就可以實(shí)現(xiàn)所有的應(yīng)用開(kāi)發(fā)工作。整個(gè)編程開(kāi)發(fā)將非常簡(jiǎn)便。44提供全局優(yōu)化技術(shù)，保證系統(tǒng)整體性能領(lǐng)先的基于成本的優(yōu)化器:ibm 在業(yè)界最早實(shí)現(xiàn)了基于成本的優(yōu)化技術(shù)，優(yōu)化器能夠模擬采用不同方式從磁盤(pán)中查詢(xún)數(shù)據(jù)所付出的代價(jià)，從而選用最佳查詢(xún)方案。它在優(yōu)化時(shí)考慮了cpu速度、磁盤(pán)i/o率、表格尺寸、有效訪(fǎng)問(wèn)路徑，并且如果可能的話(huà)可以重寫(xiě)查詢(xún)，以得到更高的性能。ibm的優(yōu)化器充分考慮了并行、大量并發(fā)用戶(hù)、復(fù)雜查詢(xún)等各種可能遇到的情況，使其能夠運(yùn)行于各種計(jì)算環(huán)境。通過(guò)調(diào)節(jié)相應(yīng)參數(shù)，數(shù)據(jù)庫(kù)管理員還可以根據(jù)數(shù)據(jù)庫(kù)應(yīng)用的具體類(lèi)型方便地選擇是否讓優(yōu)化器為此種應(yīng)用做專(zhuān)門(mén)的優(yōu)化。獨(dú)特的查詢(xún)重寫(xiě)技術(shù):ibm對(duì)用戶(hù)的每一個(gè)sql語(yǔ)句的處理過(guò)程于其它數(shù)據(jù)庫(kù)有所不同：在經(jīng)過(guò)語(yǔ)法分析和語(yǔ)義檢查之后，先對(duì)用戶(hù)的sql語(yǔ)句進(jìn)行查詢(xún)重寫(xiě)，再將重寫(xiě)后的查詢(xún)sql語(yǔ)句送交優(yōu)化器優(yōu)化。由于經(jīng)過(guò)查詢(xún)重寫(xiě)的sql語(yǔ)句可以最有效的被優(yōu)化器優(yōu)化，程序員可以專(zhuān)心于業(yè)務(wù)邏輯的實(shí)現(xiàn)，而不必過(guò)多地將精力放在了解數(shù)據(jù)庫(kù)優(yōu)化器工作原理以及關(guān)注sql語(yǔ)句的寫(xiě)法上，減少了應(yīng)用程序不能正確實(shí)現(xiàn)業(yè)務(wù)邏輯的可能性。另一方面，查詢(xún)重寫(xiě)技術(shù)還有助于消除經(jīng)常見(jiàn)到的由于項(xiàng)目組中不同開(kāi)發(fā)人員的水平差異導(dǎo)致的程序執(zhí)行效率不同，或圖形界面動(dòng)態(tài)生成sql語(yǔ)句繁瑣、低效的現(xiàn)象。在異構(gòu)環(huán)境下優(yōu)化技術(shù)同樣適用：使用ibm information integrator構(gòu)建一個(gè)異構(gòu)分布式數(shù)據(jù)庫(kù)環(huán)境后，ibm先進(jìn)的基于成本優(yōu)化器仍然可以通過(guò)ibm information integrator發(fā)揮作用，也就是說(shuō)，ibm可以將一個(gè)跨越多個(gè)業(yè)務(wù)系統(tǒng)的sql語(yǔ)句根據(jù)各個(gè)業(yè)務(wù)系統(tǒng)的實(shí)際狀況進(jìn)行成本估算、查詢(xún)重寫(xiě)、最優(yōu)查詢(xún)路徑模擬及確定。實(shí)現(xiàn)一個(gè)跨業(yè)務(wù)系統(tǒng)的全局優(yōu)化。從而保證了整個(gè)系統(tǒng)的整體性能。ibm information integrator 提供一個(gè)本地的數(shù)據(jù)存儲(chǔ)支持，聯(lián)邦服務(wù)引擎實(shí)現(xiàn)sql的分解和訪(fǎng)問(wèn)路徑的優(yōu)化，其主要原則為將對(duì)數(shù)據(jù)的操作盡量分發(fā)到分布式的數(shù)據(jù)源，在ibm information integrator 聯(lián)邦服務(wù)引擎中統(tǒng)一考慮處理的成本，選擇成本最低的路徑。成本優(yōu)化依據(jù)保存在ibm information integrator catalog 中的各類(lèi)數(shù)據(jù)源的統(tǒng)計(jì)信息。45先進(jìn)的cache技術(shù)，保證系統(tǒng)性能ibm information integrator內(nèi)置了先進(jìn)的cache技術(shù)，可以支持用戶(hù)建立物化查詢(xún)表（materialized query table），這個(gè)物化查詢(xún)表可以跨越各個(gè)業(yè)務(wù)系統(tǒng)建立一個(gè)針對(duì)經(jīng)常查詢(xún)內(nèi)容的預(yù)計(jì)算、預(yù)處理的結(jié)果集，使用cache技術(shù)存放起來(lái)，來(lái)提高使用到這些結(jié)果集的運(yùn)算或查詢(xún)操作的速度。46對(duì)xml技術(shù)的完美支持我們知道xml作為數(shù)據(jù)交換的一個(gè)載體，將在未來(lái)的應(yīng)用中占據(jù)越來(lái)越重要的位置，因此，在ibm information integrator中對(duì)xml有強(qiáng)大的支持，以適應(yīng)當(dāng)前和未來(lái)的應(yīng)用需要。ibm information integrator提供了專(zhuān)用的xml wrapper。 通過(guò)xml wrapper, ibm information integrator支持對(duì)xml內(nèi)容基于sql的訪(fǎng)問(wèn)支持。即用戶(hù)可以使用sql直接操作xml文本，將存放在各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)組成一個(gè)xml文本輸出，或者將一個(gè)xml文本依照dtd或schema分解存儲(chǔ)。47簡(jiǎn)化web services技術(shù)實(shí)現(xiàn)ibm作為web service架構(gòu)的倡導(dǎo)者和領(lǐng)導(dǎo)者，在自身的全部產(chǎn)品線(xiàn)中，都提供了全面的web services支持，ibm information integrator也不例外，如下圖所示，基于統(tǒng)一數(shù)據(jù)服務(wù)平臺(tái)，可大大簡(jiǎn)化復(fù)雜異構(gòu)環(huán)境的web services的實(shí)現(xiàn)。48對(duì)mq的直接支持mq是在消息傳輸中間件市場(chǎng)的冠軍產(chǎn)品，在很多涉及數(shù)據(jù)傳輸和數(shù)據(jù)交換平臺(tái)建設(shè)中，ibm mq產(chǎn)品系列得到了廣泛的應(yīng)用，因此作為綜合業(yè)務(wù)系統(tǒng)整合的數(shù)據(jù)管理產(chǎn)品，一定要具備與mq的直接訪(fǎng)問(wèn)和支持的能力。而在本建議方案中，ibm information integrator提供了對(duì)mq message的直接訪(fǎng)問(wèn)能力。可將sql的輸出直接送入mq的隊(duì)列，也可用sql直接訪(fǎng)問(wèn)mq隊(duì)列，對(duì)應(yīng)用的整合提供了更好的靈活性。49 結(jié)合各業(yè)務(wù)系統(tǒng)用戶(hù)管理機(jī)制，支持建立跨業(yè)務(wù)應(yīng)用的用戶(hù)管理機(jī)制使用ibm information integrator可以實(shí)現(xiàn)一個(gè)原有系統(tǒng)的用戶(hù)及其權(quán)限對(duì)information integrator用戶(hù)權(quán)限的一個(gè)映射定義。即information integrator中的一個(gè)用戶(hù)，也就是省級(jí)數(shù)據(jù)交換平臺(tái)系統(tǒng)中的一個(gè)用戶(hù)可以映射到下屬各個(gè)業(yè)務(wù)系統(tǒng)中的某個(gè)或某幾個(gè)用戶(hù)上，由各個(gè)業(yè)務(wù)系統(tǒng)管理訪(fǎng)問(wèn)自身業(yè)務(wù)數(shù)據(jù)的所有用戶(hù)及其授權(quán)，而省級(jí)數(shù)據(jù)交換平臺(tái)的用戶(hù)僅是這些數(shù)據(jù)的一個(gè)使用者，其對(duì)數(shù)據(jù)的操作權(quán)限不能超越自身系統(tǒng)的授權(quán)機(jī)制，這樣就保證了業(yè)務(wù)數(shù)據(jù)的安全性。不會(huì)出現(xiàn)超越業(yè)務(wù)授權(quán)的所謂超級(jí)用戶(hù)，消除數(shù)據(jù)安全隱患。410 開(kāi)放性，支持多種主流平臺(tái)ibm information integrator是一個(gè)開(kāi)放的系統(tǒng)，能夠支持主流的unix、windows、linux： microsoft windows nt microsoft windows 2000 aix hp-ux sun solaris linux五、 ibm配置方案方案中，我們通過(guò)先進(jìn)的數(shù)據(jù)整合技術(shù)，實(shí)現(xiàn)一個(gè)邏輯集中、物理分布與物理集中相配合的中心業(yè)務(wù)信息庫(kù)，從而構(gòu)建起一個(gè)數(shù)據(jù)交換平臺(tái)，解決了數(shù)據(jù)的讀寫(xiě)雙向訪(fǎng)問(wèn)技術(shù)難點(diǎn)，在此之上可以定義跨越社保管理?xiàng)l塊的業(yè)務(wù)流程和數(shù)據(jù)流程。是一個(gè)先進(jìn)、合理、可實(shí)施的方案。在方案中，數(shù)據(jù)中心部署ibm數(shù)據(jù)整合平臺(tái)，建立數(shù)據(jù)中心的業(yè)務(wù)數(shù)據(jù)中心，形成一個(gè)全局范圍內(nèi)的業(yè)務(wù)數(shù)據(jù)全集，首先可以滿(mǎn)足對(duì)勞動(dòng)與社保業(yè)務(wù)的分析要求，而且，在一定程度上滿(mǎn)足了數(shù)據(jù)層面中心對(duì)市級(jí)單位數(shù)據(jù)的冗余，備份。系統(tǒng)配置如下圖所示：市級(jí)社保業(yè)務(wù)應(yīng)用l ibm db2 information integrator advanced edition connectorl ibm db2 ii connector內(nèi)蒙古勞動(dòng)廳數(shù)據(jù)中心磁盤(pán)陣列數(shù)據(jù)中心管理員企業(yè)級(jí)數(shù)據(jù)備份系統(tǒng)磁帶庫(kù)社保信息系統(tǒng)主干網(wǎng)+部里社保分析應(yīng)用根據(jù)各地的實(shí)際情況，ibm websphere information integrator advanced 可以考慮配置在unix、windows或者linux服務(wù)器上，支撐整個(gè)信息集成的應(yīng)用。如果在該級(jí)數(shù)據(jù)中心需要建立一個(gè)本地?cái)?shù)據(jù)庫(kù)系統(tǒng)來(lái)支撐類(lèi)似統(tǒng)一單位庫(kù)、統(tǒng)一人員庫(kù)等標(biāo)準(zhǔn)化的數(shù)據(jù)存儲(chǔ)，同時(shí)還考慮開(kāi)展決策分析系統(tǒng)，那么可以使用ibm information integrator內(nèi)置的企業(yè)級(jí)數(shù)據(jù)庫(kù)存儲(chǔ)引擎支持建立一個(gè)本地的數(shù)據(jù)庫(kù)系統(tǒng)。根據(jù)數(shù)據(jù)量的大小，配置合適的磁盤(pán)陣列。同時(shí)我們建議購(gòu)置磁帶庫(kù)及相應(yīng)的企業(yè)級(jí)備份管理軟件，配合ibm information integrator實(shí)現(xiàn)數(shù)據(jù)的備份/恢復(fù)工作。以保證整個(gè)系統(tǒng)運(yùn)行的安全、可靠。建議軟件配置： ibm websphere information integrator advance edition ibm websphere information integrator connector ibm websphere data stage server edition附件ibm db2 information integrator產(chǎn)品簡(jiǎn)介由于當(dāng)前信息技術(shù)的飛速發(fā)展，各企業(yè)的業(yè)務(wù)環(huán)境日益復(fù)雜，各種業(yè)務(wù)數(shù)據(jù)不斷的增加，使得企業(yè)中各種數(shù)據(jù)類(lèi)型繁多，數(shù)據(jù)源也十分分散。用戶(hù)越來(lái)越希望能夠?qū)φ麄€(gè)企業(yè)不同數(shù)據(jù)源及數(shù)據(jù)類(lèi)型的數(shù)據(jù)進(jìn)行統(tǒng)一的相關(guān)聯(lián)的管理。但是目前很多企業(yè)受各方面因素的約束，分散的且不同廠商的數(shù)據(jù)源很難復(fù)制或集中到單一的數(shù)據(jù)庫(kù)上。因此，這就使用戶(hù)越來(lái)越渴望能夠獲得一個(gè)可以整合企業(yè)中各個(gè)分布式的數(shù)據(jù)源以方便訪(fǎng)問(wèn)多樣化數(shù)據(jù)的解決方案。在這種需求之下，ibm公司提供了ibm information integrator系列產(chǎn)品，能夠在整個(gè)企業(yè)范圍內(nèi)訪(fǎng)問(wèn)關(guān)系型、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。它能提供戰(zhàn)略上的數(shù)據(jù)集成架構(gòu)，以幫助用戶(hù)去訪(fǎng)問(wèn)、處理以及整合異構(gòu)的、分布式的實(shí)時(shí)數(shù)據(jù)。ibm information integrator包括聯(lián)邦數(shù)據(jù)服務(wù)器（federated data server）和復(fù)制服務(wù)器（replication server），用于整合異構(gòu)的實(shí)時(shí)數(shù)據(jù)。聯(lián)邦數(shù)據(jù)服務(wù)器（federated data server）利用sql或產(chǎn)生sql的工具（整合的開(kāi)發(fā)環(huán)境、報(bào)表、分析工具）訪(fǎng)問(wèn)、整合及處理分布式的和異構(gòu)的數(shù)據(jù)。該產(chǎn)品主要適用于數(shù)據(jù)源為各類(lèi)關(guān)系型數(shù)據(jù)庫(kù)及其他如xml、web或內(nèi)容數(shù)據(jù)源。ibm informatio