數(shù)據(jù)集成整體解決的實施方案

...wd......wd......wd...數(shù)據(jù)集成整體解決實施方案繼系統(tǒng)集成、應用集成、業(yè)務集成之后，最頭痛的數(shù)據(jù)集成〔DataIntegration〕已漸被各大企業(yè)紛紛觸及。目前國內(nèi)大多數(shù)企業(yè)還僅停留在服務于單個系統(tǒng)的多對一架構數(shù)據(jù)集成應用，這種架構常見于數(shù)據(jù)倉庫系統(tǒng)領域，服務于企業(yè)的商務智能。早期那些數(shù)據(jù)集成大家大都是從ETL啟蒙開場的，當時ETL自然也就成了數(shù)據(jù)集成的代名詞，只是突然一夜春風來，各廠商相繼推出DI新概念后，我們不得不再次承受新一輪的DI洗腦，首推的有SASDI、BusinessObjectsDI、InformaticaDI、OracleDI〔ODI〕等廠商。數(shù)據(jù)集成，主要是指基于企業(yè)分散的信息系統(tǒng)的業(yè)務數(shù)據(jù)進展再集中、再統(tǒng)一管理的過程，是一個漸進的過程，只要有新的、不同的數(shù)據(jù)產(chǎn)生，就不斷有數(shù)據(jù)集成的步聚執(zhí)行。企業(yè)有了五年、八年的信息化開展，凌亂、重復、歧義的數(shù)據(jù)接踵而至，數(shù)據(jù)集成的空間與需求日漸迫切，企業(yè)需要一個主數(shù)據(jù)管理〔MasterDataManager〕系統(tǒng)來統(tǒng)一企業(yè)的產(chǎn)品信息、客戶信息；企業(yè)需要一個數(shù)據(jù)倉庫〔DataWarehouse〕系統(tǒng)來提高領導層的決策意識，加快市場戰(zhàn)略調(diào)整行動；企業(yè)需要一個數(shù)據(jù)中心〔DataCenter〕系統(tǒng)來集中交換、分發(fā)、調(diào)度、管理企業(yè)根基數(shù)據(jù)。數(shù)據(jù)集成的必要性、迫切性不言而喻，不斷被推至企業(yè)信息化戰(zhàn)略規(guī)劃的首要位置。要實現(xiàn)企業(yè)數(shù)據(jù)集成的應用，不光要考慮企業(yè)急需集成的數(shù)據(jù)范圍，還要從長遠開展考慮數(shù)據(jù)集成的架構、能力和技術等方面內(nèi)容。從數(shù)據(jù)集成應用的系統(tǒng)部署、業(yè)務范圍、實施成熟性看主要可分三種架構。一種是單個系統(tǒng)數(shù)據(jù)集成架構、一種是企業(yè)統(tǒng)一數(shù)據(jù)集成架構、一種是機構之間數(shù)據(jù)集成架構。單個系統(tǒng)數(shù)據(jù)集成架構，是國內(nèi)目前大興土木所采用的架構，主要是以數(shù)據(jù)倉庫系統(tǒng)為代表提供服務而興建的數(shù)據(jù)集成平臺，面向企業(yè)內(nèi)部如ERP、財務、OA等多各業(yè)務操作系統(tǒng)，集成企業(yè)所有根基明細數(shù)據(jù)，轉(zhuǎn)換成統(tǒng)一標準，按星型構造存儲，面向市場經(jīng)營分析、客戶行為分析等多個特有主題進展商務智能表達。這種單個系統(tǒng)數(shù)據(jù)集成應用架構的主要特點是多對一的架構、復雜的轉(zhuǎn)換條件、TB級的數(shù)據(jù)量處理與加載，數(shù)據(jù)存儲構造特殊，星型構造、多維立方體并存，數(shù)據(jù)加載層級清晰。企業(yè)統(tǒng)一數(shù)據(jù)集成架構，組織構造較復雜的大型企業(yè)、政府機構尤為偏愛這種數(shù)據(jù)集成的架構，因此類單位具有業(yè)務構造相對獨立、數(shù)據(jù)權力尤為敏感、數(shù)據(jù)接口復雜繁多等特征，更需要多個部門一起協(xié)商來建設一個統(tǒng)一的數(shù)據(jù)中心平臺，來解決部門之間頻繁的數(shù)據(jù)交換的需求。如金融機構、電信企業(yè)，公安、稅務等政府機構，業(yè)務獨立、層級管理的組織構造決定了內(nèi)部數(shù)據(jù)交互的復雜性。概括來說此類應用屬于多對多的架構、數(shù)據(jù)交換頻繁、要有獨立的數(shù)據(jù)交換存儲池、數(shù)據(jù)接口與數(shù)據(jù)類型繁多等特點。對于企業(yè)管理性、決策性較強的信息系統(tǒng)如主數(shù)據(jù)管理系統(tǒng)、財務會計管理系統(tǒng)、數(shù)據(jù)倉庫系統(tǒng)等數(shù)據(jù)可直接來源于數(shù)據(jù)中心，擺脫了沒有企業(yè)數(shù)據(jù)中心前的一對多穿插的困擾，防止了業(yè)務系統(tǒng)對應多種管理系統(tǒng)時需要數(shù)據(jù)重復傳送，如CRM系統(tǒng)中新增一條客戶信息數(shù)據(jù)后，直接發(fā)送到企業(yè)數(shù)據(jù)中心，由企業(yè)數(shù)據(jù)中心面向風險管理系統(tǒng)、數(shù)據(jù)倉庫系統(tǒng)、主數(shù)據(jù)管理系統(tǒng)進展分發(fā)即可。機構之間數(shù)據(jù)集成架構，這種架構多是應用于跨企業(yè)、跨機構、多個單位圍繞某項或幾項業(yè)務進展的業(yè)務活動，或由一個第三方機構來進展協(xié)調(diào)這些企業(yè)、機構之間的數(shù)據(jù)交換、制定統(tǒng)一數(shù)據(jù)標準，從而形成一個多機構之間的數(shù)據(jù)集成平臺。如中國銀聯(lián)與各商業(yè)銀行之間的應用案例、各市政府信息中心與市政府各機關單位之間的應用案例、外貿(mào)EDI〔海關、檢驗檢疫局、外匯局、銀行、保險、運輸?shù)取?、BTOB電子商務平臺等。這類應用屬于跨多企業(yè)、單位多對多的架構，具有數(shù)據(jù)網(wǎng)絡復雜、數(shù)據(jù)安全性要求高、數(shù)據(jù)交換實時性強等特點。 尤其這類架構頗具一些特點值得進一步去剖析。因數(shù)據(jù)集成平臺是架于多企業(yè)、單位之間，數(shù)據(jù)的安全性、獨立性決定了各企業(yè)、單位不得不考慮前置機的部署形式，各企業(yè)、單位在業(yè)務系統(tǒng)與數(shù)據(jù)集成平臺之間增加一臺前置機，則更有利于自有系統(tǒng)數(shù)據(jù)的獨立與安全，也更利于數(shù)據(jù)平臺對數(shù)據(jù)的獲取、分發(fā)、交換的統(tǒng)一要求。另外，數(shù)據(jù)集成平臺也要具有更多的技術功能來滿足眾多單位的眾多數(shù)據(jù)接口、多種數(shù)據(jù)類型、不一致的數(shù)據(jù)標準、數(shù)據(jù)交換的實時性、對數(shù)據(jù)的抽取與推送〔PullANDPush〕等業(yè)務需求。如數(shù)據(jù)集成平臺需具有數(shù)據(jù)連通、ETL、數(shù)據(jù)實時、數(shù)據(jù)清洗、數(shù)據(jù)質(zhì)量、EBS〔EnterpriseServiceBus〕、SOA〔Service-OrientedArchitecture〕等一些技術與特點。 以上三種數(shù)據(jù)集成架構，一種是對應于某一個應用系統(tǒng)的多對一架構，一種是完成企業(yè)內(nèi)部眾多系統(tǒng)之間數(shù)據(jù)交換的多對多架構，一種是為多個跨企業(yè)、單位機構實現(xiàn)某一項或幾項業(yè)務活動而建設的多對多架構，數(shù)據(jù)集成的應用差不多都是基于這三種架構，每種架構可能會對應于多種數(shù)據(jù)集成的應用。國內(nèi)企業(yè)常見的數(shù)據(jù)集成應用有數(shù)據(jù)倉庫、數(shù)據(jù)同步、數(shù)據(jù)交換，隨著企業(yè)并購、新舊系統(tǒng)升級、分布系統(tǒng)向數(shù)據(jù)大集中看齊、電子商務的開展、多個企業(yè)單位協(xié)同作業(yè)等等眾多業(yè)務需求的誕生，數(shù)據(jù)集成的應用開場紛繁異景起來。目前大局部數(shù)據(jù)集成軟件廠商都是圍繞數(shù)據(jù)倉庫〔DataWarehousing〕、數(shù)據(jù)遷移〔DataMigration〕、數(shù)據(jù)合并〔DataConsolidation〕、數(shù)據(jù)同步〔DataSynchronization〕、數(shù)據(jù)交換〔DataHubs或者叫主數(shù)據(jù)管理：MasterDataManagement〕這5種常見的企業(yè)應用形式來開展各自的產(chǎn)品技術。數(shù)據(jù)倉庫〔DataWarehousing〕應用：數(shù)據(jù)倉庫的開展在國內(nèi)差不多有近10個年頭，數(shù)據(jù)倉庫中的數(shù)據(jù)集成應用主要是圍繞ETL的功能來實現(xiàn)，一般來說其主要功能是將多個業(yè)務系統(tǒng)不同種數(shù)據(jù)類型的數(shù)據(jù)抽取到數(shù)據(jù)倉庫的ODS〔OperationalDataStore〕層，經(jīng)過轉(zhuǎn)換，加載存儲到星型構造的DW〔DataWarehouse〕層，為滿足不同主題的展現(xiàn)應用，再向關系型數(shù)據(jù)庫或多維數(shù)據(jù)庫進一步匯總加載，其ETL功能可由手工編程或?qū)I(yè)工具軟件這兩種類型來實現(xiàn)。第一種類型：由手工編程到專項ETL工具的應用，這種應用類型是成熟的數(shù)據(jù)集成軟件工具的雛形，是為快速達成工程功能需求為主，滿足復雜的業(yè)務處理的需要，以ETL為核心應用，開發(fā)技術也發(fā)揮得淋漓盡致，PB、JAVA、SQL、存儲過程、C/C++都可能會悉數(shù)登場，多一種系統(tǒng)的數(shù)據(jù)集成就可能會多于一倍的開發(fā)工作量，使數(shù)據(jù)集成平臺更趨于復雜、脆弱。另外，如電信、金融、稅務、公安等行業(yè)的眾多系統(tǒng)集成商針對各自的業(yè)務系統(tǒng)也開發(fā)有專項的數(shù)據(jù)集成工具，只是有一定的局限性，拘泥于某一種應用或某一特定的系統(tǒng)環(huán)境。第二種類型：眾多成熟的數(shù)據(jù)集成軟件工具的應用為這一代表，如InformaticaPowerCenter、IBMDatastage、OracleODI、MicrosoftSISS等，集各種數(shù)據(jù)接口、ETL、數(shù)據(jù)質(zhì)量、實時、數(shù)據(jù)聯(lián)邦、分區(qū)并行、網(wǎng)格、HA等技術于一身，歷練世界眾多客戶需求多時，具有更寬廣的應用、可擴展性強、安全穩(wěn)定等一些特點。數(shù)據(jù)遷移〔DataMigration〕應用：這種應用比擬容易理解，對于新舊系統(tǒng)升級、數(shù)據(jù)大集中時的數(shù)據(jù)作遷移，使數(shù)據(jù)更能順應新系統(tǒng)的構造變化而平穩(wěn)遷移。數(shù)據(jù)合并〔DataConsolidation〕應用：在企業(yè)并購中很容易產(chǎn)生數(shù)據(jù)合并的應用，如兩個企業(yè)的HR系統(tǒng)的合并、財務系統(tǒng)的合并、其它業(yè)務系統(tǒng)的合并，當系統(tǒng)需要合并必然產(chǎn)生數(shù)據(jù)的合并，因此對企業(yè)數(shù)據(jù)進展統(tǒng)一標準化、標準化、數(shù)據(jù)的補缺、數(shù)據(jù)的一致性都將導致數(shù)據(jù)合并。數(shù)據(jù)同步〔DataSynchronization〕應用：當企業(yè)一個系統(tǒng)的業(yè)務活動會影響其它多個系統(tǒng)的進程時，對數(shù)據(jù)的實時性、準確性就尤顯重要。如航空公司與航空機場之間的數(shù)據(jù)同步應用、證券交易所與證券公司之間的股票信息同步、金融業(yè)的匯率信息同步等等，影響數(shù)據(jù)同步的實時性與可靠性的因素會有網(wǎng)絡的連通性、傳輸效率、數(shù)據(jù)接口、數(shù)據(jù)格式等，這些諸多因素都屬于數(shù)據(jù)集成中的數(shù)據(jù)同步要解決的問題。數(shù)據(jù)交換〔DataHubs〕應用：或者叫主數(shù)據(jù)管理〔MasterDataManagement〕應用，這種數(shù)據(jù)集成的應用越來越受企業(yè)的重視。一般構成企業(yè)主要的根基數(shù)據(jù)分別是客戶數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、員工信息數(shù)據(jù)、供給商數(shù)據(jù)，要從企業(yè)多個系統(tǒng)中快速、可靠地建設唯一、完整的企業(yè)主數(shù)據(jù)視圖這就是主數(shù)據(jù)管理。要實現(xiàn)企業(yè)主數(shù)據(jù)管理應用的數(shù)據(jù)集成平臺，必須具備有良好的數(shù)據(jù)連通性、良好的數(shù)據(jù)質(zhì)量探查與分析、良好的數(shù)據(jù)轉(zhuǎn)換能力等特點。文中上述提到跨多個企業(yè)、單位機構的架構就是一個典型的主數(shù)據(jù)管理應用，如公安局、工商局、稅務局、人事局、勞動社保局等這些眾多政府機構主要是圍繞2個根本主體進展各項事務活動，一個主體是個人，另外一個主體是企業(yè)單位，而眾多政府機構對這2個主體的信息數(shù)據(jù)要求重點不同、數(shù)據(jù)處理順序有先后，數(shù)據(jù)變更有各異，數(shù)據(jù)交換復雜、頻繁，而最理想的境界是這2個主體數(shù)據(jù)能做到最大程度的同步，這就是主數(shù)據(jù)管理的思想。以上五種數(shù)據(jù)集成應用解決方案在國內(nèi)最常見的首當其沖的是數(shù)據(jù)倉庫的應用，最復雜的應用應該是數(shù)據(jù)交換了，不管是簡單還是復雜的應用都以ETL技術為根基，ETL技術成為了數(shù)據(jù)集成的核心技術，伴隨ETL技術的還有數(shù)據(jù)連通、數(shù)據(jù)質(zhì)量、數(shù)據(jù)清洗、數(shù)據(jù)聯(lián)邦、Real-Time、數(shù)據(jù)探查等技術，為了提高數(shù)據(jù)集成的安全性、高效性、可擴展能力，還有SOA、HA、GRID等相關技術作為支撐。ETL〔Extract、Transform、Load〕：數(shù)據(jù)集成視數(shù)據(jù)抽取、轉(zhuǎn)換和加載為最根基、最核心的三項技術，這三個執(zhí)行步驟可根據(jù)系統(tǒng)環(huán)境特點進展調(diào)整順序，典型的應用有ELT的順序。如源與目標為同種數(shù)據(jù)庫、或共用一個數(shù)據(jù)庫時，可將數(shù)據(jù)從源直接抽取到目標然后再進展轉(zhuǎn)換，效率會大有提高，專注此類特點的產(chǎn)品以Oracle的ODI為代表。數(shù)據(jù)連通〔DataConnective〕：良好的數(shù)據(jù)連通性是數(shù)據(jù)集成的能力表達，一般通用的關系型數(shù)據(jù)庫、ODBC、XML等數(shù)據(jù)連通類型為常見類型，還有一些就是大中型企業(yè)常用的ERP、CRM、BPM、OA等應用軟件為封閉式的系統(tǒng)，如SAP、Seibel、Lotus等系統(tǒng)的連通，因此良好的數(shù)據(jù)集成平臺需要提供來自更多企業(yè)的數(shù)據(jù)連通接口，抽取源與裝載目標的范圍也就更廣闊。數(shù)據(jù)質(zhì)量〔DataQuality〕：數(shù)據(jù)質(zhì)量越來越被企業(yè)重視，數(shù)據(jù)質(zhì)量的技術范圍也越發(fā)寬廣，開場慢慢被剝離出數(shù)據(jù)集成的范疇。企業(yè)不能根據(jù)標準不統(tǒng)一、歧義、不正確的數(shù)據(jù)快速做出決策，只有站在高質(zhì)量的數(shù)據(jù)根基之上做出的決策才不會發(fā)生方向偏倚。通常實現(xiàn)企業(yè)數(shù)據(jù)質(zhì)量管理會包括源數(shù)據(jù)的探查、數(shù)據(jù)質(zhì)量的評估、數(shù)據(jù)集成、數(shù)據(jù)的完整和數(shù)據(jù)的監(jiān)控這五個步驟。數(shù)據(jù)的完整一般是指根據(jù)現(xiàn)有根基數(shù)據(jù)作其它數(shù)據(jù)項的擴展和豐富，如根據(jù)客戶的聯(lián)系方式來豐富客戶的所屬地區(qū)數(shù)據(jù)項、根據(jù)客戶身份證號碼來豐富客戶的所屬地區(qū)、年齡、性別等信息。數(shù)據(jù)實時〔Real-Time〕：對于實時數(shù)據(jù)倉庫系統(tǒng)、數(shù)據(jù)同步等應用都會用到數(shù)據(jù)實時技術，一個系統(tǒng)的數(shù)據(jù)發(fā)生變化后，能即刻將變化的動作同步到另一個系統(tǒng)這就是數(shù)據(jù)實時技術的主旨。關系型數(shù)據(jù)庫、AS400、MQSeries、ADABAS等系統(tǒng)都有自身的實時數(shù)據(jù)策略，如Oracle數(shù)據(jù)庫的實時可以通過Trigger或LogMiner分析歸檔日志方式來實現(xiàn)。諸如以上ETL、數(shù)據(jù)連通、數(shù)據(jù)質(zhì)量、數(shù)據(jù)實時等技術，還有數(shù)據(jù)聯(lián)邦、數(shù)據(jù)清洗、HA、Grid、Partition、SOA技術，這些都是保證數(shù)據(jù)集成平臺的可擴展性、安全性、高效性、簡便性的通用技術。神州數(shù)碼公司面向各行業(yè)提供有多家數(shù)據(jù)集成整體解決方案的經(jīng)歷，整體解決方案包括有企業(yè)數(shù)據(jù)集成業(yè)務咨詢、企業(yè)數(shù)據(jù)集成平臺產(chǎn)品、各廠商數(shù)據(jù)集成底層軟件共三大塊。數(shù)據(jù)集成咨詢神州數(shù)碼的業(yè)務咨詢具體指對企業(yè)各個層次的數(shù)據(jù)對象進展調(diào)研，給出企業(yè)數(shù)據(jù)管理現(xiàn)狀分析報告，為企業(yè)的數(shù)據(jù)管理進展數(shù)據(jù)標準定義，根據(jù)企業(yè)特點提出更優(yōu)的核心數(shù)據(jù)管理機制建議，設計適合企業(yè)長遠開展的數(shù)據(jù)管理機構體系和工作管理流程，并對組織構造進展崗位職能設置。數(shù)據(jù)集成平臺神州數(shù)碼的數(shù)據(jù)集成平臺是企業(yè)數(shù)據(jù)管理部門的工作手段，須依賴于一套嚴謹?shù)臄?shù)