利用信息整合技術解決

1、利用信息整合技術解決“信息孤島”問題1信息孤島的形成與弊端所謂的“信息孤島”，是指相互之間在功能上不關聯(lián)互助、信息不共享互換以 及信息與業(yè)務流程和應用相互脫節(jié)的計算機應用系統(tǒng)。應當看到，在整個信息技術 產業(yè)飛速發(fā)展過程中，企業(yè)的IT應用也伴隨著技術的發(fā)展而前進。但與企業(yè)的其它 變革明顯不同的是，IT應用的變化速度更快，也就是說，企業(yè)進行的每一次局部的 IT應用都可能與以前的應用不配套，也可能與以后的“更高級”的應用不兼容。因 此，從產業(yè)發(fā)展的角度來看，信息孤島的產生有著一定的必然性。從企業(yè)的自身原因分析，前期的信息化建設大多缺乏長遠與統(tǒng)籌規(guī)劃，不同階 段只考慮各種局部需求，造成了各種不同應用系

2、統(tǒng)的盲目引進，如其中有上級部門 下發(fā)推廣的，也有自行開發(fā)或合作開發(fā)引進的等渠道。由于大多數(shù)應用系統(tǒng)之間沒 有統(tǒng)一的技術和數(shù)據(jù)標準，數(shù)據(jù)不能自動傳遞，缺乏有效的關聯(lián)和共享，從而形成 一個個彼此隔離的信息孤島。信息孤島有“單項孤島”和“系統(tǒng)孤島”之分，它們的存在所帶來的弊端是顯 而易見的。首先是導致信息的多口采集、重復輸入以及多頭使用和維護，信息更新 的同步性差，從而影響了數(shù)據(jù)的一致性和正確性，并使企業(yè)的信息資源拆亂分散和 大量冗余，信息使用和管理效率低下，且失去了統(tǒng)一的、準確的依據(jù)。其次是由于 缺乏業(yè)務功能交互與信息共享，致使企業(yè)的物流、資金流和信息流的脫節(jié)，結果造 成賬賬不符、賬物不符，不僅難

3、以進行準確的財務核算，而且難以對業(yè)務過程及業(yè) 務標準實施有效監(jiān)控，導致不能及時發(fā)現(xiàn)經營管理過程中的問題，造成計劃失控、 庫存過量、采購與銷售環(huán)節(jié)的暗箱操作等現(xiàn)象，給企業(yè)帶來無效勞動、資源浪費和 效益流失等嚴重后果。再次是孤立的信息系統(tǒng)無法有效地提供跨部門、跨系統(tǒng)的綜 合性信息，各類數(shù)據(jù)不能形成有價值的信息，局部的信息不能提升為管理知識，以 致對企業(yè)的決策支持只能流于空談。同時由于企業(yè)信息孤島的存在，還將影響信息 化的集團化、行業(yè)化應用。2信息整合2.1信息整合的含義信息整合就是通過各種有效的手段和工具將已有信息集合在一起，生成滿足不 同用戶需求的新的信息集合體，在已有信息的基礎上實現(xiàn)信息價值的

4、增值。信息整 合的目標是融合外部信息、消滅信息孤島、實現(xiàn)信息增值，提高信息的利用率。2.2信息整合的作用與目標（1）信息整合可以使企業(yè)內分散的文件、技術資料、工程圖紙、設備圖片、新 聞素材、音像資料、日常宣傳資料、規(guī)章制度等信息資源都被有效地管理起來，經 過不斷的積累將成為企業(yè)資源，方便企業(yè)員工查詢。（2）信息整合可以使企業(yè)對有用信息資源實施有效管理；實現(xiàn)員工協(xié)同工作、 應用系統(tǒng)協(xié)同工作；綜合、統(tǒng)一利用現(xiàn)有信息資源，提高數(shù)據(jù)使用率；為每個員工 提供個性化信息平臺，管理自己需要的信息，提高工作效率。在不增加應用系統(tǒng)的 前提下，提高信息系統(tǒng)的綜合效能。信息整合以后，企業(yè)不必擔心不同應用系統(tǒng)、異構數(shù)

5、據(jù)庫間的集成問題， 可以分步推進企業(yè)信息化建設，在此進程中逐步提高企業(yè)自身的信息技術水平，進 而增加對企業(yè)信息化建設的操控能力，選擇優(yōu)秀的產品和資質信譽好的集成商不斷 推進企業(yè)信息化建設，避免一次性大量投資給企業(yè)帶來損失。另外，利用信息整合 技術可以將企業(yè)已經建成的應用系統(tǒng)與新建成的應用系統(tǒng)集成到統(tǒng)一的企業(yè)信息平 臺，不必因其軟件技術落后而淘汰它們，不必因更換應用軟件而再進行培訓，保護 原有投資。利用信息整合技術，可以將企業(yè)的信息資源有效管理和綜合利用，從而為 企業(yè)領導提供定制信息、提供綜合經營報表、提供多種數(shù)據(jù)展現(xiàn)方式，為企業(yè)領導 決策提供依據(jù)。通過信息整合，可以達到如下目標：消除信息孤島，

6、使企業(yè)信息系統(tǒng)形成互通互聯(lián)的整體形成了各個應用系統(tǒng)的統(tǒng)一訪問入口提供滿足信息安全的統(tǒng)一數(shù)據(jù)發(fā)布平臺提供了已有業(yè)務系統(tǒng)升級的新手段為建立企業(yè)決策系統(tǒng)提供了數(shù)據(jù)準備解決了數(shù)據(jù)不規(guī)范、編碼不一致等問題規(guī)范了信息模型，遵循國際標準形成了 “按需定制”的企業(yè)信息架構2.3信息整合的三個層面數(shù)據(jù)整合數(shù)據(jù)是組成信息的基本元素，各種原始數(shù)據(jù)的積累與集中是一個組織機構開展 業(yè)務的底層基礎，而這些數(shù)據(jù)大多數(shù)是由各種應用系統(tǒng)所生成的結構化數(shù)據(jù)。企業(yè) 的結構化數(shù)據(jù)存放在各種不同的數(shù)據(jù)庫中，新增加的每個企業(yè)應用系統(tǒng)都會帶來一 系列新的結構化數(shù)據(jù)。數(shù)據(jù)整合就是對分散異構的多數(shù)據(jù)源實現(xiàn)統(tǒng)一的訪問，實時 地、智能地將有價值的

7、數(shù)據(jù)傳遞給分析系統(tǒng)或其他應用系統(tǒng)，進行信息的進一步加 工。數(shù)據(jù)整合的目的是將不同的數(shù)據(jù)庫集成起來，提供一種單一的虛擬數(shù)據(jù)庫，這 樣就不會出現(xiàn)與核心業(yè)務不一致的多個數(shù)據(jù)庫，保持應用軟件數(shù)據(jù)相互一致并與企 業(yè)實際情況相符。內容整合內容是指非結構化的信息，例如電子表格、文本文件、圖像、圖表、報告、音頻 文件和視頻文件等。這類信息通常占企業(yè)信息的80%左右。在進行內容整合時，企 業(yè)可以建立一個內容管理平臺，以提供對非結構化信息的管理功能。公司的文件、 圖片、多媒體等辦公信息，搜索軟件搜索整理的信息，翻譯系統(tǒng)翻譯的信息等非結 構化信息可以進入內容管理系統(tǒng)。內容管理系統(tǒng)對各類信息進行編、審、校等步驟， 對

8、各類信息進行分類管理，并控制信息的發(fā)布與訪問權限。過程整合在數(shù)據(jù)整合與內容整合的基礎上，企業(yè)可以尋求業(yè)務過程的整合。過程整合能將 企業(yè)規(guī)則和過程轉移到企業(yè)應用軟件以外，變成一種外在的過程和規(guī)則引擎。過程 和企業(yè)規(guī)則的這種外在轉移增加了靈活性，從而可以對過程的改善或者新的商業(yè)機 會做出更加有效的反應。最終，通過提高外在的和內在的過程自動化水平，可以提 高過程執(zhí)行的整體效率，達到優(yōu)化過程的目的。信息整合主要的建設任務、用時估算及它們之間關系如圖1-1及其相關文字說 明。I:這個階段要做的是：對企業(yè)的業(yè)務、管理活動中發(fā)生的數(shù)據(jù)進行調研、 分析、整理、提煉、描述出數(shù)據(jù)的構成。數(shù)據(jù)間層次結構、數(shù)據(jù)間相互

9、關系，建 立體系化數(shù)據(jù)資源體系的過程。是從企業(yè)數(shù)據(jù)流的視角對數(shù)據(jù)結構進行一個全 面、系統(tǒng)的看待，最終形成標準總體框架（詳見后續(xù)章節(jié)的描述）、業(yè)務數(shù)據(jù)分 類及數(shù)據(jù)管理技術架構等。主要解決“有哪些數(shù)據(jù)”、“數(shù)據(jù)之間什么關系”、 采取怎樣的技術、方法和架構進行數(shù)據(jù)管理、共享的問題（這也反過來對標準框 架的涉及產生影響）。這部分工作一般是通過前期的咨或者可行性研究工作來完成。而 且，只有在這部分工作完成后，后續(xù)工作才有了依據(jù)，招標中才可以 明確地告訴投標人需要做什么。例如，如果在前期的工作中未形成標 準總體框架，那么在招標中也就無法清晰地告訴投標人招標人具體地 需要那些標準。投標人就會根據(jù)自己的經驗及

10、對招標項日的理解給出 解決方案一這往是不能達到用戶要求。投標報價也會相差較大，給評 標帶來很大困難。II:這個階段要做的是相關標準的制訂階段（詳細過程見后續(xù)章節(jié)），是一 個相對規(guī)范的過程。這個階段的關鍵要點是：0在編制前面標準體系的基礎上，明確急需制定的一系列關鍵技 術標準，包括數(shù)據(jù)管理的總體標準、數(shù)據(jù)標準、交換標準、技 術規(guī)范和管理規(guī)范等0實現(xiàn)互聯(lián)互通、信息共享、業(yè)務協(xié)同、安全可靠運行的前提和 基礎。這句話可以是所完成的標準化內容應達到驗收日標。判 斷本項日工程標準質量好壞的唯一準則是該標準是否能夠正 確地指導項日建設和運營維護，達到項日的建設日標。因此要 把數(shù)據(jù)能否正確地進行共享與交換，業(yè)

11、務處理是否正常，管理 標準是否能夠確實指導、約束承建單位的行為，運營維護標準 的實用性等方面作為質量標準，結合使用標準的參建單位和專 家評審意見，最終確認工程標準的質量是否達到合同要求。0標準是否能夠正確地指導項日建設和運營維護，可以通過測試 或者試點的方式進行，這兩種方式各有優(yōu)勢，可以根據(jù)用戶的 實際情況進行選擇。III:在前面兩個階段的工作成果基礎上，根據(jù)標準規(guī)范中規(guī)定的 總體框架和技術架構，建立統(tǒng)一的信息共享平臺，從技術層面上為整 合各個部門的數(shù)據(jù)資源提供保證。信息共享平臺的建設可以在標準建 設進行到一定階段(例如草案基本完成)的時候即可啟動，而不一定 要等到標準經過評審甚至驗證后再進行

12、一可以根據(jù)用戶的需要進行 安排。W：本是將需求變?yōu)閷嶋H系統(tǒng)的最重要的部分，也是數(shù)據(jù)整合的關鍵點之一。 在這里，共享數(shù)據(jù)庫(操作型數(shù)據(jù))和數(shù)據(jù)倉庫建模和設計是重點，數(shù)據(jù)倉庫的 建模和設計需要投入大量的技術經驗。數(shù)據(jù)倉庫內部的模型分為不同的層次，每 個層次又采用不同的數(shù)據(jù)模型進行存儲。大體來說，數(shù)據(jù)倉庫基本分為兩個層次， 一是數(shù)據(jù)登臺區(qū)，二是星型模型區(qū)，在這兩個區(qū)域用不同的數(shù)據(jù)模型進行存儲。 一般數(shù)據(jù)登臺區(qū)基本采用和數(shù)據(jù)源相同的結構，也就是傳統(tǒng)的范式數(shù)據(jù)結構，而 在星型模型區(qū)一般都是采用由維表和事實表構建的星型結構。將數(shù)據(jù)從原始的數(shù)據(jù)源之中抽取、轉換和加載也是在這個過程中進行的。ETL 的設計開發(fā)

13、就是用于對數(shù)據(jù)進行清洗，數(shù)據(jù)源有可能來至于各種業(yè)務系統(tǒng)，也可 能是系統(tǒng)之外的數(shù)據(jù)，這些數(shù)據(jù)以各種形式存儲，ETL的功能就是要將這些不同 的數(shù)據(jù)源進行清洗流程整合到一個統(tǒng)一的數(shù)據(jù)倉庫中。數(shù)據(jù)清洗又稱為合并/凈化問題(merge/purge ):它涉及到記錄聯(lián)接 (recordlinkage)、語義集成(semantic integration)、實例標識(instance identification),對象識別問題，數(shù)據(jù)清理目的就是要在數(shù)據(jù)中消除錯誤和不一 致，并解決對象識別的問題。重復數(shù)據(jù)清理的公認的方法:對合并/凈化問題用基 本的排序冷fl居方法進行解決的過程。清洗主要是針對系統(tǒng)的各個環(huán)節(jié)

14、可能出現(xiàn)的數(shù)據(jù)二義性、重復、不完整、違 反業(yè)務規(guī)則等問題，允許通過試抽取，將有問題的紀錄先剔除出來，根據(jù)實際情 況調整相應的清洗操作?？蛻魯?shù)據(jù)清理的六個步驟：0元素化(elementizing):將數(shù)分解為最小的原子單元0 -i標準化(standardizing):將縮寫，大小寫等都轉換為同一格式0 - 校驗(verifying):利用規(guī)則或已有的數(shù)據(jù)集合驗證數(shù)據(jù)的有效性0 匹配(matching):主要是判別冗余數(shù)據(jù)0 戶主化(householding):主要是確定數(shù)據(jù)之間的聯(lián)系0 - 文檔化(documenting):將清洗好的數(shù)據(jù)以同一的標準格式保存V：這個階段對數(shù)據(jù)進行整體集成、在共享數(shù)據(jù)的基礎上，實現(xiàn)應用集