最新信息孤島問題與信息整合

利用信息整合技術(shù)解決“信息孤島”問題1信息孤島的^成與弊端所謂的〃信息孤島〃，是指相互之間在功能上不關(guān)聯(lián)互助、信息不共享互換以及信息與業(yè)務(wù)流程和應(yīng)用相互脫節(jié)的計算機(jī)應(yīng)用系統(tǒng)。應(yīng)當(dāng)看到，在整個信息技術(shù)產(chǎn)業(yè)飛速發(fā)展過程中，企業(yè)的IT應(yīng)用也伴隨著技術(shù)的發(fā)展而前進(jìn)。但與企業(yè)的其它變革明顯不同的是，IT應(yīng)用的變化速度更快，也就是說，企業(yè)進(jìn)行的每一次局部的IT應(yīng)用都可能與以前的應(yīng)用不配套，也可能與以后的〃更高級〃的應(yīng)用不兼容。因此，從產(chǎn)業(yè)發(fā)展的角度來看，信息孤島的產(chǎn)生有著一定的必然性。從企業(yè)的自身原因分析，前期的信息化建設(shè)大多缺乏長遠(yuǎn)與統(tǒng)籌規(guī)劃，不同階段只考慮各種局部需求，造成了各種不同應(yīng)用系統(tǒng)的盲目引進(jìn)，如其中有上級部門下發(fā)推廣的，也有自行開發(fā)或合作開發(fā)引進(jìn)的等渠道。由于大多數(shù)應(yīng)用系統(tǒng)之間沒有統(tǒng)一的技術(shù)和數(shù)據(jù)標(biāo)準(zhǔn)，數(shù)據(jù)不能自動傳遞，缺乏有效的關(guān)聯(lián)和共享，從而形成一個個彼此隔離的信息孤島。信息孤島有〃單項孤島〃和〃系統(tǒng)孤島〃之分，它們的存在所帶來的弊端是顯而易見的。首先是導(dǎo)致信息的多口采集、重復(fù)輸入以及多頭使用和維護(hù)，信息更新的同步性差，從而影響了數(shù)據(jù)的一致性和正確性，并使企業(yè)的信息資源拆亂分散和大量冗余，信息使用和管理效率低下，且失去了統(tǒng)一的、準(zhǔn)確的依據(jù)。其次是由于缺乏業(yè)務(wù)功能交互與信息共享，致使企業(yè)的物流、資金流和信息流的脫節(jié)，結(jié)果造成賬賬不符、賬物不符，不僅難以進(jìn)行準(zhǔn)確的財務(wù)核算，而且難以對業(yè)務(wù)過程及業(yè)務(wù)標(biāo)準(zhǔn)實施有效監(jiān)控，導(dǎo)致不能及時發(fā)現(xiàn)經(jīng)營管理過程中的問題，造成計劃失控、庫存過量、采購與銷售環(huán)節(jié)的暗箱操作等現(xiàn)象，給企業(yè)帶來無效勞動、資源浪費和效益流失等嚴(yán)重后果。再次是孤立的信息系統(tǒng)無法有效地提供跨部門、跨系統(tǒng)的綜合性信息，各類數(shù)據(jù)不能形成有價值的信息，局部的信息不能提升為管理知識，以致對企業(yè)的決策支持只能流于空談。同時由于企業(yè)信息孤島的存在，還將影響信息化的集團(tuán)化、行業(yè)化應(yīng)用。2信息整合信息整合的含義信息整合就是通過各種有效的手段和工具將已有信息集合在一起，生成滿足不同用戶需求的新的信息集合體，在已有信息的基礎(chǔ)上實現(xiàn)信息價值的增值。信息整合的目標(biāo)是融合外部信息、消滅信息孤島、實現(xiàn)信息增值，提高信息的利用率。信息整合的作用與目標(biāo)（1）信息整合可以使企業(yè)內(nèi)分散的文件、技術(shù)資料、工程圖紙、設(shè)備圖片、新聞素材、音像資料、日常宣傳資料、規(guī)章制度等信息資源都被有效地管理起來，經(jīng)過不斷的積累將成為企業(yè)資源，方便企業(yè)員工查詢。（2）信息整合可以使企業(yè)對有用信息資源實施有效管理；實現(xiàn)員工協(xié)同工作、應(yīng)用系統(tǒng)協(xié)同工作；綜合、統(tǒng)一利用現(xiàn)有信息資源，提高數(shù)據(jù)使用率；為每個員工提供個性化信息平臺，管理自己需要的信息，提高工作效率。在不增加應(yīng)用系統(tǒng)的前提下，提高信息系統(tǒng)的綜合效能。（3）信息整合以后，企業(yè)不必?fù)?dān)心不同應(yīng)用系統(tǒng)、異構(gòu)數(shù)據(jù)庫間的集成問題，可以分步推進(jìn)企業(yè)信息化建設(shè)，在此進(jìn)程中逐步提高企業(yè)自身的信息技術(shù)水平，進(jìn)而增加對企業(yè)信息化建設(shè)的操控能力，選擇優(yōu)秀的產(chǎn)品和資質(zhì)信譽(yù)好的集成商不斷推進(jìn)企業(yè)信息化建設(shè)，避免一次性大量投資給企業(yè)帶來損失。另外，利用信息整合技術(shù)可以將企業(yè)已經(jīng)建成的應(yīng)用系統(tǒng)與新建成的應(yīng)用系統(tǒng)集成到統(tǒng)一的企業(yè)信息平臺，不必因其軟件技術(shù)落后而淘汰它們，不必因更換應(yīng)用軟件而再進(jìn)行培訓(xùn)，保護(hù)原有投資。（4）利用信息整合技術(shù)，可以將企業(yè)的信息資源有效管理和綜合利用，從而為企業(yè)領(lǐng)導(dǎo)提供定制信息、提供綜合經(jīng)營報表、提供多種數(shù)據(jù)展現(xiàn)方式，為企業(yè)領(lǐng)導(dǎo)決策提供依據(jù)。通過信息整合，可以達(dá)到如下目標(biāo)：⑴消除信息孤島，使企業(yè)信息系統(tǒng)形成互通互聯(lián)的整體⑵形成了各個應(yīng)用系統(tǒng)的統(tǒng)一訪問入口⑶提供滿足信息安全的統(tǒng)一數(shù)據(jù)發(fā)布平臺(4)提供了已有業(yè)務(wù)系統(tǒng)升級的新手段⑸為建立企業(yè)決策系統(tǒng)提供了數(shù)據(jù)準(zhǔn)備(6)解決了數(shù)據(jù)不規(guī)范、編碼不一致等問題(7)規(guī)范了信息模型，遵循國際標(biāo)準(zhǔn)(8)形成了〃按需定制〃的企業(yè)信息架構(gòu)信息整合的三個層面(1)數(shù)據(jù)整合數(shù)據(jù)是組成信息的基本元素，各種原始數(shù)據(jù)的積累與集中是一個組織機(jī)構(gòu)開展業(yè)務(wù)的底層基礎(chǔ)，而這些數(shù)據(jù)大多數(shù)是由各種應(yīng)用系統(tǒng)所生成的結(jié)構(gòu)化數(shù)據(jù)。企業(yè)的結(jié)構(gòu)化數(shù)據(jù)存放在各種不同的數(shù)據(jù)庫中，新增加的每個企業(yè)應(yīng)用系統(tǒng)都會帶來一系列新的結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)整合就是對分散異構(gòu)的多數(shù)據(jù)源實現(xiàn)統(tǒng)一的訪問，實時地、智能地將有價值的數(shù)據(jù)傳遞給分析系統(tǒng)或其他應(yīng)用系統(tǒng)，進(jìn)行信息的進(jìn)一步加工。數(shù)據(jù)整合的目的是將不同的數(shù)據(jù)庫集成起來，提供一種單一的虛擬數(shù)據(jù)庫，這樣就不會出現(xiàn)與核心業(yè)務(wù)不一致的多個數(shù)據(jù)庫，保持應(yīng)用軟件數(shù)據(jù)相互一致并與企業(yè)實際情況相符。（2）內(nèi)容整合內(nèi)容是指非結(jié)構(gòu)化的信息，例如電子表格、文本文件、圖像、圖表、報告、音頻文件和視頻文件等。這類信息通常占企業(yè)信息的80%左右。在進(jìn)行內(nèi)容整合時，企業(yè)可以建立一個內(nèi)容管理平臺，以提供對非結(jié)構(gòu)化信息的管理功能。公司的文件、圖片、多媒體等辦公信息，搜索軟件搜索整理的信息，翻譯系統(tǒng)翻譯的信息等非結(jié)構(gòu)化信息可以進(jìn)入內(nèi)容管理系統(tǒng)。內(nèi)容管理系統(tǒng)對各類信息進(jìn)行編、審、校等步驟，對各類信息進(jìn)行分類管理，并控制信息的發(fā)布與訪問權(quán)限。（3）過程整合在數(shù)據(jù)整合與內(nèi)容整合的基礎(chǔ)上，企業(yè)可以尋求業(yè)務(wù)過程的整合。過程整合能將企業(yè)規(guī)則和過程轉(zhuǎn)移到企業(yè)應(yīng)用軟件以外，變成一種外在的過程和規(guī)則引擎。過程和企業(yè)規(guī)則的這種外在轉(zhuǎn)移增加了靈活性，從而可以對過程的改善或者新的商業(yè)機(jī)會做出更加有效的反應(yīng)。最終，通過提高外在的和內(nèi)在的過程自動化水平，可以提高過程執(zhí)行的整體效率，達(dá)到優(yōu)化過程的目的。信息整合主要的建設(shè)任務(wù)、用時估算及它們之間關(guān)系如圖1-1及其相關(guān)文字說明。調(diào)研準(zhǔn)備調(diào)研實施分析研究整體數(shù)據(jù)集成項目驗收項目試運行共享數(shù)據(jù)應(yīng)用集成標(biāo)準(zhǔn)制定形成草案征求意見、改進(jìn)評審等標(biāo)準(zhǔn)發(fā)布、執(zhí)行培訓(xùn)口口視口口數(shù)個月，上?口□3個月□口較長期限內(nèi)的疊代過程，與項目的建設(shè)相關(guān)調(diào)研準(zhǔn)備調(diào)研實施分析研究整體數(shù)據(jù)集成項目驗收項目試運行共享數(shù)據(jù)應(yīng)用集成標(biāo)準(zhǔn)制定形成草案征求意見、改進(jìn)評審等標(biāo)準(zhǔn)發(fā)布、執(zhí)行培訓(xùn)口口視口口數(shù)個月，上?口□3個月□口較長期限內(nèi)的疊代過程，與項目的建設(shè)相關(guān)至少3個月數(shù)據(jù)的抽取轉(zhuǎn)換、加載口口6?12個月形成總體技術(shù)架構(gòu),及標(biāo)準(zhǔn)總體框架.檢測、試點：ZI工：這個階段要做的是：對企業(yè)的業(yè)務(wù)、管理活動中發(fā)生的數(shù)據(jù)進(jìn)行調(diào)研、分析、整理、提煉、描述出數(shù)據(jù)的構(gòu)成。數(shù)據(jù)間層次結(jié)構(gòu)、數(shù)據(jù)間相互關(guān)系，建立體系化數(shù)據(jù)資源體系的過程。是從企業(yè)數(shù)據(jù)流的視角對數(shù)據(jù)結(jié)構(gòu)進(jìn)行一個全面、系統(tǒng)的看待，最終形成標(biāo)準(zhǔn)總體框架（詳見后續(xù)章節(jié)的描述）、業(yè)務(wù)數(shù)據(jù)分類及數(shù)據(jù)管理技術(shù)架構(gòu)等。主要解決〃有哪些數(shù)據(jù)〃、〃數(shù)據(jù)之間什么關(guān)系〃、采取怎樣的技術(shù)、方法和架構(gòu)進(jìn)行數(shù)據(jù)管理、共享的問題（這也反過來對標(biāo)準(zhǔn)框架的涉及產(chǎn)生影響）。這部分工作一般是通過前期的咨或者可行性研究工作來完成。而且，只有在這部分工作完成后，后續(xù)工作才有了依據(jù)，招標(biāo)中才可以明確地告訴投標(biāo)人需要做什么。例如，如果在前期的工作中未形成標(biāo)準(zhǔn)總體框架，那么在招標(biāo)中也就無法清晰地告訴投標(biāo)人招標(biāo)人具體地需要那些標(biāo)準(zhǔn)。投標(biāo)人就會根據(jù)自己的經(jīng)驗及對招標(biāo)項目的理解給出解決方案-這往是不能達(dá)到用戶要求。投標(biāo)報價也會相差較大，給評標(biāo)帶來很大困難。n：這個階段要做的是相關(guān)標(biāo)準(zhǔn)的制訂階段（詳細(xì)過程見后續(xù)章節(jié)），是一個相對規(guī)范的過程。這個階段的關(guān)鍵要點是：＞在編制前面標(biāo)準(zhǔn)體系的基礎(chǔ)上，明確急需制定的一系列關(guān)鍵技術(shù)標(biāo)準(zhǔn)，包括數(shù)據(jù)管理的總體標(biāo)準(zhǔn)、數(shù)據(jù)標(biāo)準(zhǔn)、交換標(biāo)準(zhǔn)、技術(shù)規(guī)范和管理規(guī)范等＞實現(xiàn)互聯(lián)互通、信息共享、業(yè)務(wù)協(xié)同、安全可靠運行的前提和基礎(chǔ)。這句話可以是所完成的標(biāo)準(zhǔn)化內(nèi)容應(yīng)達(dá)到驗收目標(biāo)。判斷本項目工程標(biāo)準(zhǔn)質(zhì)量好壞的唯一準(zhǔn)則是該標(biāo)準(zhǔn)是否能夠正確地指導(dǎo)項目建設(shè)和運營維護(hù)，達(dá)到項目的建設(shè)目標(biāo)。因此要把數(shù)據(jù)能否正確地進(jìn)行共享與交換，業(yè)務(wù)處理是否正常，管理標(biāo)準(zhǔn)是否能夠確實指導(dǎo)、約束承建單位的行為，運營維護(hù)標(biāo)準(zhǔn)的實用性等方面作為質(zhì)量標(biāo)準(zhǔn)，結(jié)合使用標(biāo)準(zhǔn)的參建單位和專家評審意見，最終確認(rèn)工程標(biāo)準(zhǔn)的質(zhì)量是否達(dá)到合同要求。標(biāo)準(zhǔn)是否能夠正確地指導(dǎo)項目建設(shè)和運營維護(hù)，可以通過測試或者試點的方式進(jìn)行，這兩種方式各有優(yōu)勢，可以根據(jù)用戶的實際情況進(jìn)行選擇。m：在前面兩個階段的工作成果基礎(chǔ)上，根據(jù)標(biāo)準(zhǔn)規(guī)范中規(guī)定的總體框架和技術(shù)架構(gòu)，建立統(tǒng)一的信息共享平臺，從技術(shù)層面上為整合各個部門的數(shù)據(jù)資源提供保證。信息共享平臺的建設(shè)可以在標(biāo)準(zhǔn)建設(shè)進(jìn)行到一定階段（例如草案基本完成）的時候即可啟動，而不一定要等到標(biāo)準(zhǔn)經(jīng)過評審甚至驗證后再進(jìn)行一可以根據(jù)用戶的需要進(jìn)行安排。iv：本是將需求變?yōu)閷嶋H系統(tǒng)的最重要的部分，也是數(shù)據(jù)整合的關(guān)鍵點之一。在這里，共享數(shù)據(jù)庫（操作型數(shù)據(jù)）和數(shù)據(jù)倉庫建模和設(shè)計是重點，數(shù)據(jù)倉庫的建模和設(shè)計需要投入大量的技術(shù)經(jīng)驗。數(shù)據(jù)倉庫內(nèi)部的模型分為不同的層次，每個層次又采用不同的數(shù)據(jù)模型進(jìn)行存儲。大體來說，數(shù)據(jù)倉庫基本分為兩個層次，一是數(shù)據(jù)登臺區(qū)，二是星型模型區(qū)，在這兩個區(qū)域用不同的數(shù)據(jù)模型進(jìn)行存儲。一般數(shù)據(jù)登臺區(qū)基本采用和數(shù)據(jù)源相同的結(jié)構(gòu)，也就是傳統(tǒng)的范式數(shù)據(jù)結(jié)構(gòu)，而在星型模型區(qū)一般都是采用由維表和事實表構(gòu)建的星型結(jié)構(gòu)。將數(shù)據(jù)從原始的數(shù)據(jù)源之中抽取、轉(zhuǎn)換和加載也是在這個過程中進(jìn)行的。ETL的設(shè)計開發(fā)就是用于對數(shù)據(jù)進(jìn)行清洗，數(shù)據(jù)源有可能來至于各種業(yè)務(wù)系統(tǒng)，也可能是系統(tǒng)之外的數(shù)據(jù)，這些數(shù)據(jù)以各種形式存儲，ETL的功能就是要將這些不同的數(shù)據(jù)源進(jìn)行清洗流程整合到一個統(tǒng)一的數(shù)據(jù)倉庫中。數(shù)據(jù)清洗又稱為合并/凈化問題(merge/purge):它涉及到記錄聯(lián)接(recordlinkage)、語義集成(semanticintegration).實例標(biāo)識(instanceidentification),對象識別問題，數(shù)據(jù)清理目的就是要在數(shù)據(jù)中消除錯誤和不一致，并解決對象識別的問題。重復(fù)數(shù)據(jù)清理的公認(rèn)的方法:對合并/凈化問題用基本的排序冷fl居方法進(jìn)行解決的過程。清洗主要是針對系統(tǒng)的各個環(huán)節(jié)可能出現(xiàn)的數(shù)據(jù)二義性、重復(fù)、不完整、違反業(yè)務(wù)規(guī)則等問題，允許通過試抽取，將有問題的紀(jì)錄先剔除出來，根據(jù)實際情況調(diào)整相應(yīng)的清洗操作?？蛻魯?shù)據(jù)清理的六個步驟：》 元素化((elementizing):將數(shù)分解為最小的原子單元標(biāo)準(zhǔn)化((standardizing):將縮寫，大小寫等都轉(zhuǎn)換為同一格式校驗((verifyng):利用規(guī)則或已有的數(shù)據(jù)集合驗證數(shù)據(jù)的有效性匹配((matching):主要是判別冗余數(shù)據(jù)戶主化((householding):主要是確定數(shù)據(jù)之間的聯(lián)系文檔化(documenting):將清洗好的數(shù)據(jù)以同一的標(biāo)準(zhǔn)格式保存V:這個階段對數(shù)據(jù)進(jìn)行整體集成、在共享數(shù)據(jù)的基礎(chǔ)上，實現(xiàn)應(yīng)用集