2024年信息孤島問(wèn)題與信息整合

運(yùn)用信息整合技術(shù)處理“信息孤島”問(wèn)題1信息孤島的形成與弊端所謂的“信息孤島”，是指互相之間在功能上不關(guān)聯(lián)互助、信息不共享互換以及信息與業(yè)務(wù)流程和應(yīng)用互相脫節(jié)的計(jì)算機(jī)應(yīng)用系統(tǒng)。應(yīng)當(dāng)看到，在整個(gè)信息技術(shù)產(chǎn)業(yè)飛速發(fā)展過(guò)程中，企業(yè)的IT應(yīng)用也伴伴隨技術(shù)的發(fā)展而前進(jìn)。但與企業(yè)的其他變革明顯不壹樣的是，IT應(yīng)用的變化速度更快，也就是說(shuō)，企業(yè)進(jìn)行的每壹次局部的IT應(yīng)用都也許與此前的應(yīng)用不配套，也也許與後來(lái)的“更高級(jí)”的應(yīng)用不兼容。因此，從產(chǎn)業(yè)發(fā)展的角度來(lái)看，信息孤島的產(chǎn)生有著壹定的必然性。從企業(yè)的自身原因分析，前期的信息化建設(shè)大多缺乏長(zhǎng)遠(yuǎn)與統(tǒng)籌規(guī)劃，不壹樣階段只考慮多種局部需求，導(dǎo)致了多種不壹樣應(yīng)用系統(tǒng)的盲目引進(jìn)，如其中有上級(jí)部門下發(fā)推廣的，也有自行開(kāi)發(fā)或合作開(kāi)發(fā)引進(jìn)的等渠道。由于大多數(shù)應(yīng)用系統(tǒng)之間沒(méi)有統(tǒng)壹的技術(shù)和數(shù)據(jù)原則，數(shù)據(jù)不能自動(dòng)傳遞，缺乏有效的關(guān)聯(lián)和共享，從而形成壹種個(gè)彼此隔離的信息孤島。信息孤島有“單項(xiàng)孤島”和“系統(tǒng)孤島”之分，它們的存在所帶來(lái)的弊端是顯而易見(jiàn)的。首先是導(dǎo)致信息的多口采集、反復(fù)輸入以及多頭使用和維護(hù)，信息更新的同步性差，從而影響了數(shù)據(jù)的壹致性和對(duì)的性，并使企業(yè)的信息資源拆亂分散和大量冗余，信息使用和管理效率低下，且失去了統(tǒng)壹的、精確的根據(jù)。另壹方面是由于缺乏業(yè)務(wù)功能交互與信息共享，致使企業(yè)的物流、資金流和信息流的脫節(jié)，成果導(dǎo)致賬賬不符、賬物不符，不僅難以進(jìn)行精確的財(cái)務(wù)核算，并且難以對(duì)業(yè)務(wù)過(guò)程及業(yè)務(wù)原則實(shí)行有效監(jiān)控，導(dǎo)致不能及時(shí)發(fā)現(xiàn)經(jīng)營(yíng)管理過(guò)程中的問(wèn)題，導(dǎo)致計(jì)劃失控、庫(kù)存過(guò)量、采購(gòu)與銷售環(huán)節(jié)的暗箱操作等現(xiàn)象，給企業(yè)帶來(lái)無(wú)效勞動(dòng)、資源揮霍和效益流失等嚴(yán)重後果。再次是孤立的信息系統(tǒng)無(wú)法有效地提供跨部門、跨系統(tǒng)的綜合性信息，各類數(shù)據(jù)不能形成有價(jià)值的信息，局部的信息不能提高為管理知識(shí)，以致對(duì)企業(yè)的決策支持只能流于空談。同步由于企業(yè)信息孤島的存在，還將影響信息化的集團(tuán)化、行業(yè)化應(yīng)用。2信息整合2.1信息整合的含義信息整合就是通過(guò)多種有效的手段和工具將已經(jīng)有信息集合在壹起，生成滿足不壹樣顧客需求的新的信息集合體，在已經(jīng)有信息的基礎(chǔ)上實(shí)現(xiàn)信息價(jià)值的增值。信息整合的目的是融合外部信息、消滅信息孤島、實(shí)現(xiàn)信息增值，提高信息的運(yùn)用率。2.2信息整合的作用與目的（1）信息整合可以使企業(yè)內(nèi)分散的文獻(xiàn)、技術(shù)資料、工程圖紙、設(shè)備圖片、新聞素材、音像資料、平常宣傳資料、規(guī)章制度等信息資源都被有效地管理起來(lái)，通過(guò)不停的積累將成為企業(yè)資源，以便企業(yè)員工查詢。（2）信息整合可以使企業(yè)對(duì)有用信息資源實(shí)行有效管理；實(shí)現(xiàn)員工協(xié)同工作、應(yīng)用系統(tǒng)協(xié)同工作；綜合、統(tǒng)壹運(yùn)用既有信息資源，提高數(shù)據(jù)使用率；為每個(gè)員工提供個(gè)性化信息平臺(tái)，管理自已需要的信息，提高工作效率。在不增長(zhǎng)應(yīng)用系統(tǒng)的前提下，提高信息系統(tǒng)的綜合效能。（3）信息整合後來(lái)，企業(yè)不必緊張不壹樣應(yīng)用系統(tǒng)、異構(gòu)數(shù)據(jù)庫(kù)間的集成問(wèn)題，可以分步推進(jìn)企業(yè)信息化建設(shè)，在此進(jìn)程中逐漸提高企業(yè)自身的信息技術(shù)水平，進(jìn)而增長(zhǎng)對(duì)企業(yè)信息化建設(shè)的操控能力，選擇優(yōu)秀的產(chǎn)品和資質(zhì)信譽(yù)好的集成商不停推進(jìn)企業(yè)信息化建設(shè)，防止壹次性大量投資給企業(yè)帶來(lái)?yè)p失。此外，運(yùn)用信息整合技術(shù)可以將企業(yè)已經(jīng)建成的應(yīng)用系統(tǒng)與新建成的應(yīng)用系統(tǒng)集成到統(tǒng)壹的企業(yè)信息平臺(tái)，不必因其軟件技術(shù)落後而淘汰它們，不必因更換應(yīng)用軟件而再進(jìn)行培訓(xùn)，保護(hù)原有投資。（4）運(yùn)用信息整合技術(shù)，可以將企業(yè)的信息資源有效管理和綜合運(yùn)用，從而為企業(yè)領(lǐng)導(dǎo)提供定制信息、提供綜合經(jīng)營(yíng)報(bào)表、提供多種數(shù)據(jù)展現(xiàn)方式，為企業(yè)領(lǐng)導(dǎo)決策提供根據(jù)。通過(guò)信息整合，可以到達(dá)如下目的：(1)消除信息孤島，使企業(yè)信息系統(tǒng)形成互通互聯(lián)的整體(2)形成了各個(gè)應(yīng)用系統(tǒng)的統(tǒng)壹訪問(wèn)入口(3)提供滿足信息安全的統(tǒng)壹數(shù)據(jù)公布平臺(tái)(4)提供了已經(jīng)有業(yè)務(wù)系統(tǒng)升級(jí)的新手段(5)為建立企業(yè)決策系統(tǒng)提供了數(shù)據(jù)準(zhǔn)備(6)處理了數(shù)據(jù)不規(guī)范、編碼不壹致等問(wèn)題(7)規(guī)范了信息模型，遵照國(guó)際原則(8)形成了“按需定制”的企業(yè)信息架構(gòu)2.3信息整合的三個(gè)層面（1）數(shù)據(jù)整合數(shù)據(jù)是構(gòu)成信息的基本元素，多種原始數(shù)據(jù)的積累與集中是壹種組織機(jī)構(gòu)開(kāi)展業(yè)務(wù)的底層基礎(chǔ)，而這些數(shù)據(jù)大多數(shù)是由多種應(yīng)用系統(tǒng)所生成的構(gòu)造化數(shù)據(jù)。企業(yè)的構(gòu)造化數(shù)據(jù)寄存在多種不壹樣的數(shù)據(jù)庫(kù)中，新增長(zhǎng)的每個(gè)企業(yè)應(yīng)用系統(tǒng)都會(huì)帶來(lái)壹系列新的構(gòu)造化數(shù)據(jù)。數(shù)據(jù)整合就是對(duì)分散異構(gòu)的多數(shù)據(jù)源實(shí)現(xiàn)統(tǒng)壹的訪問(wèn)，實(shí)時(shí)地、智能地將有價(jià)值的數(shù)據(jù)傳遞給分析系統(tǒng)或其他應(yīng)用系統(tǒng)，進(jìn)行信息的深入加工。數(shù)據(jù)整合的目的是將不壹樣的數(shù)據(jù)庫(kù)集成起來(lái)，提供壹種單壹的虛擬數(shù)據(jù)庫(kù)，這樣就不會(huì)出現(xiàn)與關(guān)鍵業(yè)務(wù)不壹致的多種數(shù)據(jù)庫(kù)，保持應(yīng)用軟件數(shù)據(jù)互相壹致并與企業(yè)實(shí)際狀況相符。（2）內(nèi)容整合內(nèi)容是指非構(gòu)造化的信息，例如電子表格、文本文獻(xiàn)、圖像、圖表、匯報(bào)、音頻文獻(xiàn)和視頻文獻(xiàn)等。此類信息壹般占企業(yè)信息的80%左右。在進(jìn)行內(nèi)容整合時(shí)，企業(yè)可以建立壹種內(nèi)容管理平臺(tái)，以提供對(duì)非構(gòu)造化信息的管理功能。企業(yè)的文獻(xiàn)、圖片、多媒體等辦公信息，搜索軟件搜索整頓的信息，翻譯系統(tǒng)翻譯的信息等非構(gòu)造化信息可以進(jìn)入內(nèi)容管理系統(tǒng)。內(nèi)容管理系統(tǒng)對(duì)各類信息進(jìn)行編、審、校等環(huán)節(jié)，對(duì)各類信息進(jìn)行分類管理，并控制信息的公布與訪問(wèn)權(quán)限。（3）過(guò)程整合在數(shù)據(jù)整合與內(nèi)容整合的基礎(chǔ)上，企業(yè)可以尋求業(yè)務(wù)過(guò)程的整合。過(guò)程整合能將企業(yè)規(guī)則和過(guò)程轉(zhuǎn)移到企業(yè)應(yīng)用軟件以外，變成壹種外在的過(guò)程和規(guī)則引擎。過(guò)程和企業(yè)規(guī)則的這種外在轉(zhuǎn)移增長(zhǎng)了靈活性，從而可以對(duì)過(guò)程的改善或者新的商業(yè)機(jī)會(huì)做出愈加有效的反應(yīng)。最終，通過(guò)提高外在的和內(nèi)在的過(guò)程自動(dòng)化水平，可以提高過(guò)程執(zhí)行的整體效率，到達(dá)優(yōu)化過(guò)程的目的。信息整合重要的建設(shè)任務(wù)、用時(shí)估算及它們之間關(guān)系如圖1-1及其有關(guān)文字闡明。Ⅰ：這個(gè)階段要做的是：對(duì)企業(yè)的業(yè)務(wù)、管理活動(dòng)中發(fā)生的數(shù)據(jù)進(jìn)行調(diào)研、分析、整頓、提煉、描述出數(shù)據(jù)的構(gòu)成。數(shù)據(jù)間層次構(gòu)造、數(shù)據(jù)間互相關(guān)系，建立體系化數(shù)據(jù)資源體系的過(guò)程。是從企業(yè)數(shù)據(jù)流的視角對(duì)數(shù)據(jù)構(gòu)造進(jìn)行壹種全面、系統(tǒng)的看待，最終形成原則總體框架（詳見(jiàn)後續(xù)章節(jié)的描述）、業(yè)務(wù)數(shù)據(jù)分類及數(shù)據(jù)管理技術(shù)架構(gòu)等。重要處理“有哪些數(shù)據(jù)”、“數(shù)據(jù)之間什么關(guān)系”、采用怎樣的技術(shù)、措施和架構(gòu)進(jìn)行數(shù)據(jù)管理、共享的問(wèn)題（這也反過(guò)來(lái)對(duì)原則框架的波及產(chǎn)生影響）。這部分工作壹般是通過(guò)前期的咨或者可行性研究工作來(lái)完畢。并且，只有在這部分工作完畢後，後續(xù)工作才有了根據(jù)，招標(biāo)中才可以明確地告訴投標(biāo)人需要做什么。例如，假如在前期的工作中未形成原則總體框架，那么在招標(biāo)中也就無(wú)法清晰地告訴投標(biāo)人招標(biāo)人詳細(xì)地需要那些原則。投標(biāo)人就會(huì)根據(jù)自已的經(jīng)驗(yàn)及對(duì)招標(biāo)項(xiàng)目的理解給出處理方案—這往是不能到達(dá)顧客規(guī)定。投標(biāo)報(bào)價(jià)也會(huì)相差較大，給評(píng)標(biāo)帶來(lái)很大困難。Ⅱ：這個(gè)階段要做的是有關(guān)原則的制定階段（詳細(xì)過(guò)程見(jiàn)後續(xù)章節(jié)），是壹種相對(duì)規(guī)范的過(guò)程。這個(gè)階段的關(guān)鍵要點(diǎn)是：在編制前面原則體系的基礎(chǔ)上，明確急需制定的壹系列關(guān)鍵技術(shù)原則，包括數(shù)據(jù)管理的總體原則、數(shù)據(jù)原則、互換原則、技術(shù)規(guī)范和管理規(guī)范等實(shí)現(xiàn)互聯(lián)互通、信息共享、業(yè)務(wù)協(xié)同、安全可靠運(yùn)行的前提和基礎(chǔ)。這句話可以是所完畢的原則化內(nèi)容應(yīng)到達(dá)驗(yàn)收目的。判斷本項(xiàng)目工程原則質(zhì)量好壞的唯壹準(zhǔn)則是該原則與否可以對(duì)的地指導(dǎo)項(xiàng)目建設(shè)和運(yùn)行維護(hù)，到達(dá)項(xiàng)目的建設(shè)目的。因此要把數(shù)據(jù)能否對(duì)的地進(jìn)行共享與互換，業(yè)務(wù)處理與否正常，管理原則與否可以確實(shí)指導(dǎo)、約束承建單位的行為，運(yùn)行維護(hù)原則的實(shí)用性等方面作為質(zhì)量原則，結(jié)合使用原則的參建單位和專家評(píng)審意見(jiàn)，最終確認(rèn)工程原則的質(zhì)量與否到達(dá)協(xié)議規(guī)定。原則與否可以對(duì)的地指導(dǎo)項(xiàng)目建設(shè)和運(yùn)行維護(hù)，可以通過(guò)測(cè)試或者試點(diǎn)的方式進(jìn)行，這兩種方式各有優(yōu)勢(shì)，可以根據(jù)顧客的實(shí)際狀況進(jìn)行選擇。Ⅲ：在前面兩個(gè)階段的工作成果基礎(chǔ)上，根據(jù)原則規(guī)范中規(guī)定的總體框架和技術(shù)架構(gòu)，建立統(tǒng)壹的信息共享平臺(tái)，從技術(shù)層面上為整合各個(gè)部門的數(shù)據(jù)資源提供保證。信息共享平臺(tái)的建設(shè)可以在原則建設(shè)進(jìn)行到壹定階段（例如草案基本完畢）的時(shí)候即可啟動(dòng)，而不壹定要等到原則通過(guò)評(píng)審甚至驗(yàn)證後再進(jìn)行—可以根據(jù)顧客的需要進(jìn)行安排。Ⅳ：本是將需求變?yōu)閷?shí)際系統(tǒng)的最重要的部分，也是數(shù)據(jù)整合的要點(diǎn)之壹。在這裏，共享數(shù)據(jù)庫(kù)（操作型數(shù)據(jù)）和數(shù)據(jù)倉(cāng)庫(kù)建模和設(shè)計(jì)是重點(diǎn)，數(shù)據(jù)倉(cāng)庫(kù)的建模和設(shè)計(jì)需要投入大量的技術(shù)經(jīng)驗(yàn)。數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部的模型分為不壹樣的層次，每個(gè)層次又采用不壹樣的數(shù)據(jù)模型進(jìn)行存儲(chǔ)。大體來(lái)說(shuō)，數(shù)據(jù)倉(cāng)庫(kù)基本分為兩個(gè)層次，壹是數(shù)據(jù)登臺(tái)區(qū)，二是星型模型區(qū)，在這兩個(gè)區(qū)域用不壹樣的數(shù)據(jù)模型進(jìn)行存儲(chǔ)。壹般數(shù)據(jù)登臺(tái)區(qū)基本采用和數(shù)據(jù)源相似的構(gòu)造，也就是老式的范式數(shù)據(jù)構(gòu)造，而在星型模型區(qū)壹般都是采用由維表和事實(shí)表構(gòu)建的星型構(gòu)造。將數(shù)據(jù)從原始的數(shù)據(jù)源之中抽取、轉(zhuǎn)換和加載也是在這個(gè)過(guò)程中進(jìn)行的。ETL的設(shè)計(jì)開(kāi)發(fā)就是用于對(duì)數(shù)據(jù)進(jìn)行清洗，數(shù)據(jù)源有也許來(lái)至于多種業(yè)務(wù)系統(tǒng)，也也許是系統(tǒng)之外的數(shù)據(jù)，這些數(shù)據(jù)以多種形式存儲(chǔ)，ETL的功能就是要將這些不壹樣的數(shù)據(jù)源進(jìn)行清洗流程整合到壹種統(tǒng)壹的數(shù)據(jù)倉(cāng)庫(kù)中。數(shù)據(jù)清洗又稱為合并/凈化問(wèn)題(merge/purge):它波及到記錄聯(lián)接(recordlinkage)、語(yǔ)義集成(semanticintegration)、實(shí)例標(biāo)識(shí)(instanceidentification),對(duì)象識(shí)別問(wèn)題，數(shù)據(jù)清理目的就是要在數(shù)據(jù)中消除錯(cuò)誤和不壹致，并處理對(duì)象識(shí)別的問(wèn)題。反復(fù)數(shù)據(jù)清理的公認(rèn)的措施:對(duì)合并/凈化問(wèn)題用基本的排序冷fl居措施進(jìn)行處理的過(guò)程。清洗重要是針對(duì)系統(tǒng)的各個(gè)環(huán)節(jié)也許出現(xiàn)的數(shù)據(jù)二義性、反復(fù)、不完整、違反業(yè)務(wù)規(guī)則等問(wèn)題，容許通過(guò)試抽取，將有問(wèn)題的紀(jì)錄先剔除出來(lái)，根據(jù)實(shí)際狀況調(diào)整對(duì)應(yīng)的清洗操作?？蛻魯?shù)據(jù)清理的六個(gè)環(huán)節(jié): 元素化((elementizing):將數(shù)分解為最小的原子單元 原則化((standardizing):將縮寫(xiě)，大小寫(xiě)等都轉(zhuǎn)換為同壹格式 校驗(yàn)((verifying):運(yùn)用規(guī)則或已經(jīng)有的數(shù)據(jù)集合驗(yàn)證數(shù)據(jù)的有效性 匹配((matching):重要是鑒別冗余數(shù)據(jù) 戶主化((householding):重要是確定數(shù)據(jù)之間的聯(lián)絡(luò) 文檔化(documenting):將清洗好的數(shù)據(jù)以同壹的原則格式保留Ⅴ：這個(gè)階段對(duì)數(shù)據(jù)進(jìn)行整體集成、在共享數(shù)據(jù)的基礎(chǔ)上，實(shí)