2022非結構化數(shù)據(jù)管理解決方案

非結構化數(shù)據(jù)管理解決方案目 錄前言 1非結構化數(shù)據(jù)管理 2非結構化數(shù)據(jù)定義及特征 2非結構化數(shù)據(jù)管理發(fā)展歷程 4非結構化數(shù)據(jù)管理體系 6非結構化數(shù)據(jù)管理能力成熟度模型 7非結構化數(shù)據(jù)頂層設計 9非結構化數(shù)據(jù)治理 11非結構化數(shù)據(jù)管理 12非結構化數(shù)據(jù)標準 12非結構化元數(shù)據(jù) 15非結構化數(shù)據(jù)質(zhì)量 16非結構化數(shù)據(jù)安全 17非結構化數(shù)據(jù)合規(guī) 21非結構化數(shù)據(jù)集成 21非結構化數(shù)據(jù)價值 23非結構化數(shù)據(jù)協(xié)作 23非結構化數(shù)據(jù)流轉(zhuǎn) 24非結構化數(shù)據(jù)服務 25非結構化數(shù)據(jù)洞察 26非結構化數(shù)據(jù)管理解決方案 28非結構化數(shù)據(jù)管理與ECM企業(yè)內(nèi)容管理 28ECM內(nèi)容管理成熟度模型CM3 31ECM內(nèi)容管理平臺架構 33ECM內(nèi)容管理核心技術 35ECM底層架構技術 35ECM服務技術 35ECM安全技術 36ECM與人工智能技術深度融合 36ECM數(shù)字化轉(zhuǎn)型技術 37ECM生態(tài)融合技術 37非結構化數(shù)據(jù)管理應用實踐 38非結構化數(shù)據(jù)管理應用類型 38非結構化數(shù)據(jù)管理應用實踐 39內(nèi)容協(xié)作和交互 39內(nèi)容全生命周期管理 40統(tǒng)一的內(nèi)容數(shù)據(jù)管理平臺 40內(nèi)容的知識化平臺 41內(nèi)容歸檔和合規(guī)管理 42電子文檔安全管理 43文檔云應用解決方案 44非結構化數(shù)據(jù)中臺應用解決方案 44文檔檔案一體化應用解決方案 46KM知識管理應用解決方案 47文件安全交換應用解決方案 48涉密/商秘電子文檔安全管理應用解決方案 48GMP醫(yī)藥質(zhì)量應用解決方案 49ISO質(zhì)量體系文件管理應用解決方案 50工程協(xié)同設計應用解決方案 51EPC工程內(nèi)容管理應用解決方案 53PAGEPAGE10前言2018年，全國信息技術標準化技術委員會大數(shù)據(jù)標準工作組組織制定的GB/T36073-2018《數(shù)據(jù)管理能力成熟度評估模型》（以下簡稱DCMM聯(lián)合上海鴻翼軟件技術股份有限公司組織成立非結構化數(shù)據(jù)管理解決方案聯(lián)合實驗室本白皮書立足于非結構化數(shù)據(jù)管理應用實踐，結合DCMM國家CM3為核心的非結構化數(shù)據(jù)管理解決方非結構化數(shù)據(jù)管理非結構化數(shù)據(jù)定義及特征80%。1表1結構化數(shù)據(jù)與非結構化數(shù)據(jù)特征差異結構化數(shù)據(jù)非結構化數(shù)據(jù)數(shù)據(jù)對象結構化數(shù)據(jù)以關系型或單一數(shù)據(jù)屬性，如：銀行卡號、日期、財務金額、電話號碼、地址、產(chǎn)品名稱等作為數(shù)據(jù)對象非結構化數(shù)據(jù)以內(nèi)容或本體，如文件、數(shù)據(jù)格式強調(diào)基于表格的關系型數(shù)據(jù)值格式由于非結構化數(shù)據(jù)較多體現(xiàn)在無模式、自描述的文件及內(nèi)容，其數(shù)據(jù)格式更為多樣，如：png、jpg、mp4、doc、pdf等各種類型時間維度結構化數(shù)據(jù)的以單一數(shù)據(jù)屬性為非結構化數(shù)據(jù)以文件和內(nèi)容為主，信息量較大，應用時效性會更長存儲占比在企業(yè)日常運營產(chǎn)生的數(shù)據(jù)中，結構化數(shù)據(jù)占存儲數(shù)據(jù)總量的20%在企業(yè)日常運營產(chǎn)生的數(shù)據(jù)中，非結構化數(shù)據(jù)占存儲數(shù)據(jù)總量的80%存儲形式結構化數(shù)據(jù)通常僅存儲在軟件應用系統(tǒng)和數(shù)據(jù)倉庫中非結構化數(shù)據(jù)的存儲端多樣，可以儲存在個人電腦、服務器、應用系統(tǒng)、文件柜或檔案室等終端以及數(shù)據(jù)湖為代表的大數(shù)據(jù)平臺中增長速度通常結構化數(shù)據(jù)占業(yè)務數(shù)據(jù)增長量的10%通常非結構化數(shù)據(jù)占業(yè)務數(shù)據(jù)增長量的90%信息含量結構化數(shù)據(jù)需要結合上下文語義呈現(xiàn)信息，信息量較小，體現(xiàn)在定量數(shù)據(jù)和關鍵的業(yè)務信息非結構化數(shù)據(jù)所包含的信息量較大，可以擴展至情感性、描述性、文檔性等更為廣泛的信息數(shù)據(jù)價值結構化數(shù)據(jù)的價值主要體現(xiàn)在假設、明確或已知的數(shù)據(jù)分析價值非結構化數(shù)據(jù)價值擁有更廣泛的、探索性、數(shù)據(jù)挖掘等未知的數(shù)據(jù)洞察價值非結構化數(shù)據(jù)管理發(fā)展歷程206020902000年以后，隨著互聯(lián)網(wǎng)技術的發(fā)展，非結構化數(shù)據(jù)體現(xiàn)在以WEB網(wǎng)頁為主的內(nèi)容管理，并隨著網(wǎng)站技術的發(fā)展，出現(xiàn)了網(wǎng)頁內(nèi)（WebContent2005年以后，隨著企業(yè)信息化的不斷深入，非結構化數(shù)據(jù)融入ECMManagement）的出現(xiàn)，隨著ECM的出現(xiàn)2010年以后，隨著云計算，物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和大數(shù)據(jù)的不質(zhì)量電子文檔等，這個階段ECM企業(yè)內(nèi)容管理2015年以后，隨著云服務、移動物聯(lián)網(wǎng)、特別是人工智能技術非結構化數(shù)據(jù)管理體系1所示非結構化數(shù)據(jù)治理，包括組織與職責、制度與流程、評估非結構化數(shù)據(jù)管理，包括非結構化數(shù)據(jù)集成、非結構化數(shù)非結構化數(shù)據(jù)價值，包括非結構化數(shù)據(jù)協(xié)作、非結構化數(shù)圖1非結構化數(shù)據(jù)管理體系框架非結構化數(shù)據(jù)管理能力成熟度模型（CapabilityMaturity2080年代（第通過借鑒國內(nèi)外成熟度相關理論思想，DCMM涵蓋數(shù)據(jù)戰(zhàn)略、2所示旨在為企事業(yè)單位評估和持續(xù)改進自身數(shù)據(jù)管理能力提供了科學指導。圖2DCMM數(shù)據(jù)管理能力成熟度模型DCMM遵循能力成熟度模型的基本理念和結構，在進一步細分關鍵非結構化數(shù)據(jù)管理能力成熟度模型基于DCMM非結構化數(shù)據(jù)管理能力成熟度3）。圖3非結構化數(shù)據(jù)管理能力成熟度模型非結構化數(shù)據(jù)頂層設計IT戰(zhàn)略開展IT目標相一致，同時制定非結構化數(shù)據(jù)（如4）。現(xiàn)狀評估的重點是對組織非結構化數(shù)據(jù)現(xiàn)狀開展全面評估工作。通過調(diào)研獲得非結構化數(shù)據(jù)管理現(xiàn)狀、技術現(xiàn)狀和應用現(xiàn)狀，并通過能力成熟度模型進行評估，分析出組織非結構化數(shù)據(jù)管理中存在的問圖4非結構化數(shù)據(jù)頂層設計非結構化數(shù)據(jù)治理為了更好地推進組織非結構化數(shù)據(jù)治理，組織應逐步樹立起非結非結構化數(shù)據(jù)管理非結構化數(shù)據(jù)標準OCR識別技術實現(xiàn)內(nèi)容用戶在對內(nèi)容理解的基礎上對內(nèi)容進行標簽化標注的一種以內(nèi)容為格式標準主要體現(xiàn)在模板庫、文件格式、文檔尺寸、文件大小、文檔期限、文檔保管格式等方面的規(guī)范性。（、非結構化元數(shù)據(jù)（dataabout規(guī)范非結構化數(shù)據(jù)使用、數(shù)據(jù)服務、數(shù)據(jù)流程等，保證業(yè)總體規(guī)劃和設計業(yè)務與非結構化數(shù)據(jù)關系，消除系統(tǒng)與平規(guī)范化統(tǒng)一內(nèi)容管理指標，跟蹤業(yè)務與內(nèi)容管理全過程，非結構化數(shù)據(jù)質(zhì)量非結構化數(shù)據(jù)質(zhì)量要求，涉及非結構化數(shù)據(jù)的真實性、完非結構化數(shù)據(jù)的質(zhì)量控制，反映在模板、流程、技術和人非結構化數(shù)據(jù)的質(zhì)量檢查，反映在數(shù)據(jù)質(zhì)量審計、智能定非結構化數(shù)據(jù)的質(zhì)量分析，反映在元數(shù)據(jù)使用分析、關聯(lián)非結構化數(shù)據(jù)的質(zhì)量改進，反映在數(shù)據(jù)質(zhì)量改進方案和數(shù)真實性體現(xiàn)在電子文件的來源、元數(shù)據(jù)、數(shù)據(jù)內(nèi)容的真實完整性體現(xiàn)在應能夠覆蓋組織的所有文檔，組織可以通過準確獲取內(nèi)容庫中的文件數(shù)量以及非結構化的文件是否獲得相應審批等信息；安全性方面包括對歸檔信息包病毒檢測、載體檢測、過程時效性方面強調(diào)通過對非結構化數(shù)據(jù)進行全生命周期版本非結構化數(shù)據(jù)安全基于非結構化數(shù)據(jù)全生命生命周期的視角，對非結構化數(shù)據(jù)的全安全管理的方法涉及數(shù)據(jù)不被勒索、數(shù)據(jù)不丟失、日志可追溯、健全文檔安全體系、安全可分析可預測等方面。加密C/D盤在虛擬盤中操作各種文件，但數(shù)據(jù)全部存儲于企業(yè)服務器非結構化數(shù)據(jù)合規(guī)美國《薩班斯法案》、美國《2018年加州消費者隱私法案》、《企《財政部國家檔案局關于規(guī)范電子會計憑證報銷入賬歸檔的通知》、非結構化數(shù)據(jù)集成非結構化數(shù)據(jù)集成是數(shù)據(jù)共享協(xié)同和價值挖掘的前提，主要包括數(shù)據(jù)分布、采集技術、采集策略和數(shù)據(jù)集成四個方面內(nèi)容。非結構化數(shù)據(jù)集成主要分為兩方面，一是為各種應用系統(tǒng)提供實非結構化數(shù)據(jù)價值非結構化數(shù)據(jù)價值本質(zhì)是數(shù)據(jù)資產(chǎn)化的過程，體現(xiàn)在數(shù)據(jù)的共享交換與服務開放。這里從價值實現(xiàn)技術角度關注非結構化數(shù)據(jù)協(xié)作、流轉(zhuǎn)、服務和洞察。非結構化數(shù)據(jù)協(xié)作非結構化數(shù)據(jù)流轉(zhuǎn)換解決方案的流轉(zhuǎn)安全手段、方式、安全交換等技術實現(xiàn)。非結構化數(shù)據(jù)服務非結構化數(shù)據(jù)洞察、非結構化數(shù)據(jù)洞察能力主要包括以下幾方面：通過構建大規(guī)模語義網(wǎng)絡，通過發(fā)掘?qū)嶓w之間的關聯(lián)，將數(shù)據(jù)整合，幫助機器理解數(shù)據(jù)、解釋現(xiàn)象、知識推理，從而發(fā)掘深層關系、最終實現(xiàn)智能交互。非結構化數(shù)據(jù)系統(tǒng)結合大數(shù)據(jù)分析能力深度融合以上五點能力實現(xiàn)非結構化數(shù)據(jù)洞察。非結構化數(shù)據(jù)管理解決方案ECM非結構化數(shù)據(jù)管理在企業(yè)實踐中主要體現(xiàn)為ECM其解決方案是通過企業(yè)內(nèi)容管理系統(tǒng)來得到各項非結構化數(shù)據(jù)管理ECM5）。ECMISO質(zhì)量文件體系管理、GMP質(zhì)量文件體系管理、非結構化數(shù)據(jù)管理平臺、工程內(nèi)容管理等應用軟件，以及基于AI智能和GraphECM企業(yè)內(nèi)容管理系統(tǒng)可以幫助企業(yè)內(nèi)容管理戰(zhàn)略落地，通過圖5企業(yè)內(nèi)容管理Gartner2017（6所示（ContentCollaborationPlatform）、內(nèi)容服務平臺（ContentServicePlatform）和內(nèi)容業(yè)務平臺（ContentServiceApplication）API接口和2019：內(nèi)容服務的技術融合》中提出：越來越多的內(nèi)容工智能來實現(xiàn)以前只能通過人類專業(yè)知識才能實現(xiàn)的自動化解決方圖6Gartner內(nèi)容服務框架進一步分析Gartner內(nèi)容服務框架，其主要包括內(nèi)容管理平臺、APIConnector企業(yè)內(nèi)容管理本質(zhì)是為企業(yè)業(yè)務和數(shù)字化轉(zhuǎn)型提供內(nèi)容服務支oentServiceServiceApplication）分為體系化CSA和場景化CSACSA的內(nèi)容服務，場景化CSA注重與第三方業(yè)務系統(tǒng)的集成和整合。完（77內(nèi)容服務框架ECMCM3基于多個行業(yè)和領域的非結構化數(shù)據(jù)實踐應用以及不同階段的8，其包括內(nèi)容協(xié)作階段（ContentCollaborationPlatform）、內(nèi)容服務階段（ContentServicePlatform）、內(nèi)容業(yè)務階段（ContentServiceApplication）（AI）圖8內(nèi)容管理成熟度模型腦上，僅能完成文件之間的協(xié)作，不能與業(yè)務融合。在組織里，有（2）。表2內(nèi)容管理成熟度四階段特征特征類型第一階段第二階段第三階段第四階段數(shù)據(jù)形態(tài)戶電腦中的文件系文件的行業(yè)領域性數(shù)角歸納后的數(shù)據(jù)據(jù)數(shù)據(jù)顆粒度文件級內(nèi)容級知識級語義級數(shù)據(jù)間關系離散的，不關聯(lián)通過內(nèi)容元數(shù)據(jù)存在圍繞業(yè)務的進行網(wǎng)狀式廣泛關聯(lián)立體式關聯(lián)與聚合圖譜和實體知識圖譜業(yè)務融合業(yè)務融合數(shù)據(jù)來源于業(yè)務，又輸出服務于業(yè)務至形成業(yè)務應用立足于業(yè)務場景上內(nèi)容智能數(shù)據(jù)安全協(xié)作過程中的數(shù)階段的安全保護全防護初級階段全形態(tài)數(shù)據(jù)防護度安全措施更精的全生命周期全方位安全防護體業(yè)務場景化的滲為業(yè)務中的數(shù)據(jù)安全保駕護航多層面圖譜結合用戶畫像和操作預測安全風險數(shù)字化能力文件協(xié)作層面的數(shù)字化內(nèi)容中臺的數(shù)字以全內(nèi)容服務形式開放低代碼平臺形成垂直領域的業(yè)務企業(yè)迅速應對市場變化并進行業(yè)務創(chuàng)新探索數(shù)據(jù)技術為企業(yè)業(yè)決策ECM數(shù)據(jù)環(huán)境下ECM非結構化數(shù)據(jù)戰(zhàn)略、方法和工具的ECM能力并使其與組織業(yè)務流程活動中相關內(nèi)容和文檔進行深度融合與應用。ECM企業(yè)內(nèi)容管理平臺具有數(shù)據(jù)采集、存儲、治理、服務、應用、洞察和安全等全方面的能力支撐，具體如下：API企業(yè)內(nèi)容管理平臺具備海量數(shù)數(shù)據(jù)應用是指ECMECM數(shù)據(jù)洞察的核心驅(qū)動是基于人工智能和圖譜技術實現(xiàn)的非結構DLPECMECMECM需要支持各種應用場景下的大規(guī)模集團化架構，包括心架構。同時要支持PB10ECM系統(tǒng)底層架構是基于微服務和容器化的云原生（CloudNative）技術ECMECM內(nèi)容服務包括對不同格式文件的轉(zhuǎn)檔與預覽服務、上傳下等。實現(xiàn)ECMCSBECMECM安全技術主要包括以下幾個方面：智能DLPECM在ECMOCR通過結構化D2R技術、半結構化Wrapper技術和非結構化NLP文本抽取技術構建起GraphECMBPMWCM門戶展現(xiàn)引擎，實現(xiàn)了一次WCPECMECM平臺的開放性、廣泛適配器、多種集成模式、全內(nèi)容整合技術等構建起了ECMERP類、OA類、PDM類、IM非結構化數(shù)據(jù)管理應用實踐非結構化數(shù)據(jù)管理應用類型使隱形知識顯性化。非結構化數(shù)據(jù)可以用于涉密或商秘電子文檔的集中存儲及安全管控，提供全程安全可控的文檔管理業(yè)務系統(tǒng)與環(huán)境。非結構化數(shù)據(jù)管理應用實踐應用場景：公司文檔管理案例提供者：某大型藥業(yè)集團推諉，搭建高效易用的在線協(xié)作平臺，切實提高企業(yè)研發(fā)效率。內(nèi)容全生命周期管理應用領域：公司數(shù)據(jù)管理應用場景：數(shù)據(jù)資料管理案例提供者：某地鐵公司統(tǒng)一的內(nèi)容數(shù)據(jù)管理平臺某電力集團目前存在的問題為不同的業(yè)務系統(tǒng)中的數(shù)據(jù)分散，隨內(nèi)容的知識化平臺應用領域：公司數(shù)據(jù)管理應用場景：數(shù)據(jù)管理案例提供者：某技術、產(chǎn)品和解決方案公司BMP應用場景：數(shù)據(jù)中心案例提供者：某金融聯(lián)合組織文檔云應用解決方案（9）圖9文檔云應用解決方案非結構化數(shù)據(jù)中臺應用解決方案業(yè)業(yè)務的內(nèi)容驅(qū)動和精細化運營。非結構化數(shù)據(jù)中臺依托于ECMAI和圖譜技術的多維洞察分析，進而給企業(yè)業(yè)務輸出各種高質(zhì)量非結構化數(shù)據(jù)服務和服務產(chǎn)品（如圖1011）圖10非結構化數(shù)據(jù)中臺應用架構圖11非結構化數(shù)據(jù)中臺應用解決方案文檔檔案一體化應用解決方案（12）。圖12文檔檔案一體化應用解決方案KMKM知識管理應用解決方案可為用戶提供專業(yè)的KM結合成熟的落地方法論，基于業(yè)界領先的ECMAI智能技術也為（13）。圖13KM知識管理應用解決方案文件安全交換應用解決方案文件安全交換是融合網(wǎng)絡隔離技術和網(wǎng)盤技術于一體的專業(yè)應用，文件安全交換具有全方位安全管控的特點，通過授權，審批，不同環(huán)境下的數(shù)據(jù)傳輸、存儲、交換、共享與分享的安全性（如圖14）。圖14文件安全交換應用解決方案涉密/商秘電子文檔安全管理應用解決方案15）。圖15涉密/商密電子文檔