應(yīng)急管理綜合應(yīng)用平臺數(shù)據(jù)治理系統(tǒng)解決方案

應(yīng)急管理數(shù)據(jù)治理系統(tǒng)建設(shè)方案TOC\o"1-5"\h\z\u5.系統(tǒng)功效 65.1信息資源規(guī)劃 65.1.1信息資源 65.1.2信息要素規(guī)劃 65.1.3信息資源目錄編制 65.1.4分類管理 75.1.5綜合查詢 75.1.6定時更新 75.1.7績效考評 75.2數(shù)據(jù)接入 75.2.1數(shù)據(jù)接入方式 7外部關(guān)聯(lián)部門數(shù)據(jù)接入方式 7應(yīng)急管理廳內(nèi)部業(yè)務(wù)部門數(shù)據(jù)接入方式 7互聯(lián)網(wǎng)公開數(shù)據(jù)接入方式 7感知數(shù)據(jù)接入方式 8其余數(shù)據(jù) 85.2.2系統(tǒng)功效 8數(shù)據(jù)探查 8數(shù)據(jù)讀取 8數(shù)據(jù)對賬 8斷點續(xù)傳 8任務(wù)管理 8數(shù)據(jù)分發(fā) 95.3數(shù)據(jù)處理 95.3.1數(shù)據(jù)處理場景 9從前置庫到原始庫 9從原始庫到資源庫 9從資源庫到主題庫 9從主題庫到專題庫 95.3.2系統(tǒng)功效 10數(shù)據(jù)探查 10數(shù)據(jù)提取 10.1半結(jié)構(gòu)化文件內(nèi)容提取 10.2非結(jié)構(gòu)化文件內(nèi)容提取 10數(shù)據(jù)清洗 11數(shù)據(jù)轉(zhuǎn)換 11數(shù)據(jù)關(guān)聯(lián) 12數(shù)據(jù)比對 12數(shù)據(jù)標(biāo)識 12數(shù)據(jù)融合 13數(shù)據(jù)去重 130數(shù)據(jù)補全 135.4數(shù)據(jù)資源池 135.4.1應(yīng)急管理數(shù)據(jù)庫 13原始庫 13資源庫 14主題庫 14專題庫 155.4.2應(yīng)急管理配置庫 16標(biāo)簽規(guī)則庫 16.1基礎(chǔ)標(biāo)簽規(guī)則庫 16.2業(yè)務(wù)標(biāo)簽規(guī)則庫 16.3智能標(biāo)簽庫 16知識庫 16.1應(yīng)急基本信息 17.2應(yīng)急速查手冊 17.3應(yīng)急處置流程 17.4應(yīng)急案例信息 17.5應(yīng)急教授信息 17.6應(yīng)急法規(guī)政策 17索引庫 17日志庫 175.5數(shù)據(jù)支撐 175.5.1數(shù)據(jù)集成 18批量數(shù)據(jù)集成 19實時數(shù)據(jù)集成 19分布式消息隊列 195.5.2數(shù)據(jù)存放 20分布式文件存放 20分布式列數(shù)據(jù)庫 20數(shù)據(jù)倉庫 21分布式關(guān)系型數(shù)據(jù)倉庫 21內(nèi)存數(shù)據(jù)庫 22全文檢索庫 225.5.3數(shù)據(jù)計算 23離線計算能力 23實時流處理能力 24交互查詢能力 24實時檢索能力 245.5.4數(shù)據(jù)安全管理 25用戶認(rèn)證與角色授權(quán) 25.1用戶認(rèn)證 25.2角色授權(quán) 25數(shù)據(jù)加密 26數(shù)據(jù)傳輸加密 26.1大數(shù)據(jù)平臺傳輸加密 26.2共享交換傳輸加密 26多租戶隔離 26安全審計 265.5.5統(tǒng)一調(diào)度管理 27資源調(diào)度框架 27管理平臺 275.6數(shù)據(jù)服務(wù) 285.6.1數(shù)據(jù)基礎(chǔ)訪問服務(wù) 285.6.2數(shù)據(jù)索引服務(wù) 285.6.3元數(shù)據(jù)訪問服務(wù) 285.6.4數(shù)據(jù)字典服務(wù) 285.6.5數(shù)據(jù)授權(quán)服務(wù) 285.6.6數(shù)據(jù)鑒權(quán)服務(wù) 295.6.7數(shù)據(jù)接口服務(wù) 29數(shù)據(jù)查詢類服務(wù) 29數(shù)據(jù)比對類服務(wù) 29數(shù)據(jù)訂閱/推送類服務(wù) 29數(shù)據(jù)分析類服務(wù) 29動態(tài)數(shù)據(jù)獲取服務(wù) 305.6.8數(shù)據(jù)可視化服務(wù) 30可視化組件服務(wù) 30數(shù)據(jù)治理可視化 30.1數(shù)據(jù)治理概況 30.2數(shù)據(jù)質(zhì)量可視化 30.3數(shù)據(jù)接入可視化 30.4數(shù)據(jù)處理可視化 31.5數(shù)據(jù)管控可視化 31.6數(shù)據(jù)資源可視化 31.7數(shù)據(jù)應(yīng)用情況可視化 315.7數(shù)據(jù)管控 315.7.1數(shù)據(jù)標(biāo)準(zhǔn)管理 315.7.2元數(shù)據(jù)管理 32元數(shù)據(jù)分類 32元數(shù)據(jù)管理 32元數(shù)據(jù)分析 335.7.3資源目錄管理 345.7.4數(shù)據(jù)鑒權(quán)管理 345.7.5數(shù)據(jù)質(zhì)量管理 345.7.6數(shù)據(jù)運維管理 355.7.7數(shù)據(jù)血緣管理 365.7.8數(shù)據(jù)分級分類 365.7.9生產(chǎn)庫管理 375.8數(shù)據(jù)共享交換 375.8.1服務(wù)共享管理 37服務(wù)目錄 37服務(wù)注冊 37服務(wù)申請 38服務(wù)公布 38服務(wù)訂閱 38服務(wù)審核 38通用服務(wù)接口 385.8.2數(shù)據(jù)交換管理 38數(shù)據(jù)交換服務(wù) 38共享資源配置 385.9算法模型 395.9.1算法工程 39算法管理 39算法組件 40算法庫 405.9.2模型工程 40模型創(chuàng)建 40模型分析 40模型管理 415.10工具引擎 415.10.1通用工具 41可視化工具 41智能查詢工具 415.10.2業(yè)務(wù)流程引擎 42中間件 42基礎(chǔ)服務(wù)組件 425.10.3工作流引擎 435.10.4搜索引擎 435.10.5表單引擎 435.11標(biāo)簽工程 435.11.1標(biāo)簽體系管理 43標(biāo)簽主體管理 44標(biāo)簽?zāi)夸浌芾?44標(biāo)簽管理 445.11.2標(biāo)簽分類管理 45業(yè)務(wù)分類 45管理分類 46技術(shù)分類 465.11.3標(biāo)簽規(guī)則管理 47標(biāo)簽元數(shù)據(jù)管理 47標(biāo)簽規(guī)則管理 47標(biāo)簽生命周期管理 48標(biāo)簽計算 48標(biāo)簽畫像 495.12知識圖譜 505.12.1知識圖譜創(chuàng)建 505.12.2知識圖譜庫構(gòu)建 505.12.3知識圖譜服務(wù) 50知識圖譜檢索服務(wù) 51關(guān)聯(lián)分析/圖析服務(wù) 51多維展示/全息檔案服務(wù) 51地理展示和時空比對服務(wù) 515.13通用應(yīng)用服務(wù) 515.13.1統(tǒng)一機構(gòu)管理 515.13.2統(tǒng)一用戶管理 515.13.3統(tǒng)一權(quán)限管理 525.13.4統(tǒng)一身份認(rèn)證 525.13.5統(tǒng)一消息服務(wù) 525.13.6日志管理 525.13.7安全審計 535.13.8數(shù)據(jù)治理門戶 535.14資源目錄 535.14.1元數(shù)據(jù)資源目錄 535.14.2數(shù)據(jù)資源目錄 535.14.3標(biāo)簽資源目錄 535.14.4算法資源目錄 545.14.5模型資源目錄 545.14.6服務(wù)接口資源目錄 545.15數(shù)據(jù)服務(wù)總線 545.15.1服務(wù)注冊 545.15.2服務(wù)編排 545.15.3服務(wù)路由 545.15.4協(xié)議適配 555.15.5事務(wù)管理 555.15.6服務(wù)監(jiān)控 556.技術(shù)指標(biāo) 555.系統(tǒng)功效5.1信息資源規(guī)劃地方應(yīng)急管理部門應(yīng)在應(yīng)急管理部編制信息資源目錄基礎(chǔ)上，補充梳理本省應(yīng)急管理信息資源，并按攝影關(guān)規(guī)范要求進(jìn)行編目，為應(yīng)急管理業(yè)務(wù)系統(tǒng)和政務(wù)服務(wù)提供數(shù)據(jù)資源清單，并定時與部級數(shù)據(jù)治理系統(tǒng)資源目錄實現(xiàn)同時，為數(shù)據(jù)接入、數(shù)據(jù)匯聚、數(shù)據(jù)存放、數(shù)據(jù)交換、數(shù)據(jù)應(yīng)用提供技術(shù)約束，確保數(shù)據(jù)治理工作規(guī)范、統(tǒng)一、有據(jù)。5.1.1信息資源應(yīng)急管理數(shù)據(jù)治理系統(tǒng)建設(shè)是一項長久工作，數(shù)據(jù)資源池中存放和接入信息資源類型不停豐富、數(shù)據(jù)量不停增加數(shù)據(jù)起源單位范圍逐步擴大。本期信息資源采集范圍主要包含以下單位：應(yīng)急管理各轉(zhuǎn)錄部門以及林業(yè)、交通運輸、國土資源、地震、城管、消防、民政、氣象等單位。采集數(shù)據(jù)類型主要包含：1、各單位應(yīng)急相關(guān)基礎(chǔ)數(shù)據(jù)，危險源、防護目標(biāo)、地理信息等。2、各單位應(yīng)急資源數(shù)據(jù)，包含救援隊伍信息、應(yīng)急教授、應(yīng)搶救援物資裝備信息等。3、各單位實時監(jiān)測監(jiān)控數(shù)據(jù)，如氣象信息、輿情信息等。4、各單位應(yīng)急相關(guān)業(yè)務(wù)數(shù)據(jù)，包含預(yù)案、案例、法律法規(guī)信息、安全生產(chǎn)監(jiān)管相關(guān)信息等。5、各單位專業(yè)預(yù)測信息，如氣象預(yù)測信息、地震預(yù)測預(yù)警信息等。5.1.2信息要素規(guī)劃依照應(yīng)急管理業(yè)務(wù)數(shù)據(jù)特征，以相關(guān)要素為基礎(chǔ)，將應(yīng)急管理業(yè)務(wù)中能夠進(jìn)行信息化處理數(shù)據(jù)進(jìn)行分類。5.1.3信息資源目錄編制本項目將依照《政務(wù)信息資源目錄編制指南（試行）》、GB/T21063.1-及GB/T21063.3-等相關(guān)指南和標(biāo)準(zhǔn)要求，結(jié)合應(yīng)急管理部管理需要，梳理應(yīng)急管理信息資源，規(guī)劃應(yīng)急管理元數(shù)據(jù)范圍，編制完成標(biāo)準(zhǔn)《應(yīng)急管理信息資源資源目錄》?；趹?yīng)急管理信息要素，將應(yīng)急管理信息資源進(jìn)行匯總?cè)诤?，可形成包含最小一級分類?；谝患壏诸?，將關(guān)聯(lián)于同一信息要素不一樣職能或不一樣對象進(jìn)行子類劃分，形成信息資源二級分類。對二級分類下業(yè)務(wù)流程或業(yè)務(wù)處理對象進(jìn)行信息資源再劃分，形成信息資源三級分類。5.1.4分類管理按類別管理。5.1.5綜合查詢綜合查詢。5.1.6定時更新形成完備更新機制。5.1.7績效考評依照資源規(guī)劃情況進(jìn)行考評。5.2數(shù)據(jù)接入數(shù)據(jù)接入主要提供統(tǒng)一數(shù)據(jù)匯聚功效，將紛繁復(fù)雜、格式各樣外部關(guān)聯(lián)部門業(yè)務(wù)系統(tǒng)、應(yīng)急管理內(nèi)部業(yè)務(wù)系統(tǒng)、互聯(lián)網(wǎng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入到數(shù)據(jù)治理平臺中，方便和外部系統(tǒng)進(jìn)行數(shù)據(jù)交換，為上層大數(shù)據(jù)應(yīng)用支撐平臺業(yè)務(wù)分析工作提供數(shù)據(jù)源。5.2.1數(shù)據(jù)接入方式從數(shù)據(jù)起源分布來看，此次項目建設(shè)接入數(shù)據(jù)包含外部關(guān)聯(lián)部門數(shù)據(jù)、應(yīng)急管理廳內(nèi)部業(yè)務(wù)部門數(shù)據(jù)、互聯(lián)網(wǎng)公開數(shù)據(jù)、感知數(shù)據(jù)等。針對不一樣起源數(shù)據(jù)采取不一樣數(shù)據(jù)接入方式。外部關(guān)聯(lián)部門數(shù)據(jù)接入方式對于林業(yè)、交通運輸、國土資源、地震、城管、消防、民政、氣象等外部相關(guān)部門業(yè)務(wù)系統(tǒng)數(shù)據(jù)可經(jīng)過數(shù)據(jù)交換平臺獲取，引接方式遵從平臺要求方式進(jìn)行，現(xiàn)在主要提供庫表交換、服務(wù)接口調(diào)用、文件上傳方式。應(yīng)急管理廳內(nèi)部業(yè)務(wù)部門數(shù)據(jù)接入方式對于黑龍江應(yīng)急管理廳等應(yīng)急管理廳內(nèi)部業(yè)務(wù)部門數(shù)據(jù)，可經(jīng)過前置系統(tǒng)采取數(shù)據(jù)抽取、接口調(diào)用、消息服務(wù)方式進(jìn)行數(shù)據(jù)接入?；ヂ?lián)網(wǎng)公開數(shù)據(jù)接入方式對于來自互聯(lián)網(wǎng)以及社會企業(yè)輿情數(shù)據(jù)可經(jīng)過互聯(lián)網(wǎng)單向傳輸設(shè)備接入到數(shù)據(jù)資源池。感知數(shù)據(jù)接入方式對于起源于GPS與北斗定位及速度、方向等實時定位設(shè)備、各單位實時監(jiān)測監(jiān)控數(shù)據(jù)，可經(jīng)過接口實時接入或定點接收方式實現(xiàn)數(shù)據(jù)接入。其余數(shù)據(jù)對于沒有IT系統(tǒng)支撐業(yè)務(wù)數(shù)據(jù)，還可采取人工填報，XLS表格導(dǎo)入方式實現(xiàn)數(shù)據(jù)接入。5.2.2系統(tǒng)功效數(shù)據(jù)接入子系統(tǒng)提供數(shù)據(jù)探查、數(shù)據(jù)讀取、數(shù)據(jù)對賬等功效模塊。數(shù)據(jù)探查數(shù)據(jù)探查是指經(jīng)過對起源數(shù)據(jù)存放位置、提供方式、總量和更新情況、業(yè)務(wù)含義、字段格式語義和取值分布、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)質(zhì)量等進(jìn)行多維度探查，以達(dá)成認(rèn)識數(shù)據(jù)目標(biāo)，為數(shù)據(jù)定義提供依據(jù)。數(shù)據(jù)讀取數(shù)據(jù)讀取是指從源系統(tǒng)抽取數(shù)據(jù)或從指定位置讀取數(shù)據(jù)，檢驗數(shù)據(jù)是否與數(shù)據(jù)定義一致：不一致停頓接入，并重新進(jìn)行數(shù)據(jù)探查和定義；一致執(zhí)行深入接入，對數(shù)據(jù)進(jìn)行必要解密、解壓操作，生成作用于數(shù)據(jù)全生命周期統(tǒng)計ID，并對數(shù)據(jù)進(jìn)行字符集轉(zhuǎn)換等，將其轉(zhuǎn)成符合數(shù)據(jù)處理要求格式。數(shù)據(jù)對賬數(shù)據(jù)對賬是針對數(shù)據(jù)接入步驟，對數(shù)據(jù)提供方和數(shù)據(jù)接入方在某一對賬節(jié)點完整性、一致性、正確性進(jìn)行查對和檢驗過程。假如在某一對賬時間點數(shù)據(jù)提供方和數(shù)據(jù)接入方分別對應(yīng)數(shù)據(jù)條數(shù)不一致，說明對賬出現(xiàn)異常，統(tǒng)計異常，在必要時需告警。斷點續(xù)傳系統(tǒng)應(yīng)該提供基于消息數(shù)據(jù)傳輸服務(wù)，從一個應(yīng)用系統(tǒng)傳輸數(shù)據(jù)實體和數(shù)據(jù)格式到另一個應(yīng)用系統(tǒng)，每個傳輸服務(wù)能夠運行多個傳輸實體。另外系統(tǒng)也提供斷點處理功效，用戶能夠經(jīng)過流程診療工具查看流程發(fā)生錯誤斷點，用戶能夠只修改發(fā)生錯誤斷點處消息，然后把該消息重新發(fā)送，而不是回退和重新發(fā)送整個流程。任務(wù)管理主要實現(xiàn)對數(shù)據(jù)接入任務(wù)管理，支持?jǐn)?shù)據(jù)接入任務(wù)創(chuàng)建、查詢、刪除等功效，并可指定接入任務(wù)所使用抽取方法、轉(zhuǎn)換規(guī)則和加載方式，并依照指定類型進(jìn)行任務(wù)調(diào)度執(zhí)行。數(shù)據(jù)分發(fā)將預(yù)處理后數(shù)據(jù)按需分發(fā)到資源庫、主題庫、業(yè)務(wù)庫，更新維護原始庫，以及向請求方反饋數(shù)據(jù)。5.3數(shù)據(jù)處理數(shù)據(jù)處理主要是針對數(shù)據(jù)接入系統(tǒng)匯聚結(jié)構(gòu)化數(shù)據(jù)統(tǒng)計、半結(jié)構(gòu)化文本等詳細(xì)數(shù)據(jù)內(nèi)容建立標(biāo)準(zhǔn)化數(shù)據(jù)處理模式，經(jīng)過處理后數(shù)據(jù)存放在應(yīng)急管理數(shù)據(jù)資源池中。數(shù)據(jù)處理子系統(tǒng)提供數(shù)據(jù)探查、提取、清洗、轉(zhuǎn)換、關(guān)聯(lián)、比對、標(biāo)識、融合等功效模塊。5.3.1數(shù)據(jù)處理場景從前置庫到原始庫數(shù)據(jù)處理系統(tǒng)經(jīng)過數(shù)據(jù)接入系統(tǒng)接入到前置庫中數(shù)據(jù)，這些數(shù)據(jù)包含各業(yè)務(wù)系統(tǒng)中結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，經(jīng)過數(shù)據(jù)探查和數(shù)據(jù)提取等伎倆，對前置庫數(shù)據(jù)進(jìn)行探查分析，提取出數(shù)據(jù)源信息，并將非結(jié)構(gòu)化數(shù)據(jù)關(guān)鍵文字信息如森林草原林火視頻監(jiān)控數(shù)據(jù)中時間等提取出來，整個數(shù)據(jù)處理過程處理后數(shù)據(jù)會落入原始庫中。從原始庫到資源庫原始庫數(shù)據(jù)經(jīng)過數(shù)據(jù)比對、數(shù)據(jù)提取、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清洗等處理過程，將數(shù)據(jù)加工成符合標(biāo)準(zhǔn)規(guī)范數(shù)據(jù)。比如人員傷亡表數(shù)據(jù)處理工作，經(jīng)過比對人員傷亡表中各個字段和標(biāo)準(zhǔn)數(shù)據(jù)元差異，將標(biāo)準(zhǔn)數(shù)據(jù)元與原始表進(jìn)行關(guān)聯(lián)，如身份證號，然后進(jìn)行轉(zhuǎn)換和清洗。從資源庫到主題庫資源庫數(shù)據(jù)經(jīng)過數(shù)據(jù)比對、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)融合、數(shù)據(jù)標(biāo)識處理過程，將資源庫數(shù)據(jù)映射到災(zāi)害事故、管理對象、應(yīng)急環(huán)境、救援資源、動態(tài)感知五大信息分類中，并詳細(xì)對應(yīng)到各信息分類中與森林防火相關(guān)二級、三級主題庫中。比如“地”主題中關(guān)鍵基礎(chǔ)設(shè)施主題，需要比對關(guān)鍵基礎(chǔ)設(shè)施表與資源庫中表數(shù)據(jù)結(jié)構(gòu)差異，選擇有效字段關(guān)聯(lián)、融合數(shù)據(jù)到關(guān)鍵基礎(chǔ)設(shè)施主題中。從主題庫到專題庫主題庫數(shù)據(jù)經(jīng)過數(shù)據(jù)比對、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)融合、數(shù)據(jù)表示處理過程，將災(zāi)害事故、管理對象、應(yīng)急環(huán)境、救援資源、動態(tài)感知五大信息分類中數(shù)據(jù)提取出來，按照森林防火專題庫所需要方式進(jìn)行組織。5.3.2系統(tǒng)功效數(shù)據(jù)探查數(shù)據(jù)探查功效組件主要對業(yè)務(wù)緩沖庫和原始庫中數(shù)據(jù)進(jìn)行探查分析，方便對待匯聚整合數(shù)據(jù)有一個清楚了解，進(jìn)而提取出數(shù)據(jù)源頭元數(shù)據(jù)信息，為后續(xù)數(shù)據(jù)處理過程提供管理、業(yè)務(wù)、技術(shù)等方面支撐。業(yè)務(wù)探查：對起源表業(yè)務(wù)含義進(jìn)行探查，方便能準(zhǔn)確地了解和描述數(shù)據(jù)。接入方式探查：對起源表存放位置、提供方式進(jìn)行探查，為數(shù)據(jù)接入規(guī)則定義和數(shù)據(jù)處理、組織提供依據(jù)。字段探查：對詳細(xì)字段數(shù)據(jù)內(nèi)容進(jìn)行探查，識別其代表含義和統(tǒng)計分布情況?？罩德侍讲椋航y(tǒng)計字段空值占比情況，首先可重點關(guān)注空值率高主要字段，另首先可經(jīng)過與歷史情況比較及時發(fā)覺數(shù)據(jù)質(zhì)量動態(tài)改變。值域及分布探查：對字段值域范圍以及分布情況進(jìn)行探查。命名實體探查：依照數(shù)據(jù)內(nèi)容識他人名、地名、機構(gòu)名、手機號等命名實體，幫助了解字段語義。數(shù)據(jù)元探查：依照字段名字及內(nèi)容，探查字段確實切語義，并與數(shù)據(jù)元標(biāo)準(zhǔn)進(jìn)行映射。類型及格式探查：探查字段類型及格式是否符合規(guī)范。數(shù)據(jù)集探查：對起源數(shù)據(jù)集表名、引用數(shù)據(jù)元等進(jìn)行探查，確定數(shù)據(jù)集是否是標(biāo)準(zhǔn)數(shù)據(jù)集。探查數(shù)據(jù)總量、增量及更新情況，為數(shù)據(jù)接入、處理和組織提供依據(jù)。問題數(shù)據(jù)探查：探查字段中不符合規(guī)范數(shù)據(jù)，為后續(xù)數(shù)據(jù)清洗規(guī)則制訂提供依據(jù)。數(shù)據(jù)推送：把數(shù)據(jù)探查結(jié)果信息推送到數(shù)據(jù)清洗組件、數(shù)據(jù)轉(zhuǎn)換組件以及元數(shù)據(jù)庫中，為相關(guān)組件規(guī)則制訂，流程分發(fā)等提供必要信息。數(shù)據(jù)提取數(shù)據(jù)提取是原始數(shù)據(jù)進(jìn)行規(guī)范化處理過程，主要針對半結(jié)構(gòu)化數(shù)據(jù)，經(jīng)過數(shù)據(jù)提取過程，從這些半結(jié)構(gòu)化數(shù)據(jù)中提取出人員、機構(gòu)、應(yīng)急物資、事件等相關(guān)信息，并將提取信息以結(jié)構(gòu)化形式進(jìn)行存放。.1半結(jié)構(gòu)化文件內(nèi)容提取主要針對存在于原始庫中半結(jié)構(gòu)化數(shù)據(jù)，依照文件中內(nèi)容，提取出業(yè)務(wù)需要數(shù)據(jù)內(nèi)容。常見半結(jié)構(gòu)化數(shù)據(jù)類型包含：XML、CSV、TXT、Word、Excel等文件。數(shù)據(jù)緩存：對XML、CSV、TXT、Word、Excel文件解析出來結(jié)構(gòu)化信息緩存功效。數(shù)據(jù)封裝：對解析出來數(shù)據(jù)進(jìn)行數(shù)據(jù)封裝，形成標(biāo)準(zhǔn)化數(shù)據(jù)結(jié)構(gòu)。數(shù)據(jù)推送：推送封裝好結(jié)構(gòu)化數(shù)據(jù)到資源庫、主題庫。源數(shù)據(jù)索引：需實現(xiàn)對原始半結(jié)構(gòu)化數(shù)據(jù)索引能力，便于對提取后結(jié)果進(jìn)行溯源追蹤。.2非結(jié)構(gòu)化文件內(nèi)容提取多媒體信息提?。簭膱D片、語音、視頻等多媒體數(shù)據(jù)中提取文字、圖片等信息。如從相關(guān)圖片中提取文本信息，從視頻信息中提取關(guān)鍵幀信息，對圖片中出現(xiàn)二維碼進(jìn)行解析識別，提取包含文字信息、鏈接信息等。生物特征提?。簭暮Ａ繄D像、視頻、音頻信息中提取人臉、人聲等信息，為應(yīng)搶救援提供數(shù)據(jù)支撐。如從人事管理系統(tǒng)中人員照片信息提取人臉特征信息、從各類視頻信息中提取人臉信息，識別出包括領(lǐng)導(dǎo)人員信息等。全文信息提?。褐饕菑暮Ａ课谋緮?shù)據(jù)中提取姓名、身份證號、電話號碼、車牌號碼、社會統(tǒng)一信用代碼、企業(yè)名稱、地址、時間等信息。如從安全生產(chǎn)誠信管理系統(tǒng)黑白紅名單中提取企業(yè)名稱、社會統(tǒng)一信用代碼等企業(yè)組織要素信息，從評定匯報信息中提取災(zāi)害事故發(fā)生時間、地點、傷亡情況等結(jié)構(gòu)化要素信息。如從業(yè)務(wù)信息系統(tǒng)中對接Word格式文件文件內(nèi)容中提取單位名稱、姓名等要素信息。數(shù)據(jù)清洗數(shù)據(jù)清洗是對業(yè)務(wù)數(shù)據(jù)中不符合標(biāo)準(zhǔn)規(guī)范或者無效數(shù)據(jù)進(jìn)行相關(guān)操作。在進(jìn)行數(shù)據(jù)整合之前先定義數(shù)據(jù)清洗規(guī)則，并對符合清洗規(guī)則數(shù)據(jù)設(shè)置數(shù)據(jù)錯誤級別。當(dāng)進(jìn)行數(shù)據(jù)整合過程中碰到符合清洗規(guī)則數(shù)據(jù)時，系統(tǒng)將把這些業(yè)務(wù)數(shù)據(jù)置為問題數(shù)據(jù)，并依照錯誤嚴(yán)重程度進(jìn)行歸類。對出現(xiàn)問題數(shù)據(jù)進(jìn)行標(biāo)識后存入問題數(shù)據(jù)庫中，經(jīng)確認(rèn)后再決定是經(jīng)過清洗轉(zhuǎn)換后入庫，還是直接放棄，抑或其余方式處理。對于清洗前后數(shù)據(jù)還需進(jìn)行一致性檢驗，以確保清洗結(jié)果集質(zhì)量。數(shù)據(jù)轉(zhuǎn)換此次數(shù)據(jù)治理項目包括多個部門、多個業(yè)務(wù)系統(tǒng)中數(shù)據(jù)。不一樣系統(tǒng)有不一樣數(shù)據(jù)結(jié)構(gòu)定義，數(shù)據(jù)匯聚在一起后就會產(chǎn)生數(shù)據(jù)格式不規(guī)范統(tǒng)一、數(shù)據(jù)命名不規(guī)范統(tǒng)一、數(shù)據(jù)編碼不規(guī)范統(tǒng)一、數(shù)據(jù)標(biāo)識不規(guī)范統(tǒng)一。這么數(shù)據(jù)是無法支撐業(yè)務(wù)應(yīng)用需要，所以需要對聚集數(shù)據(jù)進(jìn)行數(shù)據(jù)格式規(guī)范統(tǒng)一、數(shù)據(jù)命名規(guī)范統(tǒng)一、數(shù)據(jù)編碼規(guī)范統(tǒng)一、數(shù)據(jù)標(biāo)識不規(guī)范統(tǒng)一等數(shù)據(jù)轉(zhuǎn)換處理。詳細(xì)數(shù)據(jù)轉(zhuǎn)換組件包含以下功效：數(shù)據(jù)命名轉(zhuǎn)換：經(jīng)過比對標(biāo)準(zhǔn)數(shù)據(jù)元和實際數(shù)據(jù)表中數(shù)據(jù)項，假如比對結(jié)果一致，則不需要轉(zhuǎn)換處理，假如比對結(jié)果不一致，要按照標(biāo)準(zhǔn)數(shù)據(jù)元中要求命名進(jìn)行轉(zhuǎn)換。數(shù)據(jù)類型轉(zhuǎn)換：經(jīng)過比對標(biāo)準(zhǔn)數(shù)據(jù)元和實際數(shù)據(jù)表中數(shù)據(jù)項，假如比對結(jié)果一致，則不需要轉(zhuǎn)換處理，假如比對結(jié)果不一致，要按照標(biāo)準(zhǔn)數(shù)據(jù)元中要求數(shù)據(jù)類型進(jìn)行轉(zhuǎn)換。按照標(biāo)準(zhǔn)規(guī)范將不一樣起源、不一樣格式數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一標(biāo)準(zhǔn)化數(shù)據(jù)格式。平臺將建立一系列數(shù)據(jù)標(biāo)準(zhǔn)，進(jìn)入平臺數(shù)據(jù)都必須遵照這些標(biāo)準(zhǔn)，只有這么才能確保平臺上層應(yīng)用調(diào)用數(shù)據(jù)通用性和應(yīng)用之間充分信息共享。需要做格式統(tǒng)一有以下幾個：全角轉(zhuǎn)半角、電話號碼轉(zhuǎn)換、URL形式轉(zhuǎn)換、身份證件號碼轉(zhuǎn)換、社會統(tǒng)一信用代碼轉(zhuǎn)換、時間格式轉(zhuǎn)換、經(jīng)緯度等數(shù)據(jù)標(biāo)準(zhǔn)化類型。身份證號碼和社會統(tǒng)一信用代碼標(biāo)準(zhǔn)化是將身份證位數(shù)統(tǒng)一為18位半角字符，字母字符轉(zhuǎn)為大寫字符，電話號碼標(biāo)準(zhǔn)化主要是保留源數(shù)據(jù)數(shù)字字符部分，去除加減號、空格等特殊字符，僅保留有效數(shù)字字符內(nèi)容。特定字段全角轉(zhuǎn)半角（URL、賬號等信息）。時間標(biāo)準(zhǔn)化即將“yyyy-MM-ddHH:mm:ss”、“yyyyMMddHHmmss”等各種時間格式值，這些格式也統(tǒng)一轉(zhuǎn)成平臺定義標(biāo)按時間格式。經(jīng)緯度標(biāo)準(zhǔn)化主要將各種經(jīng)緯度坐標(biāo)系統(tǒng)一轉(zhuǎn)換為國家大地坐標(biāo)系，經(jīng)緯度數(shù)值統(tǒng)一為十進(jìn)制數(shù)值格式。全部數(shù)據(jù)格式標(biāo)準(zhǔn)化后字段單獨存放，原字段給予保留。數(shù)據(jù)編碼轉(zhuǎn)換：比對標(biāo)準(zhǔn)數(shù)據(jù)元和實際數(shù)據(jù)表中數(shù)據(jù)項，假如比對結(jié)果一致，則不需要轉(zhuǎn)換處理，假如比對結(jié)果不一致，需要按照標(biāo)準(zhǔn)數(shù)據(jù)元中要求標(biāo)準(zhǔn)編碼進(jìn)行轉(zhuǎn)換。未起源于不一樣系統(tǒng)不一樣數(shù)據(jù)字典轉(zhuǎn)化為標(biāo)準(zhǔn)數(shù)據(jù)字典。視頻轉(zhuǎn)碼：因為應(yīng)急管理數(shù)據(jù)治理工程中視頻信息起源于不一樣終端設(shè)備，且多經(jīng)由異構(gòu)通信網(wǎng)絡(luò)進(jìn)行傳輸，所以需要進(jìn)行視頻轉(zhuǎn)碼，將已經(jīng)壓縮編碼視頻碼流轉(zhuǎn)換成另一個視頻碼流，以適應(yīng)不一樣網(wǎng)絡(luò)帶寬、不一樣終端處理能力和不一樣用戶需求，并確保服務(wù)質(zhì)量。數(shù)據(jù)標(biāo)識轉(zhuǎn)換：經(jīng)過數(shù)據(jù)元和數(shù)據(jù)表字段關(guān)聯(lián)，依照關(guān)聯(lián)關(guān)系自動生成可執(zhí)行轉(zhuǎn)換規(guī)則，進(jìn)行數(shù)據(jù)標(biāo)識轉(zhuǎn)換。標(biāo)準(zhǔn)地址轉(zhuǎn)換：對地址要素不完整、文字表示不一致地址信息進(jìn)行標(biāo)準(zhǔn)化處理。依靠民政標(biāo)準(zhǔn)化地址庫及互聯(lián)網(wǎng)公開POI地址信息庫，形成應(yīng)急相關(guān)地址標(biāo)準(zhǔn)基礎(chǔ)庫，對應(yīng)急采集地址信息進(jìn)行標(biāo)準(zhǔn)化處理。為保障數(shù)據(jù)轉(zhuǎn)換處理過程不會造成數(shù)據(jù)丟失，數(shù)據(jù)轉(zhuǎn)換模塊需要支持?jǐn)帱c功效。數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)關(guān)聯(lián)組件需要完成在不一樣數(shù)據(jù)集之間關(guān)聯(lián)，實現(xiàn)在不一樣數(shù)據(jù)集聯(lián)動，為數(shù)據(jù)治理、業(yè)務(wù)應(yīng)用需求提供支撐。依照數(shù)據(jù)處理流程設(shè)計要求，數(shù)據(jù)關(guān)聯(lián)組件功效包含：標(biāo)準(zhǔn)關(guān)聯(lián)、字典關(guān)聯(lián)、半結(jié)構(gòu)化關(guān)聯(lián)、關(guān)聯(lián)回填。標(biāo)準(zhǔn)關(guān)聯(lián)：在資源庫中設(shè)計了標(biāo)準(zhǔn)數(shù)據(jù)元體系，作為數(shù)據(jù)資源中心數(shù)據(jù)規(guī)范基礎(chǔ)。數(shù)據(jù)元是最小數(shù)據(jù)單位。在數(shù)據(jù)關(guān)聯(lián)絡(luò)統(tǒng)中，需要經(jīng)過手工或更智能方式實現(xiàn)各種不一樣編碼原始數(shù)據(jù)和標(biāo)準(zhǔn)數(shù)據(jù)元關(guān)聯(lián)。數(shù)據(jù)字典、屬性及相關(guān)含義關(guān)聯(lián)：如災(zāi)害等級與災(zāi)害類別關(guān)聯(lián)、自然災(zāi)害和災(zāi)害地點關(guān)聯(lián)、單位代碼和單位名稱關(guān)聯(lián)、救援物資與物資類別關(guān)聯(lián)等。半結(jié)構(gòu)化與結(jié)構(gòu)化關(guān)聯(lián)：對半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行提取結(jié)構(gòu)化信息后，按照關(guān)鍵字（如災(zāi)害地點相同、災(zāi)害時間相同、災(zāi)害誘因相同）等進(jìn)行關(guān)聯(lián)，構(gòu)建數(shù)據(jù)關(guān)聯(lián)關(guān)系。如從業(yè)務(wù)信息系統(tǒng)中對接Word格式文件文件，經(jīng)過提取出文件內(nèi)容，經(jīng)過事件時間、地點查詢對應(yīng)火災(zāi)災(zāi)情庫中災(zāi)情信息進(jìn)行關(guān)聯(lián)。關(guān)聯(lián)回填：兩個或兩個以上數(shù)據(jù)集之間經(jīng)過某種信息建立關(guān)聯(lián)關(guān)系之后，依照實際業(yè)務(wù)需要，能夠?qū)@兩個數(shù)據(jù)集中數(shù)據(jù)進(jìn)行相互補充。數(shù)據(jù)比對經(jīng)過數(shù)據(jù)比對功效實現(xiàn)對兩個數(shù)據(jù)集中數(shù)據(jù)內(nèi)容、數(shù)據(jù)格式比較核查，找出相同數(shù)據(jù)或不一樣數(shù)據(jù)。在業(yè)務(wù)應(yīng)用場景上主要實現(xiàn)以下數(shù)據(jù)比對功效。數(shù)據(jù)項與標(biāo)準(zhǔn)數(shù)據(jù)元比對：實現(xiàn)原始數(shù)據(jù)表中數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)據(jù)元數(shù)據(jù)比對，比正確內(nèi)容包含數(shù)據(jù)命名、數(shù)據(jù)標(biāo)識、數(shù)據(jù)格式、數(shù)據(jù)值域、數(shù)據(jù)編碼、數(shù)據(jù)類型等數(shù)據(jù)比對，數(shù)據(jù)比正確結(jié)果為一致或不一致。不一樣數(shù)據(jù)項集比對：實現(xiàn)兩個數(shù)據(jù)項集交集、補集，以滿足數(shù)據(jù)檢索需求。數(shù)據(jù)標(biāo)識數(shù)據(jù)標(biāo)識模塊依靠標(biāo)簽引擎結(jié)合應(yīng)急業(yè)務(wù)知識庫、標(biāo)簽規(guī)則庫對數(shù)據(jù)進(jìn)行標(biāo)識。標(biāo)簽規(guī)則庫提供標(biāo)簽定義、內(nèi)容、版本、關(guān)聯(lián)等，經(jīng)過讀取標(biāo)簽規(guī)則庫內(nèi)容，對數(shù)據(jù)進(jìn)行映射，經(jīng)過人工或智能方式實現(xiàn)對數(shù)據(jù)打標(biāo)，方便提升數(shù)據(jù)價值密度，并為上層應(yīng)用提供支撐。依照標(biāo)簽規(guī)則庫提供規(guī)則接口，數(shù)據(jù)標(biāo)識過程分為以下三類：基礎(chǔ)標(biāo)簽標(biāo)識：依照基礎(chǔ)標(biāo)簽定義規(guī)則，對數(shù)據(jù)進(jìn)行規(guī)則篩選，符合規(guī)則數(shù)據(jù)增添一列基礎(chǔ)標(biāo)簽。業(yè)務(wù)標(biāo)簽標(biāo)識：按照業(yè)務(wù)數(shù)據(jù)模型管理數(shù)據(jù)，依照標(biāo)簽規(guī)則庫提供標(biāo)簽元數(shù)據(jù)信息，在資源庫中找到標(biāo)簽所需相關(guān)聯(lián)數(shù)據(jù)，依照規(guī)則進(jìn)行合并、匯總等工作，得到數(shù)據(jù)按照標(biāo)簽定義增加一列內(nèi)容到目標(biāo)數(shù)據(jù)中。智能標(biāo)簽標(biāo)識：據(jù)標(biāo)簽規(guī)則庫提供模型接口，將對應(yīng)數(shù)據(jù)輸入模型進(jìn)行計算，將計算后結(jié)果按照標(biāo)簽規(guī)則庫定義標(biāo)簽內(nèi)容增加一列業(yè)務(wù)標(biāo)簽到目標(biāo)數(shù)據(jù)中。數(shù)據(jù)融合標(biāo)準(zhǔn)化去噪后數(shù)據(jù)需要采取必要數(shù)據(jù)融合伎倆，按照應(yīng)急管理主題庫、專題庫以及數(shù)據(jù)應(yīng)用需要方式組織，以支撐應(yīng)急管理單位數(shù)據(jù)需求。在數(shù)據(jù)融合過程中，應(yīng)該以合理方式設(shè)計數(shù)據(jù)結(jié)構(gòu)，保障數(shù)據(jù)應(yīng)用對數(shù)據(jù)高效分析查詢同時，盡可能降低冗余。數(shù)據(jù)融合處理過程貫通主題庫、專題庫和數(shù)據(jù)應(yīng)用建設(shè)過程，詳細(xì)以下：數(shù)據(jù)融合關(guān)鍵功效模塊包含模型加工和匯總加工。各功效模塊詳細(xì)描述以下：模型加工：主要包含數(shù)據(jù)合并、數(shù)據(jù)覆蓋、數(shù)據(jù)切分功效，其中數(shù)據(jù)合并需要經(jīng)過函數(shù)、分組或轉(zhuǎn)列方式完成數(shù)據(jù)表合并和列合并。數(shù)據(jù)覆蓋功效需要依賴數(shù)據(jù)比正確結(jié)果，將新增和修改統(tǒng)計覆蓋到目標(biāo)表中。數(shù)據(jù)切分需要經(jīng)過行篩選、列提取或表提取等方式將相同數(shù)據(jù)對象結(jié)果表進(jìn)行切分合并。匯總加工：按照公共匯總標(biāo)準(zhǔn)，明確哪些數(shù)據(jù)需要匯總合后，采取聚合函數(shù)或窗口函數(shù)等方式，完成對跨數(shù)據(jù)域且需要被頻繁公用數(shù)據(jù)匯總。數(shù)據(jù)去重對重復(fù)數(shù)據(jù)合并處理。0數(shù)據(jù)補全對一條數(shù)據(jù)各個字段缺失，經(jīng)過技術(shù)伎倆進(jìn)行補全，比如：黑龍江省，需要補充機構(gòu)代碼23。5.4數(shù)據(jù)資源池按照數(shù)據(jù)使用目標(biāo)分級分類建庫要求，統(tǒng)一規(guī)劃資源，經(jīng)過對數(shù)據(jù)資源進(jìn)行標(biāo)準(zhǔn)統(tǒng)一、流程規(guī)范組織與挖掘，形成包含原始庫、資源庫、主題庫、專題庫等應(yīng)急管理數(shù)據(jù)資源池，以滿足應(yīng)急管理內(nèi)部各單位業(yè)務(wù)專題數(shù)據(jù)落地建庫需求，為綜合展示、數(shù)據(jù)服務(wù)、領(lǐng)導(dǎo)決議提供數(shù)據(jù)支持。5.4.1應(yīng)急管理數(shù)據(jù)庫原始庫大數(shù)據(jù)資源中心原始庫應(yīng)該包含應(yīng)急管理單位內(nèi)部、外部全部需要組織數(shù)據(jù)。在數(shù)據(jù)起源上，包含外部委數(shù)據(jù)（如公共安全數(shù)據(jù)、交通運輸數(shù)據(jù)等），應(yīng)急管理單位內(nèi)部數(shù)據(jù)（如省市重大安全風(fēng)險監(jiān)測預(yù)警數(shù)據(jù)、部級安全生產(chǎn)行政執(zhí)法數(shù)據(jù)等），社會及互聯(lián)網(wǎng)數(shù)據(jù)（如微信、微博及其余輿情數(shù)據(jù)等）。在數(shù)據(jù)類型上，包含結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。原始庫合理設(shè)計能夠在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)資源中心之間形成一個良好過渡，既保障了數(shù)據(jù)資源中心數(shù)據(jù)穩(wěn)定性，不會受源業(yè)務(wù)系統(tǒng)數(shù)據(jù)頻繁改變影響，又可減輕前置系統(tǒng)被重復(fù)抽取壓力，數(shù)據(jù)資源中心數(shù)據(jù)需求統(tǒng)一由原始庫為基礎(chǔ)來抽取和分發(fā)。因為數(shù)據(jù)起源多、種類豐富，原始庫數(shù)據(jù)應(yīng)該采取清楚、合理方式去組織。對于不一樣起源數(shù)據(jù)，應(yīng)該按照其數(shù)據(jù)起源進(jìn)行清楚標(biāo)識，包含表名標(biāo)識、表元數(shù)據(jù)標(biāo)識等。對于不一樣種類數(shù)據(jù)，應(yīng)該采取不一樣存放機制進(jìn)行存取。存放域分為結(jié)構(gòu)化域、半結(jié)構(gòu)化域和非結(jié)構(gòu)化域，其中半結(jié)構(gòu)化域和非結(jié)構(gòu)化域數(shù)據(jù)應(yīng)該采取對應(yīng)數(shù)據(jù)提取伎倆提取關(guān)鍵信息保留至結(jié)構(gòu)化域，便于數(shù)據(jù)溯源和使用。原始庫數(shù)據(jù)結(jié)構(gòu)設(shè)計標(biāo)準(zhǔn)上和業(yè)務(wù)生產(chǎn)庫表結(jié)構(gòu)一致，并在業(yè)務(wù)生產(chǎn)庫基礎(chǔ)上增添數(shù)據(jù)接入過程中操作字段，表示數(shù)據(jù)更新和刪除等狀態(tài)。以此向大數(shù)據(jù)資源中心提供原始、準(zhǔn)確數(shù)據(jù)，便于后續(xù)分析和使用。原始庫中數(shù)據(jù)是大數(shù)據(jù)資源中心最基礎(chǔ)數(shù)據(jù)，需要對數(shù)據(jù)設(shè)置不一樣生命周期和質(zhì)量監(jiān)控標(biāo)準(zhǔn)，從而保障數(shù)據(jù)鮮活性和準(zhǔn)確性。原始庫結(jié)構(gòu)按數(shù)據(jù)類別分為結(jié)構(gòu)化數(shù)據(jù)域、半結(jié)構(gòu)化數(shù)據(jù)域和非結(jié)構(gòu)化數(shù)據(jù)域三個邏輯數(shù)據(jù)域。（1）結(jié)構(gòu)化數(shù)據(jù)域用于保留由各業(yè)務(wù)系統(tǒng)抽取關(guān)系型數(shù)據(jù)，如火災(zāi)檔案表等，這部分?jǐn)?shù)據(jù)需基于云計算平臺所提供關(guān)系型數(shù)據(jù)庫組件來組織。（2）半結(jié)構(gòu)化數(shù)據(jù)域用于保留從各業(yè)務(wù)系統(tǒng)或各部門抽取半結(jié)構(gòu)化數(shù)據(jù)，如互聯(lián)網(wǎng)輿情數(shù)據(jù)等XML格式、XLS格式數(shù)據(jù)或文件，該類型數(shù)據(jù)需基于云計算平臺所提供NoSQL數(shù)據(jù)庫組件來組織。（3）非結(jié)構(gòu)化數(shù)據(jù)域用于保留從各業(yè)務(wù)系統(tǒng)或各部門抽取非結(jié)構(gòu)化數(shù)據(jù)，包含圖片、音視頻、文本等類型數(shù)據(jù)，如衛(wèi)星遙感數(shù)據(jù)、火災(zāi)圖傳錄像、救援總結(jié)匯報等，該類型數(shù)據(jù)需基于云計算平臺所提供分布式文件系統(tǒng)進(jìn)行存放。非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)需在原始庫中建立索引表來統(tǒng)計該數(shù)據(jù)起源和存放路徑等。索引表主要以關(guān)系型數(shù)據(jù)形式存放在結(jié)構(gòu)化數(shù)據(jù)域中。資源庫資源庫數(shù)據(jù)是由原始庫數(shù)據(jù)經(jīng)過清洗、轉(zhuǎn)換、關(guān)聯(lián)、比對等數(shù)據(jù)處理過程后形成標(biāo)準(zhǔn)數(shù)據(jù)。資源庫設(shè)計包含數(shù)據(jù)結(jié)構(gòu)設(shè)計、數(shù)據(jù)表結(jié)構(gòu)設(shè)計和加工過程設(shè)計。在資源庫數(shù)據(jù)結(jié)構(gòu)設(shè)計上，以原始庫數(shù)據(jù)結(jié)構(gòu)為基礎(chǔ)，補充必要數(shù)據(jù)字段。在數(shù)據(jù)表設(shè)計上，將相同表結(jié)構(gòu)數(shù)據(jù)表進(jìn)行適當(dāng)合并，并保留原始庫表名以方便進(jìn)行溯源。數(shù)據(jù)加工過程設(shè)計是資源庫設(shè)計中最關(guān)鍵部分，這部分要進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)元設(shè)計，以及原始數(shù)據(jù)和標(biāo)準(zhǔn)數(shù)據(jù)元關(guān)聯(lián)設(shè)計，從而將資源庫數(shù)據(jù)處理成符合標(biāo)準(zhǔn)數(shù)據(jù)。主題庫主題庫是按照應(yīng)急管理信息要素將應(yīng)急數(shù)據(jù)按災(zāi)害事故、救援物資與裝備、組織機構(gòu)、危險源等進(jìn)行分類，為數(shù)據(jù)應(yīng)用和產(chǎn)品提供公共數(shù)據(jù)服務(wù)，降低用戶了解和獲取數(shù)據(jù)難度，降低數(shù)據(jù)加工深度和復(fù)雜度，提升數(shù)據(jù)應(yīng)用和產(chǎn)品獲取數(shù)據(jù)效率，保持系統(tǒng)內(nèi)各個軟件模塊和應(yīng)用服務(wù)間數(shù)據(jù)一致性。主題庫設(shè)計需遵照下述規(guī)則：1、提供統(tǒng)一數(shù)據(jù)出口主題庫中包含了主題相關(guān)實體表和實體間關(guān)聯(lián)表，以及實體表起源表信息。經(jīng)過關(guān)聯(lián)表以及起源表信息，用戶能快速清楚地了解實體數(shù)據(jù)起源，降低了去數(shù)據(jù)庫中尋找實體相關(guān)表時間，而且因為各個用戶統(tǒng)一從主題庫獲取數(shù)據(jù)，數(shù)據(jù)口徑一致性得到了有效保障。2、確保實體一致性主題庫包含災(zāi)害事故、救援物資與裝備、組織機構(gòu)、危險源等實體，每個實體都會在主題庫中有唯一ID，經(jīng)過這個唯一ID，能夠獲取實體在主題庫中全部信息，從而確保了實體一致性。3、提供匯總業(yè)務(wù)數(shù)據(jù)，滿足查詢、統(tǒng)計、分析等多類應(yīng)用產(chǎn)品數(shù)據(jù)需求主題庫會依照業(yè)務(wù)類別，將數(shù)據(jù)從各個業(yè)務(wù)表中匯聚起來變成匯總后實體表和關(guān)聯(lián)表，而且在實體表和關(guān)聯(lián)表中還會包含慣用業(yè)務(wù)字段，使得用戶能夠方便得從較少表中獲取所需數(shù)據(jù)，降低了數(shù)據(jù)獲取成本。主題庫在數(shù)據(jù)治理體系中位于DWD明細(xì)數(shù)據(jù)層（資源庫）和DM專題層（專題庫）中間，對上游明細(xì)數(shù)據(jù)打散重構(gòu)形成主題表，對下游專題層提供了標(biāo)準(zhǔn)化、一致性數(shù)據(jù)。上游明細(xì)數(shù)據(jù)里面包含了不一樣系統(tǒng)、不一樣部門數(shù)據(jù)，數(shù)據(jù)之間存在關(guān)聯(lián)，不過因為沒有進(jìn)行一致性處理，無法達(dá)成數(shù)據(jù)準(zhǔn)確互通，所以主題庫將不一樣系統(tǒng)間數(shù)據(jù)經(jīng)過信息要素等實體進(jìn)行有效關(guān)聯(lián)，打通了不一樣系統(tǒng)間數(shù)據(jù)。主題層完成后，專題層就能依照特定應(yīng)用需求，快速選取有效數(shù)據(jù)形成專題數(shù)據(jù)。主題庫邏輯模型設(shè)計應(yīng)采取自頂而下方法，首先將需求包括范圍內(nèi)業(yè)務(wù)對象從高度概括信息要素概念層次歸類，即劃分主題域，再針對各個主題設(shè)計實體關(guān)系圖。專題庫專題庫是主題庫數(shù)據(jù)按照專題應(yīng)用需要重新整合形成數(shù)據(jù)庫。專題庫建庫按照專題應(yīng)用業(yè)務(wù)模型，經(jīng)過二次抽取裝載方法重新組織數(shù)據(jù)，建立形成滿足應(yīng)急管理專題業(yè)務(wù)應(yīng)用需要數(shù)據(jù)庫。依照應(yīng)急管理業(yè)務(wù)需求，專題庫包含包含預(yù)案、案例、應(yīng)急資源、教授等數(shù)據(jù)搜集、整理、清洗、入庫。預(yù)案主要包含突發(fā)事件總體應(yīng)急預(yù)案、專題預(yù)案、部門預(yù)案、下級政府應(yīng)急預(yù)案、大型活動應(yīng)急預(yù)案和企事業(yè)單位應(yīng)急預(yù)案等。應(yīng)急預(yù)案按內(nèi)容和形式分為兩種：文本預(yù)案和數(shù)字預(yù)案。文本預(yù)案主要以文本方式組織存放各級政府或機構(gòu)編制好應(yīng)急預(yù)案。數(shù)字預(yù)案是對文本預(yù)案中救援組織、救援隊伍、程序步驟、方法、職責(zé)、協(xié)調(diào)等內(nèi)容進(jìn)行結(jié)構(gòu)化處理后形成可程序化執(zhí)行預(yù)案，包含預(yù)案手冊中所統(tǒng)計全部信息。案例庫主要存放處置突發(fā)事件歷史案例數(shù)據(jù)、各部門搜集與其專業(yè)領(lǐng)域相關(guān)專業(yè)案例數(shù)據(jù)及國內(nèi)外突發(fā)事件經(jīng)典案例等相關(guān)信息。包含案例基本信息和案例要素。案例包含自然災(zāi)害、事故災(zāi)難、公共衛(wèi)生、社會安全四大類。應(yīng)急資源庫主要存放應(yīng)搶救援物資貯備場所、數(shù)量、內(nèi)容及應(yīng)搶救援物資生產(chǎn)企業(yè)，以及救援隊伍數(shù)據(jù)等數(shù)據(jù)。應(yīng)急資源數(shù)據(jù)實體包含應(yīng)急物資貯備庫、應(yīng)急物資、應(yīng)急裝備、應(yīng)急物資生產(chǎn)企業(yè)、救援隊伍等。應(yīng)急物資貯備庫數(shù)據(jù)描述應(yīng)急物資貯備庫基本情況，包含名稱、類型、級別、地址、責(zé)任人、聯(lián)絡(luò)人、周圍交通情況、貯備物資等信息。應(yīng)急物資數(shù)據(jù)描述應(yīng)急物資基本情況，包含名稱、類型、級別、存放地點、數(shù)量、保質(zhì)期等信息。應(yīng)急裝備包含個人防護裝備、通信設(shè)備、探測設(shè)備、洗消設(shè)備、醫(yī)療設(shè)備、能源設(shè)備、應(yīng)急運輸工具等。應(yīng)急裝備數(shù)據(jù)描述各類應(yīng)急裝備基本情況，包含名稱、類型、級別、責(zé)任人、聯(lián)絡(luò)人、裝備數(shù)量、運輸方式等。應(yīng)急物資生產(chǎn)企業(yè)數(shù)據(jù)描述應(yīng)急物資生產(chǎn)企業(yè)基本情況，包含名稱、類型、級別、地址、責(zé)任人、聯(lián)絡(luò)人、生產(chǎn)物資、生產(chǎn)能力等信息。救援隊伍數(shù)據(jù)庫存放全市綜合性、專業(yè)性應(yīng)搶救援機構(gòu)、隊伍信息，主要包含：本市區(qū)縣級以上人民政府建立或確定綜合性應(yīng)搶救援隊伍信息。各市級部門、各專業(yè)領(lǐng)域建立專業(yè)應(yīng)搶救援隊伍信息。應(yīng)急志愿者隊伍信息。教授庫存放市政府和市關(guān)于單位、區(qū)縣、企業(yè)各類應(yīng)急管理教授信息。包含自然災(zāi)害教授、公共衛(wèi)生教授、事故災(zāi)難教授、社會安全教授、綜合類教授。教授組數(shù)據(jù)描述教授組（庫）基本情況，包含教授組名稱、類型、責(zé)任人、聯(lián)絡(luò)人、組建單位、人數(shù)、教授組介紹等。教授數(shù)據(jù)描述教授基本情況，包含姓名、教授類型、性別、出生日期、工作單位、專業(yè)專長、應(yīng)急工作經(jīng)歷等信息。5.4.2應(yīng)急管理配置庫標(biāo)簽規(guī)則庫標(biāo)簽規(guī)則庫是按照標(biāo)簽?zāi)夸涍M(jìn)行組織標(biāo)簽規(guī)則集合，每一個標(biāo)簽規(guī)則由標(biāo)署名稱、標(biāo)簽加工源數(shù)據(jù)信息、轉(zhuǎn)換規(guī)則信息、統(tǒng)計周期等信息組成。依照規(guī)則定義方式，標(biāo)簽規(guī)則庫可分為基礎(chǔ)規(guī)則庫、業(yè)務(wù)規(guī)則庫、智能標(biāo)簽規(guī)則庫。.1基礎(chǔ)標(biāo)簽規(guī)則庫基礎(chǔ)標(biāo)簽規(guī)則是對數(shù)據(jù)某一屬性字段信息進(jìn)行計算處理規(guī)則，主要用于生成刻畫災(zāi)害事故、管理對象、應(yīng)急環(huán)境、救援資源等應(yīng)急管理要素基礎(chǔ)特征標(biāo)簽。.2業(yè)務(wù)標(biāo)簽規(guī)則庫業(yè)務(wù)標(biāo)簽規(guī)則是基于應(yīng)急管理人員業(yè)務(wù)經(jīng)驗，對基礎(chǔ)標(biāo)簽規(guī)則進(jìn)行模型關(guān)聯(lián)和邏輯計算，形成固化知識標(biāo)簽生成規(guī)則。.3智能標(biāo)簽庫智能標(biāo)簽規(guī)則庫是基于特征工程、機器學(xué)習(xí)算法，建立智能標(biāo)簽?zāi)Ｐ图稀Ｖ悄軜?biāo)簽?zāi)Ｐ涂捎糜趶幕ヂ?lián)網(wǎng)信息、文檔等大量信息中提取可直觀展現(xiàn)對業(yè)務(wù)主觀認(rèn)識標(biāo)簽。知識庫知識庫是結(jié)構(gòu)化、易操作、易利用、全方面、有組織、相互聯(lián)絡(luò)知識集合，是相關(guān)部門在應(yīng)急管理過程中與該領(lǐng)域相關(guān)基本概念、理論知識、事實數(shù)據(jù)，以及所取得規(guī)律、常識性認(rèn)識、啟發(fā)式規(guī)則和經(jīng)驗教訓(xùn)集合。本項目針對慣用森林火災(zāi)、地震、危險化學(xué)品泄漏、臺風(fēng)暴雨等事故災(zāi)害現(xiàn)場救援必須掌握知識，整合森林消防、減災(zāi)中心等部門應(yīng)急管理知識，構(gòu)建應(yīng)急管理知識庫，為應(yīng)急指揮中前期處置、物資調(diào)用提供支撐。知識庫建設(shè)內(nèi)容包含應(yīng)急基本信息、應(yīng)急速查手冊、應(yīng)急處置流程、應(yīng)急案例信息、應(yīng)急教授信息與應(yīng)急法規(guī)政策信息。.1應(yīng)急基本信息應(yīng)急基本信息包含應(yīng)急資源、場景、情況定義和詳細(xì)描述，不一樣要素分類，等級和標(biāo)準(zhǔn)。.2應(yīng)急速查手冊應(yīng)急速查手冊包含災(zāi)害事故名稱及詳細(xì)描述、應(yīng)搶救援過程中應(yīng)急指揮和處置人員應(yīng)尤其注意問題、危險性類別、作業(yè)人應(yīng)采取防護方法以及應(yīng)采取緊急方法等。.3應(yīng)急處置流程應(yīng)急處置流程信息包含處置基本標(biāo)準(zhǔn)、應(yīng)急處置流程圖、處置基本流程及詳細(xì)描述和各類事故處置詳細(xì)流程。.4應(yīng)急案例信息應(yīng)急案例信息主要包含處置突發(fā)事件歷史案例數(shù)據(jù)、各部門搜集與應(yīng)急專業(yè)領(lǐng)域相關(guān)專業(yè)案例數(shù)據(jù)及國內(nèi)外突發(fā)事件經(jīng)典案例等相關(guān)信息。包含案例基本信息和案例要素。.5應(yīng)急教授信息應(yīng)急教授信息應(yīng)急管理單位以及關(guān)于單位、區(qū)縣、企業(yè)各類事件響應(yīng)處置教授信息，包含自然災(zāi)害教授、事故災(zāi)難教授、綜合類教授。教授信息又分為教授組與教授個人數(shù)據(jù)。其中，教授組數(shù)據(jù)描述教授組（庫）基本情況，包含教授組名稱、類型、責(zé)任人、聯(lián)絡(luò)人、組建單位、人數(shù)、教授組介紹等。教授數(shù)據(jù)描述教授基本情況，包含姓名、教授類型、性別、出生日期、工作單位、專業(yè)專長、城市聯(lián)動指揮工作經(jīng)歷等信息。.6應(yīng)急法規(guī)政策聚集國內(nèi)外應(yīng)對突發(fā)事件制訂法規(guī)、政策、應(yīng)對方法等規(guī)范性文件。能夠全方位了解世界上各個國家、地域，國內(nèi)各級政府為應(yīng)對突發(fā)事件所采取方法。索引庫為應(yīng)用查詢、業(yè)務(wù)搭建提供數(shù)據(jù)索引。日志庫軟件全流程、全方位日志統(tǒng)計。5.5數(shù)據(jù)支撐基于Hadoop架構(gòu)采取分布式數(shù)據(jù)處理技術(shù)，對外提供海量數(shù)據(jù)存放、分析查詢和實時流式數(shù)據(jù)處理分析能力。提供數(shù)據(jù)集成、數(shù)據(jù)存放、數(shù)據(jù)計算、數(shù)據(jù)安全管理以及統(tǒng)一資源調(diào)度能力，用于承載數(shù)據(jù)資源池建設(shè)，包含原始庫、資源庫、主題庫、專題庫、配置庫、共享庫等。架構(gòu)安全：大數(shù)據(jù)支撐平臺基于開源組件實現(xiàn)功效增強，保持100%開放性，不使用私有架構(gòu)和組件。認(rèn)證安全：基于用戶和角色認(rèn)證統(tǒng)一體系，遵從帳戶/角色RBAC（Role-BasedAccessControl）模型，實現(xiàn)經(jīng)過角色進(jìn)行權(quán)限管理，對用戶進(jìn)行批量授權(quán)管理。提供單點登錄，統(tǒng)一了Manager系統(tǒng)用戶和組件用戶管理及認(rèn)證。對登錄管理平臺用戶進(jìn)行審計。文件系統(tǒng)層加密：Hive、HBase能夠?qū)Ρ怼⒆侄渭用?，集群?nèi)部用戶信息禁止明文存放。加密靈活：加密算法插件化，可進(jìn)行擴充，亦可自行開發(fā)。非敏感數(shù)據(jù)可不加密，不影響性能（加密約有5%性能開銷）。業(yè)務(wù)透明：上層業(yè)務(wù)只需指定敏感數(shù)據(jù)（Hive表級、HBase列族級加密），加解密過程業(yè)務(wù)完全不感知?？煽浚篘ameNode、HiveServer、HMaster、ResourcesManager等全部管理節(jié)點組件均實現(xiàn)HA（HighAvailability）布署，確保數(shù)據(jù)可靠性、一致性。數(shù)據(jù)備份恢復(fù)支持表級別全量備份、增量備份，數(shù)據(jù)恢復(fù)（對當(dāng)?shù)卮娣艠I(yè)務(wù)數(shù)據(jù)進(jìn)行完整性校驗，在發(fā)覺數(shù)據(jù)遭破壞或丟失時進(jìn)行自恢復(fù)）。易用：統(tǒng)一運維管理，提供界面化統(tǒng)一安裝、告警、監(jiān)控和集群管理。易集成：提供北向接口，實現(xiàn)與企業(yè)現(xiàn)有網(wǎng)管系統(tǒng)集成；當(dāng)前支持Syslog接口，接口消息可經(jīng)過配置適配現(xiàn)有系統(tǒng)；整個集群采取統(tǒng)一集中管理，未來北向接口可依照需求靈活擴展。易開發(fā)，提供自動化二次開發(fā)助手和開發(fā)樣例，幫助軟件開發(fā)人員快速上手。5.5.1數(shù)據(jù)集成數(shù)據(jù)集成服務(wù)是一個以設(shè)計、調(diào)度、監(jiān)控和管理ETL過程為關(guān)鍵功效服務(wù)。提供同構(gòu)/異構(gòu)數(shù)據(jù)源之間批量數(shù)據(jù)遷移服務(wù)，幫助客戶實現(xiàn)數(shù)據(jù)自由流動。支持客戶各種類型數(shù)據(jù)源之間數(shù)據(jù)遷移，支持類型包含：文件系統(tǒng)，關(guān)系數(shù)據(jù)庫，數(shù)據(jù)倉庫，NoSQL，大數(shù)據(jù)服務(wù)等數(shù)據(jù)源。平臺提供批量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)、流式數(shù)據(jù)集成能力，具備接入和遷移各種類型海量數(shù)據(jù)能力。數(shù)據(jù)接入起源多樣，現(xiàn)有內(nèi)部數(shù)據(jù)也有其余部門數(shù)據(jù)，還有互聯(lián)網(wǎng)數(shù)據(jù)，各數(shù)據(jù)起源數(shù)據(jù)格式也不一致，在搜集過程中需對數(shù)據(jù)進(jìn)行規(guī)范化處理，方便于管理使用。大數(shù)據(jù)基礎(chǔ)平臺軟件要完成從傳統(tǒng)數(shù)據(jù)庫到大數(shù)據(jù)平臺數(shù)據(jù)采集，包含批量采集和基于流處理實時采集，主要提供以下組件能力：支持從傳統(tǒng)數(shù)據(jù)庫到大數(shù)據(jù)平臺雙向數(shù)據(jù)傳輸，能夠?qū)⒁粋€關(guān)系型數(shù)據(jù)庫（比如：MySQL,Oracle,SQLServer等）中數(shù)據(jù)導(dǎo)入到大數(shù)據(jù)分布式文件系統(tǒng)中，也能夠?qū)⒎植际轿募到y(tǒng)數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫中。提供高可用，高可靠，分布式海量日志采集、聚合和傳輸系統(tǒng)。提供實時、分布式以及具備高容錯流處理系統(tǒng)，能夠與實時消息系統(tǒng)交互，完成實時數(shù)據(jù)采集。提供高吞吐量分布式公布訂閱消息系統(tǒng)，經(jīng)過消息封裝完成實時數(shù)據(jù)傳遞。批量數(shù)據(jù)集成實現(xiàn)大數(shù)據(jù)平臺與關(guān)系型數(shù)據(jù)庫、文件系統(tǒng)之間交換“數(shù)據(jù)”、“文件”，既能夠?qū)?shù)據(jù)從關(guān)系型數(shù)據(jù)庫或者文件服務(wù)器導(dǎo)入到HDFS/HBase中，同時也支持反過來從HDFS/HBase導(dǎo)出到關(guān)系型數(shù)據(jù)庫或者文件服務(wù)器中。Loader是在開源Sqoop組件基礎(chǔ)上進(jìn)行了一些擴展，實現(xiàn)大數(shù)據(jù)平臺與關(guān)系型數(shù)據(jù)庫、文件系統(tǒng)之間交換“數(shù)據(jù)”、“文件”，既能夠?qū)?shù)據(jù)從關(guān)系型數(shù)據(jù)庫或者文件服務(wù)器導(dǎo)入到HDFS/HBase中，同時也支持反過來從HDFS/HBase導(dǎo)出到關(guān)系型數(shù)據(jù)庫或者文件服務(wù)器中。Loader功效包含：1.經(jīng)過MapReduce實現(xiàn)并行執(zhí)行和容錯Loader經(jīng)過MapReduce作業(yè)實現(xiàn)并行導(dǎo)入或者導(dǎo)出作業(yè)任務(wù)，不一樣類型導(dǎo)入導(dǎo)出作業(yè)可能只包含Map階段或者同時Map和Reduce階段。Loader同時利用MapReduce實現(xiàn)容錯，在作業(yè)任務(wù)執(zhí)行失敗時，能夠重新調(diào)度。2.數(shù)據(jù)導(dǎo)入到HBase在MapReduce作業(yè)Map階段中從外部數(shù)據(jù)源抽取數(shù)據(jù)。在Reduce階段中，按Region個數(shù)開啟一樣個數(shù)ReduceTask，ReduceTask從Map接收數(shù)據(jù)，然后按Region生成HFile，存放在HDFS暫時目錄中。在MapReduce作業(yè)提交階段，將HFile從暫時目錄遷移到HBase目錄中。3.數(shù)據(jù)導(dǎo)入HDFS在MapReduce作業(yè)Map階段中從外部數(shù)據(jù)源抽取數(shù)據(jù)，并將數(shù)據(jù)輸出到HDFS暫時目錄下。在MapReduce作業(yè)提交階段，將文件從暫時目錄遷移到輸出目錄中。4.數(shù)據(jù)導(dǎo)出到關(guān)系型數(shù)據(jù)庫在MapReduce作業(yè)Map階段，從HDFS或者HBase中抽取數(shù)據(jù)，然后將數(shù)據(jù)經(jīng)過JDBC接口插入到暫時表（StagingTable）中。在MapReduce作業(yè)提交階段，將數(shù)據(jù)從暫時表遷移到正式表中。5.數(shù)據(jù)導(dǎo)出到文件系統(tǒng)在MapReduce作業(yè)Map階段，從HDFS或者HBase中抽取數(shù)據(jù)，然后將數(shù)據(jù)寫入到文件服務(wù)器暫時目錄中。