DB54T 0419-2024 大數(shù)據(jù)平臺(tái) 總體框架參考

ICS35.24054CCSL7854西 藏 自 治 區(qū) 地 方 標(biāo) 準(zhǔn)DB54/T0419—2024大數(shù)據(jù)平臺(tái) 總體框架參考2024-11-18發(fā)布 2024-12-18實(shí)施西藏自治區(qū)市場(chǎng)監(jiān)督管理局??發(fā)布DB54/T0419—2024DB54/T0419—2024PAGE\*ROMANPAGE\*ROMANII目 次前言 II范圍 1規(guī)范性引用文件 1術(shù)語和定義 1總體要求 2平臺(tái)總體框架 3基礎(chǔ)設(shè)施層 3數(shù)據(jù)資源層 3業(yè)務(wù)應(yīng)用層 3安全保障體系 4運(yùn)維保障體系 4標(biāo)準(zhǔn)規(guī)范體系 4平臺(tái)功能技術(shù)要求 4基礎(chǔ)設(shè)施層 4數(shù)據(jù)資源層 4數(shù)據(jù)資源管理平臺(tái) 4數(shù)據(jù)資源庫 6業(yè)務(wù)應(yīng)用層 7數(shù)字看板 7數(shù)據(jù)服務(wù)門戶 7行業(yè)場(chǎng)景應(yīng)用 7平臺(tái)保障技術(shù)要求 7安全保障體系 7運(yùn)維保障體系 8標(biāo)準(zhǔn)規(guī)范體系 8參考文獻(xiàn) 9前 言本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由西藏自治區(qū)經(jīng)濟(jì)和信息化廳（自治區(qū)數(shù)據(jù)管理局）提出并歸口。（自治區(qū)數(shù)據(jù)管理局責(zé)任公司、國(guó)家工業(yè)信息安全發(fā)展研究中心。青、賀赟、欒燕、杜洪濤、李云志、陶煒、蔡長(zhǎng)亮。DB54/T0419DB54/T0419—2024PAGEPAGE10大數(shù)據(jù)平臺(tái)總體框架參考范圍的技術(shù)功能要求。本文件適用于規(guī)范指導(dǎo)西藏自治區(qū)大數(shù)據(jù)平臺(tái)建設(shè)。規(guī)范性引用文件（包括所有的修改單）適用于本文件。GB/T34960.5信息技術(shù)服務(wù)治理第5部分：數(shù)據(jù)治理規(guī)范GB/T35295信息技術(shù)大數(shù)據(jù)術(shù)語GB/T38664.1信息技術(shù)大數(shù)據(jù)政務(wù)數(shù)據(jù)開放共享第1部分：總則GB/T38672信息技術(shù)大數(shù)據(jù)接口基本要求術(shù)語和定義GB/T35295、GB/T34960.5和GB/T38664.1界定的以及下列術(shù)語和定義適用于本文件。3.1大數(shù)據(jù) bigdata大量數(shù)據(jù)集的數(shù)據(jù)。[來源：GB/T35295-2017，2.1.1]3.2公共數(shù)據(jù) publicdata公共服務(wù)過程中收集、產(chǎn)生的數(shù)據(jù)。公共數(shù)據(jù)通常不包括組織專有的知識(shí)產(chǎn)權(quán)數(shù)據(jù)和商業(yè)秘密。3.3政務(wù)數(shù)據(jù) governmentdata各級(jí)政務(wù)部門及其技術(shù)支撐單位在履行職責(zé)過程中依法采集、生成、存儲(chǔ)、管理的各類數(shù)據(jù)資源。注：根據(jù)可傳播范圍，政務(wù)數(shù)據(jù)一般包括可共享政務(wù)數(shù)據(jù)、可開放公共數(shù)據(jù)及不宜開放共享政務(wù)數(shù)據(jù)。[來源：GB/T38664.1-2020，3.1]3.4大數(shù)據(jù)平臺(tái) bigdataplatform統(tǒng)籌安全的信息平臺(tái)。3.5數(shù)據(jù)倉庫 datawarehouse面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策。3.6數(shù)據(jù)治理 datagovernance數(shù)據(jù)資源及其應(yīng)用過程中相關(guān)管控活動(dòng)、績(jī)效和風(fēng)險(xiǎn)管理的集合。[來源：GB/T34960.5-2018，3.1]3.7數(shù)據(jù)資源目錄 dataresourcecatalog采用分類、分級(jí)和編碼等方式描述數(shù)據(jù)資源特征的一組信息?？傮w要求西藏自治區(qū)大數(shù)據(jù)平臺(tái)總體上宜滿足以下要求：實(shí)用性——適合工作實(shí)際和業(yè)務(wù)需求，具有實(shí)用價(jià)值；據(jù)資源匯聚與服務(wù)能力，推進(jìn)西藏自治區(qū)與國(guó)家、行業(yè)、地方、公眾的數(shù)據(jù)共享交換和融合。有效性——保證各層級(jí)功能有效運(yùn)行，實(shí)現(xiàn)公共數(shù)據(jù)可信流轉(zhuǎn)；行持續(xù)監(jiān)測(cè)和統(tǒng)一展示，為持續(xù)改進(jìn)平臺(tái)服務(wù)質(zhì)量提供數(shù)據(jù)支撐。安全性保障平臺(tái)安全可靠，確保數(shù)據(jù)不被竊取、篡改、破壞。通用性充分考慮與其他各類政企平臺(tái)的數(shù)據(jù)資源共享和互通，并形成模塊化應(yīng)用。開放性換服務(wù)。平臺(tái)總體框架西藏自治區(qū)大數(shù)據(jù)平臺(tái)采用標(biāo)準(zhǔn)化、開放和高擴(kuò)展的云計(jì)算架構(gòu)，支撐對(duì)接國(guó)家政務(wù)大數(shù)據(jù)平臺(tái)、自治區(qū)內(nèi)行業(yè)部門數(shù)據(jù)平臺(tái)、地市政務(wù)數(shù)據(jù)平臺(tái)，以及各部門政務(wù)外網(wǎng)、互聯(lián)網(wǎng)等多種業(yè)務(wù)服務(wù)。依據(jù)1所示：圖1 西藏自治區(qū)大數(shù)據(jù)平臺(tái)總體功能框架基礎(chǔ)設(shè)施層源池，涉及互聯(lián)網(wǎng)、政務(wù)外網(wǎng)、行業(yè)專網(wǎng)、視頻網(wǎng)等業(yè)務(wù)領(lǐng)域。數(shù)據(jù)資源層數(shù)據(jù)資源庫，為業(yè)務(wù)應(yīng)用提供數(shù)據(jù)支撐。業(yè)務(wù)應(yīng)用層用的底層數(shù)據(jù)支撐和通用能力支撐。安全保障體系護(hù)能力。運(yùn)維保障體系設(shè)備，以及操作系統(tǒng)、數(shù)據(jù)庫、中間件等通用軟件的監(jiān)控、應(yīng)急和風(fēng)險(xiǎn)防范。標(biāo)準(zhǔn)規(guī)范體系準(zhǔn)、信息安全類標(biāo)準(zhǔn)和應(yīng)用與服務(wù)類標(biāo)準(zhǔn)等。平臺(tái)功能技術(shù)要求基礎(chǔ)設(shè)施層體系，具備包括但不限于以下能力：提供基于政務(wù)外網(wǎng)、互聯(lián)網(wǎng)、政務(wù)云等網(wǎng)絡(luò)環(huán)境，統(tǒng)一云資源接入與調(diào)度。滿足大數(shù)據(jù)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)條件，為平臺(tái)系統(tǒng)各層提供必要的基礎(chǔ)環(huán)境，提供包含云計(jì)算、云存儲(chǔ)、云安全及其他服務(wù)。以信創(chuàng)技術(shù)架構(gòu)為主，配置國(guó)產(chǎn)密碼設(shè)備，提升安全防護(hù)水平。據(jù)異地定時(shí)備份，確保數(shù)據(jù)的可靠性和多副本保存。數(shù)據(jù)資源層數(shù)據(jù)匯聚功能平臺(tái)應(yīng)具備但不限于以下數(shù)據(jù)匯聚基礎(chǔ)功能：數(shù)據(jù)服務(wù)總線包括交換節(jié)點(diǎn)部署管理、交換作業(yè)管理、交換調(diào)度管理、交換監(jiān)控（共享流程監(jiān)控）管理。多源數(shù)據(jù)采集包括采集配置、批量采集、實(shí)時(shí)采集、采集節(jié)點(diǎn)管理、采集任務(wù)管理、數(shù)據(jù)對(duì)賬、數(shù)據(jù)清洗處理等，通過與上云系統(tǒng)對(duì)接，實(shí)現(xiàn)與相關(guān)部門、單位間的數(shù)據(jù)共享。數(shù)據(jù)交換對(duì)接服務(wù)——提供基于數(shù)據(jù)資源目錄的數(shù)據(jù)資源交換能力，實(shí)現(xiàn)數(shù)據(jù)采集、傳輸、轉(zhuǎn)換、可視化配置；——通過前置機(jī)、接口、文件、線下等實(shí)施方式實(shí)現(xiàn)數(shù)據(jù)對(duì)接接入；/數(shù)據(jù)交換的方式與國(guó)家政務(wù)大數(shù)據(jù)平臺(tái)交互，將數(shù)據(jù)回落到自治區(qū)本級(jí)平臺(tái)，并與區(qū)內(nèi)各級(jí)各部門通過數(shù)據(jù)標(biāo)準(zhǔn)，實(shí)現(xiàn)跨層級(jí)、跨應(yīng)用、跨部門的數(shù)據(jù)調(diào)用；——數(shù)據(jù)接口的規(guī)劃和設(shè)計(jì)可參考GB/T38672-2020規(guī)定的接口基本要求實(shí)施。數(shù)據(jù)融合處理包括數(shù)據(jù)融合集成、清洗規(guī)則管理、數(shù)據(jù)集成管理、融合統(tǒng)計(jì)分析等功能，將多源、異構(gòu)的數(shù)據(jù)抽取到臨時(shí)中間層后，進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。性能平臺(tái)應(yīng)達(dá)到但不限于以下性能：步、數(shù)據(jù)接口、消息隊(duì)列、網(wǎng)頁抓取和數(shù)據(jù)填報(bào)等方式；匯聚和多維分析等要求，數(shù)據(jù)邏輯分層宜采用數(shù)據(jù)倉庫三層架構(gòu)標(biāo)準(zhǔn)；應(yīng)支持批處理、流處理計(jì)算框架，宜支持圖計(jì)算、內(nèi)存計(jì)算、批流融合計(jì)算及任務(wù)調(diào)度。數(shù)據(jù)資源管理平臺(tái)應(yīng)具備但不限于以下數(shù)據(jù)資源管理基礎(chǔ)功能：數(shù)據(jù)資源規(guī)劃務(wù)，包括數(shù)據(jù)緩沖、數(shù)據(jù)源、數(shù)據(jù)匯總、數(shù)據(jù)主題區(qū)等。存儲(chǔ)計(jì)算支持分布式的文件存儲(chǔ)、列式數(shù)據(jù)存儲(chǔ)、結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和圖數(shù)據(jù)存儲(chǔ)，支持對(duì)外數(shù)據(jù)及文件交換。數(shù)據(jù)資源庫會(huì)治理、民生服務(wù)、市場(chǎng)監(jiān)管、財(cái)政金融、興邊富民、生態(tài)環(huán)保、應(yīng)急消防、文化旅游等主題庫。數(shù)據(jù)資源目錄——按照應(yīng)編盡編的原則，建立全量覆蓋、互聯(lián)互通的自治區(qū)公共數(shù)據(jù)資源目錄；——建立目錄系統(tǒng)與各部門目錄、各市目錄實(shí)時(shí)同步更新機(jī)制，實(shí)現(xiàn)全區(qū)公共數(shù)據(jù)“一本賬”管理。數(shù)據(jù)目錄管理系統(tǒng)統(tǒng)一目錄管理維護(hù)功能，包括數(shù)據(jù)目錄管理、服務(wù)目錄管理、應(yīng)用目錄管理、認(rèn)證商目錄管理等，明確數(shù)據(jù)權(quán)限和知悉范圍。數(shù)據(jù)共享交換平臺(tái)應(yīng)具備但不限于以下數(shù)據(jù)共享交換基礎(chǔ)功能：數(shù)據(jù)共享門戶——依托數(shù)據(jù)資源目錄，按照數(shù)據(jù)交換標(biāo)準(zhǔn)，實(shí)現(xiàn)數(shù)據(jù)資源跨部門、跨層級(jí)、跨區(qū)域數(shù)據(jù)資源的檢索、申請(qǐng)、審批和使用的能力；據(jù)管理維護(hù)提供各子系統(tǒng)的統(tǒng)一入口。數(shù)據(jù)開放門戶提供開放目錄服務(wù)、開放數(shù)據(jù)服務(wù)、開放接口管理、工具服務(wù)、數(shù)據(jù)服務(wù)管理等功能。統(tǒng)一管控平臺(tái)提供系統(tǒng)管理、權(quán)限管理、配置管理、日志管理、租戶管理等功能。數(shù)據(jù)治理平臺(tái)應(yīng)具備但不限于以下數(shù)據(jù)治理基礎(chǔ)功能：數(shù)據(jù)分類分級(jí)管理數(shù)據(jù)、社會(huì)開放數(shù)據(jù)。主數(shù)據(jù)管理為各級(jí)單位提供集成、全面、準(zhǔn)確和及時(shí)的主數(shù)據(jù)服務(wù)和信息化基礎(chǔ)工作的支持。元數(shù)據(jù)管理宜包括元數(shù)據(jù)采集、元數(shù)據(jù)目錄、元數(shù)據(jù)信息管理、血緣分析、數(shù)據(jù)字典等功能。數(shù)據(jù)質(zhì)量管理宜包括質(zhì)量規(guī)則管理、質(zhì)量任務(wù)管理、預(yù)警方案管理、問題管理、質(zhì)量報(bào)告及稽核引擎等功能。數(shù)據(jù)分析挖掘平臺(tái)應(yīng)具備但不限于以下數(shù)據(jù)分析挖掘基礎(chǔ)功能：基本分析功能服務(wù)。二次開發(fā)工具模、指標(biāo)定義、報(bào)表定制等。數(shù)據(jù)可視化（地圖、數(shù)據(jù)配置、素材中心等功能。數(shù)據(jù)資源庫基礎(chǔ)數(shù)據(jù)庫如下：人口庫務(wù)信息。法人基礎(chǔ)庫主要存儲(chǔ)法人單位基礎(chǔ)信息。電子證照庫執(zhí)（牌）照、鑒定報(bào)告、證明材料等文件。宏觀經(jīng)濟(jì)庫劃、執(zhí)行、監(jiān)控、決策、檢查評(píng)價(jià)等決策服務(wù)的支持。信用庫依據(jù)《全國(guó)信用信息共享平臺(tái)信用信息歸集目錄》和西藏自治區(qū)現(xiàn)狀，采集和整理企業(yè)法人信息、社會(huì)機(jī)構(gòu)法人信息、事業(yè)單位法人信息、自然人信息等信用信息。6.2.1.2 主題數(shù)據(jù)庫生態(tài)環(huán)保、應(yīng)急消防、文化旅游等行業(yè)主題類型的數(shù)據(jù)庫。數(shù)字看板具備從業(yè)務(wù)視角、時(shí)間段、數(shù)據(jù)類型、宏觀和微觀層級(jí)等不同維度的數(shù)字化看板功能。數(shù)據(jù)服務(wù)門戶可實(shí)現(xiàn)公共數(shù)據(jù)全網(wǎng)搜索，支撐分析決策，包括駕駛艙、搜索引擎等。行業(yè)場(chǎng)景應(yīng)用行業(yè)場(chǎng)景應(yīng)用宜包括但不限于以下功能：組件，為各應(yīng)用系統(tǒng)提供基礎(chǔ)、共性的能力支撐。成，提供網(wǎng)上預(yù)約、網(wǎng)上申請(qǐng)、網(wǎng)上查詢、智能咨詢投訴等相關(guān)服務(wù)。告、分析和應(yīng)用服務(wù)能力?；跀?shù)據(jù)倉庫，支持對(duì)公共數(shù)據(jù)的搜索，基于搜索引擎實(shí)現(xiàn)公共數(shù)據(jù)的快速檢索定位。平臺(tái)保障技術(shù)要求安全保障體系安全策劃以“動(dòng)態(tài)安全能力”為核心，結(jié)合大數(shù)據(jù)中心的業(yè)務(wù)系統(tǒng)實(shí)際需求，構(gòu)建相關(guān)網(wǎng)絡(luò)安全監(jiān)測(cè)分析、安全框架——以安全策略為核心，以管理體系、技術(shù)體系和運(yùn)營(yíng)體系共同支撐的信息安全保障體系為框架，實(shí)現(xiàn)對(duì)政務(wù)云、網(wǎng)、安全的統(tǒng)一安全管理、統(tǒng)一技術(shù)管理、統(tǒng)一運(yùn)維管理、統(tǒng)一安全接口管理；——體系還應(yīng)覆蓋法律法規(guī)合規(guī)性、安全風(fēng)險(xiǎn)管理、密碼應(yīng)用安全、信創(chuàng)安全。安全實(shí)施——設(shè)立專門的安全部門或人員，負(fù)責(zé)數(shù)據(jù)中心自身的安全以及對(duì)外提供安全能力；問題；——加強(qiáng)數(shù)據(jù)安全建設(shè)，通過體系建設(shè)、識(shí)別摸底、數(shù)據(jù)分類分級(jí)等能力，進(jìn)行數(shù)據(jù)安全的保障；的相關(guān)要求。制度、人員管理、建設(shè)運(yùn)行和應(yīng)急處置等方面進(jìn)行建設(shè)，符合密碼應(yīng)用安全性評(píng)估要求。運(yùn)維保障體系服務(wù)的統(tǒng)一提供、使用、管理和運(yùn)營(yíng)運(yùn)維管理。三級(jí)的統(tǒng)一運(yùn)營(yíng)和運(yùn)維支撐。在管理上，實(shí)現(xiàn)統(tǒng)一集中的數(shù)字化云服務(wù)管理和交付，從全局角度實(shí)現(xiàn)資源的高效利用。標(biāo)準(zhǔn)規(guī)范體系標(biāo)準(zhǔn)建設(shè)目的是規(guī)范系統(tǒng)互聯(lián)、業(yè)務(wù)協(xié)同、信息共享、集約建設(shè)等工作。體系，尤其是在基礎(chǔ)數(shù)據(jù)和互聯(lián)互通上實(shí)現(xiàn)全區(qū)統(tǒng)一。參 考 文 獻(xiàn)GB/T35589-2017信息技術(shù)大數(shù)據(jù)技術(shù)參考模型GB/T33780.1-2017基于云計(jì)算的電子政務(wù)公共平臺(tái)技術(shù)規(guī)范第1部分：系統(tǒng)架構(gòu)GB/T33780.3-2017基于云計(jì)算的電子政務(wù)公共平臺(tái)技術(shù)規(guī)范第3部分：系統(tǒng)和數(shù)據(jù)接口JR/T0237-2021金融大數(shù)據(jù)平臺(tái)總體技術(shù)要求DB43/T2069-2021旅游資源大數(shù)據(jù)平臺(tái)建設(shè)指南DB3205/T105