TGDIOT 004-2024 城域窄帶物聯感知平臺數據管理標準

ICS35.020CCSI6532TheDataManagementStandardforMetropolitanAreIT/GDIOT004—2024 2規(guī)范性引用文件 3術語和定義 4縮略語 5數據管理架構 6數據管理總體要求 7數據匯聚 8數據存儲 9數據維護 T/GDIOT004-2024本文件依據GB/T1.1-2020《標準化工作導則第1部分：標準化文件的結構和起草規(guī)則》的規(guī)定起請注意本文件的某些內容可能涉及專利。本文件的發(fā)布機構不承擔識別專利的責任。本文件由廣東省物聯網協(xié)會歸口。本標準起草單位：廣州技象科技有限公司、海珠區(qū)政務服務數據管理局、海珠區(qū)數字政府運營中心、智慧城市物聯網國家重點實驗室（澳門大學）、中山大學、香港科技大學（廣州）、技象科技（南京）有限公司、航科廣軟（廣州）數字科技有限公司、中電科普天科技股份有限公司、廣州智慧城市投資運營有限公司、中國鐵塔股份有限公司廣東省分公司、科學城（廣州）信息科技集團有限公司、廣州智投能源科技有限公司。（排名不分先后）本標準主要起草人：吳瑤、閔鐵銳、劉丹丹、劉毅、黃津、王惠杰、孔冬冬、張嘉誠、陶勇、張藝輝、馬少丹、夏明華、江明、崔穎、鞏紫君、張宇、梁輝、莫峰華、柳謙、楊翼、涂梓珺、周碩源、林亞波、熊旭東、張銳群、林海。1T/GDIOT004-2024城域窄帶物聯感知平臺數據管理標準本文件提出了城域窄帶物聯感知平臺（以下簡稱“平臺”）數據管理整體框架，給出了面向城域窄帶物聯網感知終端設備數據采集、存儲、治理和應用的各項技術要求，使其他系統(tǒng)或部門的異地、異構數據庫的數據可以進行匯聚整合，形成更全面的數據庫來支撐物聯感知數據的挖掘、分析及共享。本文件適用于城域窄帶物聯感知平臺關于城域窄帶物聯感知終端的數據采集和存儲系統(tǒng)的設計、開發(fā)、測試、評估、運維、管理等。2規(guī)范性引用文件下列文件中的內容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件：不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。《GB/T20273-2019信息安全技術數據庫管理系統(tǒng)安全技術要求》《GB/T33474-2016物聯網參考體系結構》《GBT35295-2017信息技術大數據術語》《GB/T38637.2-2020物聯網感知控制設備接入》第2部分：數據管理要求《GB/T52711-2000信息技術詞匯》第1部分：基本術語《GB/T33745-2017物聯網術語》定義2.5.4《GB/T37025-2018信息安全技術物聯網數據傳輸安全技術要求》《T/GDIOT005-2022城域窄帶物聯感知平臺軟件參考架構》3術語和定義下列術語和定義適用于本文件。3.1數據管理datamanagement在數據處理系統(tǒng)中，提供對數據的訪問，執(zhí)行或監(jiān)視數據的存儲，以及控制輸入輸出操作等功能。[來源：GB/T5271.1-2000.定義01.08.02]3.2數據治理datagovernance對數據進行處置、格式化和規(guī)范化的過程。注1：數據治理是數據和數據系統(tǒng)管理的基本要素；注2：數據治理涉及數據全生存周期管理，無論數據是處于靜態(tài)、動態(tài)、未完成狀態(tài)還是交易狀態(tài)。[來源：GB/T35295-2017，定義2.1.43]3.3感知數據sensingdata通過數據采集獲取的原始數據或在此基礎上進行加工處理的表征對象信息的數據統(tǒng)稱。[來源：GB/T33474-2016，定義3.11]24縮略語數據存儲分類存儲分3T/GDIOT004-2024城域窄帶物聯感知平臺數據管理實現對接入到平臺的感知數據進行規(guī)范化管理，包括數據匯聚、數據存儲、數據維護三個部分：a)數據匯聚：實現多數據源的數據匯聚接入，功能包括數據對接、數據導入、數據分類；b)數據存儲：應實現對感知數據存儲方式的規(guī)范管理，包括分類存儲、分層存儲、存儲管理、存儲備份等；c)數據維護：應實現對平臺數據進行一系列維護活動和程序，確保數據的質量和可信度，包括數據合規(guī)性檢查、數據清洗、數據治理、數據安全、數據監(jiān)控、數據優(yōu)化等管理。6數據管理總體要求6.1功能要求數據管理功能要求如下：a)依托子標準《城域窄帶物聯感知平臺數據匯聚接入標準》，實現數據對接、數據導入、數據分類的管理；b)應提供高效、可靠的數據存儲解決方案，以保存大量的時序數據；存儲功能應支持數據的快速檢索、查詢和備份，并確保數據的安全性和完整性；c)應對收集的數據進行清洗、轉換和預處理，以便進一步的分析和應用；d)應實施強大的安全措施，如加密、訪問控制、安全審計和威脅檢測，保護數據免受未授權訪問、篡改和泄露；e)應有一套完整的數據治理框架，包括數據質量控制、數據生命周期管理和數據合規(guī)性監(jiān)管等，以確保數據的正確使用和管理；f)應能夠靈活擴展，以適應不斷增長的數據量和新設備及業(yè)務需求；g)應具備數據備份和災難恢復的能力，以防止數據丟失和系統(tǒng)故障。6.2性能要求數據管理性能要求如下：a)處理速度：數據管理服務應能夠快速處理請求和數據，數據管理服務內部數據處理時間不超過3S；b)吞吐量：數據管理服務應具備高吞吐量，能夠同時處理大量的數據傳輸和事務，確保在高峰時段也能保持性能，對于城域級平臺，數據管理服務應支持不低于500并發(fā)/秒的數據管理能力；c)可伸縮性：隨著接入設備數據量的增加，數據管理服務應能夠通過增加資源來擴展性能，同時保持穩(wěn)定性和可用性；d)可靠性：數據管理服務應具有高可靠性，能夠持續(xù)穩(wěn)定運行，減少故障和意外停機的時間；e)容錯性：在出現故障時，數據管理服務應能夠快速恢復并繼續(xù)運行，保證數據不丟失，服務不f)安全性：在保證性能的同時，數據管理服務還應確保數據安全和隱私保護，防止未授權訪問和數據泄露。對于敏感數據如密碼等，需采用加密算法對數據進行加密；4T/GDIOT004-2024g)兼容性：數據管理服務應能夠在不同的硬件和軟件環(huán)境中運行，支持多種操作系統(tǒng)、瀏覽器和設備，支持在全國產化環(huán)境中運行；h)維護性：數據管理服務應易于維護和升級，以便快速部署新功能和性能優(yōu)化；i)適應性：數據管理服務應能夠適應不斷變化的業(yè)務需求和技術發(fā)展，具備靈活的架構和模塊化設計；j)監(jiān)控和診斷：數據管理服務應具備監(jiān)控工具，以便實時跟蹤數據管理性能指標，包括數據存儲、數據治理等的響應監(jiān)控等，以助于及時發(fā)現并解決問題。7數據匯聚7.1概述數據匯聚旨在通過數據對接、數據分類、數據導入等能力，將其他系統(tǒng)或部門的異地、異構數據庫的數據進行匯聚整合，形成更全面的數據庫來支撐物聯感知數據的挖掘、分析及共享。數據匯聚包括數據對接、數據導入、數據分類，具體要求請見第7.2~7.4節(jié)。7.2數據對接數據對接是指城域窄帶物聯感知平臺支持外部數據導入并轉化為平臺規(guī)范要求的數據格式的過程，要求如下：a)宜支持窄帶物聯感知終端設備的直連接入、其它窄帶物聯感知平臺的接入、以國標或省級團體標準規(guī)定的執(zhí)行方式進行接入；b)應支持SDK、API等多種應用接入方式；c)應提供一個平臺級的數據集成框架，可以實現從其他系統(tǒng)采集數據，對數據進行加工處理成適用的數據格式；d)應支持跨地域、跨部門、跨層級的數據交換技術支撐體系的快速建設；e)為參與數據對接的組織機構及其人員、設施、資源、匯聚模式、匯聚流程、匯聚安全等要素提供運行、管理的技術支撐；f)應支持完全松耦合的數據匯聚架構。7.3數據導入數據導入是將符合平臺要求的數據導入平臺的過程，要求如下：a)應支持多路并行數據導入的能力；b)應支持數據導入容錯，如斷點續(xù)傳；c)應支持接受終端推送數據和平臺按頻率主動拉取數據兩種方式。7.4數據分類數據資源根據業(yè)務分類可分為以下四大類：a)設備基礎數據：與感知設備本身相關的基礎信息，通常包括設備的標識符、配置信息、固件版本等；5T/GDIOT004-2024b)設備監(jiān)測數據：感知設備直接收集的原始數據，如溫度、濕度、光照、壓力等；c)設備狀態(tài)數據：感知設備處于當前狀態(tài)或環(huán)境狀態(tài)時產生的數據，通常由設備基礎數據和設備監(jiān)測數據經過處理獲得，如在線/離線、異常/正常等；d)設備監(jiān)測事件數據：感知設備或系統(tǒng)中發(fā)生的特定事件所記錄的數據，如報警、故障等；在四大類數據基礎上，可根據具體業(yè)務屬性、安全等維度，對數據類型再進行細分。數據分類依據、數據分類方法、數據分類處理流程如下。7.4.1數據分類依據數據分類依據如下：a)根據數據類型進行分類，例如傳感器數據、日志數據、用戶數據等；以便于確定數據的處理和存儲方式；b)根據數據來源設備或系統(tǒng)進行分類，例如來自溫度傳感器的數據、來自空氣質量監(jiān)測傳感器的數據等；以便于追蹤數據的起源并進行源頭分析；c)根據數據的隱私級別和敏感性進行分類，可以被分類為公開、內部、敏感或機密；以便于實施適當的安全措施和訪問控制。7.4.2數據分類方法數據分類方法如下：a)按照層次結構進行分類，例如從大類到子類，以便于組織和管理大量數據；b)按照標簽分類，為數據分配標簽，以實現靈活的數據分類、檢索及權限控制；c)對于數值型數據，可根據數值范圍進行分類，例如溫度數據可以按照攝氏度范圍進行分類；d)根據數據的時間屬性，可對數據進行時間序列分類，以便于按時間維度對數據進行分析。7.4.3數據分類處理流程數據分類的處理流程如下：a)在分類之前，需要對數據進行清洗和整理，確保數據質量和數據一致性；b)根據定義的分類規(guī)則和方法，將數據分配到相應的類別中；c)對分類后的數據添加明確的標簽或標識，便于后續(xù)的檢索和管理；d)將分類后的數據存儲在適當的數據庫或數據倉庫中，確保數據的安全性和可訪問性；e)對分類后的數據進行分析，提取有價值的信息和洞察；f)定期對分類體系進行審查和更新，以適應業(yè)務變化和新數據的加入；g)確保分類后的數據符合相關法律法規(guī)和行業(yè)標準。8數據存儲8.1概述6T/GDIOT004-2024數據存儲需要支持多種存儲方式，如根據數據資源分類、分層、實時性和歷史性數據的特點采用差異化存儲方式，提供數據隔離機制和管理手段，并支持存儲備份，防止數據丟失。8.2分類存儲分類存儲是指依據數據資源的開放類型采用差異化存儲方式，要求如下：a)應支持數據隔離機制，使不同數據使用方的數據相互獨立不可見；b)政府數據、重要民生數據等應存放于政務云上且滿足政務數據不同類型的服務使用需求；c)社會開放數據應存入公有云中，并根據業(yè)務對公有數據分級分類確定存儲期限。8.3分層存儲分層存儲是指依據數據的處理階段和顆粒度對數據進行分層存放，以提高數據處理效率。要求如a)城域窄帶物聯感知平臺數據分層應包括ODS、DWD、DWS、ADS；b)ODS層：作為操作數據存儲層，該層用于保存接近實時的源系統(tǒng)數據。ODS層應保持數據的完整性和時效性，支持日常運營分析和報告的需求，宜采用短周期存儲方式，以便快速響應業(yè)務變化；c)DWD層：作為數據倉庫詳細層，該層負責對ODS層的數據進行清洗、轉換和匯總。DWD層的數據保存周期應根據數據的分析價值和歷史數據分析需求來確定，宜保證足夠的歷史數據深度；d)DWS層：作為數據倉庫服務層，該層進一步對DWD層的數據進行聚合和計算，生成更為精細化的業(yè)務指標和數據模型。該層數據通常具有較高的業(yè)務價值，應根據業(yè)務分析和報告需求來調整數據的保存策略，確保數據既能支持長期趨勢分析，也能滿足快速訪問的需求；e)ADS層：作為應用數據服務層，專門針對終端業(yè)務應用和用戶需求，提供定制化的數據服務和數據產品?？紤]到ADS層數據的高度定制化和直接的業(yè)務影響，宜采取靈活的數據更新和維護策略，確保數據的實時性和準確性。宜永久保存數據。8.4存儲管理存儲管理是對存儲對象采用差異化存儲策略，進而優(yōu)化存儲的過程，要求如下：a)應支持多種存儲方式，包含但不限于對象存儲、列式存儲、云存儲、分布式數據庫存儲；b)應支持將設備上報的數據直接透傳給應用處理，或將數據在平臺內存儲，并提供配置數據存儲周期功能；c)應支持時序型數據庫存儲實時性數據，可用于監(jiān)測和檢查設備所采集的實時數據等；d)應支持關系型數據庫存儲歷史性數據，可用于分析優(yōu)化生產管理過程等。8.5存儲備份存儲備份是防止數據丟失，增加文件安全性的方式，要求如下：a)應支持備份進程并行的容錯機制，備份進程的宕機不影響數據的可用性；b)應支持數據備份的集中控制，應針對不同使用要求制定數據備份策略；c)應支持鏡像備份、冗余備份等方式提高數據存儲可靠性；7T/GDIOT004-2024d)應支持備份程序與應用程序的分離；e)應支持對備份數據進行壓縮存儲。9數據維護9.1概述數據維護是一系列活動和程序，旨在確保數據的質量和可信度，以便數據能夠有效地支持業(yè)務決策和運營。9.2合規(guī)性檢查合規(guī)性檢查是對匯聚的數據進行檢查，要求如下：a)應對數據進行檢查，保證數據的準確性和完整性；b)應提供數據校驗功能，如空值檢測、長度檢查、數值范圍檢查、正則表達式校驗等；c)可依據數據的重要性及敏感程度將數據劃分不同的級別，實行分級處理或者按照相應規(guī)則進行處理。9.3數據清洗數據清洗是數據準備和預處理過程的一個重要環(huán)節(jié)，通過技術手段識別并糾正數據錯誤或不一致等問題，是將初始數據轉化為滿足數據質量要求或應用要求的過程，以提高數據的質量和準確性，確保數據在后續(xù)的分析、決策支持、數據挖掘等處理中的可用性和可靠性。要求如下：a)應支持對錯誤數據、臟數據、重復數據等異常數據的處理；b)應支持對缺失數據進行填補；c)應支持對數據不一致性進行監(jiān)測；d)應提供清洗前后的數據比對功能；e)應支持邏輯矛盾、關聯性驗證、不合理數據的清洗。9.4數據治理數據治理是指對數據質量的管理，要求如下：a)應支持數據的標準化處理，將非標準化終端的數據轉化為城域窄帶物聯感知平臺統(tǒng)一格式的數據，包括統(tǒng)一的數據類型標識、統(tǒng)一的數值格式；b)應提供數據從產生到消亡的全周期管理，支持識別、度量、監(jiān)控、預警、數據管理流程配置和數據治理審核機制；c)應支持數據質量分析和預警，甄別數據優(yōu)劣程度，對質量較差數據進行清理和長期不用數據進行清洗和歸檔；d)應支持對數據屬性進行標注功能，包括但不限于單個和批量標注、標注維護等；e)應支持敏感數據識別、標記和脫敏，脫敏類型包括但不限于替換、截斷、掩碼、重排、日期偏移取整等；8T/GDIOT004-2024f)應對處理后的數據進行編碼，便于數據管理、數據開放共享及數據應用，數據資源編碼結構及規(guī)則應按照DB37/T3521.1的規(guī)定；g)應支持數據資源目錄動態(tài)管理，包括但不限于梳理、編制、審核、發(fā)布等；h)應制定統(tǒng)一的數據質量管理體系，包括數據源管理、數據質量規(guī)則管理、數據質量分析、數據質量評估等，實現對問題數據發(fā)現、分析和解決的全流程管理；i)通過數據治理后，平臺數據錯誤率不超過5%、數據完整性不低于95%、一致性錯誤不超過總記錄數的1%。9.5數據安全9.5.1數據完整性數據完整性要求如下：a)數據傳輸過程中的完整性應滿足GB/T37025-2018中6.1和7.1的要求；b)應通過封裝簽名、測試字驗證、引用約束等機制對數據完整性進行檢測，保證數據存儲過程的完整性，提供非完整數據的解決措施。9.5.2數據加密數據加密性要求如下：a)對于特定的敏感字段或業(yè)務數據應使用加密方式存儲；b)應支持國家密碼管理主管部門批準使用的密碼算法，使用國家密碼管理主管部門認證核準的密碼產品，遵循相關密碼國家標準和行業(yè)標準；c)應按照國家相關保密部門要求采用合適的加密算法、密鑰長度和密鑰管理機制；d)數據傳輸過程中的加密過程應符合GB/T37025-2018中6.3和7.3的要求。9.5.3數據訪問權限控制數據訪問權限控制要求如下：a)應支持制定安全策略，并根據安全策略啟用控制用戶對數據的訪問；b)應實現業(yè)務數據、系統(tǒng)數據和數據庫系統(tǒng)等不同級別的用戶權限分離管理機制，同時對用戶訪問應分配最小訪問權限；c)數據提供給第三方訪問時，應嚴格限制默認賬戶的訪問權限，定期修改賬戶的口令。9.5.4數據備份數據備份要求如下：a)應制定定期備份計劃，確保所有關鍵數據和系統(tǒng)狀態(tài)被定期備份?？梢圆捎萌珎浞荨⒃隽總浞莼虿町悅浞莸牟呗?；b)應實施多級備份策略，包括本地備份、近線備份和離線備份，以確保在不同級別的故障或災難中都能恢復數據；c)應對備份數據進行加密，以防止數據在傳輸過程中或存儲時被未經授權訪問；9T/GDIOT004-2024d)應定期驗證備份數據的完整性和可恢復性，確保在需要時能夠成功恢復；e)應合理管理備份存儲空間，確保備份數據不會因存儲空間不足而失敗。9.5.5數據恢復數據恢復要求如下：a)應建立數據恢復計劃，以便在數據安全事件發(fā)生時迅速采取行動，并進行有效的數據恢復；b)確?；謴偷臄祿３?/p>