DB2201T 16-2022 城市智能體數(shù)據(jù)治理技術(shù)規(guī)范　

2201CityintelligentagentdatagovernancetechnicalI本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定本文件起草單位：吉林科訊信息科技有限公司、訊飛智元信息科技有1城市智能體數(shù)據(jù)治理技術(shù)規(guī)范本文件規(guī)定了城市智能體數(shù)據(jù)治理技術(shù)的縮略語、數(shù)據(jù)探查、數(shù)據(jù)規(guī)整、治理管理的本文件適用于指導(dǎo)城市智能體大數(shù)據(jù)平臺關(guān)于數(shù)據(jù)治理設(shè)計單位以及城市智能體建設(shè)部門在城市GB/T34960.5－2018信息技術(shù)服務(wù)治理第5部分：數(shù)據(jù)治GB/T13000－2010信息技術(shù)通用多八位編碼字符集（UCS）撐，為城市經(jīng)濟、社會、城市數(shù)字化轉(zhuǎn)型等提供支持的智慧城市巨系4縮略語DDL：數(shù)據(jù)庫模式定義語言（DataDefinitionLanguETL：描述將數(shù)據(jù)從來源端經(jīng)過抽取、轉(zhuǎn)換、加載至目的端的過程（ExtraHASH：散列函數(shù)（HashfunctioMD5:信息摘要算法（MD5Message-DSHA：安全散列算法（SecureHashAlgUUID：通用唯一識別碼（UniversallyUniqueIdentifie2基礎(chǔ)類檢查數(shù)值大小校驗檢查對兩個字段的值進行大小比較，不滿足數(shù)字業(yè)務(wù)類檢查身份證合法性檢查身份證號碼與性身份證號碼與出身份證有效期檢查身份證號重復(fù)檢查3業(yè)務(wù)類檢查3.姓名中有不是漢字的非法字符（除?外）出生日期合法性為保障采集的各源系統(tǒng)的實體數(shù)據(jù)的一致性，檢查獲取的數(shù)據(jù)表和各源系統(tǒng)數(shù)據(jù)表業(yè)務(wù)字段數(shù)據(jù)數(shù)據(jù)格式雜亂、數(shù)據(jù)錯誤、數(shù)據(jù)缺失等，進行有效的4將字段中的值統(tǒng)一全部替換為另外一個值。例如：將原字段日期中值“1997年元月”字段值應(yīng)填充為一個默認(rèn)值，包括但不局限于全部填日期格式字段值應(yīng)轉(zhuǎn)換為字符串類字段。例如：yy/MM/ddHH:mm:ss；yy-MM-ddHH:mm:ss；yyMMddHHmmss；yyMMddHHmm；yyMMdd。當(dāng)字段值為空時，應(yīng)配置填充的數(shù)據(jù)，分為統(tǒng)一默認(rèn)值填充和從關(guān)聯(lián)字段獲取填充兩5將字段值按照配置的標(biāo)準(zhǔn)字典進行標(biāo)準(zhǔn)轉(zhuǎn)換。例如：將性別字段值轉(zhuǎn)換為標(biāo)準(zhǔn)字典中性合并表數(shù)據(jù)，將第一張表中字段及數(shù)據(jù)合并到第二張表中，應(yīng)支持關(guān)聯(lián)表數(shù)據(jù)，將兩張表通過關(guān)聯(lián)字段進行關(guān)聯(lián)配置，選擇關(guān)聯(lián)后的字段信息傳輸?shù)较乱欢蝑)數(shù)據(jù)源字典管理：應(yīng)具備業(yè)務(wù)系統(tǒng)未進行標(biāo)準(zhǔn)化之前的字典的維護和管理。涉及的數(shù)據(jù)源、數(shù)據(jù)庫、表、維度等進行記錄和管理。元數(shù)據(jù)管理主6a)數(shù)據(jù)源管理：通過增加、修改、刪除等方式管理各類數(shù)據(jù)庫b)