2024公共數(shù)據(jù)平臺(tái)數(shù)據(jù)歸集規(guī)范

公共數(shù)平臺(tái) 數(shù)歸集規(guī)范--PAGE1-公共數(shù)據(jù)平臺(tái)數(shù)據(jù)歸集規(guī)范本文件適用于指導(dǎo)鹽城市各級(jí)公共管理和服務(wù)機(jī)構(gòu)歸集數(shù)據(jù)至鹽城市公共數(shù)據(jù)平臺(tái)。（GB/T22239GB/T35273GB/T35295GB/T37973GB/T35295-2017界定的以及下列術(shù)語和定義適用于本文件。3.1數(shù)據(jù)歸集dataingestion3.2公共數(shù)據(jù)commondata3.3結(jié)構(gòu)化數(shù)據(jù)structureddata[來源:GB/T35295-2017,2.2.13]3.4結(jié)構(gòu)化文件structuredfileCSVJSON3.5非結(jié)構(gòu)化文件unstructuredfileHTML將原始數(shù)據(jù)不進(jìn)行處理地采集存放在公共數(shù)據(jù)平臺(tái)的貼源層中；對(duì)貼源層中的數(shù)據(jù)進(jìn)行清洗加工使其滿足公共數(shù)據(jù)平臺(tái)使用的質(zhì)量要求，清洗加工后的數(shù)據(jù)存放在公共數(shù)據(jù)平臺(tái)的公共層中；對(duì)公共層中的數(shù)據(jù)進(jìn)行個(gè)性化面向應(yīng)用、業(yè)務(wù)的整合，最終數(shù)據(jù)存放在公共數(shù)據(jù)平臺(tái)的主題層。數(shù)據(jù)歸集結(jié)果確認(rèn)應(yīng)包含：--PAGE3-：UTF-8、GB2312、UTF-16UUID800000001順業(yè)務(wù)操作標(biāo)識(shí)：用于標(biāo)識(shí)業(yè)務(wù)數(shù)據(jù)的操作屬性，數(shù)據(jù)新增為“Uhh:mm:ss。示例：2023-10-0108:10:56。A.1。對(duì)賬記錄唯一標(biāo)識(shí)：對(duì)賬表主鍵，使用UUID批次時(shí)間：對(duì)賬數(shù)據(jù)寫入對(duì)賬表的時(shí)間，采用數(shù)據(jù)庫時(shí)間函數(shù)的值，格式為hh:mm:ss；示例：2023-10-0108:10:56。01-1C.1。在前置機(jī)中建設(shè)文件系統(tǒng)，用于臨時(shí)存儲(chǔ)待歸集的文件。文件系統(tǒng)可采用FTP、SFTP等。///月日/0~（a~z、A~Z）_示例：文件夾命名：/公司資料/銷售數(shù)據(jù)/2023/12/05/，文件命名：daily_sales_report_20231205.xlsx。需設(shè)置文件大小閾值，文件超出閾值應(yīng)拆分成多個(gè)小文件。CSVTXTXLSXLSXPDFDOCDOCXWPSZIPCSVXLSXLSXUTF-16IDUUID800000001順示例：2023100100000001，表示2023年10月1日第1批次數(shù)據(jù)。KB；業(yè)務(wù)操作標(biāo)識(shí)：用于標(biāo)識(shí)業(yè)務(wù)數(shù)據(jù)的操作屬性，數(shù)據(jù)新增為“U10hh:mm:ss。示例：2023-10-0108:10:56。B.1。--PAGE5-IDIDUUIDIDID；KB；hh:mm:ss。示例：2023-10-0108:10:56。B.1UD對(duì)賬記錄唯一標(biāo)識(shí)：對(duì)賬表主鍵，使用UUID批次時(shí)間：對(duì)賬數(shù)據(jù)寫入對(duì)賬表的時(shí)間，采用數(shù)據(jù)庫時(shí)間函數(shù)的值，格式為hh:mm:ss;示例：2023-10-0108:10:56。KB；C.2服務(wù)接口調(diào)用形式為：<protocol>://<hostname>:<port>/<URI>，其中：protocolHTTPSHTTP；hostname指IPIPportURI指資源URI服務(wù)接口資源采用RESTfulD.1DD.1～D.4對(duì)存在更新標(biāo)識(shí)的數(shù)據(jù)應(yīng)支持增量更新；對(duì)不存在更新標(biāo)識(shí)的數(shù)據(jù)應(yīng)支持全量更新。GB/T22239GB/T35273GB/T37973--PAGE7-附錄A（資料性）庫表歸集業(yè)務(wù)數(shù)據(jù)表字段名稱和數(shù)據(jù)格式業(yè)務(wù)數(shù)據(jù)表字段名稱和數(shù)據(jù)格式見表A.1。表A.1業(yè)務(wù)數(shù)據(jù)表字段名稱和數(shù)據(jù)格式字段名稱字段標(biāo)識(shí)符字段類型字段長度主鍵標(biāo)識(shí)非空記錄IDIDVARCHAR64主鍵是批次號(hào)BATCHVARCHAR20--是業(yè)務(wù)操作標(biāo)識(shí)OPERATIONVARCHAR1--是更新時(shí)間TIMEDATETIME8--是附錄B（資料性）文件歸集信息表字段名稱和數(shù)據(jù)格式文件信息表、文件拆分信息表字段名稱和數(shù)據(jù)格式見表B.1。表B.1文件信息表、文件拆分信息表字段名稱和數(shù)據(jù)格式字段名稱字段標(biāo)識(shí)符字段類型字段長度主鍵標(biāo)識(shí)非空記錄IDUD_IDVARCHAR64主鍵是批次號(hào)UD_BATCHVARCHAR20--是文件名UD_FILE_NAMEVARCHAR64--是文件路徑UD_FILE_PATHVARCHAR250--是文件大小UD_FILE_SIZELONG----是文件格式UD_FILE_TYPEVARCHAR64--是文件中文名UD_FILE_CNAMEVARCHAR64--是文件完整性校驗(yàn)UD_FILE_CHECKVARCHAR128--是業(yè)務(wù)操作標(biāo)識(shí)UD_OPERATIONVARCHAR1--是文件拆分標(biāo)識(shí)UD_IS_SPLIT_FILEINT1--是拆分?jǐn)?shù)量UD_SPLIT_COUNTINT----是更新時(shí)間UD_TIMEDATETIME8--是文件信息表記錄IDUD_FILE_INFO_IDVARCHAR64--是PAGEPAGE1附錄C（資料性）對(duì)賬數(shù)據(jù)表字段名稱和數(shù)據(jù)格式庫表歸集對(duì)賬數(shù)據(jù)表字段名稱和數(shù)據(jù)格式見表C.1。表C.1庫表歸集對(duì)賬數(shù)據(jù)表字段名稱和數(shù)據(jù)格式字段名稱字段標(biāo)識(shí)符字段類型字段長度主鍵標(biāo)識(shí)非空對(duì)賬記錄唯一標(biāo)識(shí)IDVARCHAR64主鍵是表名TABLE_NAMEVARCHAR100--是批次號(hào)DATA_BATCHVARCHAR20--是批次條數(shù)DATA_COUNTINT----是批次時(shí)間DATA_DATEDATETIME8--是批次狀態(tài)DATA_STATEVARCHAR1--是文件歸集對(duì)賬數(shù)據(jù)表字段名稱和數(shù)據(jù)格式見表C.2。表C.2文件歸集對(duì)賬數(shù)據(jù)表字段名稱和數(shù)據(jù)格式字段名稱字段標(biāo)識(shí)符字段類型字段長度主鍵標(biāo)識(shí)非空對(duì)賬記錄唯一標(biāo)識(shí)IDVARCHAR64主鍵是文件路徑FILE_PATHVARCHAR250--是文件類型UD_SDVARCHAR2--是批次號(hào)FILE_BATCHVARCHAR20--是批次個(gè)數(shù)FILE_COUNTINT----是批次大小FILE_SIZELONG批次時(shí)間FILE_DATEDATETIME8--是批次狀態(tài)FILE_STATEVARCHAR1--是附 錄 D（資料性）服務(wù)接口數(shù)據(jù)示例及內(nèi)容描述json以test內(nèi)容傳輸格式為例，定義數(shù)據(jù)模板，數(shù)據(jù)模板標(biāo)識(shí)為test，json消息體數(shù)據(jù)示例為：200OK200OKContent-Type：application/jsonContent-Length：xxx{“url”:"<serialnumber>/<dstributedStorageIdentifier>/<resouceIdentifier>"“intercIdntiierddoObjets”,“l(fā)abel”test信息新增接口",“items_url”:“<serialnumber>/<distributedStorageIdentifier>/<resouceIdentifier>”,“status”:“success”,“data”:[{“id”：“XXX”,“ne“XXX”,……}，{“id”：“XXX”,“ne“XXX”,……}……]}PAGEPAGE3增加信息服務(wù)接口信息描述見表D.1。表D.1增加服務(wù)信息接口描述名稱內(nèi)容備注接口地址https://<hostname>:<port><ineterfaceIdentifier>/<serialnumber>/<distributedStorageIdentifier>/<resouceIdentifier>ineterfaceIdentifier為addObjects或addObjects_GZIP功能批量增加信息方法post消息體ineterfaceIdentifier=addobjects時(shí)消息體為application/json，字符集編碼為UTF-8的標(biāo)準(zhǔn)json格式數(shù)據(jù)；ineterfaceIdentifier=addObjects_GZIP時(shí)數(shù)據(jù)格式為application/json，字符集編碼為UTF-8的壓縮json格式數(shù)據(jù)； 返回結(jié)果200OKContent-Type:application/jsonContent-Length：xxx{“status”:“{status}”,“err”:“{err}”}{status}=0，數(shù)據(jù)格式正確，{err}為空{(diào)status據(jù)格式錯(cuò)誤，{err}為錯(cuò)誤描述注釋需主鍵信息刪除信息服務(wù)接口信息描述見表D.2。表D.2刪除服務(wù)信息接口描述名稱內(nèi)容備注接口地址https://<hostname>:<port><ineterfaceIdentifier>/<serialnumber>/<distributedStorageIdentifier>/<resouceIdentifier>ineterfaceIdentifier為deleteObjects或deleteObjects_GZIP功能批量刪除信息方法post消息體ineterfaceIdentifier=deleteObjectsapplication/jsonUTF-8的json格式數(shù)據(jù)；ineterfaceIdentifier=deleteObjects_GZIP時(shí)數(shù)據(jù)格式為application/json，字符集編碼為UTF-8的壓縮json格式數(shù)據(jù)；返回結(jié)果200OKContent-Type：application/jsonContent-Length：xxx{“status”:“{status}”,“err”:“{err}”}{status}=0，數(shù)據(jù)格式正確，{err}為空{(diào)status}不為0，數(shù)據(jù)格式錯(cuò)誤，{err}為錯(cuò)誤描述注釋需主鍵信息修改信息服務(wù)接口信息描述見表D.3。表D.3修改服務(wù)信息接口描述名稱內(nèi)容備注接口地址https://<hostname>:<port><ineterfaceIdentifier>/<serialnumber>/<distributedStorageIdentifier>/<resouceIdentifier>ineterfaceIdentifier為updateObjects或updateObjects_GZIP功能批量修改信息方法post消息體ineterfaceIdentifier=updateObjects時(shí)消息體為application/json，字符集編碼為UTF-8的標(biāo)準(zhǔn)json格式數(shù)據(jù)；ineterfaceIdentifier=updateObjects_GZIP時(shí)數(shù)據(jù)格式為application/json，字符集編碼為UTF-8的壓縮json格式數(shù)據(jù)；返回結(jié)果200OKContent-Type：application/jsonContent-Length：xxx{“status”：“{status}”,“err”：“{err}”}{err}為空{(diào)status}{err}為錯(cuò)誤描述注釋需主鍵信息只增信息服務(wù)接口信息描述見表D.4。表D.4只增服務(wù)信息接口描述名稱內(nèi)容備注接口地址https://<hostname>:<port><ineterfaceIdentifier>/<serialnumber>/<distributedStorageIdentifier>/<resouceIdentifier>ineterfaceIdentifier為addEventInfos或addEventInfos_GZIP功能批量歸集只增信息方法post消息體ineterfaceId