工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中心數(shù)據(jù)交換與共享接口規(guī)范（征求意見稿）

Thetechnicalspecificationfor2023-XX-XX發(fā)布中國(guó)電子學(xué)會(huì)發(fā)布 I II 3 3 3 45數(shù)據(jù)交換與共享服務(wù)總體框架 4 5 12 17本文件按照GB/T1.1-2020給3工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中心數(shù)據(jù)交換與共享接口技術(shù)規(guī)范本文件規(guī)定了工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中心內(nèi)部國(guó)家中心與各區(qū)域分中心、各行業(yè)分中心之間，下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用指位于北京的工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中心，與各區(qū)域分中心、各行業(yè)分中心共同組成工業(yè)互聯(lián)第三方平臺(tái)third-partypl指外部第三方大數(shù)據(jù)體系或平臺(tái)，如全國(guó)一體化政務(wù)大數(shù)據(jù)體系、第三方工業(yè)互聯(lián)網(wǎng)平臺(tái)是國(guó)家中心與各區(qū)域分中心、各行業(yè)分中心、以及第三方平臺(tái)開展數(shù)據(jù)交換和共享服務(wù)的指各類業(yè)務(wù)數(shù)據(jù)在國(guó)家中心與各區(qū)域分中心、各行業(yè)分中心以及第三方平臺(tái)之間互相發(fā)送、前置機(jī)dataexchangepre-pro在數(shù)據(jù)交換的匯聚及分發(fā)流程中，前置機(jī)作為數(shù)據(jù)交換雙方的直接介質(zhì)，用于存儲(chǔ)或者處在數(shù)據(jù)匯聚過程中，指各區(qū)域分中心、各行業(yè)分中心以及第三方平臺(tái)。在數(shù)據(jù)分發(fā)過程中，4在數(shù)據(jù)匯聚過程中，指國(guó)家中心。在數(shù)據(jù)分發(fā)過程中，指各區(qū)域分中心、各行業(yè)分中心、在數(shù)據(jù)共享服務(wù)過程中，是指向國(guó)家中心申請(qǐng)、調(diào)用共享接口的各區(qū)域分中心、各行業(yè)分JSON：JavaScript對(duì)象標(biāo)記（JavaScriptObjectNotaRPC：遠(yuǎn)程過程調(diào)用（RemoteProcedureRESTFUL：表述性狀態(tài)傳遞（RepresentationalStateTranSOAP：簡(jiǎn)單對(duì)象訪問協(xié)議(SimpleObjectAccessPr國(guó)家中心與各區(qū)域分中心、各行業(yè)分中心以及第三方平臺(tái)之間，通過數(shù)壩實(shí)現(xiàn)數(shù)據(jù)交換與5各區(qū)域分中心、各行業(yè)分中心、第三方平臺(tái)等資源提供方的各類數(shù)據(jù)資源，通過數(shù)壩匯聚到國(guó)家中心；國(guó)家中心審核數(shù)據(jù)資源申請(qǐng)來提供數(shù)據(jù)，通過數(shù)壩分發(fā)至各區(qū)域分中心、各行業(yè)分中心和第三方平臺(tái)等資源需求方。數(shù)據(jù)交換總體資源提供方的各類數(shù)據(jù)資源，按照數(shù)據(jù)匯聚標(biāo)準(zhǔn)和數(shù)據(jù)匯聚流程，通過數(shù)壩交換至國(guó)家中資源需求方提出的數(shù)據(jù)資源申請(qǐng)，按照數(shù)據(jù)分發(fā)標(biāo)準(zhǔn)和數(shù)據(jù)分發(fā)流程，通過數(shù)壩交換至各國(guó)家中心與各區(qū)域分中心、各行業(yè)分中心、第三方平臺(tái)的數(shù)據(jù)交換，采用文件交換、服務(wù)a）文件交換方式是通過可靠文件傳送服務(wù)，進(jìn)行數(shù)據(jù)文件的傳送。要求資源提供方使用b）服務(wù)接口調(diào)用方式是通過實(shí)時(shí)請(qǐng)求服務(wù)接口實(shí)現(xiàn)數(shù)據(jù)交換，適用于時(shí)效性和靈活性要c）數(shù)據(jù)庫(kù)交換方式是庫(kù)到庫(kù)的數(shù)據(jù)交換，適用于數(shù)據(jù)量大、數(shù)據(jù)增量更新頻繁的數(shù)據(jù)交6c）文件交換方式，數(shù)據(jù)提供方需為每條交換數(shù)據(jù)記錄增加設(shè)置兩個(gè)數(shù)據(jù)項(xiàng)：記錄ID(GUID)、記錄入庫(kù)時(shí)間。其中：記錄ID為數(shù)據(jù)記錄指紋，由記錄原始生成單位賦值，采用GUID機(jī)制，以標(biāo)識(shí)記錄的全局唯一性，是每一條數(shù)據(jù)的主鍵。對(duì)于文件交換方式，<?xmlversion=1.0"encodingb）數(shù)據(jù)包包頭放置數(shù)據(jù)資源描述信息，包括：數(shù)據(jù)資源名稱、單位代碼、單位名稱、交號(hào)1是2是關(guān)、人民團(tuán)體及其他機(jī)構(gòu)代碼表;省和國(guó)行政區(qū)劃代碼;法人及社會(huì)組織3是48是51是數(shù)據(jù)同步標(biāo)志（1-全量加載；2-增6是72是包頭部分格式如下:<PACKAGEDATA_SOURCE_NAME="企業(yè)xxx信息"BUREAU_CODE="320000"B單位名稱"SYNC_DATE="20230201"SYNC_FLAG="1"SYNCDATA_TOTAL="150"xmlns:xsi="/2001/XMLSchema-instxsi:noNamespaceSchemaLocatioc）交換數(shù)據(jù)包體部分由多條數(shù)據(jù)記錄集合組成，每條數(shù)據(jù)記錄由數(shù)據(jù)項(xiàng)和數(shù)據(jù)內(nèi)容組成。包體部分格式如下:<COLUMNNAME="${數(shù)據(jù)項(xiàng)名稱}">${數(shù)據(jù)項(xiàng)內(nèi)容}XML應(yīng)遵循的其他約定:a）XML格式限定文件大小，單個(gè)XML格式文件不超過150M，如超出，需要拆分成多個(gè)XML文需對(duì)XML文件做特殊處理，將特殊字符按照表2中內(nèi)容轉(zhuǎn)換為轉(zhuǎn)義字符，生成標(biāo)準(zhǔn)XML7&<>“’<>c）采用XML文件進(jìn)行文件交換時(shí)，需提供符合約定的Schema文件，以定義交換數(shù)據(jù)語義上a）每一行記錄位于一個(gè)單獨(dú)的行上，用回車換行符CRb）第一行為數(shù)據(jù)資源標(biāo)題頭，格式和普通記錄行的格式一樣。包含文件記錄字段對(duì)應(yīng)的c）在標(biāo)題頭行和普通行每行記錄中，會(huì)存在一個(gè)或多個(gè)由分隔符“|”分隔的字段。整個(gè)文件中每行應(yīng)包含相同數(shù)量的字段，空格也是字段的一部分，不應(yīng)被忽略。每一行記錄最后一個(gè)字段后不能跟分隔符“|”。f）CSV格式限定文件大小,單個(gè)CSV格式文件不超過150M,如超出,需要拆分成多個(gè)CSV文件。a）第一行為數(shù)據(jù)資源描述信息,包括數(shù)據(jù)資源描述項(xiàng)及描述內(nèi)容。數(shù)據(jù)資源描述項(xiàng)及描述d）TXT數(shù)據(jù)資源描述信息格式示例如表3。|BUREAU_CODE:210000|BUREAU_NAME:xxx|SYNC_D應(yīng)遵循的其他約定:c）若數(shù)據(jù)中出現(xiàn)分隔符“|”或封閉符“^”，應(yīng)對(duì)其進(jìn)行轉(zhuǎn)義處理，“|”的轉(zhuǎn)義符號(hào)為“\”，“^”的轉(zhuǎn)義符號(hào)為“\\”。當(dāng)交換文件包含有多個(gè)XML、CSV或TXT文件時(shí),可以對(duì)交換文件進(jìn)行打包處理，每個(gè)壓縮文件大小不要超過2G，可由多個(gè)壓縮文件構(gòu)成（壓縮文件卷號(hào)由3位數(shù)字表示,由數(shù)據(jù)提供方生成,8b）進(jìn)行庫(kù)表對(duì)接的雙方需要保持?jǐn)?shù)據(jù)庫(kù)、數(shù)據(jù)表結(jié)構(gòu)c）交換雙方在交換過程中做好數(shù)據(jù)庫(kù)的監(jiān)控，保障傳輸?shù)目煽啃?。若傳輸過程中異常或各區(qū)域分中心、各行業(yè)分中心、第三方平臺(tái)應(yīng)以全量/增量更新的方式，按規(guī)定的頻率進(jìn)行數(shù)據(jù)匯聚支持文件交換、服務(wù)接口調(diào)用方式、數(shù)據(jù)庫(kù)交換三種數(shù)據(jù)交換方式。其中，文件交換方式和數(shù)據(jù)庫(kù)交換方式的匯聚流程見圖3；服務(wù)調(diào)用9務(wù)接口注冊(cè)信息表發(fā)起服務(wù)注冊(cè)申請(qǐng)；文件交換和數(shù)據(jù)庫(kù)交換方式需參照的資源申請(qǐng)信資源提供方發(fā)起匯聚申請(qǐng)后，數(shù)壩對(duì)資源/服務(wù)注冊(cè)申請(qǐng)信息審核、確認(rèn)，完成申請(qǐng)準(zhǔn)入或123456789數(shù)據(jù)庫(kù)交換：可讀權(quán)限的數(shù)據(jù)庫(kù)連接信息、用戶信息c）數(shù)據(jù)庫(kù)交換方式：完成前置機(jī)庫(kù)表確認(rèn)及創(chuàng)建；創(chuàng)建數(shù)據(jù)庫(kù)的寫權(quán)限用戶；配置源端a）服務(wù)調(diào)用方式：按匯聚申請(qǐng)單的約定準(zhǔn)備好b）文件交換方式：按資源申請(qǐng)單約定的文件類型生成待匯聚數(shù)據(jù)資源文件（文件規(guī)范參），c）數(shù)據(jù)庫(kù)交換方式：準(zhǔn)備待匯聚數(shù)據(jù)的數(shù)據(jù)庫(kù)表，并確保用于數(shù)據(jù)交換的數(shù)據(jù)庫(kù)用戶具數(shù)壩負(fù)責(zé)將資源提供方提供的數(shù)據(jù)交換至國(guó)家中心，國(guó)家中心進(jìn)行數(shù)據(jù)匯聚、處理、加載數(shù)據(jù)對(duì)賬用來對(duì)資源提供方提供的本次更新數(shù)據(jù)與國(guó)家中心接收的數(shù)據(jù)進(jìn)行比對(duì)，保證數(shù)a）文件交換方式：文件接收方收到文件后，解析文件數(shù)據(jù)資源描述信息，核驗(yàn)文件數(shù)據(jù)，b）數(shù)據(jù)庫(kù)交換方式：在庫(kù)表數(shù)據(jù)交換完成后，確保已錄入庫(kù)表的數(shù)據(jù)條目及內(nèi)容與源端國(guó)家中心如果發(fā)現(xiàn)異常數(shù)據(jù)，則通過數(shù)壩反饋給資源提供方，各區(qū)域分中心、各行業(yè)分中b）匯聚數(shù)據(jù)內(nèi)容不符合數(shù)據(jù)匯聚標(biāo)準(zhǔn)數(shù)據(jù)分發(fā)支持文件交換、服務(wù)接口調(diào)用方式兩種數(shù)據(jù)交換方式。其中，服務(wù)調(diào)用方式的數(shù)據(jù)分發(fā)流程見圖5；文件交換方式的數(shù)據(jù)分發(fā)資源需求方,通過數(shù)壩向國(guó)家中心申請(qǐng)數(shù)據(jù)資源。其中，服務(wù)調(diào)用方式需按照7.4.1服務(wù)接口申請(qǐng)信息表向數(shù)壩發(fā)起服務(wù)接口調(diào)用申請(qǐng)；文件交換方式需按照的資源申請(qǐng)信息表向a）服務(wù)調(diào)用方式：完成服務(wù)接口的開發(fā)、部署上線，為服務(wù)接口的調(diào)用方進(jìn)行訪問授權(quán)、b）文件交換方式：生成待分發(fā)的資源文件，為文件資源的需求方開通下載權(quán)限等前置分資源提供方將服務(wù)接口注冊(cè)到國(guó)家中心。國(guó)家中心完成服務(wù)接口的審核封裝，并統(tǒng)一受理資源需求方提出的服務(wù)接口申請(qǐng)，經(jīng)審核、授權(quán)后，對(duì)資源需求方提供統(tǒng)一的接口服務(wù)。共享資源提供方對(duì)外提供服務(wù)接口形式的資源時(shí)，應(yīng)通過國(guó)家中心注冊(cè)服務(wù)接口，提供的服務(wù)123456服務(wù)接口資源所屬的資源目錄，資源目錄由資源提供方7服務(wù)接口的地址，必須是通過國(guó)家中心能夠訪問的地址8基于HTTP協(xié)議的RPC、RESTFUL、SOAPWEB9服務(wù)接口調(diào)用的有效截止日期，日期格式（YYYY選擇類型（類型包括string、int、long、array、boolean詳細(xì)的服務(wù)接口使用說明文檔，具體內(nèi)容應(yīng)包括服資源提供方注冊(cè)服務(wù)接口，經(jīng)資源提供方的管理人員審核通過后，由國(guó)家中心完成審核封裝，服務(wù)接口發(fā)布成功，可以供資源需求方查看和申請(qǐng)使用。接口如審核不通過，則駁回提供服務(wù)接口成功發(fā)布后，當(dāng)服務(wù)接口尚無使用方調(diào)用時(shí)，服務(wù)接口可以撤銷，需要填寫撤銷當(dāng)服務(wù)接口已有資源使用方在調(diào)用時(shí)，若需要撤銷，可以通知資源使用方取消服務(wù)接口調(diào)用，說明撤銷理由，并告知撤銷時(shí)間，給予一定期限進(jìn)行調(diào)整。服務(wù)接口撤銷需要經(jīng)過管理部服務(wù)接口成功發(fā)布后，當(dāng)服務(wù)接口尚無資源使用方調(diào)用時(shí)，服務(wù)接口可以變更，需要填寫當(dāng)服務(wù)接口已有資源使用方在調(diào)用時(shí)，為不影響資源使用方正常調(diào)用，資源提供方應(yīng)先在國(guó)家中心上發(fā)布新服務(wù)接口，同時(shí)通知舊服務(wù)接口使用方在一定期限內(nèi)取消服務(wù)接口調(diào)用并申請(qǐng)使用新服務(wù)接口，當(dāng)確認(rèn)所有舊服務(wù)接口使用方已取消使用后，資源提供方發(fā)起舊接口下線流程，經(jīng)國(guó)家中心審批通過后，資源提供方可以撤銷舊服務(wù)接口。資源提供方需做好版本管理。資源使用方在國(guó)家中心填寫申請(qǐng)信息，提交帶有本主管部門印章的申請(qǐng)表及相關(guān)技術(shù)參數(shù)文檔，由國(guó)家中心統(tǒng)一受理，按照授權(quán)方式由國(guó)家中心管理部門或資源提供方審核，審核通過后，由國(guó)家中心為資源使用方授權(quán)認(rèn)證信息。服務(wù)接口申請(qǐng)信123456789a）獲取安全訪問令牌。資源需求方使用國(guó)家中心分配的client_id和client_secret參數(shù)值，通過調(diào)用國(guó)家中心“安全認(rèn)證服務(wù)”接口獲取到本部門訪問資源令牌。令牌在首次調(diào)用接口時(shí)獲取一次即可，可反復(fù)使用，直至令牌過期。安全認(rèn)證服務(wù)的接口說明URL樣式URL參數(shù)是是{}b）接口調(diào)用：資源需求方請(qǐng)求資源時(shí)，除了要按照資源提供方要求的格式、位置傳入?yún).1共享服務(wù)接口返回值代碼表API不可用或APIKEY錯(cuò)誤API過期<?xmlversion="1.0"encoding="UTF-8"?><PACKAGEDATA_SOURCE_NAME="企業(yè)xxx信息"BUREAU_CODE="320000"BUREAU_NAME="單位名稱"SYNC_DATE="20230201"SYNC_FLAG="1"SYNC_FREQ="月"DATA_TOTAL="150"xmlns:xsi="/2001/XMLSchema-instance"xsi:noNamespaceSchemaLocation="qualified"><DATASET><RECORD><FIELD1>VALUE1</FIELD1><FIELD2>VALUE2</FIELD2><FIELD3>VALUE3</FIELD3></RECORD></DATASET><?xmlversion="1.0"encoding="UTF-8"?><xs:schemaxmlns:xs="/2001/XMLSchema"elementFormDefault="qualified"><xs:elementname="PACKAGE"><xs:complexType><xs:sequence><xs:attributename="DATA_SOURCE_NAME"use="required"type="xs:string"/><xs:attributename="BUREAU_CODE"use="required"type="xs:string"/><xs:attributename="BUREAU_NAME"use="required"type="xs:string"/><xs:attributename="SYNC_DATE"use="required"type="xs:string"/><xs:attributename="SYNC_FLAG"use="required"type="xs:integer"/><xs:attributename="SYNC_FREQ"use="required"type="xs:integer"/><xs:attributename="DATA_TOTAL"use="required"type="xs:integer"/></xs:sequence></xs:complexType></xs:element><xs:elementname="dataset"><xs:complexType><xs:sequence><xs:elementref="RECORD"/></xs:sequence></xs:complexType></xs:elem