政務(wù)信息共享交換平臺(tái)數(shù)據(jù)匯聚標(biāo)準(zhǔn)

政務(wù)信息共享交換平臺(tái)數(shù)據(jù)匯聚標(biāo)準(zhǔn)范圍本文件規(guī)定了政務(wù)信息資源數(shù)據(jù)匯聚的總體架構(gòu)，以及數(shù)據(jù)匯聚的基本要求。本文件適用于黑龍江省政務(wù)信息資源數(shù)據(jù)匯聚的規(guī)劃、設(shè)計(jì)、建設(shè)和應(yīng)用。規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T22239信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求術(shù)語和定義下列術(shù)語和定義適用于本文件。政務(wù)信息資源政務(wù)部門在履行職責(zé)過程中制作或獲取的，以一定形式記錄、保存的文件、資料、圖表和數(shù)據(jù)等各類信息資源，包括政務(wù)部門直接或通過第三方依法采集的、依法授權(quán)管理的和因履行職責(zé)需要依托政務(wù)信息系統(tǒng)形成的信息資源等。資源提供方對(duì)外提供政務(wù)信息資源共享的政務(wù)部門。庫表資源庫表資源是指資源提供方以數(shù)據(jù)庫的形式提供的數(shù)據(jù)，稱為庫表資源。文件資源文件資源是指資源提供方以文件形式提供的數(shù)據(jù)，一般推薦使用的文件類型是Excel等。縮略語下列縮略語適用于本文件。UTF-8：Unicode的可變長(zhǎng)度字符編碼（8-bitUnicodeTransformationFormat）數(shù)據(jù)匯聚總體框架政務(wù)信息資源數(shù)據(jù)匯聚由信息資源、信息資源目錄、數(shù)據(jù)交換、數(shù)據(jù)共享交換平臺(tái)組成，標(biāo)準(zhǔn)規(guī)范和安全保障貫穿于各部分，為各部分提供指導(dǎo)和支撐保障。政務(wù)信息資源數(shù)據(jù)匯聚總體架構(gòu)見圖1。數(shù)據(jù)匯聚總體框架信息資源目錄是信息資源共享交換工作的基礎(chǔ)，用于快速檢索、定位、發(fā)現(xiàn)相應(yīng)的信息資源。通過匯聚基礎(chǔ)信息資源、主題信息資源、政務(wù)部門信息資源和其他信息資源以數(shù)據(jù)交換服務(wù)為工具，為數(shù)據(jù)共享交換平臺(tái)提供數(shù)據(jù)應(yīng)用支撐。數(shù)據(jù)匯聚總體要求匯聚方式庫表模式匯聚庫表模式匯聚流程庫表模式匯聚流程見圖2。庫表模式匯聚流程圖匯聚流程匯聚流程包括：完成數(shù)據(jù)提供方與電子政務(wù)外網(wǎng)的聯(lián)通，并能成功訪問省共享交換平臺(tái)提供的部門前置庫，要求資源提供方通過安全設(shè)備保證資源提供方業(yè)務(wù)數(shù)據(jù)中心的安全；通過數(shù)據(jù)共享中心數(shù)據(jù)處理工具把需要推送的庫表數(shù)據(jù)推送至共省共享交換平臺(tái)部門前置庫中（增量推送）；省共享交換平臺(tái)數(shù)據(jù)交換系統(tǒng)把部門前置庫的數(shù)據(jù)采集至數(shù)據(jù)中心的中心前置庫中。數(shù)據(jù)要求數(shù)據(jù)要求包括以下方面，需提供字段見表1：提供數(shù)據(jù)表的主鍵，這是表中的某一條記錄的唯一標(biāo)識(shí)，為必須提供項(xiàng)；數(shù)據(jù)更新時(shí)間戳，要求默認(rèn)為業(yè)務(wù)生成時(shí)間或者變更時(shí)間；如果無法提供則修改成進(jìn)入前置庫時(shí)間，修改業(yè)務(wù)時(shí)也為進(jìn)入前置庫時(shí)間，可采用數(shù)據(jù)庫默認(rèn)時(shí)間和觸發(fā)器相結(jié)合的方式解決此問題，格式為yyyy-MM-ddhh:mm:ss；新增數(shù)據(jù)類型，數(shù)據(jù)新增時(shí)為“I”，修改時(shí)為“U”，刪除時(shí)為“D”；來源部門，該字段填入各部門的監(jiān)管編碼，省級(jí)廳局為23+“#”+“三位機(jī)構(gòu)代碼”（三位機(jī)構(gòu)編碼參考附錄A.1），地市為6位行政區(qū)劃編碼；批次號(hào)：規(guī)則為日期+次數(shù)，例如2019年8月11日第二次提交數(shù)據(jù)，批次為“2019081100002”；要求對(duì)數(shù)據(jù)按照時(shí)間戳進(jìn)行增量更新，不可以進(jìn)行每次全量覆蓋式更新。庫表模式需提供字段文件模式匯聚基于FTP服務(wù)數(shù)據(jù)匯聚流程基于FTP服務(wù)數(shù)據(jù)匯聚流程見圖3?；贔TP服務(wù)數(shù)據(jù)匯聚流程圖匯聚流程匯聚流程如下：根據(jù)自身實(shí)際情況選擇人工導(dǎo)出并上傳至數(shù)據(jù)中心FTP服務(wù)器或者選擇機(jī)器自動(dòng)生成文件并上傳至FTP服務(wù)器；按照選擇的網(wǎng)絡(luò)圖譜配置前置機(jī)及網(wǎng)絡(luò)安全設(shè)備并打通網(wǎng)絡(luò)鏈路；人工導(dǎo)出模式為省共享交換平臺(tái)為資源提供方提供FTP上傳的用戶名和密碼，資源提供方通過人工導(dǎo)入至FTP服務(wù)器中，共享平臺(tái)交換工具自動(dòng)將上傳的數(shù)據(jù)采集至前置庫；機(jī)器自動(dòng)上傳至資源提供方自建FTP服務(wù)器，共享平臺(tái)交換工具通過資源提供方提供的用戶名和密碼自動(dòng)下載新增文件，并把數(shù)據(jù)采集至前置庫中；交換系統(tǒng)把前置庫中的數(shù)據(jù)采集至中心前置庫。數(shù)據(jù)要求數(shù)據(jù)要求包括：明確每個(gè)文件每行數(shù)據(jù)的主鍵數(shù)據(jù)項(xiàng)，且不能為空；每個(gè)文件每行數(shù)據(jù)中需增加一個(gè)時(shí)間戳字段，以方便系統(tǒng)根據(jù)時(shí)間戳識(shí)別增量數(shù)據(jù)（時(shí)間格式為yyyy-MM-ddhh:mm:ss）；每個(gè)文件每行數(shù)據(jù)中存在無效或者刪除數(shù)據(jù)需提供數(shù)據(jù)有效性標(biāo)示字段；按照目錄的匯聚頻率，更新備份庫中的數(shù)據(jù)；如果導(dǎo)出文件為Excel文件則最后一行必須為數(shù)據(jù)行，不能出現(xiàn)總計(jì)等匯總型數(shù)據(jù)；如果導(dǎo)出文件為XML文件則必須為標(biāo)準(zhǔn)的XML文件，必須有成對(duì)的標(biāo)識(shí)符。一個(gè)Excel文件中只能有一個(gè)sheet。Excel內(nèi)不能有合并過的單元格，單元格不能有單元格格式。接口模式匯聚服務(wù)接口數(shù)據(jù)落地模式匯聚數(shù)據(jù)流程圖基于服務(wù)接口數(shù)據(jù)落地模式匯聚數(shù)據(jù)流程圖見圖4?；诜?wù)接口數(shù)據(jù)落地模式匯聚數(shù)據(jù)流程圖匯聚流程匯聚流程如下：資源提供方提供service接口，實(shí)現(xiàn)通過接口調(diào)取業(yè)務(wù)應(yīng)用數(shù)據(jù)庫中的數(shù)據(jù)；按照選擇的網(wǎng)絡(luò)圖譜配置前置機(jī)及網(wǎng)絡(luò)安全設(shè)備并打通網(wǎng)絡(luò)鏈路；數(shù)據(jù)共享平臺(tái)交換工具通過資源提供方提供的service地址、用戶名密碼、傳入?yún)?shù)進(jìn)行服務(wù)調(diào)用獲取數(shù)據(jù)，并把數(shù)據(jù)采集至前置庫中；數(shù)據(jù)交換系統(tǒng)把前置庫中的數(shù)據(jù)采集至中心前置庫中。數(shù)據(jù)要求數(shù)據(jù)要求包括：明確每條記錄中數(shù)據(jù)的主鍵數(shù)據(jù)項(xiàng)，且不能為空；每條記錄中的數(shù)據(jù)需增加一個(gè)時(shí)間戳字段，以方便系統(tǒng)根據(jù)時(shí)間戳識(shí)別增量數(shù)據(jù)（時(shí)間格式為yyyy-MM-ddhh:mm:ss）；每個(gè)文件每行數(shù)據(jù)中存在無效或者刪除數(shù)據(jù)需提供數(shù)據(jù)有效性標(biāo)示字段；按照目錄的匯聚頻率來更新數(shù)據(jù)；服務(wù)調(diào)用必須根據(jù)時(shí)間段進(jìn)行數(shù)據(jù)的采集，輸入?yún)?shù)中必須包含起始時(shí)間參數(shù)和截止時(shí)間參數(shù)。匯聚頻率各單位應(yīng)以增量更新的方式按規(guī)定的頻率進(jìn)行數(shù)據(jù)交換。更新頻率應(yīng)為資源提供方根據(jù)業(yè)務(wù)產(chǎn)生的實(shí)際頻率進(jìn)行定義。命名要求庫表模式資源提供方以庫表模式提供數(shù)據(jù)，需注意庫表的命名格式，庫表的命名應(yīng)以提供方部門首字母_數(shù)據(jù)資源目錄名稱首字母小寫來命名，如省稅務(wù)局的管理員以庫表模式提供的一項(xiàng)數(shù)據(jù)資源目錄名稱為“納稅人信用等級(jí)信息”的庫表，那么該庫表文件的命名應(yīng)為：swj_nsrxydjxx。文件模式資源提供方以文件模式上傳的數(shù)據(jù)，其命名規(guī)則是數(shù)據(jù)資源目錄名稱_上傳該數(shù)據(jù)的日期+順序號(hào)，如省稅務(wù)局的管理員在2020年3月20日以文件方式提供一項(xiàng)數(shù)據(jù)資源目錄名稱為“納稅人信用等級(jí)信息”的Excel文件，那么該文件的命名應(yīng)為：納稅人信用等級(jí)信息_2020032001。注：這里的順序號(hào)是由兩位數(shù)字組成，指的是當(dāng)日上傳此文件的順序。安全保障參照GB/T22239的規(guī)定執(zhí)行。宜采用信息安全等級(jí)保護(hù)為三級(jí)及以上。數(shù)據(jù)匯聚流程數(shù)據(jù)匯聚流程數(shù)據(jù)匯聚流程見圖5。數(shù)據(jù)匯聚流程匯聚準(zhǔn)備階段創(chuàng)建數(shù)據(jù)庫及文件、接口開發(fā)創(chuàng)建數(shù)據(jù)庫創(chuàng)建數(shù)據(jù)庫。數(shù)據(jù)庫要求字符編碼為UTF-8，最大連接數(shù)不少于300；創(chuàng)建數(shù)據(jù)表；創(chuàng)建表索引。為了滿足數(shù)據(jù)交換的性能要求，所有匯聚表的主鍵都應(yīng)創(chuàng)建索引，索引命名規(guī)則為“I_+表名_+主鍵”。當(dāng)索引長(zhǎng)度超出數(shù)據(jù)庫限制時(shí)，索引命名規(guī)則為“表名_+主鍵”。創(chuàng)建文件創(chuàng)建文件夾，準(zhǔn)備數(shù)據(jù)文件。接口開發(fā)資源提供方需準(zhǔn)備好接口地址及可返回參數(shù)的測(cè)試用例，并提供接口說明文檔。存量數(shù)據(jù)處理資源提供方將存量數(shù)據(jù)按本文件的數(shù)據(jù)匯聚標(biāo)準(zhǔn)及代碼集標(biāo)準(zhǔn)進(jìn)行轉(zhuǎn)換處理。資源確認(rèn)省數(shù)據(jù)共享交換平臺(tái)作為資源需求方確認(rèn)待匯聚的數(shù)據(jù)資源，完成數(shù)據(jù)匯聚準(zhǔn)備。資源注冊(cè)、審核、發(fā)布省數(shù)據(jù)共享交換平臺(tái)，將待匯聚數(shù)據(jù)資源進(jìn)行注冊(cè)、審核、發(fā)布。匯聚運(yùn)行階段數(shù)據(jù)更新資源提供方在數(shù)據(jù)庫表創(chuàng)建成功后，按時(shí)間增量的方式進(jìn)行數(shù)據(jù)更新。增量數(shù)據(jù)應(yīng)滿足本文件要求的數(shù)據(jù)匯聚標(biāo)準(zhǔn)；更新頻率按照業(yè)務(wù)產(chǎn)生頻率進(jìn)行更新。數(shù)據(jù)匯聚省數(shù)據(jù)共享交換平臺(tái)負(fù)責(zé)將資源提供方提供的數(shù)據(jù)進(jìn)行數(shù)據(jù)匯聚、處理、加載入庫。數(shù)據(jù)對(duì)賬數(shù)據(jù)對(duì)賬用來對(duì)資源提供方提供的更新數(shù)據(jù)與省數(shù)據(jù)共享交換平臺(tái)接收的數(shù)據(jù)進(jìn)行比對(duì)，保證數(shù)據(jù)一致性。省數(shù)據(jù)共享交換平臺(tái)在每次數(shù)據(jù)更新時(shí)，按批次將更新量寫入數(shù)據(jù)對(duì)賬表，數(shù)據(jù)對(duì)賬表數(shù)據(jù)標(biāo)準(zhǔn)見附錄B；省數(shù)據(jù)共享交換平臺(tái)數(shù)據(jù)對(duì)賬表，數(shù)據(jù)對(duì)賬表示例見表2；省數(shù)據(jù)共享交換平臺(tái)依據(jù)資源提供方上報(bào)的數(shù)據(jù)對(duì)賬單，比對(duì)數(shù)據(jù)量差異，生成數(shù)據(jù)比對(duì)報(bào)告；若存在數(shù)據(jù)差異，啟動(dòng)異常處理流程。數(shù)據(jù)對(duì)賬表Cd_count異常處理省數(shù)據(jù)共享交換平臺(tái)進(jìn)行數(shù)據(jù)處理后，將發(fā)現(xiàn)的異常數(shù)據(jù)反饋給資源提供方，接收到異常數(shù)據(jù)，將異常數(shù)據(jù)核對(duì)修改后重新進(jìn)行提交。特殊情況處理如發(fā)生如下情況，需要通知省數(shù)據(jù)共享交換平臺(tái)，并重新組織全量數(shù)據(jù)更新：資源提供方軟件系統(tǒng)升級(jí)，業(yè)務(wù)數(shù)據(jù)表的唯一標(biāo)識(shí)字段（主鍵）發(fā)生變化；匯聚數(shù)據(jù)內(nèi)容不符合數(shù)據(jù)匯聚標(biāo)準(zhǔn)；增量匯聚機(jī)制出現(xiàn)故障，無法繼續(xù)識(shí)別增量數(shù)據(jù)。

（資料性）

代碼說明代碼說明見表A.1。表A.1代碼說明單位編碼省委網(wǎng)信辦008省委編辦009省委軍民融合辦010省信訪局012省委保密辦015省委機(jī)要局016省檔案局028省新聞出版局029省殘聯(lián)099省發(fā)改委102省教育廳103省科技廳104省工信廳105省民宗委106省公安廳107省民政廳108省司法廳109省財(cái)政廳110省人社廳111省自然資源廳112省生態(tài)環(huán)境廳113省住建廳114省交通廳115省水利廳116省農(nóng)業(yè)農(nóng)村廳117省商務(wù)廳118省文旅廳119

表A.1代碼說明（續(xù)）單位編碼省衛(wèi)健委120省退役軍人事務(wù)廳121省應(yīng)急廳122省審計(jì)廳123省市場(chǎng)監(jiān)管局126省廣播電視局127省體育局128省統(tǒng)計(jì)局129省醫(yī)保局130省地方金融監(jiān)管局131省營(yíng)商環(huán)境建設(shè)監(jiān)督局132省林草局133省機(jī)關(guān)事務(wù)管理局134省扶貧辦136省糧食局138省煤管局141省藥監(jiān)局142省知識(shí)產(chǎn)權(quán)局143省安全廳199省稅務(wù)局201省通信管理局202省郵政局203省氣象局204省煙草專賣局205哈爾濱海關(guān)206黑龍江海事局207國(guó)家統(tǒng)計(jì)局黑龍江調(diào)查隊(duì)208黑龍江地震局209黑龍江煤監(jiān)局210黑龍江測(cè)繪地信局211黑龍江證監(jiān)局212黑龍江銀保監(jiān)局213

表A.1代碼說明（續(xù)）單位編碼人民銀行哈爾濱中心支行214省消防救援總隊(duì)215中國(guó)民用航空黑龍江安全監(jiān)督管理局216中國(guó)鐵路哈爾濱局集團(tuán)有限公司297省電力公司298省聯(lián)通公司299

（資料性）

數(shù)據(jù)對(duì)賬表表B.1規(guī)定了數(shù)據(jù)對(duì)賬表字段名稱和數(shù)據(jù)格式。表B.1數(shù)據(jù)對(duì)賬表(匯聚)up_data_reconciliation序號(hào)名稱字段名稱數(shù)據(jù)格式必填項(xiàng)備注1主鍵IDN20是2表名TableNameC..128是業(yè)務(wù)表名3批次號(hào)Cd_batchC32是每次交換應(yīng)唯一，用于數(shù)據(jù)對(duì)賬4數(shù)據(jù)量Cd_count