T-CDAA 003-2024 大數(shù)據(jù)應(yīng)用平臺(tái) 數(shù)據(jù)服務(wù)運(yùn)營(yíng)管理技術(shù)要求

團(tuán)體標(biāo)準(zhǔn)BigdataapplicationplatfoDataserviceoperationmanagementtechnicalrequir中關(guān)村云平臺(tái)與數(shù)據(jù)應(yīng)用產(chǎn)業(yè)聯(lián)盟發(fā)布I 2 24.4服務(wù)運(yùn)營(yíng)層 24.5各層之間的關(guān)系 2 2 2 2 3 3 3 4 4 4 5 5 5 6份有限公司、北京優(yōu)炫軟件股份有限公司、統(tǒng)信軟件技術(shù)有限1大數(shù)據(jù)應(yīng)用平臺(tái)數(shù)據(jù)服務(wù)運(yùn)營(yíng)管理技術(shù)要求本文件規(guī)定了數(shù)據(jù)服務(wù)運(yùn)營(yíng)管理的總體架構(gòu)、本文件適用于各行業(yè)的數(shù)據(jù)服務(wù)運(yùn)營(yíng)管理業(yè)務(wù)，滿足各行業(yè)對(duì)數(shù)據(jù)查詢、下載等類型的數(shù)據(jù)服下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用GB/T29262-2012信息技術(shù)面向服務(wù)的體系結(jié)構(gòu)（SOA）術(shù)語(yǔ)GB/T29262-2012界定的以及下列術(shù)語(yǔ)和定義適用于本文3.13.2數(shù)據(jù)服務(wù)運(yùn)營(yíng)管理總體架構(gòu)包括服務(wù)管理層24.2服務(wù)管理層服務(wù)管理層應(yīng)支持服務(wù)開(kāi)發(fā)、服務(wù)目錄管理、配置管理、數(shù)a)服務(wù)開(kāi)發(fā)應(yīng)支持用戶自定義開(kāi)發(fā)創(chuàng)建各種數(shù)據(jù)服務(wù)；b)服務(wù)目錄管理應(yīng)支持服務(wù)的生命周期c)配置管理應(yīng)提供服務(wù)分類管理及標(biāo)簽管4.3服務(wù)網(wǎng)關(guān)層服務(wù)網(wǎng)關(guān)層應(yīng)支持服務(wù)訪問(wèn)通道的控制能力，是后端服務(wù)集成的載體，請(qǐng)求訪問(wèn)時(shí)應(yīng)通過(guò)服務(wù)a)應(yīng)支持服務(wù)策略管理，包括但不限于流量控制策略、數(shù)據(jù)量控制策略、服務(wù)授權(quán)策略等；b)應(yīng)支持服務(wù)的路由轉(zhuǎn)發(fā)、服務(wù)鑒權(quán)4,4服務(wù)運(yùn)營(yíng)層a)在服務(wù)提供前，支持服務(wù)使用者提出需求申請(qǐng)、訂閱申請(qǐng)；b)在服務(wù)運(yùn)行中，支持服務(wù)使用情況的統(tǒng)計(jì)分析；b)服務(wù)網(wǎng)關(guān)層為服務(wù)管理層提供服務(wù)管控的載體，為服務(wù)運(yùn)營(yíng)層提供運(yùn)營(yíng)統(tǒng)計(jì)所需的日志數(shù)服務(wù)開(kāi)發(fā)支持多種服務(wù)開(kāi)發(fā)方式，應(yīng)提供可視化服務(wù)開(kāi)發(fā)頁(yè)面，支持對(duì)接服務(wù)構(gòu)建引擎、對(duì)接結(jié)構(gòu)化數(shù)據(jù)庫(kù)服務(wù)開(kāi)發(fā)、以及服務(wù)編排等開(kāi)發(fā)方式a)服務(wù)基本信息。應(yīng)支持服務(wù)基本信息的編輯，基本信息包括但不限于：服務(wù)名稱、服務(wù)版b)服務(wù)重建。應(yīng)支持對(duì)創(chuàng)建失敗的服務(wù)，按照創(chuàng)建策略重新進(jìn)行創(chuàng)建；c)服務(wù)開(kāi)發(fā)方式包括但不限于對(duì)接服務(wù)構(gòu)建引擎、對(duì)接結(jié)構(gòu)化數(shù)據(jù)庫(kù)、服務(wù)編排，具體要求1)對(duì)接服務(wù)構(gòu)建引擎。通過(guò)選擇服務(wù)構(gòu)建引擎提供的數(shù)據(jù)集，完成對(duì)數(shù)據(jù)集的設(shè)置，列表支持篩選數(shù)據(jù)集，展示數(shù)據(jù)集的詳情和數(shù)據(jù)量。選定數(shù)據(jù)集后，進(jìn)行服務(wù)的輸入?yún)?shù)與輸出參數(shù)配置，并支持根據(jù)數(shù)據(jù)集字段進(jìn)行數(shù)據(jù)范圍控35.1.2.1服務(wù)生命周期管理b)服務(wù)發(fā)布。應(yīng)支持服務(wù)發(fā)布功能，實(shí)現(xiàn)數(shù)據(jù)服務(wù)共享展示；c)服務(wù)啟停。應(yīng)支持服務(wù)啟停狀態(tài)控制功能，實(shí)現(xiàn)對(duì)服務(wù)網(wǎng)關(guān)啟停指令的下發(fā)；e)服務(wù)下架。當(dāng)服務(wù)信息發(fā)生變化或需要注銷時(shí)，應(yīng)支持將服務(wù)目錄上的數(shù)據(jù)服務(wù)進(jìn)行下架5.1.2.2服務(wù)規(guī)約管理服務(wù)規(guī)約用于服務(wù)注冊(cè)到服務(wù)目錄時(shí)進(jìn)行服務(wù)引用和檢測(cè)，包括服務(wù)功能、請(qǐng)求信息、響應(yīng)信a)應(yīng)支持服務(wù)規(guī)約的導(dǎo)入、刪除及查詢；b)服務(wù)規(guī)約信息包括但不限于服務(wù)規(guī)約標(biāo)識(shí)符、版本號(hào)、服務(wù)規(guī)約名稱、簡(jiǎn)要情況、接口語(yǔ)5.1.2.3服務(wù)列表管理服務(wù)列表管理范圍包括自行開(kāi)發(fā)服務(wù)及第三方服務(wù)，應(yīng)支持將數(shù)據(jù)服務(wù)批量導(dǎo)入服務(wù)列表，并5.1.3.1分類管理服務(wù)分類管理支持服務(wù)分類設(shè)置以及服務(wù)類型的查詢、添加a)應(yīng)支持多級(jí)服務(wù)類型的查詢、添加、編輯、刪除、啟停等；b)應(yīng)支持服務(wù)類型的創(chuàng)建和編輯，服務(wù)類型信息包括但不限于服務(wù)類型名稱、服務(wù)分類、說(shuō)5.1.3.2標(biāo)簽管理標(biāo)簽管理支持標(biāo)簽分類設(shè)置以及標(biāo)簽的查詢、添加、編輯、刪除、啟停等管理功能，具體要求b)應(yīng)支持標(biāo)簽的創(chuàng)建和編輯，標(biāo)簽信息包括但不限于標(biāo)簽名稱、標(biāo)簽分類、標(biāo)簽說(shuō)明、狀態(tài)c)通過(guò)標(biāo)簽啟?？刂茦?biāo)簽的狀態(tài)，停用的標(biāo)簽不可在服務(wù)上引用。5.1.4.1數(shù)據(jù)源資源池a)應(yīng)支持?jǐn)?shù)據(jù)源創(chuàng)建、編輯、連接、探查、刪除等，數(shù)據(jù)源信息包括但不限于連接名稱、數(shù)c)針對(duì)連接正常的數(shù)據(jù)源，應(yīng)支持通過(guò)探查功能發(fā)現(xiàn)系統(tǒng)中的數(shù)據(jù)表，選定數(shù)據(jù)表后采集數(shù)5.1.4.2數(shù)據(jù)資源管理數(shù)據(jù)資源管理可以通過(guò)數(shù)據(jù)源資源池探查自動(dòng)生成，也可以手動(dòng)生成。手動(dòng)生成需要與已有的數(shù)據(jù)源資源池建立關(guān)聯(lián)，引用數(shù)據(jù)源資源池的數(shù)據(jù)庫(kù)信息。數(shù)據(jù)資源支持創(chuàng)建、編輯功能，具體要a)應(yīng)支持?jǐn)?shù)據(jù)資源手動(dòng)創(chuàng)建功能，數(shù)據(jù)資源信息包括但不限于中文名稱、英文名稱、說(shuō)b)應(yīng)支持?jǐn)?shù)據(jù)資源編輯，可以對(duì)數(shù)據(jù)資源表及表結(jié)5.2.1.1策略控制方式管理5.2.1.2流量控制策略管理通過(guò)設(shè)置流量控制策略，可以對(duì)服務(wù)訪問(wèn)流量進(jìn)行主動(dòng)控制。流量控制策略包括瞬時(shí)流控、單a)瞬時(shí)流控。應(yīng)支持設(shè)置瞬時(shí)控制時(shí)間及瞬時(shí)請(qǐng)求限額，服務(wù)訪問(wèn)時(shí)，當(dāng)時(shí)間范圍內(nèi)的請(qǐng)求次數(shù)達(dá)到瞬時(shí)請(qǐng)求限額時(shí)，服務(wù)網(wǎng)關(guān)實(shí)施服務(wù)限制，即控制時(shí)間范圍內(nèi)的b)單日請(qǐng)求次數(shù)限制。應(yīng)支持設(shè)置單日請(qǐng)求上限，達(dá)到上限后，當(dāng)日內(nèi)服務(wù)不可訪問(wèn)；5.2.1.3數(shù)據(jù)量控制策略管理通過(guò)設(shè)置數(shù)據(jù)量控制策略，可以對(duì)服務(wù)返回?cái)?shù)據(jù)記錄條數(shù)大小的請(qǐng)求進(jìn)行控制。數(shù)據(jù)量控制策a)數(shù)據(jù)查詢量達(dá)到限額時(shí)，服務(wù)網(wǎng)關(guān)應(yīng)對(duì)查詢服務(wù)進(jìn)行當(dāng)日或永久訪問(wèn)限制；5.2.1.4服務(wù)授權(quán)策略管理a)應(yīng)支持針對(duì)用戶和應(yīng)用進(jìn)行授權(quán)；b)白名單用戶無(wú)需進(jìn)行服務(wù)使用授權(quán)申請(qǐng)，可調(diào)用任意服務(wù)；c)白名單應(yīng)用無(wú)需進(jìn)行服務(wù)使用授權(quán)申請(qǐng)，可直接調(diào)用服務(wù)。5.2.2.1路由轉(zhuǎn)發(fā)5服務(wù)網(wǎng)關(guān)應(yīng)支持接收服務(wù)訪問(wèn)請(qǐng)求，并根據(jù)服務(wù)訪問(wèn)地址和轉(zhuǎn)發(fā)規(guī)則，自動(dòng)對(duì)請(qǐng)求的服務(wù)進(jìn)行5.2.2.2服務(wù)鑒權(quán)為保障服務(wù)請(qǐng)求安全性，應(yīng)支持對(duì)不同維度的服務(wù)使用請(qǐng)求進(jìn)行鑒權(quán)，包括用戶鑒權(quán)與應(yīng)用鑒a)用戶鑒權(quán)：服務(wù)訪問(wèn)時(shí)，服務(wù)網(wǎng)關(guān)根據(jù)服務(wù)請(qǐng)求的用戶信息獲得服務(wù)授權(quán)策略，基于授權(quán)策略進(jìn)行鑒權(quán)，鑒權(quán)通過(guò)的請(qǐng)求可正常訪問(wèn)，鑒權(quán)失敗的請(qǐng)求拒b)應(yīng)用鑒權(quán)：服務(wù)訪問(wèn)時(shí)，服務(wù)網(wǎng)關(guān)根據(jù)服務(wù)請(qǐng)求的應(yīng)用信息獲得服務(wù)授權(quán)策略，基于授權(quán)策略進(jìn)行鑒權(quán)，鑒權(quán)通過(guò)的請(qǐng)求可正常訪問(wèn)，鑒權(quán)失敗的請(qǐng)求拒5.2.2.3服務(wù)限流為保證服務(wù)請(qǐng)求量可控，服務(wù)網(wǎng)關(guān)應(yīng)支持對(duì)服務(wù)請(qǐng)求執(zhí)行限流5.2.2.4統(tǒng)計(jì)日志服務(wù)網(wǎng)關(guān)應(yīng)對(duì)所有轉(zhuǎn)發(fā)的服務(wù)請(qǐng)求記錄服務(wù)歷史調(diào)用日志。歷史調(diào)用日志信息包括但不限于請(qǐng)求方信息、服務(wù)請(qǐng)求信息、請(qǐng)求轉(zhuǎn)發(fā)信息、服務(wù)響應(yīng)信息等，具體要b)服務(wù)請(qǐng)求信息記錄具體的服務(wù)請(qǐng)求參數(shù)，包括但不限于請(qǐng)求頭、請(qǐng)求體、請(qǐng)求服務(wù)名稱、d)服務(wù)響應(yīng)信息記錄服務(wù)響應(yīng)請(qǐng)求的情況，包括但不限于響應(yīng)狀態(tài)、響應(yīng)參數(shù)、a)應(yīng)支持在線發(fā)起服務(wù)需求申請(qǐng)，服務(wù)需求申請(qǐng)信息包括但不限于需求名稱、需求描述、服c)應(yīng)支持對(duì)已訂閱服務(wù)進(jìn)行查詢、詳情查看、續(xù)期、退訂等管理操作，具體要求如下：服務(wù)運(yùn)營(yíng)統(tǒng)計(jì)提供完整的運(yùn)營(yíng)指標(biāo)統(tǒng)計(jì)，通過(guò)多個(gè)維度的量化指標(biāo)，對(duì)服務(wù)總體情況、服務(wù)使a)服務(wù)總體情況統(tǒng)計(jì)，包括按時(shí)間統(tǒng)計(jì)服務(wù)注冊(cè)數(shù)量、按服務(wù)分類統(tǒng)計(jì)服務(wù)數(shù)量及占比、按b)服務(wù)使用情況統(tǒng)計(jì)，包括按時(shí)間統(tǒng)計(jì)服務(wù)請(qǐng)求次數(shù)、按請(qǐng)求方組織機(jī)構(gòu)統(tǒng)計(jì)分布比例、按服務(wù)請(qǐng)求統(tǒng)計(jì)訪問(wèn)量及占比熱度排行、按服務(wù)及時(shí)間統(tǒng)計(jì)各類數(shù)據(jù)訪問(wèn)請(qǐng)求次數(shù)與數(shù)據(jù)返c)服務(wù)性能統(tǒng)計(jì)，包括服務(wù)超時(shí)響應(yīng)總次數(shù)、超時(shí)響應(yīng)服務(wù)請(qǐng)求占比、月平均服務(wù)超時(shí)響應(yīng)次數(shù)、按時(shí)間維度及服務(wù)維度統(tǒng)計(jì)的平均響應(yīng)次數(shù)、超時(shí)響應(yīng)的請(qǐng)求次數(shù)、平均請(qǐng)求響應(yīng)d)服務(wù)穩(wěn)定性統(tǒng)計(jì)，包括但按服務(wù)統(tǒng)計(jì)無(wú)故障運(yùn)行時(shí)長(zhǎng)、前三次累計(jì)服務(wù)故障持續(xù)時(shí)間、按時(shí)間統(tǒng)計(jì)服務(wù)故障次數(shù)排行、服務(wù)出現(xiàn)故障的總恢復(fù)和時(shí)間e)服務(wù)安全性統(tǒng)計(jì)，包括按時(shí)間統(tǒng)計(jì)服務(wù)授權(quán)及未授權(quán)請(qǐng)求的次數(shù)、按請(qǐng)求部門統(tǒng)計(jì)發(fā)起未5.3