(高清版)GB∕T 37722-2019 信息技術(shù) 大數(shù)據(jù)存儲(chǔ)與處理系統(tǒng)功能要求

ICS35.240GB/T37722—2019大數(shù)據(jù)存儲(chǔ)與處理系統(tǒng)功能要求國(guó)家市場(chǎng)監(jiān)督管理總局中國(guó)國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)GB/T37722—2019 Ⅲ 1 13術(shù)語(yǔ)和定義 1 2 26大數(shù)據(jù)存儲(chǔ)子系統(tǒng)功能要求 36.1基本要求 36.2分布式文件存儲(chǔ) 36.3分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ) 36.4分布式列式數(shù)據(jù)存儲(chǔ) 36.5分布式圖數(shù)據(jù)存儲(chǔ) 47大數(shù)據(jù)處理子系統(tǒng)功能要求 47.1基本要求 47.2批處理框架 47.3流處理框架 4 57.5內(nèi)存計(jì)算框架 57.6批流融合計(jì)算框架 5IⅢGB/T37722—2019本標(biāo)準(zhǔn)按照GB/T1.1—2009給出的規(guī)則起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)任。本標(biāo)準(zhǔn)由全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)(SAC/TC28)提出并歸口。1GB/T37722—2019信息技術(shù)大數(shù)據(jù)存儲(chǔ)與處理系統(tǒng)功能要求的功能要求。2規(guī)范性引用文件下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文GB/T35295—2017信息技術(shù)大數(shù)據(jù)術(shù)語(yǔ)GB/T35295—2017界定的以及下列術(shù)語(yǔ)和定義適用于本文件。3.1一種應(yīng)用圖理論存儲(chǔ)實(shí)體及其之間關(guān)系信息的非關(guān)系型數(shù)據(jù)庫(kù)。注1:圖數(shù)據(jù)庫(kù)的數(shù)據(jù)模型由節(jié)點(diǎn)及邊組成(即節(jié)點(diǎn)間關(guān)系)。注2:圖數(shù)據(jù)庫(kù)支持圖查詢、圖遍歷及圖分析等功能，適用于復(fù)雜關(guān)系的探索與發(fā)現(xiàn)。3.2將一個(gè)大型作業(yè)分解成為多個(gè)任務(wù)交由多個(gè)節(jié)點(diǎn)分別處理，再將分解后多個(gè)任務(wù)處理的結(jié)果匯總3.33.43.52GB/T37722—2019API:應(yīng)用程序編程接口(ApplicationProgrammingInterface)CEP:復(fù)雜事件處理(ComplexEventProcessing)CPU:中央處理器(CentralProceDAG:有向無(wú)環(huán)圖(DirectedAcyclicGraph)GPU:圖形處理器(GraphicsProcessingUnit)MPI:消息傳遞接口(MessagePassiTCP:傳輸控制協(xié)議(TransmissionControlProtocol)框架子系統(tǒng)大數(shù)據(jù)處理子系統(tǒng)大數(shù)據(jù)存儲(chǔ)框架3GB/T37722—20196大數(shù)據(jù)存儲(chǔ)子系統(tǒng)功能要求之間交換數(shù)據(jù)和文件；d)應(yīng)具備關(guān)鍵節(jié)點(diǎn)(部件)高可用性設(shè)計(jì)與要求；e)宜提供數(shù)據(jù)自動(dòng)備份和手動(dòng)備份的功能；c)應(yīng)提供文件數(shù)據(jù)的校驗(yàn)和同步功能，保證數(shù)據(jù)的e)應(yīng)提供存儲(chǔ)數(shù)據(jù)的壓縮和加解密功能；h)宜提供小文件打包成大文件集中存儲(chǔ)的功能；b)應(yīng)提供API接口實(shí)現(xiàn)數(shù)據(jù)的各類查詢操作；c)應(yīng)提供多表關(guān)聯(lián)功能；d)應(yīng)支持?jǐn)?shù)據(jù)分布式存儲(chǔ)的一致性；f)宜支持行列轉(zhuǎn)換。分布式列式數(shù)據(jù)存儲(chǔ)要求如下：a)應(yīng)提供數(shù)據(jù)以鍵值形式進(jìn)行存儲(chǔ)的功能；c)應(yīng)提供按照用戶需要對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行列加密的功能；e)宜提供多級(jí)索引功能；f)宜提供將多個(gè)具有類似功能或存在關(guān)聯(lián)的業(yè)務(wù)表合并存儲(chǔ)的功能。4GB/T37722—2019分布式圖數(shù)據(jù)存儲(chǔ)要求如下：a)應(yīng)支持由節(jié)點(diǎn)及邊組成(即節(jié)點(diǎn)間關(guān)系)的數(shù)據(jù)模型；c)應(yīng)支持主流圖數(shù)據(jù)庫(kù)開發(fā)接口；g)宜支持長(zhǎng)任務(wù)異步會(huì)話機(jī)制。7大數(shù)據(jù)處理子系統(tǒng)功能要求b)應(yīng)支持計(jì)算框架的水平擴(kuò)展；d)應(yīng)支持對(duì)全局資源的集中管理；e)應(yīng)支持靜態(tài)資源分配策略和動(dòng)態(tài)資源分配策略；超過(guò)分配給該隊(duì)列的資源上限；k)宜支持自動(dòng)完成作業(yè)調(diào)度，并支持作業(yè)內(nèi)多任務(wù)以無(wú)回路有向圖形式描述的依賴關(guān)系；批處理框架要求如下：b)應(yīng)支持離線計(jì)算任務(wù)進(jìn)度與狀態(tài)的實(shí)時(shí)上報(bào)；c)應(yīng)支持多節(jié)點(diǎn)離線任務(wù)聯(lián)動(dòng)執(zhí)行；d)應(yīng)支持分析任務(wù)的多種語(yǔ)言開發(fā)接口；e)應(yīng)支持作業(yè)調(diào)度；g)應(yīng)支持批處理計(jì)算框架運(yùn)行在分布式資源管理之上。隊(duì)列或者進(jìn)行持久化；GB/T37722—2019a)應(yīng)提供內(nèi)置圖數(shù)據(jù)查詢類的API,支持同步計(jì)算模型或異步計(jì)算模型編寫迭代算法；c)應(yīng)支持提供在線圖分析和查詢功能；f)應(yīng)支持實(shí)現(xiàn)水平擴(kuò)展的分布式圖計(jì)算和查詢；g)應(yīng)支持圖數(shù)據(jù)的并發(fā)查詢。a)應(yīng)支持通過(guò)分布式內(nèi)存計(jì)算和DAG執(zhí)行引擎提供數(shù)據(jù)處理能力；e)宜支持與非關(guān)系型數(shù)據(jù)庫(kù)對(duì)接，即不遷移數(shù)據(jù)的前提下讀取非關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)。批流融合計(jì)算框架要求如下：a)應(yīng)支持批流融合統(tǒng)一查詢SQL語(yǔ)言；b)應(yīng)支持多種場(chǎng)景下的流式SQL,如位置信息分析等；e)宜支持批流融合的計(jì)算引擎；