2023分布式存儲多協(xié)議融合互通技術(shù)規(guī)范

PAGEPAGE12分布式存儲多協(xié)議融合互通技術(shù)規(guī)范目錄前言 3一、范圍 7二、規(guī)范性引用文件 7三、術(shù)語和縮略語 7（一）術(shù)語 7融合Convergence 7多協(xié)議融合互通Multi-protocolconvergenceand3．命名空間 NameSpace 7（二）縮略語 7四、系統(tǒng)概述 8五、功能要求 9（一）基礎(chǔ)級 9多協(xié)議要求 9小文件加速訪問功能要求 10多租戶功能要求 10配額功能要求 10服務(wù)質(zhì)量控制功能要求 11分級存儲功能要求 11快照功能要求 11回收站功能要求 11加密功能要求 12（二）增強級 12語義互通要求 12配額功能要求 12多租戶功能要求 13服務(wù)質(zhì)量控制功能要求 13分級存儲功能要求 13快照功能要求 13遠程復(fù)制功能要求 14數(shù)據(jù)加密要求 14回收站功能要求 14六、運維管理 14（一）配置管理要求 14（二）系統(tǒng)監(jiān)控要求 14（三）在線升級要求 15七、可靠性 15（一）數(shù)據(jù)冗余要求 15（二）故障修復(fù)要求 15（三）硬盤誤插拔修復(fù)要求 15（四）亞健康檢測要求 16八、兼容性 16（一）管理平臺兼容性要求 16（二）NAS版本兼容性 16（三）對象版本兼容性 16（四）大數(shù)據(jù)平臺兼容性要求 16九、性能 17（一）基礎(chǔ)級 17業(yè)務(wù)性能 17數(shù)據(jù)重構(gòu)要求 17（二）增強級 18十、安全 18（一）管理員安全要求 18（二）業(yè)務(wù)安全要求 19基礎(chǔ)級 19增強級 19（三）數(shù)據(jù)加密 19十一、硬件 19（一）處理器要求 19（二）內(nèi)存要求 19（三）緩存要求 20（四）網(wǎng)卡要求 20十二、網(wǎng)絡(luò) 20（一）網(wǎng)絡(luò)隔離要求 20（二）RoCE網(wǎng)絡(luò)要求 21一、范圍本規(guī)范規(guī)定了非結(jié)構(gòu)化數(shù)據(jù)訪問協(xié)議文件、對象、HDFS本規(guī)范適用于多協(xié)議融合互通的分布式存儲產(chǎn)品選型及測評參考。二、規(guī)范性引用文件下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。YD/T4029-2022 計算存儲分離架構(gòu)的分布式存儲技術(shù)要求三、術(shù)語和縮略語（一）術(shù)語1．融合Convergence一套分布式存儲系統(tǒng)能夠提供文件、對象、大數(shù)據(jù)數(shù)據(jù)訪問能力。2．多協(xié)議融合互通Multi-protocolconvergenceandinterworking通過一種協(xié)議寫入的文件，可以同時被其他協(xié)議讀寫訪問。3．命名空間NameSpace存儲系統(tǒng)的邏輯組成單元，用戶的文件和目錄都存放在命名空間內(nèi)。（二）縮略語縮略語英文全名中文解釋ACLAccessControlList訪問控制列表HDFSHadoop Distributed SystemHadoop分布式文件系統(tǒng)HPCHigh-performancecomputing高性能計算LDAPLightweight DirectoryAccessProtocol輕型目錄訪問協(xié)議NASnetwork-attachedstorage網(wǎng)絡(luò)存儲NFSnetworkfilesystem網(wǎng)絡(luò)文件系統(tǒng)SMBServerMessageBlock文件共享傳輸協(xié)議四、系統(tǒng)概述早期的存儲系統(tǒng)受限于單套系統(tǒng)的性能和擴展能力，一般是按照業(yè)務(wù)系統(tǒng)垂直建設(shè)。隨著分布式存儲技術(shù)的成熟，單套分布式存儲系統(tǒng)能夠同時提PBEB效率低且空間浪費，多協(xié)議互通的分布式存儲系統(tǒng)應(yīng)運而生，一份數(shù)據(jù)能夠被多種協(xié)議同時訪問，融合互通的分布式存儲成為產(chǎn)業(yè)趨勢。再進一步，提供原生的文件、對象、HDFS1圖1多協(xié)議融合互通分布式存儲系統(tǒng)示意圖本文件分兩個級別定義分布式存儲協(xié)議融合互通技術(shù)能力，基礎(chǔ)級別規(guī)定多協(xié)議融合分布式存儲技術(shù)要求，增強級別規(guī)定在多協(xié)議融合的基礎(chǔ)上增加數(shù)據(jù)跨協(xié)議互通的分布式存儲技術(shù)要求。五、功能要求（一）基礎(chǔ)級多協(xié)議要求應(yīng)符合以下技術(shù)要求：單套存儲系統(tǒng)同時支持文件/大數(shù)據(jù)/NFS、SMB、S3HDFSNFSmount、mkdir、count、rm、mv、cp，NFStruncate,軟硬鏈接，rename，rename文件夾等操作；SMB查看文件、修改文件；S3AWS(AmazonWebServices)S3put、getlistobject，對象ACL,桶的生命周期管理，對象的多版本，對象的自定義元數(shù)據(jù)、對象的多段上傳等接口；HDFSappend、truncate、hsync、hflush、rename、moveconcat、setfacl、setxattr小文件加速訪問功能要求應(yīng)符合YD/T4029-2022中5.6節(jié)的要求。多租戶功能要求應(yīng)符合以下技術(shù)要求：a)NFS/SMB、HDFS、S3等協(xié)議支持多租戶；b)ADLDAPNISc)IP/IP配額功能要求YD/T4029-20225.7a）b），并應(yīng)符合如下技術(shù)要求：a)b)支持容量配額，當(dāng)文件總?cè)萘窟_到上限，即限制新文件的寫入；c)支持文件數(shù)配額，當(dāng)文件數(shù)達到上限，即限制新文件的寫入；d)支持用戶和用戶組的配額，當(dāng)用戶或用戶組的容量或個數(shù)到達配置的上限時，即限制該用戶或用戶組的新數(shù)據(jù)寫入。應(yīng)符合如下技術(shù)要求：NameSpaceOPS（個/S）和帶寬（MB/S）6．分級存儲功能要求符合如下技術(shù)要求：NameSpace型的存儲介質(zhì)；c)應(yīng)支持設(shè)置數(shù)據(jù)回遷策略，回遷策略生效后，數(shù)據(jù)自動回遷?？煺展δ芤蠓先缦录夹g(shù)要求：a)NFS/SMB/HDFS均應(yīng)受快照保護；b)支持瞬時快照，生成快照時對整系統(tǒng)性能的影響宜小于5%；c)配額宜包含快照空間的容量?；厥照竟δ芤髴?yīng)符合如下技術(shù)要求：所有協(xié)議支持回收站功能;9．加密功能要求NFS/SMB/HDFS/S3協(xié)議的數(shù)據(jù)均應(yīng)支持加密功能。（二）增強級語義互通要求符合以下技術(shù)要求：多協(xié)議互通的數(shù)據(jù)應(yīng)共用同一塊物理空間,任意一個文件/NFS/SMB、HDFS、S3NFS/SMB、HDFSS3POSIX/MPI-IOHPC（High-performancecomputing）場景，POSIX/MPI-IONFS/SMB、HDFS、S3件；S3流量；HDFS，HDFS能力；NFS/SMBHDFS配額功能要求符合如下技術(shù)要求：額限制和統(tǒng)計；應(yīng)支持用戶對于自己的文件系統(tǒng)容量和文件數(shù)量的查詢。多租戶功能要求UnixWindows對象用戶；射，實現(xiàn)多租戶的互聯(lián)互通。服務(wù)質(zhì)量控制功能要求OPS（個/S）和帶寬（MB/S）QoS，QoS分級存儲功能要求宜支持分級到藍光存儲等歸檔冷存儲，支持通過任意協(xié)議從多協(xié)議融合互通分布式存儲訪問歸檔冷存儲，支持藍光存儲直接訪問?？煺展δ芤笠朔先缦录夹g(shù)要求：a)一次快照，NFS/SMB/HDFSb)S3協(xié)議宜支持列舉NFS/SMB/HDFS協(xié)議產(chǎn)生的快照文件，訪問快照數(shù)據(jù)遠程復(fù)制功能要求宜支持跨區(qū)域的遠程復(fù)制功能，任何協(xié)議數(shù)據(jù)都可被復(fù)制，且復(fù)制后任意可以可訪問。數(shù)據(jù)加密要求任意一個加密文件應(yīng)支持被NFS/SMB、HDFS、S3等協(xié)議同時讀寫?；厥照竟δ芤笾С炙袇f(xié)議共享回收站，回收站中的數(shù)據(jù)任意一種協(xié)議都可以訪問。六、運維管理（一）配置管理要求符合如下技術(shù)要求：a)應(yīng)支持圖形管理界面，提供管理員配置存儲系統(tǒng)所需的圖形化流程；b)應(yīng)支持存儲池配置、NameSpace配置、訪問接口配置、權(quán)限配置等。（二）系統(tǒng)監(jiān)控要求符合如下技術(shù)要求：a)b)應(yīng)支持性能監(jiān)控，如帶寬、IOPS；c)應(yīng)支持告警篩選，郵件告警通知，告警導(dǎo)出；d)應(yīng)支持日志記錄和日志導(dǎo)出。（三）在線升級要求應(yīng)支持分布式存儲系統(tǒng)軟件、硬件驅(qū)動在線升級和補丁。七、可靠性（一）數(shù)據(jù)冗余要求符合如下技術(shù)要求：應(yīng)支持數(shù)據(jù)糾刪碼方式保護，支持+2、+2:1EC2應(yīng)支持數(shù)據(jù)中心級故障防護，保證故障一個數(shù)據(jù)中心，數(shù)據(jù)不丟失；宜支持+3、+3:1、+4、+4:1EC4故障，業(yè)務(wù)不中斷，數(shù)據(jù)不丟失；22+220+4EC，用率降低成本。（二）故障修復(fù)要求符合如下技術(shù)要求：a)b)DIF。（三）硬盤誤插拔修復(fù)要求10有效，不會啟動數(shù)據(jù)重構(gòu)。（四）亞健康檢測要求符合如下技術(shù)要求：應(yīng)支持慢盤檢測和告警，存儲系統(tǒng)自動隔離慢盤；b)隔離該節(jié)點。八、兼容性（一）管理平臺兼容性要求應(yīng)支持通過Rest接口對接管理平臺。（二）NAS版本兼容性a)NFSV3,V4SMBSMB2.0/2.1/3.0MPIOpenMPI、MPICH、HyperMPI。（三）對象版本兼容性符合如下技術(shù)要求：AWSS3V2/V4RESTAPI.JAVA、Python、C,.NET、iOS、Android、GOSDK。（四）大數(shù)據(jù)平臺兼容性要求符合如下技術(shù)要求：ClouderaCDH、HortonworksHDPHuaweiFusionInsight、TranswarpTDH；用存儲資源。九、性能（一）基礎(chǔ)級1．業(yè)務(wù)性能多協(xié)議融合互通的每種訪問協(xié)議性能考察指標(biāo)如下：NFS/SMBOPSNFS/SMBS3TPSS3HDFSHbase2．?dāng)?shù)據(jù)重構(gòu)要求符合如下技術(shù)要求：a)應(yīng)能在硬盤故障后，自動開始數(shù)據(jù)重構(gòu)，不需要人工干預(yù)；b)數(shù)據(jù)重構(gòu)速度應(yīng)大于2TB/H的；c)數(shù)據(jù)重構(gòu)對業(yè)務(wù)性能影響應(yīng)小于20%。（二）增強級多協(xié)議融合互通的跨協(xié)議性能考察，大文件和小文件通過某種協(xié)議寫入，通過另外一種協(xié)議讀出情況的性能呈現(xiàn)，具體指標(biāo)如下：NFS/SMBS3和平均響應(yīng)時間；S3NFSops均響應(yīng)時間；NFS/SMBHDFSopsHDFSNFSops平均響應(yīng)時間；S3HDFSops均響應(yīng)時間；HDFSS3ops均響應(yīng)時間。十、安全（一）管理員安全要求符合如下技術(shù)要求：a)應(yīng)支持系統(tǒng)管理員、普通用戶等多級管理權(quán)限控制；b)應(yīng)支持強密碼復(fù)雜度策略；應(yīng)支持用戶登錄鎖定機制，以便防止暴力破解；密碼采取安全的加密算法加密存儲和傳輸。（二）業(yè)務(wù)安全要求基礎(chǔ)級符合如下技術(shù)要求：應(yīng)具備本地安全認證和第三方安全認證（NIS、AD或LDAP）；b)Kerberos，LDAP增強級NFS、SMB、S3、HDFS息互通。（三）數(shù)據(jù)加密符合如下技術(shù)要求：a)應(yīng)支持對租戶、NameSpace應(yīng)支持秘鑰備份、恢復(fù)和秘鑰申請、更新、銷毀功能；c)十一、硬件（一）處理器要求符合如下技術(shù)要求：a)應(yīng)支持x86