2024基于+DPU+的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告-24正式版

[編號(hào)ODCC-2024-03001]基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告開(kāi)放數(shù)據(jù)中心標(biāo)準(zhǔn)推進(jìn)委員會(huì)2024.09發(fā)布基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告版權(quán)聲明制單位共同享有著作權(quán)。轉(zhuǎn)載、摘編或利用其它方式使用ODCC成果中的文字或者觀點(diǎn)的，應(yīng)注明來(lái)源：“開(kāi)放數(shù)據(jù)中心委員會(huì)ODCC”。和翻譯出版等侵權(quán)行為，ODCC合與支持。I基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告編寫(xiě)組項(xiàng)目經(jīng)理：許豪豪中國(guó)移動(dòng)通信集團(tuán)公司工作組長(zhǎng)：何澤坤騰訊科技深圳有限公司貢獻(xiàn)專家：程宇中國(guó)移動(dòng)通信集團(tuán)公司肖愛(ài)元中國(guó)移動(dòng)通信集團(tuán)公司房梽斅中國(guó)移動(dòng)通信集團(tuán)公司儲(chǔ)琴琴中國(guó)移動(dòng)通信集團(tuán)公司董少杰中國(guó)移動(dòng)通信集團(tuán)公司覃小娜中國(guó)移動(dòng)通信集團(tuán)公司裴照華中國(guó)移動(dòng)通信集團(tuán)公司張耀華中國(guó)移動(dòng)通信集團(tuán)公司高堅(jiān)中國(guó)移動(dòng)通信集團(tuán)公司許豪豪中國(guó)移動(dòng)通信集團(tuán)公司劉子軼中國(guó)移動(dòng)通信集團(tuán)公司曹輝中國(guó)移動(dòng)通信集團(tuán)公司王少鵬中國(guó)信息通信研究院孫聰中國(guó)信息通信研究院II基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告目錄版權(quán)聲明.................................................I編寫(xiě)組..................................................一、存算分離數(shù)據(jù)中心架構(gòu)................................1（一）NVMe-oF網(wǎng)絡(luò)存儲(chǔ)協(xié)議............................2（二）存算分離數(shù)據(jù)中心面臨的存儲(chǔ)問(wèn)題.................3二、基于DPU的高性能存儲(chǔ)架構(gòu)及關(guān)鍵技術(shù)..................4（一）RDMA網(wǎng)絡(luò).......................................6RoCE技術(shù).......................................7RDMA技術(shù).......................................8（二）NVMeoverFabric..............................（三）DPU核心技術(shù)...................................11（四）DPU實(shí)現(xiàn)NVMeoF虛擬存儲(chǔ)卸載....................12三、基于DPU的高性能存儲(chǔ)架構(gòu)應(yīng)用場(chǎng)景...................（一）裸金屬場(chǎng)景....................................（二）虛擬化場(chǎng)景....................................四、挑戰(zhàn)與展望.........................................III基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告一、存算分離數(shù)據(jù)中心架構(gòu)題[1]1靈活性，降低存儲(chǔ)成本和維護(hù)難度。圖1數(shù)據(jù)中心存算分離架構(gòu)1基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告存算分離式數(shù)據(jù)中心常用的網(wǎng)絡(luò)協(xié)議為T(mén)CP(TransmissionControlProtocol和RDMA(RemoteDirectMemoryAccess程直接內(nèi)存訪問(wèn))協(xié)議。TCP協(xié)議作為計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)之間的通性和易用性；RDMA則連接存儲(chǔ)服務(wù)器，包括塊服務(wù)器和塊存儲(chǔ)服到計(jì)算機(jī)內(nèi)存中，可旁路CPU控制。為支持更高性能的高速存儲(chǔ)設(shè)NVMe-oF(NVMeoverFabrics存儲(chǔ)介質(zhì)接口)被廣泛采用，旨在解決傳統(tǒng)網(wǎng)絡(luò)存儲(chǔ)協(xié)議在高速存儲(chǔ)設(shè)備上的性能瓶頸。（一）NVMe-oF網(wǎng)絡(luò)存儲(chǔ)協(xié)議NVMe是面向基于PCIe的SSDNVMe-oF協(xié)議基于NVMe協(xié)議設(shè)計(jì)的高性能、低延遲的網(wǎng)NVMe-oF架構(gòu)包括包括NVMeNVMe傳輸層以及網(wǎng)絡(luò)層。2基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告圖2NVMe-oF架構(gòu)[2]NVMe網(wǎng)絡(luò)存儲(chǔ)定義NVMe設(shè)備的結(jié)構(gòu)以及它與主機(jī)的交互方式，包括NVMe的層次結(jié)構(gòu)，即命名空間、控制器、隊(duì)列和數(shù)據(jù)結(jié)構(gòu)等。傳輸層綁定標(biāo)準(zhǔn)將NVMe協(xié)議轉(zhuǎn)換為特定的網(wǎng)絡(luò)傳輸格式。NVMe傳輸層定義NVMe語(yǔ)義基于不同網(wǎng)絡(luò)傳輸層的交互機(jī)制與數(shù)TCPRDMA和FC傳輸保證。（二）存算分離數(shù)據(jù)中心面臨的存儲(chǔ)問(wèn)題3釋放SSD介質(zhì)的能力，要求更高性能的存儲(chǔ)網(wǎng)絡(luò)支持。相比于傳統(tǒng)的iSCSI(InternetSmallComputerSystemInterface計(jì)算機(jī)系統(tǒng)接口協(xié)議，NVMe-oF協(xié)議作為存儲(chǔ)陣列與前端主機(jī)連接的通道，避免將存儲(chǔ)協(xié)議封裝成TCP/IP數(shù)據(jù)包的多次的序列化和反3基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告的時(shí)延。圖3存算分離數(shù)據(jù)中心的新需求基于NVMe-oF存儲(chǔ)網(wǎng)絡(luò)協(xié)議，存算分離數(shù)據(jù)中心仍然面臨挑戰(zhàn)“存儲(chǔ)稅10-20%的主機(jī)服務(wù)器CPU核心需要用于實(shí)現(xiàn)云存儲(chǔ)需要的虛擬化等功能[3]從主機(jī)側(cè)解耦，從而釋放主機(jī)到用戶服務(wù)，并提升存儲(chǔ)訪問(wèn)性能。智算中心已經(jīng)普遍使用NVMe-oF載可以有效幫助智算中心進(jìn)一步向前發(fā)展。二、基于的高性能存儲(chǔ)架構(gòu)及關(guān)鍵技術(shù)隨著網(wǎng)絡(luò)帶寬及存儲(chǔ)性能的不斷提升，以CPU為中心處理這部分網(wǎng)絡(luò)和存儲(chǔ)協(xié)議等占用了服務(wù)器主機(jī)約30%的資源，引入高昂的4基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告“數(shù)據(jù)中心稅[4]。另一方面，隨著CPU性能提升的放緩，通用CPU在處理網(wǎng)絡(luò)和存儲(chǔ)等數(shù)據(jù)中心基礎(chǔ)設(shè)施服務(wù)的能效比降低。DPU(DataProcessingUnit)是一種以數(shù)據(jù)為中心構(gòu)造的專用處理絡(luò)存儲(chǔ)遇到的性能瓶頸?；贒PU的存算分離數(shù)據(jù)中心架構(gòu)如圖4所示，將網(wǎng)絡(luò)存儲(chǔ)協(xié)議從主機(jī)側(cè)CPUCPU與壓縮解壓縮等，能夠進(jìn)一步加快對(duì)存儲(chǔ)數(shù)據(jù)的處理。DPU通過(guò)硬搬運(yùn)次數(shù)、降低訪問(wèn)延遲，從而提高虛擬化環(huán)境下存儲(chǔ)訪問(wèn)的性能。圖4基于DPU的存算分離數(shù)據(jù)中心架構(gòu)5基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告（一）網(wǎng)絡(luò)RDMARemoteDirectMemoryAccess,CPU資源。RDMA具有以下三個(gè)方面的技術(shù)特征：1RDMA的參與，消除了系統(tǒng)調(diào)用開(kāi)銷。2RDMA網(wǎng)卡和應(yīng)用內(nèi)存緩沖區(qū)之間直接傳輸。3CPU卸載：RDMA網(wǎng)卡將傳輸協(xié)議以及底層網(wǎng)絡(luò)協(xié)議固化到硬件。實(shí)現(xiàn)RDMA的協(xié)議主要包括以下三種：（InfiniBandInfiniBandTradeAssociation原生RDMA技術(shù)，其規(guī)定了一整套完整的鏈路層到傳輸層規(guī)范。IBIB技術(shù)的RDMA網(wǎng)絡(luò)需要購(gòu)買(mǎi)和IB網(wǎng)卡配套的系列交換設(shè)備。iWARP（InternetWideAreaRDMAProtocal）基于TCP/IP協(xié)議的RDMA技術(shù)，由IETF標(biāo)準(zhǔn)定義。iWARP支持在標(biāo)準(zhǔn)以太網(wǎng)基礎(chǔ)設(shè)施上使用RDMA技術(shù)，但服務(wù)器需要使用支持iWARP的網(wǎng)卡。6基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告RoCE（RDMAoverConvergedEthernet）基于以太網(wǎng)的RDMAIBTA提出。RoCE將IB而支持在標(biāo)準(zhǔn)以太網(wǎng)基礎(chǔ)設(shè)施上使用RDMARoCE包括v1和兩個(gè)版本，v1版本網(wǎng)絡(luò)層仍然使用了IB使用了UDP+IPRoCE需要交換機(jī)支持無(wú)損以太網(wǎng)傳輸，因此企業(yè)需要采購(gòu)支持RDMA流控的交換機(jī)配合RoCE網(wǎng)卡使用。圖5RDMA協(xié)議綜合考慮性能和價(jià)格，目前業(yè)界比較常用的網(wǎng)絡(luò)方案是InfiniBand方案和RoCEv2方案。1．RoCE技術(shù)RoCE技術(shù)支持在以太網(wǎng)上承載IB協(xié)議，實(shí)現(xiàn)RDMAoverEthernetRoCE與InfiniBand技術(shù)有相同的軟件應(yīng)用層及傳輸控制層，僅網(wǎng)絡(luò)層及以太網(wǎng)鏈路層存在差異，RoCE架構(gòu)如圖5所示。7基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告圖6RoCE架構(gòu)RoCE協(xié)議分為兩個(gè)版本：RoCEv1RDMA它的報(bào)文結(jié)構(gòu)是在原有的IB架構(gòu)的報(bào)文上增加二層以太網(wǎng)的報(bào)文頭，通過(guò)Ethertype0x8915標(biāo)識(shí)RoCE報(bào)文。RoCEv2UDP/IP協(xié)議承載RDMAIB架構(gòu)的報(bào)文上增加頭、IP頭和二層目的端口號(hào)4791標(biāo)識(shí)RoCE報(bào)文。RoCE支持基于源端口號(hào)hash，采用ECMP實(shí)現(xiàn)負(fù)載分擔(dān)，提高網(wǎng)絡(luò)利用率。2．RDMA技術(shù)RDMA的服務(wù)類型，包含連接服務(wù)及數(shù)據(jù)報(bào)服務(wù)，按照可靠性QPQueuePairContext中包含有遠(yuǎn)端節(jié)點(diǎn)8基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告的信的在內(nèi)的對(duì)端信息。數(shù)據(jù)報(bào)服務(wù)與面向連接恰好相反，不會(huì)跟一個(gè)唯一的遠(yuǎn)端節(jié)點(diǎn)綁定，而是通過(guò)WQE（WorkQueueElement）來(lái)指定目的節(jié)點(diǎn)。靠同學(xué)是客戶端與服務(wù)端通信報(bào)文不需要進(jìn)行應(yīng)答的通信方式。按照連接和可靠?jī)蓚€(gè)標(biāo)準(zhǔn)，RDMA可以支持四種不同的傳輸模式：RCReliableConnected）：可靠連接，一個(gè)只和另一個(gè)QP相連，RDMA網(wǎng)卡保證一個(gè)發(fā)出的數(shù)據(jù)包都能夠被另外一個(gè)正確接收。RC連接很類似于TCP連接。（UnreliableConnected只和另一個(gè)相連，連接是不可靠的，所以數(shù)據(jù)包可能有丟失。傳輸層出錯(cuò)的消息不會(huì)進(jìn)行重傳，錯(cuò)誤處理必須由高層的協(xié)議來(lái)進(jìn)行。RD（ReliableDatagram）：可靠數(shù)據(jù)報(bào)，一個(gè)和多個(gè)相連，消息通過(guò)akc/nak機(jī)制可靠的發(fā)送到多個(gè)QP。UDUnreliableDatagram）：不可靠數(shù)據(jù)報(bào)，一個(gè)可以和其它任意的UP/QP進(jìn)行數(shù)據(jù)傳輸和單包數(shù)據(jù)的接收。不保證按序性和9基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告（二）overFabricNVMe-oF是一種基于NVMe處理能力和數(shù)據(jù)處理效率。NVMe-oF目前主要支持三種網(wǎng)絡(luò)協(xié)議，分別是TCP、RDMA與FC(FibreChannel)網(wǎng)絡(luò)。NVMeoverTCP基于現(xiàn)有的IPTCP協(xié)議在網(wǎng)絡(luò)基礎(chǔ)設(shè)施不變的情況下實(shí)現(xiàn)端到端NVMe據(jù)包的分段和重組，引入額外傳輸延遲和開(kāi)銷，因此其性能最差。NVMeoverRDMA基于RDMA網(wǎng)絡(luò)協(xié)議，包括RoCE、IB（InfiniBandiWARPInternetWideAreaRDMAProtocol基于以太網(wǎng)的RoCE目前已成為RDMA的主流網(wǎng)絡(luò)承載方式。該方案允許遠(yuǎn)程主機(jī)直接從存儲(chǔ)器中讀寫(xiě)數(shù)據(jù)，無(wú)需CPU的干預(yù)，從而能計(jì)算和存儲(chǔ)系統(tǒng)。NVMeoverFC協(xié)議標(biāo)準(zhǔn)為FC-NVMe，可復(fù)用傳統(tǒng)的FC網(wǎng)絡(luò)，F(xiàn)C網(wǎng)絡(luò)帶寬限制以及其較高的技術(shù)壁壘，難以推廣應(yīng)用。在本報(bào)告的實(shí)現(xiàn)方式中，采用最為廣泛應(yīng)用的NVMeoverRDMA主要是RoCE為實(shí)現(xiàn)標(biāo)準(zhǔn)。10基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告（三）核心技術(shù)DPU(DataProcessUnits，數(shù)據(jù)處理器)是以數(shù)據(jù)處理為核心的強(qiáng)I/O處理器，采用軟件定義技術(shù)路線支撐基礎(chǔ)設(shè)施層資源虛擬化，存儲(chǔ)、安全服務(wù)質(zhì)量管理等基礎(chǔ)設(shè)施層服務(wù)[5]。網(wǎng)絡(luò)是DPU最基礎(chǔ)的功能之一，通過(guò)卸載TCP/IP協(xié)議棧和虛擬交換機(jī)等方式，加速傳統(tǒng)網(wǎng)絡(luò)處理。加速存儲(chǔ)也是DPU一個(gè)重要的功能，通過(guò)卸載網(wǎng)絡(luò)存儲(chǔ)協(xié)議和執(zhí)行計(jì)算密集型算法，提高存儲(chǔ)訪問(wèn)性能。DPU是一種把數(shù)據(jù)中心的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施云化并接入DPU，質(zhì)量彈性云計(jì)算算力集群。DPU的主要組成部分為[6]：1IO硬件設(shè)備虛擬化2VPCoverlay網(wǎng)絡(luò)硬件加速3EBS分布式存儲(chǔ)接入硬件加速4）本地存儲(chǔ)虛擬化硬件加速5）彈性RDMA6）安全硬件加速7）彈性裸金屬支持8）池化能力基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告（四）實(shí)現(xiàn)NVMeoF虛擬存儲(chǔ)卸載考慮公有云生態(tài)兼容，I/O設(shè)備模型符合標(biāo)準(zhǔn)。因此實(shí)現(xiàn)基于virtio-blk、NVMe等業(yè)界標(biāo)準(zhǔn)I/O設(shè)備模型，成為了必須。NVMe/virtio-blk設(shè)備虛擬化通過(guò)調(diào)度外部存儲(chǔ)資源，基于本地PCIeSSD盤(pán)Host或hypervisorDPU的NVMe或virtio-blk設(shè)備虛署本地存儲(chǔ)資源。任何需要產(chǎn)生IO請(qǐng)求或者訪問(wèn)數(shù)據(jù)的業(yè)務(wù)邏輯，都會(huì)通過(guò)NVMe/virtio-blk設(shè)備虛擬化框架重定向到基于網(wǎng)絡(luò)的對(duì)遠(yuǎn)端存儲(chǔ)。在NVMeoverRDMA協(xié)議的場(chǎng)景，NVMe/virtio-blk設(shè)備虛擬化卸載有三種實(shí)現(xiàn)方式：Non-offload模式圖7Non-offload模式12基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告所有數(shù)據(jù)都經(jīng)過(guò)EmbeddedCPU側(cè)處理，數(shù)據(jù)首先從Host內(nèi)存DMA到EmbeddedCPUEmbeddedCPU側(cè)內(nèi)存DMA到NIC發(fā)送出去。基于SPDK框架實(shí)現(xiàn)，每個(gè)設(shè)備對(duì)應(yīng)一個(gè)SPDKbdeviSCSINVMe-oFRBD實(shí)現(xiàn)自己的存儲(chǔ)協(xié)議Zero-Copy模式圖8Zero-copy模式Zero-copy模式允許應(yīng)用直接從主機(jī)內(nèi)存?zhèn)鬏敂?shù)據(jù)到遠(yuǎn)端存儲(chǔ)，無(wú)需進(jìn)入EmbeddedCPU緩存。DataBuffer可以直接從主機(jī)內(nèi)存?zhèn)鬏數(shù)竭h(yuǎn)端存儲(chǔ)，不再需要兩次DMAHost->EmbeddedCPU,EmbeddedCPU->NICZero-copy模式仍是基于SPDKbdev13基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告實(shí)現(xiàn)，基于RDMAHost、ECPU雙側(cè)內(nèi)存管理和DMA功能，故遠(yuǎn)端存儲(chǔ)必須支持RDMANon-offloadRDMA（或者RoCEFull-offload模式圖9Full-offload模式Full-offload模式進(jìn)一步降低了對(duì)ECPU的占用，完全offload數(shù)full-offload平面完全交給硬件，軟件不能干預(yù)。因此，用戶無(wú)法控制后端設(shè)備，后端設(shè)備是自動(dòng)發(fā)現(xiàn)的，并且無(wú)需命名空間配置管理。三、基于的高性能存儲(chǔ)架構(gòu)應(yīng)用場(chǎng)景14基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告虛擬化成多個(gè)虛擬機(jī)，然后將這些虛擬機(jī)提供給一到多個(gè)用戶使用。DPU卸載的高性能存儲(chǔ)網(wǎng)絡(luò)在裸金屬和虛擬化兩種應(yīng)用場(chǎng)景下，具有不同的性能和功能需求。（一）裸金屬場(chǎng)景應(yīng)用場(chǎng)景，如大型數(shù)據(jù)庫(kù)、高性能計(jì)算等。(NVMe驅(qū)動(dòng))的處理，然后通過(guò)網(wǎng)絡(luò)存儲(chǔ)協(xié)議棧(NVMe-oF驅(qū)動(dòng))的處理到網(wǎng)絡(luò)協(xié)議棧，的下降。遠(yuǎn)程資源本地化是裸金屬場(chǎng)景優(yōu)化的重點(diǎn)，即利用DPU卸載的時(shí)，存儲(chǔ)資源對(duì)主機(jī)只表現(xiàn)為NVMe設(shè)備，裸金屬服務(wù)器可以直接通過(guò)NVMe驅(qū)動(dòng)訪問(wèn)遠(yuǎn)端的存儲(chǔ)，而不需要經(jīng)過(guò)頻繁的上下文切換15基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告與數(shù)據(jù)拷貝（如圖所示），從而利用DPU卸載的高性能存儲(chǔ)網(wǎng)絡(luò)達(dá)到遠(yuǎn)端存儲(chǔ)與本地存儲(chǔ)相同的性能。(a)裸金屬場(chǎng)景網(wǎng)絡(luò)存儲(chǔ)協(xié)議(b)DPU卸載網(wǎng)絡(luò)存儲(chǔ)協(xié)議圖10裸金屬場(chǎng)景下DPU卸載網(wǎng)絡(luò)存儲(chǔ)協(xié)議（二）虛擬化場(chǎng)景虛擬化場(chǎng)景中云服務(wù)提供商通過(guò)虛擬化技術(shù)將物理機(jī)變?yōu)槎鄠€(gè)展性和可靠性。通常被用于需要靈活性和彈性的應(yīng)用場(chǎng)景，如Web應(yīng)用程序、大數(shù)據(jù)分析、軟件開(kāi)發(fā)和測(cè)試等。等。這些內(nèi)存拷貝操作會(huì)占用大量CPU時(shí)間，影響網(wǎng)絡(luò)訪問(wèn)性能。16基于DPU的高性能存儲(chǔ)網(wǎng)絡(luò)技術(shù)報(bào)告耗大量CPU時(shí)間和資源。在虛擬化環(huán)境中，多個(gè)虛擬機(jī)共享一個(gè)物外，在虛擬機(jī)訪問(wèn)網(wǎng)絡(luò)存儲(chǔ)時(shí)，如果使用額外的存儲(chǔ)服務(wù)如加解密、壓縮解壓縮等，不僅需要增加CPU時(shí)間計(jì)算，而且會(huì)增加額外的數(shù)據(jù)拷貝次數(shù)和延遲，性能進(jìn)一步降低。遠(yuǎn)程資源虛擬化是虛擬機(jī)場(chǎng)景優(yōu)化的重點(diǎn)，即利用DPU卸載的高性能存儲(chǔ)網(wǎng)絡(luò)，在主機(jī)側(cè)模擬遠(yuǎn)端存儲(chǔ)設(shè)備成為本地NVMe存儲(chǔ)NVMe設(shè)備