紫金山實(shí)驗(yàn)室：2024年智算網(wǎng)絡(luò)技術(shù)與產(chǎn)業(yè)白皮書

目 錄前 言 I目 錄 III一智算絡(luò)技與產(chǎn)發(fā)展況 1（）政態(tài)勢 1（）產(chǎn)形勢 3（）技趨勢 6二智算業(yè)對網(wǎng)絡(luò)核心求 （）網(wǎng)帶寬求 （）網(wǎng)時延求 （）網(wǎng)抖動求 12（）網(wǎng)丟包求 13三智算群內(nèi)絡(luò)關(guān)技術(shù) 15（）新網(wǎng)絡(luò)構(gòu) 15（）超可編轉(zhuǎn)發(fā)術(shù) 22（）無網(wǎng)絡(luò)術(shù) 26（）網(wǎng)負(fù)載衡技術(shù) 40（）端協(xié)同的NetMind跨通信構(gòu) 46四智算群間絡(luò)關(guān)技術(shù) 50（）光融合網(wǎng)與由技術(shù) 50（）廣擁塞制技術(shù) 53（）廣域RDMA技術(shù) 57（）新低損纖技術(shù) 60五智算絡(luò)產(chǎn)典型例 64（）天云昇智算項(xiàng)目 64（）紫山新無損據(jù)中項(xiàng)目 67六智算絡(luò)技與產(chǎn)發(fā)展議 71七總結(jié)展望 73附錄A：語與略語 75參文獻(xiàn) 77一、智算網(wǎng)絡(luò)技術(shù)與產(chǎn)業(yè)發(fā)展概況2022142EFLOPS，203016ZFLOPS80%（一）政策態(tài)勢加強(qiáng)政策引導(dǎo)與支持2017年，國家工信部頒布了《促進(jìn)新一代人工智能產(chǎn)業(yè)發(fā)展三年行動計(jì)劃（2018-2020年2021年發(fā)布的《新型數(shù)據(jù)中心發(fā)展三年行動計(jì)劃（2021-2023年2023年是AIChatGPT加快數(shù)字基礎(chǔ)設(shè)施建設(shè)5GIPv6的規(guī)模部署，新建了國家級互聯(lián)網(wǎng)交換中心提升強(qiáng)化規(guī)劃與管理推動數(shù)字化產(chǎn)業(yè)升級E2027年實(shí)現(xiàn)產(chǎn)業(yè)形勢我國正在積極推進(jìn)智算網(wǎng)絡(luò)標(biāo)準(zhǔn)化進(jìn)程，以滿足人工智能與高性AI大模型在國內(nèi)標(biāo)準(zhǔn)化方面，中國通信標(biāo)準(zhǔn)化協(xié)會正在主導(dǎo)國內(nèi)的智算網(wǎng)2023年，中（NGNe,NextGenerationNetworkEvolution）SG13啟動智算立項(xiàng)；在國際ITU和IETF推動。為滿足人工智能和高性能計(jì)算（HPC,HighPerformanceComputing）對智能算力需求的急速增長，20237月，Linux基金會聯(lián)合AMD、Arista、博通、思科等公司共同成立了超以太網(wǎng)聯(lián)盟C,ltathretooru此外，全國各地正在推進(jìn)智算中心的建設(shè)。據(jù)統(tǒng)計(jì)，目前全國超30100個，總（人122024年，武昌智算中心、中國移動智算中心（青島、華南數(shù)谷智算中心、鄭州人工智能計(jì)算中心、博大數(shù)據(jù)深圳前圖1-1我國智算中心及大模型分布我國智算產(chǎn)業(yè)鏈已形成完整的上游核心技術(shù)研發(fā)、中游資源整合服務(wù)到下游廣泛應(yīng)用的鏈條：AI芯片領(lǐng)域呈現(xiàn)多元競爭格局，GPU和FPGANPU等ASIC芯片嶄露頭角，如華為昇騰NPU和阿里平頭哥NPU，憑借其在吞吐量、能效及算力等方面的突出表現(xiàn)，已在AI領(lǐng)域得到AIIDC其RDMA1.6Tb。600PFLOPS170倍。圖1-2智算產(chǎn)業(yè)鏈（三）技術(shù)趨勢AI2024AI行業(yè)的發(fā)展趨勢來看，大模型ScalingLaw依然保為例，其下一代模型2萬億以上，而更遠(yuǎn)期的Q*系列模型將采用多模態(tài)自我演進(jìn)訓(xùn)練機(jī)制，使模型訓(xùn)Sora為例，視601M1010M2024億美元建設(shè)AIOpenAI1000億美元，打造數(shù)百萬GPU圖1-3AI大模型的發(fā)展趨勢以太推動智算網(wǎng)絡(luò)開放互聯(lián)，百萬卡集群成為共識行業(yè)正逐步認(rèn)識到以太網(wǎng)在AI與HPCGPU廠商選擇以太作為其算力芯片的IO接口形態(tài)，如IntelGaudi體系E突破基于以太網(wǎng)構(gòu)建超大規(guī)模高性能AI集群的技術(shù)瓶頸。事實(shí)上，“以太網(wǎng)或InfiniBand”這道命題已經(jīng)有了答案，以太已成為構(gòu)建超大規(guī)模開放互聯(lián)網(wǎng)絡(luò)的技術(shù)基石。AI集群規(guī)模也將從之前的千卡或萬卡級別，迅速發(fā)展到十萬卡甚至百萬卡規(guī)模。2024融合將成為智算網(wǎng)絡(luò)演進(jìn)的主路徑如Ieli如thre、圖1-4英偉達(dá)的總線和網(wǎng)絡(luò)技術(shù)IO密度與功耗將OCS光交換機(jī)和基于硅光的CPO/OIO技術(shù)將在組網(wǎng)架構(gòu)與單比特功耗等方面深刻影響未來數(shù)年智算網(wǎng)絡(luò)圖1-5電互聯(lián)技術(shù)和光互聯(lián)技術(shù)的融合新型大容量網(wǎng)絡(luò)芯片將成為智算網(wǎng)絡(luò)發(fā)展的基石容量持續(xù)增長，單比特功耗不斷降低。10年，以太網(wǎng)交換芯片的容量從百G10090%AI100T容量，單比特功耗將進(jìn)一步降低。同時，400G/800GDPU網(wǎng)卡需求面向AI實(shí)現(xiàn)面向AI場景優(yōu)化已成為新一代網(wǎng)絡(luò)芯片的重要特征，并將在未/二、智算產(chǎn)業(yè)對于網(wǎng)絡(luò)的核心要求（一）網(wǎng)絡(luò)帶寬要求網(wǎng)絡(luò)帶寬是AITBPB級的數(shù)據(jù)。為AI訓(xùn)練平臺通常采用高帶寬10Gbps40Gbps據(jù)傳輸需求。隨著AI模型復(fù)雜度和數(shù)據(jù)規(guī)模的持續(xù)增加，未來對網(wǎng)網(wǎng)絡(luò)帶寬對于AI感等數(shù)據(jù)的傳輸，也對AI（二）網(wǎng)絡(luò)時延要求低時延是支撐AI大模型分布式訓(xùn)練的關(guān)鍵要素。分布式訓(xùn)練要求模型的復(fù)雜度與參數(shù)規(guī)模持續(xù)增加，其對低時延網(wǎng)絡(luò)的需求將更低時延對于AIAI（三）網(wǎng)絡(luò)抖動要求11K/GPU資致應(yīng)用性能下降。相關(guān)測試數(shù)據(jù)表明，在AI場景中，相比傳統(tǒng)基于40%JobCompletion有效控制時延抖動是AI高性能網(wǎng)絡(luò)的重要需求，通過合理的技術(shù)手圖2-1抖動帶來的性能代價(jià)（四）網(wǎng)絡(luò)丟包要求網(wǎng)絡(luò)丟包在AI大規(guī)模訓(xùn)練中是一項(xiàng)極其重要的問題。分布式訓(xùn)網(wǎng)絡(luò)丟包同樣會對AI推理性能產(chǎn)生影響，因?yàn)橥评磉^程需要時綜上所述，智算網(wǎng)絡(luò)的發(fā)展與應(yīng)用亟需高帶寬、低時延/抖動、的網(wǎng)絡(luò)互聯(lián)技術(shù)，為AI廣域RDMA三、智算集群內(nèi)網(wǎng)絡(luò)關(guān)鍵技術(shù)（一）新型網(wǎng)絡(luò)架構(gòu)在AI集群內(nèi)網(wǎng)絡(luò)架構(gòu)的優(yōu)劣對GPUClos網(wǎng)絡(luò)架構(gòu)胖樹（Fat-Tree）Clos無阻塞網(wǎng)絡(luò)架構(gòu)由于其高效的路由設(shè)計(jì)、對于中小型規(guī)模的GPUSpine-Leaf兩層架構(gòu)，如圖3-1所示。對于較大規(guī)模的GPU集群則使用三層胖樹（Core-Spine-Leaf）進(jìn)行擴(kuò)展組網(wǎng)，由于網(wǎng)絡(luò)的層次增加，其轉(zhuǎn)發(fā)跳數(shù)與時延也相應(yīng)增加。圖3-1Spine-Leaf兩層Fat-Tree組網(wǎng)架構(gòu)GPU3-1GPU88臺LeafLeaf傳輸或者先走本地GPU服務(wù)器機(jī)內(nèi)代理再經(jīng)一級Leaf3-2臺GPULeaf交換機(jī)，該方式集群通信效率Leaf交換機(jī)發(fā)生故障，多軌方式所影響的GPU圖3-2Spine-Leaf兩層Fat-Tree單軌組網(wǎng)架構(gòu)HPN網(wǎng)絡(luò)。星脈網(wǎng)絡(luò)采用無阻塞胖樹（Fat-Tree）Cluster-Pod-Block3-3128400G交換機(jī)為例，其中Block為Block1024個Pod64個Block，65536GPUPodCluster524288個GPU。圖3-3騰訊星脈Cluster-Pod-Block組網(wǎng)架構(gòu)阿里云大模型訓(xùn)練網(wǎng)絡(luò)（HPN，High-PerformanceNetworking）3-4GPU8個8個NIC提供2×200Gbps到不同Leaf設(shè)備，形成雙平面設(shè)計(jì)，從而避免單Leaf128端口，每臺GPU16臺eaf，組成一個eent（包含04個U。每臺eaf預(yù)留了8×200G端口接入GPUGPUSpine層面連接多個Segments組成一個60×400GSpinePod15個Segments，即15360GPU。對于更大規(guī)模的訓(xùn)練任務(wù)，則會涉及到Core層面的連接進(jìn)而組成算力規(guī)模更大的GPUSpine-Core15:1的收斂比設(shè)計(jì)，245760個GPU。圖3-4阿里巴巴HPN7.0組網(wǎng)架構(gòu)3-5和Meta團(tuán)隊(duì)提出了Rail-Only架構(gòu)設(shè)計(jì)。相對于三層Fat-Tree組網(wǎng)，其剔除了Spine絡(luò)架構(gòu)精簡，僅使用一層Rail交換機(jī)用于高帶寬域內(nèi)GPU卡之間互256GPUNVLinkSwitchRail-Only3-532768個GPU的Fat-Tree總共需要1280512（64×8）Leaf交512臺（64×8）Spine256（64×4）臺Core而Rail-Only256臺Rail圖3-5(a)三層Fat-Tree與(b)Rail-Only組網(wǎng)架構(gòu)對比(32768GPUs)Dragonfly網(wǎng)絡(luò)架構(gòu)Clos樹形架構(gòu)作為主流的智算網(wǎng)絡(luò)架構(gòu)，重點(diǎn)突出其普適性，但在時延與建設(shè)成本方面并非最優(yōu)。在高性能計(jì)算網(wǎng)絡(luò)中，Dragonfly網(wǎng)絡(luò)因其較小的網(wǎng)絡(luò)直徑與較低的部署成本被大量使用。3-6網(wǎng)絡(luò)分為SwitchGroup層和Systemichp每個Groupa個switcha-1aSystemg個，各Group通h條全局鏈路與其它Group64Dragonfly27GPUFat-Tree架構(gòu)所容納GPU420%。盡管DragonflyGPU圖3-6Dragonfly組網(wǎng)架構(gòu)Group-wiseDragonfly+網(wǎng)絡(luò)架構(gòu)400G51.2T50+2Fat-Tree組Fat-TreeL2層交換機(jī)的下行帶寬：上行帶寬為N：可降低L3圖3-7 L2帶收斂的三層Fat-Tree架構(gòu)示意圖架構(gòu)二為Group-wise所示，每個Pod內(nèi)設(shè)備通過二層Fat-TreePodL2400G51.2T盒式交換機(jī)20萬+節(jié)點(diǎn)規(guī)模。如果L2100萬。圖3-8Group-wiseDragonfly+（GW-DF+）直連架構(gòu)示意圖對比二層Fat-Tree比傳統(tǒng)DF+升系統(tǒng)效率網(wǎng)絡(luò)架構(gòu)網(wǎng)絡(luò)架構(gòu)是一種完全對稱的拓?fù)浣Y(jié)構(gòu)，具備低時延、低網(wǎng)3-7呈3的3的網(wǎng)絡(luò)環(huán)面拓?fù)涮匦钥墒沟闷湓卩従庸?jié)點(diǎn)之間擁有最優(yōu)通信性能。然而，圖3-9一維與二維Torus網(wǎng)絡(luò)（二）超寬可編程轉(zhuǎn)發(fā)技術(shù)超寬可編程轉(zhuǎn)發(fā)主要采用RoCE網(wǎng)絡(luò)方案，當(dāng)前以博通5芯片的白盒交換機(jī)為主流，轉(zhuǎn)發(fā)容量可達(dá)51.2Tb/s，支持64×800G/128×400G/256×200G（如OTT5芯片的白盒交換機(jī)，構(gòu)建布局智算中心超寬無損網(wǎng)絡(luò)解RoCE與IBInfiniBandNDRQuantum-2RoCESpectrum-X以太網(wǎng)交換機(jī)轉(zhuǎn)發(fā)51.2Tb/s64×800G/128×400G12.8Tbps32×400G端口接入，并提出全局負(fù)載均衡（NSLB，NetworkScaleLoadBalance）調(diào)度方案，以實(shí)現(xiàn)智算中心網(wǎng)絡(luò)超寬無損承載?？删幊剔D(zhuǎn)發(fā)的實(shí)現(xiàn)主要涉及控制面、轉(zhuǎn)發(fā)面的可編程操作：控制面可編程：實(shí)現(xiàn)集中化的流量調(diào)度i）白盒交換機(jī)采用類似服務(wù)器的網(wǎng)絡(luò)操作系統(tǒng)，可利用現(xiàn)API上的硬件部署，實(shí)現(xiàn)對網(wǎng)絡(luò)的集中管理和監(jiān)控。AI平臺聯(lián)動的AI平臺的協(xié)同任務(wù)97%圖3-10集中流量調(diào)度方案架構(gòu)圖集中化流量調(diào)度方案操作步驟如下：ZTPUnderlay配置自動化部署；②AI平臺創(chuàng)建任務(wù)，并將任務(wù)模型下發(fā)至網(wǎng)絡(luò)控制器；③控制器解析任務(wù)模型，規(guī)劃流量路徑，并通過策略路由下發(fā)至白盒設(shè)備；④Leaf策略路由生效，指導(dǎo)業(yè)務(wù)流量均勻轉(zhuǎn)發(fā)；⑤AI平臺刪除任務(wù)，并將任務(wù)刪除事件下發(fā)至網(wǎng)絡(luò)控制器；⑥控制器下發(fā)刪除任務(wù)至白盒設(shè)備，刪除任務(wù)對應(yīng)的策略路由。轉(zhuǎn)發(fā)面可編程：實(shí)現(xiàn)自定義的節(jié)點(diǎn)轉(zhuǎn)發(fā)邏輯3-11傳統(tǒng)芯片的固定流水線圖3-12基于PISA架構(gòu)的可編程流水線IndependentSwitch架構(gòu)涵蓋解析器、逆解析器、匹所需的轉(zhuǎn)發(fā)邏輯。數(shù)據(jù)面程序使用高級語言P4編寫，經(jīng)由P4語言編譯器進(jìn)行編譯后在PISA設(shè)備上運(yùn)行。PISA架PISA架本等問題；基于PISA題，采用協(xié)議無關(guān)的P4語言及底層可編程硬件，實(shí)現(xiàn)網(wǎng)絡(luò)應(yīng)用性能優(yōu)化與關(guān)鍵功能卸載，例如VNF（三）無損網(wǎng)絡(luò)技術(shù)RDMA技術(shù)相比傳統(tǒng)網(wǎng)絡(luò)具有顯著優(yōu)勢，其實(shí)現(xiàn)了內(nèi)核旁路機(jī)TCP/IP1μs零拷貝機(jī)制允許接收端直接從發(fā)送端的內(nèi)存讀取數(shù)據(jù)，大幅減少了CPU負(fù)擔(dān)，提高了CPU雖然，RDMA技術(shù)顯著降低了服務(wù)器側(cè)處理時延，提升了計(jì)算和嚴(yán)重影響計(jì)算和存儲效率。因此，需要構(gòu)建無損網(wǎng)絡(luò)技術(shù)體系，為RDMAIBRDMA技術(shù)依，基于以太網(wǎng)的RoCEv2技術(shù)將擁有廣闊的應(yīng)用前景。在RoCEv2網(wǎng)PFC（Priority-basedFlowControl）的PFCPausePFCCongestionoifcai和ataeteruatzedoetonoifcai）技術(shù)。ECNDCQCN調(diào)整IBRDMA技術(shù)依，基于以太網(wǎng)的RoCEv2技術(shù)將擁有廣闊的應(yīng)用前景。在RoCEv2網(wǎng)PFC（Priority-basedFlowControl）的PFCPausePFCCongestionoifcai和ataeteruatzedoetonoifcai）技術(shù)。ECNDCQCN調(diào)整下文將圍繞無損網(wǎng)絡(luò)中的流控、擁塞控制等技術(shù)展開詳細(xì)闡述：

圖3-13無損網(wǎng)絡(luò)關(guān)鍵技術(shù)倒慢速的接收方。本節(jié)主要介紹流控相關(guān)技術(shù)，以及如何解決PFCPFC技術(shù)PFC是對PausePause幀至Pause機(jī)PFC8個PFC死鎖PFCPFC4PFC門限，則PFC反壓幀，此時拓?fù)渲兴薪粨Q機(jī)都處于停流圖3-14循環(huán)緩沖區(qū)依賴形成PFC死鎖PFC死鎖監(jiān)測PFCPFC反壓幀進(jìn)一步擴(kuò)散，導(dǎo)致出現(xiàn)PFCPFC控制圖3-15服務(wù)器網(wǎng)卡故障引起PFC風(fēng)暴并形成PFC死鎖一旦出現(xiàn)PFC死鎖，若不及時解除，將威脅整網(wǎng)的無損業(yè)務(wù)。無損以太網(wǎng)為每個設(shè)備提供了PFC死鎖檢測功能，通過如下過程對PFC死鎖進(jìn)行全程監(jiān)控，當(dāng)設(shè)備在死鎖檢測周期內(nèi)持續(xù)收到PFC反壓幀時，將不予響應(yīng)。如圖3-14所示，Device2的端口收到Device1發(fā)送的PFC反壓幀后，內(nèi)部調(diào)度器將停止發(fā)送對應(yīng)優(yōu)先級的隊(duì)列流量，并開啟定時器，根據(jù)設(shè)定的死鎖檢測和精度開始檢測隊(duì)列收到的PFC反壓幀。

圖3-16開啟死鎖檢測3-15所示，若在設(shè)定的PFCPFC-XOFF（即被流控）PFC死鎖，需要進(jìn)行PFC

圖3-17死鎖判定PFC死鎖恢復(fù)過程中，會忽略端口接收到的PFC反壓幀，內(nèi)PFC的正常流控機(jī)制。若下一次

圖3-18死鎖恢復(fù)流程若上述死鎖恢復(fù)流程未起作用，仍然不斷出現(xiàn)PFC死鎖現(xiàn)象，PFC功能，需用戶手圖3-19頻繁出現(xiàn)死鎖可關(guān)閉PFC功能PFC死鎖預(yù)防PFCClos組網(wǎng)的一種解決方案，通過識別易造成PFCPFC避免PFCServer1Leaf1Spine1Leaf2Server4路徑轉(zhuǎn)發(fā)數(shù)據(jù)，正常轉(zhuǎn)發(fā)過程不會引起PFC若Leaf2與Server4Leaf24的地址，均將導(dǎo)致流量不從Leaf2下游端口轉(zhuǎn)發(fā)，而從Leaf2Leaf2Spine2Leaf1Spine1就形4PFC反PFC反壓幀停止發(fā)送某個優(yōu)PFC死鎖狀態(tài)，最終導(dǎo)致該優(yōu)先級的流量在網(wǎng)絡(luò)中被停止轉(zhuǎn)發(fā)。圖3-20 Clos架構(gòu)下的PFC死鎖PFC死鎖預(yù)防功能中定義了PFCLeaf設(shè)備與Spine相連的接口（3-21Interface1Interface2）都PFCLeaf2設(shè)備檢測到同一條業(yè)務(wù)流從屬于引起PFC圖3-21PFC鉤子流Device2識別出從Device1發(fā)來2會修改該流的優(yōu)先級及其DSCP從其它隊(duì)列轉(zhuǎn)發(fā)（即從隊(duì)列a轉(zhuǎn)移至隊(duì)列b，若該流在下游設(shè)備Device3PFCDevice2b進(jìn)依賴緩沖區(qū)的可能，防止PFC點(diǎn)剎式

圖3-22PFC死鎖預(yù)防原理PFC需要較大的緩存來保證不丟包和不欠吞吐。在長距數(shù)PFC反壓幀給對端設(shè)備到停止接收PFC支持更長距離的長距無損場景。ttstopPFC反壓幀，控制上游設(shè)備在對應(yīng)周tstop（t，t遠(yuǎn)小于兩設(shè)0≤tstop≤t）圖3-23點(diǎn)剎式流控工作原理圖無損隊(duì)列的Headroom緩存空間用于存儲本隊(duì)列發(fā)送PFCPFC流控機(jī)制的分析，傳統(tǒng)PFC的反壓幀觸發(fā)門限值大小至少為緩存空間大小至少為BPFC×2TPFC，因此緩存空間占用至少需要2×（2C（C表示接口帶寬，C表示兩端設(shè)備之間）threshold，為保證無損隊(duì)Headroom。threshold設(shè)置為0，此時點(diǎn)剎式流控的緩存空間占用約為（BABSS，擁塞控制技術(shù)作用于接收者，而擁塞控制作用于網(wǎng)絡(luò)，典型技術(shù)如ECN。ECN技術(shù)ECN在接收端感知到網(wǎng)絡(luò)中發(fā)生擁塞后，通過協(xié)議報(bào)文通知發(fā)IP報(bào)文中定義了ECN字段以實(shí)現(xiàn)對接收端的擁塞通知。根據(jù)RFC791定義，IP報(bào)文頭of80～5為IP報(bào)文的P（ieenatdericsdeot，比特6～7為N字3-21所示。協(xié)議對ECNECN00，表示該報(bào)文不支持ECN。ECN0110，表示該報(bào)文支持ECN。ECN因此，中間交換機(jī)通過將ECN圖3-24IPPrecedence/DSCP字段當(dāng)接收端收到ECN字段為會再收到ECN字段為AIECN無損隊(duì)列的動態(tài)ECN門限可根據(jù)網(wǎng)絡(luò)流量N1的Incast值、PFC流控的同時，盡可能ECNECN功能被提出，其則可根據(jù)現(xiàn)網(wǎng)流量模型進(jìn)行AI訓(xùn)練，從而對網(wǎng)絡(luò)流量的變化進(jìn)行預(yù)測，并根據(jù)隊(duì)列長度等流量特征調(diào)整ECN門限，進(jìn)行隊(duì)AIECN都能達(dá)到最佳。具體操作如下：圖3-25無損隊(duì)列的AIECN功能實(shí)現(xiàn)Device設(shè)備內(nèi)的轉(zhuǎn)發(fā)芯片對當(dāng)前流量特征進(jìn)行采集，如隊(duì)列緩存占用率、帶寬吞吐、當(dāng)前ECN門限配置等，然后通過技術(shù)將流量實(shí)時狀態(tài)信息推送給AIAI件將基于大量的ECN狀態(tài)匹配的ECN若為未知流量場景，AIAI算法，在保證高帶寬、低時延的前提下，對當(dāng)前的ECN最終計(jì)算出最優(yōu)的ECNAIECN門限下發(fā)至設(shè)備，設(shè)備完成無損隊(duì)列的ECN門限調(diào)整。對于獲得的新流量狀態(tài)，設(shè)備將重復(fù)上述操作以保障無損業(yè)（的AIECN門限功能可實(shí)現(xiàn)網(wǎng)絡(luò)中TCP流量與RoCEv2度，在保障RoCEv2端網(wǎng)協(xié)同擁塞控制高性能計(jì)算、AI模型訓(xùn)練、以及數(shù)據(jù)中心網(wǎng)絡(luò)，均要求網(wǎng)絡(luò)傳（網(wǎng)100%200sH、DCQCN相比，端網(wǎng)協(xié)同算法C-AQM能夠顯著降低排隊(duì)時延，同時100%表3-1不同擁塞控制算法性能對比對比流數(shù)200C-AQMHPCCDCQCN50%-ile0.1553.023116.61290%-ile0.2386.662121.8299%-ile0.3218.204125.4899.9%-ile0.4019.094127.131（四）網(wǎng)絡(luò)負(fù)載均衡技術(shù)AI大模型場景中，業(yè)務(wù)流量呈現(xiàn)出大象流、低熵、同步效應(yīng)ECMP基于流的五元組哈希機(jī)制失效，ECMP機(jī)制的不足，一種解決思路是將“網(wǎng)絡(luò)狀態(tài)”問題，其技術(shù)原理如下：HASH結(jié)果選路的傳統(tǒng)ECMPnaicoadaaci，其基本原理是交換機(jī)在進(jìn)行ECMP圖3-26DLB技術(shù)的整體效果基于全局負(fù)載狀態(tài)的均衡技術(shù)：在相對復(fù)雜的多級網(wǎng)絡(luò)中，流量發(fā)送端通常無法感知網(wǎng)絡(luò)的全局狀態(tài)信息，這種狀態(tài)包括下游的擁塞狀態(tài)、網(wǎng)絡(luò)整體的流量分布及帶寬利用率等?；谌重?fù)載狀態(tài)的均衡技術(shù)的基本原理是先收集網(wǎng)絡(luò)全局狀態(tài)（狀態(tài)收集可通過集中式的網(wǎng)絡(luò)控制器或分布式的數(shù)據(jù)局部擁塞的同時最大化整網(wǎng)的吞吐性能?；谌值呢?fù)載均衡涉及到一些私有協(xié)議和算法的制定，目前尚缺乏統(tǒng)一的標(biāo)準(zhǔn)，大多為廠商私有化實(shí)現(xiàn)，典型技術(shù)方案如中興的智能全AIAPIAI調(diào)度平臺的流信息（如五E衡預(yù)規(guī)劃到Fabric網(wǎng)絡(luò)中，再下發(fā)配置到網(wǎng)絡(luò)設(shè)備以實(shí)現(xiàn)流圖3-27智能全局負(fù)載均衡基本原理Flowlet負(fù)載均衡技術(shù)組合使用，例如網(wǎng)絡(luò)識別大象流，對大象流進(jìn)行Flowlet切分后依據(jù)負(fù)基于流切分技術(shù)的負(fù)載均衡技術(shù)另一種有效的負(fù)載均衡優(yōu)化思路是將數(shù)據(jù)流切分為更小的單元，現(xiàn)方式包括Flowlet基于FlowletFlowlet負(fù)載均衡用于解決數(shù)據(jù)中心網(wǎng)絡(luò)內(nèi)流量不平衡問題。它即ll圖3-28Flowlet的基本原理Flowlet負(fù)載均衡的核心思想是利用流的規(guī)模與持續(xù)時間來分割Flowlet，每個Flowlet包含一部分?jǐn)?shù)據(jù)包。然后，設(shè)備會使用負(fù)載均衡算法將這些FlowletFlowlet技術(shù)提出較早，是一種被普遍支持的負(fù)載均衡技術(shù)，但也存在其局限性。首先，為避免引入報(bào)文亂序，F(xiàn)lowlet切分的時間間隔與流量模型緊密相關(guān)。但在實(shí)際應(yīng)用中很難避免完全亂序，且Flowlet自身并不提供亂序處理能力。其次，這種基于時間間隔的子流切分方式在特殊的流量場景中可能失效，如AI基于容器的負(fù)載均衡是中國移動提出的全調(diào)度以太網(wǎng)技術(shù)的核1個最長的業(yè)務(wù)報(bào)文，且總長度在芯片轉(zhuǎn)GSE頭圖3-29GSE容器調(diào)度的基本原理AIRDMA報(bào)文亂序重排的智能網(wǎng)卡實(shí)現(xiàn)，如NVIDIABlueField網(wǎng)卡等。圖3-30NVIDIA逐包負(fù)載均衡的基本原理定的芯片硬件實(shí)現(xiàn)，典型的代表是分布式解耦機(jī)框（DDC，DisaggregatedDistributedChassis）方案。DDC通過網(wǎng)絡(luò)硬件將數(shù)據(jù)圖3-31信元交換的基本原理善的國產(chǎn)芯片支持，如中興通訊適用于DDC方案相對較封閉。2022年，由紫金山實(shí)驗(yàn)室、中國電信研究院和北京郵電大學(xué)聯(lián)合發(fā)布的《分布式解耦機(jī)柜技術(shù)白皮書》，也研發(fā)了DDC靜態(tài)ECMP由于只使用五元組進(jìn)行哈希，由于哈希因子少導(dǎo)致熵值低，因此可以納入更多的數(shù)據(jù)包字段作為哈希因子，例如RDMA頭部中的QP對（QueuePair）信息，甚至是用戶自定義的字段，以增加哈希熵值，從而實(shí)現(xiàn)更加均衡的負(fù)載分配。（五）端網(wǎng)協(xié)同的NetMind跨層通信架構(gòu)NetMind概述如網(wǎng)絡(luò)或AI模型，而未來智算網(wǎng)絡(luò)中應(yīng)將兩者結(jié)合，實(shí)現(xiàn)網(wǎng)算協(xié)同的AI大模型集群的MetMind水平方向：從網(wǎng)到算：網(wǎng)絡(luò)向NetMind提供動態(tài)拓?fù)洌ㄍ猓€包括光模塊鏈路中斷、網(wǎng)絡(luò)資源占用情況等，再由NetMind將全局拓?fù)涮峁┙o計(jì)算組件，進(jìn)行拓?fù)溆H和計(jì)算。AI該規(guī)律提前部署網(wǎng)絡(luò)路由及QoS側(cè)通信需求，經(jīng)由NetMind整及QoS垂直方向：根據(jù)NetMind提供的集合通信算法的適用區(qū)間和通信效率進(jìn)行作業(yè)調(diào)度，并基于NetMind提供的建模求解優(yōu)化策略提升自動模型切分的速度與效果。NetMind通信架構(gòu)NetMindAI大模型系統(tǒng)中的不同用戶提供統(tǒng)一框架以提NetMindServer和NetMindClient兩個核心組件。其中，NetMindClient部署于每臺計(jì)算服務(wù)器的主機(jī)側(cè)，包含一個部署在計(jì)算節(jié)點(diǎn)CPU上的AgentAgent從AI作業(yè)進(jìn)程調(diào)用的NetMindRuntimeetdereetderer作圖3-32NetMind通信架構(gòu)業(yè)務(wù)輔助決策模塊拓?fù)涓兄K通過邏輯同號卡拆分解決同層group2NSLB網(wǎng)絡(luò)均衡模塊NetMindHASH負(fù)載不均導(dǎo)致的AIQoS模塊NetMind分別從網(wǎng)絡(luò)側(cè)和計(jì)算側(cè)獲取網(wǎng)絡(luò)狀態(tài)信息和模型訓(xùn)練的并行策略、通信量等信息，并在NetMindServer應(yīng)用感知QoS模塊中計(jì)算不同并行策略間流量的最優(yōu)QoS調(diào)度方式，然后結(jié)合業(yè)務(wù)邏輯下發(fā)至網(wǎng)絡(luò)側(cè)，實(shí)現(xiàn)對QoS調(diào)度的動態(tài)控制，同時減少模型訓(xùn)練過程中不同并行策略的流量對網(wǎng)絡(luò)資源的競爭，以提升業(yè)務(wù)性能。OXC拓?fù)湔{(diào)整模塊NetMindCross（NSLB，NetworkScaleLoadBalance）模塊對流量進(jìn)行全局路徑規(guī)劃，實(shí)現(xiàn)任務(wù)性能最優(yōu)的流量四、智算集群間網(wǎng)絡(luò)關(guān)鍵技術(shù)OpticalAdd/Drop4-1ROADM設(shè)備的軟硬件解IP+光前網(wǎng)絡(luò)形態(tài)正經(jīng)歷從傳統(tǒng)IP+WDM的光電復(fù)合式組網(wǎng)向軟件定義IPoWDM圖4-1光電融合路由設(shè)備形態(tài)4-2IP路由器，負(fù)責(zé)數(shù)據(jù)包的匯（如FlexE）ROADM4-2IP層與光層節(jié)點(diǎn)，IPIP（圖4-2光電融合組網(wǎng)與路由技術(shù)光電融合網(wǎng)絡(luò)采用集中化控制方式，實(shí)現(xiàn)對全局光電資源的統(tǒng)一43（）（b）（）動態(tài)光電調(diào)度IP分配不均衡等問題，從而引入額外的建設(shè)投資與運(yùn)維開銷。如圖3-37所示，通過采用光電融合路由技術(shù)，可實(shí)現(xiàn)高效的雙層協(xié)同規(guī)IP（SRLG，SharedRiskLinkGroup）AI模型，從而在發(fā)生故障時快速定位故障源，動態(tài)光電調(diào)度：傳統(tǒng)網(wǎng)絡(luò)更傾向于離線規(guī)劃與靜態(tài)調(diào)度，4-3（c）（二）廣域擁塞控制技術(shù)高帶寬利用率：在長距傳輸中，帶寬利用率將直接影響數(shù)據(jù)傳輸效率和成本，提高利用率即可在單位時間內(nèi)傳輸更多數(shù)據(jù)，從而延緩擴(kuò)容需求并降低成本；低丟包率：丟包會導(dǎo)致數(shù)據(jù)重傳，從而占用額外帶寬資源并傳輸延遲及網(wǎng)絡(luò)狀態(tài)反饋滯后：數(shù)千公里的傳輸距離引入不可忽視的傳輸時延，這使得網(wǎng)絡(luò)狀態(tài)反饋存在一定滯后性。傳統(tǒng)基于丟包的擁塞控制算法（Cubic算法）在長距離傳光纖傳輸?shù)腻e包問題：超長距光纖傳輸中，錯包問題難以完廣域TCP擁塞控制TCP協(xié)議實(shí)現(xiàn)，根據(jù)具體應(yīng)用場有CubicBBRPCCCopaCubic是當(dāng)前Linux的TCPTCP在遠(yuǎn)距網(wǎng)絡(luò)上的可擴(kuò)展性。為應(yīng)對長距傳輸面臨的高帶口增長解耦，實(shí)現(xiàn)公平帶寬分配和穩(wěn)定廣域傳輸；BBR（Bottleneckaddhadu-trpe算法基于T和KGoogleB4骨干PCC通過結(jié)合PCC基本框架與機(jī)器學(xué)習(xí)前發(fā)送速率，并迅速將流量收斂至合適的公平速率。Copa可有效應(yīng)AnnulusGeminiGTCP、IDCCAnnulusGemini整合ECN（GTCP，GeneralTransmissionControlProtocol）GTCPECNandDelaybasedCongestion分別測量廣域網(wǎng)與智算中心內(nèi)的排隊(duì)時延，并通過比例積分微分（PID，ProportionalIntegralDerivative）調(diào)廣域鏈路流量控制現(xiàn)有的一些流量控制機(jī)制有BFCFloodgate、CaPFCP-PFCGFCFlow與BFCFloodgate是以IP地址為對象進(jìn)行隊(duì)列隔離，來對入播流量進(jìn)行快速監(jiān)測和控制。Floodgate采用信令機(jī)制，下游交換機(jī)定期向上游發(fā)送累計(jì)信令值來通告隊(duì)列長度，以此控制上游交換機(jī)的發(fā)送和暫停；CaPFC（CongestionawarePriorityFlowControl）PFC的改進(jìn)型流控P-PFC（PredictivePFC）（與的發(fā)生和解除，從而實(shí)現(xiàn)更高效的流量控制；GFC（GentleFlowControl）PFC完全暫停流發(fā)送的方式，GFC基于預(yù)設(shè)函數(shù)從下游入隊(duì)列長度來推導(dǎo)（三）廣域RDMA技術(shù)A是從AIInfinddeAssociation）InfiniBand（IB）架構(gòu)而提出。其允許計(jì)算機(jī)CPU參與，從而顯著減少通信延遲和CPURDMA因此基于以太網(wǎng)的RoCERoCEv2和RDMA從局域網(wǎng)邁向廣域網(wǎng)已成為一個重要廣域RDMA技術(shù)架構(gòu)廣域RDMA技術(shù)為最大限度地利舊現(xiàn)有網(wǎng)絡(luò)設(shè)備與線路，因此在IEEE802.3基礎(chǔ)上使用IPRoCEv2或協(xié)議封裝RDMA數(shù)據(jù)載荷，具體應(yīng)用架構(gòu)如圖4-4所示。圖4-4廣域RDMA應(yīng)用場景RDMA技術(shù)承載海量數(shù)據(jù)。RDMA網(wǎng)卡（含DPU）直接部署在物理機(jī)中，通過虛Hypervisor層的RDMA傳輸容許輕微有損，以保廣域RDMA技術(shù)原生RDMA是基于InfiniBandRDMA或RoCEv2RoCEv2是基于UDPRDMA導(dǎo)的一套RDMA4-5RoCEv2在廣域網(wǎng)上進(jìn)行傳輸遵循IBOverUDP圖4-5RoCEv2協(xié)議棧UDP的不可靠性，在傳輸過程中會面臨丟包問題，而且實(shí)驗(yàn)顯示，進(jìn)入廣域網(wǎng)后，RTT隨著傳輸距離變長而增加，丟包對RoCEv2的吞吐的影響變得更大。因此RoCEv2Go-Back-NSACK機(jī)制來檢測丟包和重傳，并RDMA布，并配合PFCECN是由IETF組織發(fā)布的一套RDMAInfiniBand4-6所示。圖4-6iWARP協(xié)議棧是基于以太網(wǎng)與TCP/IP協(xié)議的RDMATCP/IP協(xié)議的網(wǎng)絡(luò)基于TCPTCP并配合DCTCP（四）新型低損光纖技術(shù)200G/400G、800G及以上的高速光傳輸方案。同時，為滿足高速光傳輸下的超長距離、低損耗、低延時需求，部署新型超低損光纖也成為必然趨勢。（1）G.654.E低損光纖G.654.E光纖兼具超低損耗和大有效面積特性，相較于常規(guī)的G.652100G200G400GG.654.EG.654.E標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)由國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部（ITU-T）2016月發(fā)布，是ITU-TG.654《截止波長位移單模光纖光纜的特性》的最新1988年發(fā)布以來，歷經(jīng)多次修訂，其中包括G.654.A、G.654.BG.654.CG.654.A、G.654.B、G.654.C、G.654.DG.654.E前面四類光纖主要應(yīng)用于溫度恒定在-1℃~2℃之間的海洋環(huán)境，而G.654.E光纖適用于陸上網(wǎng)絡(luò)，環(huán)境溫度可從-65℃變化至85℃。此外，G.654.E光纖可抵抗各類應(yīng)力，具備極佳的抗彎性能，以應(yīng)對陸地復(fù)雜環(huán)境中的環(huán)境壓力、彎曲應(yīng)力、機(jī)械沖擊等。根據(jù)上述特點(diǎn)，提高光信噪比值：光信噪比是影響光傳輸質(zhì)量的重要參數(shù)之G.654.E信噪比隨傳輸距離降低的問題。此實(shí)現(xiàn)了大有效面積，使得光纖可傳輸更高的光功率。因此，與常規(guī)G.65270%-100%。降低網(wǎng)絡(luò)部署成本：單從光纖本身而言，G.654.EG.652是因?yàn)镚.652中繼站，而G.654.E（2）空芯光纖（Hollowoeie空芯光纖對于網(wǎng)絡(luò)傳輸可提供如下優(yōu)勢：低延時特性：n從5skm3μsk。0.174dB/km0.1dB/km0.14dB/km，低色散特性：空芯光纖的傳輸介質(zhì)是空氣，極大降低了材料超低非線性特性：空氣芯中光與介質(zhì)的相互作用減弱，從而3~42五、智算網(wǎng)絡(luò)產(chǎn)業(yè)典型案例（一）天翼云昇騰智算項(xiàng)目項(xiàng)目背景ChatGPTAI時代，眾多云廠商除了提供通算算GPU智算計(jì)網(wǎng)絡(luò)方案本項(xiàng)目分為多個不同業(yè)務(wù)平面的物理組網(wǎng)，包括虛擬私有云（VPC，VirtualPrivateCloud）網(wǎng)絡(luò)、參數(shù)面網(wǎng)絡(luò)、服務(wù)器BMC網(wǎng)絡(luò)、交換機(jī)管理網(wǎng)絡(luò)等，整體AI智算網(wǎng)絡(luò)方案主要針對參數(shù)面網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)。圖5-1天翼云智算網(wǎng)絡(luò)方案GPU服務(wù)器通過不同的網(wǎng)絡(luò)接口連接至不同的網(wǎng)絡(luò)平面中，其跨機(jī)互訪要求，進(jìn)而形成AI底層協(xié)議棧：RDMA應(yīng)用的底層協(xié)議通常有IB和RoCEv2RDMA僅使用IBIB無損以太網(wǎng)絡(luò)：RoCEv2UDPRDMA相PFCpause層頭部字段中的ECN標(biāo)記位，兩者結(jié)合保證流量在傳統(tǒng)以太網(wǎng)內(nèi)的圖5-2天翼云智算集群內(nèi)組網(wǎng)結(jié)構(gòu)Leaf4CE9860盒式交換機(jī)，搭配8×400GEQSFP-DD接口子卡；pe8槽1016槽18636×400GQSFP-DDGPU910B。組網(wǎng)設(shè)計(jì)：采用二層Clos和Leaf之間采用Full-Mesh全互聯(lián)，運(yùn)行eBGPLeaf32×200GY200G48200G網(wǎng)口連接至一臺Leaf8個網(wǎng)口分別配置獨(dú)立的IPLeaf16×400G端口上行連接至Spine交換機(jī)端口扇出決定了AI313Leaf1616槽的框式交換機(jī)，且單臺Spine400G313。負(fù)載均衡與擁塞控制：NSLB：AI訓(xùn)練場景存在大量跨Leaf流量，依靠傳統(tǒng)ECMP網(wǎng)絡(luò)側(cè)使能PFCLuaeilecveunicaonibaryPCIeHCCS和RoCENVIDIA效益分析為AIGCAI市場蓬勃發(fā)展，提升核心（二）紫金山新型無損數(shù)據(jù)中心項(xiàng)目項(xiàng)目背景20232242023針對AI領(lǐng)域提出了多項(xiàng)發(fā)展建議和提案。其中，新型數(shù)據(jù)中心作RDMA、智能網(wǎng)卡、PFC/ECN等技術(shù)，建設(shè)了集網(wǎng)絡(luò)方案5-3所示，新型無損數(shù)據(jù)中心采用Fat-Tree圖5-3新型無損數(shù)據(jù)中心組網(wǎng)架構(gòu)本項(xiàng)目有如下特點(diǎn)：基于自研可編程交換機(jī)構(gòu)筑多場景數(shù)據(jù)中心網(wǎng)絡(luò)AI建立開放標(biāo)準(zhǔn)的數(shù)據(jù)平面模型。使用開放標(biāo)準(zhǔn)的OpenConfig模型定義網(wǎng)絡(luò)設(shè)備數(shù)據(jù)模型，實(shí)現(xiàn)對支持大網(wǎng)級操作系統(tǒng)CNOS的集中控制。通過RestFul、NetConf、P4Runtime等接口標(biāo)準(zhǔn)，動態(tài)部署和增刪UniNOS異構(gòu)廠商芯片支持機(jī)制。統(tǒng)一轉(zhuǎn)發(fā)平臺和標(biāo)準(zhǔn)SAI基于自研INT技術(shù)構(gòu)筑網(wǎng)絡(luò)可視化平臺（基于自研OVS實(shí)現(xiàn)智能網(wǎng)卡硬件卸載提升性能在服務(wù)器端，虛擬交換機(jī)（vSwitch）在處理網(wǎng)絡(luò)流量時，會消耗大量的宿主機(jī)計(jì)算資源。為保證網(wǎng)絡(luò)數(shù)據(jù)的轉(zhuǎn)發(fā)性能，vSwitch通常需要綁定多個CPU核來處理網(wǎng)絡(luò)流量，但這樣會消耗更多的CPUCPU資源，減少服務(wù)器的運(yùn)本在內(nèi)核網(wǎng)絡(luò)協(xié)議棧中進(jìn)行的IPTCPchecksum校驗(yàn)等操作，轉(zhuǎn)移到網(wǎng)卡硬件中處理，使得CPU的發(fā)包路徑更短、RoCEv2VXLANOVSctTF-vRouterkTLS/IPSec效益分析信通院斬獲CCFHPCCHINA2022六、智算網(wǎng)絡(luò)技術(shù)與產(chǎn)業(yè)發(fā)展建議CPUGPUTPUFPGA）廣使用G.654.EAI推理推進(jìn)軟件與算法的智能化集成應(yīng)用AI算法在資源分配和任務(wù)調(diào)度中的應(yīng)用，以進(jìn)一步提升系催化標(biāo)準(zhǔn)化與開放性的行業(yè)實(shí)踐i）推動行業(yè)標(biāo)準(zhǔn)的制定與推廣，鼓勵相關(guān)企業(yè)、科研機(jī)構(gòu)和行業(yè)組七、總結(jié)與展望附錄A：術(shù)語與縮略語中文名稱英文縮寫英文全拼基于瓶頸帶寬和往返時間的擁塞控制BBRBottleneckBandwidthandRound-tripTime背壓流量控制BFCBackpressureFlowControl擁塞感知的流量控制CaPFCCongestionawarePriorityFlowControl光電合封裝CPOCo-packagedoptics數(shù)據(jù)中心量化擁塞通知DCQCNDataCenterQuantizedCongestionNotification分布式解耦機(jī)框DDCDisaggregatedDistributedChassis動態(tài)負(fù)載均衡DLBDynamicLoadBalancing差分服務(wù)碼點(diǎn)DSCPDifferentiatedServicesCodePoint等價(jià)多路徑ECMPEqual-CostMultiple-Path顯式擁塞通知ECNExplicitCongestionNotification通用傳輸控制協(xié)議GTCPGeneralTransmissionControlProtocol全調(diào)度以太網(wǎng)技術(shù)體系GSEGlobalSchedulingEthenet華為集合通信庫HCCLHuaweiCollectiveCommunicationLibrary空芯光纖HCFHollowCoreFiber高性能計(jì)算HPCHighPerformanceComputing高精度擁塞控制HPCCHighPrecisionCongestionControl高性能網(wǎng)絡(luò)HPNHigh-PerformanceNetworking基于延遲的擁塞控制IDCCINTandDelaybasedCongestionControl任務(wù)完成時間JCTJobCompletionTime下一代網(wǎng)絡(luò)演進(jìn)NGNeNextGenerationNetworkEvolution網(wǎng)卡NICNetworkInterfaceCard網(wǎng)絡(luò)級負(fù)載均衡NSLBNetworkScaleLoadBalance光電路交換OCSOpticalCircuitSwitching封裝內(nèi)光學(xué)I/OOIOIn-PackageOpticalI/O光交叉連接OXCOpticalCrossConnect基于優(yōu)先級的流量控制PFCPriority-basedFlowControl比例積分微分PIDProportionalIntegralDerivative協(xié)議無關(guān)交換機(jī)架構(gòu)PISAProtocolIndependentSwitchArchitecture預(yù)測型PFC流控P-PFCPredictivePFC服務(wù)質(zhì)量QoSQualityofService隊(duì)列偶QPQueuePair遠(yuǎn)程直接內(nèi)存訪問RDMARemoteDirectMemoryAccess可重構(gòu)光分叉復(fù)用器ROADMReconfigurableOpticalAdd/DropMultiplexer往返時延RTTRound-tripTime共享風(fēng)險(xiǎn)鏈路組SRLGSharedRiskLinkGroup服務(wù)類型ToSTypeofService超以太網(wǎng)聯(lián)盟UECUltraEthernetConsortium虛擬網(wǎng)絡(luò)功能VNFVirtualNetworkFunction參考文獻(xiàn)“ 十 四 五 ” 國 家 信 息 化 規(guī) 劃 . 2021-12. https:///2021-12/27/c_1642205314518676.htm.新華三，中國信通院2023智算算力發(fā)展白皮書.2023-08.中國移動通信研究院.新一代智算中心網(wǎng)絡(luò)白皮書.2022.Gavin.WhatisRDMA?RoCEvs.InfiniBandvs.Difference.2023-12.URL:https:///blog/what-is-rdma-roce-vs-infiniband-vs-iwar-difference.IEEE802.1Q.DataCenterBridgingWG[Online].URL:https:///1/pages/dcbridges.html.ZhangZ,Zha