AIGC時(shí)代智算中心網(wǎng)絡(luò)協(xié)議演進(jìn)與思考中國某著名企業(yè)11

AIGC時(shí)代智算中心網(wǎng)絡(luò)協(xié)議演進(jìn)與思考ChatGPT引爆AI

，智算算力需求激增

，參數(shù)量呈指數(shù)級迭代增長推動(dòng)計(jì)算與網(wǎng)絡(luò)基礎(chǔ)設(shè)施建設(shè)不斷布局隨著算力需求的快速增長

，AI基礎(chǔ)設(shè)施建設(shè)不斷布局，算與網(wǎng)成為AI算力的兩大重要基礎(chǔ)設(shè)施AI基礎(chǔ)設(shè)施我國智算增長迅速

，較2019年

，2023年算力規(guī)模提升14倍，預(yù)測未來仍會(huì)大幅度的增長算為核心?算力需求激增

，GPU是重中之重?AI芯片市場規(guī)模不斷擴(kuò)大

，較2022年

，2026年AI芯片規(guī)模提升4倍

，GPU市場已是紅海ChatGPT驅(qū)動(dòng)AI大模型訓(xùn)練進(jìn)入爆發(fā)期

，參數(shù)量指數(shù)級增長

，AI智能算力增速遠(yuǎn)超摩爾定律AI需求激增推動(dòng)建設(shè)計(jì)算和網(wǎng)絡(luò)基礎(chǔ)設(shè)施?GPU市場規(guī)模提升

，對網(wǎng)絡(luò)設(shè)備需求

激增

，網(wǎng)絡(luò)發(fā)展前景極為明朗智能計(jì)算需求持續(xù)激增算網(wǎng)基礎(chǔ)設(shè)施不斷布局來源：Frost&Sulivan，中商產(chǎn)業(yè)研究院...來源：中商產(chǎn)業(yè)研究院，安信證券研究中心來源：IDC,2022網(wǎng)為根基>AI大模型以GPU集群分布式訓(xùn)練為基礎(chǔ)

，

帶來大量節(jié)點(diǎn)間通信消耗

，

網(wǎng)絡(luò)成為AI算力“瓶頸”>當(dāng)前業(yè)界主流智算中心網(wǎng)絡(luò)技術(shù)被國外廠商壟斷

，

網(wǎng)絡(luò)芯片存在代際差距

，

網(wǎng)絡(luò)可能成為我國AI發(fā)展的“新卡點(diǎn)”集群有效算力∝｛GPU單卡算力*總卡數(shù)*線性加速比*有效運(yùn)行時(shí)｝面向大模型訓(xùn)練

，

網(wǎng)絡(luò)成為AI算力瓶頸網(wǎng)絡(luò)設(shè)備能力決定GPU集群組網(wǎng)規(guī)模2%的丟包就會(huì)使RDMA吞吐率下降為0網(wǎng)絡(luò)性能決定GPU集群算力加速比網(wǎng)絡(luò)可用性決定GPU集群穩(wěn)定性芯片容量提升2倍

，組網(wǎng)規(guī)模提高4倍GPU集群性能

≠單GPU性能*N?

單個(gè)流量：

數(shù)量少、

帶寬大、

同步?

累積流量：

波峰、

波谷效應(yīng)明顯

，具有周期性?

單個(gè)流量：

數(shù)量多、

帶寬小、

異步?

累積流量：

抖動(dòng)幅度較小

，具有隨機(jī)性傳統(tǒng)DC與智算中心流量模型區(qū)別智算中心大模型（All-to-all）流量模型GPU停工等待其

他GPU完成工作傳統(tǒng)DC流量模型單個(gè)流量單個(gè)流量累積流量累積流量?Infin

iband：

1999年IBTA提出

，第一代RDMA技術(shù)

，交換機(jī)、

網(wǎng)卡、光模塊、光纖都是專用產(chǎn)品

，專用無損網(wǎng)絡(luò)

，全球獨(dú)家

，和以太網(wǎng)不能互通

，采購及維護(hù)成本高?RoCE：2010年IBTA提出

，本質(zhì)為網(wǎng)卡側(cè)封裝技術(shù)

，不涉及網(wǎng)絡(luò)側(cè)技術(shù)，

網(wǎng)絡(luò)無損能力依賴網(wǎng)絡(luò)設(shè)備與網(wǎng)卡實(shí)現(xiàn)

，產(chǎn)業(yè)開放

，組網(wǎng)規(guī)模和轉(zhuǎn)發(fā)性能較差I(lǐng)nfin

i

Band與RoCE是由IBTA提出的兩種主流面向RDMA提供高性能交換能力的傳輸協(xié)議

，

前者從硬件級別保證網(wǎng)絡(luò)低時(shí)延、

高吞吐，后者是將RDMA應(yīng)用到以太網(wǎng)

，依賴PFC等協(xié)議實(shí)現(xiàn)無損

，

兩者在路由機(jī)制、

轉(zhuǎn)發(fā)機(jī)制、

算網(wǎng)能力等方面存在差異IB與RoCE是目前業(yè)界主流高性能網(wǎng)絡(luò)協(xié)議?

個(gè)體算路相互獨(dú)立?

只看最短路徑

，端口擁塞，

故障觸發(fā)倒換查表轉(zhuǎn)發(fā)IB傳輸層IB

網(wǎng)絡(luò)層以太鏈路層?

存儲(chǔ)轉(zhuǎn)發(fā)

，緩存時(shí)延大?

需借助PFC、

DCQCN協(xié)議實(shí)現(xiàn)

端到端流控轉(zhuǎn)發(fā)機(jī)制不同

，網(wǎng)絡(luò)性能存在差異RDMA軟件棧管控機(jī)制不同

，路由算法存在差異?

集中算路統(tǒng)一下發(fā)?

結(jié)合端口擁塞+SPF

，選擇

最優(yōu)路徑?

直通轉(zhuǎn)發(fā)

，靜態(tài)時(shí)延低?

協(xié)議本身支持端到端流控IB

網(wǎng)絡(luò)層IB傳輸層IB傳輸層IB鏈路層以太鏈路層UDP網(wǎng)絡(luò)層Infiniband校驗(yàn)查表緩存RoCEv1RoCEv2RoCERoCEvsvsIBIB有效通信帶寬≠網(wǎng)卡/交換機(jī)組網(wǎng)物理帶寬現(xiàn)有以太網(wǎng)協(xié)議基礎(chǔ)轉(zhuǎn)發(fā)和調(diào)度機(jī)制

，在AI模型訓(xùn)練場景存在天然缺陷

，

單純優(yōu)化上層網(wǎng)絡(luò)協(xié)議無法解決，需對底層轉(zhuǎn)發(fā)和調(diào)度機(jī)制進(jìn)行革新

，

并推動(dòng)網(wǎng)絡(luò)芯片底層邏輯架構(gòu)支持

，突破無損以太性能瓶頸任務(wù)同步產(chǎn)生“多打一”流量

，擁塞導(dǎo)致時(shí)延、抖動(dòng)增加?方向：源端向目的端“請求”發(fā)送權(quán)限

，基于網(wǎng)絡(luò)轉(zhuǎn)發(fā)能力的被動(dòng)“拉”流，最大概率消除擁塞概率

，優(yōu)化長尾時(shí)延?問題：傳統(tǒng)以太網(wǎng)源端發(fā)流不關(guān)注網(wǎng)絡(luò)情況及目的端接受能力

，直接向網(wǎng)絡(luò)“推”流，AI訓(xùn)練過程存在多打一流量

，導(dǎo)致網(wǎng)絡(luò)產(chǎn)生擁塞或丟包；通知源端降速或重傳

，導(dǎo)致GPUGPU空閑

，算力損失?問題：AI訓(xùn)練的流特征是流數(shù)量少但單流帶寬大

，傳統(tǒng)流級負(fù)載均衡極成多個(gè)流哈希到同一條鏈路

，造成部分鏈路擁塞

，部分空閑

，網(wǎng)絡(luò)利用率低，

無法應(yīng)對突發(fā)的網(wǎng)絡(luò)流量?方向：對每條流的多個(gè)數(shù)據(jù)包逐個(gè)進(jìn)行負(fù)載分擔(dān)

，實(shí)現(xiàn)單流在全路徑“噴灑”

，提升有效帶寬

，更好應(yīng)對突發(fā)流量In-cast

流量當(dāng)前RoCE網(wǎng)絡(luò)存在諸多問題

，

不適應(yīng)大AI模型部署源端任意向網(wǎng)絡(luò)推流

，

出現(xiàn)擁塞被動(dòng)降速

，

GPU閑置等待基于流轉(zhuǎn)發(fā)

，流數(shù)量少導(dǎo)致哈希失效

，鏈路負(fù)載不均2023年7月19日

，

Linux基金會(huì)成立超以太網(wǎng)聯(lián)盟

(UEC)

，發(fā)布UE技術(shù)愿景白皮書

，

當(dāng)前已成立四個(gè)工作組并與OCP開展合作?面向大模型和高性能計(jì)算場景

，從物理層到軟件層對以太協(xié)議棧和配套芯片產(chǎn)業(yè)進(jìn)行革新?創(chuàng)始rista、博通、思科、

Eviden、

HPE、

Intel、

Meta和某著名企業(yè)

，強(qiáng)強(qiáng)聯(lián)合

，覆蓋全產(chǎn)業(yè)生態(tài)

，核心是將“產(chǎn)品”標(biāo)準(zhǔn)化UEC組織愿景基于以太網(wǎng)

，

實(shí)現(xiàn)一個(gè)開放、

可互通、

高性能、

全通信棧的架構(gòu)

，滿足大規(guī)模AI和

HPC不斷增長的網(wǎng)絡(luò)需求可互通基于IP和以太網(wǎng)完善的生態(tài)系統(tǒng)，物理層不做顛覆性改革全棧優(yōu)化物理層、鏈路層、傳輸層、軟件應(yīng)用層共同優(yōu)化高性能聚焦傳輸層性能優(yōu)化

，支持報(bào)文噴灑和亂序

，擁塞控制等開放性以開放的生態(tài)抗衡封閉的技術(shù)體系業(yè)界智算中心高性能網(wǎng)絡(luò)標(biāo)準(zhǔn)組織介紹---UEC基于信元交換的博通DDC架構(gòu)

，端到端授權(quán)

，充分利用網(wǎng)絡(luò)帶寬核心思想：Spine-Leaf架構(gòu)不使用以太協(xié)議

，通過Cell-Based轉(zhuǎn)發(fā)機(jī)制和基于請求授權(quán)的流控體系全面提升網(wǎng)絡(luò)有效帶寬

，減少網(wǎng)絡(luò)抖動(dòng)AWS基于自研Nitro卡革新SRD協(xié)議

，優(yōu)化組網(wǎng)規(guī)模和抖動(dòng)核心思想：通過RD傳輸模式增大組網(wǎng)規(guī)模

，通過報(bào)文切分和全鏈路噴灑技術(shù)優(yōu)化抖動(dòng)

，

EBS場景吞吐量提升4X

，寫延遲降低90%>采用多級Bigraph拓?fù)浼軜?gòu)

，充分利用以太網(wǎng)多路徑優(yōu)勢>無序交付

，單流多路徑

，降低時(shí)延>報(bào)文等長切分技術(shù)

，優(yōu)化抖動(dòng)>

Based-RTT擁塞控制算法>兼容網(wǎng)卡能力及RoCE協(xié)議

，網(wǎng)絡(luò)基于Cell-Based的精細(xì)顆粒度轉(zhuǎn)發(fā)及動(dòng)態(tài)負(fù)載>采用VoQ技術(shù)實(shí)現(xiàn)端到端流量調(diào)度

，最大程度防止網(wǎng)絡(luò)擁塞概率>端口速率適配性強(qiáng)

，組網(wǎng)架構(gòu)靈活業(yè)界智算中心高性能網(wǎng)絡(luò)創(chuàng)新方向GSE技術(shù)體系最大限度兼容以太網(wǎng)生態(tài)，從四層（物理層、鏈路層、網(wǎng)絡(luò)層、傳輸層）

+一體（管理和運(yùn)維體系）等幾個(gè)層級進(jìn)

行優(yōu)化和增強(qiáng)，構(gòu)建無阻塞、高帶寬、低時(shí)延的新型智算中心網(wǎng)絡(luò)，形成標(biāo)準(zhǔn)開放的技術(shù)體系，助力AI產(chǎn)業(yè)發(fā)展鏈路層

報(bào)文分發(fā)和重組機(jī)制

調(diào)度機(jī)制

鏈路級安全及容錯(cuò)機(jī)制改進(jìn)的RDMA擁塞管理

擁塞通告

管理與

運(yùn)

維

體系網(wǎng)絡(luò)可視化變更自動(dòng)化部署自動(dòng)化運(yùn)維自動(dòng)化測試驗(yàn)收自動(dòng)

化新型組播/任播協(xié)議新型負(fù)載均衡機(jī)制故障快速檢測新型組網(wǎng)拓?fù)涓咚俟饨涌诘脱舆tFECPhySec光交換選擇性重傳傳輸層物理層網(wǎng)絡(luò)層大規(guī)模QP流量控制亂序重排傳輸模式擁塞控制擁塞算法擁塞檢測高波特率光電器件、5nm制程oDSP成熟當(dāng)前：

光電接口均以單通道100G速率為主未來：

光電接口將采用單通道200G速率以及800GE/1.6TE相干800G&1.6Tb

ps以太網(wǎng)將成為承載超高速算力互聯(lián)、

構(gòu)建算網(wǎng)基礎(chǔ)設(shè)施的重要手段

，滿足智算中心網(wǎng)絡(luò)AI大模型應(yīng)用場景帶

來的數(shù)據(jù)量持續(xù)增長需求8×200G

PAM41.6TE相干GSE技術(shù)體系---高速以太網(wǎng)IEEE802.3dj：單通道200G

PAM4、800GE/1.6TE相干800GE&1.6TE

標(biāo)準(zhǔn)演進(jìn)800GE&1.6TE

接口形態(tài)4×200G

PAM4IEEE802.3df：單通道100G

PAM48×100G

PAM4800GE相干202320252027標(biāo)準(zhǔn)發(fā)布標(biāo)準(zhǔn)發(fā)布草案階段草案階段?端口密度：

576

*576口（光）——根據(jù)技術(shù)工藝?額外需求：無需光模塊

，光纖直連面板?

成本：

100~200w/臺(tái)?

技術(shù)特征：ü端口間通信關(guān)系固定

，通過全光開關(guān)進(jìn)行切換（1對1）ü光信號完全透明傳輸

，無需光模塊

，與速率無關(guān)

，避免光電轉(zhuǎn)化

，時(shí)延更低ü設(shè)備交換容量無上限（取決于光纖傳輸能力）

，從國產(chǎn)化角度出發(fā)

，對芯片依賴程度小

，支持大規(guī)模節(jié)點(diǎn)組網(wǎng)?端口密度：400G

*

32

口（電）——根據(jù)芯片容量?額外需求：配備400G光模塊（3w/個(gè)）?

成本：

~60w/臺(tái)?

技術(shù)特征：ü通過路由表轉(zhuǎn)發(fā)

，端口間通信關(guān)系靈活（N對N）ü上下游速率要求對等

，負(fù)載不均時(shí)

，Spine下行會(huì)出現(xiàn)擁塞場景ü設(shè)備交換容量依賴芯片

，組網(wǎng)規(guī)模受限于芯片能力新型光交換機(jī)與傳統(tǒng)交換機(jī)的核心區(qū)別在于用光口代替電口

，無需插光模塊

，

可實(shí)現(xiàn)端口與速率無關(guān)；

無交換芯片

，點(diǎn)到點(diǎn)通信關(guān)系一定時(shí)間內(nèi)固定

，設(shè)備容量及端口密度與芯片無關(guān)

，

可用在網(wǎng)絡(luò)中替代Spine設(shè)備

，提升網(wǎng)絡(luò)性能及建設(shè)擴(kuò)容靈活性O(shè)CSSpineLeafLeaf光口電口>MR路由（Minimal

Routing）

：通過路由協(xié)議（is

is

or

ospf）找到最短路徑轉(zhuǎn)發(fā)

，無法實(shí)現(xiàn)負(fù)載均衡

，無法充分利用帶寬資源>NMR路由（Non-minimal

Routing）：

目前沒有標(biāo)準(zhǔn)方法

，人為手工調(diào)整權(quán)重和cost值、

BGP路由策略和路由屬性指導(dǎo)路徑轉(zhuǎn)發(fā)，

自動(dòng)化能力差、管理復(fù)雜>AR路由（Adaptive

Routing）

：動(dòng)態(tài)調(diào)整路徑

，非最短路徑路由需手工配置，多個(gè)擁塞點(diǎn)出現(xiàn)

，會(huì)導(dǎo)致流量無法切換路徑丟包>VLB路由（Valiant

Load-Balance

Routing）：Valiant算法動(dòng)態(tài)調(diào)整

，鏈路長度*路徑的擁塞程度的大小決定選擇路徑

，擁塞程度消息獲取方式未標(biāo)準(zhǔn)化。?

人為干預(yù)控制流量轉(zhuǎn)發(fā)

，缺乏動(dòng)態(tài)負(fù)載分擔(dān)機(jī)制?

現(xiàn)有網(wǎng)絡(luò)架構(gòu)缺乏網(wǎng)絡(luò)擁塞的標(biāo)準(zhǔn)定義和遠(yuǎn)程擁塞的通知機(jī)制

，難以及時(shí)獲取擁塞信息。IETF117:draft-wang-rtgwg-dragonfly-routing-problem-00?Group與Group之間full-mash,每個(gè)group可以是任意拓?fù)浣Y(jié)構(gòu)

，如Fat-tree（

Dragonfly+）＜GSE技術(shù)體系---新型拓?fù)淇趕witchgroup

·

node

-

Intra-link-

Inter-link中國某著名企業(yè)提出全調(diào)度以太網(wǎng)（GSE）

技術(shù)架構(gòu)

，最大限度兼容以太網(wǎng)生態(tài)

，創(chuàng)新基于報(bào)文容器（PKTC）

的轉(zhuǎn)發(fā)及調(diào)度機(jī)制，

構(gòu)建無阻塞、

高帶寬、

低時(shí)延的新型智算中心網(wǎng)絡(luò)

，形成標(biāo)準(zhǔn)開放的技術(shù)體系

，助力AI產(chǎn)業(yè)發(fā)展創(chuàng)新以太網(wǎng)轉(zhuǎn)發(fā)機(jī)制

，

實(shí)現(xiàn)三大核心機(jī)制轉(zhuǎn)變將業(yè)務(wù)流拆分到不同“報(bào)文容器”轉(zhuǎn)發(fā)

，提供逐“報(bào)文容器”負(fù)載均衡機(jī)制

，提升帶寬利用率從被動(dòng)擁塞控制

，到基于“授權(quán)請求和響應(yīng)機(jī)制”的主動(dòng)流控

，最大限度避免網(wǎng)絡(luò)擁塞產(chǎn)生GSE技術(shù)體系---全調(diào)度以太網(wǎng)三大核心機(jī)制全局視野的轉(zhuǎn)發(fā)調(diào)度機(jī)制

，實(shí)現(xiàn)集中式管理運(yùn)維、分布式控制轉(zhuǎn)發(fā)

，提高網(wǎng)絡(luò)可用性從“流”分發(fā)到“報(bào)文”分發(fā)從盲發(fā)+被動(dòng)控制到感知+主動(dòng)控制Spine擁塞從“局部”決策到“全局”調(diào)度目的leafSpineSpine源leaf23212121233211331213321丟包231中國某著名企業(yè)攜手中國信通院

，聯(lián)合國內(nèi)外三十余家主流互聯(lián)網(wǎng)

，設(shè)備商、

芯片商、

高校院所聯(lián)合發(fā)起GSE推進(jìn)計(jì)劃，推動(dòng)智算中心網(wǎng)絡(luò)技術(shù)創(chuàng)新、

標(biāo)準(zhǔn)完善和產(chǎn)業(yè)應(yīng)用

，打造高速無損、

開放兼容的新型智算中心網(wǎng)絡(luò)技術(shù)體系2023.5

2023.62023.82023.9?物理層：低時(shí)延Phy、

PhySEC、故障快速檢測、高速光接口、光交換等?鏈路層：基于報(bào)文分發(fā)和重組機(jī)制、調(diào)度技術(shù)、鏈路級安全及容錯(cuò)等?網(wǎng)絡(luò)層：新型組網(wǎng)拓?fù)洹⑿滦徒M播/任播協(xié)議等;?傳輸層：改進(jìn)的RDMA、新型擁塞控制等?管理和運(yùn)維體系：網(wǎng)絡(luò)可視化、可調(diào)試能力、多維自動(dòng)化能力中國某著名企業(yè)

，

中國信息通信研究院

，華為、

中興、

銳捷、

某著名企業(yè)、

某著名企業(yè)、Broa、

Intel、

某著名企業(yè)、

某著名企業(yè)、

鵬城實(shí)驗(yàn)室、

紫金山實(shí)驗(yàn)室、

北京郵電大學(xué)、

中科院計(jì)算機(jī)網(wǎng)絡(luò)信息中心、

某著名企業(yè)科、

邁普、Spirent、

是德科技、

盛科、

云合智網(wǎng)、

楠菲微電子、

燧原科技、

昆侖芯、星云智聯(lián)、

云脈芯聯(lián)、

中科馭數(shù)、

云豹智能、

大禹智芯等GSE技術(shù)體系---全調(diào)度以太網(wǎng)（GSE）

推進(jìn)計(jì)劃?全調(diào)度以太網(wǎng)（GSE）

推進(jìn)計(jì)劃研究范疇：云網(wǎng)智聯(lián)大會(huì)發(fā)布《全調(diào)度以太網(wǎng)技術(shù)架構(gòu)》白皮書CCSA成功立項(xiàng)《全調(diào)度以太網(wǎng)總體技術(shù)要求》中國算力大會(huì)正式啟動(dòng)全調(diào)度以太網(wǎng)（GSE）推進(jìn)計(jì)劃中國網(wǎng)絡(luò)大會(huì)發(fā)布業(yè)界首款GSE原型系統(tǒng)?

成員情況：多播業(yè)務(wù)效率問題?引入了與通信規(guī)模線性相關(guān)的額外開銷

，且無法通過優(yōu)化下層網(wǎng)絡(luò)的延

遲/吞吐性能來消除擴(kuò)展性問題?有測試表明，

RDMA商用網(wǎng)卡在QP數(shù)量超過256時(shí)

，吞吐即會(huì)出現(xiàn)明顯的下降WangZ,

Luo

L,

NingQ,etal.SRNIC:A

ScalableArchitecture

for

RDMA

NICs[J]面向集合通信原生傳輸框架

，通過端網(wǎng)協(xié)同

，支持組播、

任播、

聚播三種基本模式

，

實(shí)現(xiàn)網(wǎng)絡(luò)中一組節(jié)點(diǎn)內(nèi)存直讀/寫通過原型系統(tǒng)驗(yàn)證

，

MPI_bcast任務(wù)完成時(shí)間平均降低50%

，存儲(chǔ)場景IOPS提升45%以上（任播模式）分布式系統(tǒng)節(jié)點(diǎn)間以多對多的集合通信為主

，

業(yè)界主流方案基于RDMA點(diǎn)到點(diǎn)高效傳輸

，

實(shí)現(xiàn)多對多集合通信

，存在性能瓶頸5654GSE技術(shù)體系---NDMA端網(wǎng)協(xié)同轉(zhuǎn)發(fā)協(xié)議

端側(cè)組級傳輸協(xié)議

MPI_bcast任務(wù)完成時(shí)間平均降低50%任播（存）組播(算)53

5456?本地故障檢測：本地檢測時(shí)間大約為幾毫秒

，故障檢測時(shí)間太長

，無法滿足模型訓(xùn)練需求?本地故障切換：在