2023DDC技術(shù)白皮書(shū)規(guī)范

DDC技術(shù)白皮書(shū)PAGE\*romanPAGE\*romaniiODCC-2021-03002ODCC-2021-03002DDC技術(shù)白皮書(shū)目錄前言 iii版權(quán)說(shuō)明 ivDDC技術(shù)白皮書(shū) 11.項(xiàng)目背景 12.項(xiàng)目目標(biāo) 23.專用術(shù)語(yǔ) 2DDC方案論證 2DDC的行業(yè)現(xiàn)狀 24.2. 應(yīng)用場(chǎng)景 3DDC技術(shù)原理 3DDC方案 4DDC芯片說(shuō)明 54.4.2.組網(wǎng)結(jié)構(gòu) 64.4.3.DDCCell交換原理 7CLOS架構(gòu)方案 84.5.1.芯片說(shuō)明 84.5.2.組網(wǎng)結(jié)構(gòu) 104.5.3.組網(wǎng)分析 13DDC設(shè)備在DCI網(wǎng)絡(luò)的組網(wǎng)方式 14DDC與CLOS方案對(duì)比 154.8. 論證結(jié)論 15DDC產(chǎn)品研發(fā) 16設(shè)備OS功能需求 16DDC硬件設(shè)計(jì) 19Fabric設(shè)計(jì) 19Forwarder設(shè)計(jì) 19管理模塊設(shè)計(jì) 20Fabric互聯(lián) 20功耗和機(jī)柜空間需求 21DDC自研OS系統(tǒng) 22SONiC社區(qū)對(duì)多芯片分布式轉(zhuǎn)發(fā)架構(gòu)的支持情況 22PAGEPAGE10DDC技術(shù)白皮書(shū)項(xiàng)目背景當(dāng)前DCI網(wǎng)絡(luò)采用大機(jī)框式設(shè)備有以下弊端：以滿足要求；力，對(duì)機(jī)柜電力要求高；單設(shè)備端口數(shù)量高，故障域大DCI維護(hù)。新的設(shè)備形態(tài)思考：DDC-distributeddisaggregatedchassis，將大機(jī)框分解，采用盒式交換機(jī)搭建大轉(zhuǎn)發(fā)能力DCI角色設(shè)備。圖1DDC結(jié)構(gòu)DDC的優(yōu)勢(shì)：?jiǎn)卧O(shè)備功耗低，分散部署，無(wú)需高電機(jī)柜；縮小故障域，單臺(tái)設(shè)備故障影響范圍更??；分平面集群設(shè)計(jì)，容量更大便于自研開(kāi)發(fā)，統(tǒng)一管控；項(xiàng)目目標(biāo)DDC項(xiàng)目的規(guī)劃目標(biāo)：DCI25%6.25%部署周期從周級(jí)降至小時(shí)級(jí)NOS一致，具備端到端運(yùn)維可視化的硬件能力專用術(shù)語(yǔ)如下是本文檔涉及的專業(yè)術(shù)語(yǔ)說(shuō)明：ASNAutonomoussystemnumber，BGP的自制系統(tǒng)號(hào)BGPBorderGatewayProtocolCLOS一種用小型交換機(jī)組建的多級(jí)無(wú)阻塞交換網(wǎng)絡(luò)架構(gòu)，命名由CharlesClos博士的名字而來(lái)DDCdistributeddisaggregatedchassisESEdgeSwitch對(duì)RCSCISISIntermediatesystemtoIntermediatesystem協(xié)議，IGP路由協(xié)議RCRegionalCore區(qū)域核心SCsupercore，超級(jí)核心角色VOQvirtualoutputqueueDDC方案論證DDC的行業(yè)現(xiàn)狀DriveNetsNetworkCloud產(chǎn)品是業(yè)界第一個(gè)也是唯一一個(gè)商用的DDC產(chǎn)品。DriveNetsDDCOS等，DDC軟件適配通用的白盒設(shè)備。2019年AT&T提交DDC白盒架構(gòu)設(shè)計(jì)到OCP，2020年AT&T在IP骨干網(wǎng)部署DrivenetsDDC設(shè)備。圖2DriveNetsDDC應(yīng)用場(chǎng)景分布式機(jī)框解耦在百度的主要應(yīng)用場(chǎng)景是DCI網(wǎng)絡(luò)。DCI網(wǎng)絡(luò)的互聯(lián)帶寬高，對(duì)設(shè)備的交換容量要求高。DCI網(wǎng)絡(luò)有不同規(guī)模的數(shù)據(jù)中心接入，有較高的網(wǎng)絡(luò)帶寬收斂比，需要大buffer、大交換容量的設(shè)備來(lái)滿足互聯(lián)需求。當(dāng)前骨干網(wǎng)部署了大量機(jī)框式設(shè)備，對(duì)機(jī)柜電力容量要求高，單設(shè)備故障影響范圍大。涉及多廠商的設(shè)備，在管理和運(yùn)維上都有很大的挑戰(zhàn)。DDCDCIOS可用性、可管理性，降低設(shè)備成本。DDC技術(shù)原理圖3DDC原理技術(shù)白皮書(shū)（中文版）DDC顧名思義是一種分布式解耦機(jī)框設(shè)備的解決方案。首先它解耦了硬件和軟件：Fabric，組件獨(dú)立，通過(guò)光纖互聯(lián)；X86機(jī)、fabric交換機(jī)；OSfabric上，OS通用的白盒交換機(jī)；第二DDC解耦了路由交換機(jī)的架構(gòu)：X86交換機(jī)左右分布式的數(shù)據(jù)轉(zhuǎn)發(fā)平面做數(shù)據(jù)轉(zhuǎn)發(fā)；數(shù)據(jù)平面靈活伸縮。能夠根據(jù)轉(zhuǎn)發(fā)容量的需求，靈活擴(kuò)縮容轉(zhuǎn)發(fā)交換fabric。FabricfabriccelldistributedVOQfabric數(shù)據(jù)轉(zhuǎn)發(fā)無(wú)擁塞丟包；DDC方案DDCbufferfabric芯片如下：、Ramon（fabric）OS：SonicOSOS控制器：自研控制器商用控制器設(shè)備接口能力：100G端口（DC）400G端口（城域互聯(lián)）DDC芯片說(shuō)明Jericho2C+芯片：7.2TI/O9.6TFabricI/O8GBHBM（Highbandwidthmemory）64MBOnchipbuffer（OCB）350W圖4Jericho2c+芯片結(jié)構(gòu)Ramon9.6TbpsFabricI/O圖5Ramon芯片結(jié)構(gòu)組網(wǎng)結(jié)構(gòu)DDC集群的結(jié)構(gòu)如下：圖6DDC集群結(jié)構(gòu)結(jié)構(gòu)說(shuō)明：LC2Jericho2c+14.4T轉(zhuǎn)發(fā)能力；FabricRamonfabric9.6TSerdes219.2Tfabric設(shè)備；LCFabric400GFabricN+1冗余能力；2fabric設(shè)備、LC轉(zhuǎn)發(fā)設(shè)備、控制引擎，控制面的數(shù)據(jù)流通過(guò)管理交換機(jī)轉(zhuǎn)發(fā)；2X86ServerLC、DDCCell交換原理DDCCELL交換方式，CELLfabric流量轉(zhuǎn)發(fā)更加均衡，高效。圖7Cell轉(zhuǎn)發(fā)原理數(shù)據(jù)轉(zhuǎn)發(fā)過(guò)程原理：LCcluster；CP數(shù)據(jù)包查詢FIB表中的LPM，LCfabriccells，cells被發(fā)往互聯(lián)目地LCfabric上；Fabric從流量入口LC白盒收到cells，基于對(duì)在reachabilitytable中celldestinationFabricreachabilitytable，從fabricportLCReachabilitytablereachabilityprotocolLCFabriccontrolcells構(gòu)建；EgressLCcellegressport轉(zhuǎn)發(fā)；VOQ機(jī)制保證數(shù)據(jù)在集群內(nèi)轉(zhuǎn)發(fā)不丟包，cell轉(zhuǎn)發(fā)能夠保證數(shù)據(jù)流在集群內(nèi)的轉(zhuǎn)發(fā)負(fù)載更加均衡。FabriccellDCI發(fā)延遲相比很微小，DCI網(wǎng)絡(luò)本身不是一個(gè)延時(shí)敏感的網(wǎng)絡(luò)部分。VOQ原理說(shuō)明：inputbufferoutput擬隊(duì)列，outputqueueinputbuffer11outputqueueinputpipelinebuffer空間。VOQinputbuffer在轉(zhuǎn)發(fā)芯片上是outputqueue，避免任何兩個(gè)端口的通信不影響其它端口。VOQ是基于credit機(jī)制，cell轉(zhuǎn)發(fā)機(jī)制說(shuō)明如下：Inputoutputoutput送；outputinputcreditoutput端口有足夠帶寬資源時(shí)，才會(huì)給input端口分配credit，inputcreditoutput端口，outputinputcreditinputcreditoutputfabric內(nèi)丟包。CLOS架構(gòu)方案采用CLOS架構(gòu)組建集群，實(shí)現(xiàn)近似大機(jī)框的轉(zhuǎn)發(fā)能力和組網(wǎng)能力。Fabric層和轉(zhuǎn)發(fā)層都采用普通白盒設(shè)備，F(xiàn)abric和轉(zhuǎn)發(fā)層之間通過(guò)路由轉(zhuǎn)發(fā)，F(xiàn)abric只在后端做數(shù)據(jù)轉(zhuǎn)發(fā)，對(duì)外呈現(xiàn)只有轉(zhuǎn)發(fā)器，所有設(shè)備獨(dú)立運(yùn)行，無(wú)集中控制平面。芯片說(shuō)明從端口密度和成本兩方面考慮，設(shè)備的芯片選擇如下：Jericho2Jericho2c+5芯片白盒。FabricSiliconOne對(duì)轉(zhuǎn)發(fā)層設(shè)備的要求：fabric設(shè)計(jì)Jericho2、Jericho2C+SiliconOne(Q200)buffer芯片體積小、低功耗100G、400G端口卡SiliconOneQ20012.8T轉(zhuǎn)發(fā)能力fabricportfabricI/O的端口分配8GBHBM108MBonchipbuffer（OCB）圖8SiliconOneSiliconOnefabricP4bufferVOQcell轉(zhuǎn)發(fā)。VOQ機(jī)制保證芯片轉(zhuǎn)發(fā)無(wú)丟包，基于包的轉(zhuǎn)發(fā)，數(shù)據(jù)流在多芯片的轉(zhuǎn)發(fā)沒(méi)有cell轉(zhuǎn)發(fā)那樣均衡，但沒(méi)有切cell的過(guò)程也大大縮短了芯片的轉(zhuǎn)發(fā)延遲。與jericho2c+相比具有更低的轉(zhuǎn)發(fā)延遲。設(shè)備形態(tài)：圖9Jericho2c+芯片端口形態(tài)圖10SiliconOne芯片端口形態(tài)組網(wǎng)結(jié)構(gòu)100GFabric集群：設(shè)備名稱角色芯片端口形態(tài)設(shè)備配比最大轉(zhuǎn)發(fā)容量4平面最大容量T1FabricTomahawk3128*100G固定端口48614.4T2457.6TT0Forwarder2*Jericho2插卡式：2*48*100G或12*400G+48*100G128圖11100GfabricJercho2+TH3集群設(shè)備名稱角色芯片端口形態(tài)設(shè)備配比最大轉(zhuǎn)發(fā)容量4平面最大容量T1FabricSilicon Q200128*100G固定端口64819.2T3276.8TT0ForwarderSilicon Q200插卡式：32*100G或16*400G線卡128圖12100GfabricSiliconOne集群400G集群：設(shè)備名稱角色芯片端口形態(tài)設(shè)備配比最大轉(zhuǎn)發(fā)容量4平面最大轉(zhuǎn)發(fā)容量T1FabricTomahawk5128*400G固定端口18921.6T3686.4TT0Forwarder2*Jericho2c+插卡式：36*400G或18*400G+72*100G128集群結(jié)構(gòu)：圖13400GCLOS架構(gòu)集群Tomahawk5芯片2022.7月發(fā)布，Jericho2c+2021年底量產(chǎn)。組網(wǎng)分析CLOS架構(gòu)的集群做BGP聯(lián)盟配置，對(duì)外呈現(xiàn)一個(gè)自治域AS圖14CLOS架構(gòu)組網(wǎng)分析轉(zhuǎn)發(fā)層和fabric層之間的路由設(shè)計(jì)分析：T0T1BGPconfederation，T1AST0AS；EBGPAS64600EBGPDC1DC2T0-3，與不重合T0-1、T0-5as-path長(zhǎng)度是一致的，可以負(fù)載均衡；BGPCLOS結(jié)構(gòu)沒(méi)有約束，可任意做非對(duì)稱互聯(lián)，實(shí)現(xiàn)路由的等價(jià)負(fù)載均衡；組網(wǎng)結(jié)構(gòu)分析：①CLOS架構(gòu)分布式控制平面Fabric和forwarder之間采用三層路由方式互聯(lián)，無(wú)法使用Jericho2c+的fabric端口，芯片有一半的轉(zhuǎn)發(fā)端口用于互聯(lián)Fabric層設(shè)備，構(gòu)建同等轉(zhuǎn)發(fā)能力的DDC集群，需要比集中控制面的DDC增加一倍的設(shè)備，成本上分析比機(jī)框式設(shè)備組網(wǎng)成本高一倍以上；②Fabric層采用成本較低的Tomahawk芯片，基于包轉(zhuǎn)發(fā)，Tomahawk芯片buffer較小，無(wú)VOQ機(jī)制，在多訪問(wèn)1場(chǎng)景fabric層有丟包風(fēng)險(xiǎn)；CLOS平面均為分布式，分散故障域，避免全局故障；DDCDCI網(wǎng)絡(luò)的組網(wǎng)方式DDC設(shè)備在DCI網(wǎng)絡(luò)SC角色部署的組網(wǎng)方式如下：圖15DDC設(shè)備DCI組網(wǎng)結(jié)構(gòu)組網(wǎng)說(shuō)明：DDC4平面；DDC集群，T1FabricDDC2倍部署，以滿足集群擴(kuò)展能力DDC的轉(zhuǎn)發(fā)設(shè)備按轉(zhuǎn)發(fā)容量需求靈活部署城域網(wǎng)與超核四平面全互聯(lián)，ESSC互聯(lián)；超核之間分平面互聯(lián)；故障場(chǎng)景分析（DDCSC配置8臺(tái)轉(zhuǎn)發(fā)交換機(jī)）：故障點(diǎn)故障影響ES-SClink單linkdown，影響跨regionin1/4帶寬，regionout1/4帶寬SC1SC轉(zhuǎn)發(fā)白盒故障，影響跨regionin1/4帶寬跨regionout1/4帶寬DDCCLOS方案對(duì)比DDC方案和CLOS架構(gòu)方案對(duì)比如下：對(duì)比項(xiàng)DDC方案CLOS架構(gòu)方案故障域故障域大，控制面故障將導(dǎo)致整集群不可用故障域小，單白盒設(shè)備故障不影響全局轉(zhuǎn)發(fā)擁塞避免fabricVOQfabric轉(zhuǎn)發(fā)，流量負(fù)載更加均衡fabricpackettomahawkVOQ的場(chǎng)景，fabric有丟包風(fēng)險(xiǎn)硬件成本同等轉(zhuǎn)發(fā)容量比機(jī)框交換機(jī)高25%左右，F(xiàn)abric采用專用的fabric芯片，相對(duì)轉(zhuǎn)發(fā)芯片成本更低有一半轉(zhuǎn)發(fā)容量用于上聯(lián)交換機(jī)高100%以上運(yùn)維風(fēng)險(xiǎn)故障診斷復(fù)雜分布式控制面，升級(jí)維護(hù)簡(jiǎn)單管理風(fēng)險(xiǎn)集中控制管理配置簡(jiǎn)單分布式控制面，轉(zhuǎn)發(fā)層配置論證結(jié)論從上述方案對(duì)比分析：DDC制面集中故障域相對(duì)較大；CLOS架構(gòu)方案，實(shí)現(xiàn)復(fù)雜，成本與現(xiàn)有機(jī)框式設(shè)備相比大幅升高，fabric層有擁塞丟包風(fēng)險(xiǎn)；DCIDDC電力問(wèn)題，轉(zhuǎn)發(fā)容量更大，擴(kuò)展性好。DDC產(chǎn)品研發(fā)OS功能需求DDCDCIISIS、BGP、SR等協(xié)議。DDCDCI性能需求：路由快速收斂BGPFIB表收斂速度>20k/slinkdelayup/down,收斂影響B(tài)GP路由延遲發(fā)布，在鏈路故障恢復(fù)時(shí)縮短丟包時(shí)間ISIS/BGPBFD聯(lián)動(dòng)TEBFD聯(lián)動(dòng)SRv6支持靈活的路徑計(jì)算方法（flexiblealgorithm）；支持對(duì)數(shù)據(jù)流的染色功能；BGPLS搜集拓?fù)湫畔?、鏈路帶寬、SID信息；NQA獲取鏈路的時(shí)延信息；控制器能夠根據(jù)網(wǎng)絡(luò)的時(shí)延、帶寬、color徑；SRv6L3VPN能力IPv6IPv4、IPv6VPN服務(wù)。SRv6的SIDlocatorFunctionSRv6識(shí)L3VPN功能。舉例說(shuō)明如下：SRv6PElocator2021:abcd:0:a1::/64IPv4VPN10.1.1.0/24End.DX4SID2021:abcd:0:a1:1::/64。END.DX4是BGP的一個(gè)功能，END.DX4BGPSIDvpnv4addressfamily下，標(biāo)識(shí)一個(gè)IPv4CE。END.DX4PEIPv6SIDIPv4報(bào)文SIDEND.DX6SRv6IPv6VPN，END.DX6BGPSIDvpnv6addressfamily下。MP-BGPSRv6SIDL3VPNNLRIIPv6PeerSRv6SID安裝PE。具體功能需求如下表：功能要求子功能功能參數(shù)優(yōu)先級(jí)BGPECMP128paths,supportecmpas-path-relax,高Peergroup支持配置對(duì)等體組高importroutes支持引入其它路由協(xié)議路由（靜態(tài)、OSPF）高4bytesAS支持4字節(jié)ASN高RR(routereflector)支持路由反射器功能高pathselectattributesBGP選路屬性支持：weight、localpreference、MED、community高routeaggregation支持路由聚合，支持抑制明細(xì)，并支持聚合路由的路由策略(attribute-policy,suppress-policy)高timerssetting支持BGPhello和holdtime調(diào)整中Addpath8paths高BGPLS（linkstate)getISIStopoloyinfo,computeTEpath中routepolicy（acl/prefix-list/community的路由過(guò)濾,as-path/LP/MED/weight操作等）高IPv6supportIPv6address-familyBGP高NSFNonstopforwarding/routing高BFD聯(lián)動(dòng)中InterfacesLACP100AGGports,eachAGGportsupport48memberportsmax高link-delay/carrier-delay高ODCC-2021-03002ODCC-2021-03002DDC技術(shù)白皮書(shū)（中文版）MTUmax10000bytes高LLDPdiscover neighbor hostname/ interface managementIPdiscovery高flowinterval接口統(tǒng)計(jì)信息采集頻率設(shè)置中ISISECMP128paths高ISISTEsegment-routingmpls高Peerauthentication中IPv6支持IPv6的路由高NSFnonstopforwarding/routing高Fastreroute中costadjustment支持wide-metric，支持接口開(kāi)銷(xiāo)調(diào)整配置高routingmanipulation支持路由過(guò)濾、引入外部路由、發(fā)布缺省路由中routeaggregation支持路由聚合高BFD聯(lián)動(dòng)高LoadbalancingIPloadbalancingper-flow,src/dstIP,source/dstport,protocol;perport高linkaggregationsrc/dstIP,src/dstport,protocol，perport高M(jìn)anagementSSHv2高telnet高loginsourceIPfilter高netstream/sflow高Samplertrafficsampler.支持1：1024采樣比高ZTP中AAA高Netconf/YANG高gRPC中SNMPv2/v3高Inbandtelemetry中Policybasedroutingload-balancenext-hop支持重定向下一跳負(fù)載均衡中NQA聯(lián)動(dòng)支持與NQA聯(lián)動(dòng)中QoSWRR/WFQ高ECNsupportfastECN/CNP中DSCP/IPPremarkingDSCPtodot1pmapping高M(jìn)QCMQC(moduleqoscommand-line)流行為、流策略）高CARpolicies中SecurityL3/L4ACL高Prefix-list高community-filter高Routepolicy高as-pathfilter中SRTEMPLSSR高SRv6中SRTI-LFA支持TE隧道熱備份高directtraffictotunnel支持靜態(tài)路由、策略路由、IGP自動(dòng)路由方式引流到隧道高diff-servicegroup支持TEtag，將流量引導(dǎo)到對(duì)應(yīng)服務(wù)等級(jí)隧道中BFDforSR-TELSP支持BFD與TELSP聯(lián)動(dòng)高Staticroutenull0route/defaultroute中DDC硬件設(shè)計(jì)Fabric設(shè)計(jì)設(shè)計(jì)DDC的硬件形態(tài)，F(xiàn)abric設(shè)備設(shè)計(jì)一種硬件形態(tài)：圖16Fabric硬件形態(tài)設(shè)計(jì)Fabric采用BroadcomRamon48*400G2顆Ramon192*50G48*400G48fabric691.2TDDC設(shè)備。Forwarder設(shè)計(jì)轉(zhuǎn)發(fā)設(shè)備設(shè)計(jì)100G和400G兩種形態(tài)，100G的轉(zhuǎn)發(fā)設(shè)備設(shè)計(jì)如下：圖17100G轉(zhuǎn)發(fā)交換機(jī)硬件形態(tài)設(shè)計(jì)100GJericho248*100G轉(zhuǎn)發(fā)能力，Jericho2112*50GSerdesfabricI/O14*400GFabric端口Fabric設(shè)備，2端口冗余。400G的轉(zhuǎn)發(fā)設(shè)備設(shè)計(jì)如下：圖18400G轉(zhuǎn)發(fā)交換機(jī)硬件形態(tài)設(shè)計(jì)400GJericho2c+36*400G轉(zhuǎn)發(fā)能力。Jericho2c+192*50GSerdesfabricI/O2*20*400G端口，4端口冗余。管理模塊設(shè)計(jì)DDC的fabric和forwarder白盒設(shè)備設(shè)計(jì)統(tǒng)一的管理模塊：210GSFP+接口，用于和控制平面的控制引擎通信；1Console接口，用于遠(yuǎn)程控制臺(tái)管理設(shè)備；1RJ45帶外管理接口，用于遠(yuǎn)程帶外管理；Fabric互聯(lián)DDCforwarderfabric400GBroadcomfabric100m。百度對(duì)DDC的Fabric互聯(lián)線纜要求如下：圖19AOC線纜400GQSFP-DDAOC50米400GQSFP-DDDAC3米圖20DAC線纜設(shè)備硬件說(shuō)明：參數(shù)ForwarderFabric設(shè)備尺寸2RackUnit2RackUnit芯片2*Jericho2c+2*Ramon端口36*400G48*400G功耗最大功耗2600w最大功耗2000w230.4T（576*400G）DDC20Fabric，16臺(tái)orwrderFbric224臺(tái)orardr345.6。按單機(jī)柜80A，17600W功率計(jì)算：需要5個(gè)機(jī)柜：圖21DDC部署機(jī)柜圖DAC線纜需求：126條AOC線纜需求：514條DDC產(chǎn)品占用機(jī)柜空間較大，集群總功耗較高。DDCOS系統(tǒng)SonicDDCOS研發(fā)。DDC是一個(gè)控制平面和數(shù)據(jù)轉(zhuǎn)發(fā)平OS系統(tǒng)：網(wǎng)絡(luò)控制器，運(yùn)行控制平面協(xié)議、計(jì)算、功能程序，管理協(xié)議等；FabricOS發(fā)任務(wù)；SONiC社區(qū)對(duì)多芯片分布式轉(zhuǎn)發(fā)架構(gòu)的支持情況DDCOSSONiCSonic社區(qū)的支持情況。Sonic社區(qū)目前沒(méi)有針對(duì)DDC架構(gòu)設(shè)備的支持，但對(duì)通過(guò)交換網(wǎng)板做數(shù)據(jù)轉(zhuǎn)發(fā)的多芯片Chassis交換機(jī)有相關(guān)設(shè)計(jì)和開(kāi)發(fā)：2020.5.19發(fā)布DistributedforwardinginaVOQarchitecture，在SAI中支持。圖22VOQ分布式轉(zhuǎn)發(fā)架構(gòu)說(shuō)明：每個(gè)轉(zhuǎn)發(fā)設(shè)備運(yùn)行一個(gè)獨(dú)立的SonicNPUSonicSupervisorSONiC實(shí)例來(lái)管理轉(zhuǎn)發(fā)設(shè)備的系統(tǒng)，這個(gè)SupervisorSONiCfabric；F