Broadcom以太網(wǎng)交換芯片轉(zhuǎn)發(fā)流程

-.z.Broad以太網(wǎng)交換芯片培訓(xùn)(broad56504/56300)1、交換芯片架構(gòu)交換芯片由GE/*E接口（MAC/PHY）模塊、CPU接口模塊、輸入輸出匹配/修改模塊、MMU模塊、L2轉(zhuǎn)發(fā)模塊、L3轉(zhuǎn)發(fā)模塊、安全模塊、流分類模塊等模塊組成，其結(jié)構(gòu)如圖1所示：圖1交換芯片的組成56504包含24個(gè)GE端口，4個(gè)10G端口，10G端口既可以用于堆疊，也可以用于上聯(lián)/級聯(lián)。56504交換芯片與CPU的接口稱為CMIC接口。交換芯片與CPU通過PCI總線連接。其他類型交換芯片與CPU的接口可以是：SPI+MII、I2C+MII、系統(tǒng)總線+MII、SMI+MII等。交換芯片的包處理流程如圖2所示：圖2交換芯片的包處理流程簡圖包由端口進(jìn)入交換芯片之后，首先進(jìn)行字段匹配，為流分類做準(zhǔn)備；然后經(jīng)過一個(gè)安全引擎進(jìn)行包過濾；符合安全的包進(jìn)行L2交換或者L3路由，并經(jīng)過流分類處理器對匹配的包做相關(guān)動(dòng)作（比如丟棄、限速、修改VLAN等）；對于可以轉(zhuǎn)發(fā)的包根據(jù)802.1P或DSCP放到不同隊(duì)列的buffer中，調(diào)度器根據(jù)優(yōu)先級或者WRR等算法進(jìn)行隊(duì)列調(diào)度，在端口發(fā)出該包之前執(zhí)行流分類修改動(dòng)作，最終從相應(yīng)端口發(fā)送出去。2、L2轉(zhuǎn)發(fā)流程2.1L2轉(zhuǎn)發(fā)原理對于交換芯片來說，L2轉(zhuǎn)發(fā)是一個(gè)最基本的功能。L2功能主要包括ingress過濾、MAC學(xué)習(xí)和老化、根據(jù)MAC+VLAN轉(zhuǎn)發(fā)、廣播與洪泛、生成樹控制等基本功能。L2轉(zhuǎn)發(fā)的具體流程如圖3所示：從端口進(jìn)入交換芯片的包首先檢查TAG，對于tagged包，判斷是否是802.1p的包，（802.1p的包vid為0），對于untagged的包和802.1p的包，根據(jù)系統(tǒng)配置加上tag（這些配置包括：基于MAC的vlan、基于子網(wǎng)的vlan、基于協(xié)議的vlan和基于端口的vlan）。經(jīng)過這一步以后，到交換芯片部的包都變成802.1Q的tagged包了（vid為1－4094，4095保留），如果設(shè)置了ingress過濾，就會檢查本端口是否在該vid對應(yīng)的VLAN中，對于本端口不在該vid對應(yīng)的VLAN中的包就丟棄。對于沒有設(shè)置ingress過濾，或者設(shè)置ingress過濾但本端口在該vid對應(yīng)的VLAN中的包進(jìn)行STP端口狀態(tài)檢查，對于BPDU以外的包，只有端口處于forwarding狀態(tài)，才允許包進(jìn)入。然后進(jìn)行原MAC地址檢查，以原MAC＋VID的哈希為索引查找L2TABLE，如果沒有找到，就把這個(gè)表項(xiàng)（原MAC＋VID）以及對應(yīng)的端口寫到L2TABLE中，這個(gè)過程稱為MAC地址學(xué)習(xí)。當(dāng)然地址學(xué)習(xí)的方法有很多種，可以是硬件學(xué)習(xí)，也可以是軟件學(xué)習(xí)，可以根據(jù)PORT表中的CMI字段的配置來進(jìn)行。圖3L2轉(zhuǎn)發(fā)流程下一步進(jìn)行目的MAC地址檢查：目的MAC地址為廣播地址（0*ffffffff）的包，在vlan廣播出去；目的MAC地址為組播地址的包，進(jìn)行組播流程的處理；對于單播包，查找L2TABLE，如果沒有找到，就在vlan進(jìn)行洪泛；如果找到，檢查表項(xiàng)中的L3bit是否設(shè)置，如果設(shè)置了L3bit，就進(jìn)行L3流程的轉(zhuǎn)發(fā)；否則就轉(zhuǎn)發(fā)到L2TABLE表項(xiàng)中的端口去，在egress方向，也有egress過濾設(shè)置（默認(rèn)是使能的），如果egress端口不在vlan中也是不能轉(zhuǎn)發(fā)的。至此，L2轉(zhuǎn)發(fā)流程完成了。與地址學(xué)習(xí)相反的過程是地址老化。地址老化的機(jī)制是：ASIC部有個(gè)定時(shí)器，稱為agetimer，命令行可以對這個(gè)寄存器進(jìn)行設(shè)置，每次查找L2TABLE時(shí)（包括原地址查找和目的地址查找，可以配置），如果命中，就會設(shè)置hit標(biāo)志。當(dāng)老化時(shí)間到后，ASIC把hit標(biāo)志清除，當(dāng)下一個(gè)老化時(shí)間到后，ASIC把hit為0的地址設(shè)置為無效，這就是為什么實(shí)際地址老化的時(shí)間為1～2倍agingTime的原因。2.2L2轉(zhuǎn)發(fā)相關(guān)的表項(xiàng)2.2.1port表圖4port表Port表是一個(gè)非常重要的表，有很多與端口相關(guān)的控制都在這里設(shè)置。每個(gè)端口對應(yīng)一個(gè)表項(xiàng)，按端口號進(jìn)行索引。下面介紹一下重要的設(shè)置：1)PVID：設(shè)置PORT_VID2)缺省優(yōu)先級：設(shè)置PORT_PRI3)流分類使能：設(shè)置FILTER_ENABLE4)VLAN轉(zhuǎn)換使能：設(shè)置VT_ENABLE和VT_MISS_DROP5)Ingress過濾使能：設(shè)置EN_IFILTER6)信任COS還是信任DSCP：對于IPV4：TRUST_DSCP_V4=0:信任COS；TRUST_DSCP_V4=1:信任DSCP，對于IPV6：同樣設(shè)置TRUST_DSCP_V6。7)Ingress方向mirror使能：設(shè)置MIRROR8)MAC地址學(xué)習(xí)方式：設(shè)置CML9)IP組播是否使用VLAN信息：設(shè)置IPMC_DO_VLAN10)L3轉(zhuǎn)發(fā)使能：設(shè)置V4L3_ENABLE和V6L3_ENABLE11)是否丟棄BPDU：設(shè)置DROP_BPDU12)控制是否轉(zhuǎn)發(fā)帶tag和不帶tag的包：設(shè)置PORT_DIS_TAG和PORT_DIS_UNTAG13)Pause幀控制：設(shè)置PASS_CONTROL_FRAMES14)基于子網(wǎng)的VLAN使能：設(shè)置SUBNET_BASED_VID_ENABLE15)基于MAC的VLAN使能：設(shè)置MAC_BASED_VID_ENABLE16)設(shè)置堆疊口：HIGIG_PACKET17)設(shè)置NNI口：NNI_PORT18)修改優(yōu)先級使能：MAP_TAG_PACKET_PRIORITY19)堆疊口modid設(shè)置：MY_MODID20)Outtpid設(shè)置：OUTER_TPID21)基于MAC和基于子網(wǎng)的VLAN優(yōu)先級設(shè)置：VLAN_PRECEDENCE22)是否允許單臂橋功能：PORT_BRIDGE23)IP組播位圖設(shè)置：IGNORE_IPMC_L2_BITMAP和IGNORE_IPMC_L3_BITMAPegressport表圖5egressport表EGR_PORT是一組寄存器，每個(gè)端口一個(gè)，用于EGRESS方向的控制，有幾個(gè)重要設(shè)置介紹如下：1)設(shè)置egress端口類型：PORT_TYPE＝0，UNI端口；PORT_TYPE＝1，NNI端口2)設(shè)置egress過濾：EN_EFILTER＝12.2.3L圖6L2地址表

56504的L2地址表大小為16K，5630*的L2地址表大小為8K，地址表使用MAC+VID的hash值作為索引查表。實(shí)際上56504的L2地址表hash值為4K，每個(gè)hash值對應(yīng)4條地址，這樣最多可以保存4條hash沖突的地址。地址表中每個(gè)表項(xiàng)都保存了MAC_ADDR和VLAN_ID。MAC學(xué)習(xí)的時(shí)候使用原MAC+VID的hash查表，把表中的MAC+VID與包中的MAC+VID進(jìn)行比較，如果完全相等，表示找到了。然后看端口（TGID_PORT）是否相等，如果不相等表示地址發(fā)生了遷移，對于動(dòng)態(tài)學(xué)習(xí)的地址需要更新port；如果相等表示命中，更新hit標(biāo)志。其他幾個(gè)重要的功能介紹如下：1)設(shè)置靜態(tài)地址：STATIC_BIT＝12)設(shè)置L3轉(zhuǎn)發(fā)標(biāo)志：L3＝13)設(shè)置本地址的包都轉(zhuǎn)發(fā)到CPU去：CPU=14)設(shè)置本地址匹配的包丟棄：SRC_DISCARD=1、DST_DISCARD=15)設(shè)置本地址匹配的包對*些端口阻塞：MAC_BLOCK_INDE*6)設(shè)置本地址匹配的包鏡像：MIRROR＝17)設(shè)置組播索引：L2MC_PTR8)地址有效標(biāo)志：VALID＝1VLAN表Vlan表分為ingress和egress兩個(gè)部分，分別對應(yīng)入口控制和出口控制。圖7ingressvlan表

IngressVlan表中主要包含了端口列表，用于ingressfilter功能。PFM是用于控制組播洪泛的開關(guān)。PFM＝0，組播在vlan洪泛；PFM＝1，注冊的組播按組播表轉(zhuǎn)發(fā)，未注冊的組播在vlan洪泛；PFM＝2，注冊的組播按組播表轉(zhuǎn)發(fā)，未注冊的組播丟棄。STG用于標(biāo)識本vlan所屬的生成樹組。圖8egressvlan表Egressvlan表中除了PFM和STG外，還包含了出口方向的端口位圖，以及哪些端口以untag的方式發(fā)送本vlan的包。3、L3轉(zhuǎn)發(fā)流程圖9L3轉(zhuǎn)發(fā)流程如果查目的MAC地址表的時(shí)候發(fā)現(xiàn)L3bit置位了，就進(jìn)入到L3轉(zhuǎn)發(fā)流程。與L2交L3交換可以實(shí)現(xiàn)跨VLAN轉(zhuǎn)發(fā)，而且它的轉(zhuǎn)發(fā)依據(jù)不是根據(jù)目的MAC地址，而是根據(jù)目的IP。L3轉(zhuǎn)發(fā)的流程是：首先對L3頭部進(jìn)行校驗(yàn)，校驗(yàn)和錯(cuò)的包直接丟棄；然后進(jìn)行原IP地址查找，如果主機(jī)路由表中沒有找到，會上報(bào)給CPU，CPU會進(jìn)行相應(yīng)的處理，并更新接口表；下一步進(jìn)行目的IP地址查找，如果主機(jī)路由表中沒有找到，就會在子網(wǎng)路由表中進(jìn)行查找，在子網(wǎng)路由表中進(jìn)行最長子網(wǎng)匹配的查找算法，如果在子網(wǎng)路由表中還沒有找到，也送給CPU進(jìn)行處理，如果在主機(jī)路由表或子網(wǎng)路由表中找到了，就會得到下一跳的指針。如果ECMP使能的話，會得到ECMP的指針和ECMP的個(gè)數(shù)，從而根據(jù)hash算法得到一個(gè)下一跳指針。下一條表項(xiàng)中包含了下一跳的MAC地址和接口表的索引。在包轉(zhuǎn)發(fā)出去的時(shí)候，用下一跳的MAC地址替換掉包的目的MAC地址。用接口表中的MAC地址和VLAN替換掉包的原MAC地址和VLAN。與L3有關(guān)的幾個(gè)重要的表：圖10L3單播主機(jī)路由表圖11L3子網(wǎng)路由表圖12ECMP表圖13EGRESS下一跳表圖14接口表圖15INGRESS下一跳表4、

L2組播轉(zhuǎn)發(fā)流程在L2轉(zhuǎn)發(fā)流程中，查找目的MAC＋VID的時(shí)候，如果表項(xiàng)的目的MAC是一個(gè)組播地址，該表項(xiàng)有一個(gè)組播指針指向組播表，組播表中有一個(gè)端口位圖，表示哪些端口屬于該組播組。組播組中的端口位圖與VLAN中的端口位圖相與的結(jié)果是實(shí)際轉(zhuǎn)發(fā)的端口位圖。靜態(tài)配置的或協(xié)議動(dòng)態(tài)添加的組播地址通過SSP寫到MAC地址表中，組播成員通過SSP寫到組播表中。L2組播表的結(jié)構(gòu)如下：圖16L2組播表5、

L3組播轉(zhuǎn)發(fā)流程

L3組播支持有源樹和共享樹。所謂有源樹是指根據(jù)源IP地址和組地址來確定一個(gè)組播組，而共享樹是指僅根據(jù)組地址來確定一個(gè)組播組。芯片也支持反向路徑檢查（ReversePathForwardingcheck），所謂反向路徑檢查是指通過檢查源IP地址確定源端口，從而不要向源端口轉(zhuǎn)發(fā)的技術(shù)。

L3組播的轉(zhuǎn)發(fā)流程是，先查L2表，對于組播地址而且是L3bit置位的，查L3表。L3表給出IPMC_INDE*。根據(jù)這個(gè)索引查L3_IPMC表，L3_IPMC表給出L2_BITMAP和L3_BITMAP。對于L2_BITMAP，按照L2組播流程轉(zhuǎn)發(fā)；對于L3_BITMAP，根據(jù)IPMC_INDE*和BITMAP得到IPMC_GROUP的VLAN_INDE*，最后根據(jù)VLAN_INDE*查找IPMC_VLAN表，IPMC_VLAN表包含了VLAN的位圖，芯片在進(jìn)行L3組播的時(shí)候，對VLAN的位圖中的每個(gè)成員進(jìn)行組播復(fù)制。圖17L3組播表圖18L3組播復(fù)制L3單播和組播的轉(zhuǎn)發(fā)流程綜合起來，如下圖所示：圖19L3單播和組播的轉(zhuǎn)發(fā)流程IPMC轉(zhuǎn)發(fā)相關(guān)的表的結(jié)構(gòu)如下：圖20L3TABLEL3TABLE表項(xiàng)大小8K（5650*）/2K（5630*）。圖21IPMCTABLEIPMCTABLE表項(xiàng)大小1K。圖22IPMC_GROUPTABLEIPMC_GROUPTABLE表項(xiàng)大小1K。圖23IPMC_VLANTABLEIPMC_VLANTABLE表項(xiàng)大小2K。6、流分類處理流程在5650*/5630*中，流分類是通過CFP實(shí)現(xiàn)的，CFP是ContentAwareFilterProcessor的縮寫。所謂ContentAware就是對packet的容進(jìn)行智能匹配的技術(shù)。5650*/5630*中的流分類分為5個(gè)階段，流程如圖：圖24CFP流程這5個(gè)部分分別是智能協(xié)議識別選擇器、CAM查找引擎、策略引擎、meter和統(tǒng)計(jì)引擎、動(dòng)作裁決引擎。在ingress端口，智能協(xié)議識別選擇器對進(jìn)來的包的前128bit按照協(xié)議字段進(jìn)行選擇和標(biāo)記，CAM查找引擎按照用戶給的key匹配協(xié)議選擇器的容，如果找到了，就執(zhí)行策略引擎的動(dòng)作，并可以實(shí)驗(yàn)meter和統(tǒng)計(jì)引擎進(jìn)行限速、標(biāo)記顏色和統(tǒng)計(jì)。5650*有16個(gè)CAM查找引擎，5630*有8個(gè)CAM查找引擎，它們可以