基于軟件定義工業(yè)網(wǎng)絡(luò)的多路徑傳輸機(jī)制設(shè)計(jì)與實(shí)現(xiàn)

導(dǎo)讀：軟件定義工業(yè)網(wǎng)絡(luò)架構(gòu)及其關(guān)鍵技術(shù)，正在推動工業(yè)網(wǎng)絡(luò)系統(tǒng)進(jìn)一步向著扁平化、全互聯(lián)的方向發(fā)展。本文基于軟件定義工業(yè)網(wǎng)絡(luò)體系架構(gòu)，借助其統(tǒng)一管控、靈活轉(zhuǎn)發(fā)的優(yōu)勢，通過在轉(zhuǎn)發(fā)平面和控制平面新功能設(shè)計(jì)，實(shí)現(xiàn)了采用多個路徑傳輸同一業(yè)務(wù)數(shù)據(jù)的方法。該方法可以有效提高網(wǎng)絡(luò)的可靠性，并且降低傳輸時延和時延抖動。1引言

軟件定義網(wǎng)絡(luò)（SDN）技術(shù)是一種架構(gòu)，與傳統(tǒng)網(wǎng)絡(luò)架構(gòu)相比，它將控制平面分離出來，降低傳輸網(wǎng)絡(luò)的復(fù)雜性，并在控制平面根據(jù)具體的應(yīng)用場景，計(jì)算生成實(shí)時的網(wǎng)絡(luò)轉(zhuǎn)發(fā)策略，實(shí)現(xiàn)動態(tài)的、可編程式的網(wǎng)絡(luò)配置，進(jìn)而提高網(wǎng)絡(luò)可擴(kuò)展性和管控粒度。SDN的這一特性，使其可以在工業(yè)場景中進(jìn)一步深化傳統(tǒng)辦公網(wǎng)（IT網(wǎng)絡(luò)）和工業(yè)網(wǎng)絡(luò)（OT網(wǎng)絡(luò)）的融合，即軟件定義工業(yè)網(wǎng)絡(luò)（SDIN）。SDIN可以在控制平面區(qū)分辦公業(yè)務(wù)、工業(yè)采集/控制業(yè)務(wù)、生產(chǎn)管理業(yè)務(wù)等，并對不同業(yè)務(wù)采用與之相適應(yīng)的轉(zhuǎn)發(fā)調(diào)度策略，從而實(shí)現(xiàn)多業(yè)務(wù)的共網(wǎng)傳輸，實(shí)現(xiàn)工業(yè)應(yīng)用場景下的網(wǎng)絡(luò)扁平化與設(shè)備的全互聯(lián)。在工業(yè)控制系統(tǒng)中，可靠性和時延是考量網(wǎng)絡(luò)系統(tǒng)的重要指標(biāo)。融合網(wǎng)絡(luò)中多種業(yè)務(wù)共網(wǎng)傳輸以及工業(yè)環(huán)境的干擾是網(wǎng)絡(luò)時延和可靠性的重要影響因素。特別是在無線鏈路中，帶寬相對較低和電磁干擾對數(shù)據(jù)的時延和可靠性影響更為突出。針對上述問題，本文以SDIN為基礎(chǔ)，設(shè)計(jì)并實(shí)現(xiàn)了一種多路徑傳輸機(jī)制，以提高網(wǎng)絡(luò)的可靠性，并降低時延和時延抖動。2工業(yè)融合網(wǎng)絡(luò)的業(yè)務(wù)

工業(yè)融合網(wǎng)絡(luò)的主要業(yè)務(wù)可以分為IT類業(yè)務(wù)和OT類業(yè)務(wù)。其中IT類業(yè)務(wù)可以認(rèn)為是工廠內(nèi)的傳統(tǒng)互聯(lián)網(wǎng)業(yè)務(wù)，該類型業(yè)務(wù)往往沒有任何響應(yīng)時間要求，即使有，通常也在幾十毫秒或更確切地說是幾秒的范圍內(nèi)[1]。同時，由于對時延要求較低，可以借助傳輸層、應(yīng)用層等多方面的重傳機(jī)制實(shí)現(xiàn)業(yè)務(wù)最終的可靠傳輸，對網(wǎng)絡(luò)可靠性要求較低。OT業(yè)務(wù)主要面向工業(yè)控制、采集等工業(yè)自動化網(wǎng)絡(luò)應(yīng)用業(yè)務(wù)，通常分為三類，文獻(xiàn)[2]中針對三個分類列舉了典型的工業(yè)協(xié)議和實(shí)現(xiàn)方式。在這里要說明，類型A（同步實(shí)時）對實(shí)時性要求非常高，通常需要專用芯片實(shí)現(xiàn)，不在本文的討論范圍內(nèi)。OT業(yè)務(wù)的工業(yè)以太網(wǎng)協(xié)議往往是應(yīng)用層和網(wǎng)絡(luò)層相結(jié)合的協(xié)議體系，因此可以交互數(shù)據(jù)類型進(jìn)行進(jìn)一步區(qū)分：首先，工業(yè)以太網(wǎng)一般具有設(shè)備發(fā)現(xiàn)功能，因此會有設(shè)備發(fā)現(xiàn)的數(shù)據(jù)包，通常是廣播或者組播數(shù)據(jù)；其次，工業(yè)以太網(wǎng)協(xié)議需要完成設(shè)備組態(tài)，因此有組態(tài)協(xié)商數(shù)據(jù)，通常封裝在TCP/IP協(xié)議上；再次，工業(yè)以太網(wǎng)需要交互報警信息，因此有報警數(shù)據(jù)；最后，工業(yè)以太網(wǎng)要完成數(shù)據(jù)采集、控制的核心功能，需要有采集、控制數(shù)據(jù)的交互。通常所說工業(yè)網(wǎng)絡(luò)對實(shí)時性、可靠性要求較高，指的即是后兩種，特別是第三種用途工業(yè)以太網(wǎng)數(shù)據(jù)，前兩種用途的數(shù)據(jù)對實(shí)時性、可靠性要求相對較低。文獻(xiàn)[3]中用浙大中控的WebFieldJX300XP工業(yè)控制系統(tǒng)代表工控網(wǎng)絡(luò)，將其與校園網(wǎng)代表的傳統(tǒng)IT網(wǎng)絡(luò)進(jìn)行了詳細(xì)對比。對比兩類業(yè)務(wù)：數(shù)據(jù)量上OT業(yè)務(wù)數(shù)據(jù)量明顯小于IT業(yè)務(wù)；時間分布上，OT業(yè)務(wù)的時間分布更加規(guī)律，具有一定的周期性；數(shù)據(jù)包長度上，OT業(yè)務(wù)數(shù)據(jù)包分布簡單，長度多幾個固定值。這些特征可以一定程度上代表PROFINET、EtherCAT等工業(yè)以太網(wǎng)協(xié)議的數(shù)據(jù)特征。3多路徑傳輸?shù)闹饕W(wǎng)絡(luò)指標(biāo)分析

為了增強(qiáng)OT業(yè)務(wù)傳輸?shù)目煽啃?，本文設(shè)計(jì)了一種多路徑傳輸方案。采用冗余路徑發(fā)送多個數(shù)據(jù)包的副本，避免單條鏈路上的數(shù)據(jù)重傳和鏈路不穩(wěn)定等因素對時延的影響，進(jìn)而降低時延并減小時延抖動。3.1可靠性分析采用多路徑冗余傳輸主要用于改善網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)目煽啃?，本文主要考慮基礎(chǔ)鏈路故障對網(wǎng)絡(luò)可靠性的影響，將網(wǎng)絡(luò)單一鏈路e失效概率記為P(e)，則對于路徑r，失效概率如式（1）所示：將s記作某兩個網(wǎng)絡(luò)節(jié)點(diǎn)之間獨(dú)立傳輸數(shù)據(jù)包不同副本的路徑的集合，則在兩個節(jié)點(diǎn)之間數(shù)據(jù)包失效的概率可以寫作簡單的乘積關(guān)系，如式（2）所示：因此，多路徑傳輸對可靠性的提升如式（3）所示：其中，t0表示原始路徑。以最簡單的兩條路徑為例，如果兩節(jié)點(diǎn)間兩條獨(dú)立路徑失效概率分別為P(r1)和P(r2)，則采用兩條路徑冗余傳輸失效概率如式（4）所示：工業(yè)網(wǎng)絡(luò)中鏈路的可靠性較高，常規(guī)負(fù)載下可靠性在99.999%以上。因此對于一個10跳級聯(lián)的路徑，其可靠性也在99.99%以上，可以滿足大多數(shù)工業(yè)業(yè)務(wù)的需求。當(dāng)網(wǎng)絡(luò)中有某條鏈路干擾加大或者有無線鏈路的情況下，其可靠性便難以保證。因此，本文所研究的多路徑傳輸主要針對無線鏈路或者受干擾較大的有線鏈路。3.2時延分析多路徑傳輸對網(wǎng)絡(luò)傳輸時延指標(biāo)具有一定的改進(jìn)作用，本文將網(wǎng)絡(luò)設(shè)備的存儲轉(zhuǎn)發(fā)時延和鏈路時延作為一個整體，單一路徑r的時延分布曲線如式（5）所示：其中，τ表示該鏈路的時延。該路徑上單個數(shù)據(jù)包傳輸時延小于τ的概率如式（6）所示：將s記作某兩個網(wǎng)絡(luò)節(jié)點(diǎn)之間獨(dú)立傳輸數(shù)據(jù)包不同副本的路徑集合，由于采用冗余鏈路收發(fā)時，用最先到達(dá)的數(shù)據(jù)包副本的時間作為該數(shù)據(jù)包的到達(dá)時間。則數(shù)據(jù)包在兩個網(wǎng)絡(luò)節(jié)點(diǎn)間傳輸時延小于τ的概率如式（7）所示：兩節(jié)點(diǎn)間冗余路徑收發(fā)數(shù)據(jù)的時延分布曲線函數(shù)如式（8）所示：同樣，以最簡單的兩條路徑為例。如果兩節(jié)點(diǎn)間兩條獨(dú)立路徑時延分布曲線函數(shù)分別為D(r1,τ)和D(r2,τ)，則采用兩條路徑冗余傳輸時延分布曲線函數(shù)如式（9）所示：在實(shí)際工程應(yīng)用中，時延分布曲線函數(shù)D(τ)的關(guān)系依然是復(fù)雜的，而其積分的表達(dá)式I(τ)的關(guān)系是顯而易見的，如式（10）所示：如兩條獨(dú)立路徑傳輸時延小于1ms的概率分別為0.7和0.8，冗余傳輸?shù)臅r延小于1ms的概率0.94，即平均時延是降低的。兩條路徑雖然可以降低時延的平均值，但是改善無干擾、無擁塞且穩(wěn)定的常規(guī)路徑的存儲轉(zhuǎn)發(fā)時延并不是本文的目的，我們依然認(rèn)為常規(guī)情況下單條路徑的傳輸時延是滿足工業(yè)系統(tǒng)需求的。本文所述的多路徑傳輸?shù)闹饕繕?biāo)是提高可靠性，避免單條路徑擁塞或者重傳等情況導(dǎo)致的大時延。

4基于SDIN的多路徑傳輸設(shè)計(jì)

文獻(xiàn)中描述了典型的SDIN架構(gòu)。在該架構(gòu)下，由控制平面分析工業(yè)數(shù)據(jù)特征，并生成轉(zhuǎn)發(fā)路徑；轉(zhuǎn)發(fā)平面根據(jù)控制平面的規(guī)則，識別冗余路徑傳輸?shù)臄?shù)據(jù)包并轉(zhuǎn)發(fā)。4.1以太網(wǎng)數(shù)據(jù)包改造為了實(shí)現(xiàn)多路徑的傳輸，需要在不同路徑上傳輸數(shù)據(jù)包的副本，并且在數(shù)據(jù)到達(dá)接收終端之前，由轉(zhuǎn)發(fā)平面設(shè)備識別同一數(shù)據(jù)包的不同副本，并將多余副本丟棄。因此需要對同一數(shù)據(jù)包的不同副本進(jìn)行標(biāo)記。為了適用于通用的網(wǎng)絡(luò)，對數(shù)據(jù)包的改造基于高可靠性無縫冗余網(wǎng)絡(luò)（HSR）協(xié)議，如圖1所示。圖1高可靠性無縫冗余網(wǎng)絡(luò)（HSR）協(xié)議字段示意圖在對數(shù)據(jù)包進(jìn)行復(fù)制時，在數(shù)據(jù)包的源MAC地址后，添加HSR字段。其中，HSR_ET為以太網(wǎng)幀類型，兩字節(jié)長度，為固定值0x892F；pathID表示路徑ID，4比特長度，用于區(qū)分不同的路徑；LSDUsize為負(fù)載長度，12字節(jié)長度；SeqNr為序號，16字節(jié)長度，同一數(shù)據(jù)包的不同副本序號字段相同，同一MAC地址的相鄰數(shù)據(jù)包的序號依次加“1”。數(shù)據(jù)包的不同副本最終需要到達(dá)同一節(jié)點(diǎn)恢復(fù)為單一數(shù)據(jù)包，恢復(fù)時通過MAC地址和HSR字段區(qū)分收到的數(shù)據(jù)包是同一數(shù)據(jù)包的不同副本還是不同數(shù)據(jù)包。兩個數(shù)據(jù)包路徑ID不同，其他字段相同，則被認(rèn)為同一數(shù)據(jù)包的不同副本；否則認(rèn)為其是兩個不同的數(shù)據(jù)包。4.2轉(zhuǎn)發(fā)平面功能設(shè)計(jì)轉(zhuǎn)發(fā)平面依托Linux系統(tǒng)和OpenvSwitch實(shí)現(xiàn)，多路徑傳輸基于多個以太網(wǎng)接口。傳統(tǒng)OpenvSwitch實(shí)現(xiàn)軟件定義網(wǎng)絡(luò)（SDN）的功能方式如圖2所示。通過OVS命令建立OpenvSwitch橋接，并將多個網(wǎng)口添加到該橋接之下?？刂破魍ㄟ^OpenFlow設(shè)置OpenvSwitch橋接的流表。OpenvSwitch根據(jù)流表完成多個網(wǎng)口之間的數(shù)據(jù)轉(zhuǎn)發(fā)。圖2傳統(tǒng)OpenvSwitch實(shí)現(xiàn)SDN轉(zhuǎn)發(fā)面功能示意圖為了復(fù)制生成多個數(shù)據(jù)包副本并通過不同網(wǎng)絡(luò)接口轉(zhuǎn)發(fā)，以及過濾多個數(shù)據(jù)包副本保留一個數(shù)據(jù)包副本轉(zhuǎn)發(fā)，將傳統(tǒng)的OpenvSwitch改造，添加虛擬網(wǎng)絡(luò)層以及接口適配層，如圖3所示。圖3改進(jìn)的OpenvSwitch功能示意圖虛擬接口層即建立虛擬網(wǎng)絡(luò)接口：針對每一個物理網(wǎng)口建立一個常規(guī)接口，添加到OpenvSwitch橋接中；建立一個冗余接口，添加到OpenvSwitch橋接中。上述建立的常規(guī)接口和冗余接口全部為系統(tǒng)的虛擬網(wǎng)絡(luò)接口。轉(zhuǎn)發(fā)時，轉(zhuǎn)發(fā)路徑如圖3中虛線所示：通過流表轉(zhuǎn)發(fā)到冗余接口的數(shù)據(jù)包，將建立副本同時通過兩個網(wǎng)口發(fā)出；通過流表轉(zhuǎn)發(fā)到常規(guī)接口的數(shù)據(jù)包將由相應(yīng)的網(wǎng)口發(fā)出。接口適配層主要調(diào)度物理網(wǎng)口和虛擬網(wǎng)口之間的數(shù)據(jù)包。在處理發(fā)送數(shù)據(jù)包時：如果是常規(guī)接口的數(shù)據(jù)包，直接發(fā)送至物理網(wǎng)口；如果是冗余接口的數(shù)據(jù)包，則按照本文4.1節(jié)的格式對數(shù)據(jù)包進(jìn)行改造，并分別通過兩個網(wǎng)口發(fā)送數(shù)據(jù)包副本。在處理接收數(shù)據(jù)包時：如果是常規(guī)的網(wǎng)絡(luò)數(shù)據(jù)包，則發(fā)送至對應(yīng)的常規(guī)網(wǎng)絡(luò)接口；如果是改造后的數(shù)據(jù)包，則將數(shù)據(jù)包還原，并將收到的數(shù)據(jù)包第一個副本發(fā)送至冗余接口，第二個副本丟棄。上面描述了兩條路徑的轉(zhuǎn)發(fā)面設(shè)計(jì)，多條路徑傳輸?shù)霓D(zhuǎn)發(fā)面設(shè)計(jì)原理相同。需要注意的是，轉(zhuǎn)發(fā)平面對數(shù)據(jù)包的改造和還原必須成對實(shí)現(xiàn)，因此需要在控制平面將實(shí)現(xiàn)改造功能的節(jié)點(diǎn)與實(shí)現(xiàn)還原功能的節(jié)點(diǎn)配對。另外，對數(shù)據(jù)包的改造不能嵌套。4.3控制平面功能設(shè)計(jì)前一節(jié)詳述了轉(zhuǎn)發(fā)平面的設(shè)計(jì)，但是冗余發(fā)送節(jié)點(diǎn)改造后數(shù)據(jù)包必須由冗余接收節(jié)點(diǎn)將其還原。因此需要在控制平面將經(jīng)過冗余發(fā)送節(jié)點(diǎn)改造后的數(shù)據(jù)包導(dǎo)向?qū)?yīng)的冗余接收節(jié)點(diǎn)，傳統(tǒng)網(wǎng)絡(luò)是很難實(shí)現(xiàn)的。為了實(shí)現(xiàn)這一功能，需要完成以下幾個步驟：首先，控制平面需要識別冗余接口。為此本文利用SDN使用簡單服務(wù)發(fā)現(xiàn)協(xié)議（SSDP）進(jìn)行鏈路發(fā)現(xiàn)的特點(diǎn)，設(shè)計(jì)了一種數(shù)據(jù)平面“自環(huán)結(jié)構(gòu)”。如圖3所示，在數(shù)據(jù)平面接口適配層，將“冗余接口”的SSDP數(shù)據(jù)直接發(fā)送給兩個“常規(guī)接口”，這種“自環(huán)”可以反應(yīng)到控制面上?？刂泼鎸⑦@種自環(huán)作為“冗余接口”的標(biāo)志。其次，控制平面需要生成多條路徑，本文采用的是人為規(guī)劃路徑，路徑自動生成的方法不在本文的討論范疇。再次，控制平面需要判斷多個路徑上是否有配對的冗余接口，如圖4所示，節(jié)點(diǎn)A表示發(fā)送端，節(jié)點(diǎn)B表示接收端。理想情況如圖4（a）所示，表示節(jié)點(diǎn)A和節(jié)點(diǎn)B兩個常規(guī)接口是一一對應(yīng)的，其物理網(wǎng)口也是一一對應(yīng)的；圖4（b）所示的情況，發(fā)送端節(jié)點(diǎn)A的兩個常規(guī)接口對應(yīng)到接收端節(jié)點(diǎn)B的一個接口上，此時數(shù)據(jù)包冗余傳輸只能是單向的。反應(yīng)到工業(yè)業(yè)務(wù)中表示只能通過冗余路徑發(fā)送控制指令或者采集現(xiàn)場狀態(tài)；圖4（c）的情況，雖然有兩條路徑經(jīng)過了兩個具有冗余接口的設(shè)備，但是對應(yīng)到了不具有冗余接口功能的物理接口上，此時是不滿足多路徑傳輸條件的。圖4冗余接口配對示意圖最后，針對圖4中的（a）和（b）兩種情況，控制平面生成流表時，將節(jié)點(diǎn)A的轉(zhuǎn)發(fā)端口設(shè)置為“冗余接口”?？刂破矫娉艘獙?shí)現(xiàn)多路徑冗余轉(zhuǎn)發(fā)的收發(fā)節(jié)點(diǎn)配對之外，還要指定什么樣的數(shù)據(jù)包采用多路徑傳輸策略。一般可以通過協(xié)議類型、地址等進(jìn)行區(qū)分，需要針對具體工業(yè)協(xié)議而定，這里也不再贅述。5實(shí)驗(yàn)結(jié)果與分析

為了測試本文方法的性能，搭建了實(shí)驗(yàn)環(huán)境，驗(yàn)證本文所述的方法對可靠性和時延的改善效果。實(shí)驗(yàn)拓?fù)淙鐖D5所示，采用了無線鏈路作為實(shí)驗(yàn)對象，以提高實(shí)驗(yàn)效果的展示度。兩臺PC通過以太網(wǎng)口與兩個節(jié)點(diǎn)分別連接，節(jié)點(diǎn)A和B的“冗余接口”分別映射到自身的兩個無線接口。節(jié)點(diǎn)A的無線接口1和節(jié)點(diǎn)B的無線接口1組成一個無線局域網(wǎng)，節(jié)點(diǎn)A的無線接口2和節(jié)點(diǎn)B的無線接口2組成一個無線局域網(wǎng)，兩個無線局域網(wǎng)頻率錯開。圖5測試環(huán)境5.1可靠性驗(yàn)證PC-A作為測試數(shù)據(jù)發(fā)送方，PC-B作為數(shù)據(jù)接收方，PC-A間隔約40ms向PC-B發(fā)送一個UDP數(shù)據(jù)包，UDP載荷長度200字節(jié)。在節(jié)點(diǎn)A和節(jié)點(diǎn)B之間，分別采用單一路徑和雙路徑完成PC-A到PC-B的數(shù)據(jù)傳輸，測試時長約為2小時，取前180,000個發(fā)送數(shù)據(jù)，對比結(jié)果如表1所示。表1可靠性測試對比表通過對比實(shí)驗(yàn)發(fā)現(xiàn)，單一鏈路的數(shù)據(jù)丟包率在0.4%左右，而通過兩條鏈路同時丟包率僅為0.00222%，與本文3.1節(jié)分析結(jié)果相近。兩條鏈路數(shù)據(jù)傳輸可靠性已經(jīng)超過了99.99%并接近99.999%。5.2時延驗(yàn)證為了觀察單一鏈路和雙鏈路數(shù)據(jù)傳輸?shù)臅r延分布，在PC-A上采用ping命令獲取雙向時延，針對雙向均為單鏈路和雙向均為雙鏈路的情況，記錄10,000條ping命令時延結(jié)果，進(jìn)行統(tǒng)計(jì)分析，對比結(jié)果如表2所示。表2時延測試對比表

單位：ms時延分布對比如圖6所示。圖6時延分布對比通過對比統(tǒng)計(jì)值，采用雙鏈路收發(fā)的效果主要表現(xiàn)為：（1）降低了最大時延；（2）小幅地降低平均時延；（3）降低了時延標(biāo)準(zhǔn)差，即時延更加穩(wěn)定。這也與3.2節(jié)分析的結(jié)果一致。觀察時延分布圖，可以看出單鏈路的時延主要分