高性能光纖傳輸實(shí)時(shí)交換網(wǎng)技術(shù)

1、高性能光纖傳輸實(shí)時(shí)交換網(wǎng)技術(shù)方案介紹西工大計(jì)算機(jī)系1103研究室2003/4/20我國現(xiàn)有航空電子綜合系統(tǒng)采用的1553B總線網(wǎng)已不能滿足新一代飛機(jī)的要求.為此， 我們提出了 “高性能光纖實(shí)時(shí)交換網(wǎng)技術(shù)”的研究課題。本報(bào)告主要內(nèi)容有：國內(nèi)外發(fā)展情況航空科學(xué)基金項(xiàng)目面向航空電子綜合系統(tǒng)的光纖交換通信網(wǎng)絡(luò)的成功申請(qǐng)先鋒網(wǎng)簡介協(xié)議標(biāo)準(zhǔn)的研究千兆網(wǎng)卡的研制6兆光纖傳輸交換網(wǎng)方案設(shè)計(jì)7.驅(qū)動(dòng)程序和MPI函數(shù)的設(shè)計(jì)附件：實(shí)時(shí)FC標(biāo)準(zhǔn)FC-RT（征求意見稿）航空科學(xué)基金申請(qǐng)書目的與意義21世紀(jì)的作戰(zhàn)策略和方式為陸海空一體聯(lián)合作戰(zhàn)，要求通過衛(wèi)星等通信媒體，在機(jī)群之間、 飛機(jī)和艦隊(duì)之間以及各作戰(zhàn)單元和指揮中心之

2、間建立以數(shù)據(jù)鏈為基礎(chǔ)的信息網(wǎng)絡(luò)，有了這樣 一個(gè)具備保密性的一體化網(wǎng)絡(luò)系統(tǒng)，實(shí)現(xiàn)信息共享和集成，則可隨時(shí)動(dòng)態(tài)的傳遞命令、接收 信息和精確定位以利于高效的協(xié)同作戰(zhàn)。國內(nèi)外發(fā)展情況80年代以前，美國提出了 “寶石柱V “寶石平臺(tái)”計(jì)劃。國內(nèi)631所在“八五”期間，參 考美國的“寶石柱”、“寶石平臺(tái)”計(jì)劃，進(jìn)行了相應(yīng)的研究。90年代，隨著光纖技術(shù)的出現(xiàn)，美國又提出了 FC和SCI標(biāo)準(zhǔn)。FC標(biāo)準(zhǔn)是為光纖傳輸制 定的。如令牌傳遞網(wǎng)絡(luò)。在拓?fù)浣Y(jié)構(gòu)上分為總線型（如IEEE802.4, LTPB線性令牌傳遞總線） 和環(huán)型（如IEEE802.5, FDDI分布式光纖數(shù)據(jù)接口），無論令牌傳輸協(xié)議采取何種拓?fù)湫问剑?

3、從消息傳輸?shù)囊饬x上講，均采用了邏輯環(huán)的結(jié)構(gòu)。令牌沿根據(jù)邏輯物理地址編碼構(gòu)成的環(huán)路 逐節(jié)點(diǎn)傳輸。環(huán)路上獲得令牌的節(jié)點(diǎn)有權(quán)向其它節(jié)點(diǎn)發(fā)送消息，每個(gè)節(jié)點(diǎn)能夠使用的網(wǎng)絡(luò)帶 寬“占用總線的時(shí)間”受到協(xié)議參數(shù)令牌持有時(shí)間的限制。615所和北航進(jìn)行了 LTPB線性令 牌傳遞光纖網(wǎng)絡(luò)的研究，其傳輸碼速率是50Mbps. LTPB采用限時(shí)令牌多優(yōu)先級(jí)傳輸協(xié)議，是 SAE （Society of Automotive Engineers）組織為90年代以后的飛機(jī)、艦船和車輛等運(yùn)行 工具電子綜合系統(tǒng)開發(fā)的局域網(wǎng)絡(luò)標(biāo)準(zhǔn)。美國的波音777、F-15和F-22戰(zhàn)斗機(jī)均采用了令 牌傳遞網(wǎng)絡(luò)?？蓴U(kuò)展的一致性接口 SCI于19

4、92年確定為ANSI/IEEE標(biāo)準(zhǔn)。SCI是一種寬帶數(shù)據(jù)接口， 可支持底板互聯(lián)、LAN互聯(lián)、處理器互聯(lián)、存儲(chǔ)器互聯(lián)、I/O互聯(lián)。支持基于全局共享存儲(chǔ)器 Cache 一致性、可變寬度的單向點(diǎn)到點(diǎn)電纜或光纜的通信接口協(xié)議。取代F-22上高速光纖數(shù) 據(jù)總線（HSDB）、1553B總線等舊標(biāo)準(zhǔn)，最終實(shí)現(xiàn)航空電子的綜合（集成），以期簡化電子系統(tǒng) 結(jié)構(gòu)，提高功能和降低費(fèi)用。1997年JSF公布了 2.0版“JSF”航空電子系統(tǒng)結(jié)構(gòu)定義（JAAD），其中提出采用一個(gè)以民用標(biāo)準(zhǔn)為基礎(chǔ)的統(tǒng)一的數(shù)字式航空電子系統(tǒng)網(wǎng)絡(luò)。據(jù)JSF開放式系統(tǒng)結(jié)構(gòu)綜合產(chǎn)品小組（OSA IPT）對(duì)包括ATM、FC、千兆以太網(wǎng)、Myrine

5、t、SCI，SCI/RT和SE在內(nèi)的9種可供選擇的商 用網(wǎng)絡(luò)，從規(guī)模可變性、開放系統(tǒng)支持程度、可靠性，可維護(hù)性和可支持性，性能、服務(wù)和 節(jié)點(diǎn)可執(zhí)行性等方面分析和評(píng)審，認(rèn)為可擴(kuò)展的一致性接口 SCI綜合指數(shù)最優(yōu)，光纖通道FC 綜合指數(shù)次之。可見，美國的“寶石柱”、“寶石平臺(tái)”計(jì)劃已經(jīng)過時(shí)，我們應(yīng)該跨越美國的“寶石柱”、 “寶石平臺(tái)”計(jì)劃，大踏步地升級(jí)換代，直接跟上國際先進(jìn)水平，把航空電子系統(tǒng)結(jié)構(gòu)建立 在先進(jìn)網(wǎng)絡(luò)的基礎(chǔ)之上。航空電子系統(tǒng)結(jié)構(gòu)所以有這樣的發(fā)展，主要是由于微電子技術(shù)的進(jìn)步。現(xiàn)在微電子技術(shù) 已發(fā)展到亞微米的水平，集成電路的速度和規(guī)模有了長足的進(jìn)步。國外，千兆以太網(wǎng)，千兆收 發(fā)器件，千兆交

6、換器件已先后出現(xiàn)于市場(chǎng).光纖傳輸技術(shù)也已發(fā)展成熟，有了價(jià)格合理的千兆 光收發(fā)器件.隨著上述技術(shù)的進(jìn)步，高速互連網(wǎng)絡(luò)有明顯的3個(gè)發(fā)展趨勢(shì)：（1）通信速率千兆化 以太網(wǎng)的通信速率已達(dá)到千兆，萬兆以太網(wǎng)也在研制之中。 收發(fā)器件和交換器件的通信速率已達(dá)到1-3千兆（Gbps）.（2）互連網(wǎng)絡(luò)交換化 千兆交換器件的出現(xiàn)標(biāo)志著互連網(wǎng)絡(luò)已從總線網(wǎng)、環(huán)形網(wǎng)、令 牌網(wǎng)、進(jìn)入到交換網(wǎng)絡(luò)的新階段。（3）傳輸介質(zhì)光纖化 作為傳輸介質(zhì)，光纖比電纜有顯著優(yōu)點(diǎn)，在民用領(lǐng)域已廣泛應(yīng) 用，在軍用領(lǐng)域應(yīng)用條件也已成熟。據(jù)我們所知，國內(nèi)尚無基于交換機(jī)進(jìn)行航空電子系統(tǒng)結(jié)構(gòu)的研究。下面介紹一下我們要用到的美國生產(chǎn)的千兆新器件：（1）千

7、兆電收發(fā)器件Agilent公司的HDMP-1032/1034.發(fā)送器件的主要功能如圖-1.HDMP-1032A HSOUT+TX08/16TXCLK圖1發(fā)送器件它的內(nèi)部有一個(gè)鎖相環(huán),可將輸入時(shí)鐘頻率提高到10/20倍.并行輸入的8/16位數(shù) 碼經(jīng)8B/10B編碼成為10/20位數(shù)碼，串行化后以10/20倍的速率（1.25Gbps）,從差 分驅(qū)動(dòng)器口輸出.接收器件的主要功能如圖-2.HSIN+REFCLK RX08/16HDMP-1034A RXCLK圖 2 接收器件它的內(nèi)部也有一個(gè)鎖相環(huán)，可產(chǎn)生頻率為參考時(shí)鐘RefClk的10/20倍,相位與輸入信 號(hào)同步的內(nèi)部時(shí)鐘，用以接收1.25 Gbps

8、的輸入信號(hào)；經(jīng)過并行化，輸出8/16位的 并行數(shù)碼.同時(shí)還輸出接收并行數(shù)碼所需要的RXCLK時(shí)鐘.MindSpeed公司的27207將發(fā)送器件和接收器件做在一片器件中，而且每片有4個(gè) 收發(fā)器，性能更為優(yōu)良。千兆光收發(fā)器件Agilent公司的HFBR-5912E.主要功能如圖-3.連光纖它有3個(gè)端口： 1個(gè)入口，可和HDMP-1032A直接相連;1個(gè)出口，可和HDMP-1034A 直接相連；還有1個(gè)光纖接口，可連2根光纖.1根入,1根出.發(fā)送器來的電信號(hào)轉(zhuǎn)換為 光信號(hào)，由光纖發(fā)出；光纖來的光信號(hào)轉(zhuǎn)換為電信號(hào)，送給接收器. 千兆電交換器件 MindSpeed 公司的 M21110 17 X 17

9、Crosspoint Switch, M21110 68X68 Crosspoint Switch , M21110 14X144 Crosspoint Switch. M21110 17X17的主要功能如圖-4.其下部為17X17的交叉開關(guān),#0#16中任意1個(gè)輸入口可 以設(shè)置成與任意另外1個(gè)輸出口相連.上部就是開關(guān)設(shè)置的邏輯電路.實(shí)際上,#i的 輸入口和輸出口都是連到#i節(jié)點(diǎn)機(jī)的.故可用圖5表示.#先鋒網(wǎng)簡介為了便于了解本項(xiàng)目的研究內(nèi)容，這里簡單介紹一下先鋒網(wǎng)。先鋒尋徑式計(jì)算機(jī)網(wǎng)絡(luò)是 我們獨(dú)創(chuàng)的一種新型計(jì)算機(jī)交換網(wǎng)，已申請(qǐng)國家發(fā)明專利，專利公開號(hào)：CN 1299204。可使 計(jì)算機(jī)之間通過

10、基于交叉開關(guān)的先鋒尋徑式交換機(jī)直接連通進(jìn)行“端一端”通信。其特征在 于：用先鋒尋徑信令申請(qǐng)信道，建立信道后，消息可直接傳送到目的機(jī)。交換機(jī)只須自動(dòng)檢 測(cè)申請(qǐng)和撤消信道的信令，其余的信令和數(shù)據(jù)可在接通的信道中自由通過，無需緩存，從而 簡化了交換機(jī)的結(jié)構(gòu)。提供了全套的先鋒尋徑網(wǎng)絡(luò)通信協(xié)議。本發(fā)明可將多臺(tái)交換機(jī)聯(lián)成高 速群機(jī)網(wǎng)，具有信道靈活，通信延遲小，效率高，可靠性好，成本低等優(yōu)點(diǎn)。根據(jù)先鋒交換 機(jī)的特點(diǎn)，本發(fā)明沒有采用目的機(jī)地址來尋徑，而是采用先鋒交換機(jī)的目的端口號(hào)來尋徑。 例如，要與5號(hào)端口接通，以便與和5號(hào)端口相連的目的機(jī)通信，先鋒尋徑信令（HDR ）中 就帶一個(gè)5號(hào)。當(dāng)需要通信時(shí)，先向交換

11、機(jī)發(fā)送帶有5號(hào)的先鋒尋徑信令，用于申請(qǐng)信道。 一旦申請(qǐng)成功，接通相應(yīng)的交叉開關(guān)，建立信道。多個(gè)交換機(jī)級(jí)聯(lián)時(shí)，可以發(fā)送多個(gè)獨(dú)立的 先鋒尋徑依次將信道接通。建立信道后，消息可以直接傳送到目的機(jī)。交換機(jī)的信道中無需 緩存來暫存消息體。先鋒網(wǎng)以網(wǎng)絡(luò)為中心的結(jié)構(gòu)使各功能單元處于對(duì)等的地位，信息傳輸時(shí) 間達(dá)到同一量級(jí)，不再明顯依賴于其物理位置，有利于實(shí)現(xiàn)分布系統(tǒng)。同時(shí)網(wǎng)絡(luò)的余度通道 有利于容錯(cuò)和系統(tǒng)重構(gòu)。開放性結(jié)構(gòu)具有很好的隨應(yīng)用裁剪的能力和升級(jí)擴(kuò)充能力，并能更 充分地實(shí)現(xiàn)系統(tǒng)資源共享。航空科學(xué)基金項(xiàng)目面向航空電子綜合系統(tǒng)的光纖交換通信網(wǎng)絡(luò)的成功申請(qǐng)我們希望把先鋒網(wǎng)的先進(jìn)技術(shù)應(yīng)用到航空電子綜合系統(tǒng)上去，就

12、申請(qǐng)了這個(gè)項(xiàng)目。去年申請(qǐng) 成功。返回了不少基金評(píng)審專家建議，對(duì)我們很有指導(dǎo)意義，給了我們很大鼓勵(lì)。抄錄如下:研究內(nèi)容中重點(diǎn)對(duì)SCI通信機(jī)理進(jìn)行探討，并可作為關(guān)鍵技術(shù)加以突破。SCI或者FC等未必優(yōu)于先鋒網(wǎng)，未來中國航空電子系統(tǒng)采用何種網(wǎng)絡(luò)協(xié)議尚需論證。建 議項(xiàng)目能通過適當(dāng)定量分析，得到優(yōu)于其它網(wǎng)絡(luò)協(xié)議的結(jié)論。建議和航空電子系統(tǒng)綜合專業(yè)研究所密切合作，以支持四代機(jī)航電系統(tǒng)綜合和總體技術(shù) 的研究.在工程中信號(hào)處理和數(shù)據(jù)處理的綜合可能會(huì)引入電磁兼容問題。所以航空電子結(jié)構(gòu)中， 已經(jīng)采用統(tǒng)一的航空電子數(shù)字網(wǎng)絡(luò)，將航電諸模塊中涉及射頻功能的模塊并入綜合傳感器系 統(tǒng)。增加人員和經(jīng)費(fèi)投入，以系統(tǒng)研究取代核心技

13、術(shù)研究，2005年完成系統(tǒng)原理樣機(jī)研制網(wǎng)絡(luò)適配卡100Mbps和IGbps應(yīng)并行研制.航空科學(xué)基金申請(qǐng)書見附件。實(shí)時(shí)FC標(biāo)準(zhǔn)FC-RT的制定據(jù)說國內(nèi)對(duì)航空電子綜合系統(tǒng)的標(biāo)準(zhǔn)有FC和SCI的爭(zhēng)論。我們認(rèn)為兩者雖有不同，但沒 有根本矛盾。既然采用光纖傳輸，就得遵守FC標(biāo)準(zhǔn)。FC標(biāo)準(zhǔn)中有Fabric Topology,即交換 機(jī)拓?fù)洹Ｓ辛私粨Q機(jī)，就很容易擴(kuò)展規(guī)模，也就是易于Scalable，從而可以支持SCI標(biāo)準(zhǔn)，實(shí) 現(xiàn)未來航空電子系統(tǒng)對(duì)統(tǒng)一網(wǎng)絡(luò)的性能要求。本項(xiàng)目研究的，以“先鋒尋徑交換原理”為核 心的高速光纖網(wǎng)具有信道靈活、通信延遲時(shí)間小等優(yōu)點(diǎn)，既利于在低層符合FC標(biāo)準(zhǔn)，又便于 在高層符合SCI標(biāo)

14、準(zhǔn)?，F(xiàn)在有了實(shí)現(xiàn)交換網(wǎng)所需各種千兆器件，完全有條件研制成功符合標(biāo) 準(zhǔn)的高速光纖傳輸交換網(wǎng)絡(luò)，作為未來航空信息化武器裝備的通信網(wǎng)絡(luò)。關(guān)于SCI標(biāo)準(zhǔn)方面的工作，已在航空科學(xué)基金項(xiàng)目面向航空電子綜合系統(tǒng)的光纖交換通 信網(wǎng)絡(luò)申請(qǐng)書中介紹，請(qǐng)參閱。關(guān)于FC標(biāo)準(zhǔn)：考慮到美國FC標(biāo)準(zhǔn)是為適應(yīng)廣泛的應(yīng)用范圍制定的，而我們的應(yīng)用對(duì)象主 要是航空電子綜合系統(tǒng)，應(yīng)強(qiáng)調(diào)實(shí)時(shí)性能。故制定了一個(gè)實(shí)時(shí)FC標(biāo)準(zhǔn)FC-RT(征求意見稿)， 供主管部門召集有關(guān)單位討論時(shí)參考。請(qǐng)參閱附件：實(shí)時(shí)FC標(biāo)準(zhǔn)FC-RT(征求意見稿)。原FC標(biāo)準(zhǔn)中，在FC-2層規(guī)定了 5種通信協(xié)議：Primitive Sequence Protocols

15、在鏈路失效(Link Failure)時(shí)應(yīng)用。在我們 的先鋒網(wǎng)中有專門的信令來實(shí)現(xiàn)這個(gè)協(xié)議。Fabric Login Protocol我們有申請(qǐng)信道的“先鋒信令”來實(shí)現(xiàn)。N-Port Login Protocol我們有相應(yīng)的信令來實(shí)現(xiàn)。Data Transfer Protocol千兆網(wǎng)卡中有Flow Control功能，配合軟件來實(shí)現(xiàn)。N-Port Logout Protocol我們有信道撤消信令來實(shí)現(xiàn)。千兆網(wǎng)卡的研制節(jié)點(diǎn)機(jī)之間要通信，需要通信網(wǎng)卡。網(wǎng)卡插在節(jié)點(diǎn)機(jī)的插槽中，再用電纜或光纖互連。我 們已開發(fā)成功了用電纜互連的網(wǎng)卡，其內(nèi)部結(jié)構(gòu)如圖6.其中，發(fā)送器、接收器，上面已經(jīng)介 紹?？刂七壿嬍?/p>

16、控制發(fā)送器、接收器的各種操作。節(jié)點(diǎn)機(jī)接口是按PCI總線標(biāo)準(zhǔn)設(shè)計(jì)的，用 于控制與節(jié)點(diǎn)機(jī)的通信。具有直接高速訪問節(jié)點(diǎn)機(jī)內(nèi)存的DMA功能，以及數(shù)據(jù)流控(FlowContro 1）功能，以保證發(fā)揮網(wǎng)卡IGbps的通信速率。網(wǎng)卡設(shè)計(jì)有自測(cè)試功能，單機(jī)可以進(jìn)行 自測(cè)試。該網(wǎng)卡已研制成功，可以演示。這是我們首次突破千兆的通信速率，為今后研制千 兆交換機(jī)打基礎(chǔ)?？刂七壿嫲l(fā)送器接收器節(jié)點(diǎn)機(jī)接口圖6千兆網(wǎng)卡在這個(gè)千兆網(wǎng)卡研制成功以后，我們發(fā)現(xiàn)：MindSpeed公司的M27207器件是按FC標(biāo)準(zhǔn)設(shè) 計(jì)的，有支持FC標(biāo)準(zhǔn)的功能，而且將發(fā)送器件和接收器件做在一片器件中，性能更為優(yōu)良。 所以我們已經(jīng)訂了貨，已著手采用M

17、27207,并增加光收發(fā)器，研制新的千兆網(wǎng)卡，如圖7。圖7光纖傳輸千兆網(wǎng)卡千兆光纖傳輸交換網(wǎng)方案設(shè)計(jì)根據(jù)以上的器件，我們?cè)O(shè)計(jì)了一個(gè)千兆光纖傳輸交換網(wǎng)方案，如圖8.圖8中，各個(gè)器件多已介紹，只有1個(gè)ALTERA FPGA器件需要介紹一下.由于各個(gè) 節(jié)點(diǎn)機(jī)都可能要申請(qǐng)信道，而交換器件M21110只有1個(gè)設(shè)置信道的輸入口，所以需要一個(gè) FPGA器件。每個(gè)節(jié)點(diǎn)機(jī)要申請(qǐng)信道，都要向FPGA申請(qǐng)。但是，F(xiàn)PGA無法接受光信號(hào)，也 無法接受超過1Gbps的高速信號(hào)，因此需要經(jīng)過光收發(fā)器、電接收器，轉(zhuǎn)換成較低的并行 信號(hào)，才能接受。為了避免若干節(jié)點(diǎn)機(jī)同時(shí)申請(qǐng)而產(chǎn)生沖突，F(xiàn)PGA中要有排隊(duì)電路。排在 最前面的節(jié)

18、點(diǎn)機(jī)才能向M21110發(fā)設(shè)置信道的控制信號(hào)。這要按照M21110規(guī)定的控制協(xié)議， 必須精心設(shè)計(jì)。僅以每個(gè)端口 10條輸入線，17個(gè)端口共有170條輸入線?？梢?，這片F(xiàn)PGA 是規(guī)模相當(dāng)大的。詳細(xì)的情況還要涉及通信協(xié)議，以及各種信令、指令等。這里只能簡單 介紹一下思路。由于M21110是新產(chǎn)品，尚未買到。一旦到貨，我們將馬上研制。驅(qū)動(dòng)程序和MPI函數(shù)的設(shè)計(jì)驅(qū)動(dòng)程序用于在底層驅(qū)動(dòng)千兆網(wǎng)卡。我們?cè)谘兄魄д拙W(wǎng)卡時(shí)，已經(jīng)開發(fā)了在PC機(jī)上Linux 環(huán)境中的驅(qū)動(dòng)程序，保證了千兆網(wǎng)卡的調(diào)試工作。設(shè)計(jì)在WINDOWS-NT或LINUX下的驅(qū)動(dòng)程序 是有相當(dāng)難度的。經(jīng)過幾代研究生的論文研究，逐步成熟，研制成功。請(qǐng)參閱附件：MPI函數(shù)的設(shè)計(jì)也是有相當(dāng)難度的，也由研究生設(shè)計(jì)完成。余度設(shè)計(jì)方案根據(jù)現(xiàn)有器件提供的功能，余度設(shè)計(jì)方案可有多種?；居?種：系統(tǒng)級(jí) 兩套先鋒網(wǎng)構(gòu)成雙余度，相當(dāng)于1553B的雙總線。 端口級(jí) 每兩個(gè)端口當(dāng)1個(gè)端口用，就是端口雙余度，如圖9,