基于FPGA的PCI-Express總線設(shè)計(jì)

1、基于FPGA的高速IO技術(shù)PCIe技術(shù)簡(jiǎn)介基本的基本的I/O概念概念單端輸入，2個(gè)IC間僅用單一的信號(hào)連接，該信號(hào)與指定的電壓范圍進(jìn)行比較，得出邏輯值。差分信號(hào)差分輸入，一對(duì)標(biāo)識(shí)為V+和V-的導(dǎo)線來(lái)表示。當(dāng)V+V-時(shí)，信號(hào)定義成正極信號(hào)，當(dāng)V+V-時(shí)，信號(hào)定義成負(fù)極信號(hào) 。差分信號(hào) 很久以來(lái)主要是用于長(zhǎng)距離傳送，而不用于PCB上的芯片間通信差分信令的發(fā)展隨著IC通信速度的提高，系統(tǒng)和IC設(shè)計(jì)者開(kāi)始尋找可以處理更高速度的信令方法。與單端信令相比，差分信令有幾點(diǎn)優(yōu)勢(shì)：1.抗干擾能力強(qiáng) 2.能有效抑制EMI3.時(shí)序定位精確 兩個(gè)IC間的通信的時(shí)序模型有三種用于兩個(gè)IC間通信的時(shí)序模型：系統(tǒng)同步源同步

2、自同步 系統(tǒng)同步（共同時(shí)鐘系統(tǒng)同步（共同時(shí)鐘/普通時(shí)序系統(tǒng)）普通時(shí)序系統(tǒng)）系統(tǒng)同步系統(tǒng)就是指驅(qū)動(dòng)端和接收端的同步時(shí)鐘信號(hào)都是由一個(gè)系統(tǒng)時(shí)鐘發(fā)生器提供。時(shí)序模型示意圖源同步的應(yīng)用背景源同步的應(yīng)用背景在低速通信中，大多數(shù)的信號(hào)延時(shí)都被忽略了，因?yàn)榕c有效時(shí)間相比，延時(shí)時(shí)間很短。但是，隨著速度的提高，管理延時(shí)越來(lái)越困難，甚至最終變得不可能。改善問(wèn)題的方法之一及時(shí)發(fā)送數(shù)的同時(shí)發(fā)送一個(gè)時(shí)鐘副本。這種方法叫源同步。它可以極大的簡(jiǎn)化時(shí)序參數(shù)。源同步結(jié)構(gòu)圖與時(shí)序圖源同步結(jié)構(gòu)圖與時(shí)序圖時(shí)序模型源同步示意圖源同步的缺點(diǎn)源同步設(shè)計(jì)導(dǎo)致時(shí)鐘域數(shù)量的劇增。對(duì)于具有有限時(shí)鐘緩沖器的現(xiàn)場(chǎng)可編程門陣列（FPGA）和必須量身定制

3、每個(gè)時(shí)鐘樹(shù)的專用集成電路（ASIC）等器件來(lái)說(shuō)，這將帶來(lái)時(shí)序約束和分析難題。對(duì)于采用大型并行總線的設(shè)計(jì)來(lái)說(shuō)，該問(wèn)題會(huì)進(jìn)一步加重：由于電路板的設(shè)計(jì)限制，每條數(shù)據(jù)總線通常要采用一個(gè)以上的轉(zhuǎn)發(fā)時(shí)鐘。因此，一條32位總線可能需要4個(gè)、甚至8個(gè)轉(zhuǎn)發(fā)時(shí)鐘。調(diào)節(jié)轉(zhuǎn)發(fā)時(shí)鐘的輸出時(shí)間，使時(shí)鐘在數(shù)據(jù)單元的中間位置發(fā)生翻轉(zhuǎn)，因此，數(shù)據(jù)線和時(shí)鐘線的長(zhǎng)度需要互相匹配。其缺點(diǎn)是，在目的芯片接收到的數(shù)據(jù)必須從接收時(shí)鐘域轉(zhuǎn)移到全局芯片時(shí)鐘域中。自同步自同步自同步：兩塊芯片之間的通信，其中發(fā)送芯片產(chǎn)生的數(shù)據(jù)流同時(shí)包括數(shù)據(jù)和時(shí)鐘信息結(jié)構(gòu)框圖時(shí)序模型自同步自同步接口的三個(gè)主要模塊分別是：自同步接口的三個(gè)主要模塊分別是：并串轉(zhuǎn)換（并

4、串轉(zhuǎn)換（SERDES/MGTs）串并轉(zhuǎn)換串并轉(zhuǎn)換時(shí)鐘數(shù)據(jù)恢復(fù)（時(shí)鐘數(shù)據(jù)恢復(fù)（PLL）1. 并串轉(zhuǎn)換：可裝載移位寄存器回轉(zhuǎn)選擇器的簡(jiǎn)單邏輯圖2.串并轉(zhuǎn)換串并轉(zhuǎn)換串并轉(zhuǎn)換時(shí)并串轉(zhuǎn)換的反過(guò)程3.時(shí)鐘時(shí)鐘/數(shù)據(jù)恢復(fù)數(shù)據(jù)恢復(fù)時(shí)鐘恢復(fù)過(guò)程無(wú)法產(chǎn)生一個(gè)共用時(shí)鐘或者同數(shù)據(jù)一起發(fā)送時(shí)鐘。作為代替，由鎖相環(huán)（PLL）合成出一個(gè)與輸入串行信號(hào)的時(shí)鐘頻率一致的時(shí)鐘。鎖相環(huán)：鎖相環(huán)是這樣的一種電路，它能根據(jù)參考時(shí)鐘和輸入信號(hào)來(lái)產(chǎn)生鎖定輸入信號(hào)的新時(shí)鐘。多路復(fù)用（multiplexed）在并行通信領(lǐng)域在并行數(shù)據(jù)傳輸中，經(jīng)常使用額外的控制信號(hào)線為數(shù)據(jù)賦予不同的意義。例如數(shù)據(jù)時(shí)能信號(hào)，一起在同一總線上對(duì)數(shù)據(jù)和控制信號(hào)的多路選

5、擇。多路復(fù)用在串行通信領(lǐng)域串行域中，標(biāo)志或標(biāo)記用于將數(shù)據(jù)與非數(shù)據(jù)（通常指空閑數(shù)據(jù)）區(qū)分開(kāi)來(lái)。標(biāo)志還可用來(lái)表示不同的信息類型，如數(shù)據(jù)信息和控制信息。千兆位串行千兆位串行I/O產(chǎn)生背景產(chǎn)生背景對(duì)寬帶和速度的行業(yè)要求不斷地改進(jìn)I/O設(shè)計(jì)。需要不斷改進(jìn)下面的各項(xiàng)參數(shù)性能，如：數(shù)據(jù)流引腳數(shù)電磁干擾（EMI）成本背板效率千兆位串行千兆位串行I/O的優(yōu)勢(shì)的優(yōu)勢(shì)最大的優(yōu)勢(shì)是：速度從片內(nèi)/片外、板內(nèi)/板外或盒內(nèi)/盒外獲取數(shù)據(jù)時(shí)，沒(méi)有其他的技術(shù)可以超過(guò)高速串行鏈路。這種技術(shù)的線速范圍為1Gb/s12Gb/s,有效負(fù)載范圍為0.8Gb10Gb因此可以進(jìn)行大量的數(shù)據(jù)傳輸。 其他優(yōu)勢(shì)：引腳較少?zèng)]有大量的同時(shí)開(kāi)關(guān)輸出（S

6、SO）問(wèn)題EMI較低且成本較低MGT:千兆位級(jí)收發(fā)器-千兆位級(jí)串行器/解串器（SERDES）的別名。接收并行數(shù)據(jù)，并允許在串行鏈路上進(jìn)行大帶寬數(shù)據(jù)傳輸高速通信下中串行I/O較并行I/O的技術(shù)在以下5個(gè)發(fā)面的優(yōu)勢(shì)1.最大數(shù)據(jù)流最大數(shù)據(jù)流極端情況下某些大型可編輯邏輯器件具有20個(gè)或更多個(gè)10Gb串并收發(fā)器，可以實(shí)現(xiàn)總帶寬為200Gb/s的輸入和輸出。2.引腳數(shù)引腳數(shù)將大量數(shù)據(jù)傳入或者傳出芯片或電路板時(shí)遇到的第一個(gè)問(wèn)題是引腳問(wèn)題。通常，輸入和輸出引腳數(shù)是有限的。雖然引腳數(shù)會(huì)隨著時(shí)間而增加，但缺點(diǎn)總是不夠用。使用大量引腳時(shí)，電路板設(shè)計(jì)時(shí)間和成本會(huì)急劇增加?？紤]連接器及電纜的選擇和可用性時(shí)，連接器的引腳

7、數(shù)也非常重要，球形柵格陣列（BGA）封裝可能會(huì)不方便。3.同步轉(zhuǎn)換輸出同步轉(zhuǎn)換輸出采用單端并行總線時(shí)，設(shè)計(jì)者應(yīng)考慮同步轉(zhuǎn)換輸出（SSO）。因?yàn)椋渲心承┹敵鰰?huì)在同一時(shí)間翻轉(zhuǎn)，如果出現(xiàn)太多的同步轉(zhuǎn)換，觸地反彈會(huì)產(chǎn)生大量噪音。設(shè)計(jì)者可以在所有I/O上使用差分信號(hào)處理技術(shù)，以此來(lái)消耗SSO技術(shù)，但是這樣做就會(huì)使引腳數(shù)翻倍。如果數(shù)據(jù)流需求比較適中，設(shè)計(jì)者可以使用具有適當(dāng)引腳的并行接口。4.EMI時(shí)鐘越快，放射測(cè)試就越難進(jìn)行，因此，千兆位設(shè)計(jì)看起來(lái)近乎不可能，但是，通常高速串行鏈路的輻射量比較低速度工作的大型總線低，這還因?yàn)檫\(yùn)行時(shí)千兆位鏈路需要出色的信號(hào)完整性。輻射問(wèn)題實(shí)際上就是信號(hào)完整性問(wèn)題5.成本成

8、本采用MGT通常會(huì)降低系統(tǒng)總成本。表現(xiàn)在連接器較小、較經(jīng)濟(jì)的封裝、引腳數(shù)較少，電路板設(shè)計(jì)簡(jiǎn)單。采用MGT另一個(gè)好處就是可以使用預(yù)先定義好的協(xié)議和接口標(biāo)準(zhǔn)，滿足多種需求的設(shè)計(jì)已經(jīng)存在。千兆位串行I/O的 缺點(diǎn)要密切注意信號(hào)完整性問(wèn)題。要密切注意信號(hào)完整性問(wèn)題。高速的千兆位級(jí)串行設(shè)計(jì)應(yīng)用的失敗率為90%，為了提高成功率，可能需要進(jìn)行模擬仿真，并采用復(fù)雜的新型旁路電路，甚至還需要對(duì)旁路電路進(jìn)行仿真和建模。阻抗控制的阻抗控制的PCB、高速連接器和電纜的費(fèi)用太高。、高速連接器和電纜的費(fèi)用太高。必須處理數(shù)字仿真中的復(fù)雜性和時(shí)基較小的問(wèn)題。并且，在利用預(yù)設(shè)協(xié)議的時(shí)候，必須為集成過(guò)程計(jì)劃時(shí)間，并且為協(xié)議的開(kāi)銷

9、安排額外的邏輯電路或CPU時(shí)鐘周期。現(xiàn)有的千兆位I/O 行業(yè)標(biāo)準(zhǔn)采用千兆位級(jí)SERDES的行業(yè)標(biāo)準(zhǔn)有如下：光纖通道（PC）PCI ExpressRapiedIO串行先進(jìn)交換互連（Advanced Switching Interface）串行ATA（SATA）1-Gb以太網(wǎng)10-Gb以太網(wǎng)（XAUI）Infiniband 1、4、121.芯片到芯片間通信芯片到芯片間通信SERDES最初用于核間通信。隨著工藝的進(jìn)步，深亞微米結(jié)構(gòu)的產(chǎn)生，解決了因串行化和解串化而增加的邏輯門數(shù)量，從而使SERDES迅速成為芯片間大量數(shù)據(jù)傳輸?shù)暮侠磉x擇。SERDES進(jìn)行片間通信具有如下好處：引腳數(shù)：PCB層數(shù)減少更小的

10、封裝：電路板更小、更經(jīng)濟(jì)；設(shè)計(jì)更緊湊SSO：較少的引腳和差分信令消除了SSO問(wèn)題功耗：高速串行鏈路的功耗要小于并行鏈路，這一特點(diǎn)在一些有源偏置/終端的高速并行標(biāo)準(zhǔn)，例如高速晶體管邏輯（HSTL）中尤為明顯。內(nèi)含控制線路：通常并行接口除了數(shù)據(jù)線外，還需要一些控制線和使能線。大多數(shù)協(xié)議下使能和控制性能都可以鑲?cè)氲酱墟溌分小?.板到板板到板/背板背板并行總線協(xié)議已經(jīng)發(fā)展到了不可能增加數(shù)據(jù)位的地步，存在的問(wèn)題如下：時(shí)鐘歪斜（晶振）數(shù)據(jù)歪斜（布線）上升和下降時(shí)間抖動(dòng)都限制了更進(jìn)一步提高的時(shí)鐘頻率。將數(shù)據(jù)速度加倍可能會(huì)有所幫助，但是它通常需要使用差分信令，而這些將會(huì)引起引腳數(shù)量的急劇增加控制并行總線上的

11、串?dāng)_問(wèn)題也是困難的新的串行背板與并行背板稍有不同-專用的串行鏈路。并串機(jī)構(gòu)中兩者間的最大差異在于帶寬接入方法并行結(jié)構(gòu)中并行結(jié)構(gòu)中，一個(gè)節(jié)點(diǎn)向一個(gè)或多個(gè)節(jié)點(diǎn)發(fā)送信號(hào)。該節(jié)點(diǎn)在發(fā)送信號(hào)時(shí)，其他全部節(jié)點(diǎn)都是鎖定的，傳輸帶寬由全部節(jié)點(diǎn)共享。串行總線中串行總線中，每一個(gè)節(jié)點(diǎn)都與其他節(jié)點(diǎn)都有專用鏈路。因此，在一個(gè)節(jié)點(diǎn)通話時(shí)，另一個(gè)節(jié)點(diǎn)可以同時(shí)也一個(gè)或全部節(jié)電通話。事實(shí)上，全部節(jié)點(diǎn)都可以同時(shí)同其他節(jié)點(diǎn)通話，當(dāng)然，節(jié)點(diǎn)必須按照先進(jìn)先出（FIFO）的原則進(jìn)行緩沖和存儲(chǔ)，以便能夠處理接收到的全部信息。串行總線的結(jié)構(gòu)優(yōu)勢(shì)在于：帶寬更大引腳數(shù)更少按節(jié)點(diǎn)到節(jié)點(diǎn)的方式檢測(cè)帶寬（無(wú)需共享帶寬）解決方案內(nèi)置到SERDES中輕

12、松實(shí)現(xiàn)協(xié)議支持主要的高速并行端口包括：工業(yè)標(biāo)準(zhǔn)構(gòu)架（ISA）擴(kuò)展工業(yè)標(biāo)準(zhǔn) （EISA）小型計(jì)算機(jī)系統(tǒng)接口（SCSI）外圍部件互聯(lián)（PCI）更小的個(gè)人電腦存儲(chǔ)器卡行業(yè)協(xié)會(huì)（PCMCIA）標(biāo)準(zhǔn)PCI總線一種由英特爾公司1991年推出的用于定義局部總線的標(biāo)準(zhǔn)。 從結(jié)構(gòu)上看，PCI是在CPU和原來(lái)的系統(tǒng)總線之間插入的一級(jí)總線，具體由一個(gè)橋接電路實(shí)現(xiàn)對(duì)這一層的管理，并實(shí)現(xiàn)上下之間的接口以協(xié)調(diào)數(shù)據(jù)的傳送。管理器提供信號(hào)緩沖，能在高時(shí)鐘頻率下保持高性能，適合為顯卡，聲卡，網(wǎng)卡，MODEM等設(shè)備提供連接接口，工作頻率為33MHz/66MHz。PCI技術(shù)的發(fā)展為了適應(yīng)高速通信的需求，PCI也從33MHz發(fā)展到6

13、6MHz，PCI-X 66 MHz/133 MHz buses,到目前 PCI-X 266/533 MHz。Bandwidth(MB/s)Bandwidth(MB/s)和和Bus width(bits/s)Bus width(bits/s)密切相關(guān)密切相關(guān)PCI每個(gè)管腳吞吐量發(fā)展趨勢(shì)圖33MHz PCI Bus 基本平臺(tái)返回FSBFSB=Front Side BUSFSB是指CPU與北橋芯片之間的數(shù)據(jù)傳輸總線，又稱前端總線。對(duì)于P4來(lái)說(shuō)，F(xiàn)SB頻率=CPU外頻*4。這個(gè)參數(shù)指的就是前端總線的頻率，它是處理器與主板交換數(shù)據(jù)的通道，既然是通道，那就是越大越好，現(xiàn)在主流中最高的FSB是800M，向下

14、有533M、400M和333M等幾種 北橋芯片負(fù)責(zé)聯(lián)系內(nèi)存、顯卡等數(shù)據(jù)吞吐量最大的部件，并和南橋芯片連接。CPU就是通過(guò)前端總線（FSB）連接到北橋芯片，進(jìn)而通過(guò)北橋芯片和內(nèi)存、顯卡交換數(shù)據(jù)。 前端總線頻率越大，代表著CPU與北橋芯片之間的數(shù)據(jù)傳輸能力越大，更能充分發(fā)揮出CPU的功能。 前端總線與系統(tǒng)總線區(qū)別前端總線與系統(tǒng)總線區(qū)別前端總線與系統(tǒng)總線：前端總線與系統(tǒng)總線：系統(tǒng)總線(BusSpeed)與前端總線(FSB、外頻)的區(qū)別在于，前端總線(FSB、外頻)的速度指的是CPU和北橋芯片間總線的速度。而系統(tǒng)總線(BusSpeed)的概念是建立在數(shù)位脈沖信號(hào)震蕩速度基礎(chǔ)之上的，也就是說(shuō)，100MH

15、z系統(tǒng)總線(BusSpeed)特指數(shù)位脈沖信號(hào)在每秒鐘震蕩一百萬(wàn)次，它更多的影響了PCI及其他總線的頻率 .混淆的原因：外頻與前端總線外頻與前端總線(FSB)頻率的區(qū)別頻率的區(qū)別：前端總線的速度指的是數(shù)據(jù)傳輸?shù)乃俣?，外頻是CPU與主板之間同步運(yùn)行的速度。也就是說(shuō)，100MHz外頻特指數(shù)字脈沖信號(hào)在每秒鐘震蕩一千萬(wàn)次；而100MHz前端總線指的是每秒鐘CPU可接受的數(shù)據(jù)傳輸量是100MHz64bit=6400Mbit/s=800MByte/s（1Byte=8bit）。 PCI 配置生成周期（包括 2 個(gè)步驟） Step 1. CPU 生成一個(gè) IO write 到北橋中IO address CF

16、8h 空間的Address Port. 寫到 Address Port的數(shù)據(jù)時(shí)用于配置將要訪問(wèn)的 配置寄存器地址.Step 2. CPU 要么生成 IO read 或者是生成 IO write 到位于北橋 中CFCh域的Data Port. 北橋 接著生成一個(gè) configuration read 或者是一個(gè)configuration write 事件放到 PCI bus上.PCI地址空間映射256 Byte PCI 功能配置寄存器空間地址PCI事件模型及處理機(jī)制PCI Bus 仲裁器PCI事件重發(fā)機(jī)制PCI事務(wù)拆分機(jī)制PCI中斷機(jī)制PCI錯(cuò)誤處理機(jī)制帶有PCI to-PCI橋的PCI基本平臺(tái)

17、PCI的發(fā)展1993年又提出了64bit的PCI總線，稱為PCI-X，目前廣泛采用的是32-bit、33MHz或者32-bit、66MHz的PCI 總線，64bit的PCI-X插槽更多是應(yīng)用于服務(wù)器產(chǎn)品。 最新一代的 PCI 芯片組 基本平臺(tái)66 MHz PCI 基本平臺(tái) 66 /133 MHz PCI-X Bus 基本平臺(tái)PCI-X 設(shè)備可以查到PCI槽中或者反之. PCI-X 槽和 PCI 槽 具有相同的連接器格式. 因此, PCI-X 是 100% 從硬件和軟件方面向前兼容 PCI 。PCI-X 支持 8-10 負(fù)載 或者 4個(gè)66 MHz 連接器 和 3-4 負(fù)載或者 1-2個(gè) 133

18、 MHz的連接器. 一個(gè) 64-bit 133 MHz PCI-X 的最大帶寬是 1064 MBytes/sec. 緊跟著第一數(shù)據(jù)相, PCI-X bus 不允許在后續(xù)的 data phases 中存在wait statesPCI-X總線特點(diǎn)絕大多數(shù)的 PCI-X bus 的周期是突發(fā)周期同時(shí) 數(shù)據(jù)一般包含在一個(gè)不小于128Byte的數(shù)據(jù)塊中傳輸 。這就導(dǎo)致了更高的總線利用效率。PCI-X 拆分傳輸協(xié)議 PCI的優(yōu)缺點(diǎn)的優(yōu)缺點(diǎn) 優(yōu)點(diǎn)：總線結(jié)構(gòu)簡(jiǎn)單、成本低、設(shè)計(jì)簡(jiǎn)單。缺點(diǎn)也比較明顯， 并行總線無(wú)法連接太多設(shè)備，總線擴(kuò)展性比較差，線間干擾將導(dǎo)致系統(tǒng)無(wú)法正常工作；2) 隨著總線頻率的提高，總線上所允許的電氣負(fù)載的個(gè)數(shù)也會(huì)減少。當(dāng)連接多個(gè)設(shè)備時(shí)，總線有效帶寬將大幅降低，傳輸速率變慢；為了降低成本和盡可能減少相互間的干擾，需要減少總線帶寬，或者地址總線和數(shù)據(jù)總線采用復(fù)用方式設(shè)計(jì)，這樣降低了帶寬利用率。串行通信技術(shù)的發(fā)展在很長(zhǎng)的一段時(shí)間里，串行技術(shù)和并行技術(shù)是在高速通信領(lǐng)域是平分秋色的，在PCI等串行技術(shù)快速發(fā)展的同時(shí)，以太網(wǎng)速率也從10Mb/s提高了100Mb/S，進(jìn)而提高到了1000Mb/s。當(dāng)分?jǐn)?shù)相位檢測(cè)器（fractional phase detector）技術(shù)被發(fā)