基于FPGA+PCI數(shù)據(jù)采集存儲硬件設計方案詳解

基于FPGA+PCI數(shù)據(jù)采集存儲硬件設計方案詳解針對雙天線干涉SAR基線測量系統(tǒng)數(shù)據(jù)量大、實時性要求高和體積小的特點，設計并實現(xiàn)了一種基于FPGA+PCI的實時數(shù)據(jù)采集存儲系統(tǒng)。系統(tǒng)基于PCI總線技術，采用FPGA和大容量SDRAM對采集數(shù)據(jù)進行控制和緩存，利用多個硬盤組成的磁盤陣列進行實時存儲，實現(xiàn)了CCD相機和激光測距儀與PCI總線間的高速數(shù)據(jù)實時傳輸。對系統(tǒng)進行了功能和性能測試，測試結果表明，系統(tǒng)數(shù)據(jù)吞吐量大，實時性強，性能穩(wěn)定，能夠有效地滿足基線測量系統(tǒng)的需求。雙天線干涉合成孔徑雷達系統(tǒng)可以獲取地面目標的高程信息，具有全天候、全天時工作、測繪范圍廣、分辨率高等優(yōu)點。干涉測量一般采用單軌雙天線或重復軌道單天線系統(tǒng)，對于單軌雙天線系統(tǒng)，其交軌干涉基線越長、越精確，獲取的高程精度越高。一般干涉基線長度大于4m時，基線呈柔性結構而不能保持穩(wěn)定基線，由于柔性基線結構出現(xiàn)的變形和抖動，會造成2個天線的相對位置和姿態(tài)動態(tài)變化，并最終嚴重影響高程精度。采用CCD相機和激光測距儀的組合基線測量系統(tǒng)能夠實現(xiàn)對2個天線的位置和姿態(tài)變化進行精密動態(tài)測量，CCD相機對布設在天線上LED標志點進行高速跟蹤拍攝，激光測距儀同步測量平臺與合作目標之間的距離。這使得柔性基線測量系統(tǒng)具有輸出數(shù)據(jù)量大、處理算法復雜、計算量大、處理實時性要求高等特點，本文針對柔性基線測量系統(tǒng)的需求，提出一種基于FPGA+PCI的數(shù)據(jù)實時采集與高速存儲的解決方案，進行了硬件關鍵功能設計與實現(xiàn)。系統(tǒng)采用FPGA進行核心邏輯控制，對CCD相機和激光測距儀的數(shù)據(jù)進行同步采集控制，整理、利用外部大容量的SDRAM組進行緩存，采用專用的PCI接口芯片PLX9656，實現(xiàn)了2個傳感器數(shù)據(jù)與PCI總線數(shù)據(jù)的高速傳輸，利用多個SATA硬盤構成的大容量的磁盤陣列進行實時存儲。并對該數(shù)據(jù)采集存儲系統(tǒng)進行了功能和性能測試，實測數(shù)據(jù)表明本文設計的系統(tǒng)能夠有效解決柔性基線測量系統(tǒng)數(shù)據(jù)高速采集，大容量數(shù)據(jù)傳輸?shù)碾y題。1系統(tǒng)組成及工作原理1.1主要功能和技術指標在柔性基線測量系統(tǒng)中，為了精確實時測量柔性基線的抖動和2個天線相對姿態(tài)的變化，需要選擇高幀頻、大面陣的CCD相機和高精度的激光測距儀進行組合測量，這樣會產(chǎn)生大量高速的圖像數(shù)據(jù)和激光測距儀輸出的距離數(shù)據(jù)。因此本文設計的高速采集存儲系統(tǒng)主要功能是控制各測量傳感器之間的時間同步，完成各傳感器數(shù)據(jù)的實時采集，并對采集的數(shù)據(jù)進行分流。一路數(shù)據(jù)進行高速存儲；另一路數(shù)據(jù)輸出至另外的實時處理系統(tǒng)中。根據(jù)柔性基線測量系統(tǒng)的要求，本文系統(tǒng)應該能夠實時采集和存儲2個傳感器測量數(shù)據(jù)，需要達到的技術指標主要包括持續(xù)采集速度、持續(xù)存儲速度和最小存儲容量等。系統(tǒng)中CCD相機采用SVS-VISTEK公司生產(chǎn)的一款高分辨率、高幀頻的面陣數(shù)字相機，圖像的分辨率為1608列×1208行，相機幀頻最高為30Hz.該相機數(shù)據(jù)AD采樣為10位，數(shù)據(jù)采集只取高8位，則CCD相機每秒產(chǎn)生的數(shù)據(jù)量約為55.57MB.激光測距儀采用的是德國公司生產(chǎn)的LRFS-0040-2激光測距儀，測量速率最高可達50Hz，數(shù)據(jù)接口采用的是RS422接口，產(chǎn)生的數(shù)據(jù)量為9.6KB/s.2個傳感器每秒的數(shù)據(jù)量約為56MB/s，則采集系統(tǒng)的持續(xù)采集速度必須大于56MB/s，才能對2個傳感器數(shù)據(jù)進行實時采集。只有當持續(xù)存儲速率大于采集速度時，才能夠把數(shù)據(jù)實時準確的存儲數(shù)據(jù)。所以持續(xù)存儲速度要大于56MB/s，SATA硬盤理論讀寫速度最大可達150MB/s，利用多個SATA硬盤組成RAID陣列，可以提供比單個硬盤更高的存儲性能。根據(jù)柔性基線測量系統(tǒng)的需求，該采集存儲系統(tǒng)的持續(xù)工作時間最長約為2h，則需要的最小的存儲容量約為390.76GB.根據(jù)上述數(shù)據(jù)采集系統(tǒng)的需求分析，并考慮到系統(tǒng)的可擴展性以及數(shù)據(jù)實際傳輸、終端處理的需要，要求數(shù)據(jù)采集記錄速度要達到70MB/s，持續(xù)寫盤陣速度要達到120MB/s，存儲容量要求達到2TB.對于32bit/33MHz的PCI總線，實際使用中一般能達到80MB/s，數(shù)據(jù)進出系統(tǒng)內存都要經(jīng)過PCI總線，會導致總線的效率降低一半。而系統(tǒng)的采集速度必須大于56MB/s，所以選擇64bit/66MHz的PCI總線，數(shù)據(jù)傳輸?shù)姆逯邓俣瓤梢赃_到528MB/s，現(xiàn)有系統(tǒng)表明64bit/66MHz的PCI總線實際傳輸?shù)乃俣饶苓_到200MB/s以上，所以該PCI總線的傳輸速度完全能滿足系統(tǒng)需求。1.2系統(tǒng)組成和整體方案整個系統(tǒng)主要由CCD相機、激光測距儀，PCI數(shù)據(jù)采集卡，SATA磁盤陣列和計算機組成。其中PCI圖像采集卡主要由傳感器數(shù)據(jù)接口、FPGA邏輯控制芯片、高速緩存、PCI接口芯片組成。本文提出一種基于FPGA+PCI的數(shù)據(jù)采集存儲系統(tǒng)的解決方案，該方案的原理如下：首先由主機端發(fā)送命令對CCD相機和激光測距儀進行配置，配置完成后啟動采集，CCD相機輸出的高速圖像數(shù)據(jù)、同步控制信號一起送到FPGA中，在FPGA中進行緩存，激光測距儀的數(shù)據(jù)通過串口也送入到FPGA的雙口RAM中進行緩存，F(xiàn)IFO半滿后在FPGA的控制下把CCD相機和激光測距儀數(shù)據(jù)進行分流，其中一路送到外部的SDRAM組中進行緩存，SDRAM存儲到設定圖像幀數(shù)后給PCI發(fā)送中斷，主機響應中斷，從SDRAM中把數(shù)據(jù)讀到內存中進行處理，并同時向硬盤中寫數(shù)據(jù)完成實時存儲；另一路送到相關的實時處理系統(tǒng)中進行處理。整個設計方案的框圖如圖1所示。圖1數(shù)據(jù)實時采集與存儲系統(tǒng)設計方案框圖應用于柔性基線測量系統(tǒng)的數(shù)據(jù)實時，采集存儲系統(tǒng)的設計包括以下幾個方面的關鍵技術：CameraLink接口技術、多傳感器同步技術、多傳感器數(shù)據(jù)的實時采集與高速緩存和多傳感器數(shù)據(jù)的實時存儲。2數(shù)據(jù)實時采集存儲系統(tǒng)關鍵設計與實現(xiàn)下面對本系統(tǒng)中的幾個關鍵技術具體實現(xiàn)的設計方案進行詳細闡述。2.1數(shù)據(jù)采集接口設計實驗相機采用CameraLink標準接口，基本配置采用標準的MDR26連接器輸出。本系統(tǒng)采用FPGA作為采集卡的主控芯片，F(xiàn)PGA支持的I/O標準為LVCMOS/LVTTL信號。因此本系統(tǒng)對于CameraLink接口的設計方案為：通過DS90CR288A接收器將4路相機數(shù)據(jù)LVDS信號和1路相機時鐘LVDS信號轉換成28位TTL數(shù)據(jù)，輸出24位圖像信號、圖像同步信號和像素時鐘信號Strobe.DS90CR288A的主要功能是完成LVDS到TTL電平信號的轉換和串行信號轉成并行信號。為了對相機進行參數(shù)設置和觸發(fā)控制，需要將FPGA輸出的相機控制信號（CC1-CC4）和信號SerTC（serial-to-camera）通過電平轉換芯片DS90LV047轉換成LVDS信號送入接收器中。為了接收相機向采集卡發(fā)送的應答信號SerTFG（serial-to-frame-grabber），采用DS90LV048把該LVDS信號轉換成TTL信號后送入FPGA中，并送入主機端進行顯示。2.2PCI接口設計由1.1節(jié)指標論證結果可知，本系統(tǒng)采用64bit/66MHz的PCI總線來實現(xiàn)數(shù)據(jù)的高速傳輸。PCI接口是PCI總線與外部總線的通信接口，以實現(xiàn)二者的通信。目前常用的PCI接口的方案是采用專用的PCI總線接口芯片，無需掌握復雜的PCI總線協(xié)議，設計簡單，能夠減少開發(fā)周期和成本。本系統(tǒng)中采用PLX9656來進行高速PCI卡的設計，以實現(xiàn)設置相機參數(shù)、設置激光測距參數(shù)、設置采樣參數(shù)、讀取圖像數(shù)據(jù)等功能。PLX9656是目前性能最高的PCI接口控制器，具有PCI端66MHz、64bits，LOCAL端66MHz、32bits的性能，符合PCIV2.2規(guī)范。本系統(tǒng)中PCI接口設計的重點是PLX9656本地總線工作方式和數(shù)據(jù)傳輸模式的設置與實現(xiàn)。PLX9656的本地總線可以設置成3種模式：M模式、C模式和J模式。根據(jù)本系統(tǒng)的特點，選擇C模式，可以通過把MODE1和MODE0引腳拉低來實現(xiàn)C模式的工作方式。在C模式下，數(shù)據(jù)傳輸方式分為主模式操作、從模式操作和DMA操作。采用DMA工作方式，能在不需要CPU干預的條件下，實現(xiàn)高數(shù)外設和存儲器間的快速傳輸，因此比較適合CCD相機數(shù)據(jù)和激光測距儀數(shù)據(jù)的傳輸，DMA傳輸方式的實現(xiàn)可以通過對PLX9656的內部寄存器的DMAMODE0/1，PCICR置位來實現(xiàn)。2.3FPGA核心邏輯控制基于FPGA的時序邏輯控制模塊是本系統(tǒng)的核心設計，能夠實現(xiàn)對相機和激光測距儀的模式設置、相機和激光測距儀的數(shù)據(jù)同步控制、多個傳感器數(shù)據(jù)的緩存與整理，對外部高速緩存的控制以及與PLX9656的通信。系統(tǒng)采用Altera公司的StratixⅡ系列EP2S60F1020器件，配置芯片選用EPC16.1）傳感器觸發(fā)設置本設計中，2個傳感器的工作模式通過主機端進行設置，通過PCI總線將模式設置字符串傳到FPGA中，通過串口控制器實現(xiàn)與相機和激光測距儀的通信，從而完成對相機和激光測距儀的配置。且相機和激光測距儀收到配置命令后也通過串口控制器把應答信息傳到FPGA中，再通過PCI總線傳到主機上。為了實現(xiàn)與激光測距儀的同步控制，相機選擇軟件外觸發(fā)模式，此模式下需要在FPGA內產(chǎn)生一個頻率為20Hz的EXSYNC觸發(fā)信號送給CCD相機進行曝光讀取數(shù)據(jù)，EXSYNC的低電平寬度為10μs，相機的曝光時間由主機端進行參數(shù)設置。2）數(shù)據(jù)同步控制把EXSYNC觸發(fā)信號同時送給激光測距儀和相機，來實現(xiàn)2個傳感器的輸出同步。因為2個傳感器的測量速度不同，相機的輸出幀頻為20幀/s，激光測距儀的輸出頻率為50Hz，所以數(shù)據(jù)同步的設計關鍵在于如何記錄同時刻的單幀圖像數(shù)據(jù)和激光測距儀數(shù)據(jù)，2個傳感器同步采集的時序關系圖如圖2（a）所示，CLK100Hz是取2個頻率的最小公倍數(shù)，可以根據(jù)FPGA的內部資源使用情況來設定，Data_lrf_sel為選擇的激光數(shù)據(jù)，其中I表示該時刻的數(shù)據(jù)無效，V表示該時刻的數(shù)據(jù)有效。數(shù)據(jù)同步方案為相機數(shù)據(jù)進入FPGA后，在2個雙口RAM中進行整理緩存，激光測距儀經(jīng)過串口接收器把數(shù)據(jù)傳入FPGA內，本設計的串口接收器帶有FIFO緩存，數(shù)據(jù)經(jīng)過緩存后接送入雙口RAM中進行進一步緩存；按照圖2（a）所示的時序關系圖生成雙口RAM的寫使能WEN信號，WEN信號有效時把此時刻的激光數(shù)據(jù)寫入雙口RAM中；當讀使能信號有效時，首先從雙口RAM中的激光測距儀數(shù)據(jù)到FIFO中，接著讀取相應幀的圖像數(shù)據(jù)到FIFO中；FIFO半滿后，激光測距儀數(shù)據(jù)和相機數(shù)據(jù)一起送到外部的SDRAM中進行進一步緩存，仿真時序圖如圖2（b）所示。由圖2的仿真結果可知，本文同步設計方案能夠有效地減少2個傳感器之間的延時，采集2個傳感器的相對同步數(shù)據(jù)。雖然不是嚴格意義上的同步，但已能滿足柔性基線測量系統(tǒng)的需求。圖2CCD相機和激光測距儀同步采集設計及仿真時序圖3）數(shù)據(jù)緩存與整理本系統(tǒng)中采用的緩存方案為首先把圖像數(shù)據(jù)、控制信號進行3級鎖存，因為實驗相機輸出的圖像數(shù)據(jù)為2個TAP的數(shù)據(jù)，分別把2個TAP的數(shù)據(jù)送入FPGA內部的2個雙口RAM中進行緩存，左邊TAP的數(shù)據(jù)按照順序地址存儲，右邊TAP的數(shù)據(jù)按照逆序地址存儲，從而將2個TAP的數(shù)據(jù)拼接成完整的圖像。當使能信號有效時，把2個雙口RAM的數(shù)據(jù)送入到FIFO中進一步緩存，當FIFO數(shù)據(jù)半滿后，把FIFO的數(shù)據(jù)通過SDRAM接口控制器送入到外部的SDRAM存儲器中去。4）PCI邏輯接口本系統(tǒng)通過PCI本地邏輯接口來完成FPGA與PLX9656的通信。系統(tǒng)加電啟動后，PLX9656的內部寄存器由PCI總線的RST#信號復位；同時PLX9656輸出局部復位信號LRESET，并檢查EEPROM是否存在。如果采用本地端DMA方式控制，則整個握手過程如下：首先當SDRAM緩存中的數(shù)據(jù)達到設定值后，LINTI#信號有效，PLX9656向主機端發(fā)送中斷請求信號；若CPU響應中斷，則在中斷相應程序內發(fā)出DMA讀命令、要讀的字節(jié)數(shù)和地址信息等。PLX9656申請本地總線，使LHOLD信號有效。FPGA驅動LHOLDA信號有效來響應PLX9656的請求，PLX9656將PCI地址空間映射到本地地址空間。接著通過設置寄存器來啟動DMA傳輸，PLX9656有效ADS#（地址選通信號）、訪問地址出現(xiàn)在LA地址總線上。再次FPGA有效READY#信號，同時使能SDRAM控制接口的讀使能有效信號，數(shù)據(jù)開始出現(xiàn)在LD數(shù)據(jù)總線上。當數(shù)據(jù)的最后一個字節(jié)開始傳輸時，PLX9656驅動BLAST#信號有效，同時FPGA無效READY#信號。最后使SDRAM的讀使能是信號無效，PLX9656驅動LHOLD無效，釋放本地總線，接著FPGA也驅動LHOLDA無效，結束一次數(shù)據(jù)的傳輸。DMA傳輸?shù)臅r序仿真圖如圖3所示。圖3本地總線到PCI總線的DMA傳輸時序仿真圖2.4高速緩存設計由于PCI接口芯片內部緩存容量太小，所以在實時采集過程中必須采用高速緩存器將數(shù)據(jù)進行緩存，然后再通過PCI總線送到主機，以提高系統(tǒng)的傳輸速度和性能。大容量高速的SDRAM容易買到且價格適中，本系統(tǒng)采用SDRAM進行緩存。Windows是多線程、搶先任務的操作系統(tǒng)，為了減少線程由于CPU占用時間結束而中斷，中斷間隔應大于線程的最大執(zhí)行時間20ms，所以緩存的容量至少應為：20ms×70MB/s×2=2.8MB.本系統(tǒng)中采用Micron的MT48LC32M16A2芯片，該芯片為512MB存儲大小，16bit位寬，133MHz的讀寫速度，能夠滿足系統(tǒng)數(shù)據(jù)采集和存儲帶寬的要求。本系統(tǒng)采用緩存方案為在FPGA外接2組32M*32位的SDRAM，由4片SDRAM配置而成，用于相機到PCI的數(shù)據(jù)緩沖。且SDRAM通過控制器的封裝做成FIFO的接口，相機的數(shù)據(jù)寫入FIFO，按照設定的圖像數(shù)量給PCI發(fā)送中斷，然后由PCI讀取相機數(shù)據(jù)，從而克服了SDRAM結構復雜，切換控制電路難操作的缺點。2.5實時存儲設計實時流盤一直是高速數(shù)據(jù)采集技術的最大瓶頸，直接制約了采集存儲設備的實時存儲能力。本系統(tǒng)中采用支持66MHz、100MHz、133MHz/64bit的PCI-X總線的主板，由8塊容量為1TB的高速SATA硬盤，通過3WARE公司的RAID卡配置成RAID0方式，以獲得最大化的磁盤訪問速率，組成高速大容量的存儲設備，整個數(shù)字相機數(shù)據(jù)采集存儲設備的設計框圖如圖4所示。圖4實時高速存儲方案設計本系統(tǒng)把實時采集模塊輸出的數(shù)據(jù)，利用接口芯片PLX9656，通過PCI總線把數(shù)據(jù)送進系統(tǒng)內存，然后在RAID卡的控制下，將內存中的數(shù)據(jù)通過PCI總線寫入SATA硬盤陣列中，理論持續(xù)寫盤速度可達400MB/s以上。3實驗及系統(tǒng)測試結果雙天線干涉SAR柔性基線測量系統(tǒng)的模擬實驗平臺由傳感器測量平臺、合作目標和運動平臺組成，如圖5（a）和圖5（b）所示。本文設計實現(xiàn)的數(shù)據(jù)采集存儲系統(tǒng)實物如圖5（c）所示。圖5柔性基線測量系統(tǒng)原理樣機實驗中，對系統(tǒng)分別進行了功能測試和性能測試。性能測試主要包括實時采集記錄速度測試、持續(xù)寫盤陣速度測試和穩(wěn)定性測試。對于系統(tǒng)的功能測試，分別進行模擬圖像和實際圖像數(shù)據(jù)采集測試。模擬圖像為在FPGA內產(chǎn)生循環(huán)有規(guī)律的數(shù)據(jù)，對應的圖像為條紋圖像，根據(jù)采集的數(shù)據(jù)是否正確來驗證采集系統(tǒng)的功能；然后切換到實際數(shù)據(jù)源，采集合作目標的運動圖像。模擬和實測的圖像和數(shù)據(jù)文件分別如圖6所示。圖6數(shù)據(jù)采集系統(tǒng)采集的數(shù)據(jù)文件與圖像由圖6（a）和圖6（b）可知，對于模擬數(shù)據(jù)源，本文系統(tǒng)采集圖像為黑白相間的條紋，且圖像數(shù)據(jù)中像素的灰度值與設定值是一致的，不存在丟數(shù)問題。由圖6（c）和圖6（d）可知，本文系統(tǒng)采集的合作目標的圖像和實際物體是一致的。模擬和實測圖像數(shù)據(jù)的測試結果均表明，本文系統(tǒng)可以正確地進行數(shù)據(jù)采集和存儲，沒有圖像錯位現(xiàn)象，這驗證了系統(tǒng)功能的正確性。系統(tǒng)實時采集記錄速度的測試方法為：由于本系統(tǒng)中傳感器的輸出頻率有限，無法反映系統(tǒng)的最大采集記錄速度。采用在FPGA內部生成不同頻率的模擬圖像，通過本系統(tǒng)進行實時采集和寫盤，利用上位機軟件對圖像進行回放，查看有無丟幀和錯位現(xiàn)象。實測結果表明，當輸出頻率超過50Hz時，如果只采集不存盤，圖像采集正確，但是選擇同時存盤時，開始出現(xiàn)圖像錯位和丟幀現(xiàn)象。原因主要有2個：一個是當頻率大于50Hz時，數(shù)據(jù)量大于100MB/s，本系統(tǒng)外接的高速緩存，其讀寫速度理論值為133MHz，因為做成FIFO接口，是邊寫邊讀，造成傳輸速度減半，可能導致緩存數(shù)據(jù)沒有及時讀走，造成圖像錯位和丟失；另一個是系統(tǒng)在主機內存中讀和寫是一個線程，邊讀邊寫數(shù)據(jù)導致速率跟不上。綜上所述，本系統(tǒng)的采集記錄速度可以達到100MB/