基于FPGA+DSP的智能車全景視覺系統(tǒng)

1、基于FPGA+DSP的智能車全景視覺系統(tǒng)    基于單相機(jī)的全景視覺系統(tǒng)是利用凸面鏡反射四周圖像進(jìn)行定位，在計(jì)算資源有限時(shí)是一種較好的選擇，且視覺導(dǎo)航等方向的應(yīng)用也成為一種最實(shí)用的方法1-2，這種方案雖然視野開闊，但獲取的信息有限，真實(shí)的系統(tǒng)中很難應(yīng)用。隨著芯片計(jì)算能力的不斷提高，基于多通道的全景視覺系統(tǒng)已逐漸成為可能。本文介紹的智能車多通道全景視覺是指以觀測(cè)點(diǎn)為中心，多個(gè)相機(jī)可同時(shí)觀測(cè)車輛的前中、前左、前右、后左、后右和頂上6個(gè)方向的景物。該系統(tǒng)中的6臺(tái)數(shù)字相機(jī)中5臺(tái)分布在車輛的側(cè)面，1臺(tái)在頂部，可以得到車輛周圍全景360°的圖像。該系統(tǒng)每個(gè)

2、相機(jī)的分辨率為百萬像素，即1 280×1 024，幀率為30 f/s，即便圖像為8 bit單色，系統(tǒng)的總數(shù)據(jù)率也高達(dá)200 MB/s以上。同時(shí)，6個(gè)相機(jī)圖像需要預(yù)處理，投影到同一坐標(biāo)系，或者拼接成單幅完整圖像才能滿足智能車導(dǎo)航系統(tǒng)的要求，這些涉及到大量復(fù)雜計(jì)算。針對(duì)這些要求，該系統(tǒng)的硬件處理部分利用了DSP和FPGA芯片各自的特長，選用高速DSP+FPGA3-6的方案,而DSP方案也是海量圖像處理中普遍應(yīng)用的7。高性能通用C6416 DSP芯片，配合FPGA進(jìn)行高度并行數(shù)據(jù)處理，可實(shí)現(xiàn)高速實(shí)時(shí)的視覺圖像處理。這種方案的優(yōu)點(diǎn)在于，不僅可以利用DSP的高速處理能力，同時(shí)利用FPGA的控制

3、能力和在高度并行化數(shù)據(jù)處理方面的優(yōu)勢(shì)，相比其他方案更容易滿足全景視覺系統(tǒng)所需要的高度實(shí)時(shí)處理。1 系統(tǒng)總體方案設(shè)計(jì)    為適合高速圖像采集，本系統(tǒng)選用CMOS傳感器，CMOS的一個(gè)優(yōu)點(diǎn)是數(shù)據(jù)讀取速度快。系統(tǒng)由高速CMOS相機(jī)、基于CamLink技術(shù)的圖像讀取、FPGA+DSP的圖像處理三部分構(gòu)成，如圖1所示。從圖1可以看出，該系統(tǒng)有兩片F(xiàn)PGA，圖像讀取模塊中的FPGA1負(fù)責(zé)從CMOS相機(jī)抓圖和通訊控制，F(xiàn)PGA2則輔助兩片DSP進(jìn)行高速圖像處理，實(shí)現(xiàn)同時(shí)對(duì)6個(gè)相機(jī)圖像的實(shí)時(shí)處理。    邏輯控制芯片F(xiàn)PGA1選用XILINX公司的

4、XC3S1000LFG456作為視頻數(shù)據(jù)采集控制芯片，該芯片是Spartan3低功耗系列的一種，具有1 M個(gè)邏輯門，24個(gè)18×18乘法器及豐富的片上存儲(chǔ)空間，足夠進(jìn)行視頻采集的同步邏輯控制。并行計(jì)算FPGA選用XILINX公司Virtex-4系列中的XC4VFX60-FF1152，內(nèi)部有4 Mbit RAM，56 880個(gè)邏輯門和128個(gè)XtremeDSP模塊，足夠進(jìn)行大量高速數(shù)據(jù)處理，特別是片上18 KRAM模塊工作在500 MHz，支持真正的雙端口讀寫同步操作，為該芯片作為芯片間高速數(shù)據(jù)交互提供了資源。2個(gè)協(xié)處理DSP芯片為TI公司高性能C6416，擁有8個(gè)并行處理單元，工作頻

5、率為600 Hz，最高處理速度可達(dá)4 800 兆指令/秒（MFLOPS）。    系統(tǒng)設(shè)計(jì)采集圖像大小為1 280×1 024像素，最高速度可達(dá)每相機(jī)60 f/s的實(shí)時(shí)采集。6路攝像頭輸出的數(shù)字視頻信號(hào)經(jīng)過FPGA1進(jìn)行同步分離后，進(jìn)入輸入端高速數(shù)據(jù)緩沖區(qū)。系統(tǒng)采用兩片ZBT SRAM進(jìn)行乒乓數(shù)據(jù)采集，當(dāng)一幀圖像采集完，F(xiàn)PGA1通知FPGA2進(jìn)行數(shù)據(jù)轉(zhuǎn)移，F(xiàn)PGA2將數(shù)據(jù)預(yù)處理后由DSP經(jīng)EDMA保存到SRAM后等待進(jìn)一步處理。2 多通道數(shù)字圖像采集    由于智能車的目標(biāo)是在公路上行駛，該系統(tǒng)需要處理場(chǎng)景中快速運(yùn)動(dòng)的物體

6、，要求圖像采集模塊必須足夠快地從相機(jī)轉(zhuǎn)移出幀數(shù)據(jù)，以便對(duì)快速運(yùn)動(dòng)的物體軌跡進(jìn)行記錄，因此，相機(jī)模塊的處理速度是決定該系統(tǒng)是否達(dá)到要求的重要一環(huán)。由于相機(jī)技術(shù)的快速發(fā)展，已經(jīng)能從市面上買到足夠快的傳感器來捕獲高速運(yùn)動(dòng)的物體，如車輛。2.1 圖像抓取模塊    MT9M413是一種分辨率為130萬像素1 280×1 024的CMOS傳感器，最高可實(shí)現(xiàn)500 fps的采集速度。而MT9M413內(nèi)部集成有10 bit A/D轉(zhuǎn)換器，可直接輸出3.3 V的數(shù)字信號(hào)，無需電平轉(zhuǎn)換電路，簡(jiǎn)化了系統(tǒng)的設(shè)計(jì)。MT9M413可以工作在灰度或彩色模式下，但是卻需要不同的偏置參

7、考電壓，兩片數(shù)模轉(zhuǎn)化芯片DAC6573用于生成該偏置電壓。圖2給出了相機(jī)模塊的框圖。    高速相機(jī)模塊主要包括以下三部分：    (1)傳感器部分：包括高速像素時(shí)鐘下的光電信號(hào)轉(zhuǎn)換傳感器。    (2)信號(hào)分離：預(yù)先編寫好在FPGA1內(nèi)部的程序，用來產(chǎn)生傳感器模塊和數(shù)據(jù)接口所需要的控制信號(hào)。    (3)接口板：將數(shù)字信號(hào)轉(zhuǎn)換成高速LVDS信號(hào)對(duì)，并從主處模塊接收控制信號(hào)。    該模塊的三個(gè)部分通過高速Samtec連接器(QTH-090-01

8、-L-D-A)連在一起，以增加系統(tǒng)的靈活性。主處理板與高速相機(jī)模塊間采用CamLink協(xié)議連接，以滿足系統(tǒng)很高的帶寬。根據(jù)采集圖像的大小、幀率和數(shù)據(jù)位精度，CamLink電路可配置成基本、中等、全幅3種模式，由FPGA1中的程序控制。FPGA1的另一個(gè)任務(wù)是進(jìn)行視頻信號(hào)的同步、通知FPGA2設(shè)置參數(shù)，如視頻開窗、幀率、曝光時(shí)間等。2.2 FPGA控制模塊    系統(tǒng)的邏輯控制芯片是FG456，其主要工作是控制輸入/輸出幀存，以便通知主處理芯片及時(shí)將存在ZBT SRAM中的圖像數(shù)據(jù)讀出，片上可編程時(shí)鐘PLL用來產(chǎn)生驅(qū)動(dòng)該FPGA所需的不同時(shí)鐘，F(xiàn)PGA內(nèi)部的計(jì)數(shù)器通

9、過改變加法器不同的進(jìn)位信號(hào)控制采集圖像的大小。    FPGA1接收到來自CMOS傳感器的視頻同步信號(hào)后，開始將原始像素?cái)?shù)據(jù)按照CamLink協(xié)議打包通過高速Semtec連接器送到下一個(gè)模塊中的FPGA2。2.3 ZBT-RAM中的數(shù)據(jù)乒乓      系統(tǒng)設(shè)計(jì)的視頻信號(hào)采集能力是，從CMOS采集到1 024×1 024大小的數(shù)字圖像，并通過兩片Zero-bus turnaround(ZBT) SRAM作為數(shù)據(jù)乒乓的幀緩存，ZBT SRAM沒有總線延遲，不需像DDR那樣必須通過FIFO進(jìn)行管理。ZBT SR

10、AM為系統(tǒng)提供了最大的吞吐量，從而提供了最大的系統(tǒng)帶寬8-9。為保證系統(tǒng)的高速性能，F(xiàn)PGA1的3個(gè)內(nèi)部時(shí)鐘管理模塊DCMs用來產(chǎn)生ZBT-RAM需要的時(shí)鐘，一個(gè)為控制時(shí)鐘，另外兩個(gè)為視頻輸入的banks的信號(hào)。系統(tǒng)中的兩片1 M×36 bit ZBT SRAM，每片ZBT SRAM可同時(shí)接收兩路視頻的滿幀數(shù)據(jù)采集。如果兩路信號(hào)都為60 f/s，則每秒采集120 MB數(shù)據(jù)，而ZBT SRAM的工作頻率為250 MHz，最大數(shù)據(jù)吞吐為4.5 GB/s，完全滿足數(shù)據(jù)采集速度系統(tǒng)的要求。3 芯片間通信    多芯片協(xié)處理系統(tǒng)中最重要的一個(gè)方面就是芯片間數(shù)據(jù)通信的效率，該效率直接影響系統(tǒng)的運(yùn)行效率。而數(shù)據(jù)延遲和傳輸帶寬，是最值得關(guān)注的兩個(gè)方面。本系統(tǒng)采用多種方式進(jìn)行數(shù)據(jù)傳輸，提高了系統(tǒng)的靈活性。3.1 FPGA2與DSPs間的