FPGA＋DSP實(shí)時(shí)三維圖像信息處理系統(tǒng)

1、    FPGADSP實(shí)時(shí)三維圖像信息處理系統(tǒng)    電子技術(shù)應(yīng)用2007年第3期    盧子建，李德華，雷海軍 時(shí)間:2008年01月17日     字 體: 大 中 小        關(guān)鍵詞:        摘 要：關(guān)鍵詞：FPGA? DSP? 三維圖像處理? Spartan

2、3? TigerSHARC?1，4。1 三維圖像處理系統(tǒng)組成1.1 硬件系統(tǒng)構(gòu)成? 該系統(tǒng)由五個(gè)模塊組成，如圖1所示。? 系統(tǒng)信息處理流程見(jiàn)圖2所示。CCD攝像機(jī)采集的多路模擬視頻信號(hào)經(jīng)MAX440按需要選定后，送入模數(shù)視頻轉(zhuǎn)換器SAA7111A將攝像機(jī)輸出的模擬全電視信號(hào)CVBS轉(zhuǎn)換成數(shù)字視頻信號(hào)；之后視頻信號(hào)流入圖像預(yù)處理器Spartan XC3S400,經(jīng)過(guò)提取中心顏色線、提取激光標(biāo)志線和物體輪廓線的預(yù)處理后，配送到兩片TS201進(jìn)行定標(biāo)參數(shù)計(jì)算、坐標(biāo)計(jì)算、三維重建、數(shù)據(jù)融合以及三維構(gòu)型的核心運(yùn)算；最后將DXF文件數(shù)據(jù)經(jīng)由PCI接口傳送到PC,完成三維圖像變換和顯示等最終處理；整個(gè)系統(tǒng)的

3、邏輯連接和控制以及部分?jǐn)?shù)據(jù)交換由另一片F(xiàn)PGA來(lái)完成1。? 在體系結(jié)構(gòu)設(shè)計(jì)上，F(xiàn)PGA處理器采用SIMD結(jié)構(gòu)，在一個(gè)控制單元產(chǎn)生的控制信號(hào)下，數(shù)據(jù)通路中的三個(gè)算法并行運(yùn)行。由于該系統(tǒng)要求處理速度較高，因而在數(shù)據(jù)通路中采用了流水線技術(shù)以提高速度。此外，本系統(tǒng)中為圖像存儲(chǔ)采用了許多大容量高速FIFO，以達(dá)到減少地址線，簡(jiǎn)化控制的目的。1.2 處理器芯片2 模塊設(shè)計(jì)2.1 視頻采集與數(shù)字化模塊? 由于模擬攝像機(jī)采集的是PAL制的復(fù)合視頻信號(hào)(CVBS)，所以必須先將其數(shù)字化才能開(kāi)始后繼數(shù)字視頻處理。視頻采集與數(shù)字化模塊主要包括一片視頻多路復(fù)用器MAX440、一片SAA7111A、一片I2C接口控制器

4、PCF8584和一些連接邏輯。MAX440用來(lái)快速切換來(lái)自不同模擬輸入端的模擬視頻流，SAA7111A模數(shù)轉(zhuǎn)換器是該模塊的核心，它采集模擬視頻，將其數(shù)字化為720×576的RGB(8，8，8)真彩色信號(hào)格式的數(shù)字視頻，其輸出的RGB真彩色信號(hào)為16位，其中高字節(jié)和低字節(jié)數(shù)據(jù)周期分別為74ns和37ns，即低字節(jié)的頻率是高字節(jié)的1倍。這樣就要利用觸發(fā)器和兩個(gè)分別為13.5MHz和27MHz的時(shí)鐘信號(hào)，將輸入數(shù)據(jù)格式轉(zhuǎn)換為24位、周期均為74ns的RGB真彩色信號(hào)，此外，它還為整個(gè)硬件系統(tǒng)提供必要的時(shí)鐘和同步信號(hào)；PCI接口控制器通過(guò)PCF8584來(lái)配置和控制SAA7111A，連接邏輯由

5、FPGA實(shí)現(xiàn)。2.2 FPGA圖像預(yù)處理模塊? 預(yù)處理從巨大的視頻信息中提取極少量的對(duì)三維重建有用的信息傳送至DSP后處理。該模塊包括主處理FPGA芯片和高速FIFO，負(fù)責(zé)實(shí)時(shí)采集視頻信號(hào)并對(duì)采集到的無(wú)壓縮的視頻信息進(jìn)行預(yù)處理，包括提取激光中心線、提取輪廓線、提取中心顏色線三個(gè)部分。? 為了提高視頻采集的整體性能，更重要的是為預(yù)處理提供相鄰的有激光幀和無(wú)激光幀，必須通過(guò)視頻幀緩存首先暫存無(wú)激光幀。緩存由3片AverLogic公司的AL422B及一些由FPGA實(shí)現(xiàn)的連接邏輯組成；當(dāng)前端模塊輸出無(wú)激光幀時(shí)，SA7111A控制3片AL422B寫操作，將其存入FIFO；當(dāng)前端輸出有激光幀時(shí)，后端的視頻

6、處理模塊控制3片AL422B進(jìn)行讀操作，讀出暫存在其中的無(wú)激光幀數(shù)據(jù)。預(yù)處理FPGA將讀取的無(wú)激光幀和有激光幀進(jìn)行相減運(yùn)算。輸出同樣采用3組緩存分別用來(lái)暫存激光樣條數(shù)據(jù)、目標(biāo)輪廓線數(shù)據(jù)和圖像中心線數(shù)據(jù)；所有模塊均采用同步時(shí)鐘控制，同步時(shí)鐘采用由SAA7111A模數(shù)轉(zhuǎn)換器產(chǎn)生的LLC2信號(hào)。為了提高系統(tǒng)速度，算法復(fù)雜、耗時(shí)較長(zhǎng)的計(jì)算過(guò)程進(jìn)行了流水線處理。2.3 DSP三維重建模塊? 為了應(yīng)對(duì)三維圖像大數(shù)據(jù)量復(fù)雜高速運(yùn)算的需要，這里采用了兩片TigerSHARC 201芯片并行三維重建運(yùn)算。由控制FPGA對(duì)兩片DSP所要處理的圖像進(jìn)行任務(wù)分配，DSP結(jié)合預(yù)處理FPGA存入FIFO的數(shù)據(jù)和PCI總線

7、所給處理參數(shù)進(jìn)行定標(biāo)參數(shù)計(jì)算、坐標(biāo)計(jì)算、三維重建和構(gòu)型。由于TS201內(nèi)部集成的總線仲裁機(jī)制，雙DSP可以實(shí)現(xiàn)無(wú)縫連接，大大減小了多DSP協(xié)調(diào)工作的設(shè)計(jì)難度。DSP間的連接是依靠其擁有的全雙工LinkPort，它采用LVDS（低電平差分信號(hào)）輸入數(shù)據(jù)。鏈路口能獨(dú)立或同時(shí)工作，在時(shí)鐘的上升沿和下降沿鎖存數(shù)據(jù)。鏈路時(shí)鐘頻率最高可以與處理器核相同，高達(dá)500MHz，每個(gè)鏈路能完成500Mbps的單向數(shù)據(jù)傳輸。每個(gè)DSP的4個(gè)LinkPort合起來(lái)最大的通透率為4.0Gbps。連線短且簡(jiǎn)單，不需要額外的輔助電路，且可有效防止連線長(zhǎng)引起的信號(hào)畸變。LinkPort傳輸協(xié)議由控制FPGA完成。2.4 PC

8、I通信接口模塊? 根據(jù)三維信息獲取系統(tǒng)的速度傳輸要求，采用PCI接口完成該系統(tǒng)與通用PC的信息交互。PCI接口控制器是硬件部分的控制中心和數(shù)據(jù)交換中心，它接收設(shè)備驅(qū)動(dòng)程序的命令和數(shù)據(jù)，配置和控制系統(tǒng)的各個(gè)模塊使其協(xié)調(diào)工作，完成系統(tǒng)任務(wù)；它還負(fù)責(zé)將采集到和處理后的數(shù)據(jù)通過(guò)PCI總線轉(zhuǎn)送給通用PC。本系統(tǒng)采用PLX公司的32bit/33MHz PCI9030作為接口芯片，串行EEPROM-FM93CS56L電可擦除只讀存儲(chǔ)器保存PCI9030的配置信息。2.5 系統(tǒng)控制與數(shù)據(jù)交換模塊? 控制單元對(duì)處理器的數(shù)據(jù)處理單元和輸入數(shù)據(jù)格式轉(zhuǎn)換單元以及所有FIFO存儲(chǔ)器產(chǎn)生控制，與預(yù)處理FPGA配合完成DS

9、P的LinkPort協(xié)議。由于數(shù)據(jù)處理單元中為流水處理，在控制單元的設(shè)計(jì)中要特別注意由流水線產(chǎn)生的固定周期的延時(shí)，延時(shí)的周期數(shù)等于相應(yīng)流水線的級(jí)數(shù)?？刂茊卧€與PCI接口連接，接收來(lái)自主計(jì)算機(jī)的控制信號(hào)和背景閾值等信息?？刂艶PGA還是SAA7111A、PCI接口和DSP之間的圖像和信息交換的橋梁，為其提供所需要的參數(shù)和數(shù)據(jù)信息。3 軟件設(shè)計(jì)與實(shí)現(xiàn)3.1 圖像預(yù)處理算法? 如圖3，激光帶預(yù)處理算法的實(shí)現(xiàn)2為：由于有激光幀和無(wú)激光幀是依次交替產(chǎn)生的，因此首先要保存一幀有激光幀，在其下一幀，即無(wú)激光幀到來(lái)時(shí)，將保存的有激光幀和當(dāng)前無(wú)激光幀的相同行、列的點(diǎn)相減，再對(duì)結(jié)果進(jìn)行亮度提取，處理完成后的數(shù)據(jù)

10、存入目標(biāo)緩存。? 如圖4，實(shí)現(xiàn)提取輪廓線算法分為三個(gè)部分3，首先由計(jì)算比較模塊對(duì)輸入像素點(diǎn)的值與預(yù)先計(jì)算好的閾值進(jìn)行比較，判斷其是否為目標(biāo)像素；然后利用一個(gè)序列檢測(cè)模塊進(jìn)行一維尺度濾波以去除某些噪聲點(diǎn)；再經(jīng)過(guò)一個(gè)邊緣檢測(cè)模塊，提取出每行的第一個(gè)目標(biāo)像素作為目標(biāo)的左邊緣點(diǎn)；完成后將此點(diǎn)所對(duì)應(yīng)的列地址數(shù)據(jù)存入目標(biāo)緩存。在某些情況下，可能整行都檢測(cè)不到邊緣點(diǎn)，這時(shí)將0存入目標(biāo)緩存作為無(wú)邊緣點(diǎn)的標(biāo)識(shí)。? 提取中心線算法實(shí)現(xiàn)比較簡(jiǎn)單，只需對(duì)目標(biāo)緩存的寫允許信號(hào)加以控制，使RGB數(shù)據(jù)只能在每行的中心點(diǎn)處寫入目標(biāo)緩存即可。3.2 三維重建和構(gòu)型? 如圖5所示，高速DSP將根據(jù)預(yù)處理信息得到的激光標(biāo)志線、輪廓

11、線和中心顏色線數(shù)據(jù)與源數(shù)字化圖像結(jié)合起來(lái)進(jìn)行三維重建。首先根據(jù)獲取的圖像標(biāo)志點(diǎn)數(shù)據(jù)結(jié)合控制點(diǎn)三維坐標(biāo)數(shù)據(jù)計(jì)算出系統(tǒng)定標(biāo)數(shù)據(jù)；其次根據(jù)輪廓線計(jì)算物體外表面展開(kāi)圖，再依據(jù)定標(biāo)數(shù)據(jù)結(jié)合展開(kāi)圖和機(jī)械參數(shù)對(duì)圖像中的坐標(biāo)點(diǎn)進(jìn)行計(jì)算，給出數(shù)據(jù)集，輸出深度數(shù)據(jù)文件；最后對(duì)多次掃描的數(shù)據(jù)進(jìn)行融合，將離散點(diǎn)構(gòu)型成立體模型（或立體彩色模型），將模型生成DXF、STL等數(shù)據(jù)文件傳入PC機(jī)，使用后端處理軟件進(jìn)行顯示3。?3.3 算法實(shí)現(xiàn)? 圖像預(yù)處理算法設(shè)計(jì)使用Verilog HDL在Xilinx公司的ISE8.1集成編譯環(huán)境下成功實(shí)現(xiàn)；FPGA開(kāi)發(fā)流程不再贅述。? DSP三維重建算法已使用C語(yǔ)言在ADI公司Visua

12、l DSP+環(huán)境下成功實(shí)現(xiàn)4。算法實(shí)現(xiàn)步驟如下：用C語(yǔ)言編程實(shí)現(xiàn)算法。使用Visual DSP+編譯器將源程序編譯成目標(biāo)文件。根據(jù)產(chǎn)生的目標(biāo)文件，分析結(jié)果及源程序結(jié)構(gòu)并優(yōu)化源代碼。應(yīng)用TigerSHARC 201評(píng)估板進(jìn)行運(yùn)算時(shí)間評(píng)估。重復(fù)上述步驟直至達(dá)到系統(tǒng)實(shí)時(shí)性要求，最后下載到目標(biāo)板。? 整個(gè)系統(tǒng)聯(lián)機(jī)運(yùn)行穩(wěn)定，滿足設(shè)計(jì)要求，實(shí)時(shí)性好。? 實(shí)時(shí)三維圖像信息處理以其數(shù)據(jù)量大、速度要求高、處理過(guò)程復(fù)雜的特點(diǎn)使其難以使用集成電路實(shí)現(xiàn)。本文研究的以目前最新高性能處理器的FPGA+DSP為核心架構(gòu)的三維圖像處理系統(tǒng)精心設(shè)計(jì)了算法的硬件實(shí)現(xiàn)，充分利用了兩種處理器的長(zhǎng)處。實(shí)驗(yàn)表明，該系統(tǒng)有著良好的性能，對(duì)實(shí)現(xiàn)基于網(wǎng)絡(luò)的實(shí)時(shí)三維掃描應(yīng)用，如三維傳真、機(jī)械遠(yuǎn)程加工、快速成型和虛擬現(xiàn)實(shí)，有著重要的意義。參考文獻(xiàn)1 LEI HAIJUN，LI DEHUA.High-Speed aerial image processing system based on DSP，In neural nerwork and distributed processing，Proceedings of SPIE Vol.455