實(shí)時(shí)圖像處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

實(shí)時(shí)圖像處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

1dsp的發(fā)展有利于實(shí)時(shí)圖像處理隨著數(shù)字技術(shù)人員的發(fā)展，數(shù)字圖像處理技術(shù)在各種應(yīng)用于個(gè)人、工業(yè)和生產(chǎn)領(lǐng)域的應(yīng)用，如視聽(tīng)、電視會(huì)議、監(jiān)控系統(tǒng)、智能交通監(jiān)控、目標(biāo)跟蹤、機(jī)器人在線等。但在這些數(shù)字圖像處理系統(tǒng)中,一個(gè)突出的問(wèn)題就是數(shù)據(jù)量龐大,數(shù)據(jù)處理相關(guān)性高,實(shí)現(xiàn)實(shí)時(shí)比較困難。因此圖像處理速度成為實(shí)時(shí)性的主要因素,這就要求實(shí)時(shí)圖像處理系統(tǒng)必須具有強(qiáng)大的運(yùn)算能力。高性能DSP的發(fā)展為實(shí)時(shí)的圖像處理提供了一個(gè)解決途徑。高速DSP不僅可以滿足在運(yùn)算性能方面的需要,而且由于DSP的可編程性,還可以在硬件一級(jí)獲得系統(tǒng)設(shè)計(jì)的極大靈活性。本設(shè)計(jì)采用TI公司TMS320C6711為核心處理器,結(jié)合CPLD構(gòu)成通用數(shù)字圖像處理系統(tǒng)。2dsp系統(tǒng)總體框架設(shè)計(jì)數(shù)字圖像處理系統(tǒng)需要完成視頻采集、數(shù)字處理視頻合成等功能為了滿足實(shí)時(shí)性的要求數(shù)字處理部分必須采用高速處理芯片,本設(shè)計(jì)選用了TI公司TMS320C6711浮點(diǎn)DSP,該芯片運(yùn)算速度快,指令周期為6ns,峰值運(yùn)算能力1336MIPS,對(duì)于雙精度運(yùn)算為250MFLOPS。這樣既可以滿足高速處理的要求,又可以滿足高精度運(yùn)算時(shí)的浮點(diǎn)要求。本系統(tǒng)的圖像信號(hào)源為標(biāo)準(zhǔn)的模擬視頻信號(hào),系統(tǒng)包含:視頻信號(hào)采集系統(tǒng)(SAA7110、CPLD、雙端口RAM、單片機(jī))、視頻處理模塊(DSP器件TMS320C6711、SDRAM圖像幀存儲(chǔ)器、FLASH程序存儲(chǔ)器等)、其它DSP外圍電路(復(fù)位、電源連接、JTAG調(diào)試端口等)、視頻信號(hào)輸出系統(tǒng)(雙端口RAM、BT121)、供電系統(tǒng)等。該系統(tǒng)構(gòu)成的原理框架如圖1所示。其基本工作過(guò)程為:系統(tǒng)加電后,單片機(jī)對(duì)SAA7110進(jìn)行初始化,設(shè)置SAA7110的工作模式。初始化完成后,開(kāi)始對(duì)輸入的模擬視頻信號(hào)進(jìn)行數(shù)字化。同時(shí)DSP也進(jìn)行復(fù)位、初始化的工作,DSP將主程序調(diào)入SDRAM中。當(dāng)DSP準(zhǔn)備就緒后,通知CPLD,輸入控制信號(hào)幀存(左側(cè)雙端口SRAM)寫(xiě)入由采樣來(lái)的視頻圖像數(shù)據(jù)數(shù)據(jù)寫(xiě)滿后將發(fā)中斷給DSP,通知DSP讀取數(shù)據(jù),開(kāi)始進(jìn)行數(shù)據(jù)處理。數(shù)據(jù)處理完成后,DSP通知CPLD,控制數(shù)據(jù)寫(xiě)入輸出幀存(右側(cè)雙端口SRAM)。數(shù)據(jù)寫(xiě)滿后發(fā)中斷給BT121,進(jìn)行D/A轉(zhuǎn)換,將數(shù)字信號(hào)轉(zhuǎn)化為模擬信號(hào),送往監(jiān)視器顯示。系統(tǒng)設(shè)計(jì)考慮的重點(diǎn)為處理速度,充分利用了C67XX系列DSP中EDMA的優(yōu)勢(shì),用EDMA來(lái)進(jìn)行整個(gè)系統(tǒng)的數(shù)據(jù)傳輸。由于EDMA可以進(jìn)行背景操作,因而整個(gè)采樣和輸出過(guò)程基本不影響DSP的數(shù)據(jù)運(yùn)算。同時(shí)也利用了C67XX系列的二級(jí)緩存結(jié)構(gòu),加上系統(tǒng)外圍采用高速的數(shù)據(jù)存儲(chǔ)器芯片,這樣就大大提高了整個(gè)系統(tǒng)的處理速度。3該系統(tǒng)各部分的詳細(xì)介紹3.1基于fpga的視頻數(shù)據(jù)采集該部分主要完成的功能為數(shù)字化標(biāo)準(zhǔn)模擬視頻信號(hào),提取出所需大小的數(shù)字圖像并存入幀存中,系統(tǒng)構(gòu)成見(jiàn)圖2。A/D轉(zhuǎn)換和同步分離由SAA7110來(lái)完成,CPLD控制寫(xiě)入數(shù)據(jù)的時(shí)序、圖像采集大小,同時(shí)根據(jù)行、場(chǎng)同步信號(hào)和數(shù)據(jù)同步信號(hào),CPLD要為雙端口SRAM提供地址信號(hào)和片選、讀寫(xiě)等控制信號(hào),將數(shù)字圖像存于雙端口SRAM中。本系統(tǒng)圖像采集芯片采用的是Philips公司的解碼芯片SAA7110。SAA7110是可編程的數(shù)字圖像處理芯片,它不僅可以完成圖像數(shù)字化,而且可以實(shí)現(xiàn)行場(chǎng)同步信號(hào)的自動(dòng)檢測(cè)和分離這樣就可以省去同步分離電路的設(shè)計(jì)。SAA7110有6路模擬輸入,有3路模擬信號(hào)處理通道,輸入可以通過(guò)編程來(lái)選擇是NTSC、PAL或者SECAM的信號(hào)。SAA7110的初始化是通過(guò)I2C總線對(duì)其內(nèi)部控制寄存器相應(yīng)位置實(shí)現(xiàn)。將SAA7110的I2C總線的時(shí)鐘線SCL與單片機(jī)的SCL相連,雙向數(shù)據(jù)線SDA與單片機(jī)的SDA相連,在系統(tǒng)上電時(shí)通過(guò)單片機(jī)程序初始化數(shù)字視頻解碼器SAA7110。系統(tǒng)中雙端口存儲(chǔ)器采用的是IDT70V657S。它具有兩套獨(dú)立的地址、數(shù)據(jù)線及讀/寫(xiě)控制線,將雙端口存儲(chǔ)器控制邏輯與存儲(chǔ)器集成在一片大規(guī)模集成電路內(nèi),雙端口控制邏輯具體到每個(gè)存儲(chǔ)器單元,實(shí)現(xiàn)了真正的雙端口,并且具有完善的握手控制信號(hào)電路,使得信息交換窗口的設(shè)計(jì)大大簡(jiǎn)化,信息交換更加快速、可靠,所選IDT70V657S的讀寫(xiě)時(shí)間是10ns。整個(gè)系統(tǒng)的時(shí)序是通過(guò)CPLD來(lái)控制的,CPLD器件選用美國(guó)Xilinx公司的XC95144X。CPLD是在Xilinx公司的EDA工具FoundationSeries3.1環(huán)境下設(shè)計(jì)的,使用VHDL高級(jí)硬件描述語(yǔ)言開(kāi)發(fā)完成,可以根據(jù)不同的需要進(jìn)行編程。上電后,CPLD會(huì)等待DSP初始化的完成,當(dāng)DSP初始化完成后會(huì)通知CPLD開(kāi)始工作。CPLD要控制由SAA7110采樣的數(shù)字圖像數(shù)據(jù)寫(xiě)入輸入幀存,寫(xiě)入地址由CPLD編程控制。提取的圖像大小也由CPLD控制,大小可以根據(jù)需要通過(guò)編程來(lái)進(jìn)行控制。在本系統(tǒng)中,視頻信號(hào)為PAL制式黑白全電視信號(hào),一場(chǎng)圖像有312.5行,場(chǎng)消隱寬度為25個(gè)行周期,為使圖像的采集行范圍不落入場(chǎng)消隱期中,我們確定一場(chǎng)的采集從場(chǎng)同步滯后27個(gè)行同步開(kāi)始,奇偶場(chǎng)各采集128行。這樣可以保證不會(huì)采到消隱電平。圖像每行時(shí)間為64μs,其中圖像占52.2μs,行消隱寬度為11.8μs,行消隱期中有4.7μs的行同步頭,我們確定從采集行行同步滯后7.1μs后開(kāi)始采集,每行采集256個(gè)點(diǎn)。這樣從每幀圖像中采集256×256大小的數(shù)字圖像。對(duì)于圖像的采點(diǎn)可以根據(jù)自己的需要進(jìn)行控制,可以隨意采集整個(gè)圖像中的不同位置、不同大小,也可以隔點(diǎn)進(jìn)行采樣,關(guān)鍵在于要選取適合系統(tǒng)需要的圖像。3.2基于fpga的高效數(shù)據(jù)存儲(chǔ)視頻處理模塊如圖3所示。它以DSP為核心,它主要完成圖像數(shù)據(jù)的讀取、處理和輸出,輸出幀存的地址信號(hào)和片選、讀寫(xiě)控制信號(hào)仍由CPLD來(lái)控制。本系統(tǒng)我們選擇TMS320C6711數(shù)字信號(hào)處理器作為中心處理單元。是公司最新推出的浮點(diǎn)DSP,擁有8個(gè)并行處理單元(兩個(gè)浮/定點(diǎn)32×32位乘法器、四個(gè)浮/定點(diǎn)算術(shù)邏輯單元和兩個(gè)定點(diǎn)算術(shù)邏輯單元)工作頻率為150Hz,最高可達(dá)900MFLOPS。C6711的CPU都采用VelociTI體系結(jié)構(gòu),其編譯效率可以達(dá)到手工匯編的70%到80%。這使得我們?cè)诮^大多數(shù)應(yīng)用中可以采用C語(yǔ)言編寫(xiě)DSP程序,從而充分利用大量用C描述的算法程序,并獲得遠(yuǎn)勝于傳統(tǒng)DSP程序的可維護(hù)性、可移植性、可繼承性,縮短開(kāi)發(fā)周期。C6711具有片內(nèi)cache存儲(chǔ)器L1和L2。C6711有兩層cache,一層是4kbyte的程序和數(shù)據(jù)cache,第二層cache是統(tǒng)一的64kbyte的數(shù)據(jù)和指令RAM。C6711還具備16個(gè)通道的EDMA控制器,各自進(jìn)行獨(dú)立的傳輸。同時(shí),C6000系列DSPs的EMIF具有很強(qiáng)的接口能力,可以與目前所有類型的存儲(chǔ)器直接接口,本系統(tǒng)擴(kuò)展了16kFLASH、32MBYTESDRAM及32k×36bitSRAM,SDRAM為數(shù)據(jù)提供了很大的存儲(chǔ)空間,保證了復(fù)雜算法的需求。上電后,DSP通過(guò)芯片自舉方式從FLASH讀入1kbyte大小的程序數(shù)據(jù),該引導(dǎo)程序繼續(xù)將其他主程序調(diào)入SDRAM中,在以后的運(yùn)行過(guò)程中,DSP自動(dòng)將運(yùn)行所需程序從SDRAM裝入片內(nèi)存儲(chǔ)器。當(dāng)CPLD控制數(shù)據(jù)寫(xiě)入輸入幀存完成后,會(huì)發(fā)中斷給DSP。DSP接到中斷后從輸入幀存中讀取數(shù)據(jù),進(jìn)行處理。數(shù)據(jù)處理完成后,DSP通知CPLD,由CPLD控制數(shù)據(jù)寫(xiě)入輸出幀存。為了提高系統(tǒng)效率,我們將雙端口RAM的存儲(chǔ)空間分為了兩部分,見(jiàn)圖3。在其中一部分的數(shù)據(jù)寫(xiě)滿后,由DSP讀取,進(jìn)行處理。與此同時(shí)在另一部分開(kāi)始寫(xiě)入采集的圖像數(shù)據(jù)。這樣可以保證視頻采集系統(tǒng)和數(shù)據(jù)處理同時(shí)進(jìn)行,互不干擾,極大提高了系統(tǒng)的效率。數(shù)據(jù)輸出端也采用相同的劃分,當(dāng)DSP向其一部分寫(xiě)入數(shù)據(jù)時(shí),另一部分正由BT121讀取數(shù)據(jù),進(jìn)行D/A變換,這樣也保證了數(shù)據(jù)處理和視頻輸出的同時(shí)進(jìn)行。3.3d/a轉(zhuǎn)換電路視頻信號(hào)輸出顯示系統(tǒng)的功能是將經(jīng)過(guò)處理后的數(shù)字信號(hào)轉(zhuǎn)換成復(fù)合模擬視頻信號(hào)輸出到監(jiān)視器上,D/A轉(zhuǎn)換由BT121來(lái)完成,CPLD控制數(shù)據(jù)的讀取。D/A是A/D的逆過(guò)程,D/A重新將離散的數(shù)字信號(hào)轉(zhuǎn)換成連續(xù)的模擬信號(hào)。根據(jù)系統(tǒng)的不同要求,該模塊可以處理彩色和黑白信號(hào)。在此系統(tǒng)中,我們只處理Y信號(hào),所以輸出為黑白圖像。本系統(tǒng)中選用的D/A芯片是BROOKTREE公司的BT121。BT121使用方便,電路簡(jiǎn)單,其最高D/A速度為80MHz。它具有3路8位D/A轉(zhuǎn)換,輸出與RS-343A標(biāo)準(zhǔn)兼容。外電路只要給出BLANK、SYNC以及CLOCK信號(hào),芯片將自動(dòng)與數(shù)據(jù)D/A的結(jié)果合成全電視信號(hào)輸出。其工作過(guò)程為:CPLD控制輸出雙端口RAM,將存在其中的處理好圖像數(shù)據(jù)讀出,送入到BT121中,進(jìn)行D/A轉(zhuǎn)換。BT121接受由SAA7110分離出來(lái)的同步控制信號(hào)和消隱信號(hào),在這些信號(hào)的協(xié)同下形成符合CCIR標(biāo)準(zhǔn)的視頻輸出信號(hào),送到監(jiān)視器顯示。4系統(tǒng)實(shí)現(xiàn)了一個(gè)電子穩(wěn)像系統(tǒng)本文運(yùn)用TI公司的高性能浮點(diǎn)DSPTMS320C6711設(shè)計(jì)了一種通用實(shí)時(shí)圖像處理系統(tǒng),詳細(xì)討論了系統(tǒng)的具體結(jié)構(gòu)。設(shè)計(jì)結(jié)果基本上令人滿意,嘗試在該系統(tǒng)中運(yùn)行一些基本的圖像處理(銳化、平滑、邊緣檢測(cè))和壓縮算法(JPEG、H.263),都達(dá)到了實(shí)時(shí)處理的目的。運(yùn)用該系統(tǒng),我們建立了一個(gè)電子穩(wěn)像系統(tǒng),在系統(tǒng)上進(jìn)行電子穩(wěn)像算法的運(yùn)算。穩(wěn)像算法主要包括圖像搜索算法和圖像補(bǔ)償算法,其運(yùn)算量要大于一般的圖像算法。在此系統(tǒng)中實(shí)現(xiàn)了搜索窗為128×128(像素),匹配窗為32×32(像素),運(yùn)算速度為23幀/s的穩(wěn)像