基于DSP+FPGA的實(shí)時(shí)視頻采集系統(tǒng)設(shè)計(jì)

1、基于dsp+fpga的實(shí)時(shí)視頻采集系統(tǒng)設(shè)計(jì)圖像是自然生物或人造物理的觀(guān)測(cè)系統(tǒng)對(duì)世界的記錄，是以物理為載體，以介質(zhì)來(lái)記錄信息的一種形式。圖像信息是人類(lèi)熟悉世界的重要學(xué)問(wèn)來(lái)源。據(jù)學(xué)者統(tǒng)計(jì)，人類(lèi)所得的信息有80以上是來(lái)自眼睛攝取的圖像。而實(shí)際上，這種靜態(tài)的圖像已無(wú)法滿(mǎn)足人們對(duì)視頻信息的要求。隨著人們對(duì)視頻數(shù)據(jù)的要求越來(lái)越高，高清楚、實(shí)時(shí)性視頻數(shù)據(jù)量越來(lái)越大，視頻的實(shí)時(shí)處理難度也在逐漸增大。本文給出了一款基于+的實(shí)時(shí)視頻采集系統(tǒng)的設(shè)計(jì)辦法，該系統(tǒng)可以廣泛應(yīng)用于關(guān)系公共平安的場(chǎng)所，如銀行、機(jī)場(chǎng)、車(chē)站、商場(chǎng)等。1 實(shí)時(shí)視頻采集系統(tǒng)結(jié)構(gòu)頻繁的視頻采集系統(tǒng)主要有兩種：一種是基于單處理器(、等)的視頻采集卡，特

2、點(diǎn)是結(jié)構(gòu)容易，易于實(shí)現(xiàn)，缺點(diǎn)是無(wú)法實(shí)時(shí)地對(duì)視頻數(shù)據(jù)完成處理，需要用法外部處理器來(lái)完成特定的視頻處理算法，因而成本高，升級(jí)維護(hù)難度大；另一種是基于主從處理器(arm+dsp，fpga+dsp等)的嵌入式視頻采集卡，特點(diǎn)是系統(tǒng)高度集成，易于維護(hù)升級(jí)，可以滿(mǎn)足視頻采集的需求，同時(shí)可以完成特定的視頻算法，成本較低。因此，本文給出了一種基于dsp+fpga的嵌入式視頻采集系統(tǒng)設(shè)計(jì)計(jì)劃。其系統(tǒng)結(jié)構(gòu)框圖1所示。2 系統(tǒng)硬件設(shè)計(jì)本系統(tǒng)的設(shè)計(jì)思路是通過(guò)模擬的視頻攝像頭來(lái)獵取視頻信號(hào)，然后采納模數(shù)轉(zhuǎn)換芯片saa71 11a將模擬的pal制式視頻信號(hào)轉(zhuǎn)換為yuv4：2：2的數(shù)字視頻信號(hào)。設(shè)計(jì)用法fpga芯片ep1c

3、6q240c8作為協(xié)處理器，來(lái)完成視頻信號(hào)的緩存和視頻幀的合成，通過(guò)雙ram的乒乓結(jié)構(gòu)來(lái)實(shí)現(xiàn)視頻幀的完整性，并在完成視頻數(shù)據(jù)的預(yù)處理后，將視頻數(shù)據(jù)傳入到dsp中，完成特定的視頻處理算法(如壓縮等)，最后對(duì)處理完的視頻數(shù)據(jù)舉行傳輸和存儲(chǔ)。同時(shí)，主處理器dsp還負(fù)責(zé)對(duì)視頻采集芯片舉行初始化配置。其系統(tǒng)硬件結(jié)構(gòu)2所示。21 視頻采集模塊設(shè)計(jì)一個(gè)視頻采集系統(tǒng)的重要環(huán)節(jié)，通常是將外部的光信號(hào)轉(zhuǎn)換成電信號(hào)，然后通過(guò)專(zhuān)用的視頻轉(zhuǎn)換芯片，來(lái)將模擬的視頻信號(hào)轉(zhuǎn)換為數(shù)字視頻信號(hào)。本設(shè)計(jì)采納的是模擬攝像頭和philips公司的高性能視頻模數(shù)轉(zhuǎn)換芯片saa71 11a。saa7111a是philips公司的一款高性能

4、視頻輸入處理芯片。它共有四路模擬視頻信號(hào)輸入端，可以輸入4路cvbs或2路s視頻(yc)信號(hào)，也可以編程挑選四路視頻輸入中的一路或者兩路組成不同的工作模式；可實(shí)現(xiàn)行同步、場(chǎng)同步信號(hào)的自動(dòng)監(jiān)測(cè)、分別，或場(chǎng)頻50 hz或60 hz自動(dòng)檢測(cè)，并可在pal制和intsc制之間自動(dòng)切換，同時(shí)能對(duì)不同輸入制式的亮度信號(hào)、色差信號(hào)舉行處理，實(shí)現(xiàn)亮度、色度和飽和度的片內(nèi)實(shí)時(shí)控制；saa7111a中的i2c接口可以對(duì)片內(nèi)寄存器舉行設(shè)置。它有32個(gè)控制寄存器，其中的22個(gè)可編程；該器件的輸出為16位vpo總線(xiàn)，輸出格式有12位yuv4：1：1、16位yuv4：2：2、8位ccir656、16位565rgb和24位

5、的888rgb；輸出信號(hào)可提供采樣時(shí)鐘、行同步、場(chǎng)同步等多種同步信號(hào)。saa7111a可將pal制式的模擬視信號(hào)頻轉(zhuǎn)化為yuv4：2：2的16位數(shù)字視頻數(shù)據(jù)，大小為625×720×16 bit，其中25行用作場(chǎng)回掃，因此，每幀的有效數(shù)據(jù)有576×720×16 bit。22 視頻前端處理模塊數(shù)字化后的視頻數(shù)據(jù)量普通都非常巨大。為了保證視頻數(shù)據(jù)的完整性和實(shí)時(shí)性，系統(tǒng)特地設(shè)計(jì)了視頻的前端處理模塊。其主要功能是完成視頻數(shù)據(jù)的緩存，視頻幀的合成，乒乓操作以及與dsp的通信。因?yàn)閒pga內(nèi)部能反復(fù)編程，可以使系統(tǒng)簡(jiǎn)化，減小板卡面積，易于維護(hù)，升級(jí)便利，因此，本文采納

6、了ara的ep1c6q240c8來(lái)完成視頻前端處理功能。因?yàn)樵撘曨l轉(zhuǎn)換芯片沒(méi)有提供地址信號(hào)，所以需要在fpga內(nèi)部設(shè)計(jì)一個(gè)地址產(chǎn)生器，以使數(shù)據(jù)可以對(duì)應(yīng)的存儲(chǔ)起來(lái)。saa7111a提供有4個(gè)重要信號(hào)：llc(參考時(shí)鐘信號(hào))、href(水平參考信號(hào))、vref(垂直參考信號(hào))、rtso(奇偶場(chǎng)信號(hào))。因?yàn)閜al制式具有隔行掃描特性，因此，采集的視頻數(shù)據(jù)可被分為奇偶場(chǎng)。由于視頻圖像處理是針對(duì)完整的視頻幀，所以需要將奇偶場(chǎng)的視頻數(shù)據(jù)舉行合成。其實(shí)現(xiàn)辦法是奇偶兩部分合成一幀數(shù)據(jù)，即：偶場(chǎng)地址=基地址o+偏移地址；奇場(chǎng)地址=基地址e+偏移地址。幀合成操作暗示圖3所示。為了保證視頻采集系統(tǒng)的實(shí)時(shí)性，該系統(tǒng)用

7、法雙ram的乒乓機(jī)構(gòu)。乒乓操作在fpga時(shí)序設(shè)計(jì)中的用法非常廣泛，是一種典型的以面積換速度的設(shè)計(jì)思想。這種結(jié)構(gòu)是將輸入數(shù)據(jù)流通過(guò)輸入數(shù)據(jù)挑選單元等時(shí)地將數(shù)據(jù)流分配到兩個(gè)數(shù)據(jù)緩沖區(qū)。在第1個(gè)緩沖周期，將輸入的數(shù)據(jù)流緩存到數(shù)據(jù)緩沖模塊1上；在第2個(gè)緩沖周期，則通過(guò)輸入數(shù)據(jù)挑選單元的切換來(lái)將輸入的數(shù)據(jù)流緩存到數(shù)據(jù)緩沖模塊2，同時(shí)將數(shù)據(jù)緩沖模塊1緩存的第1個(gè)周期的數(shù)據(jù)通過(guò)輸出數(shù)據(jù)挑選單元的挑選后，送到運(yùn)算處理單元舉行處理；此后在第3個(gè)緩沖周期，再次切換數(shù)據(jù)的輸入與輸出緩沖模塊。如此循環(huán)，周而復(fù)始。其詳細(xì)狀態(tài)機(jī)4所示。系統(tǒng)中的通信模塊主要是在dsp處理完數(shù)據(jù)后給fpga發(fā)送一個(gè)信號(hào)，以通知dsp處于空閑

8、狀態(tài)，當(dāng)fpga內(nèi)部模塊收到后，再將數(shù)據(jù)傳輸?shù)絛sp上。23 視頻后端處理模塊本系統(tǒng)采納的是，ti公司的高性能、低功耗定點(diǎn)dsp芯片tms320vc5509a，它內(nèi)部的主時(shí)鐘工作頻率最高可達(dá)200 mhz，處理速度最高400；該dsp的片上ram較大，包括32 k×16位daram和96 k×16位saram，共128 k×16位的片上存儲(chǔ)空間；其片上外設(shè)豐盛，包括實(shí)時(shí)時(shí)鐘rtc、10位、mcbsp接口、高速接口(速率為12mbs)，還有mmcsd(多媒體卡)接口、i2h接口等；該dsp處理器為低供電，采納16 v的內(nèi)核電壓。33 v的io電壓，功耗低達(dá)02 mw

9、mips。dsp作為視頻采集系統(tǒng)的主處理器，主要完成各類(lèi)接口和外設(shè)的配置以及視頻的實(shí)時(shí)處理。包括時(shí)鐘發(fā)生器(pll)、i2c總線(xiàn)接口、emif模塊、usb接口等。各類(lèi)接口惟獨(dú)協(xié)調(diào)工作，才可保證系統(tǒng)的正常運(yùn)行。其中時(shí)鐘發(fā)生器負(fù)責(zé)將外部24 mhz的晶振時(shí)鐘倍頻為200 mhz的系統(tǒng)工作時(shí)鐘：i2c總線(xiàn)負(fù)責(zé)對(duì)視頻采集芯片saa711 1a舉行初始化配置：usb接口負(fù)責(zé)與上位機(jī)通信，以實(shí)現(xiàn)數(shù)據(jù)的傳輸?？紤]到視頻數(shù)據(jù)的浩大和dsp片上rom的局限性，本系統(tǒng)在dsp外部擴(kuò)展了一塊4 m×16 bit的sdram和一塊256 k×16 bit的flash。其中sdram映射在dsp的c

10、e2、ce3空間，flash映射在ce1空間。因?yàn)橥庠O(shè)接口配置普通都較為復(fù)雜，因此用法了ti公司的片上支持庫(kù)函數(shù)(csl)，以簡(jiǎn)化用戶(hù)接口的配置。視頻數(shù)據(jù)中普通都會(huì)存在無(wú)數(shù)冗余信息(時(shí)光冗余度、空間冗余度等)，因此具有壓縮的須要性。視頻編碼的主要目的就是在保證重構(gòu)質(zhì)量的前提下，以盡量少的比特?cái)?shù)來(lái)表征視頻信息，盡量去除視頻圖像數(shù)據(jù)本身具有的多種冗余特性，如空間冗余、時(shí)光冗余、心理視覺(jué)冗余和熵編碼冗余等。頻繁的壓縮標(biāo)準(zhǔn)有jpeg、mpeg1、mpeg2、h261以及h263等。這些算法普通都較為復(fù)雜，處理的數(shù)據(jù)量也非常巨大。而采納哈佛總線(xiàn)和流水線(xiàn)操作等內(nèi)部結(jié)構(gòu)dsp在視頻處理算法的實(shí)現(xiàn)上具有巨大優(yōu)勢(shì)。視頻算法的編程和調(diào)試可在ccs(code composer studio)20環(huán)境下完成，可用法實(shí)現(xiàn)，這樣有利于跨平臺(tái)的移植、優(yōu)化和升級(jí)。3 結(jié)束語(yǔ)本文所設(shè)計(jì)的