基于FPGA的數(shù)字視頻多窗口內(nèi)存地址生成器設(shè)計 - 圖文-

1、第21卷 第6期2006年12月液 晶 與 顯 示Chinese Jour nal of L iquid Cry st als and DisplaysVol 21,No 6Dec.,2006文章編號:1007 2780(200606 0708 06基于FPGA 的數(shù)字視頻多窗口內(nèi)存地址生成器設(shè)計馮永茂1,2,徐秀知1,2,鄧春健1,2,丁鐵夫1(1.中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所,吉林長春 130033,E mail:fylouis ;2.中國科學(xué)院研究生院,北京 100039摘 要:通過變更地址計數(shù)器輸出值到內(nèi)存地址的映射關(guān)系,以最小的邏輯資源在單時鐘周期內(nèi)實(shí)現(xiàn)了數(shù)字視頻處理中所需

2、的內(nèi)存地址偏移與跳變計算。闡述了該方法在數(shù)字視頻并行處理中的基本應(yīng)用、基本的設(shè)計與分析思路,以視頻處理中常用到的逐行、逐列掃描方式為實(shí)例,介紹了行向窗口分布、列向窗口分布以及混合窗口分布的地址復(fù)換器的F PG A 邏輯設(shè)計和仿真結(jié)果,并給出了地址映射變換關(guān)系的數(shù)學(xué)表達(dá)式。以基于F PGA 的視頻傳輸系統(tǒng)為實(shí)例,描述了多種地址生成器的設(shè)計方法與具體應(yīng)用形式。關(guān) 鍵 詞:數(shù)字視頻處理;F PG A;地址映射;緩存操作中圖分類號:T P393 文獻(xiàn)標(biāo)識碼:A收稿日期:2006 04 12;修訂日期:2006 11 01基金項(xiàng)目:國家科技創(chuàng)新基金資助項(xiàng)目(No.020262112(05401 引 言數(shù)

3、字視頻處理過程中涉及到大量的數(shù)據(jù)交換。其核心處理單元與片內(nèi)數(shù)據(jù)緩沖區(qū),以及內(nèi)存控制器與片外存儲芯片之間的數(shù)據(jù)吞吐能力直接影響了視頻處理的速度。隨著FPGA 技術(shù)的迅速發(fā)展,利用FPGA 豐富的硬件邏輯資源和可編程特性,設(shè)計高性能、高靈活性的并行數(shù)字視頻處理電路已成為業(yè)內(nèi)廣泛采用的方案。在基于FPGA 硬件的并行處理中1,2如何提高多個數(shù)據(jù)處理核心與數(shù)據(jù)存儲器之間的數(shù)據(jù)交換效率,是整個解決方案能否高效實(shí)現(xiàn)的瓶頸問題,而且并行處理的核心數(shù)量越多,這一問題的重要性就越明顯。多窗口內(nèi)存地址生成器巧妙地利用計數(shù)器與內(nèi)存地址之間的二進(jìn)制運(yùn)算關(guān)系,以單時鐘周期延遲實(shí)現(xiàn)了多個不連續(xù)地址的連續(xù)數(shù)據(jù)存取操作,不失

4、為解決上述問題的一個有效途徑。2 多窗口內(nèi)存地址變換的基本原理視頻數(shù)據(jù)在內(nèi)存中以矩陣形式存儲,數(shù)據(jù)的存儲地址與顯示屏上的像素一一對應(yīng)。內(nèi)存地址變換的目的在于將地址計數(shù)器以最簡單的二進(jìn)制加法計數(shù)方式工作,通過變更地址計數(shù)器輸出值到內(nèi)存地址的映射關(guān)系,以最節(jié)省邏輯資源并在最短的時間內(nèi)完成并行處理所需的內(nèi)存地址偏移與跳變計算。為便于理解,假設(shè)有2k 個處理核心,k 為正整數(shù),則當(dāng)前操作內(nèi)存的數(shù)據(jù)被平均分成2k 個區(qū)。地址生成器將以2k為周期在2k個分區(qū)內(nèi)進(jìn)行地址分配,在連續(xù)的2k 個時鐘周期內(nèi)每個處理核心都被提供一個新的像素數(shù)據(jù)。圖像數(shù)據(jù)分區(qū)的總數(shù)目為并行處理核心的數(shù)目。定義地址計數(shù)器的工作模式為:

5、Cnt n +1=Cnt n +1Cnt n =n =N-1i=02iq i(1其中:i =0,1,2,3, ,N -1;n =1,2,3, ,2N-1。Cnt n 表示二進(jìn)制加法計數(shù)器第n 個計數(shù)時鐘之后的計數(shù)值;q i 表示位權(quán)為2i 的輸出,N 為計數(shù)器的位數(shù),一般與當(dāng)前要操作的內(nèi)存地址位寬相同。當(dāng)前的內(nèi)存地址值為:RA DD n =N-1i=02i ad d i(2add i 為內(nèi)存地址位,經(jīng)變換后使其與計數(shù)器輸出滿足特定的映射關(guān)系,其基本表達(dá)式為:第6期馮永茂,等:基于FP GA 的數(shù)字視頻多窗口內(nèi)存地址生成器設(shè)計709RA DD n =N-1i=02if (q i (3又設(shè)每個分區(qū)

6、包含R 行、C 列數(shù)據(jù),則內(nèi)存的尋址范圍為:RA DD scan =R C 2k(4視頻數(shù)據(jù)一般在視頻同步信號控制下,順序地寫入內(nèi)存的連續(xù)地址中,而在進(jìn)行處理時,由多個處理核心將數(shù)據(jù)分區(qū),進(jìn)行并行處理,故此,多窗口內(nèi)存地址生成器更多地用于內(nèi)存讀取地址的生成。為更好地理解地址變換的原理,下面將結(jié)合具體的工程設(shè)計實(shí)例,詳細(xì)說明如何根據(jù)具體的處理要求設(shè)計地址變換邏輯。3 多窗口地址生成器的應(yīng)用實(shí)例與設(shè)計方法 利用FPGA 的高度靈活性,結(jié)合快速以太網(wǎng)物理層芯片可以構(gòu)建性能強(qiáng)勁的數(shù)字視頻傳輸系統(tǒng)。圖1為通常采用的設(shè)計框圖,借助于多窗口內(nèi)存地址生成器的使用,該設(shè)計以高于95%的帶寬使用效率,完成了多種數(shù)

7、據(jù)組織格式的傳輸要求。 圖1 數(shù)字視頻發(fā)送電路的邏輯結(jié)構(gòu)Fig.1 Funct ional construction of digit al video data tr ansmission circuit圖中,雙通道內(nèi)存結(jié)構(gòu)為數(shù)據(jù)處理提供最大的讀寫效率,管理單元產(chǎn)生整個設(shè)計的控制時序,通過控制內(nèi)存寫入單元將DVI 3接口的實(shí)時數(shù)據(jù)寫入片外存儲器組。8_PH Ys 為8端口快速以太網(wǎng)物理層芯片4,負(fù)責(zé)將FPGA 分組封裝的視頻數(shù)據(jù)傳送到UT P 電纜上。內(nèi)存讀取地址計數(shù)器的輸出值被送到多窗口內(nèi)存地址生成器單元,其內(nèi)部包含了根據(jù)不同處理要求設(shè)計的多個地址變換表,生成的內(nèi)存地址在內(nèi)存讀取單元的控制

8、下將片外存儲器的數(shù)據(jù)連續(xù)寫入8個處理核心的數(shù)據(jù)緩沖區(qū)Buffer0Buffer7。數(shù)據(jù)處理核心PUN_0PUN_7將處理后的數(shù)據(jù)送到各自的發(fā)送單元Tr ans0Trans7,發(fā)送單元將處理后的數(shù)據(jù)封裝、打包,使其滿足PH Y 芯片對連續(xù)數(shù)據(jù)長度的要求4,5。發(fā)送器根據(jù)不同的接收端(顯示終端的要求、或不同顯示效果的要求,其數(shù)據(jù)傳輸格式可分為逐行掃描、逐列掃描兩大類。8個并行處理核心將要傳送的內(nèi)存數(shù)據(jù)平均分成8個區(qū),將分區(qū)方式和掃描方式結(jié)合起來,會組合出種類繁多的數(shù)據(jù)組織方式,下面將幾種工程中常見的方式以及相應(yīng)的地址生成器的設(shè)計方法進(jìn)行詳細(xì)介紹。為便于理解地址生成器的基本設(shè)計方法,這里片外存儲器選

9、用操作時序簡單的高速異步靜態(tài)內(nèi)存(ASRAM ,關(guān)于如何在同步動態(tài)內(nèi)存SDRAM 環(huán)境中應(yīng)用,將在第四節(jié)展開討論。圖2 行向窗口分區(qū)逐行掃描Fig.2 R ow or ient ed w indo w splitting while non interleav ed scanning3.1 行向窗口分區(qū)逐行掃描取內(nèi)存的地址位寬為12位,并設(shè)其視頻分辨率為256列 16行,數(shù)據(jù)的分配格式、讀取方式如圖2所示。根據(jù)處理要求,地址生成器的第一組輸出地址為:0、32、64、96、128、160、192、224,第二組地址為:1、33、65、97、129、161、193、225,依次類推。經(jīng)觀察可發(fā)現(xiàn),

10、在每一組地址中,地址記數(shù)器值每增加1,地址輸出變化32,將q 0指向add 5將滿足這一變化要求;由于地址在同一變化方向上被平分成8份,故可猜測將q 1指向add 6,將q 2指向add 7;計數(shù)器每增加8,地址值將再次指向當(dāng)前分區(qū)的下一列,因此,應(yīng)將計數(shù)位權(quán)為8的q 3指向add 0。根據(jù)前兩組地址數(shù)據(jù),試探性的將計數(shù)器的其他位按地址的位權(quán)由低到高排列。按照上述映射關(guān)系編制M ax plusII 設(shè)計文件,并運(yùn)行功能仿真,從其仿真結(jié)果中生成的tbl 數(shù)據(jù)表文件中提取數(shù)據(jù)如圖3(b、(c所示。從仿真結(jié)果可見,在計數(shù)器簡單的連續(xù)計數(shù)過程中,變換邏輯將生成完全符合數(shù)據(jù)讀取要求的內(nèi)存地址。變換后的映

11、射關(guān)系表達(dá)式為:710 液 晶 與 顯 示第21卷 圖3 行向分區(qū)逐行掃描地址映射表與仿真結(jié)果。(a計數(shù)器結(jié)果到內(nèi)存地址的映射;(b仿真結(jié)果的12個映射關(guān)系;(c仿真結(jié)果的后12個映射關(guān)系。Fig.3 A ddr ess mapping table and simulatio n r esults o fthe r ow or iented splitting w hile non inter leaved scanning.(aM apping talbe between counted value and memo ry address;(bT he lasted 12simulation

12、 r esults.RA DD n =4i=02iqi+3+7i=52iq i-5+11i=82iqi(5其中,n 為當(dāng)前地址記數(shù)器值(表示當(dāng)前要讀取的數(shù)據(jù)的序號,其輸出q 0q 11為其對應(yīng)的二進(jìn)制表示,二者滿足:n =11i=02i q i(6 若對上述視頻數(shù)據(jù)內(nèi)容進(jìn)行列向分區(qū)逐行掃描時,每個分區(qū)包含256列2行數(shù)據(jù),每次讀取地址跳變?yōu)?12。可采用同樣的設(shè)計思路,得出其映射關(guān)系表達(dá)式:RADD n =8i=02iq i+3+11i=92iqi-9(73.2 混合窗口分區(qū)逐行掃描對于數(shù)據(jù)體需要在沿行向、列向進(jìn)行分區(qū)的情況,如圖4所示,每個數(shù)據(jù)區(qū)的分辨率為64列8行。要求地址生成器的第一組輸

13、出地址為:0、64、128、192、2048、2112、2176、2240,第二組數(shù)據(jù)的地址為:1、65、129、193、2049、2112、2176、2241,依次類推。經(jīng)觀察可發(fā)現(xiàn),在每一組地址中,地址記數(shù)器每組計數(shù)的前4個值、后4個值每增加1,將引起地址輸出變化64,因此,將q 0指向add 6;地址在同一變化方向上被平分成4份,故可猜測將q 1指向add 7;指向Section3和Section4的地址相差圖4 混合分區(qū)逐行掃描方式F ig.4 M ulti w indow splitting while no n inter leav edscanning2048,恰好是總尋址空間的

14、一半,因此,將計數(shù)位權(quán)為4的q 2指向add 11;計數(shù)器每增加8地址值將再次指向當(dāng)前分區(qū)的下一列,因此,將計數(shù)位權(quán)為8的q 3指向add 0。同樣采用試探和遞推的方法,將計數(shù)器的其他位按地址的位權(quán)由低到高排列。經(jīng)仿真試驗(yàn),其映射表和仿真結(jié)果見圖5,其映射關(guān)系表達(dá)式為:RADD n =5i=02iq i+3+7i=62i q i-6+10i=82i q i +1+211q 2(8圖5 混合分區(qū)逐行掃描地址映射表與仿真結(jié)果。(a計數(shù)器結(jié)果到內(nèi)存地址的映射;(b仿真結(jié)果的12個映射關(guān)系;(c仿真結(jié)果的后12個映射關(guān)系。Fig.5 M apping table and simulatio n r e

15、sults o f the multiw indo w splitting while no n inter leaved scanning.(aM apping table;(bT he fir st 12simulatio n re sults;(cT he lasted 12simulatio n r esults.3.3 混合窗口分區(qū)逐列掃描在這類數(shù)據(jù)掃描方式下,數(shù)據(jù)分區(qū)方式與逐第6期馮永茂,等:基于FP GA 的數(shù)字視頻多窗口內(nèi)存地址生成器設(shè)計711行掃描相同,也存在3種,只是數(shù)據(jù)的讀取從每個分區(qū)的右上角開始,沿著列方向,由上向下、從右到左的次序讀取數(shù)據(jù)。第一個被讀取的數(shù)據(jù)(即地址計

16、數(shù)器為0時地址不為0,而是指向Sec tion0的右上角。因此地址映射邏輯中必然會存在!邏輯非環(huán)節(jié)。參考圖4的分區(qū)方式,在逐列掃描時,第一組內(nèi)存地址為:63、127、191、255、2111、2175、2239、2303;第二組地址為:319、383、447、511、2367、2431、2495、2559。因?yàn)橛嫈?shù)值為0時,地址為63,故此內(nèi)存地址的低6位(add 0add 5必然要接到一組非門的輸出端;地址的小跳變量為64,則計數(shù)器的q 0位應(yīng)指向地址的ad d 6位;地址在同一變化方向上被平分成4份,故可猜測將q 1指向ad d 7;地址大跳變量為2048-64 3,只有add 11位可以

17、引起這么大的變化,故計數(shù)器位權(quán)為4的q 2應(yīng)該指向add 11位;計數(shù)器值每增加8地址再次指向當(dāng)前分區(qū)的下一行,每行有256列,所以計數(shù)器位權(quán)為8的q 3位應(yīng)該在內(nèi)存地址的add 8位,在將這幾個關(guān)鍵位確定之后,其他計數(shù)器位按照地址位權(quán)由低到高的次序試探性地排列。地址映射表和提取的仿真結(jié)果見圖6。n qi 表示取邏輯反。其地址映關(guān)系表達(dá)式為:RADD n =5i=02inq i+6+7i=62iq i -6+10i=82i q i-5+211q 2(9行向分區(qū)逐列掃描的每個分區(qū)大小為32列16行, 圖6 混合分區(qū)逐列掃描地址映射表與仿真結(jié)果。(a 計數(shù)器結(jié)果到內(nèi)存地址的映射;(b仿真結(jié)果的前1

18、2個映射關(guān)系;(c 仿真結(jié)果的后12個映射關(guān)系。Fig.6 M appling talbe and simulatio n results o f multiwindow splitting while co lumn to co lumn scan ning.(aM apping table;(bT he fir st 12simulat ion results;(cT he lasted 12simulat ion results.其地址映射關(guān)系表達(dá)式為:RA DD n =4i=02inq i+7+11i=52iq i-5(10列向分區(qū)逐列掃描的每個分區(qū)大小為256列2行,其地址映射關(guān)系表

19、達(dá)式為:RA DD n =7i=02i nq i+4+28q 3+11i=92i q i-9 (11對于后兩種較簡單的分區(qū)方式,讀者可以參考圖6的地址映射表,結(jié)合表達(dá)式(10、(11編制映射邏輯得到仿真結(jié)果。4 多窗口地址生成器在SDRAM系統(tǒng)中的應(yīng)用當(dāng)視頻數(shù)據(jù)量不是很大,可以采用靜態(tài)RAM 隨機(jī)存取時,上述地址映射方法將極大地節(jié)省邏輯資源和產(chǎn)品開發(fā)時間,只需將地址空間擴(kuò)展到實(shí)際所需,并參照上述映射表達(dá)式便可以設(shè)計出功能多樣地址生成器邏輯。但是當(dāng)數(shù)據(jù)量很大時,片外存儲器選用SDRAM 將大幅度降低系統(tǒng)的開發(fā)成本。由于SDRAM 的種類較多,且讀寫操作比較復(fù)雜6,7,多窗口地址生成器不能直接用于

20、片外存儲器尋址。此時要利用FPGA 的片內(nèi)RAM 塊構(gòu)造高速數(shù)據(jù)緩存(Cache,并綜合FPGA 的類型、SDRAM 的讀寫特性和SDRAM控制器的設(shè)計參數(shù),合理構(gòu)建數(shù)據(jù)的多窗口讀取方式,圖7是在實(shí)際中應(yīng)用的一種讀取結(jié)構(gòu),SDRAM 內(nèi)存儲的視頻數(shù)據(jù)分辨率為1024列 512行。圖7 SDRA M 的多窗口地址變換設(shè)計Fig.7 M ulti window memor y address translat ion basedon SDRA M systemCy clo ne(Altera 公司的FPGA 芯片的片內(nèi)存儲單元M 4K 塊8,利用QuartusII 9軟件可以將其配置成24bit

21、128的雙端口RAM ,用于實(shí)現(xiàn)SDRAM 控制器和視頻處理核心在不同的時712液 晶 與 顯 示第21卷鐘域內(nèi)對其進(jìn)行獨(dú)立的讀寫操作。SDRAM的讀取爆發(fā)長度設(shè)置為8時,對SDRAM控制器的8次讀請求,恰好可以讀回64個像素的視頻數(shù)據(jù)。Cache的最高位讀取地址Cadd6用來指示當(dāng)前讀取的地址空間范圍,將其取邏輯反后傳遞給SDRAM控制器生成SDRAM控制器寫Cache的最高位寫入地址。在Cadd6為!1或!0的64個Cache地址空間中,又分成8個區(qū),每個區(qū)負(fù)責(zé)一個處理核心的連續(xù)8個像素數(shù)據(jù)供給。Cache的讀取地址映射關(guān)系表達(dá)式為:RA DD n=2i=02i cq i+3+5i=32i

22、 cq i-3+26cq6(12式中:cq i表示Cache讀取地址計數(shù)器的輸出, CA DD n表示第n個Cache讀取地址。SDRAM中的視頻數(shù)據(jù)按混合分區(qū)逐行掃描方式讀取,平均分成8個數(shù)據(jù)區(qū),每個分區(qū)大小為256列256行。因SDRAM的讀取爆發(fā)長度設(shè)置為8,故可將其讀取地址寄存器的低3位設(shè)置為0。這樣起始讀取地址的有效變化位數(shù)為16位,將16位計數(shù)器經(jīng)地址映射邏輯變換后,生成的起始讀取地址賦值給SDRAM控制器讀取地址寄存器的高16位即可。SDRAM起始讀取地址的映射表達(dá)式為:SRADD n=7i=32i q i+8i=82i q i-8+17i=102i q i-2+218q2(13

23、式中:q i表示SDRAM起始讀取地址計數(shù)器的輸出,S RA DD n表示第n次讀取的起始地址。對于逐列掃描的SDRAM讀取方式,由于SDRAM中的數(shù)據(jù)是以行方式讀取的,為了使SDRAM的爆發(fā)讀取長度不至于過短,而大幅降低SDRAM的讀取效率,就需要在FPGA內(nèi)構(gòu)建更大的Cache,或者為每一個處理核心構(gòu)建一個Cache。采用相同設(shè)計思路,并兼顧FPGA內(nèi)可以利用的RAM資源情況,同樣可以實(shí)現(xiàn)高效率的數(shù)據(jù)讀取設(shè)計。詳細(xì)的設(shè)計過程這里不再一一贅述。5 結(jié) 論數(shù)字視頻多窗口地址生成器在FPGA中實(shí)現(xiàn)實(shí)時,幾乎不占用邏輯資源,無需額外的地址跳轉(zhuǎn)運(yùn)算邏輯,也無需額外的運(yùn)算時鐘延遲。其設(shè)計方法簡單明了,

24、可以非常方便地借助Max plusII、QuartusII等開發(fā)軟件對地址映射邏輯進(jìn)行驗(yàn)證仿真。地址變換器的引入僅僅會引起FP GA內(nèi)局部少許布線關(guān)系的改變,對整個設(shè)計的時序收斂性也幾乎沒有影響。對于地址并非以2的正整數(shù)次冪跳轉(zhuǎn)的特殊情況,設(shè)計者應(yīng)根據(jù)實(shí)際偏差情況,選擇添加判轉(zhuǎn)邏輯,或運(yùn)算邏輯的方案。對于地址以2的正整數(shù)次冪跳轉(zhuǎn)的視頻數(shù)據(jù)處理,多窗口內(nèi)存地址生成器可以實(shí)現(xiàn)FPGA內(nèi)多個并行處理核心的高效運(yùn)轉(zhuǎn),并在實(shí)際的全彩色LED顯示屏中取得了良好的使用效果。參 考 文 獻(xiàn):1Snow John F.D ig ital v ideo test patt ern generato rsR San

25、 Jose,Calif:Xilinx Inc.,2005.2Xilinx I nc.I ntr oducing Spart an 3,Spar tan 3_for_DV T X ilinx'L atest Solution fo r Dig ital Video T echnolo giesRSan Jose,Calif:X ilinx Inc.,2005.3馮永茂,丁鐵夫等 數(shù)字視頻接口DV I1.0J 電子技術(shù)應(yīng)用,2003,29(9:54 57.4Realtek Inc.RT L8208SpecificationR T aiw an:Realtek Inc.,2003.5Alte

26、ra Co rporat ion.M ax t P lussii g etting star tedR San Jose,Calif:Altera Cor porat ion,1977.6M icro n T echnolog y Inc.M T48L C2M32B2 64M SDR AM x32,SDRA M datasheetR Bo ise,Idaho:M icro n T echnolog y I nc,2004.7M icro n T echnolog y Inc.T N 48 01,Ex amples of r ead mo dif y w rite cy cles w ith s

27、ynchro no usR Boise,Idaho:M icr on T echnolog y Inc,1999.8A ltera Cor po ration Cy clo ne dev ice handbook:On chip memor y implementatio ns using cyclone blocksR San Jo se,Calif:A ltera Co rpor ation,2005.9Altera Co rporat ion Q uartus II V ersio n5.0Handbo okR San Jose,Calif:A lter a Cor po ratio n

28、,2005.第6期 馮永茂, 等: 基于 FP GA 的數(shù)字視頻多窗口內(nèi)存地址生 成器設(shè)計 713 Digital Video Multi window Memory Address Generator Design Based on FPGA FENG Yong mao 1, 2 , XU Xu zhi1, 2 , DENG Chun jian1, 2 , DIN G T ie f u1 ( 1. Ch angch un In st i tut e of Op ti cs , F ine M echani cs and Phy sic s, Chi nese A cade my of S c

29、i ence s, Chang chun 130033, China, E mail : f y loui s 126. com; 100039, Ch ina 2. Grad uat e S chool of Ch inese A cad emy of Sc ienc es, Be ij ing Abstract T his paper int roduces a m et hod on how t o use the relat ionship betw een t he binary count er and the memory addressing space, and desig

30、ns a mult i w indow memor y address generat or t o m eet high eff i ciency dat a t ransm ission requirem ent of t he par al lel digit al video processing based on F PGA. Wit h the smallest log ical source o ccupying and no negt ive ef for t t o t iming closure of t he FP GA designing, the mult i w indow m em ory address g ener at or can achieve many kinds o f data exchange requirement even in the SDRAM oper at ing environment . T he logical desig n and M AX+ plus # simulat ion result s of some usef ul m ult i w indow memor y address g enerato rs ar e also int roduced. T