第6講 設(shè)計(jì)實(shí)例

1、2021-7-31 第第 5 5 講講 設(shè)計(jì)舉例設(shè)計(jì)舉例 H. 264H. 264運(yùn)動(dòng)向量估計(jì)運(yùn)動(dòng)向量估計(jì) 2021-7-32 目錄目錄 運(yùn)動(dòng)向量運(yùn)動(dòng)向量 圖像數(shù)據(jù)塊圖像數(shù)據(jù)塊 設(shè)計(jì)依據(jù)設(shè)計(jì)依據(jù) 總體設(shè)計(jì)總體設(shè)計(jì) 運(yùn)算單元運(yùn)算單元 基本模塊基本模塊 運(yùn)行模式運(yùn)行模式 存儲(chǔ)組織與控制存儲(chǔ)組織與控制 模塊組合方式模塊組合方式 向量產(chǎn)生器及輸出控制向量產(chǎn)生器及輸出控制 2021-7-33 5.1 5.1 運(yùn)動(dòng)向量運(yùn)動(dòng)向量 l 相鄰兩幀的視頻圖像是非常相似的，這種現(xiàn)象是基于“運(yùn)動(dòng)補(bǔ) 償”的編碼方法的基礎(chǔ)。 l 當(dāng)前幀圖像用它與前一幀圖像的差值來(lái)編碼，差值越小，編碼 效率越高。 l 一幀圖像可以劃分為若

2、干小塊。通常，塊越大，編碼效率越高， 圖像質(zhì)量越低；塊越小，編碼效率越低，圖像質(zhì)量越高。 l 運(yùn)動(dòng)估計(jì)：對(duì)于當(dāng)前幀中的一個(gè)圖像塊（當(dāng)前塊），按某種度 量標(biāo)準(zhǔn)在前一幀圖像中尋找最為相似塊。 l 運(yùn)動(dòng)向量：與當(dāng)前塊最為相似塊的位置標(biāo)識(shí)。 2021-7-34 5.1 5.1 運(yùn)動(dòng)向量（續(xù)）運(yùn)動(dòng)向量（續(xù)） l 相似塊在前一幀與當(dāng)前塊相同位置的周?chē)ㄋ阉鞔翱冢┻M(jìn)行搜 索而得到。 當(dāng)前幀 當(dāng)前塊 搜索 窗口 相似塊 運(yùn)動(dòng) 向量 2021-7-35 5.2 5.2 圖像數(shù)據(jù)塊圖像數(shù)據(jù)塊 l H.624中幾種不同大小、不同形狀的圖像數(shù)據(jù)塊 116 16 2816 2168 488 848 884 1644 2

3、021-7-36 l 數(shù)據(jù)塊組合 5.2 5.2 圖像數(shù)據(jù)塊（續(xù)）圖像數(shù)據(jù)塊（續(xù)） l 將全部16個(gè)44的數(shù)據(jù)塊加起來(lái)。 l 將上面?zhèn)€和下面?zhèn)€44的數(shù)據(jù)塊分別加 起來(lái)。 2021-7-37 5.2 5.2 圖像數(shù)據(jù)塊（續(xù)）圖像數(shù)據(jù)塊（續(xù)） l 數(shù)據(jù)塊組合 l 將左邊個(gè)和右邊個(gè)44的數(shù)據(jù)塊分別加 起來(lái)。 l 將上、下、左、右各4個(gè)44的數(shù)據(jù)塊分別加 起來(lái)。 l 其它類(lèi)似 2021-7-38 5.3 5.3 設(shè)計(jì)依據(jù)設(shè)計(jì)依據(jù) l 相似度計(jì)算：設(shè)圖像大小為M*N(行列)，搜索窗口大小x方向?yàn)?-p, p-1，y方向?yàn)?q, q-1，其中p=N/2，q=M/2。D(i, j)為向量(i, j) 所對(duì)應(yīng)

4、的平均絕對(duì)值差（MAE），則 其中第m行的MAE為： 有： 其中r為當(dāng)前塊數(shù)據(jù)，s為搜索區(qū)數(shù)據(jù)。 1 0 1 0 , ),( M m N n jnimnm srjiD 1 0 , ),( N n jnimnmm srjiD 1 0 ),(),( M m m jiDjiD 2021-7-39 5.4 5.4 總體設(shè)計(jì)總體設(shè)計(jì) 主CPU 系統(tǒng)總線 DMA 圖像數(shù)據(jù) 存 儲(chǔ) 器 存儲(chǔ)控制 16個(gè) 基本 模塊 求和 向量 產(chǎn)生 系 統(tǒng) 存儲(chǔ)器 2021-7-310 5.5 5.5 運(yùn)算單元運(yùn)算單元 l 絕對(duì)值電路 l 當(dāng)|A-B|溢出時(shí)，輸出為 +127； l 當(dāng)A-B為正且沒(méi)有溢出時(shí)， 輸出為A-B

5、； l 當(dāng)A-B為負(fù)且沒(méi)有溢出時(shí)， 輸出為結(jié)果的絕對(duì)值減1。需 要的加1（C0）操作留給后面 的處理單元電路在進(jìn)行級(jí)聯(lián) 相加時(shí)完成，這樣可以節(jié)省 一級(jí)進(jìn)行加法操作的時(shí)間。 ADDER A7 A6 A5 A4 A3 A2 A1 A0 B7 B6 B5 B4 B3 B2 B1 B0 1 Co S7 S6 S5 S4 S3 S2 S1 S0 0 Q7 Q6 Q5 Q4 Q3 Q2 Q1 Q0 圖1 絕對(duì)值電路 2021-7-311 l 處理單元及行結(jié)構(gòu) 5.5 5.5 運(yùn)算單元（續(xù)）運(yùn)算單元（續(xù)） 圖2 處理單元(a)及行結(jié)構(gòu)(b) (a) reg mux r s1 s2 a-b PEi Adder

6、 (b) PE0PE1PE2PE3 s1s2r MAE有多種實(shí)現(xiàn)的方法。一種經(jīng)典的方法是用一行有N個(gè)處理單 元的電路對(duì)M行數(shù)據(jù)進(jìn)行串行的行處理，另一種方法是用M行電路 同時(shí)對(duì)M行數(shù)據(jù)進(jìn)行全并行處理。在本設(shè)計(jì)中，我們除采用了這兩 種方法之外，還采用了界于兩者之間的方法。 2021-7-312 5.6 5.6 基本模塊基本模塊 l 基本模塊 l 一個(gè)基本模塊由16個(gè)處理單 元排成一個(gè)方陣。這些處理單 元按從左到右，從上到下的方 式串聯(lián)起來(lái)。圖3是一個(gè)4*4基 本模塊內(nèi)部處理單元的連接方 式 。 圖3 4*4基本模塊結(jié)構(gòu) PE00PE01PE02 s1s2r PE10PE11PE12PE13 PE2

7、0PE21PE22PE23 PE30PE31PE32PE33 PE03 l 一個(gè)基本模塊除了可被看成 是一個(gè)4*4的方陣外，還可以 被看成是一個(gè)2*8的矩陣，甚 至是一個(gè)1*16的行向量，這取 決于如何加載圖像數(shù)據(jù)s和r。 2021-7-313 5.6 5.6 基本模塊（續(xù)）基本模塊（續(xù)） l 基本模塊運(yùn)行時(shí)序：表1表示的是一個(gè)4*4的基本模塊，在大小為 7*7的搜索區(qū)間內(nèi)工作時(shí)的時(shí)序。表中，每一個(gè)方格表示一個(gè)數(shù)據(jù)， 方格中的數(shù)字代表訪問(wèn)該數(shù)據(jù)的時(shí)刻。紅色數(shù)碼15-30分別對(duì)應(yīng) D(0,0)、D(0,1)、D(0,2)、D(0,3)、D(1,0)、D(3,3)完成的時(shí)間和 在電路中的位置，它們

8、在第三行最后一個(gè)處理單元被產(chǎn)生。 數(shù) 據(jù) 行 列（第一處理單元行）列（第二處理單元行）列（第三處理單元行）列（第四行處理單元） 0123456012345601234560123456 00123456- 1456789 1 0 456789 1 0 - 289 1 0 1 1 1 2 1 3 1 4 89 1 0 1 1 1 2 1 3 1 4 89 1 0 1 1 1 2 1 3 1 4 - 3 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 2 1 3 1 4 1

9、5 1 6 1 7 1 8 4- 1 6 1 7 1 8 1 9 2 0 2 1 2 2 1 6 1 7 1 8 1 9 2 0 2 1 2 2 1 6 1 7 1 8 1 9 2 0 2 1 2 2 5- 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 0 2 1 2 2 2 3 2 4 2 5 2 6 6- 2 4 2 5 2 6 2 7 2 8 2 9 3 0 表1 4*4基本模塊時(shí)序圖 2021-7-314 0123123423453456 00123123423453456 145675678678978910 289101191011121011121311121314

10、 312131415131415161415161715161718 145675678678978910 289101191011121011121311121314 312131415131415161415161715161718 416171819171819201819202119202122 289101191011121011121311121314 312131415131415161415161715161718 416171819171819201819202119202122 520212223212223242223242523242526 31213141513141

11、5161415161715161718 416171819171819201819202119202122 520212223212223242223242523242526 624252627252627282627282927282930 2021-7-315 5.6 5.6 基本模塊（續(xù)）基本模塊（續(xù)） l 表2是一個(gè)完整的4*4基本模塊的詳細(xì)數(shù)據(jù)流表。表中用不同 顏色表示不同的D(i,j)所對(duì)應(yīng)的數(shù)據(jù)，其中右半部分用黑色表示 的數(shù)據(jù)，代表后續(xù)一幀圖像的數(shù)據(jù)，與左半部分的數(shù)據(jù)類(lèi)似。 2021-7-316 2021-7-317 5.7 5.7 運(yùn)行模式運(yùn)行模式 l 有7種不同的運(yùn)行模式。在

12、任何一種模式下，全部基本模塊同時(shí) 并行運(yùn)行。 mode 44mode 42mode 24mode 22mode 21mode 11mode 12 00 01 02 03 10 20 30 11 21 31 12 22 32 13 23 33 圖4 七種不同的運(yùn)行模式 l 一個(gè)基本模塊除可看成一個(gè)4*4的方陣外，還可看成一個(gè)2*8的矩 陣，或是一個(gè)1*16的行向量。用8個(gè)基本模塊組成1個(gè)8*16的模塊時(shí)， 每個(gè)基本模塊是這個(gè)8*16模塊中的1行，8行電路同時(shí)運(yùn)行，得到8 個(gè)行的MAE，把它們加起來(lái)便是整塊圖像的MAE。用8個(gè)基本模塊 組成1個(gè)16*8的模塊時(shí)，每個(gè)基本模塊是這個(gè)16*8模塊中的2

13、行，等 等。 2021-7-318 5.7 5.7 運(yùn)行模式運(yùn)行模式 l 表3是用4個(gè)基本模塊 組合成一個(gè)8*8模塊時(shí)， 前2行（1個(gè)基本模塊） 的工作時(shí)序表，電路時(shí) 延為15個(gè)時(shí)鐘周期，共 需要79個(gè)周期完成運(yùn)算。 事實(shí)上，在任何模式下， 電路時(shí)延均為15個(gè)時(shí)鐘 周期。時(shí)延過(guò)后，每個(gè) 周期產(chǎn)生一個(gè)MAE，共 產(chǎn)生M*N個(gè)MAE，總共 需要15+M*N個(gè)時(shí)鐘周 期完成運(yùn)算任務(wù)。 數(shù) 據(jù) 行 列（第一處理單元行） 0123456789 1 0 1 1 1 2 1 3 14 00123456789 1 0 1 1 1 2 1 3 14 189 1 0 1 1 1 2 1 3 1 4 1 5 1 6

14、 1 7 1 8 1 9 2 0 2 1 22 2 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 30 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3 5 3 6 3 7 38 4 3 2 3 3 3 4 3 5 3 6 3 7 3 8 3 9 4 0 4 1 4 2 4 3 4 4 4 5 46 5 4 0 4 1 4 2 4 3 4 4 4 5 4 6 4 7 4 8 4 9 5 0 5 1 5 2 5 3 54 6 4 8 4 9 5 0 5 1 5 2 5 3 5 4 5

15、5 5 6 5 7 5 8 5 9 6 0 6 1 62 7 5 6 5 7 5 8 5 9 6 0 6 1 6 2 6 3 6 4 6 5 6 6 6 7 6 8 6 9 70 數(shù) 據(jù) 行 列（第二處理單元行） 0123456789 1 0 1 1 1 2 1 3 14 189 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 22 2 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 30 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3

16、 5 3 6 3 7 38 4 3 2 3 3 3 4 3 5 3 6 3 7 3 8 3 9 4 0 4 1 4 2 4 3 4 4 4 5 46 5 4 0 4 1 4 2 4 3 4 4 4 5 4 6 4 7 4 8 4 9 5 0 5 1 5 2 5 3 54 6 4 8 4 9 5 0 5 1 5 2 5 3 5 4 5 5 5 6 5 7 5 8 5 9 6 0 6 1 62 7 5 6 5 7 5 8 5 9 6 0 6 1 6 2 6 3 6 4 6 5 6 6 6 7 6 8 6 9 70 8 6 4 6 5 6 5 6 6 6 7 6 9 7 0 7 1 7 2 7 3

17、7 4 7 5 7 6 7 7 78 表3 4*4基本模塊組合成8*8模塊時(shí)的工作時(shí)序圖 2021-7-319 5.7 5.7 運(yùn)行模式（續(xù)）運(yùn)行模式（續(xù)） l 表4(a)和表4(b)分別表示在模式mode22下，電路中2個(gè)基本模塊內(nèi) 部，前32個(gè)時(shí)鐘周期所對(duì)應(yīng)的數(shù)據(jù)流，這2個(gè)基本模塊分別對(duì)應(yīng)8*8 模塊的第0、1行和第2、3行，圖中紅色數(shù)據(jù)表示輸出的時(shí)間和處理 單元的位置。將4個(gè)這樣的基本模塊的輸出全部加起來(lái)便可以得到1 個(gè)8*8模塊的輸出。 2021-7-320 2021-7-321 2021-7-322 5.8 5.8 存儲(chǔ)組織與控制存儲(chǔ)組織與控制 l 圖5(a)表示模式mode11下的

18、搜索窗口。圖中共有31行、31列，對(duì) 應(yīng)1個(gè)16*16模塊的搜索窗口。為了方便，我們?cè)黾恿说?1列（用綠 色表示，其中的數(shù)據(jù)無(wú)意義）； l 窗口的左半部分為處理單元提供數(shù)據(jù)S1（紅色），右半部分提供 數(shù)據(jù)S2（藍(lán)色，見(jiàn)圖2）； l 左半部和右半部的數(shù)據(jù)分別存儲(chǔ)在2組共32個(gè)大小相同的存儲(chǔ)器 里。每個(gè)存儲(chǔ)器16個(gè)單元，每個(gè)單元存儲(chǔ)2個(gè)像素的數(shù)據(jù)。以左半 部為例，第0行和第16放在0號(hào)存儲(chǔ)器里，第14行和第30行存放在14 號(hào)存儲(chǔ)器里，第15行存放在15號(hào)存儲(chǔ)器里（這個(gè)存儲(chǔ)器中的數(shù)據(jù)較 少）； 2021-7-323 5.8 5.8 存儲(chǔ)組織與控制（續(xù)）存儲(chǔ)組織與控制（續(xù)） l 第0-15行和第16

19、-30行分別位于相應(yīng)單元的高位部分和低位部分。 這16個(gè)存儲(chǔ)器同時(shí)分別向16個(gè)基本模塊提供數(shù)據(jù)； l 圖中紅色符號(hào)（符號(hào)的上標(biāo)是基本模塊號(hào)，見(jiàn)圖4，下標(biāo)代表搜 索窗口的左半部或右半部）表示的是0時(shí)刻左半部分存儲(chǔ)器向基本 模塊提供的數(shù)據(jù)在搜索窗口中的位置； l 每經(jīng)過(guò)1個(gè)時(shí)鐘周期，紅色符號(hào)從左到右移動(dòng)1次。同時(shí)，后一個(gè) 存儲(chǔ)器（下一行）當(dāng)前讀出的內(nèi)容被寫(xiě)回到前一個(gè)存儲(chǔ)器當(dāng)前的單 元中，而第0號(hào)存儲(chǔ)器的低位部分寫(xiě)回到第15號(hào)存儲(chǔ)器的高位部分。 這些操作組合起來(lái)，相當(dāng)于剛剛訪問(wèn)過(guò)的數(shù)據(jù)列由下向上移動(dòng)了一 行。例如，第2個(gè)時(shí)鐘周期過(guò)后，用紅色細(xì)線圍住的數(shù)據(jù)已經(jīng)全部 向上移動(dòng)了一行（見(jiàn)圖5(a)）。右半

20、部分與左半部分完全類(lèi)似。 2021-7-324 5.8 5.8 存儲(chǔ)組織與控制（續(xù)）存儲(chǔ)組織與控制（續(xù)） 2021-7-325 5.8 5.8 存儲(chǔ)組織與控制（續(xù)）存儲(chǔ)組織與控制（續(xù)） l 圖5(b)所示搜索窗口只有23行，相應(yīng)存儲(chǔ)結(jié)構(gòu)與圖5(a) 完全一樣， 只是第7-15號(hào)存儲(chǔ)器中分別只存放了16個(gè)像素的數(shù)據(jù)（低位為空）。 2021-7-326 5.8 5.8 存儲(chǔ)組織與控制（續(xù)）存儲(chǔ)組織與控制（續(xù)） l 圖6(a)是模式mode22下的寄存器組織示意圖。圖中按列分為4大 塊，32個(gè)存儲(chǔ)器被分為4組； l 搜索窗口由左起第0、第1和第3大塊（在圖6(a)的最右邊）組成。 事實(shí)上，第2大塊的

21、數(shù)據(jù)與第1大塊的數(shù)據(jù)完全相同； l 每組前3個(gè)（0-2號(hào)）存儲(chǔ)器存有32個(gè)像素的數(shù)據(jù)，第3號(hào)存儲(chǔ)器 存有24個(gè)有效數(shù)據(jù)，第4-7號(hào)存儲(chǔ)器只存儲(chǔ)16個(gè)有效數(shù)據(jù)； l 如模式mode11類(lèi)似，圖中紅色符號(hào)表示的是0時(shí)刻左半部分存儲(chǔ) 器向基本模塊提出的數(shù)據(jù)在搜索窗口中的位置。以后，每經(jīng)過(guò)1個(gè) 時(shí)鐘周期，紅色符號(hào)從左到右移動(dòng)1次。同時(shí)，后一個(gè)存儲(chǔ)器當(dāng)前 讀出的內(nèi)容被寫(xiě)回到前一個(gè)存儲(chǔ)器當(dāng)前的單元中，而第0號(hào)存儲(chǔ)器 的低位部分被寫(xiě)回到第7號(hào)存儲(chǔ)器的高位部分。 2021-7-327 5.8 5.8 存儲(chǔ)組織與控制（續(xù)）存儲(chǔ)組織與控制（續(xù)） 2021-7-328 5.8 5.8 存儲(chǔ)組織與控制（續(xù)）存儲(chǔ)組織與

22、控制（續(xù)） l 圖6(b)、圖6(c)與圖6(a)類(lèi)似，其中圖6(b)中的有效數(shù)據(jù)在圖6所示 的三種模式中最少，圖6(c)最多。 2021-7-329 5.8 5.8 存儲(chǔ)組織與控制（續(xù)）存儲(chǔ)組織與控制（續(xù)） 2021-7-330 5.8 5.8 存儲(chǔ)組織與控制（續(xù)）存儲(chǔ)組織與控制（續(xù)） l 圖7(a)是模式mode44下的寄存器組織示意圖。圖中按列分為8個(gè) 大塊，每1個(gè)大塊由4個(gè)存儲(chǔ)器構(gòu)成1個(gè)存儲(chǔ)器組； l 搜索窗口由左邊4個(gè)大塊和最右邊1個(gè)大塊組成。左起第1、2、3 大塊的數(shù)據(jù)與第4、5、6大塊的數(shù)據(jù)分別完全相同； l 每組只有0號(hào)存儲(chǔ)器存有28個(gè)有效數(shù)據(jù)，其它存儲(chǔ)器均只存儲(chǔ)了 16個(gè)有效

23、數(shù)據(jù)。 2021-7-331 5.8 5.8 存儲(chǔ)組織與控制（續(xù)）存儲(chǔ)組織與控制（續(xù)） 2021-7-332 5.8 5.8 存儲(chǔ)組織與控制（續(xù)）存儲(chǔ)組織與控制（續(xù)） l 圖7(b)中每組第0號(hào)存儲(chǔ)器存有32個(gè)有效數(shù)據(jù)，1號(hào)存儲(chǔ)器存有28 個(gè)有效數(shù)據(jù)，其余的2號(hào)、3號(hào)存儲(chǔ)器只存儲(chǔ)16個(gè)有效數(shù)據(jù)。 2021-7-333 5.8 5.8 存儲(chǔ)組織與控制（續(xù)）存儲(chǔ)組織與控制（續(xù)） l 圖8表示在不同工作模式下，如何控制搜索窗口內(nèi)的數(shù)據(jù)在存儲(chǔ) 器中移動(dòng)。 2021-7-334 5.8 5.8 存儲(chǔ)組織與控制（續(xù)）存儲(chǔ)組織與控制（續(xù)） l 存儲(chǔ)組織：為了 方便表述，對(duì)存儲(chǔ) 器使用了不同的編 號(hào)方法，其相

24、互之 間的關(guān)系由表5所 示 。 對(duì)應(yīng)搜索窗口左半部（S1）對(duì)應(yīng)搜索窗口左半部（S2） DMA 傳送 數(shù)據(jù) 移動(dòng) 對(duì)應(yīng)基 本模塊 DMA 傳送 數(shù)據(jù) 移動(dòng) 對(duì)應(yīng)基 本模塊 00001000 21103110 42205220 63307330 84019401 1051111511 1262113621 1473115731 1680217802 1891219912 201022211022 221132231132 241203251203 261313271313 281423291423 301533311533 表5 各種情況下存儲(chǔ)器的編號(hào)方法 2021-7-335 5.8 5.8 存

25、儲(chǔ)組織與控制（續(xù)）存儲(chǔ)組織與控制（續(xù)） l DMA控制：設(shè)想主控CPU采用DMA方式向本設(shè)計(jì)中的存儲(chǔ)器裝 載圖像數(shù)據(jù)（包括參考圖像數(shù)據(jù)和搜索區(qū)圖像數(shù)據(jù)）； l 主CPU把搜索窗口內(nèi)數(shù)據(jù)分為兩部分（在圖5、6、7中為用粗實(shí) 線分開(kāi)的上下兩塊），并將對(duì)應(yīng)行、列的數(shù)據(jù)組裝成一個(gè)字，其中 前16行的數(shù)據(jù)位于字的高位，而16行以后的數(shù)據(jù)則位于字的低位； l 裝載順序按圖像塊從左至右、自上而下； l 在某些模式下，一個(gè)像素的數(shù)據(jù)可能要存儲(chǔ)在多個(gè)不同的存儲(chǔ)器 中。這時(shí)，我們將相關(guān)存儲(chǔ)器的“片選”信號(hào)通過(guò)多路開(kāi)關(guān)連接在 一起，把相同的數(shù)據(jù)同時(shí)一次性地寫(xiě)入到多個(gè)存儲(chǔ)器中。 2021-7-336 5.8 5.8 存儲(chǔ)組織與控制（續(xù)）存儲(chǔ)組織與控制（續(xù)） l 圖9為DMA傳送時(shí)的地址控制原理圖。圖中有3個(gè)可編程計(jì)數(shù)器，