（計算機科學與技術專業(yè)論文）視頻流處理平臺的實現(xiàn)和優(yōu)化.pdf

國防科學技術大學研究生院學位論文 摘要 視頻流處理技術的迅猛發(fā)展，改善了人們的生活。由于視頻流數(shù)據(jù)量十分龐大， 提高壓縮解壓縮的效率和節(jié)約系統(tǒng)開支，始終存在矛盾，本課題主要目標是在 m a p c ad s p 上實現(xiàn)視頻流的壓縮解壓縮的實時處理。 以往的d s p 和媒體處理器缺乏m p e g 2 編碼解碼的實時處理能力，性能瓶頸 主要包括：數(shù)據(jù)處理能力；數(shù)據(jù)傳輸能力，當所需數(shù)據(jù)不在本地內(nèi)存時，處理 器無法進行任何操作；數(shù)據(jù)相關性，預知數(shù)據(jù)并行處理。e q u a t o r 公司高性能d s p 芯片m a p c a 為視頻留的實時處理提供下硬件基礎：v i l w 結(jié)構的核心處理器； d a t a s t r e a m e rd m a 控制器；可變長編碼解碼協(xié)處理器等。但是現(xiàn)有的m p e g 2 算法和實現(xiàn)機制顯然不適用于m a p c a 體系結(jié)構，不能充分利用其硬件能力。針對 m p e g 2 實時處理中面臨的主要問題，課題基于m a p c a 實現(xiàn)了m p e g 2 實時編碼 解碼系統(tǒng)：改進了m p e g 2 關鍵算法，提出了新的實現(xiàn)方法，如量化，反量化算法， d c t 變換i d c t 變換算法，運動估計算法等；利用d a t a s t r e a m e rd m a 控制器進行 數(shù)據(jù)傳輸，最大限度地減少數(shù)據(jù)等待時間。 系統(tǒng)測試表明，經(jīng)過優(yōu)化后的m p e g 2 編碼解碼算法的實現(xiàn)，系統(tǒng)整體性能提 高了4 8 4 ，改善了對視頻流的處理能力。 關鍵字：視頻流，m p e g 2 ，m a p c a d s p 第1 頁 國防科學技術大學研究生院學位論文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fv i d e os t r e a mp r o c e s s i n gt e c h n o l o g i e s ，o u rl i f eh a s b e e nm u c hi m p r o v e d b e c a u s eo ft h em a s sd a t aq u a n t u mo fv i d e os t r e a m ，t h e r ei sa t r a d e - o f fb e t w e e ni m p r o v i n gt h e e f f i c i e n c y o fc o m p r e s s i o n & d e c o m p r e s s i o na n d r e d u c i n gt h ec o s to fs y s t e m s t h em a i no b j e c t i v eo ft h i sp a p e ri st os o l v et h ep r o b l e mo f r e a l t i m ep r o c e s s i n go f v i d e os t r e a m sc o m p r e s s i o n & d e c o m p r e s s i o no nm a p - c ad s e i nt h ep a s t ，d s pa n dm u l t i m e d i ap r o c e s s o ri ss h o r ti nr e a l - t i m eh a n d l i n go fm p e g 注 v i d e o sc o d i n ga n dd e c o d i n g t h eb o a l e n e c ko f p e r f o r m a n c ei n c l u d e ：o t h e a b i l i t yo f h a n d l i n gd a t a ；( 9 t h ea b i l i t yo f t r a n s f e r i n gd a t a ，i f t h en e c e s s a r yd a t ai sn o ti nl o c a l m e m o r y , t h ep r o c e s s o rc a n tw o r k ；t h ed e p e n d e n c yo f d a t a , p a r a l l e lh a n d l i n gt h ed a t a w h i c hb ek n o w nb e f o r e h a n d n 他m a p c ad s pw h i c hi sm a d eb ye q u a t o ri n cp r o v i d ea h a r d w a r eb a s eo f h a n d l i n gv i d e os t r e a m ：( d v l i wc o r ec p u ；( 室) d a t a s t r e a m e rd m a c o n t r o l l e r ；v a r i a b l el e n g t he n c o d e r d e e o d e r b u tn o w , m p e g 2 sc o m p r e s s i n ga n d d e c o m p r e s s i n ga l g o r i t h m sa n dm e c h a n i s mi si n v i a b l et om a p c - c a sa r c h i t e c t u r e t h e h a r d w a r ec a l ln o te f f i c i e n t l yw o r k a i ma tt h e s em o s t l yq u e s t i o n so f m p e g 2 sr e a l t i m e h a n d l i n g ，m p e g 2 sv i d e oc o d i n ga n dd e c o d i n gs y s t e mb a s e do nm a p - c ah a v e b e e n i m p l e m e n t e d m p e g 2 sk e ya l g o r i t h m sh a v eb e e ni m p r o v e d n e wm e t h o d sh a v eb e e n p r e s e n t e d f o re x a m p l e ：q u a n t i z a t i o na n di n v e r s eq u a n t i z a t i o n ，d c ta n di d c t ，m o t i o n c o m p e n s a t i o n t h ew a i t i n gt i m ew i l lb er e d u c e di f t h ed a t ai st r a n s f e r r e db yd a t a s t r e a m e rd m a c o n t r o l l e r t h es y s t e mt e s ti n d i c a t et h ep e r f o r m a n c eo fm p e g 2 sc o d i n ga n dd e c o d i n gs y s t e m h a db e e ni m p r o v e4 8 4 a f t e rb e i n go p t i m i z e d t h ea b i l i t yo fv i d e oh a n d l i n gh a db e e n i m p r o v e d k e y w o r d s ：v i d e os t r e a m ，m p e g 2 ，m a p - c ad s p 第1 i 頁 獨創(chuàng)性聲明 本人聲明所呈交的學位論文是我本人在導師指導下進行的研究工作及取得 的研究成果。盡我所知，除了文中特別加以標注和致謝的地方外，論文中不包含 其他入已經(jīng)發(fā)表和撰寫過的研究成果，也不包含為獲得國防科學技術大學或其它 教育機構的學位或證書而使用過的材料。與我一同工作的同志對本研究所做的任 何貢獻均已在論文中作了明確的說明并表示謝意。 學位論文題目： 塑基速公里壬壘鮑塞塑塑位絲 學位論文作者簽名：么障 日期年月 日 學位論文版權使用授權書 本人完全了解國防科學技術大學有關保留、使用學位論文的規(guī)定本人授權 國防科學技術大學可以保留并向國家有關部門或機構送交論文的復印件和電子 文檔，允許論文被查閱和借閱；可以將學位論文的全部或部分內(nèi)容編入有關數(shù)據(jù) 庫進行檢索，可以采用影印、縮印或掃描等復制手段保存、匯編學位論文 ( 保密學位論文在解密后適用本授權書) 學位論文題目：塑題速叢壟壬魚鮑塞況塑佐絲 學位論文作者簽名：鋒盤龔一 日期： 年月 日 作者指導教師簽名：窆釜她日期：年月 日 國防科學技術大學研究生院學位論文 第一章：緒論 1 1 課題的研究背景及國內(nèi)外的發(fā)展現(xiàn)狀 自9 0 年代以來，隨著計算機技術、圖形處理技術和通信技術的發(fā)展，多媒體得到 了迅速的發(fā)展，前景十分誘人，因此，國際上許多大的計算機公司紛紛投入大量的資 金和人力，開發(fā)自己的多媒體產(chǎn)品。近幾年來，國內(nèi)也對多媒體技術展開了研究，許 多專家預言：多媒體將成為二十一世紀計算機工業(yè)中四個重點工程之一。 視頻流處理技術作為多媒體技術學科領域中的一個重要組成部分，在多媒體應用中 占據(jù)著熏要地位。目前，這一技術已經(jīng)得到廣泛的應用，會議電視、v c d 、數(shù)字電視、 高清晰電視，以及d v d 、視頻點播等數(shù)字視頻產(chǎn)品，已經(jīng)走入我們的生活。隨著這些數(shù) 字電視系統(tǒng)的日益成熟和不斷發(fā)展，針對不同領域，一系列相應的數(shù)字視頻標準也迅 速地被制定并不斷得到完善，其中包括：用于會議電視及可視電話的h 2 6 1 ，用于靜止 圖像的壓縮的j p e g ，用于v c d 的卿e g l 和用于廣播電視、d v d 、以及h d t v 的m p e g 一2 。 m p e g 一2 標準發(fā)展較晚，但卻具有以下幾個突出特點：所支持的圖像分辨率最高，支持 包括符合i t u r r e c 6 0 1 ( c c i r 6 0 1 ) 格式的標準分辨率的數(shù)字電視和更高分辨率的高清 晰數(shù)字電視，以及高速體育運動在內(nèi)的活動圖像；所支持的應用最為廣泛，包括存儲 媒體中的d v d ，廣播電視中的數(shù)字電視廣播和h d t v ，還應用于交互式的視頻點播( v o d ) 。 雖然視頻流技術已經(jīng)吸引了各界人士的關注，但了解視頻流處理技術的人都知道， 運動圖像的數(shù)據(jù)量是十分驚人的，處理視頻流的計算機不僅需要大量的存儲空間，實 時處理這些視頻流的過程中，從外存儲器將這些數(shù)據(jù)傳送到處理器時也需要消耗大量 的帶寬。目前，由于計算機人士的大量努力，多種有效的壓縮解壓縮算法得以實現(xiàn)， 成功的解決了海量數(shù)據(jù)的壓縮效率。但壓縮解壓縮處理的高效性，是以犧牲系統(tǒng)性能， 加大系統(tǒng)開支，增加處理單元的計算量為代價的。因此，提高壓縮解壓縮的效率和節(jié) 約系統(tǒng)開支，始終存在矛盾，這一矛盾，一直是困擾著視頻流處理的計算機開發(fā)人員 的難題，因此，尋找一種有效的處理視頻流的方法，提高系統(tǒng)處理視頻流的處理能力， 具有十分重要的意義。 1 2 課題研究的目標 以往的視頻處理芯片多是單一處理單元的處理器，因此其運算能力有限，而且指令 是以串行的方式來完成的。另外由于數(shù)據(jù)在傳輸?shù)倪^程中，處理單元只能等待，這樣， 在處理視頻的過程中，將有大量的時間浪費在等待數(shù)據(jù)的傳輸上，這更加限制了處理 能力。另外，視頻流的數(shù)據(jù)在很多情況下都是重復的和可預知的，然而以往的處理芯 片并不能對這樣的數(shù)據(jù)作優(yōu)化處理。因此，在以往的處理芯片處理視頻流的時候，性 能將得到很大的限制。 m a p c ad s p 是一種為處理視頻音頻信號而設計的高性能數(shù)字信號處理器，它采用了 第1 頁 國防科學技術大學研究生院學位論文 超長指令字( v l i w ) 的體系結(jié)構，增加了d a t a s t r e a md m a ，可變長編碼解碼協(xié)處理器 等功能部件，加強了m a p c ad s p 處理視頻、音頻的壓縮解壓縮能力，為視頻流實現(xiàn)實 時處理提供了有力硬件基礎。 m p e g 2 標準中對視頻流的壓縮，除應用了可變長解碼v l d ( v a r i a b l el e n g t h d e c o d i n g ) 、反量化( i n v e r s eq u a n t i l i z e r ) 、反離散余弦變換i d c t ( i n v e r s ed i s c r e t e c o s i n et r a n s f o r m ) 、運動補償( m o t o nc o m p e n s a t i o n ) 等解壓縮算法外，還使用了 量化( q u a n t i l i z e r ) 、離散余弦變換d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 、運動估計 ( m o t i o ne s t i m a t i o n ) 等壓縮算法，這些解碼算法主要是用來完成圖像的解壓縮，恢 復圖像，用作編碼過程中所需的參考圖像。 在各種算法中，由于m a p c ad s p 對可變長編碼解碼算法v l x 進行了優(yōu)化，降低了 實現(xiàn)這一平臺的難度。量化與反量化的計算量較小，在整個壓縮解壓縮算法中所占的 比重不大，所以我們把目光可以聚焦在d c t 、i d c t 、運動估計，以及運動補償?shù)人惴ㄉ稀?本課題的目標是在l i n u x 環(huán)境下，按照m p e g 2 標準，實現(xiàn)視頻流在m a p 。c ad s p ( 數(shù)字信號處理器) 平臺上的實時處理。 1 3 課題取得的成果 在課題的研制過程中，主要取得了以下成果： 仔細研究和分析m a p c ad s p 平臺的特點、性能以及數(shù)據(jù)傳輸?shù)臋C制，了解其對視 頻流處理所作的優(yōu)化。 深入了解m p e g 2 標準壓縮解壓縮算法的原理及實現(xiàn)機制，分析在m a p c ad s p 上實 現(xiàn)視頻流實時壓縮解壓縮的可行性。 完成視頻流編碼器和解碼器中所使用的各種算法的實現(xiàn)，并對之加以優(yōu)化，提高其 處理視頻流的性能。 對實現(xiàn)的視頻流平臺進行測試，并對其性能加以分析。 1 4 論文的組織結(jié)構 根據(jù)上述內(nèi)容，論文組織如下： 第一章簡要闡述m p e g 2 標準視頻流處理的發(fā)展，國際國內(nèi)在該領域內(nèi)的研究現(xiàn)狀， 以及本課題提出的意義。 第二章介紹了課題研究的相關技術，簡要闡述了m a p c a d s p 的體系結(jié)構特點和 性能，并對相關的m p e g 2 標準的視頻流壓縮解壓縮算法和m p e g 2 標準編碼視頻數(shù)據(jù) 結(jié)構做了簡要的描述。 第三章對課題的設計方案進行了分析，并提出設計方案。 第四章完成視頻流編碼器的設計和優(yōu)化，對于編碼器中所使用的技術在m a p - c ad s p 第2 頁 國防科學技術大學研究生院學位論文 平臺如何實現(xiàn)分別加以討論，著重描述d c t 、i d c t 、運動估計算法和運動補償算法的實 現(xiàn)和優(yōu)化。 第五章完成對視頻流處理平臺的測試，并對其性能加以分析。 第六章對本論文的主要工作及貢獻作了總結(jié)，并對下一步的工作進行了展望。 第3 頁 國防科學技術大學研究生院學位論文 第二章視頻流實現(xiàn)的相關技術 2 。1m a p c ad s p 的體系結(jié)構特點及性能 m a p - - c a 數(shù)字信號處理器的不凡性能，跟其體系結(jié)構是分不開的。其體系結(jié)構如 圖2 - 1 ： 圖2 一l ：m a p c a 處理器的體系結(jié)構 相對于通用數(shù)字信號處理器而吉，m a p - - c a 主要在三方面做了改進 2 1 1 姒p c a 處理器核心 m a p - - c a 使用了超長指令字處理器。它是通過將多個指令打包成一個指令字，把 這個指令字作為個執(zhí)行單元來執(zhí)行，從而實現(xiàn)指令的并行操作，提高性能。 m a p c a d s p 有兩組處理單元，每組處理單元包含一個i a l u ，一個i g a l u ， 構成m a p c ad s p 的核心動力。i a l u 可進行3 2 位或6 4 位的存取操作、分支操作， 用于內(nèi)存的訪問，數(shù)據(jù)流控制，以及地址運算。i g a l u 由一個6 4 位加法器和移位器 組成，用于進行8 位、1 6 位、3 2 位或6 4 位的單指令多數(shù)據(jù)流操作，例如：分離操作、 1 6 位內(nèi)積避算、對加對減指令等。 d、 m a p - c ad ! 盼意3 2 個“位寄存器，每個6 4 位寄存器，可看成2 個3 2 位寄存器， 這樣的寄存禧縭梅f 掰娜t 和i d c t 算法的運算十分有效，m a p c a d s p 可以將4 個 1 6 位的數(shù)據(jù)打售姨二：鋒瓣：譙的數(shù)據(jù)包，放入6 4 位寄存器。兩組執(zhí)行單元并行執(zhí)行， 使得8 點的d c t 凌獺c 薯薰法譬的內(nèi)積運算能夠在一條指令中完成。 。 j 。o + j 、：4 臻 黑一 竺m 一 國防科學技術大學研究生院學位論文 2 1 2d a t a s t r e a m e rd m a 控制器 在許多信號和圖像算法中，很多數(shù)據(jù)的訪問模式都是重復處理或是可預知的，為此 m a p - - c a 設計了d a t a s t r e a m e rd m a 控制器，它具有兩個優(yōu)點，首先，它采用d m a 機制，在處理器處理數(shù)據(jù)的同時，可以傳輸數(shù)據(jù)，提高了并行性，其次，一個6 4 通道 的d m a 控制器具有8 k 的片上緩存，所有的6 4 個通道可以同時傳輸數(shù)據(jù)，d a t a s t r e a m e r d m a 控制器用優(yōu)先級調(diào)度機制進行調(diào)度，獲取需要的數(shù)據(jù)。 圖2 - 2 是數(shù)據(jù)在d a t a s t r e a m e r 中的傳輸?shù)氖疽鈭D，數(shù)據(jù)在出源通道、目標通道和b u f f e r 建立的路徑中，根據(jù)c a c h e 一致性原則進行傳輸。 圖2 2 ：數(shù)據(jù)在d a t a s t r e a m e r 中傳輸?shù)氖疽鈭D 2 1 3 變長編碼解碼協(xié)處理器( v l x ) v l x 是一個1 6 位的r i s c 微處理器，主要用于變長編碼和解碼。編碼算法中連續(xù) 的數(shù)據(jù)和相關性很強的數(shù)據(jù)在v l i w 中并不能取得較高的效率，v l x 卻能在v l i w 運 行的同時更有效地處理這些數(shù)據(jù)，從而提高了數(shù)據(jù)處理的并行性。 2 。2 視頻流壓縮解壓縮編碼技術 m p e g 標準是國際標準化組織運動圖像專家組制定的一系列利用數(shù)字壓縮手段進 行運動圖像壓縮的國際標準。 m p e g 標準中的數(shù)字壓縮的基本步驟為：將模擬視頻轉(zhuǎn)換為數(shù)字視頻后按時序分 組，接著每個圖像組( g o p ：g r o u po f p i c t u r e s ) 選定一個基準圖像利用運動估計減少圖 像間的時間冗余，最后將基準圖像和運動估計誤差進行離散余弦變換( d c t ：d i s c r e t e c o s i nt r a n s f o r m ) 、系數(shù)量化和可變長編碼( v l c ：v a r i a b l el e n g t hc o d i n g ) 以消除空間 冗余。 第5 頁 i 一 國防科學技術大學研究生院學位論文 2 2 1m p e g 視頻壓縮算法的基本原理 一般說來，在幀內(nèi)以及幀與幀之間，眾多的視頻序列均包含很大的統(tǒng)計冗余度和主 觀冗余度。視頻源碼壓縮的最終目標是：通過挖掘統(tǒng)計冗余度和主觀冗余度，來降低 存儲和傳送視頻信息所需的比特率，并采用熵編碼技術，以便編制出“最小信息組”。一 個實用的編碼方案，是在編碼特性( 具有足夠質(zhì)量的高壓縮) 與實施復雜性之間的一種折 衷。對于m p e g 壓縮算法的開發(fā)來講，應考慮這些標準的壽命周期和現(xiàn)代超大規(guī)模集 成電路技術的能力，這一點是最重要的。根據(jù)應用的要求，視頻壓縮存在著的“無損失” 編碼和“有損失”編碼兩種。“無損失”編碼的目的在于：在保持原圖像質(zhì)量( 即解碼后的 圖像質(zhì)量等同于編碼前的圖像質(zhì)量) 情況下，來減少需要存儲和傳送的圖像或視頻數(shù)據(jù)。 與此相反，“有損失”編碼的目的在于：在指定的目標比特串條件下，獲取最佳的圖像標 準。在“有損失”壓縮編碼的應用中，高的視頻壓縮是以降低視頻質(zhì)量的辦法來實施 的，即與編碼以前的原始圖像相比，解碼后的圖像“客觀”質(zhì)量有所降低；頻道的目標比 特率越低，那么視頻所必須進行的壓縮率就越大，通?？刹煊X的編碼人工產(chǎn)物也越多。 這里應該指出，圖像的降級程度( 指客觀降低以及可察覺到的人工產(chǎn)物的數(shù)量) 取決于壓 縮技術的復雜性對于結(jié)構簡單的畫面和視頻活動少的圖像來講，就是采用簡單的 壓縮技術，也許能獲得根本不帶可察覺人工產(chǎn)物的良好再現(xiàn)圖像。 2 2 2m p e g 視頻編碼器源模式 m p e g 數(shù)字視頻編碼技術實質(zhì)上是一種統(tǒng)計方法。在時間和空間方向上，視頻列通 常包含統(tǒng)計冗余度。m p e g 壓縮技術所依賴的基本統(tǒng)計特性為像素之間( i n t e r p e l ) 的相關 性。在某些場合，如一個視頻序列鏡頭變化時，附近幀中像素之間的時間相關性就很 小，甚至消失，這時，該視頻鏡頭就成為一組無相關性的靜止畫面的組合。在這種情 況下，可采用幀內(nèi)編碼技術來開發(fā)空間相關性，從而實現(xiàn)有效的數(shù)據(jù)壓縮。m p e g 壓 縮算法采用離散余弦變換( d c t ) 編碼技術，以8 8 像素的畫面塊為單位，有效地開發(fā)同 一畫面各附近像素之間的空間相關性。然而，若附近幀中各像素間具有較大的相關性 時，也就是說兩個連續(xù)幀的內(nèi)容很相似或相同時，就可以采用應用時間預測( 幀間的運 動補償預測) 的幀間d p c m 編碼技術。在多種m p e g 視頻編碼方案中，若將時間運動補 償預測和剩余空間信息的變換碼自適應地結(jié)合起來，就能實現(xiàn)數(shù)據(jù)的高壓縮率( 視頻的 d p c m ，d c t 混合編碼) 。 二次取樣和內(nèi)插法 在視頻編碼之前，需大量進行二次取樣和量化工序。二次取樣的基本概念是盡量減 少輸入視頻的維數(shù)( 水平維數(shù)和垂直維數(shù)) ，并在進行編碼處理之前先對像素進行編號。 值得注意的是：有些應用場合，在時間方向上也對視頻進行二次取樣，以便在編碼之 前降低幀頻。在接收機端，已解碼圖像是通過內(nèi)插法來加以顯示的。這一方法可以認 為是一種最簡單的壓縮技術，這種壓縮技術利用了人眼特有的生理特點，去除了視頻 第6 頁 國防科學技術大學研究生院學位論文 為是一種最簡單的壓縮技術，這種壓縮技術利用了人眼特有的生理特點，去除了視頻 數(shù)據(jù)中含有的主觀冗余度一即與色度信號的變化相比，人眼對亮度信號的變化更靈敏。 故眾多m p e g 編碼方案首先將畫面分成y u v 分量信號( 一個亮度分量和二個色度分量) 接著，相對于亮度分量，對色度分量進行二次取樣，對于一些特殊應用，有一個y ：u ： v 比率( 即對于m p e g - 一2 標準，采用4 ：i ：l 或4 ：2 ：2 ) 。 運動補償預測 運動補償預測是一個有效的編碼技術，用來減小幀間的時間冗余度。并作為用于時 問d p c m 編碼的預測技術，這技術在m p e g l 和m p e g 2 視頻編碼標準中得到廣泛應 用。運動補償概念是以對視頻幀間運動的估算為基礎的，也就是說，若視頻鏡頭中所 有物體均在空間上有一位移，那么可用有限的運動參數(shù)( 如對于像素的平移運動，可 用運動矢量來描述) 來對幀間的運動加以描述，這樣，一個來自前編碼幀的運動補償 預測像素，就能給出一個有效像素的最佳預測。通常，預測誤差和運動矢量均傳送至 接收機。然而，對每一個編碼畫面像素的運動信息進行編碼，這既不值得也沒有這個 必要。由于一些運動矢量之間的空間相關性通常較高，有時可以這樣認為：一個運動 矢量代表一個相鄰像素塊的運動。為了做到這一點，畫面一般劃分成一些不連接的像 素塊( 在m p e g l 和m f e g 2 標準中個像素塊為1 6 x 1 6 像素) ，對于每一個這樣的像素 塊，只對一個運動矢量進行估算、編碼和傳送。在m p e g 壓縮算法中，運動補償預測 技術用來減少幀間的時間冗余度，只對預測誤差畫面( 原始畫面與運動補償預測畫面 之間的差別) 加以編碼?？偟膩碚f，由于采用依據(jù)前編碼幀的預測，與幀內(nèi)相關性比 較，待編碼的運動補償幀間誤差圖像中像素之間的相關性較小了。 變換和編碼 二十年來，人們已對變換編碼進行了大量的研究，它已成為用于靜止畫面編碼和 視頻編碼的一種非常流行的壓縮方法。變換編碼的目的在于去掉幀內(nèi)或幀間誤差圖像 內(nèi)容的相關性，對變換系數(shù)進行編碼，不是對畫面的原始像素進行編碼。為此，輸入 畫面被分成不連接的b 像素的畫面塊( 1 i pn x n 像素) 。以一個線性、可分離單元的前向 變換為基礎，此變換可表示為一個矩陣操作，采用一個n x n 變換矩陣a ，獲取n x n 變換系數(shù)c 。c - - - - - a b a t 這罩a t 表示變換矩陣a 的一種移項式。注意：這種變換是可 逆的，原因是，采用線性和可分離的反向變換，可以再現(xiàn)原始的n x n 個b 像素的畫面 塊b = a t c 。應用于較小的由8 x 8 像素組成的畫面塊的離散余弦變換( d c t ) 已成為一種最 佳的變換，用于靜止畫面和視頻編碼。事實上，由于基于d c t 的方法具有較高的抗相 關性能，并能獲得快速d c t 算法，適用于實時應用，已在大多數(shù)畫面和視頻編碼標準 中加以使用。變換編碼的主要目的是使盡量多的變換系數(shù)足夠的小，使它無效( 從統(tǒng) 計和主觀測量角度來看) 。同時，應盡量減小系數(shù)之間的統(tǒng)計相關性，目的在于減少對 剩余系數(shù)進行編碼所需的比特數(shù)量。然而，那些最高有效位d c t 系數(shù)集中在左上角( 低 第7 頁 國防科學技術大學研究生院學位論文 d c t 系數(shù)) ，畫面隨著距離的增加，系數(shù)的有效性就逐步下降。這意味著：與較低位的 系數(shù)相比，較高位的d c t 系數(shù)在畫面像素塊再現(xiàn)時的重要性就差一些。采用運動補償 預測，d c t 變換的結(jié)果是，使d c t 定義域中的時間d p c m 信號實現(xiàn)簡單的再現(xiàn)一 這實質(zhì)上繼承了這種相似的統(tǒng)計相關性。在d c t 系數(shù)中，低位的d c t 系數(shù)與較低的 空間頻率有關而高位的d c t 系數(shù)與較高的頻率有關。這一特性在m p e g 編碼方案中加 以應用，以便去除畫面數(shù)據(jù)中所包含的主觀冗余度，這是以人類視覺系統(tǒng)標準為基礎 的。由于跟較高空間頻率有關的再現(xiàn)誤差比較，觀眾對較低空間頻率的再現(xiàn)誤差更加 敏感，故在給定比特率情況后，為了要改進解碼畫面的視覺質(zhì)量，往往根據(jù)視覺( 感 覺量化) 對系數(shù)進行頻率自適應加權( 量化) 。上述兩種技術( 時間運動補償預測和變 換域編碼) 的結(jié)合，被認為是m p e g 編碼標準的關鍵點。m p e g 算法的第三個特點是 這兩種技術的處理是在較小畫面塊( 典型情況是：在1 6 x 1 6 像素上進行運動補償，在 8 x 8 像素上進行d c t 編碼) 上實現(xiàn)的。因此，m p e g 編碼算法通常又稱為基于畫面塊 的d p c m d c t 混合算法。 2 2 2m p e g 2 標準的分層和分類 m p e g 標準主要有m p e g 1 和m p e g 2 。其中，m p e g - 2 標準可定義高達4 0 0 g b ，s 的比特率和1 6 0 0 0 x 1 6 0 0 0 像素的圖像。標準結(jié)合實際情況制定了一個涵蓋大部分應用 的型級體系( 表2 1 ) 。每個型( p r o f i l e ) 都是m p e g 語法的一個完整的子集合，型 中選定不同的參數(shù)形成不同的級( 1 e v e l ) 。m p e g 2 標準共分5 型：簡單型( s p ：s i m p l e p r o f i l e ) ，只有基準幀i 和預測幀p ；主型( m p ：m a i np r o f i l e ) ，比s p 增加了雙向推測 幀b ：信噪比分層型( s n r p ：s n rs c a l a b l e p r o f i l e ) ；空間可分層型( s s p ：s p a t i a ls e a l a b l e p r o f i l e ) 高型( h p ：h i g hp r o f i l e ) 。 m p e g 2 標準共分4 級：低級( l l ：l o wl e v e l ) ，輸入信號的像素為i n j - r6 0 1 格 式的四分之一；主級( m l ：m a i nl e v e l ) ，輸入信號的像素為i t u r6 0 1 格式：高級- 1 4 4 0 ( h 1 4 l ：h i g h 一1 4 4 0l e v e l ) 為4 ：3 模式電視高清晰度格式：高級( h l ：h i g h l e v e l ) 為1 6 ：9 模式電視的高清晰度格式。 表1 中每一型級的第l 行其使用的抽樣格式，第2 行為畫面的橫向像素數(shù)x 縱向 像素數(shù)，第3 行為編碼后的比特率，第4 行為其g o p 的構成。 m p e g - 2 標準具有兼容性，表1 中的1 1 種型級的解碼器必須能解碼任何一種位 于其左下的型級的編碼。 m p e g 2 標準允許分層解碼，低比特率解碼器可以解碼全比特流編碼的一部分，從 而獲得質(zhì)量相對較低的畫面。標準允許從信噪比和空間分解力兩方面進行分層：信噪 比分層型( s n r p ) 允許低比特率解碼器解碼出一個比全比特率解碼的畫面信噪比低的 畫面：空間分層型( s s p ) 允許低比特率解碼器解碼出一個比全比特率解碼的畫面分解 力低的畫面。 第8 頁 國防科學技術大學研究生院學位論文 表1 m p e g 2 標準的型與級 級型 簡單型 主型s n r 型、高型空間型 4 ：2 ：04 ：2 ：0 1 9 2 0 x 1 1 5 21 9 2 0 x l l 5 2 高級 8 0 m b p s 8 0 m b p s i p bi p _ b 4 ：2 ：04 ：2 ：0 4 ：2 ：0 1 4 4 0 x l l5 21 4 4 0 x 1 1 5 21 4 4 0 x l l 5 2 高級1 4 4 0 6 0 m b p s6 0 m b p s6 0 m b p s i p t bi p bi p b 主級 4 ：2 ：04 ：2 ：04 ：2 ：04 ：2 ：0 7 2 0 x 5 7 6 7 2 0 x 5 7 67 2 0 x 5 7 67 2 0 x 5 7 6 1 5 m b p s1 5 m b p s1 5 m b p s1 5 m b p s i p bi p bi p b i p _ b 低級 4 ：2 ：04 ：2 ：0 3 5 2 x 2 8 83 5 2 x 2 8 8 4 m b p s4 m b p s i p bi p b 2 3m p e g 2 標準的圖像格式 在m p e g 2 標準中，根據(jù)壓縮的需要，定義了三種圖像類型 1 幀內(nèi)圖像( i 圖像) ：只能利用自身相關性進行中等程度的壓縮，采用基于d c t 變 換的靜態(tài)圖像壓縮技術。 2 前向預測圖像( p 圖像) ：用最近的前一個i 圖像或p 圖像進行預測得到，并可作 為下一預測( b 圖像或p 圖像) 的參照圖像。p 圖像的壓縮比可以比i 圖像的壓縮比大。 p 圖像的誤差可能會傳遞。 3 雙向預測圖像( b 圖像) ：b 圖像既可以用前面的圖像預測，也可以用后面的圖像 預測，還可使用前后兩個圖像預測( 雙向預測) 。對b 圖像可以采用四種技術( 幀內(nèi)編 碼，前向預測，后向預測，雙向預測) ，能獲得較大的壓縮比，也不會傳遞誤差。 圖2 3 、給出了幀間預測示意圖。 第9 頁 國防科學技術大學研究生院學位論文 雙向預測 圖2 - 3 幀間預測 2 4m p e g 2 編碼視頻數(shù)據(jù)結(jié)構 編碼視頻數(shù)據(jù)由排列有序的視頻碼流集組成，稱為層。視頻碼流層可分為基層和增 強層。基層總是單獨解碼，增強層僅與基層一起解碼，解碼總是從基層開始的。 2 4 1 視頻序列 編碼視頻序列的最高語法結(jié)構是視頻序列。 視頻序列使用序列頭開始，序列頭后可跟一組圖像頭，然后是一個或多個編碼幀。 對于隔行序列，解碼過程的輸出由一系列重建場組成。一幀的兩場可被單獨編碼( 場 圖像) ，也可組合在一起成幀進行編碼( 幀圖像) 。 逐行序列中，每組圖像應為幀圖像。 幀：幀由三個整數(shù)矩陣陣列組成：一個亮度信號( y ) 和兩個色度信號陣列( c 。和 c ，) 。不同的視頻流數(shù)據(jù)采用格式不同，這三種信號的數(shù)據(jù)量不同。我們通常使用的采 樣格式是：4 ：2 ：0 。 場：在場圖像的幀格式中，一幀由兩場組成：頂場和底場。頂場由每個矩陣的每個 最頂行組成，底場則由其他行組成。 圖像：重建圖像由解碼一幅編碼圖像獲得，編碼圖像包括圖像頭、可選擴充項和圖 像數(shù)據(jù)，這三部分組成圖像的數(shù)據(jù)結(jié)構。編碼圖像可以是幀圖像或場圖像。重建圖像 為一重建幀( 解碼一幀圖像時) ，或重建幀的一場( 解碼場圖像時) 。 場圖像：場圖像是成對出現(xiàn)的。 當編碼幀的第一幅圖像為p 場圖像時，則編碼幀的第二幅圖像也為p 場圖像。同樣， 當編碼幀的第一幅圖像為b 場圖像時，則編碼幀的第二幅圖像也為b 場圖像。 當編碼幀的第一幅圖像為i 場圖像時，則編碼幀的第二幅圖像為i 場圖像或p 場圖 第1 0 頁 國防科學技術大學研究生院學位論文 像。 幀圖像：當編碼隔行序列使用幀圖像時，幀的兩場應相互交織，整個幀作為單一幀 圖像進行編碼。 圖像類型：幀內(nèi)編碼p 圖像是一種由過去的i 圖像或p 圖像進行運動補償預測的編 碼圖像。 雙向預測編碼b 圖像是一種由過去的i 圖像或p 圖像進行運動補償預測的編碼圖像。 序列頭：序列頭是由序列頭標志丌始的。后面跟的是一系列數(shù)據(jù)元素。序列頭數(shù)據(jù) 元素允許重復，以確保對視頻序列的隨機訪問。 在編碼流中，重復序列頭可放在i 圖像或p 圖像中。 i 圖像和圖像組頭：1 圖像的目的用于隨機訪問序列。也可用于場景切換或其他補 償無效的情況 圖像組頭是一種可選的頭，用于提示是否能正確重建b 圖像。如果前面的參考幀無 效，則無法重建b 圖像，除非只使用后向預測。 2 4 2 片結(jié)構 片是由一系列的宏塊組成。片的第一個宏塊和最后一個宏塊不能為跳躍宏塊，每片 至少一個宏塊。片不能重疊，片的位置可隨圖像而變化。片的第一個宏塊和最后一個 宏塊應具有相同的水平行。片出現(xiàn)在碼流中的順序為：從圖像的最上角開始，從左到 右，從上到下，直到圖像的右下角。 片包含兩種結(jié)構：通用片結(jié)構和特殊片結(jié)構。 2 4 3 宏塊 一個宏塊包括亮度分量和相應的色度分量。宏塊可以是源和解碼數(shù)據(jù)，也可以是相 應的編碼數(shù)據(jù)元素。宏塊有三種采樣格式：4 ：2 ：0 、4 ：2 ：2 和4 ：4 ：4 ，對于每一種不同 的采樣格式，宏塊中塊的順序不同，描述如下： 一個4 ：2 ：0 格式宏塊由6 個塊組成，4 個y 塊( 亮度塊) ，1c 。塊和1 個c ，塊( 色 度塊) 。結(jié)構如圖2 - 5 。 y 塊 囹圈 c 。塊 c r 塊 田 y 塊 圈罔 c l 塊c r 塊 圖2 - 5 4 ：2 ：0 格式宏塊圖2 - 6 4 ：2 ：2 格式宏塊 一個4 ：2 ：2 格式宏塊由8 個塊組成，4 個y 塊( 亮度塊) ，2c 。塊和2 個c ，塊( 色 第1 1 頁 國防科學技術大學研究生院學位論文 度塊) 。結(jié)構如圖2 - 6 。 一個4 ：4 ：4 格式宏塊由1 2 個塊組成，4 個y 塊( 亮度塊) ，4c 。塊和4 個c ，塊( 色 度塊) 。結(jié)構如圖2 7 。 田圜圈 y 塊 c b 塊 c r 塊 圖2 7 4 ：4 ：4 格式宏塊 在m p e g 2 壓縮解壓縮標準中，采樣格式都使用4 ：2 ：0 。 2 5 小結(jié) m a p c ad s p 是一種高性能數(shù)字信號處理器，它使用的是超長指令字技術。本章就其 結(jié)構特點和對視頻流處理所做的優(yōu)化加以描述，主要介紹了處理器核心，d a t a s t r e a m e r d m a 控制器和v l x 的特點。然后對視頻壓縮的基本原理和壓縮算法做了闡述。接著，對 m p e g 2 標準中所定義的數(shù)據(jù)格式和數(shù)據(jù)結(jié)構做了簡要的描述。 第1 2 頁 國防科學技術大學研究生院學位論文 第三章視頻流處理平臺方案的分析和設計 3 _ 1 課題方案的分析 m p e g 委員會自成立以來，對運動圖像的壓縮解壓縮的多種不同方案做了測試和評 估，制訂了m p e g 2 運動圖像壓縮標準。m p e g 2 標準既考慮了算法的壓縮能力，又考慮了 硬件實現(xiàn)的簡單，既考慮了質(zhì)量要求，又兼顧實現(xiàn)價格合理，從而成為運動圖像壓縮 解壓縮標準中最佳方案。因此，本系統(tǒng)采用此標準作為平臺實現(xiàn)的軟件解決方案。 m a p - c ad s p 是一種基于v l i w 技術的數(shù)字信號處理器，它為處理數(shù)字電視、視頻處 理系統(tǒng)、醫(yī)藥影像設備、數(shù)字視頻編輯設備、和辦公自動化產(chǎn)品提供了單片機方案。 m a p c ad s p 工具包提供了一個并行c 編譯器、鏈接器、源級調(diào)試器、模擬器和以及資 源庫，給用戶開發(fā)提供了良好的開發(fā)環(huán)境。 鑒于m a p c ad s p 出眾的優(yōu)點，在此平臺上實現(xiàn)m p e g 2 壓縮解壓縮標準，將更快捷 有效。 3 2 課題方案設計 m p e g 2 標準的壓縮和解壓縮是非對稱結(jié)構，解碼過程比編碼過程簡單。在m a p c ad s p 可實現(xiàn)這兩個過程。圖3 - 1 給出m a p - c ad s p 平臺上實現(xiàn)m p e g 2 壓縮解壓縮算法的框圖。 編碼輸出 圖3 - 1 視頻流處理平臺軟件實現(xiàn)框圖 m p e 6 2 標準壓縮解壓縮算法是基于8 8 圖像塊進行的。源圖像塊進入編碼器后，首 先是進行d c t 變換，然后進行量化、可變長編碼和運動估計算法的運算進行壓縮。在 第1 3 頁 國防科學技術大學研究生院學位論文 實現(xiàn)運動估計算法時，需要最新的參考圖像，因此，編碼的過程中，需要解碼已編碼 圖像，形成圖像參考，因此編碼圖像數(shù)據(jù)需進行反量化、i d c t 變換、運動矢量補償?shù)?解碼運算進行解碼，解碼后的圖像作為參考圖像。壓縮后的圖像根據(jù)需要或者存入存 儲系統(tǒng)，或者進入解碼器。編碼圖像數(shù)據(jù)進入解碼器后，進行反量化、i d c t 變換、運 動矢量補償?shù)冉獯a運算進行解碼。解碼后的圖像輸出到視頻輸出設備，實現(xiàn)視頻的播 放。 3 3 小結(jié) 本章主要對m p e g 2 壓縮解壓縮標準的特點和m a p - c ad s p 的性能做了簡要的描述， 就其實現(xiàn)視頻流編碼器解碼器的可行性加以分析，并提出在此平臺上實現(xiàn)編碼器和解 碼器的設計方案。 第1 4 頁 國防科學技術大學研究生院學位論文 第四章m p e g 2 編碼器在m a p c ad s p 中的優(yōu)化實現(xiàn) 4 1m p e g 2 編碼器實現(xiàn)流程及m a p c ad s p 優(yōu)化技術 m p e g 2 編碼器需要重建參考圖像，這就需要對編碼圖像進行解碼，所以在編碼器中 使用了解碼器的各種算法。本章將對視頻編碼器中各種算法加以描述。 4 1 1m p e g 2 編碼器在m a p - c ad s p 的實現(xiàn)流程 在m a p c ad s p 平臺上m p e g 2 解碼器的實現(xiàn)框圖如圖4 - 1 。 視頻出入 出 圖4 1 m p e g 2 解碼器的實現(xiàn)框圖 視頻流數(shù)據(jù)傳送到v l i w 核心處理器，核心處理器完成編碼圖像的量化、d c t 變換、 運動估計和可變長編碼等操作完成視頻流的編碼操作，量化后的數(shù)據(jù)通過反量化、i d c t 變換，解碼已編碼的視頻流，從而恢復圖像，形成編碼器編碼過程中運動估計和運動 補償所需的參考圖像。 數(shù)據(jù)的傳輸主要通過d a t a s t r e a m e rd m a 控制器來完成，使得v l i w 核心處理器不需 等待數(shù)據(jù)傳輸。 4 1 2v l x 完成變長編碼解碼 可變長度編碼 v l c ( 變長編碼，即信息熵編碼) 主要是由v l x 協(xié)處理器來完成，來自v l i w 核心處理 器的d c t 系數(shù)的傳輸通過d a t a s t r e a m e rd m a 控制器來完成。其數(shù)據(jù)傳輸示意圖如圖4 - 2 所示： 第1 5 頁 圖4 2 v l x 在編碼器中實現(xiàn)v l c 的數(shù)據(jù)傳輸示意圖 d a t a s t r e a m e rd m a 控制器將量化后的數(shù)據(jù)和頭信息傳送給v l x ，接著，v l x 通過g e t 位機制輸出數(shù)據(jù)，v l x 提供一個仲裁數(shù)到g e t 位s 機制中，傳送數(shù)據(jù)給d s 緩沖區(qū)。 v l x 需要如下幾步來完成，首先，v l x 處理圖像頭信息，v l i w 核心處理器將圖像頭 參數(shù)寫入v l x 存儲器中，v l i w 核心處理器發(fā)送條命令，將圖像頭信息寫入緩沖區(qū)。 接著，v l x 處理g o b ( g r o u po fb l o c k s ) 頭信息，v l i w 核心處理器將g o b 頭參數(shù)寫入 v l x 存儲器中，v l i w 核心處理器發(fā)送一條命令，將g o b 頭信息寫入緩沖區(qū)。最后，v l x 完成d c t 系數(shù)數(shù)據(jù)的傳送，并執(zhí)行變長編碼算法。 可變長出解碼 v l d ( 變長解碼，即信息熵解碼) 也是由v l x 協(xié)處理器來完成，數(shù)據(jù)傳輸傳輸如圖4 3 所示： 圖4 3 v l x 在解碼器中實現(xiàn)v l d 的數(shù)據(jù)傳輸傳輸示意圖 輸入比特流通過d a t a s t r e a m e r 控制器緩沖區(qū)，進入v l x 協(xié)處理器。輸入比特流放 在存儲區(qū)，起始地址是比特流在存儲區(qū)的起始位置，傳輸?shù)某叽缡潜忍亓鞯某叽纭?d a t a s t r e a m e r 控制器可以循環(huán)進行此操作，從而可以重復多次傳輸比特流。 第1 6 頁 國防科學技術大學研究生院學位論文 v l x 通過g e t 位s 機制從d a t a s t r e a m e r 控制器獲得數(shù)據(jù)，并要求g e t 位s 機制提供 一個仲裁號( 最大1