（通信與信息系統(tǒng)專業(yè)論文）h264中cavlc編碼器的vlsi結(jié)構(gòu)設(shè)計(jì).pdf

摘要 迅猛發(fā)展的數(shù)字技術(shù)，將人類生活帶入了一個(gè)全新的數(shù)字化、信息化社會(huì)。 其中多媒體數(shù)碼產(chǎn)品的普及正是得益于視頻壓縮編碼技術(shù)的不斷進(jìn)步，尤其是對 新一代視頻編碼標(biāo)準(zhǔn)h 2 6 4 標(biāo)準(zhǔn)方向的研究進(jìn)展。同時(shí)，遵循摩爾定律的半導(dǎo)體 和信息技術(shù)的飛速發(fā)展，也為復(fù)雜的編碼算法的實(shí)時(shí)應(yīng)用奠定了硬件基礎(chǔ)。 作為h 2 6 4 標(biāo)準(zhǔn)中的關(guān)鍵技術(shù)，熵編碼在隨機(jī)過程的統(tǒng)計(jì)特性基礎(chǔ)上，根據(jù) 數(shù)據(jù)的統(tǒng)計(jì)信息進(jìn)行編碼，減少了編碼冗余，從而進(jìn)一步提高了壓縮效率。 本文主要研究應(yīng)用于h 2 6 4 基本檔次和擴(kuò)展檔次中的c a v l c 熵編碼。相對于 c a b a c 熵編碼，c a v l c 算法簡單、實(shí)現(xiàn)復(fù)雜度低，主要應(yīng)用于對編解碼時(shí)間要 求苛刻、硬件有一定制約的情況下。但是采用軟件實(shí)現(xiàn)c a v l c 算法難以滿足高清 視頻編碼的實(shí)時(shí)性要求。為此，本文在對c a v l c 算法進(jìn)行細(xì)致的研究和分析的基 礎(chǔ)上，提出了一個(gè)高效的c a v l c 編碼器硬件結(jié)構(gòu)。 本文首先簡要介紹了視頻編碼標(biāo)準(zhǔn)的發(fā)展歷史，并對幾種編碼標(biāo)準(zhǔn)進(jìn)行了比 較，然后著重論述了h 2 6 4 視頻標(biāo)準(zhǔn)的編解碼框架以及關(guān)鍵技術(shù)，對h 2 6 4 中的 c a v l c 算法進(jìn)行了詳細(xì)的研究和分析，然后從架構(gòu)的角度提出了一個(gè)高效的 c a v l c 編碼器硬件結(jié)構(gòu)，接著對c a v l c 編碼器中主要的功能模塊的硬件結(jié)構(gòu)設(shè) 計(jì)進(jìn)行了詳細(xì)的介紹。最后，提出了c a v l c 編碼器的設(shè)計(jì)驗(yàn)證方法，并對仿真和 綜合結(jié)果進(jìn)行了分析，實(shí)驗(yàn)結(jié)果表明本文提出的c a v l c 編碼器的硬件結(jié)構(gòu)可以滿 足1 0 8 0 p 高清( 1 9 2 0 x1 0 8 0 3 0 t ) 視頻實(shí)時(shí)編碼的要求。 關(guān)鍵詞：h 2 6 4 熵編碼c a v l cv l s i a b s t r a c t t h er a p i dd e v e l o p m e n to fd i g i t a lt e c h n o l o g yh a sb r o u g h th u m a ni n t oab r a n d - n e w d i 百t a la n di n f o r m a t i o ns o c i e t y t h ep o p u l a r i t yo fd i 西t a lm u l t i m e d i ap r o d u c t si s b e n e f i t e df r o mt h ep r o g r e s so fv i d e oc o m p r e s s i o nt e c h n o l o g y , e s p e c i a l l yt h en e w r e s e a r c hd e v e l o p m e n to ft h en e w e s tg e n e r a t i o nv i d e oc o d i n gs t a n d a r d h 2 6 4s t a n d a r d m e a n w h i l e ，a b i d i n gb ym o o r e sl a w , t h er a p i dd e v e l o p m e n to fs e m i c o n d u c t o r sa n d i n f o r m a t i o nt e c h n o l o g yl a i dt h eh a r d w a r eb a s i s f o rt h er e a l - t i m ea p p l i c a t i o n 謝也 c o m p l e xe n c o d i n ga l g o r i t h m s a st h e k e yt e c h n o l o g i e s i n h 2 6 4 ，e n t r o p yc o d i l l g b a s e do nt h es t a t i s t i c a l p r o p e r t i e so f s t o c h a s t i cp r o c e s s e s ，i sr e a l i z e db ys t a t i s t i ci n f o r m a t i o n , r e d u c i n gc o d i n g r e d u n d a n c y , f u r t h e ri m p r o v i n gt h ec o m p r e s s i o ne f f i c i e n c y t h i sp a p e rm a i n l yr e s e a r c h e so nc a v l ce n t r o p yc o d i n gi nh 2 6 4b a s e l i n ep r o f i l e a n de x t e n d e dp r o f i l e c o m p a r i n gw i t hc a b a c ，c a v l ca l g o r i t h mi ss i m p l et o u n d e r s t a n d , e a s yt oa c h i e v ei nt h ec a s eo f l o wc o m p l e x i t y , t i m e - c r i t i c a le n v i r o n m e n ta n d c e r t a i nh a r d w a r ec o n s t r a i n t s h o w e v e r , i ti sd i f f i c u l tt om e e tr e a l - t i m er e q u i r e m e n t so f h i g h - d e f i n i t i o nv i d e oe n c o d i n gi nc a v l c t h i sp a p e rp u t sf o r w a r dat h o r o u g hs t u d yi n c a v l ca l g o r i t h ma n dp r e s e n t sa ne f f i c i e n tc a v l ce n c o d e rb a s e do nh a r d w a r e a r c h i t e c t u r e t h i sp a p e r b r i e f l yd e s c r i b e st h eh i s t o r yd e v e l o p m e n to f v i d e oc o d i n gs t a n d a r da n d ac o m p a r i s o no fs e v e r a lc o d i n gs t a n d a r d s ，a n dt h e nf o c u s e so nt h ec e d e cf r a m e w o r ka n d k e yt e c h n o l o g i e so fh 2 6 4 t h e ni tm a k e sad e t a i l e ds t u d ya n da n a l y s i so fc a v l c a l g o r i t h m , a n dp r e s e n t sa ne f f i c i e n tc a v l ce n c o d e ri nh a r d w a r ea r c h i t e c t u r e ，f u r t h e ri t d e s c r i b e sm a i nm o d u l e so ft h ec a v l ce n c o d e ra r c h i t e c t u r ei nd e t a i l f i n a l l y , t h e i n t r o d u c t i o no ft h ec a v l ce n c o d e rd e s i g nv e r i f i c a t i o nm e t h o d si sg i v e n , a n d s i m u l a t i o na n ds y n t h e s i sp e r f o r m a n c es h o wt h a tt h ep r o p o s e dc a v l ce n c o d e r h a r d w a r ea r c h i t e c t u r ec a nm e e tt h eh d ( 19 2 0x10 8 0 3 0 0r e a l - t i m ev i d e oe n c o d i n g k e y w o r d ：h 2 6 4e n t r o p yc o d i n g c a v l cv l s i 第一章緒論 第一章緒論 1 1 引言 隨著計(jì)算機(jī)技術(shù)、通信技術(shù)和v l s i 技術(shù)的不斷發(fā)展，人們的生活和工作方式 發(fā)生了巨大變化。傳統(tǒng)的一維音頻信號已經(jīng)難以滿足人們?nèi)找嬖鲩L的需要，二維 的視頻等多媒體產(chǎn)品成為人們新的需求。多媒體信息提供給人們更多、更直觀的 信息以及更豐富的感官享受。視頻會(huì)議、實(shí)時(shí)監(jiān)控和可視通信等領(lǐng)域的視頻信號 承載的數(shù)據(jù)量大，給通信的帶寬和存儲(chǔ)帶來更大的挑戰(zhàn)，這就需要對視頻進(jìn)行壓 縮編碼。 多年來，國內(nèi)外許多學(xué)者和研究機(jī)構(gòu)在視頻的壓縮編碼領(lǐng)域進(jìn)行了大量的研 究，使得視頻壓縮編碼技術(shù)取得了長足的進(jìn)步。隨著視頻編碼技術(shù)的進(jìn)一步產(chǎn)業(yè) 化，國際標(biāo)準(zhǔn)化組織i s o m c 成立了運(yùn)動(dòng)圖像壓縮編碼組織m p e g ，m p e g 專家 組主要致力于運(yùn)動(dòng)圖像壓縮編碼標(biāo)準(zhǔn)的制定。經(jīng)過專家組不懈的努力，一些視頻 的壓縮編碼國際標(biāo)準(zhǔn)相繼問世。國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部i t u t 的視頻編碼專 家組v c e g 先后制定了h 2 6 1 、h 2 6 2 、h 2 6 3 、h 2 6 4 視頻編碼標(biāo)準(zhǔn)，而由m p e g 專家組先后制定m p e g - l 、m p e g 2 、m p e g - 4 視頻編碼標(biāo)準(zhǔn)，其中h 2 6 2 m p e g 2 和h 2 6 4 m p e g - 4a v c 由i t u t 與m p e g 聯(lián)合制定。特別是由i t u t 的視頻編碼 專家組v c e g 和運(yùn)動(dòng)圖像專家組m p e g 聯(lián)合推出的新一代視頻編碼標(biāo)準(zhǔn)h 2 6 4 ， 將視頻編碼技術(shù)推向了一個(gè)新的高度。這些視頻壓縮編碼標(biāo)準(zhǔn)的推出極大的促進(jìn) 了視頻壓縮編碼技術(shù)的發(fā)展和應(yīng)用。 另一方面，隨著半導(dǎo)體技術(shù)以及集成電路技術(shù)的快速發(fā)展，使得硬件平臺(tái)的 計(jì)算和處理速度不斷的提高。特別是f p g a 和d s p 的出現(xiàn)，使得復(fù)雜的視頻壓縮 算法能夠用于實(shí)時(shí)應(yīng)用，才使得高清電視、視頻會(huì)議以及視頻通話等多媒體應(yīng)用 得以實(shí)現(xiàn)，極大的豐富和方便了人們的工作和生活。 1 2 研究背景 眾所周知，人類通過視覺獲取的信息量約占總信息量的7 0 ，而且視頻信息 具有生動(dòng)直觀性、可信性等優(yōu)點(diǎn)。目前，視頻編碼技術(shù)有著廣闊的應(yīng)用范圍，如 高清電視、視頻會(huì)議、可視電話、視頻監(jiān)控等業(yè)務(wù)。但是由于視頻信息的數(shù)據(jù)量 大，如果不經(jīng)過壓縮處理，很難進(jìn)行傳輸和存儲(chǔ)，這就需要對視頻進(jìn)行壓縮編碼。 2 h 2 6 4 中c a v l c 編碼器的v l s i 結(jié)構(gòu)設(shè)計(jì) 數(shù)據(jù)壓縮編碼技術(shù)的基石是是香農(nóng)( s h a n n o n ) 于1 9 4 8 年創(chuàng)立的經(jīng)典的信息 論，香農(nóng)認(rèn)為信源中都含有一定的冗余性，這些冗余來自于信源本身的相關(guān)性， 也來自于信源符號概率分布的不均衡性，因此采用編碼的方式可以消除這種冗余。 香農(nóng)第一定律( 率失真定律) 確定了如何在編碼過程中不損失任何信息，即在無 損編碼條件下數(shù)據(jù)壓縮的理論極限是信息的熵，并指出了如何建立最優(yōu)的數(shù)據(jù)壓 縮編碼方法。由于視頻圖像數(shù)據(jù)具有極強(qiáng)的相關(guān)性，也就是說有大量的冗余信息。 視頻圖像幀與幀之間存在相關(guān)性，即存在時(shí)間冗余信息；一幅圖像內(nèi)部也存在著 較強(qiáng)的相關(guān)性，即存在空間冗余信息。這樣就為視頻壓縮編碼提供了可能性。視 頻壓縮編碼技術(shù)就是要將這些時(shí)間和空間的冗余信息去除，通過幀內(nèi)預(yù)測編碼和 變換編碼消除視頻圖像的空間冗余信息，通過幀間預(yù)測編碼消除視頻圖像的時(shí)間 冗余信息，再通過熵編碼進(jìn)一步去除統(tǒng)計(jì)的編碼冗余信息。 為了在全世界范圍內(nèi)推進(jìn)視頻編碼壓縮技術(shù)和多媒體通信技術(shù)的發(fā)展和應(yīng) 用，國際標(biāo)準(zhǔn)化組織i s o 和國際電信聯(lián)盟i t u 制定了一系列視頻壓縮國際標(biāo)準(zhǔn)。 由i t u 組織制定的標(biāo)準(zhǔn)主要是針對實(shí)時(shí)視頻通信的應(yīng)用，如視頻會(huì)議和可視電話 等，它們以h 2 6 x 命名( 如h 2 6 1 、h 2 6 2 、h 2 6 3 和h 2 6 4 ) ；而由i s o 的m p e g 組織制定的標(biāo)準(zhǔn)主要針對視頻信息的存儲(chǔ)( 如d v d ) ，廣播電視和視頻流的網(wǎng)絡(luò)傳 輸?shù)葢?yīng)用，它們以m p e g x 命名( m p e g - 1 、m p e g - 2 、m p e g - 4 等) 。2 0 0 3 年3 月，1 1 u t 和i s o 共同正式公布了h 2 6 4 視頻編碼標(biāo)準(zhǔn)，h 2 6 4 標(biāo)準(zhǔn)一方面吸收 了以前視頻編碼標(biāo)準(zhǔn)中的一些行之有效的算法，另一方面采納了視頻編碼、圖像 處理領(lǐng)域的最新研究成果，在提高壓縮編碼效率和增強(qiáng)網(wǎng)絡(luò)適應(yīng)能力等方面有了 質(zhì)的飛躍，因此被人們稱為新一代視頻編碼標(biāo)準(zhǔn)。與以往的視頻編碼標(biāo)準(zhǔn)相比， h 2 6 4 視頻編碼標(biāo)準(zhǔn)在同樣的重建圖像質(zhì)量下碼率可以降低5 0 左右。通常情況 下，與h 2 6 3 相比，在同樣的圖像質(zhì)量下，h 2 6 4 能將碼率降低一半左右；在同樣 的碼率的情況下，h 2 6 4 的信噪比明顯提高。正是由于h 2 6 4 標(biāo)準(zhǔn)在編碼效率、圖 像質(zhì)量、網(wǎng)絡(luò)適應(yīng)性等方面卓越的性能，使其在國際上成為研究的熱點(diǎn)。 目前，h 2 6 4 視頻壓縮編碼的實(shí)現(xiàn)方式有很多：由于d s p 平臺(tái)在處理視頻信 息的優(yōu)越性能，基于d s p 平臺(tái)的開發(fā)方式最多，如德州儀器1 r i 推出的d a v i n e i 系 列d s p 主要面向多媒體應(yīng)用；基于成熟專用芯片a s i c 也是不錯(cuò)的選擇，如富士 通公司的m b 8 6 h 5 1 芯片；還有基于現(xiàn)有的p 核可以在f p g a 上進(jìn)行開發(fā)。 1 3 本文研究內(nèi)容及意義 本文主要研究h 2 6 4 視頻編碼標(biāo)準(zhǔn)中的c a v l c 熵編碼。熵編碼作為h 2 6 4 標(biāo) 準(zhǔn)中的關(guān)鍵技術(shù)對提高整個(gè)編碼系統(tǒng)的效率至關(guān)重要。h 2 6 4 中的熵編碼主要由兩 第一章緒論 3 部分組成，即基于上下文的自適應(yīng)可變長編碼c a v l c ( c o n t e x t - a d a p t i v e v a r i a b l e 1 饑g t l lc o d i n g ) 和基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼c a b a c ( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。在h 2 6 4 標(biāo)準(zhǔn)中的b a s e l i n e p r o m e 只支持c a v l c ，而在m a i np r o f i l e 中同時(shí)支持c a v l c 和c a b a c 。這兩種 編碼方法都是利用自適應(yīng)的上下文模型來提高編碼的效率。與c a v l c 相比， c a b a c 可以使碼率降低9 1 4 ，但是復(fù)雜度增加了2 5 3 0 。 本文首先從視頻為什么需要編碼，為什么可以編碼入手，引出視頻編碼標(biāo)準(zhǔn) 的發(fā)展歷史，簡要分析各個(gè)階段的視頻編碼標(biāo)準(zhǔn)的性能比較和關(guān)鍵技術(shù)。接著發(fā) 展并過渡到新一代視頻編碼標(biāo)準(zhǔn)h 2 6 4 ，闡述了h - 2 6 4 的關(guān)鍵技術(shù)和性能上的優(yōu)越 性。然后著重論述了h 2 6 4 視頻標(biāo)準(zhǔn)的編解碼框架，從h 2 6 4 的編碼流程上對編 碼的各個(gè)階段進(jìn)行簡要的說明。接著著重論述了熵編碼算法，特別是對h 2 6 4 中 的c a v l c 算法進(jìn)行了詳細(xì)的研究和分析，然后從架構(gòu)的角度提出了一個(gè)高效的 c a v l c 編碼器硬件結(jié)構(gòu)，接著對c a v l c 編碼器中主要的功能模塊的硬件結(jié)構(gòu)設(shè) 計(jì)進(jìn)行了詳細(xì)的介紹。最后，介紹了c a v l c 編碼器的設(shè)計(jì)驗(yàn)證方法，并對仿真、 驗(yàn)證和綜合結(jié)果進(jìn)行了分析。 本文具體章節(jié)安排如下： ， 第一章：緒論，首先介紹了視頻壓縮編碼的發(fā)展及應(yīng)用，接著介紹了h 2 6 4 視頻編碼技術(shù)的產(chǎn)生和研究背景，最后介紹了本文的研究內(nèi)容以及章節(jié)安排。 第二章：首先論述了視頻編碼的必要性和可行性，接著介紹了視頻編解碼的 發(fā)展歷程，比較了各個(gè)階段的視頻編碼標(biāo)準(zhǔn)的性能比較和關(guān)鍵技術(shù)，并對h 2 6 4 編解碼框架簡要分析，然后闡述了h 2 6 4 中的熵編碼基本原理，最后簡要分析并 比較了兩種熵編碼。 第三章：首先從理論上研究了c a v l c 編碼的流程，針對編碼的每個(gè)步驟進(jìn)行 分析，得到優(yōu)化的編碼方案，從而給出了本文編碼器的實(shí)現(xiàn)方法，并使用本文的 c a v l c 編碼器中的重要信號進(jìn)行說明具體的實(shí)現(xiàn)流程。 第四章：首先從系統(tǒng)架構(gòu)的角度提出了本文的c a v l c 編碼器硬件結(jié)構(gòu)，接著 對c a v l c 編碼器中編碼非零系數(shù)個(gè)數(shù)和拖尾系數(shù)個(gè)數(shù)模塊、宏塊上下文管理模 塊、編碼全部零個(gè)數(shù)模塊、編碼幅值模塊、編碼拖尾系數(shù)模塊以及編碼每個(gè)非零 系數(shù)前零游程模塊等主要的功能模塊的硬件結(jié)構(gòu)設(shè)計(jì)進(jìn)行了詳細(xì)的介紹。然后介 紹了a s i c 和f p g a 的開發(fā)流程，然后對本文采用的設(shè)計(jì)驗(yàn)證方法進(jìn)行了介紹，最 后對驗(yàn)證結(jié)果和綜合結(jié)果進(jìn)行了分析。 第五章：結(jié)束語，總結(jié)和全文，并對未來的研究和改進(jìn)工作進(jìn)行了展望。 第二章h 2 6 4 視頻編碼的研究 5 第二章h 2 6 4 視頻編碼的研究 h 2 6 4 a v c t l j 標(biāo)準(zhǔn)是由國際電信聯(lián)盟i t u t 的視頻編碼專家組v c e g 和國際標(biāo) 準(zhǔn)化組織i s o 的運(yùn)動(dòng)圖像專家組m p e g 聯(lián)合提出的新一代視頻編碼標(biāo)準(zhǔn)。h 2 6 4 采用了一些新技術(shù)來提高編碼效率，如四分之一像素運(yùn)動(dòng)估計(jì)、幀內(nèi)預(yù)測、多參 考幀、去塊效應(yīng)濾波和熵編碼。與之前的視頻編碼標(biāo)準(zhǔn)相比，h 2 6 4 在同樣的重建 圖像質(zhì)量下碼率可以降低5 0 左右。 熵編碼作為h 2 6 4 標(biāo)準(zhǔn)中的關(guān)鍵技術(shù)，對提高整個(gè)編碼系統(tǒng)的效率至關(guān)重要。 h 2 6 4 中的熵編碼主要由兩部分組成，即基于上下文的自適應(yīng)可變長編碼c a v l c ( c o n t e x t - a d a p t i v ev a r i a b l e 1 e n g t hc o d i n g ) 和基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼 c a b a c ( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。在h - 2 6 4 標(biāo)準(zhǔn)中的 b a s e l i n ep r o f i l e 只支持c a v l c ，而在m a i np r o f i l e 中同時(shí)支持c a v l c 和c a b a c 。 這兩種編碼方法都是利用自適應(yīng)的上下文模型來提高編碼的效率。與c a v l c 相 比，c a b a c 可以使碼率降低9 1 4 ，但是復(fù)雜度增加了2 5 3 0 。本文著重研究 在b a s e l i n ep r o f i l 中支持的c a v l c 算法。 本章首先簡要視頻編碼的必要性和可行性，接著介紹了視頻編碼標(biāo)準(zhǔn)的發(fā)展 歷程，對各個(gè)階段的編碼標(biāo)準(zhǔn)進(jìn)行比較，詳細(xì)介紹了h 2 6 4 標(biāo)準(zhǔn)的編解碼框架和 關(guān)鍵技術(shù)，然后對h 2 6 4 標(biāo)準(zhǔn)中熵編碼的算法進(jìn)行了簡要的分析。 2 1 視頻編碼的必要性和可行性 由于視頻承載了海量信息，包含大量數(shù)據(jù)，對通信傳輸帶寬和數(shù)據(jù)存儲(chǔ)都提 出了更高的要求。以常見的c i f 格式為例，每幅c i f 由2 8 8 行組成，每行包括3 5 2 個(gè)像素點(diǎn)；如果對每個(gè)像素點(diǎn)的r 、g 、b 分量都采用8b i t 數(shù)據(jù)進(jìn)行表示，當(dāng)幀速 率為2 5 f p s 時(shí)，每秒c i f 圖像占用的數(shù)據(jù)量為： 2 8 8 3 5 2 3x8x2 5 = 5 9 4 m b i t 對于符合p a l 制式的標(biāo)準(zhǔn)電視信號的y ，c r ，c b 分量所占比特?cái)?shù)分別是 7 9 1 m b i t ，1 9 7 8 m b i t ，1 9 7 8 m b i t ，每秒p a l 制式的視頻數(shù)據(jù)量為： ( 7 9 1 + 1 9 7 8 + 1 9 7 8 ) 2 = 2 3 7 3 2m b i t 而高清晰電視h d t v 的數(shù)據(jù)量達(dá)到了1 2 g b p s 以上。與此同時(shí)，傳輸網(wǎng)絡(luò)的 帶寬和存儲(chǔ)媒質(zhì)容量都非常有限，例如：公共交換電信網(wǎng)p s t n 的帶寬是 3 3 6 - - 5 6 k b p s ，綜合業(yè)務(wù)數(shù)字網(wǎng)i s d n 的帶寬是( 2 b + d ) 1 4 4 k b p s ，非對稱數(shù)字用 6 h 2 6 4 中c a v l c 編碼器的v l s i 結(jié)構(gòu)設(shè)計(jì) 戶環(huán)路a d s l 的帶寬是1 1 5 m b p s ，全球移動(dòng)通信系統(tǒng)g s m 帶寬為9 6 - - 1 4 4 k b p s ， 而存儲(chǔ)介質(zhì)中c d r o m 大小為7 5 0 m b ，d v d r o m 大小為4 7 g b 可以看出，如果在d v d r o m 上保存p a l 制式的視頻數(shù)據(jù)，只能保存不到半 分鐘的內(nèi)容。視頻數(shù)據(jù)這種海量性對存儲(chǔ)器、通信信道和計(jì)算機(jī)的處理速度增加 了極大的壓力。因此無論是存儲(chǔ)、傳輸還是處理，數(shù)字視頻必須經(jīng)過有效的壓縮 編碼才能具有實(shí)際應(yīng)用價(jià)值，而視頻數(shù)據(jù)由于具有多種相關(guān)性，只要采用相應(yīng)的 方法去除相關(guān)性造成的各種冗余就能對原始視頻信號進(jìn)行有效的壓縮。一般而言， 數(shù)字視頻信號的冗余可歸為以下幾類： 1 空間冗余：數(shù)字圖像是視頻基本組成元素，通過對模擬視頻信號進(jìn)行空間采樣 得到的，所以構(gòu)成數(shù)字圖像的相鄰像素間具有較大相關(guān)性，即這些像素之間的 像素值相差通常不會(huì)很大。各像素的值可以通過相鄰像素的數(shù)值預(yù)測出來，每 個(gè)獨(dú)立的像素所攜帶的信息很少，這種像素間的冗余就稱為空間冗余。 2 時(shí)間冗余：由于視頻信號本質(zhì)上是一系列連續(xù)的圖像，為了達(dá)到連續(xù)的視頻效 果，幀與幀之間的采樣間隔很小，對于2 5f p s 的視頻信號，間隔時(shí)間為0 0 4s 。 因此相鄰視頻圖像間也存在著很強(qiáng)的相關(guān)性。對于靜止不動(dòng)的場景，相鄰兩幀 的內(nèi)容是完全相同的；對于場景中的運(yùn)動(dòng)目標(biāo)，如果知道運(yùn)動(dòng)規(guī)律，這樣就可 以很容易地從前一幀視頻圖像推算出它在當(dāng)前幀中的大致位置。 3 心理視覺冗余：在大多數(shù)情況下，人類視覺系統(tǒng)是視頻編碼系統(tǒng)的最終接受者。 而人類的視覺系統(tǒng)具有非線性和非均勻的特點(diǎn)，人類感知的圖像亮度不僅與該 點(diǎn)的反射光強(qiáng)有關(guān)，同時(shí)也受到相鄰的區(qū)域光強(qiáng)影響。另外人類視覺系統(tǒng)并非 對所有視覺信息都具有相同的敏感度。視頻中的部分信息在通常的感知過程中 與其他信息相比來說并不重要，所以就可以被視為心理視覺冗余，而且去除這 些信息不會(huì)明顯降低人類感受到的圖像的質(zhì)量。 4 編碼冗余：如果對圖像的所有信息都采用相同長度的符號表示，需要使用較多 比特才能完全表示圖像中的灰度和顏色信息。理想情況是按照像素信息的信息 熵大小為其分配相應(yīng)的比特?cái)?shù)。而在實(shí)際情況中，很難得到像素的具體信息熵。 在圖像的采樣和量化時(shí)一般方法是對所有像素分配相同比特?cái)?shù)，此時(shí)編碼采用 的碼不能使平均比特?cái)?shù)達(dá)到或接近熵值，在這種情況下一定存在熵編碼冗余。 2 2 視頻編碼的發(fā)展與比較 1 9 4 8 年，o l i v e r 提出了第一個(gè)編碼理論一脈沖編碼調(diào)制：同年，s h a n n o n 提出 并建立了信息率失真函數(shù)概念，后來進(jìn)一步確立了率失真理論，這些工作奠定了 第二章h 2 6 4 視頻編碼的研究 7 信息編碼的理論基礎(chǔ)。主要編碼方法包括變換編碼、預(yù)測編碼和統(tǒng)計(jì)編碼。這些 經(jīng)典方法被成為“第一代 視頻壓縮編碼方法。這些編碼方法在中等壓縮率的情 況下，提供了非常好的圖像質(zhì)量，但在低壓縮率情況下，無法令人滿意。這些技 術(shù)都沒有利用圖像的結(jié)構(gòu)特點(diǎn)，只能以像素或塊為編碼的對象，設(shè)計(jì)時(shí)也沒有考 慮人類視覺系統(tǒng)的特性、視頻圖像的具體特點(diǎn)，所以后來達(dá)到了頂峰。 為了克服“第一代刀視頻壓縮編碼方法的局限性，k u n t 等人提出了“第二代 視頻壓縮編碼方法，充分利用人的視覺心理、生理和圖像信源的各種特性，實(shí)現(xiàn) 從“波形 編碼到“模型一編碼的轉(zhuǎn)變，獲得了更高的壓縮比?！暗诙曨l壓 縮編碼方法結(jié)合計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)、人工智能與模式識別等多學(xué)科研究 成果，為視頻編碼開拓了廣闊的前景。但是增加了分析的難度和實(shí)現(xiàn)的復(fù)雜性。 近些年來，出現(xiàn)了一類充分利用人類視覺特性的“多分辨率編碼 的方法， 如子帶編碼和基于小波變換的編碼方法。這類方法使用不同類型的一維或二維線 性數(shù)字濾波器對視頻圖像進(jìn)行整體分解，然后根據(jù)人類視覺的特性對不同頻段的 數(shù)據(jù)進(jìn)行粗細(xì)不同的量化處理，以達(dá)到更好的壓縮效果。這類方法原理上是“波 形 編碼，仍屬于線性處理，可歸入經(jīng)典編碼方法，但它們又利用了人類視覺系 統(tǒng)的特性，因此可以被看作是“第一代 編碼技術(shù)向“第二代編碼技術(shù)的過渡。 為了推進(jìn)視頻編碼壓縮技術(shù)的發(fā)展和應(yīng)用，國際標(biāo)準(zhǔn)化組織i s o 和國際電信 聯(lián)盟i t u 制定了一系列視頻壓縮國際標(biāo)準(zhǔn)。m p e g 組織制定的各個(gè)標(biāo)準(zhǔn)都有不同 的目標(biāo)和應(yīng)用，目前已提出m p e g 1 、m p e g 2 、m p e g - 4 等標(biāo)準(zhǔn)。， 1 m p e g - 1 標(biāo)準(zhǔn)：1 9 9 3 年8 月公布，用于傳輸1 5 m b p s 數(shù)據(jù)傳輸率的數(shù)字媒體 運(yùn)動(dòng)圖像及其伴音的編碼。該標(biāo)準(zhǔn)包括五部分：第一部分說明了如何根據(jù)第 二部分視頻內(nèi)容以及第三部分音頻內(nèi)容的規(guī)定，對音頻和視頻進(jìn)行復(fù)合編碼。 第四部分說明了檢驗(yàn)解碼器或編碼器的輸出比特流是否符合前三部分規(guī)定的 過程。第五部分用完整的c 語言實(shí)現(xiàn)了編碼和解碼器。 該標(biāo)準(zhǔn)從頒布的那- n 起取得了成功，如v c d 和m p 3 的大量使用，w m d o w s 9 5 以后的版本都帶有一個(gè)m p e g 1 軟件解碼器，可攜式m p e g 1 攝像機(jī)等等。 2 m p e g 2 標(biāo)準(zhǔn)：1 9 9 4 年，m p e g 組織推出m p e g - 2 壓縮標(biāo)準(zhǔn)，針對標(biāo)準(zhǔn)數(shù)字 電視和高清晰度電視在各種應(yīng)用下的壓縮方案和系統(tǒng)層的詳細(xì)規(guī)定，編碼碼率 從每秒3m b i t - - 一1 0 0m b i t 。m p e g - 2 不是m p e g 1 的簡單升級，m p e g 2 在系 統(tǒng)和傳送方面作了更加詳細(xì)的規(guī)定和進(jìn)一步的完善。m p e g 2 圖像壓縮原理是 利用了圖像中的空間相關(guān)性和時(shí)間相關(guān)性，編碼時(shí)去除冗余信息，只保留少量 非相關(guān)信息進(jìn)行傳輸，節(jié)省傳輸頻帶。而接收機(jī)利用這些非相關(guān)信息，按照一 定的解碼算法，可以在保證一定的圖像質(zhì)量的前提下恢復(fù)原始圖像。 8 h 2 6 4 中c a v l c 編碼器的v l s i 結(jié)構(gòu)設(shè)計(jì) m p e g - 2 標(biāo)準(zhǔn)主要應(yīng)用在廣播電視領(lǐng)域中的視音頻資料的保存、電視節(jié)目的非 線性編輯系統(tǒng)及其網(wǎng)絡(luò)、衛(wèi)星傳輸、電視節(jié)目的播出等方面 3 m p e g - 4 標(biāo)準(zhǔn)：到1 9 9 9 年，m p e g - 4 標(biāo)準(zhǔn)出臺(tái)，它提供了低碼率、高質(zhì)量的 音視頻壓縮、編碼方案，推動(dòng)了視頻多媒體應(yīng)用的進(jìn)一步發(fā)展。m p e g - 4 的特 點(diǎn)是其更加注重多媒體系統(tǒng)的交互性和靈活性，是第一個(gè)具有交互性的動(dòng)態(tài)圖 像標(biāo)準(zhǔn)。它采用基于對象的編碼理念，將一幅景物分成在時(shí)間和空間上相互聯(lián) 系的若干視頻音頻對象，分別編碼后，經(jīng)過復(fù)用傳輸，接收端對不同的對象分 別解碼，從而組合成所需要的視頻和音頻。這樣我們可以對不同對象采用不同 的編碼方法和表示方法，又有利于不同數(shù)據(jù)類型間的融合，并且可以方便的實(shí) 現(xiàn)對于各種對象的操作及編輯。 m p e g - 4 是針對數(shù)字電視、交互式繪圖應(yīng)用、交互式多媒體等整合及壓縮技術(shù) 的需求而制定的國際標(biāo)準(zhǔn)，它將眾多的多媒體應(yīng)用集成在一個(gè)完整的框架內(nèi)， 旨在為多媒體應(yīng)用提供標(biāo)準(zhǔn)的算法及工具，從而建立起一種能被多媒體的存 儲(chǔ)、傳輸、檢索等應(yīng)用領(lǐng)域普遍采用的統(tǒng)一數(shù)據(jù)格式。 作為新一代多媒體數(shù)據(jù)壓縮編碼的代表，m p e g - 4 第一次提出了基于內(nèi)容、基 于對象的壓縮編碼思想，因而代表了現(xiàn)代數(shù)據(jù)壓縮編碼技術(shù)的發(fā)展方向，被廣 泛應(yīng)用于因特網(wǎng)視音頻廣播、無線通信、電視電話、動(dòng)畫、電子游戲等方面。 與此同時(shí)，國際電信聯(lián)盟( i t u t ) 的視頻編碼專家組( v c e g ) 也推出了h 2 6 1 、 h 2 6 3 、h 2 6 3 + 等一系列視頻壓縮編碼的國際標(biāo)準(zhǔn)，并且同m p e g 專家組一起推出 了h 2 6 4 壓縮編碼國際標(biāo)準(zhǔn)，下面簡要分析比較幾種主要的視頻編碼標(biāo)準(zhǔn)： 1 h 2 6 1 視頻編碼標(biāo)準(zhǔn)：作為最早的運(yùn)動(dòng)圖像壓縮國際標(biāo)準(zhǔn)，h 2 6 1 視頻編碼標(biāo) 準(zhǔn)是r r u t 為在綜合業(yè)務(wù)數(shù)字網(wǎng)( i s d 上應(yīng)用雙向聲像業(yè)務(wù)( 可視電話、視頻 會(huì)議) 而制定的，速率為6 4 k b s 的整數(shù)倍。它制定了視頻編碼的各個(gè)部分，包 括幀間預(yù)測、d c t 變換、量化、熵編碼以及速率控制等部分。h 2 6 1 只處理 c i f 和q c i f 兩種圖像格式，每幀圖像分成圖像層、宏塊組( g o b ) 層、宏塊層、 塊( b l o c k ) 層來處理。 、 2 h 2 6 3 視頻編碼標(biāo)準(zhǔn)：在h 2 6 1 基礎(chǔ)上發(fā)展起來的，是最早用于低碼率視頻 編碼的i t u t 標(biāo)準(zhǔn)，是i t u t 為低于6 4 k b s 的窄帶通信信道制定的視頻編碼 標(biāo)準(zhǔn)。與h 2 6 1 相比采用了半像素的運(yùn)動(dòng)補(bǔ)償，并增加了4 種有效的壓縮編碼 模式。隨后出現(xiàn)的第二版h 2 6 3 + 及h 2 6 3 + + 增加了許多選項(xiàng)，使其具有更廣泛 的適用性。h 2 6 3 的標(biāo)準(zhǔn)輸入圖像的格式可以是s q c i f 、q c i f 、c i f 、4 c i f 或者1 6 c i f 彩色4 ：2 ：0 的亞取樣圖像。h 2 6 3 視頻編碼標(biāo)準(zhǔn)的關(guān)鍵技術(shù)包括 允許運(yùn)動(dòng)矢量指向圖像以外的區(qū)域。當(dāng)某一運(yùn)動(dòng)矢量所指的參考宏塊位于圖像 第二章h 2 6 4 視頻編碼的研究 9 之外時(shí)，就用其邊緣的圖像像素值來代替；使用算術(shù)編碼來代替霍夫曼編碼， 在信噪比和重建圖像質(zhì)量相同的情況下可以降低碼率；允許一個(gè)宏塊中的4 個(gè) 8 8 亮度塊各自對應(yīng)一個(gè)運(yùn)動(dòng)矢量，從而提高了預(yù)測精度；兩個(gè)色度塊的運(yùn) 動(dòng)矢量取這4 個(gè)亮度塊運(yùn)動(dòng)矢量的平均值；補(bǔ)償時(shí)，使用重疊的塊運(yùn)動(dòng)補(bǔ)償， 8 x8 亮度塊的每個(gè)像素的補(bǔ)償值由3 個(gè)預(yù)測值加權(quán)平均得到，使用該模式可 以產(chǎn)生顯著的編碼增益。 h 2 6 3 + 標(biāo)準(zhǔn)是h 2 6 3 標(biāo)準(zhǔn)的版本2 ，它在保證原h(huán) 2 6 3 標(biāo)準(zhǔn)的核心句法和語義 不變的基礎(chǔ)上，增加了若干選項(xiàng)以提高壓縮效率或改善某些功能。它允許更大 范圍的圖像輸入格式，允許自定義圖像的尺寸，從而拓寬了標(biāo)準(zhǔn)使用的范圍。 h 2 6 3 + 采用先進(jìn)的幀內(nèi)編碼模式和增強(qiáng)的p b 幀模式，改進(jìn)了h 2 6 3 的不足， 增強(qiáng)了幀間預(yù)測的效果；采用去塊效應(yīng)濾波器提高了壓縮編碼效率。為適應(yīng)網(wǎng) 絡(luò)傳輸，h 2 6 3 + 增加了時(shí)間分級、空間分級和信噪比，這對噪聲信道和大量包 丟失的網(wǎng)絡(luò)中傳送視頻信息很有意義。 3 h 2 6 4 視頻編碼標(biāo)準(zhǔn)：制定h 2 6 3 標(biāo)準(zhǔn)后，i t u t 的視頻編碼專家組( v c e g ) 開始了兩個(gè)方面的研究：一個(gè)在h 2 6 3 基礎(chǔ)上增加選項(xiàng)，最終產(chǎn)生了h 2 6 3 + 與h 2 6 3 + h h 2 6 3 + + 在h 2 6 3 + 基礎(chǔ)上增加了三個(gè)選項(xiàng)) ；另一個(gè)是長期研究計(jì)劃， 制定一種支持低碼率的視頻通信的新標(biāo)準(zhǔn)，最終產(chǎn)生了h 2 6 l 標(biāo)準(zhǔn)草案，在壓 縮效率方面與先期的視頻壓縮標(biāo)準(zhǔn)相比，具有明顯的優(yōu)越性。隨后，i s o 與i t u 開始組建包括來自i s o 的m p e g 組織與i t u t 的v c e g 組織的聯(lián)合視頻組 ( j v t ) ，主要任務(wù)就是將h 2 6 l 草案發(fā)展為一個(gè)國際性標(biāo)準(zhǔn)。在i s o i e c 中該 標(biāo)準(zhǔn)命名為a v c ( a d v a n c e dv i d e oc o d i n g ) ，作為m p e g - 4 標(biāo)準(zhǔn)的第1 0 個(gè)選項(xiàng)； 在i t u t 中被正式命名為h 2 6 4 標(biāo)準(zhǔn)。 作為自m p e g - 2 視頻壓縮標(biāo)準(zhǔn)發(fā)布以后的最新視頻壓縮標(biāo)準(zhǔn)，h 2 6 4 在相同的 重建圖像質(zhì)量下，數(shù)據(jù)壓縮比是m p e g 2 的2 倍以上，是m p e g - 4 的1 5 - - 2 倍；對信道時(shí)延的適應(yīng)性較強(qiáng)，既可工作于低時(shí)延模式以滿足實(shí)時(shí)業(yè)務(wù)，又可 工作于無時(shí)延限制的場合；提高了網(wǎng)絡(luò)適應(yīng)性，采用“網(wǎng)絡(luò)友好 的結(jié)構(gòu)和語 法，加強(qiáng)了對誤碼和丟包的處理，提高解碼的差錯(cuò)恢復(fù)能力；采用復(fù)雜度的可 分級設(shè)計(jì)，在圖像質(zhì)量和編碼處理之間可分級，以適應(yīng)不同等級的應(yīng)用。正 是由于這些優(yōu)點(diǎn)，h 2 6 4 視頻壓縮標(biāo)準(zhǔn)被普遍認(rèn)為是最有影響力的行業(yè)標(biāo)準(zhǔn)。 為什么h 2 6 4 視頻壓縮標(biāo)準(zhǔn)有如此好的壓縮性能? 相對于之前的幾個(gè)視頻壓縮標(biāo) 準(zhǔn)，h 2 6 4 引入t i t 多先進(jìn)的關(guān)鍵技術(shù)，大致如下： 1 4 x 4 整數(shù)變換：以前的編碼標(biāo)準(zhǔn)，如h 2 6 3 或m p e g - 4 ，都是采用8 8 的 d c t 變換。h 2 6 l 標(biāo)準(zhǔn)建議的整數(shù)變換接近于4 x 4 的d c t 變換，降低了算法 1 0 h 2 6 4 中c a v l c 編碼器的v l s i 結(jié)構(gòu)設(shè)計(jì) 的復(fù)雜度，也避免了反變換的失配問題，4 x 4 的塊也可以減小塊效應(yīng)。而h 2 6 4 的4 x 4 整數(shù)變換進(jìn)一步降低了編碼算法的復(fù)雜度，相比h 2 6 l 中建議的整數(shù) 變換，由以前3 2 b 的輸入殘差數(shù)據(jù)降為現(xiàn)在的1 6 b 運(yùn)算，而且整個(gè)變換沒有乘 法，只需加法和一些移位運(yùn)算。新的變換對編碼的性能幾乎沒有影響，而且實(shí) 際編碼效果略好一些。 2 基于空域的幀內(nèi)預(yù)測技術(shù)：視頻編碼是通過去除圖像的時(shí)間與空間的相關(guān)性 來達(dá)到壓縮的目的。空間相關(guān)性通過有效的變換來去除，如h 2 6 4 的整數(shù)變換； 時(shí)間相關(guān)性則通過幀間預(yù)測來去除。這里所說的變換去除空間相關(guān)性，僅局限 在所變換的塊內(nèi)，如8 8 塊或者4 x 4 塊，并沒有塊與塊之間的處理。h - 2 6 4 在空域中利用當(dāng)前塊的相鄰像素直接對每個(gè)系數(shù)做預(yù)測，提高了幀內(nèi)編碼的效 率。幀內(nèi)預(yù)測時(shí)編碼器根據(jù)當(dāng)前塊相鄰的像素點(diǎn)計(jì)算預(yù)測值，再進(jìn)行差分編碼。 幀內(nèi)編碼宏塊類型包括 n t r a1 6 x1 6 和i n t r a4 x 4 兩種。根據(jù)圖像平滑程 度決定選用類型，如平滑簡單的區(qū)域采用i n t r a1 6 1 6 類型，而圖像細(xì)節(jié)方 面需要準(zhǔn)確預(yù)測時(shí)，采用i n t r a4 4 型。 3 運(yùn)動(dòng)估計(jì)：在幀間編碼過程中，編碼器可以根據(jù)編碼的需要對宏塊進(jìn)行分割。 內(nèi)容平滑的宏塊不作分割，包含細(xì)節(jié)的宏塊將根據(jù)情況分成2 個(gè)8 1 6 的塊， 或者2 個(gè)1 6 8 的塊，或者4 個(gè)8 8 的塊，分割出的每個(gè)塊都有自己的參考 幀標(biāo)號；8 8 的塊中如果還包含細(xì)節(jié)，可以被進(jìn)一步分割成2 個(gè)4 8 的塊， 或者2 個(gè)8 4 的塊，或者4 個(gè)4 4 的塊，這時(shí)分割出的塊都使用相同的參考 幀，不過每個(gè)塊都有自己的運(yùn)動(dòng)矢量。也就是說，一個(gè)宏塊最多需要發(fā)送4 個(gè) 參考幀標(biāo)號和1 6 個(gè)運(yùn)動(dòng)矢量。 h 2 6 4 的運(yùn)動(dòng)估計(jì)具有三個(gè)新特點(diǎn)：四分之一像素精度的運(yùn)動(dòng)估計(jì)：七種不同 大小的塊進(jìn)行匹配；前向和后向多參考幀。幀間編碼時(shí)，一個(gè)宏塊( 1 6 1 6 ) 可以被分為1 6 8 、8 1 6 、8 8 三種塊，而8 8 的塊被稱為子宏塊，又可以 分為8 4 、4 x 8 、4 x 4 三種塊。與以往標(biāo)準(zhǔn)的p 幀、b 幀不同，h 2 6 4 采用 了前向與后向多個(gè)參考幀的預(yù)測。半像素精度的運(yùn)動(dòng)估計(jì)比整像素的運(yùn)動(dòng)估計(jì) 有效地提高了壓縮比，而四分之一像素精度的運(yùn)動(dòng)估計(jì)可帶來更好的壓縮效 果。多參考幀預(yù)測方面，假設(shè)為5 個(gè)參考幀預(yù)測，相對于一個(gè)參考幀，可降低 5 - - 1 0 的碼率。 4 熵編碼：h 2 6 4 提供兩種熵編碼方法，一種是u v l c 結(jié)合基于上下文的自適 應(yīng)可變長編碼c a v l c ( c o n t e x t - a d a p t i v ev a r i a b l e l e n g t hc o d i n g ) 的變長編碼， 另一種是基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼c a b a c ( c o n t e x t - b a s e a a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。在h 2 “標(biāo)準(zhǔn)中的b a s e l i n ep r o f i l e 只支持 c a v l c ，而在m a i np r o f i l e 中同時(shí)支持c a v l c 和c a b a c 。這兩種編碼方法 都是利用自適應(yīng)的上下文模型，即根據(jù)相鄰塊的情況來編碼當(dāng)前塊，這樣便提 第二章h 2 6 4 視頻編碼的研究 高了編碼的效率。 5 d c t 變換和量化：h 2 6 4 中采用了基于4 4 像素塊的整數(shù)d c t 變換。與浮點(diǎn) 運(yùn)算相比，整數(shù)d c t 變換雖然會(huì)引起一些額外的誤差，但整數(shù)d c t 變換具有 運(yùn)算量小、復(fù)雜度低等優(yōu)點(diǎn)。h 2 6 4 中采用標(biāo)量量化技術(shù)，將每個(gè)像素編碼映 射為較小的數(shù)值。在不降低視覺效果的前提下，量化過程盡量減少圖像編碼長 度，減少視覺恢復(fù)中不必要的信息。量化步長q p 決定量化器的壓縮率及圖像 精度。如果q p 較大，則量化值的動(dòng)態(tài)范圍較小，相應(yīng)的編碼長度較小，但反 量化時(shí)會(huì)損失較多的圖像細(xì)節(jié)信息；如果q p 較小，則量化值的動(dòng)態(tài)范圍較大， 其相應(yīng)的編碼長度也較大，但圖像細(xì)節(jié)信息損失的較少。編碼器可以根據(jù)實(shí)際 動(dòng)態(tài)范圍自動(dòng)改變q p 值，在編碼長度和圖像精度之間折中，達(dá)到最佳效果。 6 去塊效應(yīng)濾波器：方塊效應(yīng)也稱為馬賽克效應(yīng)，是基于塊的壓縮編碼時(shí)由于 邊緣的數(shù)據(jù)在重建時(shí)比塊內(nèi)數(shù)據(jù)的精度低造成的。h 2 6 4 采用自適應(yīng)的環(huán)內(nèi)去 方塊濾波器對塊的邊界進(jìn)行去塊濾波，濾除重建圖像中的方塊效應(yīng)。一個(gè)邊緣 兩邊的像素是否需要去塊濾波，是由兩邊的像素亮度差的絕對值決定的，判定 的門限值與量化系數(shù)有關(guān)。當(dāng)絕對值較大時(shí)，表明存在方塊效應(yīng)，需要去塊濾 波，但是如果絕對值超出了當(dāng)前量化系數(shù)所能引起的誤差，說明是圖像內(nèi)容變 化引起的，此時(shí)不需要去塊濾波。需要去塊濾波的邊緣部分，還要根據(jù)兩邊塊 一 的預(yù)測方式和運(yùn)動(dòng)矢量等信息決定去塊濾波的強(qiáng)度。 h 2 6 4 中經(jīng)過去塊濾波的圖像方塊效應(yīng)明顯減小，同時(shí)圖像中的細(xì)節(jié)部分基本 無變化，避免了去塊濾波引起的圖像模糊，圖像的主觀質(zhì)量明顯提高。采用去 塊濾波器后，在相同客觀質(zhì)量下編碼器輸出的比特率下降5 1 0 。 目前，h 2 6 1 與h 2 6 3 已被廣泛應(yīng)用，成熟的產(chǎn)品已經(jīng)很多。h 2 6 3 與h 2 6 1 相比，增加了若干選項(xiàng)，提供了更靈活的編碼方式，壓縮效率提高。h 2 6 4 視頻編 碼標(biāo)準(zhǔn)的推出，是視頻編碼標(biāo)準(zhǔn)的一次重要進(jìn)步，它與現(xiàn)有的m p e g 2 、m p e g - 4 及h 2 6 3 相比，具有明顯的優(yōu)越性，特別是在編碼效率上的提高。盡管h 2 6 4 的 算法復(fù)雜度高，隨著集成電路技術(shù)的快速發(fā)展，h 2 6 4 的應(yīng)用已成為現(xiàn)實(shí)。 2 3h 2 6 4 視頻編碼標(biāo)準(zhǔn)概述 2 3 1h 2 6 4 視頻編解碼框架 h 2 6 4 編碼器的結(jié)構(gòu)框架如圖2 1 所示。當(dāng)前幀f n 以宏塊為單位依次進(jìn)入編碼 器。編碼器包括兩個(gè)通路：前向編碼通路和反向重建圖像通路。 1 2 h 2 6 4 中c a v l c 編碼器的v l s i 結(jié)構(gòu)設(shè)計(jì) 圖2 1h 2 6 4 編碼器結(jié)構(gòu)框圖 在前向編碼通路中，每個(gè)宏塊的編碼方式分為幀內(nèi)和幀間兩種編碼模式。當(dāng) 采用幀內(nèi)編碼模式時(shí)，由當(dāng)前幀f n 已重建的宏塊來預(yù)測宏塊，得到當(dāng)前宏塊的預(yù) 測值；當(dāng)采用幀間編碼模式時(shí)，是由當(dāng)前幀f n 的參考幀f n - 1 來對當(dāng)前宏塊進(jìn)行 幀間預(yù)測( 運(yùn)動(dòng)估計(jì)) 得到當(dāng)前宏塊的預(yù)測值。然后由預(yù)測宏塊和當(dāng)前宏塊相減 得到殘差宏塊，再對宏塊的殘差數(shù)據(jù)進(jìn)行d c t 變換和量化操作，得到殘差宏塊的 變換系數(shù)，殘差的變換系數(shù)以及預(yù)測信息再經(jīng)過熵編碼得到最終的碼流。 為了和解碼端保持一致，需要得到已編碼宏塊的重建宏塊，所以在編碼器中 建立個(gè)反向重建通路。在反向重建通路中，d c t 變換和量化后的殘差的變換系 數(shù)經(jīng)過反量化和反d c t 變換得到殘差數(shù)據(jù)的宏塊，殘差數(shù)據(jù)的宏塊與預(yù)測宏塊相 加得到未經(jīng)去塊濾波的重建宏塊，再經(jīng)過去塊效應(yīng)濾波器得到重建圖像。 h 2 6 4 的視頻序列通常的編碼過程如圖2 2 所示， 卜一 櫳猿亭列一 圖2 2 視頻序列編碼過程 第二章h 2 6 4 視頻編碼的研究 1 3 所以一個(gè)視頻序列的編碼過程大致如下： 1 把一個(gè)視頻序列先按照上圖的結(jié)構(gòu)劃分為一幀幀連續(xù)的圖像，再把每幀圖像劃 分為若干個(gè)片( s l i c e ) ，每個(gè)片劃分為宏塊，最終每個(gè)宏塊劃分為小塊，每個(gè) 小塊包含很多像素點(diǎn)，這樣編碼一個(gè)視頻序列就變?yōu)榫幋a一個(gè)個(gè)小塊的過程。 2 通過對塊的變換、量化和熵編碼，消除圖像中的空間冗余。 3 由于相鄰幀圖像存在很大的相似性( 即時(shí)間冗余) ，所以只需要將相鄰幀圖像間 的變化