基于FPGA的H264視頻編碼器設(shè)計(jì)

1、華僑大學(xué)碩士學(xué)位論文基于fpga的h. 264視頻編碼器設(shè)計(jì)姓名：陳新興中請學(xué)位級別：碩士專業(yè)：物理電子學(xué)指導(dǎo)教師：林其偉20071201摘要隨著多媒體編碼技術(shù)的發(fā)展，視頻壓縮標(biāo)準(zhǔn)在很多領(lǐng)域都得到了成 功應(yīng)用，如視頻會(huì)議(h.263)、dvd(mpeg-2)機(jī)頂盒(mpeg-2)等等， 而網(wǎng)絡(luò)帶寬的不斷提升和高效視頻壓縮技術(shù)的發(fā)展使人們逐漸把關(guān)注的 焦點(diǎn)轉(zhuǎn)移到了寬帶網(wǎng)絡(luò)數(shù)字電視(iptv)、流媒體等基于傳輸?shù)臉I(yè)務(wù)上來。 帶寬的增加為流式媒體的發(fā)展鋪平了道路，而高效的視頻壓縮標(biāo)準(zhǔn)的出 臺(tái)則是流媒體技術(shù)發(fā)展的關(guān)鍵。h.264/avc是由國際電信聯(lián)合會(huì)和國際 標(biāo)準(zhǔn)化組織共同發(fā)展的下一代視頻壓縮標(biāo)準(zhǔn)之

2、一。新標(biāo)準(zhǔn)中采用了新的 視頻壓縮技術(shù)，如多模式幀間預(yù)測、1/4像素精度預(yù)測、整數(shù)dct變換、 變塊尺寸運(yùn)動(dòng)補(bǔ)償、基于上下文的二元算術(shù)編碼(cabac)、基于上下文 的變長編碼(cavlc)等等，這些技術(shù)的采用大大提高了視頻壓縮的效率, 更有利于寬帶網(wǎng)絡(luò)數(shù)字電視(iptv)、流媒體等基于傳輸?shù)臉I(yè)務(wù)的實(shí)現(xiàn)。木文主要根據(jù)視頻會(huì)議應(yīng)用的需要對jm8.6代碼進(jìn)行優(yōu)化，冃標(biāo)是 實(shí)現(xiàn)基于baseline的低復(fù)雜度的cif編碼器，并對部分功能模塊進(jìn)行電 路設(shè)計(jì)。在設(shè)計(jì)方法上采用自頂向下的設(shè)計(jì)方法，首先對h.264編碼器 的c代碼和算法進(jìn)行優(yōu)化，并對優(yōu)化后的結(jié)果進(jìn)行測試比較，結(jié)果顯示 在圖像質(zhì)量沒有明顯降低的情

3、況下，h.264編碼器編碼cif格式視頻每 秒達(dá)到15幀以上，滿足了視頻會(huì)議應(yīng)用的實(shí)時(shí)性要求。然后，以c模 型為參考對h.264編碼器的部分功能模塊電路進(jìn)行設(shè)計(jì)。采用verilog hdl實(shí)現(xiàn)了這些模塊，并在quartus ii中進(jìn)行了綜合、仿真、驗(yàn)證。主 要完成了 zig-zag掃描和cavlc模塊的設(shè)計(jì)，詳細(xì)說明模塊的工作原理 和過程，然后進(jìn)行多組的仿真測試，結(jié)果與c模型相應(yīng)部分的結(jié)果一致,證明了設(shè)計(jì)的正確性。關(guān)鍵詞：h264； fp8x；視頻編碼器；優(yōu)化；abstractalong with the development of the coding technical.the stan

4、dard of the video frequency got the successful application in lots of realms.such as video conferencing (h.263), dvd(mpeg-2), the set-top box(mpeg-2) etc.and in the future, the network bandwidth promotes continuously and efficiently the technical development of the video frequency compression make p

5、eople turn the foucus on the business base on the transmission such as the network numerical television(iptv), flow medium.etc. the increase in bandwidth for streaming media paved the way for the development,and the efficiently standard of the video frequency compresses would be the key of the mediu

6、m technique development. h.264/avc is the itu-t and the iso common development of the next generation of video compression standards. new standards adopted a new video compression technologies, such as multi-mode interframe prediction, 1 / 4 pixel accuracy of forecasts, integer dct, variable block s

7、ize motion compensation, based on the context of binary arithmetic coding (cabac), based on the context of variable length coding (cavlc) and so on, the introduction of these technologies has greatly enhanced the efficiency of video compression, broadband network is more conducive to the realization

8、 of the business base on the transmission such as the network numerical television(iptv), flow medium.etc.this paper mainly based video conferencing applications need to optimize the code jm8.6, the aim is to achieve baseline cif encodero methods used in the design is top-down design method, the fir

9、st optimize c code and algorithms of h.264 encoder, and test the results o the results showed that the image quality has not decreased significantly circumstances, h.264 encoder encode cif format 15fps above,it meets theivreal-time requirements of video conferencing applications and then use c model

10、 as a reference and design the part of the h.264 encoder function module circuit using verilog hdl implementation of these modules, and use quartus ii to synthesize, simulate and verify . main completed the zig-zag scanning and cavlc module design, detailed description of the working principle and m

11、odule process, and then teams of the simulation test results with the corresponding part of the c model consistent results proved the correctness of the design.keywords： h.264; fpga; video encoder; optimize;cavlc原創(chuàng)性聲明及論文格式1、原創(chuàng)性聲明論文使用權(quán)說明格式如下：原創(chuàng)性聲明本人聲明茲呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下完成的研究成果。 論文寫作中不包含其他人已經(jīng)發(fā)表或撰寫過的研究內(nèi)容

12、，如參考他人或 集體的科研成果，均在論文中以明確的方式說明。本人依法享有和承擔(dān) 由此論文所產(chǎn)生的權(quán)利和責(zé)任。學(xué)位論文作者簽名：日期：2、論文使用權(quán)說明格式如下學(xué)位論文版權(quán)使用授權(quán)聲明本人同意授權(quán)華僑大學(xué)有權(quán)保留并向國家機(jī)關(guān)或機(jī)構(gòu)送交學(xué)位論文和磁盤，允許學(xué)位論文被查閱和借閱。論文作者簽名：指導(dǎo)教師簽名：簽名日期：簽名日期：第一章緒論2003年5月，一種全新的視頻編碼標(biāo)準(zhǔn)h.264正式發(fā)布，h.264是國際電信協(xié) 會(huì)(itu)的視頻編碼專家組(vceg)和國際標(biāo)準(zhǔn)化組織(iso)的運(yùn)動(dòng)圖像專家 組(mpeg)聯(lián)合成立的“聯(lián)合視頻組” (jvt: joint video team)共同制定的新視 頻

13、標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)也被iso接受，稱為avc,是mpeg-4的第10部分。該標(biāo)準(zhǔn)主要 面向視頻傳輸，具有壓縮率高、適用范圍廣等優(yōu)點(diǎn)。h.264代表了視頻編碼技術(shù)的 最新進(jìn)展，具有非常廣闊的應(yīng)用前景。但是h.264視頻編碼的復(fù)雜度比較高，軟件 編碼對硬件要求很高才能達(dá)到實(shí)時(shí)性要求，使用硬件編碼可以降低對硬件的要求， 降低成本。本文的目標(biāo)就是對h.264的c代碼和算法進(jìn)行優(yōu)化，并在此基礎(chǔ)設(shè)計(jì) h.264編碼器的部分功能電路。1.1研究背景與意義眾所周知，人類通過視覺獲取的信息量約占總信息量的70%,而視頻信息所具 備的直觀性、可信性等一系列優(yōu)點(diǎn)使得視頻應(yīng)用成為人們生活中不可缺少的一部分。隨著現(xiàn)代超大規(guī)模

14、集成電路技術(shù)、數(shù)字信號處理技術(shù)、計(jì)算機(jī)技術(shù)、通訊技術(shù) 的飛速發(fā)展，硬件處理能力的不斷提高，人們對除電話語音外的多媒體信息的需求 也不斷提高。以國際電信聯(lián)盟(itu)和國際標(biāo)準(zhǔn)化組織(iso)為代表的機(jī)構(gòu)和組織，分 別制定了一系列視頻編碼的標(biāo)準(zhǔn)，如h.261/h.263/h.264,以及mpeg-1/2/4等，這 些標(biāo)準(zhǔn)極大的推動(dòng)了數(shù)字視頻應(yīng)用領(lǐng)域的發(fā)展。數(shù)字電視、互聯(lián)網(wǎng)流媒體、數(shù)字存 儲(chǔ)個(gè)人娛樂、視頻電話和視頻會(huì)議等等，已經(jīng)越來越深入到人們的日常生活當(dāng)中。 數(shù)字視頻應(yīng)用中，至今為止最成功的是mpeg-2標(biāo)準(zhǔn)，目前的數(shù)字電視和dvd影 碟的應(yīng)用都是建立在其基礎(chǔ)上的。但mpeg-2標(biāo)準(zhǔn)已經(jīng)有了十多

15、年的歷史，從技術(shù) 角度來說已明顯落后。隨著芯片設(shè)計(jì)技術(shù)的發(fā)展和處理器處理能力的不斷提高，近 兒年來，在一些公司、技術(shù)標(biāo)準(zhǔn)組織的努力下，兒個(gè)新的視頻編碼標(biāo)準(zhǔn)逐漸流行起 來，比較有代表性的有 mpeg-4/visual part2. h.264/avc、microsoft 公司的 vc1 以及中國的avs標(biāo)準(zhǔn)o h.264/avc標(biāo)準(zhǔn)是目前itu和iso聯(lián)合提出的最新的視頻壓 縮編碼國際標(biāo)準(zhǔn)，由于h.264在壓縮性能及一些先進(jìn)特征上致力于更遠(yuǎn)的目標(biāo)，如 在壓縮性能上超過其他標(biāo)準(zhǔn)、低成本、減少延時(shí)、增強(qiáng)誤碼和包丟失的魯棒性、碼 率自適應(yīng)性，信源特性的更好匹配等，在同樣圖像質(zhì)量下，可節(jié)省約50%的比特

16、率。 因此，很多廠商都投入到h.264的商用產(chǎn)品生產(chǎn)中。但其代價(jià)是編碼運(yùn)算復(fù)雜度的 大幅度增加，如何減少運(yùn)算量提高處理速度是h.264/avc視頻編碼標(biāo)準(zhǔn)能否得到廣 泛應(yīng)用的關(guān)鍵。目前，國內(nèi)數(shù)字消費(fèi)類整機(jī)市場下降但數(shù)字音視頻編解碼芯片市場需求仍高速 增長。由于數(shù)字消費(fèi)類產(chǎn)品在音、視頻效果及信息的互動(dòng)方面存在傳統(tǒng)的視聽產(chǎn)品 無法比擬的優(yōu)越性，因此迅速成長為全球的消費(fèi)熱點(diǎn)，年平均增長速度達(dá)到30%左 右。在整機(jī)市場的帶動(dòng)下，數(shù)字音視頻編解碼芯片市場幾年來持續(xù)高速增長。而美 國、日本的部分跨國半導(dǎo)體公司幾乎壟斷了國內(nèi)數(shù)字消費(fèi)類ic市場。制定音視頻技 術(shù)標(biāo)準(zhǔn)和設(shè)計(jì)自主產(chǎn)權(quán)的視頻編解碼芯片，使我國可以掌

17、握數(shù)字電視產(chǎn)業(yè)的主動(dòng)權(quán), 擺脫國外的技術(shù)和專利的限制，才能保證在激烈的市場競爭屮立于不敗之地。1.2視頻壓縮技術(shù)及其芯片的國內(nèi)國外研究現(xiàn)狀由于h.264標(biāo)準(zhǔn)是由國外眾多知名公司提出，而且已經(jīng)比較成熟，所以很多公司 都已經(jīng)針對h.264協(xié)議展開設(shè)計(jì)工作，在國外企業(yè)中，有的己經(jīng)可以給出一個(gè)完整的 高清視頻解決方案，并且設(shè)計(jì)出的芯片也已經(jīng)能量產(chǎn)，無論從性能還是價(jià)格都己經(jīng) 比較成熟，依靠這些編解碼芯片的周邊產(chǎn)品在市場上也有出現(xiàn)，有的還正在處于研 發(fā)階段或者產(chǎn)品評估階段。科勝訊公司也正在設(shè)讓兩款h.264編解碼器，其中笫一款 將把主系統(tǒng)處理器和mpeg4-avc協(xié)處理器集成在一起，第二款則會(huì)進(jìn)一步集成其

18、 它硬件電路和微碼，以支持兩路h.264和兩路任意音頻信的并行解碼。德州儀器的 數(shù)字媒休處理平臺(tái)促進(jìn)了先進(jìn)視頻編解碼器的發(fā)展，如dm270所支持的mpeg4個(gè)人 媒體播放器已在市場上已經(jīng)可以見到。而dm642所支持的h.264單路d1或多路cif的 能力已將數(shù)字視頻監(jiān)控技術(shù)提高到了個(gè)全新的水平。德州儀器公司推出的達(dá)芬奇技 術(shù)平臺(tái)可簡化數(shù)字視頻產(chǎn)品的設(shè)計(jì)，即使沒有編解碼器或dsp專業(yè)技能的oem也可 快速推出數(shù)字視頻功能的產(chǎn)品。對采用達(dá)芬奇技術(shù)的產(chǎn)品而言，為應(yīng)用添加視頻功 能變得像api編程一樣簡單，不僅可為廠商節(jié)約數(shù)月的開發(fā)時(shí)間，而且由于復(fù)用和高 度的集成能大幅降低整休系統(tǒng)成本達(dá)50%2005

19、年末st開始量產(chǎn)的sti7100是一款 節(jié)約成本的單芯片方案，它支持1080i高清mpeg2和h.264 main profile/high profile 解碼。該芯片是一款己經(jīng)量產(chǎn)的單芯片方案。在2007年，st將推出兩款新品，以繼 續(xù)保持市場的領(lǐng)先地位。sigmatel公司目前有兩款先進(jìn)編解碼器產(chǎn)品供應(yīng)，其屮 stmp36xx系列支持qvga格式的視頻或者更低的分辨率。另外，該公司一款型號為 pr818s的soc芯片已被三星公司所采用,這款芯片集成了節(jié)電設(shè)計(jì)后mpeg4 asp/sp. mpeg2/1以及jpeg編解碼器，在ntsc和pal碼率下支持d1以丄的分辨率 。由此可見，國際上的

20、單芯片處理的方案己經(jīng)較為成熟，產(chǎn)品也已經(jīng)能夠在市場 當(dāng)中找到。因此我們必需加快自主產(chǎn)權(quán)的視頻編解碼芯片的研發(fā)。相比國外現(xiàn)狀，國內(nèi)高清視頻解碼領(lǐng)域還處于一個(gè)起步階段，因?yàn)樵趪鴥?nèi)不但 有國外所推崇的h.264協(xié)議，而口還有我國力推的avs協(xié)議，兩個(gè)協(xié)議的編解碼質(zhì)量 不分伯仲，實(shí)現(xiàn)難度avs相對于h.264協(xié)議來說較低一些。h.264協(xié)議在國內(nèi)也有很 多公司處于研發(fā)階段，有的是基于國外已經(jīng)成熟的設(shè)計(jì)基礎(chǔ)上的改進(jìn)，有的則是直 接將國外成熟的產(chǎn)品引入國內(nèi)，富士通微電子（上海）有限公司日前宣布，富士通 正在開發(fā)全新款的大規(guī)模集成電路，該芯片采用h.264標(biāo)準(zhǔn)，可以實(shí)現(xiàn)高清電視圖像 的實(shí)時(shí)壓縮和解壓縮。該新

21、款大規(guī)模集成電路芯片t-2007年3月發(fā)布國。還有海思半 導(dǎo)體推出的hi3510o hi3510采用arm+dsp+硬件加速引擎的多核高集成度的soc構(gòu) 架，具備強(qiáng)大的視頻處理功能，可實(shí)現(xiàn)dvd畫質(zhì)的實(shí)時(shí)編碼性能，能自適應(yīng)各種網(wǎng) 絡(luò)環(huán)境，確保畫面的清晰度和實(shí)時(shí)性，低碼率的h.264編碼技術(shù)極人減少網(wǎng)絡(luò)存儲(chǔ)空 間，通過集成des/3des加解密硬件引擎確保網(wǎng)絡(luò)安全。由屮科院帶頭寧波市政府 大力扶持，寧波中科集成電路設(shè)計(jì)中心的“鳳芯”二號視頻解碼芯片受到了廣泛的 關(guān)注，芯片采用了自主研究的多標(biāo)準(zhǔn)可配置數(shù)字視音頻編解碼技術(shù)，完全兼容avs、 h.264 main profile標(biāo)準(zhǔn)，通過高度的復(fù)用設(shè)

22、計(jì)實(shí)現(xiàn)了高清實(shí)時(shí)解碼，也是國內(nèi)首款 同時(shí)兼容與協(xié)議的產(chǎn)晶。在整個(gè)設(shè)計(jì)中采用復(fù)用和并行設(shè)計(jì)來實(shí)現(xiàn)兩種協(xié)議的兼容 71o目前國內(nèi)外的高清音視頻產(chǎn)品已經(jīng)走向成熟，為了保證我們設(shè)計(jì)出來的產(chǎn)品能 夠在同類產(chǎn)品中取得優(yōu)勢，我們必須加快步伐，創(chuàng)立自主的技術(shù)特色的視頻編碼器。1.3視頻壓縮原理未經(jīng)壓縮的數(shù)字視頻數(shù)據(jù)量非常大，一般不適合于直接存儲(chǔ)和傳輸。例如：對 于ccir-601格式的視頻數(shù)據(jù)，當(dāng)幀頻為25fps,每采樣點(diǎn)用8比特表示，色差格式 為4: 2: 2時(shí)，每秒數(shù)據(jù)量為720x576x25x2x8 = 165.9mbit/s,如果直接在容量 為4.7gb的dvd格式光盤屮保存，則只能保存不到4分鐘的內(nèi)

23、容。對于高清晰度 數(shù)字電視(itu-r709)每秒數(shù)據(jù)量更高達(dá)lgbits/s,利用mpeg-2壓縮后，尚需 20mbit/so而地面廣播系統(tǒng)的傳輸帶寬僅有68m,因此對于存儲(chǔ)和傳輸，數(shù)字視 頻都必須經(jīng)過極大的壓縮才能具有實(shí)用意義。視頻壓縮的核心思想就是消除相關(guān)信息。通過減少視頻序列間的相關(guān)性，降低 視頻內(nèi)容中的冗余，用較少的比特?cái)?shù)來表示視頻內(nèi)容，從而實(shí)現(xiàn)對視頻的壓縮。視 頻序列中的冗余主要有以下幾個(gè)方面。一、人眼視覺特性由于人眼視覺的非均勻性，使得人眼視覺對于某些空間頻率感覺遲鈍，視頻中 不同頻率成分的內(nèi)容對于人眼系統(tǒng)而言其反應(yīng)是不同的，也就是說存在頻域冗余。 例如人眼視覺系統(tǒng)對亮度信號變化

24、的敏感性高于色度信號變化。因此可以對色度分 量進(jìn)行下采樣，同時(shí)可保持主觀視覺質(zhì)量不變。yuv4: 2: 0色差格式就是對色度 分量在水平和垂直兩個(gè)方向進(jìn)行2: 1的下采樣。另一方面，對信號頻域的各個(gè)分量 可以采取不同的量化步長，將人眼視覺不敏感的分量去除，而不會(huì)引起主觀質(zhì)量的 下降。二、空間冗余空間冗余是指在同一幀畫面屮，相鄰的像素間存在很強(qiáng)的相關(guān)性，特別是當(dāng)這 些相鄰像素位于同一個(gè)視頻對象中時(shí)，其相關(guān)性極強(qiáng)，如圖像的背景區(qū)域。通過幀 內(nèi)預(yù)測編碼可以大幅度的去除圖像空間冗余，現(xiàn)代的靜態(tài)圖像壓縮技術(shù)大多數(shù)都采 用了該方法。三、時(shí)間冗余通常對視頻序列而言，除非發(fā)生場景切換，否則相鄰幀在時(shí)間上都是連

25、續(xù)的。 在前后兩幀屮往往包含與當(dāng)前幀相同的背景和對象。只是由于鏡頭的轉(zhuǎn)動(dòng)或視頻對 象的移動(dòng)使得空間位置發(fā)生變化，運(yùn)動(dòng)越緩慢，位置的變化越小，視頻序列在時(shí)域 存在極強(qiáng)的相關(guān)性。四、信息嫡冗余信息爛冗余是指碼字出現(xiàn)概率的不均勻所產(chǎn)生的冗余度。通常采用可變長編碼 (variable length coding)或算術(shù)編碼來消除信息爛冗余。信源編碼的方法按照壓縮數(shù) 據(jù)能否被準(zhǔn)確恢復(fù)分為兩人類：無損編碼和有損編碼。無損編碼可以無失真的恢復(fù) 原始數(shù)據(jù)，但其壓縮效率十分有限，在視頻壓縮屮都是將無損編碼和有損編碼結(jié)合 使用。1.4主要的視頻壓縮技術(shù)1-4.1預(yù)測編碼預(yù)測編碼不是對一個(gè)像素直接編碼，而是用同一幀

26、(幀內(nèi)預(yù)測編碼)或相鄰幀(幀 間預(yù)測編碼)中的像素值來進(jìn)行預(yù)測，用當(dāng)前圖像減去預(yù)測圖像得到相應(yīng)的殘差圖 像，然后對預(yù)測殘差進(jìn)行量化和編碼。殘差圖像的能量將低于原圖像，所需的比特 數(shù)也較少。顯然預(yù)測編碼實(shí)際是利用了圖像數(shù)據(jù)中的空間和時(shí)間冗余。線性預(yù)測編 碼又稱為差分脈沖編碼調(diào)制dpcm(differential pulse code modulation),由于算法簡 單，易于實(shí)現(xiàn)，已被廣泛應(yīng)用于各種視頻編解碼標(biāo)準(zhǔn)。1.4.2變換編碼變換編碼是構(gòu)成當(dāng)前主要視頻編碼標(biāo)準(zhǔn)的另一項(xiàng)最基本技術(shù)，用來消除圖像的 頻域(變換域)冗余。正交變換編碼通常是將空域相關(guān)的像素點(diǎn)映射到另一個(gè)正交矢量 空間，使得變換后

27、的系數(shù)之間相關(guān)性降低。常見的正交變換有，k-l(karhunen-loeve) 變換、離散傅立葉變換dft(discrete fourier transform)離散余弦變換dct(discrete cosine transform)沃爾什哈達(dá)瑪(walsh-hadamard)變換和哈爾(hair)變換。k-l變換 是均方誤差準(zhǔn)則下的最優(yōu)變換，但實(shí)現(xiàn)困難。在現(xiàn)行視頻編碼標(biāo)準(zhǔn)中幾乎都采用了 性能最接近k-l變換的dcto dct變換是1974年ahmed提出的，它具有一組固定 的基函數(shù)，以及很好的能量壓縮和去相關(guān)特性。由于dct變換采用實(shí)數(shù)計(jì)算，加上 有效的快速算法出現(xiàn)，使得硬件實(shí)現(xiàn)成為可能，因

28、此被廣泛采用。變換編碼除了采 用正交變換編碼外，還有子帶編碼和小波編碼。1.4.3統(tǒng)計(jì)編碼根據(jù)香農(nóng)信息論的觀點(diǎn)，信源冗余來口信源本身的相關(guān)性和信源內(nèi)部事件概率 分布的不均勻性。統(tǒng)計(jì)編碼主耍有基于概率分布特性的霍夫曼編碼和算術(shù)編碼，以 及基于相關(guān)性的游程編碼三類?；舴蚵幋a是一種變長編碼vlc(variable length coding)o霍夫曼編碼將信源符 號按概率大小重新排序，通過二叉樹算法，依次將兩個(gè)概率最小的節(jié)點(diǎn)合并，直至 根節(jié)點(diǎn)。完成樹的構(gòu)造后，給所有的樹枝分配0和1,這樣就可以給高概率符號分 配短碼，概率小的符號則分配較長的碼子，去除符號間的統(tǒng)計(jì)冗余。霍夫曼編碼在 已知信源符號概率

29、時(shí)，可以給出極好的編碼性能，但它嚴(yán)重依賴信源的統(tǒng)計(jì)特性， 編碼前必須有信源概率分布的先驗(yàn)知識(shí)，對于復(fù)雜的視頻來說，只能用對大量數(shù)據(jù) 統(tǒng)計(jì)后獲得近似分布來代替，因此實(shí)際應(yīng)用時(shí)無法達(dá)到最佳性能。同時(shí)霍夫曼碼沒 有錯(cuò)i吳保護(hù)功能，在譯碼時(shí)，如果碼串中沒有錯(cuò)誤，那么就能一個(gè)接一個(gè)地正確譯 出代碼。游程編碼rlc(run-level coding)是用一個(gè)符號值或串長代替具有相同值的連續(xù) 符號(連續(xù)符號構(gòu)成了一段連續(xù)的“行程"。行程編碼因此而得名)，使符號長度少于 原始數(shù)據(jù)的長度。這樣可以用史緊密的序列代替原來的相同符號串。在視頻壓縮中, 量化后的數(shù)據(jù)常常出現(xiàn)人量的連零系數(shù)，利用游程編碼可以有

30、效的降低表示零碼的 比特?cái)?shù)。算術(shù)編(arithmetic coding)是20世紀(jì)80年代發(fā)展起來的。理論上，算術(shù)編碼 和霍夫曼都是最佳的，但在信源概率分布未知的情況下，算術(shù)編碼優(yōu)于霍夫曼編碼。 算術(shù)編碼的基本原理是用0, 1之間的一個(gè)概率區(qū)間來表示數(shù)據(jù)序列，將信源x的 一個(gè)給定狀態(tài)x=xl,xn與0, 1間的一個(gè)大概率p和小概率q限定的概率 子區(qū)間相聯(lián)系，區(qū)間的長度等于序列的概率p(x)o編碼器從n=1開始，逐位處理輸 入的符號流。每輸入一位，更新當(dāng)前符號的條件概率，并以此調(diào)整p和q限定的概 率子區(qū)間。隨著n的增加，和輸入符號序列相聯(lián)系的概率子區(qū)間就變得越來越小。 最后用這個(gè)表示概率子區(qū)間的

31、小數(shù)給符號序列編碼同田o1.5基于混合編碼框架的視頻編碼器基于塊混合編碼框架的視頻編碼系統(tǒng)是將待編碼圖像幀劃分為nxn的塊(主要 是16x16和8x8),每一個(gè)塊相對獨(dú)立的進(jìn)行處理。主要遵循統(tǒng)一的設(shè)計(jì)模型，包 括前端的運(yùn)行估計(jì)和補(bǔ)償(又稱為dpcm)、變換預(yù)編碼和炳編碼等。其核心思想是 利用幀內(nèi)幀間預(yù)測方法消除視頻序列屮的空域和時(shí)域冗余，利用變換編碼方法消除 頻域冗余，最后利用統(tǒng)計(jì)編碼來消除信息炳冗余。1.6視頻質(zhì)量評估當(dāng)前對圖像質(zhì)量的評估方法主耍分成兩類：主觀評價(jià)和客觀測量。主觀評價(jià)的 方法與標(biāo)準(zhǔn)已相對完善，而客觀測彊則通常準(zhǔn)確，可以重復(fù)，但廿前尚沒有與人類 主觀感覺完全一致的客觀標(biāo)準(zhǔn)。主觀

32、評價(jià)的方法是將待評價(jià)的圖像序列播放給評論 者觀看，并記錄他們的打分，然后對所有評論者的打分進(jìn)行統(tǒng)計(jì)，得出平均分作為 評價(jià)結(jié)果。itu-rbt.500-7標(biāo)準(zhǔn)定義了兩種標(biāo)準(zhǔn)的主觀評價(jià)方法?？陀^測量基于仿人 眼視覺模型的原理對圖像質(zhì)/進(jìn)行客觀評估，并給出客觀評價(jià)分。近兒年，隨著人 們對人眼視覺系統(tǒng)研究的深入，客觀測量的方法和工具不斷被開發(fā)出來，其測量結(jié) 果也與主觀評價(jià)較吻合。17本文主要內(nèi)容及創(chuàng)新點(diǎn)多媒體視頻編碼器的設(shè)計(jì)，是一個(gè)非常復(fù)雜耗時(shí)的巨大工程，尤其是作為主要 面向最新一代視頻標(biāo)準(zhǔn)h.264視頻編碼器設(shè)計(jì)，任務(wù)更是尤為艱巨。本文的設(shè)計(jì)主 耍是基于baseline的cif視頻編碼器。先是根據(jù)需

33、耍對jm參考代碼進(jìn)行優(yōu)化。主 要為以后的碩件設(shè)計(jì)提供參考，所以沒有采用任何匯編的優(yōu)化。對jm參考代碼主 要進(jìn)行優(yōu)化算法選項(xiàng)，優(yōu)化算法結(jié)構(gòu)，代碼優(yōu)化，并進(jìn)行功能劃分；接著，對劃分 的幾個(gè)模塊進(jìn)行電路設(shè)計(jì)，并且驗(yàn)證其功能正確性。第一章是緒論部分，從視頻編解碼芯片市場分析，研究整個(gè)論題的應(yīng)用背景， 分析國內(nèi)外現(xiàn)狀，得出本論文發(fā)展的依據(jù)和必要性，同時(shí)對視頻壓縮原理進(jìn)行了簡 單的介紹，并且針對本論文進(jìn)行工作的介紹和整體論文結(jié)構(gòu)的設(shè)置。第二章首先簡單介紹了主流的視頻編碼算法特點(diǎn)，然后詳細(xì)論述了 h.264/avc 的編碼原理，對h.264/avc標(biāo)準(zhǔn)中的主要功能楔塊：幀內(nèi)預(yù)測、多種塊模式的幀間 預(yù)測、1/

34、4亮度和1/8像素色度插值的運(yùn)動(dòng)估計(jì)、多參考幀、整型變換、爛編碼和去 塊效應(yīng)濾波器等新技術(shù)進(jìn)行了詳細(xì)論述。第三章由于h.264的高復(fù)雜度不適合于應(yīng)用，所以本章主要是對jm8.6的代碼 進(jìn)行優(yōu)化，設(shè)計(jì)低復(fù)雜度的編碼器。這個(gè)優(yōu)化主耍是為以后硬件設(shè)計(jì)提供參考。優(yōu) 化的內(nèi)容主要有對優(yōu)化算法選項(xiàng)，優(yōu)化算法結(jié)構(gòu)，代碼優(yōu)化。第四章對z掃描模塊和cavlc模塊進(jìn)行設(shè)計(jì)，并用fpga對其進(jìn)行仿真和功 能驗(yàn)證。第五章對論文分析與總結(jié)，并對未來進(jìn)行展望。第二章h.264/avc標(biāo)準(zhǔn)及其新技術(shù)本章概述了國際視頻標(biāo)準(zhǔn)的發(fā)展歷程，介紹了早期發(fā)布的一些主要的視頻編碼 標(biāo)準(zhǔn)及其特點(diǎn)，接著重點(diǎn)論述h.264視頻編碼標(biāo)準(zhǔn)及其新技

35、術(shù)，并對其使得編碼性 能得到巨大提升的關(guān)鍵模塊進(jìn)行了詳細(xì)的分析和研究。2.1視頻編碼標(biāo)準(zhǔn)發(fā)展歷程自上個(gè)世紀(jì)80年代以來,iso/iec制定的mpeg-x和itu-t制定的h.26x兩大 系列視頻編碼國際標(biāo)準(zhǔn)的推出，開創(chuàng)了視頻通信和存儲(chǔ)應(yīng)用的新紀(jì)元。從h.261視 頻編碼提議，到h.262/3/4, mpeg-1/2/4等都有一個(gè)共同的不斷追求的目標(biāo)，即在盡 可能低的碼率(或存儲(chǔ)容量)下獲得盡可能好的圖像質(zhì)量。隨著市場對圖像傳輸需求的 增加，如何適應(yīng)不同信道傳輸特性的問題也日益顯現(xiàn)出來。于是ieo/1ec和itu-t 兩大國際標(biāo)準(zhǔn)化組織聯(lián)手制定了最新一代視頻標(biāo)準(zhǔn)h.264來解決這些問題。下面回

36、顧視頻編碼標(biāo)準(zhǔn)的發(fā)展歷程。h.261是最早出現(xiàn)的視頻編碼建議，目的是規(guī)范isdn網(wǎng)上會(huì)議電視和可視電話 應(yīng)用屮的視頻編碼技術(shù)。它采用的算法結(jié)合了可減少時(shí)間冗余的幀間運(yùn)動(dòng)補(bǔ)償預(yù)測 和可減少空間冗余的dct變換的混合編碼方法。以后的視頻編碼標(biāo)準(zhǔn)都以此為基 礎(chǔ)。h.263是低碼率圖像壓縮標(biāo)準(zhǔn)，在技術(shù)上是h.261的改進(jìn)和擴(kuò)充，支持碼率小于 64kbit/s的應(yīng)用。實(shí)質(zhì)上h.263以及后來的h.263+和h.263+已發(fā)展成為支持全碼率 應(yīng)用的標(biāo)準(zhǔn)。mpeg-1標(biāo)準(zhǔn)的碼率為1.2mbit/s左右，可提供30幀每秒cif(352x288)質(zhì)量的 圖像，是為cd-rom光盤的視頻存儲(chǔ)和播放所制定的。mpe

37、g-1標(biāo)準(zhǔn)視頻編碼部分 的基本算法與h.261/h.263相似，也采用運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測、二維dct、vlc游 程編碼等方法。此外還引入了幀內(nèi)幀、預(yù)測幀(p)、雙向預(yù)測幀(b)和直流幀(d)等 概念，進(jìn)一步提高了編碼效率。在mpeg-1的基礎(chǔ)上，mpeg-2標(biāo)準(zhǔn)在提高圖像分 辨率、兼容數(shù)字電視等方面做了一些改進(jìn)，例如它的運(yùn)動(dòng)矢量的精度為半像素；在 編碼運(yùn)算中(如運(yùn)動(dòng)估計(jì)和dct)區(qū)分“幀”和“場”；引入了編碼的可分級性技術(shù), 如空間可分級性、時(shí)間可分級性和信噪比可分級性等。1999年推出的mpeg-4標(biāo)準(zhǔn)引入了基于視聽對像(avo: audio-visual object)fi<j編碼，

38、大大提高了視頻通信的交 互能力和編碼效率。mpeg-4屮還采用了一些新的技術(shù)，如形狀編碼、自適應(yīng)dct、 任意形狀視頻對像編碼等。但是mpeg-4的基本視頻編碼器還是屬于和h.263相似 的一類混合編碼器。itu-t standardsk263*h.2«wasiandardsjpegmipe3mpeg41!11!1-1h82fi4/atch262.wpeg 21984 1986 1988 1990 1992 1994 1996 1998 2000 2002 2004jointitu-tj mpegstandards圖2-1視頻編碼國際標(biāo)準(zhǔn)的發(fā)展2.2 h.264標(biāo)準(zhǔn)概述及特點(diǎn)h.26

39、4標(biāo)準(zhǔn)作為新一代視頻壓縮標(biāo)準(zhǔn)，是目前圖像視頻通訊領(lǐng)域研究的熱點(diǎn)。 它和以前提出的視頻標(biāo)準(zhǔn)，如h.261、h.263、mpeg-1/2/4在結(jié)構(gòu)上并無顯著變化， 也是基于 混合編碼的視頻編解碼框架。但它為了在相同的框架下實(shí)現(xiàn)更高的視頻壓 縮編碼性能和更廣泛的適用性，在每一個(gè)功能模塊中都引入了新的技術(shù)，使各功能 模塊的實(shí)現(xiàn)細(xì)節(jié)都發(fā)生了重要的改變。例如1/4、1/8像素精度的運(yùn)動(dòng)估計(jì)、多塊模 式的幀間預(yù)測、多參考幀、幀內(nèi)預(yù)測、環(huán)路濾波、自適應(yīng)可變長編碼(cavlc)和自 適應(yīng)算術(shù)編碼(cabac)等。h.264/avc編碼器的編碼過程如圖22,原始視頻數(shù)據(jù)進(jìn)入編碼器后，當(dāng)采用幀 內(nèi)編碼時(shí)，選擇相應(yīng)的

40、幀內(nèi)預(yù)測模式進(jìn)行幀內(nèi)預(yù)測，接著對實(shí)際值和預(yù)測值之間的 差值進(jìn)行變換、量化和爛編碼，同時(shí)編碼后的殘差經(jīng)過反量化和反變換之后重構(gòu)預(yù) 測殘差圖像，再與預(yù)測值相加得出重建幀，得岀的結(jié)果經(jīng)過環(huán)路濾波器平滑處理后 送入幀存儲(chǔ)器。采用幀間編碼時(shí)，輸入的圖像塊首先在參考幀屮進(jìn)行運(yùn)動(dòng)估計(jì)，得到運(yùn)動(dòng)矢量。 運(yùn)動(dòng)估計(jì)后的殘差圖像經(jīng)過整數(shù)變換、量化和運(yùn)動(dòng)矢量等附加信息一起進(jìn)行爛編碼 后送入信道傳輸。同時(shí)編碼后的殘差以相同的方式重構(gòu)后經(jīng)環(huán)路濾波處理送入幀存儲(chǔ)器作為下一幀編碼的參考圖像。編碼控制廣i幀存儲(chǔ)器幀間-or 4幀內(nèi)預(yù)處理輸入-運(yùn)行補(bǔ)償t幀存儲(chǔ)器i運(yùn)動(dòng)估計(jì)z炳編碼輸山反沁化圖2-2 h.264視頻編碼器結(jié)構(gòu)框圖雖

41、然h.264的編解碼框架與以前提出的標(biāo)準(zhǔn)并無顯著變化，而且該標(biāo)準(zhǔn)也是在 以往標(biāo)準(zhǔn)的基礎(chǔ)上發(fā)展而來的，但h.264中出現(xiàn)了許多在以往標(biāo)準(zhǔn)中不曾使用過的 新技術(shù)。與以往相比具有如下特點(diǎn)：一、壓縮率顯著提高：與h.263第二版（即h.263+）和mpeg-4簡單檔次相比, 在壓縮優(yōu)化效果相似的情況下，h.264能實(shí)現(xiàn)高達(dá)50%的碼率減少。二、高質(zhì)量的視頻：在低碼率和高碼率的情況下h.264都能提供持續(xù)的優(yōu)質(zhì)的 視頻效果。三、應(yīng)用多樣性：h.264提供了適用于從電話應(yīng)用到高端廣播和存儲(chǔ)的等多種 應(yīng)用的檔次和級別。四、差錯(cuò)恢復(fù)：h.264提供必要的工具處理基于包的網(wǎng)絡(luò)中包丟失的問題和易 出錯(cuò)的無線網(wǎng)絡(luò)中

42、的位出錯(cuò)問題。五、網(wǎng)絡(luò)友好性：通過網(wǎng)絡(luò)適應(yīng)層，h.264碼流能通過不同的網(wǎng)絡(luò)便捷傳輸。2.4幀間預(yù)測幀間預(yù)測是采用基于塊的運(yùn)動(dòng)補(bǔ)償從一個(gè)或者多個(gè)先前編碼的圖像幀中產(chǎn)生一 個(gè)預(yù)測模型的。h.264標(biāo)準(zhǔn)與時(shí)期標(biāo)準(zhǔn)的主要不同之處在于：h.264支持不同的塊尺寸（從16x16到4x4）及支持精細(xì)子像素精度的運(yùn)動(dòng)矢量（亮度成分是1/4像素精 度）。在h.264的主要類和擴(kuò)展類屮，對幀預(yù)測的擴(kuò)充包括b條帶和加權(quán)預(yù)測。2.4.1樹型結(jié)構(gòu)的運(yùn)行補(bǔ)償每個(gè)宏塊（16x16像素）的亮度分量可以按四種方式分（見圖2-3）,即按照 一個(gè)16x16塊，或者兩個(gè)16x8塊，或者兩個(gè)8x16塊或者4個(gè)8x8塊的劃分進(jìn) 行運(yùn)動(dòng)

43、補(bǔ)償。如果選擇8x8模式，宏塊屮的4個(gè)8x8子宏塊可以用另四種方式進(jìn) 一步劃分?；蛘咦鳛橐粋€(gè)8x8塊，或者作為兩個(gè)8x4塊，或者作為兩個(gè)4x8塊， 或者作為4個(gè)4x4塊。這些分塊和子宏塊大大增加了每個(gè)宏塊內(nèi)部的組合數(shù)。把宏 塊分成不同尺寸的運(yùn)動(dòng)補(bǔ)償子塊的方法就是為了實(shí)現(xiàn)樹型結(jié)構(gòu)的運(yùn)動(dòng)補(bǔ)償。由于視 頻圖像的復(fù)雜性，在較大的塊中可能包含多個(gè)具有不同運(yùn)動(dòng)狀態(tài)和不同形狀的對象, 特別是在運(yùn)動(dòng)劇烈的局部區(qū)域中，用1個(gè)16x16塊或4個(gè)8x8塊的運(yùn)動(dòng)矢量并不 能準(zhǔn)確地描述一個(gè)宏塊全部的運(yùn)動(dòng)細(xì)節(jié)。在h.264/avc中，采用樹型結(jié)構(gòu)的運(yùn)動(dòng)補(bǔ) 償結(jié)構(gòu)更準(zhǔn)確的描述宏塊的運(yùn)動(dòng)細(xì)節(jié)。并且塊的形狀可以是正方形或者矩形

44、，這種 更小的、更多形狀的塊模式，可以更好的實(shí)現(xiàn)運(yùn)動(dòng)隔離。這樣的運(yùn)動(dòng)估計(jì)比較精細(xì), 預(yù)測的殘差相應(yīng)就會(huì)減少，從而提高幀間預(yù)測的效果。1616816x16o1斗 丄 01a 84ns圖2 3宏塊分割0123 j8xb16x16, 8x16, 16x8, 8 x8子宏塊分割8x8, 4x8, 8x4, 4x42.4.2運(yùn)動(dòng)矢量幀間編碼宏塊中的每個(gè)分塊或者子宏塊分塊都從參考圖像的一個(gè)同樣大小的區(qū) 域進(jìn)行預(yù)測。這兩個(gè)區(qū)域的位移（運(yùn)動(dòng)矢量）對于亮度分量有1/4像素精度，對于 色度分量有1/8像素精度。子像素位置的亮度和色度像素在參考幀中并不存在，所 以有必要利用內(nèi)插算法從鄰近編碼像素來產(chǎn)生它們。在圖2

45、4中，當(dāng)前幀的一個(gè)4 x4塊是從參考幀中與當(dāng)前塊位置相鄰的區(qū)域進(jìn)行預(yù)測的；如果運(yùn)動(dòng)矢量的水平和 垂直分量都是整數(shù)，則在參考幀中存在相關(guān)的像素（灰點(diǎn)）；如果一個(gè)或者兩個(gè)運(yùn)動(dòng) 矢最分最成分是小數(shù)值，則預(yù)測值（灰點(diǎn)）是從參考幀中相鄰像素（白點(diǎn)）進(jìn)行插 補(bǔ)得到的。柱肖前頓o o o o o oo o ozo o o o o 0/0 ooo©coo o 00000.0000 o 。o 0(?o 0 0 0 0 0 0圖2-4整數(shù)和子樣點(diǎn)預(yù)測的例子在參考圖像的亮度分量中產(chǎn)生插值點(diǎn)，首先產(chǎn)生整像素之間的半像素點(diǎn)（見 圖2-5,灰色表示）。兩個(gè)整數(shù)位置之間的半像素點(diǎn)像素（圖中的b, h, m, s等

46、） 是利用一個(gè)六階有限沖擊響應(yīng)濾波器對相鄰整數(shù)位置的像素值進(jìn)行內(nèi)插得到的，權(quán) 重值是（1/32, -5/32, 5/8, 5/8, -5/32, 1/32） o例如，半像素點(diǎn)像素b是從六個(gè)水 平整數(shù)位置像素e, f, g, h, i和j得到的：b=round（e-5f+20g4-20h-5i+j）/32）（式 2 1）同樣的，h是通過對a, c, g, m, r和t進(jìn)行插補(bǔ)得到的。一旦水平和垂直 方向接近整數(shù)位置的半像素都已經(jīng)被計(jì)算出來，余下的半像素位置的像素通過對6 個(gè)水平或者垂直的以上得到的半像素位置的像素進(jìn)行插補(bǔ)得到。這樣可以產(chǎn)生更精 確的匹配，從而產(chǎn)生很好的運(yùn)動(dòng)補(bǔ)償性能。當(dāng)?shù)玫剿械陌?/p>

47、像素位置像素之后，四分之一像素位置的像素由線性插補(bǔ)得到 （見圖2 6）。位于水平或者垂直半像素或者整像素位置旁邊的四分之一像素（圖26中的a, c, i, k和d, f, n, g）由這些相鄰像素線性插補(bǔ)得到。例如:(式 2-2)ciabc bb dg=b=h81lr,msn圖2-5亮度的半像素內(nèi)插tug卜a £ 匹"4h1國1nggiwilp、"r rs1a=round(g+b )/2)圖2-6亮度的四分之一像素內(nèi)插其余的四分之一像素位置的像素（圖中的p和門用相鄰的對角線位置的兩個(gè)半 像素位置的像素進(jìn)行線性插補(bǔ)得到。亮度分量四分之像素精度的運(yùn)動(dòng)矢量應(yīng)用到 色度分

48、量需要八分之一的像素精度（假設(shè)4: 2: 0）采樣。在每個(gè)色度空間，對整 數(shù)位置的像素值進(jìn)行線性插補(bǔ)得到八分之一像素精度的插補(bǔ)值（見圖2-刀每個(gè)子 像素位置a都是周圍整數(shù)位置像素a, b, c, d的線性組合。2-4)a=round(8-da)(8-dy)a+dx- (8-dy)b+(8-da)- dyc+dx - dpd/s4)(式23) 在圖2-7中，dx是2, dp是3,所以：a=rou nd (30a+10b+18c+6d)/54(式2.4.2運(yùn)動(dòng)矢量的空間域預(yù)測運(yùn)動(dòng)矢量的空間域預(yù)測的方法如圖28所示，從a, b, c三個(gè)方塊中選出最多 三個(gè)方塊，要求方塊的運(yùn)動(dòng)矢量有效且具有與當(dāng)前方塊

49、e相同的參考幀號。取這三 個(gè)方塊的中間值去預(yù)測e的運(yùn)動(dòng)矢量。當(dāng)c方塊無效時(shí)，用d方塊代替c方塊。dbcae2.5幀內(nèi)預(yù)測為了提高幀內(nèi)編碼效率，h.264標(biāo)準(zhǔn)中幀內(nèi)編碼利用相鄰宏塊對待編宏塊進(jìn)行 預(yù)測，再對預(yù)測的殘差進(jìn)行變換編碼。針對不同塊的大小、不同塊類型，采用不同 的預(yù)測方法。而以前的h.26x系列和mpeg-x系列標(biāo)準(zhǔn)中，采用幀內(nèi)模式編碼時(shí)， 通常是直接對宏塊進(jìn)行dct變換，然后對變換系數(shù)進(jìn)行爛編碼。這樣雖然在一定程 度丄消除了幀內(nèi)的空間冗余度，但是由于dct只是利用宏塊內(nèi)部像素之間的相關(guān) 性，而沒有考慮到相鄰宏塊之問的相關(guān)性，因而傳統(tǒng)的幀內(nèi)模式編碼對視頻序列空 間冗余度的利用還不充分，編

50、碼效率不高。2.5.1幀內(nèi)4x4預(yù)測模式當(dāng)塊或宏塊做幀內(nèi)編碼時(shí)，基于4x4的亮點(diǎn)和色度樣本有多種預(yù)測方式。對于 intra4x4模式下，每個(gè)4x4的小塊中的像素將通過鄰塊中已經(jīng)解碼的13個(gè)像素進(jìn) 行預(yù)測（圖2 9中從a至m）omabcde fgh1abcdjefghkijk1lmn0p圖2-9預(yù)測樣點(diǎn)的標(biāo)注（4x4）預(yù)測模式分為9種（模式0到模式8）,分別為：垂直預(yù)測、水平預(yù)測、dc預(yù)測、沿對角線左下預(yù)測、沿對角線右下預(yù)測、垂直向右預(yù)測、水平向下預(yù)測、垂直向左預(yù)測和水平向上預(yù)測（見圖2-10）o1u a e；c d e|fu h754 bwyldoelir4252幀內(nèi)16x16預(yù)測模式對于大面

51、積亮度信號波形平坦的圖像區(qū)域，h.264提供一種16x16的幀內(nèi)編碼 模式。相應(yīng)地對采用16x16幀內(nèi)編碼模式的16x16亮度信號塊進(jìn)行圖像域預(yù)測， 利用與該宏塊相鄰且已經(jīng)完成編碼/解碼的像素值求出宏塊內(nèi)256個(gè)像素的預(yù)測像素 值。h.264共提供4種16x16幀內(nèi)預(yù)測模式，分別為模式0 （垂直）：從上面的像素 推斷（h）;模式1 （水平）：從左邊的像素推斷（v）;模式2 （直流）：丄面和左邊 像素平均（h + v）;模式3 （平面）:對上面h和左邊v像素使用一個(gè)線性平面函數(shù),這在亮度的平滑京華區(qū)域效果很好。預(yù)測模式如圖211所示。ifhofizcnlati2<dcfnr-圖2-11幀內(nèi)

52、16x16預(yù)測模式253幀內(nèi)8x8色度預(yù)測模式色度信號cb和cr的爛值比luma亮度信號的爛值低得多，其信號更趨于平坦, 在h.264/avc標(biāo)準(zhǔn)中，對色度信號cb和cr的預(yù)測處理與亮度信號16x16模式相 似，也擁有4種預(yù)測模式。幀內(nèi)編碼宏塊的每個(gè)8x8色度分最是從上邊或左邊先前 編碼的色度像素進(jìn)行預(yù)測得到的，并且為了減少色度信號的幀內(nèi)預(yù)測模式的編碼位 數(shù)，在一個(gè)宏塊內(nèi)對色度信號cb和c編碼采用相同的一種幀內(nèi)預(yù)測模，11,211,31 lu, o2.6變換與量化h.264根據(jù)要編碼的殘差數(shù)據(jù)類型使用三種變換：基于4x4塊的亮度/色度分量 整型變換，針對16x16幀內(nèi)預(yù)測亮度分量dc系數(shù)的4x

53、4塊哈達(dá)瑪變換，針對色 度分量dc系數(shù)2x2塊哈達(dá)瑪變換。在一個(gè)宏塊中的數(shù)據(jù)按照圖2- 12中的順序進(jìn)行傳輸時(shí)，如果以16x 16模式編 碼一宏塊，即這個(gè)塊標(biāo)注為一1。首先輸出每個(gè)宏塊包含4x4亮度塊的dc變換系數(shù)。接著亮度殘差塊0到15按照所示順序進(jìn)行傳輸（按照幀內(nèi)16x16模式編碼的 宏塊的dc系數(shù)不進(jìn)行傳輸）。然后，塊16和17 （包含cb和cr色度分量的dc系 數(shù)的2x2矩陣）分別被傳輸。最后，色度殘差塊18到25 （不含dc系數(shù)）被傳輸。luma圖2-12宏塊殘差塊的掃描順序2.6.1整型變換和反變換以往的標(biāo)準(zhǔn)里大多采用了 8x8的定點(diǎn)化dct變換。h.264/avc采用的也是類 似

54、于dct變換的整型變換，它是從4x4的dct變換中演化而來的。與8 x 8dct 變換相比較，其優(yōu)點(diǎn)是計(jì)算復(fù)雜度大大降低，對編碼圖像質(zhì)量損失很小，psnr大 約只下降0.02db,而且變換和反變換是完全可逆的，即不存在變換和反變換過程不 匹配的現(xiàn)象。設(shè)a為4x4的變換矩陣，則dct變換可以表示為:aaatbc -cy =axa1 =a-a -ac-bb其中：1 uta. b cos212<8（式25）這個(gè)矩陣乘法能因式分解成如下形式:y = （cxct）®e/_1111廠-1111d、_a2aba2ab1d-d-1x1d-1-1abb2abb21-1-111-d-11a2ab2

55、abd-11-d一 -1-11-d丿abb2abb2_（式 2-7）這里cxct是一個(gè)二維變換核，e是尺度因子矩陣，符號®表示cxct中的每個(gè) 元素與矩陣e中相同位置的尺度因子相乘即尺度乘法。常數(shù)a和b和以前一樣，d 是c/b,約為0.14l為了簡化變換，d簡化為0.5。同時(shí)為了保證變換正交性，b也做了修改。即:矩陣c的第二行和第四行以及矩陣ct的第二列和第四列與因子2相乘,加速尺 度矩陣e用尺度反變換進(jìn)行補(bǔ)償，避免在cxct核心運(yùn)算中出現(xiàn)非整數(shù)的乘法，使最后正向變換如下:得整數(shù)變換引入精度的損失。y = cfxcj®ef/_1111廠-1_1211、21-1-2x11-1-21-1-111-1-12_1-22-1- 一_1-21-1/abta2abtb2a2ab24ab2b2abt9a_abtb2ab2