h265HEVC編解碼相關(guān)技術(shù)概述

1、H265(HEVC Heigh Efficiency Video Coding)介紹1概要H.265(高效率視頻編碼(HEVC)是現(xiàn)行“H.264/MPEG-4 AVC”標(biāo)準(zhǔn)于2003年實(shí)現(xiàn)標(biāo)準(zhǔn)化 以來(lái)時(shí)隔10年推出的新標(biāo)準(zhǔn)，將成為支撐未來(lái)十年的影像服務(wù)和產(chǎn)品的視頻壓縮技術(shù)。其 特點(diǎn)是，支持1080p以上的4Kx2K和8Kx4K分辨率，將視頻壓縮率提高至H.264的約2倍。 也就是說(shuō)，能以原來(lái)一半的編碼速度發(fā)送相同畫質(zhì)的視頻。例如，按照20Mbit/秒發(fā)送的H.264 格式視頻內(nèi)容，在相同畫質(zhì)的條件下用HEVC格式只需10Mbit/秒的速度。1.1 H.265發(fā)展背景H.264雖然是一個(gè)劃時(shí)代

2、的數(shù)字視頻壓縮標(biāo)準(zhǔn)，但是隨著數(shù)字視頻產(chǎn)業(yè)鏈的高速發(fā)展， H.264的局限性逐步顯現(xiàn)，并且由于H.264標(biāo)準(zhǔn)核心壓縮算法的完全固化，并不能夠通過(guò)調(diào) 整或擴(kuò)充來(lái)更好地滿足當(dāng)前高清數(shù)字視頻應(yīng)用。視頻應(yīng)用向以下幾個(gè)方面發(fā)展的趨勢(shì)愈加明顯：(1)高清晰度(Higher Definition):數(shù)字視頻的應(yīng)用格式從720P向1080P全面升級(jí)，在一 些視頻應(yīng)用領(lǐng)域甚至出現(xiàn)了 4K*2K、8K*4K的數(shù)字視頻格式(2)高幀率(Higher frame rate)：數(shù)字視頻幀率從30fps向60fps、120fps甚至240fps的應(yīng) 用場(chǎng)景升級(jí)高壓縮率(Higher Compression rate：傳輸帶

3、寬和存儲(chǔ)空間一直是視頻應(yīng)用中最為關(guān)鍵 的資源，因此，在有限的空間和管道中獲得最佳的視頻體驗(yàn)一直是用戶的不懈追求。由于數(shù)字視頻應(yīng)用在發(fā)展中面臨上述趨勢(shì)，如果繼續(xù)采用H.264編碼就出現(xiàn)如下一些局 限性：(1)宏塊個(gè)數(shù)的爆發(fā)式增長(zhǎng)，會(huì)導(dǎo)致用于編碼宏塊的預(yù)測(cè)模式、運(yùn)動(dòng)矢量、參考幀索引和 量化級(jí)等宏塊級(jí)參數(shù)信息所占用的碼字過(guò)多，用于編碼殘差部分的碼字明顯減少。即：?jiǎn)蝹€(gè) 宏塊所表示的圖像內(nèi)容的信息大大減少，導(dǎo)致4*4或8*8塊變換后的低頻率相似程度也大 大提高，會(huì)出現(xiàn)大量的冗余分辨率的大幅增加，表示同一個(gè)運(yùn)動(dòng)的運(yùn)動(dòng)矢量的幅值將大大增加，H.264中采用一 個(gè)運(yùn)動(dòng)矢量預(yù)測(cè)值，對(duì)運(yùn)動(dòng)矢量差編碼使用的是哥倫布

4、指數(shù)編碼，該編碼方式的特點(diǎn)是數(shù)值 越小使用的比特?cái)?shù)越少。因此，隨著運(yùn)動(dòng)矢量幅值的大幅增加，H.264中用來(lái)對(duì)運(yùn)動(dòng)矢量進(jìn) 行預(yù)測(cè)以及編碼的方法壓縮率將逐漸降低。并行度比較低H.264的一些關(guān)鍵算法，例如采用CAVLC和CABAC兩種基于上下文的熵編碼方法、 deblock濾波等都要求串行編碼，并行度比較低。針對(duì)GPU/DSP/FPGA/ASIC等這種并行化程 序非常的CPU，H.264的這種串行化處理越來(lái)越成為制約運(yùn)算性能的瓶頸。基于以上視頻應(yīng)用的發(fā)展趨勢(shì)和H.264的局限性，面向更高清晰度、更高幀率、更高壓 縮率的高效視頻編碼標(biāo)準(zhǔn)(High Efficiency Video Coding)HE

5、VC(H.265協(xié)議標(biāo)準(zhǔn)應(yīng)運(yùn)而生。HEVC的核心目標(biāo)：在H.264/AVC high profile的基礎(chǔ)上，保證相同視頻質(zhì)量的前提下， 視頻流的碼率減少50%。在提高壓縮效率的同時(shí)，允許編碼端適當(dāng)提高復(fù)雜度HEVC的編碼框架：沿用H.263的混合編碼框架，即用幀間和幀內(nèi)預(yù)測(cè)編碼消除時(shí)間域 和空間域的相關(guān)性，對(duì)殘差進(jìn)行變換編碼以消除空間相關(guān)性，熵編碼消除統(tǒng)計(jì)上的冗余度。 HEVC在混合編碼框架內(nèi)，著力研究新的編碼工具或技術(shù)，提高視頻壓縮效率HEVC的技術(shù)創(chuàng)新：基于大尺寸四叉樹(shù)結(jié)構(gòu)的分割技術(shù)，多角度幀內(nèi)預(yù)測(cè)技術(shù)，運(yùn)動(dòng)估 計(jì)融合技術(shù)，高精度運(yùn)動(dòng)補(bǔ)償技術(shù)，自適應(yīng)環(huán)路濾波技術(shù)以及基于語(yǔ)義的熵編碼技術(shù)。

6、通信和廣電行業(yè)的人士對(duì)HEVC的高壓縮率寄予了厚望。1.2發(fā)展歷程早在2004年，ITU-T視頻編碼專家組(VCEG)開(kāi)始研究新技術(shù)以便創(chuàng)建一個(gè)新的視頻壓 縮標(biāo)準(zhǔn)。在2004年10月，H.264/ AVC小組對(duì)潛在的各種技術(shù)進(jìn)行了調(diào)查。2005年1月VCEG 的會(huì)議上，VCEG開(kāi)始指定某些主題為“關(guān)鍵技術(shù)作進(jìn)一步研究。2005年成立軟件代碼庫(kù)稱 為Key Technical Areas(KTA)用來(lái)評(píng)估這些新的“關(guān)鍵技術(shù)。KTA的軟件是在聯(lián)合模型(JM) 基礎(chǔ)上由MPEG和VCEG的視頻組聯(lián)合開(kāi)發(fā)的，項(xiàng)目名稱暫定為H.265和H.NGVC(Nextgeneration Video Coding

7、)，此項(xiàng)目在2010年最終演化為由VCEG和MPEG合資項(xiàng)目也叫做按照NGVC的初步要求，在維持視覺(jué)HEVC(High efficiency video coding)。質(zhì)量相同的情 況下，比特率較H.264/MPEG-4 AVC的高中檔(high profile)，計(jì)算復(fù)雜度維持在比特率較 H.264/MPEG-4 AVC的高中檔的1/2至3倍之間。“H.265只是作為“高性能視頻編碼(HEVC) 一個(gè)昵稱。2009年7月，實(shí)驗(yàn)結(jié)果表明比特率相較于H.264/AVC High Profile平均降低20% 左右，這些結(jié)果促使MPEG與VCEG合作發(fā)起的新的標(biāo)準(zhǔn)化工作。2010年1月，VCEG

8、和MPEG開(kāi)始發(fā)起視頻壓縮技術(shù)正式提案。相關(guān)技術(shù)由視頻編碼聯(lián) 合組(Joint Collaborative Team on Video Coding (JCT-VC)審議和評(píng)估，其合作小組第一次會(huì) 議于2010年4月召開(kāi)大會(huì)，一共有27個(gè)完整的提案。評(píng)價(jià)結(jié)果表明，一些提案在許多測(cè)試 用例可以達(dá)到只用一半的比特率并維持H.264/AVC相同的視覺(jué)質(zhì)量。在這次會(huì)議上，聯(lián)合項(xiàng) 目名改稱為高效率的視頻編碼(HEVC)，并且JCT-VC小組把相關(guān)技術(shù)集成到一個(gè)的軟件代碼 庫(kù)(HM)和標(biāo)準(zhǔn)文本草案規(guī)范，并進(jìn)行進(jìn)一步實(shí)驗(yàn)，以評(píng)估各項(xiàng)功能。2012年2月10日，在美國(guó)圣何塞召開(kāi)了第99屆MPEG會(huì)議。MPEG

9、組織和ITU-T組織 對(duì)JCT-VC的工作表示滿意，準(zhǔn)備于2013年1月，同時(shí)在ISO/IEC和ITU-T發(fā)布HEVC標(biāo)準(zhǔn)的 最終版本。2013年1月26號(hào)，HEVC正式成為國(guó)際標(biāo)準(zhǔn)。標(biāo)準(zhǔn)時(shí)間點(diǎn)：2010 年 1 月，ITU-T VCEG(Video Coding Experts Group)和 ISO/IEC MPEG(Moving Picture Experts Group)聯(lián)合成立JCT-VC(Joint Collaborative Team on Video Codin)聯(lián)合組織，統(tǒng)一制 定下一代編碼標(biāo)準(zhǔn):HEVC(High efficiency video coding)。2012.

10、2：委員會(huì)草案（標(biāo)準(zhǔn)草案完成稿）；HEVC委員會(huì)草案獲得通過(guò)。2012.7： HEVC國(guó)際標(biāo)準(zhǔn)草案獲得通過(guò)2013.1：國(guó)際標(biāo)準(zhǔn)最終獲得通過(guò)應(yīng)用領(lǐng)域以前，伴隨每次視頻壓縮技術(shù)的進(jìn)化，多種影像服務(wù)和產(chǎn)品都會(huì)紛紛亮相（圖1）。1995 年實(shí)現(xiàn)標(biāo)準(zhǔn)化的MPEG-2得到了 DVD和數(shù)字電視等領(lǐng)域采用，大幅擴(kuò)大了視頻壓縮技術(shù)的 應(yīng)用范圍。MPEG-4在1998年實(shí)現(xiàn)標(biāo)準(zhǔn)化后，立即應(yīng)用到了移動(dòng)和互聯(lián)網(wǎng)視頻服務(wù)領(lǐng)域。伴 隨視頻壓縮技術(shù)的升級(jí)，各種影像服務(wù)和產(chǎn)品隨之登場(chǎng)。2013年以后，隨著HEVC的進(jìn)步， 4K及8K電視及網(wǎng)絡(luò)全高清影像服務(wù)也紛紛出現(xiàn)。箭頭指示的是各服務(wù)和產(chǎn)品主要采用的壓 縮技術(shù)。藍(lán)光光能L

11、TE-Advanced智能手機(jī),？微波數(shù)字電視 （高清聰像）懦徵CATV好觸 （高清影像）固定通信經(jīng)由固定通信網(wǎng)的 1PTV及藍(lán)光光能LTE-Advanced智能手機(jī),？微波數(shù)字電視 （高清聰像）懦徵CATV好觸 （高清影像）固定通信經(jīng)由固定通信網(wǎng)的 1PTV及QT項(xiàng)激OTT：aver Ihe icp” 1在日本投入商用的時(shí)間視頻壓縮技術(shù)的標(biāo)準(zhǔn)期格例外情況）圖1：視頻壓縮技術(shù)及對(duì)應(yīng)的影像服務(wù)和產(chǎn)品的歷史個(gè)人電胭圖2： HEVC的應(yīng)用示例!,E口 - 個(gè)人電胭圖2： HEVC的應(yīng)用示例!,E口 - 4K/8K 電視，全高清/4K/8K影像監(jiān)控系統(tǒng)、（通信%一 一 _二固定通信網(wǎng)/移動(dòng)通信網(wǎng)/急/

12、bksk電視臺(tái)電髭院平板電視 口 攝像機(jī)數(shù)碼相機(jī)網(wǎng)絡(luò)視頻服務(wù)公共視覺(jué)智能手機(jī)HEVC的應(yīng)用示意圖如圖2所示。在廣播電視、網(wǎng)絡(luò)視頻服務(wù)、電影院及公共大屏幕（PublicViewing）等眾多領(lǐng)域，4Kx2K和8Kx4K視頻發(fā)送將變得更容易實(shí)現(xiàn)。個(gè)人電腦及智能手機(jī)等信息終端自不用說(shuō)，平板電視、攝像機(jī)及數(shù)碼相機(jī)等AV產(chǎn)品也會(huì)支持HEVC。不僅是這些既有市場(chǎng)，HEVC還有可能在今后有望增長(zhǎng)的新市場(chǎng)上大顯身手。例如，影 像監(jiān)控系統(tǒng)就是其中之一。影像監(jiān)控系統(tǒng)最近幾年在快速?gòu)脑瓉?lái)的模擬攝像頭組合VTR的 方式，向經(jīng)由IP網(wǎng)絡(luò)發(fā)送、存儲(chǔ)和瀏覽數(shù)碼攝像頭拍攝的視頻的方法過(guò)度。為提高安全性， 需要增加攝像頭數(shù)量、

13、提高影像的精細(xì)度，而與此同時(shí)，確保網(wǎng)絡(luò)頻帶和存儲(chǔ)容量增加。估 計(jì)HEVC將作為解決這些課題的措施而得到采用。優(yōu)缺點(diǎn)優(yōu)點(diǎn):1、高壓縮率 1）在視頻質(zhì)量相同的條件下，較H.264平均減少50%的碼流，可以節(jié)省下大量的網(wǎng)絡(luò)帶寬及存儲(chǔ)空間2）在同碼流條件下提供更加高質(zhì)量的視頻 2、支持8192x4320分辨率缺點(diǎn):1、HEVC使用到的技術(shù)和算法較前兩代標(biāo)準(zhǔn)H.264和MPEG-2更為復(fù)雜，視頻流在壓縮過(guò)程中需要經(jīng)過(guò)更多的選擇和運(yùn)算。2、HEVC不支持大多數(shù)硬件，通常需要效率更高，更多的處理器來(lái)輔助，這意味著，如果有一個(gè)固件需要更新，而編解碼器卻跟不上升級(jí)速度的話，那么我們的電視機(jī)頂盒和藍(lán)光播放機(jī)是無(wú)法

14、播放HEVC編碼內(nèi)容的，需要等待解決方案出現(xiàn)后才能繼續(xù)使用。2編解碼技術(shù)通過(guò)幀間預(yù)測(cè)編碼和幀內(nèi)預(yù)測(cè)編碼消除時(shí)域空域的相關(guān)性;通過(guò)對(duì)預(yù)測(cè)殘差的變換編碼消除 時(shí)間上的相關(guān)性；通過(guò)熵編碼消除比特分配造成的編碼冗余。但H.265編碼框架及編碼單元結(jié)構(gòu)與H.263以來(lái)的視頻編碼標(biāo)準(zhǔn)一樣，HEVC的設(shè)計(jì)沿用了經(jīng)典的基于塊的混合視頻編碼 框架?？蚣苤饕?，幀內(nèi)預(yù)測(cè)(intra prediction)、幀間預(yù)測(cè)(inter prediction)、轉(zhuǎn)換(transform)、量化(quantization)、去區(qū)塊濾波器(deblocking filter)、熵編碼(entropy coding等模塊，但在

15、 HEVC編碼架構(gòu)中，整體被分為了三個(gè)基本單位，分別是：編碼單位(coding unit,CU)、預(yù)測(cè)單位(predict unit,PU)和轉(zhuǎn)換單位(transform unit,TU )。MtradnterSelectionScaling & Inverse TransformMofaonInput Video SignalIntra-Pidure PredictionTransfarm.Scaling 口u日血Motion CcmpensationGene/al Cocet (predict unit,PU)和轉(zhuǎn)換單位(transform unit,TU )。MtradnterSelec

16、tionScaling & Inverse TransformMofaonInput Video SignalIntra-Pidure PredictionTransfarm.Scaling 口u日血Motion CcmpensationGene/al Cocet ConW -rn J 工 I,Quantized TransForm Cceff-cianisintra PreciictlonDataIntra-Picture EstimaronFiller Cantml AnalystDecoded Picture Buffer* Oulput Video Sig同Deb函 ng & SAO

17、F KersI HeaderFoimatirft &CARACCtdedBitstream視頻編碼的基本流程為：將視頻序列的每一幀劃分為固定大小的宏塊，通常為16X16 像素的亮度分量及2個(gè)8X8像素的色度分量(對(duì)于4? 2? 0格式視頻)，之后以宏塊為單 位進(jìn)行編碼。對(duì)視頻序列的第一幀及場(chǎng)景切換幀或者隨機(jī)讀取幀采用I幀編碼方式，I幀編 碼只利用當(dāng)前幀內(nèi)的像素作空間預(yù)測(cè)，類似于JPEG圖像編碼方式。其大致過(guò)程為，利用幀 內(nèi)先前已經(jīng)編碼塊中的像素對(duì)當(dāng)前塊內(nèi)的像素值作出預(yù)測(cè)(對(duì)應(yīng)圖中的幀內(nèi)預(yù)測(cè)模塊)，將預(yù) 測(cè)值與原始視頻信號(hào)作差運(yùn)算得到預(yù)測(cè)殘差，再對(duì)預(yù)測(cè)殘差進(jìn)行變換、量化及熵編碼形成編 碼碼流。對(duì)

18、其余幀采用幀間編碼方式，包括前向預(yù)測(cè)P幀和雙向預(yù)測(cè)B幀，幀間編碼是對(duì)當(dāng) 前幀內(nèi)的塊在先前已編碼幀中尋找最相似塊(運(yùn)動(dòng)估計(jì))作為當(dāng)前塊的預(yù)測(cè)值(運(yùn)動(dòng)補(bǔ)償)，之 后如I幀的編碼過(guò)程對(duì)預(yù)測(cè)殘差進(jìn)行編碼。編碼器中還內(nèi)含一個(gè)解碼器，如圖1中青綠色部 分所示。內(nèi)嵌解碼器模擬解碼過(guò)程，以獲得解碼重構(gòu)圖像，作為編碼下一幀或下一塊的預(yù)測(cè) 參考。解碼步驟包括對(duì)變換量化后的系數(shù)進(jìn)行反量化、反變換，得到預(yù)測(cè)殘差，之后預(yù)測(cè)殘差與預(yù)測(cè)值相加，經(jīng)濾波去除塊效應(yīng)后得到解碼重構(gòu)圖像。幀間預(yù)測(cè)編碼圖HEVC以LCU塊為單位對(duì)輸入視頻幀進(jìn)行處理，首先是預(yù)測(cè)，可進(jìn)行幀內(nèi)預(yù)測(cè)與幀間預(yù) 測(cè)。幀內(nèi)預(yù)測(cè)：預(yù)測(cè)塊由當(dāng)前幀中已編碼并解碼重建的相

19、鄰塊預(yù)測(cè)得到。幀間預(yù)測(cè)：預(yù)測(cè)塊通過(guò)基于一個(gè)或多個(gè)參考幀的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)玫?。然后通過(guò)當(dāng)前塊 減去預(yù)測(cè)塊得到預(yù)測(cè)殘差。預(yù)測(cè)殘差進(jìn)一步進(jìn)行變換編碼和量化，從而得到量化后的殘差系 數(shù)。然后對(duì)量化后的殘差系數(shù)、編碼模式以及相關(guān)的編碼參數(shù)等信息進(jìn)行熵編碼，從而得到 壓縮后的比特流。同時(shí)量化殘差還要進(jìn)行反變換和反量化，然后將殘差和預(yù)測(cè)值相加起來(lái)重 建圖像，再進(jìn)行濾波，生成參考幀編碼單元結(jié)構(gòu)以往H.264會(huì)以16 x 16像素為單位（或是16 x 8、8 x 8、8 x 4、4 x 4等配置），將畫面 切割為數(shù)個(gè)大小相同的宏塊，并以這些宏塊做為編碼時(shí)的最小元素。H.265則是將切割畫面 的工作從使用者手

20、動(dòng)設(shè)定，轉(zhuǎn)交給編碼器來(lái)決定，讓編碼器可視情況以16 x 16、32 x 32、64 x 64等尺寸，將畫面切割為數(shù)個(gè)編碼樹(shù)單元，一般來(lái)說(shuō)區(qū)塊尺寸越大，壓縮效率就會(huì)越好。左圖是傳統(tǒng)的H.264標(biāo)準(zhǔn)，每個(gè)宏塊大小都是固定的；右圖是H.265標(biāo)準(zhǔn)，編碼單元大小是 根據(jù)區(qū)域信息量來(lái)決定的H.265沒(méi)有繼續(xù)采用之前的宏塊(Micro Block, MB)概念，而是使用編碼單元(Coding unit, CU)作為基本的編碼結(jié)構(gòu)。一個(gè)CU可以包含一個(gè)或多個(gè)不同尺寸的預(yù)測(cè)單元PU(Prediction unit), 一個(gè)PU包含若干變換單元(Transfore unit TU)。CU,PU,TU三種在編碼中

21、起的作用不一 樣，不過(guò)這種編碼方式還是基于混合編碼，但是采用了這三種unit之后，能夠更好的分割一 張圖像，變成一個(gè)一個(gè)的block用來(lái)后續(xù)的預(yù)測(cè)和處理。采用這種結(jié)構(gòu)設(shè)計(jì)的目的是在增加 靈活性的同時(shí)，使壓縮預(yù)測(cè)更符合圖像特性。CU(Coding Unit)CU是用作幀間和幀內(nèi)編碼的基礎(chǔ)單元，他的特點(diǎn)是方塊，LCU是64x64,可以使用遞歸分割 四叉樹(shù)的方法來(lái)得到，大的CU適用于圖像中比較平滑部分，而小的部分則適用于邊緣和紋 理較豐富的區(qū)域。采用大尺寸CU主要是為了高清壓縮編碼的應(yīng)用，畢竟如1080p甚至更大 分辨力的視頻，其空間會(huì)有更大面積的一致性，因此采用更大的編碼單元能更有效地減少空 間的

22、冗余。Pa rtnioning of a 5 ol Pa rtnioning of a 5 ol LCU to ua rious siz&j of CLF.如果仍采用光柵掃描順序，對(duì)CU的尋址會(huì)很不方便，因此，H.265定義了 Z掃描順序這種掃描順序保證了對(duì)于不同分割都能按照相同的遍歷順序進(jìn)行尋址有利于程序中遞歸實(shí) 現(xiàn)PU(Prediction Unit)PU是預(yù)測(cè)的基本單元，是編碼單元CU基礎(chǔ)上進(jìn)行劃分的，有SKIP，INTRA，INTER三 種模式可以分割，每個(gè)CU中可以包含一個(gè)或多個(gè)PU。PU可以是方形也可以是矩形，這是 為了分塊能更好與圖像中真實(shí)物體存在的邊界匹配，但是其分割不是遞歸的

23、，與CU的分割 還是有區(qū)別的。PU的尺寸不能超過(guò)其所屬的CU，PU的劃分方式有兩類a. 2Nx2N,NxN,Nx2N,2NxN 如圖三 a 所示b.64x64的CU支持AMP(不對(duì)稱分割)，主要為了適用于CU中紋理偏差比較大的情況，增加 預(yù)測(cè)的精準(zhǔn)度，不對(duì)稱的PU僅適用于幀間預(yù)測(cè)，如圖三b所示TU(TransformUnit)TU是變換和量化的基本單元，它可以大于PU,但是卻不可以大于CU的大小。TU同樣采用四叉樹(shù)的分割結(jié)構(gòu)，所支持的尺寸從4x4至32x32的大小。TU的形狀取決于PU的劃 分模式，當(dāng)PU為正方形時(shí)，TU也是正方形的，當(dāng)PU為非正方形時(shí)，TU也是非正方形的， 一個(gè)CU可以包含一

24、個(gè)或多個(gè)TU。An examp Ie at arranging TUsin mn LCU.下圖可以形象的展示CU、PU及CU之間的關(guān)系。幀內(nèi)預(yù)測(cè)利用圖像的空間相關(guān)性，用周圍重建像素值對(duì)當(dāng)前編碼塊進(jìn)行預(yù)測(cè)H.265更多的幀內(nèi)預(yù)測(cè)方向，在H.264采用9個(gè)幀內(nèi)預(yù)測(cè)方向的場(chǎng)合，H.265預(yù)測(cè)方向 拓展到33個(gè)，另外加上一個(gè)DC和一個(gè)planar，一共35中預(yù)測(cè)模式，使得預(yù)測(cè)更加精細(xì) 增加更多提升更高效幀內(nèi)壓縮的可能的參考像素塊。明顯的代價(jià)是在增加的方向中搜索需要 更多編碼時(shí)間。Luma inc?apre-dici;wn rmodes E 我 HEvCand fb) h.JavC,19 11 20 5

25、 21 12291 23 13 到Luma inc?apre-dici;wn rmodes E 我 HEvCand fb) h.JavC,19 11 20 5 21 12291 23 13 到鞋 Z5 Id 汨 7牝 big ce4x4Luma彳HIFA MocIhlax 16 Luma i-ntra 辭kxlfis3t InbaBC 4r PIhAbCt lnlra_Pinn.ir 才 mtra_DCPlanar模式平面預(yù)測(cè)是一種新提出的預(yù)測(cè)方法，常用于內(nèi)容平滑或紋理不清晰的單元。它為預(yù)測(cè)單 元中的每一個(gè)像素點(diǎn)也都要進(jìn)行插值預(yù)測(cè)，如圖所示。首先根據(jù)左側(cè)相鄰單元的右下角像素 和上方相鄰單元的下

26、邊界像素插值出當(dāng)前預(yù)測(cè)單元下邊界的每個(gè)像素點(diǎn)，再根據(jù)上方相鄰單 元的右下角像素和左側(cè)相鄰單元的右邊界像素插值出當(dāng)前預(yù)測(cè)單元右邊界的每個(gè)像素點(diǎn)，然 后利用上方相鄰單元的下邊界、左側(cè)相鄰單元的右邊界以及插值出的當(dāng)前單元的下邊界和右與亮度的幀內(nèi)預(yù)測(cè)相比，色度的幀內(nèi)預(yù)測(cè)過(guò)程要簡(jiǎn)單的多，只有率失真優(yōu)化的模式選擇過(guò)程，且與亮度的率失真優(yōu)化模式選擇過(guò)程相同。色度預(yù)測(cè)只有 5 種預(yù)測(cè)模式：planar、DC、horizontal、vertical、DM_CHROMA 等。DM_CHROMA模式就是利用亮度分量所選擇的預(yù)測(cè)模式，因此如果前4種預(yù)測(cè)模式中 存在亮度分量所選擇的預(yù)測(cè)模式，為了避免重復(fù)，就利用垂直向右

27、對(duì)角線方向34)預(yù)測(cè)替換 該重復(fù)的預(yù)測(cè)模式。幀間預(yù)測(cè)幀間預(yù)測(cè)利用連續(xù)圖像之間的相關(guān)性，通過(guò)運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)木幋a方法去消除視頻 信息的時(shí)間冗余。利用先前已編碼重建幀作為參考幀進(jìn)行預(yù)測(cè)。1、幀間預(yù)測(cè)采用融合模式時(shí)，當(dāng)前PU塊的運(yùn)動(dòng)信息(包括運(yùn)動(dòng)矢量、參考索引、預(yù)測(cè)模式 都可以通過(guò)相鄰PU的運(yùn)動(dòng)信息推導(dǎo)得到。編碼時(shí)，當(dāng)前PU塊只需要傳送融合標(biāo)記(Merge Flag)以及融合索引(Merge Index)，無(wú)需傳送其運(yùn)動(dòng)信息。2、幀間預(yù)測(cè)還可以通過(guò)空域相鄰PU以及時(shí)域相鄰PU的運(yùn)動(dòng)矢量信息構(gòu)造出一個(gè)預(yù)測(cè)運(yùn)動(dòng) 矢量候選列表，PU遍歷運(yùn)動(dòng)矢量候選列表，在其中選擇最佳的預(yù)測(cè)運(yùn)動(dòng)矢量。廣義B幀預(yù)測(cè)技術(shù)在

28、高效預(yù)測(cè)模式下，H.265仍然采用H.264中的等級(jí)B預(yù)測(cè)方式，同時(shí)還增加了廣義B (Generalized P and B picture，GPB )預(yù)測(cè)方式取代低時(shí)延應(yīng)用場(chǎng)景中的P預(yù)測(cè)方式。GPB預(yù) 測(cè)結(jié)構(gòu)”是指對(duì)傳統(tǒng)P幀采取類似于B幀的雙向預(yù)測(cè)方式進(jìn)行預(yù)測(cè)。在這種預(yù)測(cè)方式下，前 向和后向參考列表中的參考圖像都必須為當(dāng)前圖像之前的圖像，且兩者為同一圖像。對(duì)P幀 采取B幀的運(yùn)動(dòng)預(yù)測(cè)方式增加了運(yùn)動(dòng)估計(jì)的準(zhǔn)確度，提高了編碼效率，同時(shí)也有利于編碼流 程的統(tǒng)一。去塊濾波(Deblock filter)去塊濾波位于反變換之后，主要是去除視頻壓縮過(guò)程中產(chǎn)生的方塊效應(yīng)。首先對(duì)垂直邊 界進(jìn)行水平濾波,先亮度

29、塊后色度塊;再對(duì)水平邊界進(jìn)行垂直濾波,先亮度塊后色度塊。HEVC 對(duì)8x8塊的邊界進(jìn)行濾波，與H.264/AVC中對(duì)4x4邊的邊界進(jìn)行濾波相比，HEVC中去塊濾 波算法的時(shí)間復(fù)雜度有所降低。采樣點(diǎn)自適應(yīng)偏移(Sample Adaptive Offset,SAO)把Frame劃分為若干LCU,然后對(duì)每個(gè)LCU中每個(gè)像素進(jìn)行SAO操作.將根據(jù)其LCU像 素特征選擇一種像素補(bǔ)償方式，以減少源圖像與重構(gòu)圖像之間的失真。自適應(yīng)樣點(diǎn)補(bǔ)償方 式分為帶狀補(bǔ)償(Band Offset， BO)和邊緣補(bǔ)償(Edge Offset， EO)兩大類。帶狀補(bǔ)償帶狀補(bǔ)償將像素值強(qiáng)度等級(jí)劃分為若干個(gè)條帶，每個(gè)條帶內(nèi)的像素?fù)?/p>

30、有相同的補(bǔ)償 值。進(jìn)行補(bǔ)償時(shí)根據(jù)重構(gòu)像素點(diǎn)所處的條帶，選擇相應(yīng)的帶狀補(bǔ)償值進(jìn)行補(bǔ)償?，F(xiàn)有的HM模型將像素值強(qiáng)度從0到最大值劃分為32個(gè)等級(jí)。同時(shí)這32個(gè)等級(jí)條帶 還分為兩類，第一類是位于中間的16個(gè)條帶，剩余的16個(gè)條帶是第二類。編碼時(shí)只將其中一類具有較大補(bǔ)償值的條帶偏移信息寫入片頭；另一類條帶信息則不傳送。這樣的方式編碼將具有較小偏移值的一類條帶忽略不計(jì)，從而節(jié)省了編碼比特?cái)?shù)加加砥口加加砥口邊緣補(bǔ)償邊緣補(bǔ)償主要用于對(duì)圖像的輪廓進(jìn)行補(bǔ)償。它將當(dāng)前像素點(diǎn)值與相鄰的2個(gè)像素值進(jìn) 行對(duì)比，用于比較的2個(gè)相鄰像素可以在下圖中所示的4種模板中選擇，從而得到該像素點(diǎn)的類型。解碼端根據(jù)碼流中標(biāo)示的像素點(diǎn)的類

31、型信息進(jìn)行相應(yīng)的補(bǔ)償校正。CCCCCCCC自適應(yīng)環(huán)路濾波(Adaptive Loop Filter,ALF)ALF在編解碼環(huán)路內(nèi)，位于Debtock和SAO之后，用于恢復(fù)重建圖像以達(dá)到重建圖像與原始圖像之間 的均方差(MSE)最小。ALF的系數(shù)是在幀級(jí)計(jì)算和傳輸?shù)模梢哉麕瑧?yīng)用ALF，也可以對(duì)于基于塊或基于量 化樹(shù)(quadtree )的部分區(qū)域進(jìn)行ALF，如果是基于部分區(qū)域的ALF。還必須傳遞指示區(qū)域信息的附加信息。對(duì)于亮度分量，采用CU為單位的四叉樹(shù)ALF結(jié)構(gòu)。濾波使用5*5,7*7和9*9三種大小的二維鉆石型 模板。濾波器計(jì)算每個(gè)4*4塊的Laplacian系數(shù)值，并根據(jù)該值將所有4*4

32、塊分成16類，分別對(duì)應(yīng)16種濾 波器。3種ALF3種ALF濾波模板首先，色度分量的濾波只需要在圖像層級(jí)上對(duì)于色度分量，濾波的選擇過(guò)程會(huì)簡(jiǎn)單很多。原因如下: 進(jìn)行。其次，濾波時(shí)色度分量統(tǒng)一使用5*5矩形濾波模板，不需要通過(guò)Laplacian系數(shù)來(lái)選擇濾波器類型。首先，色度分量的濾波只需要在圖像層級(jí)上并行設(shè)計(jì)當(dāng)前芯片架構(gòu)已經(jīng)從單核性能逐漸往多核并行方向發(fā)展，因此為了適應(yīng)并行化程度非常 高的芯片實(shí)現(xiàn)，H.265引入了很多并行運(yùn)算的優(yōu)化思路。Tile用垂直和水平的邊界將圖像劃分為一些行和列，劃分出的矩形區(qū)域?yàn)橐粋€(gè)Tile,每一個(gè)Tile 包含整數(shù)個(gè)LCU(Largest Coding Unit). Tile之間可以互相獨(dú)立，以此實(shí)現(xiàn)并行處理。Entropy slice熵編碼以slice為單位，容易造成負(fù)載不均衡。Entropy Slice允許在一個(gè)slice內(nèi)部再切 分成多個(gè)Entropy SIices。每個(gè)Entropy SIice可以獨(dú)立的編碼和解碼，從而提高了編解碼器的 并行處理能力。Entropy sIice