HEVC相關技術簡介

新一代視頻編碼標準

HEVC(HighEfficiencyVideoCoding)相關技術簡介劉晟何美伶許晴晴2014-11-10綱要HEVC產(chǎn)生的背景HEVC與H.264/AVC的聯(lián)系與區(qū)別HEVC編碼層結構視頻應用發(fā)展趨勢●HDTV●3DTV●自由多視點視頻●實時視頻會議●IPTV業(yè)務●3G無線網(wǎng)絡應用范圍更廣碼率與帶寬復雜的應用環(huán)境視頻應用發(fā)展趨勢●高清晰度(HigherDefinition)：數(shù)字視頻的應用格式從720P向1080P全面升級，在一些視頻應用領域甚至出現(xiàn)了4Kx2K、8Kx4K的數(shù)字視頻格式●高幀率(Higherframerate)：數(shù)字視頻幀率從30fps向60fps、120fps甚至240fps的應用場景升級●高壓縮率(HigherCompressionrate)：傳輸帶寬和存儲空間壓縮要求更高H.264編碼的局限性

導致運動矢量幅值大幅增加，H.264中用來對運動矢量進行預測以及編碼的方法壓縮率將逐漸降低。分辨率的大幅增加單個宏塊所表示的圖像內(nèi)容的信息大大減少，這將導致相鄰的4×4或8×8塊變換后的低頻系數(shù)相似程度也大大提高，導致出現(xiàn)大量的冗余。宏塊個數(shù)的爆發(fā)式增長針對DSP等這種并行化程度非常高的CPU，H.264的這種串行化處理越來越成為制約運算性能的瓶頸。并行度比較低碼率壓縮趨勢HEVC在H.264/AVC的基礎上提出碼率壓縮提升一倍，符合發(fā)展規(guī)律！HEVC的提出■ISO-IEC/MPEG和ITU-T/VCEG成立了一個研究視頻編碼的聯(lián)合協(xié)作小組JCT-VC(thejointcollaborativeteamonvideocoding)，其宗旨是建立新一代的視頻編碼標準?！?010年4月在德國德雷斯頓召開了JCT-VC第一次會議，確定了新一代視頻編碼標準的名稱：HEVC(HighEfficiencyVideoCoding)。并且建立了測試模型TMuC(TestModelunderConsideration)，分領域搜集和審閱技術提案。初步定于2012年7月完成標準的最終稿。

■2010年10月在廣州召開了JCT-VC第三次會議，會上確立了HEVC的第一個試驗模型HM1。■新一代視頻壓縮標準的核心目標，是在H.264的基礎上將壓縮效率提高一倍。即在保證相同視頻圖像質(zhì)量的前提下，視頻流的碼率減少50%。在提高壓縮效率的同時，可以允許編碼端適當提高復雜度。

綱要HEVC的背景HEVC與H.264/AVC的聯(lián)系與區(qū)別HEVC編碼層結構H.264和HEVC關鍵特性對比H.264HEVCMB/CU大小4×4‥16×164×4‥64×64亮度插值Luma-1/2像素{1,-5,20,20,-5,1}Luma-1/4像素{1,1}Luma-1/2像素{-1,4,-11,40,40,-11,4,-1}Luma-1/4像素{-1,4,-10,57,19,-7,3,-1}Chroma-1/8像素{-3,60,8,-1}MVP預測方法空域MVP預測空域+時域MVP預測AMVP\Merge亮度Intra預測4×4/8×8/16×16:9/9/4模式33種角度預測+Planar預測+DC預測色度Intra預測DC,Horizontal,Vertical,PlaneDM,LM,planar,Vertical,Horizontal,DC,diagonal變換DCT4×4/8×8DCT4×4/8×8/16×16/32×32DST4×4去塊濾波器4×4和8×8邊界Deblock濾波較大的CU尺寸，4×4邊界不進行濾波SAO和ALF。綱要HEVC的背景與H.264/AVC之比較HEVC編碼層結構HEVC編碼器框架混合編碼結構ReconstructedVideooutputHEVC編碼器框架

HEVC以LCU塊為單位對輸入視頻幀進行處理，首先是進行預測，可進行幀內(nèi)預測或幀間預測。幀內(nèi)預測：預測塊由當前幀中已編碼并解碼重建的相鄰塊預測得到。幀間預測：預測塊通過基于一個或多個參考幀的運動估計和運動補償?shù)玫?。然后通過當前塊減去預測塊得到預測殘差。預測殘差進一步進行變換編碼和量化，從而得到量化后的殘差系數(shù)。然后對量化后的殘差系數(shù)、編碼模式以及相關的編碼參數(shù)等信息進行熵編碼，從而得到壓縮后的比特流。同時量化殘差還要進行反變換和反量化，然后將殘差和預測值相加起來重建圖像，再進行濾波，生成參考幀。HEVC編碼層結構基于四叉樹結構的分割技術幀內(nèi)預測編碼技術幀間預測編碼技術并行化設計CU、PU和TUCU(CodingUnit)

CU是進行幀內(nèi)預測和幀間預測編碼的基本單元，它總是方形的從SCU（8x8）到LCU（64x64），CU塊從LCU塊開始遞歸劃分，一個塊被劃分為四個相同大小的子塊。通過率失真代價（Rdcost=SAD+Bits）選取最優(yōu)的分割大小。CU、PU和TUACTU(LCU)CU(CodingUnit)CU遞歸分割。支持8x8~64x64CU總是平方塊，且亮度單位常為8x8,16x16,32x32,64x64?；谒牟鏄浣Y構的分割技術這種掃描順序保證了對于不同分割都能按照相同的遍歷順序進行尋址，有利于程序中的遞歸實現(xiàn)。如果仍是采用光柵掃描順序，對CU的尋址會很不方便，因此，HEVC定義了Z掃描順序。2.PU（Predictionunit）

PU是用來傳輸和預測過程的信息的基本單元，它是在編碼單元CU基礎上進行劃分的。一般來說，它不一定是正方形的，這是為了分塊能更好與圖像中真實物體存在的邊界匹配。每一個CU中可以包含一個或多個PU。2.PU（Predictionunit）

InterIntraAsymmetricMotionPartition(AMP)幀內(nèi)PU分割幀間PU分割Note：PART_NxNonlyfor8x8CUAMPonlyfor64x64CUCU劃分完以后，針對每個CU劃分PU，PU是進行預測的單元。每個CU可以包含一個或多個PU。AMPAMP模式示例(RaceHorses)AMPmodesareeffectivelyusedfortextureswhichcannotberepresentedbysquareorsymmetricpartitionmodes.3.TU（Transformunit）

TU用于變換和量化的單元。與PU相同，TU也是在CU基礎上劃分的。TU的形狀取決于PU的劃分模式，當PU為正方形時，TU也是正方形的（4x4to32x32）當PU為非正方形時，TU也是非正方形的（32x8、8x32、16x4、4x16）。一個CU可以包含一個或多個TU，TU也是一個四叉樹結構。3.TU（Transformunit）

劃分成最小的基于四叉樹結構的分割技術CUTU的由CU的大小決定，亮度和色度具有相同的分級深度。DCT:4×4、8x8、16x16、32×32。DST:4x4（僅適用于幀內(nèi)預測，在單邊預測模式中，距離參考像素越遠，預測誤差越大，左邊像素為參考像素，右邊像素為預測像素，那么左邊預測像素的預測準確性高于右邊預測像素的預測精度，離散正弦變換ＤＳＴ能夠很好地適應這種預測誤差的統(tǒng)計特性）。TransformUnit(TU)structure編碼單元、變換單元的四叉樹結構關系圖幀內(nèi)預測編碼技術IntraPrediction幀內(nèi)預測：利用圖像的空間相關性，用周圍重建像素值對當前編碼塊進行預測。幀內(nèi)預測編碼技術PUsizeNumberofintramodes435835163532356435IntraPrediction目前HM模型中共包含了35種預測模式，左圖并未顯示Planar預測方法。色度分量的幀內(nèi)預測采用了5種預測模式，分別為水平、垂直、DC預測、亮度模式以及對角模式。幀內(nèi)預測編碼技術IntraPrediction幀內(nèi)預測編碼技術Planar模式在平面預測中，首先右下角的像素Ｚ由圖中重建像素Ｌ和Ｔ平均得到，然后利用重建像素Ｌ和Ｔ與Ｚ進行線性插值計算出最下面一行和最右邊一列像素值，如圖中像素Ｍ和Ｎ，然后利用插值得到的像素進行雙線性插值計算其它預測像素值，如圖中像素Ｐ線性插值雙線性插值最有可能模式（MPM，MostProbableMode）是指當前塊周圍已編碼過的左邊塊和上邊塊的最佳預測模式。幀內(nèi)編碼流程幀間預測編碼技術InterPrediction

幀間預測利用連續(xù)圖像之間的相關性，通過運動估計和運動補償?shù)木幋a方法去消除視頻信息的時間冗余。利用先前已編碼重建幀作為參考幀進行預測。1、幀間預測采用融合模式時，當前PU塊的運動信息(包括運動矢量、參考索引、預測模式)都可以通過相鄰PU的運動信息推導得到。編碼時，當前PU塊只需要傳送融合標記(MergeFlag)以及融合索引(MergeIndex)，無需傳送其運動信息。2、幀間預測還可以通過空域相鄰PU以及時域相鄰PU的運動矢量信息構造出一個預測運動矢量候選列表，PU遍歷運動矢量候選列表，在其中選擇最佳的預測運動矢量?！〞r空域MVP）運動融合技術：SKIP模式和MERGE模式1）skip模式本身就是一種特殊的merge模式。Skip=merge+（CBF=0）2）HEVC里的merge模式是整合了H.264中的direct模式和skip模式。H.264中的direct模式是給定預先設定的值進行傳輸。而HEVC里的merge和skip不是這樣。3）skip模式和merge模式之間的區(qū)別：skip模式不傳殘差，只傳

skip_flag和merge_index。Merge模式傳殘差和merge_index。

Skip模式作用：節(jié)省碼率。5）merge模式：不需要進行復雜的運動估計，只有運動補償，當前PU塊的運動信息都可以通過相鄰PU的運動信息推導得到。INTER模式下預測運動矢量選取Note：只有左邊超出slice或者幀內(nèi)編碼，才能縮放上邊。

空域候選——左邊選擇

一個，上邊選擇一個獲取順序：左邊——A0A1scaledA0scaledA1上邊——B0B1B2scaledB0scaledB1scaledB2縮放條件：周圍塊的運動矢量參考幀的POC和當前預測單元的參考幀的POC不一致時才能縮放如果空域得到的2個預測運動矢量都存在且不相等，則跳過時域候選時域候選——先H后C3如果H位置的PU和當前PU不在同一個對應的LCU中，則標記不可用最后將時域候選和空域候選得到的預測運動矢量加入列表，進行去冗余，添加0運動矢量，得到一個只有2個預測運動矢量的列表，然后根據(jù)代價值選擇最佳的預測運動矢量環(huán)路濾波環(huán)路濾波自適應環(huán)路濾波(ALF)去塊濾波采樣點自適應偏移(SAO)無4X4塊采樣點自適應偏移(SampleAdaptiveOffset)帶狀偏移將像素值強度等級劃分為若干個條帶，每個條帶內(nèi)的像素擁有相同的偏移值。現(xiàn)有的HM模型將像素值強度從0到最大值劃分為32個等級。同時這32個等級條帶還分為兩類，第一類是位于中間的16個條帶，剩余的16個條帶是第二類。編碼時只將其中一類具有較大補償值的條帶偏移信息寫入片頭；另一類條帶信息則不傳送。這樣的方式編碼將具有較小偏移值的一類條帶忽略不計，從而節(jié)省了編碼比特數(shù)。帶狀偏移

32級像素值條帶分割示意圖采樣點自適應偏移(SampleAdaptiveOffset)邊緣偏移主要用于對圖像的輪廓進行偏移。它將當前像素點值與相鄰的2個像素值進行對比，用于比較的2個相鄰像素可以在圖9中所示的4種模板中選擇，從而得到該像素點的類型：局部最大、局部最小或者圖像邊緣。解碼端根據(jù)碼流中標示的像素點的類型信息進行相應的偏移校正。4種邊緣樣點偏移模板邊緣偏移自適應環(huán)路濾波自適應環(huán)路濾波(AdaptiveLoopFilter,ALF)在編解碼環(huán)路內(nèi)，位于Deblock和SAO之后。對于亮度分量，采用CU為單位的四叉樹ALF結構。濾波使用5×5，7×7和9×9三種大小的二維鉆石型模板。濾波