第四章 數(shù)字電視壓縮原理

第四章數(shù)字電視壓縮原理第一頁，共七十頁，編輯于2023年，星期五一數(shù)字電視信號壓縮的必要性和可能性1.1壓縮的必要性：電視信號數(shù)字化后：數(shù)碼率高，數(shù)據(jù)量大。例如：4：2：2編碼、8比特量化的SDTV信號，其數(shù)碼率為216Mbps。若按每2bit構(gòu)成一個周期，則傳輸這樣一路數(shù)字電視信號需要有108MHz的通道帶寬。4：2：2編碼、8比特量化時，一幀SDTV圖像的數(shù)據(jù)量約為8.6Mb，要記錄10分鐘的電視節(jié)目就需要130Gb的存儲器容量。綜上所述，要實現(xiàn)數(shù)字電視信號的有效存儲和傳輸，就需要采取措施降低其數(shù)據(jù)量和數(shù)碼率第二頁，共七十頁，編輯于2023年，星期五1.2壓縮的可能性壓縮過程：去除圖像中與信息無關或?qū)D像質(zhì)量影響不大的部分，即冗余部分。電視信號中存在很多這樣的冗余部分，這就為壓縮提供了可能性。電視信號的冗余性表現(xiàn)在以下幾個方面：空間相關冗余時間相關冗余視覺冗余熵冗余第三頁，共七十頁，編輯于2023年，星期五空間相關冗余水平相關垂直相關第四頁，共七十頁，編輯于2023年，星期五時間相關冗余（幀間相關冗余）t＝t1t＝t2第五頁，共七十頁，編輯于2023年，星期五人眼視覺冗余人眼視覺特性：對靜止或緩慢運動圖像的灰度等級及圖像細節(jié)的分辨力高對快速運動圖像的灰度等級及圖像細節(jié)的分辨力低觀察大面積圖像時，對灰度等級分辨力高，對細節(jié)分辨力低觀察細節(jié)時，對灰度等級分辨力低，對細節(jié)分辨力高第六頁，共七十頁，編輯于2023年，星期五利用人眼的視覺特性對靜止或緩慢運動圖像：減小幀率在圖像細節(jié)部分選擇較高的取樣頻率和較低的量化比特數(shù)在大面積像塊區(qū)域選擇較低的取樣頻率和較高的量化比特數(shù)對快速運動圖像：提高幀率降低取樣頻率和量化比特數(shù)第七頁，共七十頁，編輯于2023年，星期五自信息量定義：指某個隨機事件（或消息）發(fā)生后所提供的信息數(shù)量的多少任意隨機事件的自信息量為該事件發(fā)生概率的倒數(shù)的對數(shù)。熵冗余第八頁，共七十頁，編輯于2023年，星期五信源熵（信源每個符號的平均信息量）：P(xi)是符號xi出現(xiàn)的概率平均碼長（每個符號的平均編碼長度）：熵冗余＝平均碼長－信息熵li是符號xi的編碼碼長第九頁，共七十頁，編輯于2023年，星期五例如：某一圖像總共可出現(xiàn)4個灰度級，對每個灰度級進行二進制定長編碼時，碼長為2比特，即L＝2bit/符號。當每個灰度級出現(xiàn)的概率相等，即都為1/4時：當每個灰度級出現(xiàn)的概率不相等時：設灰度級1～4的概率分別為1/8、3/8、3/8、1/8，熵冗余＝L–H＝2－1.81＝0.19bit/符號熵冗余＝L–H＝

2－2＝0bit/符號第十頁，共七十頁，編輯于2023年，星期五若采用變長編碼方式，對概率大的符號賦予短碼，對概率小的符號賦予長碼，則可降低平均碼長L熵冗余＝1.875－1.81＝0.065bit/符號例如，灰度級13/81

灰度級23/801

灰度級31/8001

灰度級41/8000所以，采用變長編碼可降低信源熵冗余第十一頁，共七十頁，編輯于2023年，星期五二壓縮編碼方式2.1壓縮方式分類按無損壓縮和有損壓縮進行分類：無損壓縮編碼、有損壓縮編碼按幀內(nèi)壓縮和幀間壓縮進行分類：幀內(nèi)壓縮編碼、幀間壓縮編碼按壓縮編碼原理進行分類：預測編碼、變換編碼、熵編碼第十二頁，共七十頁，編輯于2023年，星期五2.2預測編碼2.2.1預測編碼的基本原理預測編碼傳送的不是實際像素值，而是實際值與其預測值之間的差值，即預測誤差。像素的預測值由其在時間和空間上相鄰的若干個像素的線性組合產(chǎn)生，它反映了在預測區(qū)域內(nèi)各像素的共性部分，因此用像素的實際值減去其預測值就可基本去除像素間的相關性。第十三頁，共七十頁，編輯于2023年，星期五預測器＋＋en’Xn’預測器＋－Xnenen’量化器編碼器傳輸通道解碼器輸入輸出＋＋en’＝en

＋Δx＝Xn－＋ΔxXn’＝en’＋＝Xn

＋Δx若不考慮量化器的影響，則有Xn’＝Xn（無損壓縮）Δx：量化誤差第十四頁，共七十頁，編輯于2023年，星期五預測編碼的壓縮效果取決于預測器的預測精度，精度越高，預測誤差越小，量化時所需的量化比特數(shù)就越少，壓縮率也就越高。一般來說，參與預測的像素數(shù)越多，預測值就越精確，但同時預測器電路組成也就越復雜。利用相關像素值x1、x2……xn-1來預測當前像素值：a1、a2······an-1稱為相關系數(shù)，且滿足：

第十五頁，共七十頁，編輯于2023年，星期五2.2.2幀內(nèi)預測編碼X1X2X3X4X5X6X7上一行相隔行當前行當前像素a6a4a3a2D6D4D3D2輸入由距X7最近的四個像素X6、X4、X3、X2參與對X7的預測。相關系數(shù)為：a6＝1/2、a4＝a2＝1/8、a3＝1/4，則：＝1/2X6＋1/8X4＋1/4X3＋1/8X2D6＝TS（TS為取樣周期）D4＝TH－TS（TH為行周期）D3＝THD2＝TH＋TS第十六頁，共七十頁，編輯于2023年，星期五2.2.3幀間預測編碼幀存儲器＋－Xnenen’量化器編碼器輸入輸出＋＋第十七頁，共七十頁，編輯于2023年，星期五2.3變換編碼2.3.1變換編碼基本原理像素塊化傳輸通道熵解碼輸入輸出發(fā)端收端熵編碼量化器反量化器正交變換正交反變換通過一種線性運算關系將空間域的圖像信號變換到變換域或頻率域的正交矢量空間，然后進行編碼。第十八頁，共七十頁，編輯于2023年，星期五變換編碼的特點：在變換域中描述視頻圖像要比在空間域中簡單；視頻圖像的相關性明顯下降，信號的能量主要集中在少數(shù)幾個變換系數(shù)上，采用量化和熵編碼可有效地壓縮其數(shù)據(jù)量；可充分利用人眼的視覺特性；具有較強的抗干擾能力，傳輸過程中的誤碼對圖像質(zhì)量的影響遠小于預測編碼；

DCT等變換有快速算法，能實現(xiàn)實時視頻處理。第十九頁，共七十頁，編輯于2023年，星期五2.3.2離散余弦變換設圖像塊的樣點數(shù)為N×N，其樣值方陣用f(x,y)表示，則二維離散余弦變換的公式為：第二十頁，共七十頁，編輯于2023年，星期五F(u,v)=圖像分塊及變換：通常將圖像分解成8×8的像素塊，然后進行DCT變換。變換后得到由8×8頻域系數(shù)組成的矩陣。F00：DC系數(shù)，代表該像素塊的直流分量或平均亮度值其它為AC系數(shù)第二十一頁，共七十頁，編輯于2023年，星期五一般電視圖像的構(gòu)成都是以大、中面積內(nèi)容為主，精細內(nèi)容較少，因而可估計到，系數(shù)矩陣中左上方的系數(shù)值會大些，而越接近右下角，系數(shù)值會越小f(x,y)=F(u,v)=第二十二頁，共七十頁，編輯于2023年，星期五DCT系數(shù)量化:利用人眼的視覺冗余性,對系數(shù)矩陣左上角附近的系數(shù)進行細量化（量化間隔小）而對右下角附近的系數(shù)進行粗量化（量化間隔大），然后對量化后的系數(shù)取整。其具體實現(xiàn)方法:F’(u,v)＝F(u,v)/Q(u,v)Q(u,v)=F’(u,v)=第二十三頁，共七十頁，編輯于2023年，星期五Z形掃描和游程編碼:F’(u,v)=Z形讀出：79，0，－2，－1，－1，－1，0，0，－1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0游程編碼：（0，79），（1，－2）（0，－1），（0，－1）（0，－1），（2，－1）EOB游程編碼:將一維序列用二維數(shù)組(run,level)表示。run：表示連零的長度level:表示連零之后出現(xiàn)的第一個非零值當所有值都為零時用符號EOB表示第二十四頁，共七十頁，編輯于2023年，星期五2.4熵編碼按信源符號出現(xiàn)概率的不同分配給不同長度的碼字比特數(shù)。即出現(xiàn)概率大的符號編碼碼字短，出現(xiàn)概率小的符號編碼碼字長。也稱可變長編碼（VLC）前提條件：必須知道每個符號的出現(xiàn)概率特點：具有單義可譯性。即：任何一個長碼都不會是另兩個短碼復合而成，任何一個短碼不會是另一個長碼的前綴。因此，收信端可從接收到的碼字串中分斷開每個碼字，不會發(fā)生碼字混淆。第二十五頁，共七十頁，編輯于2023年，星期五基本原理：將信源發(fā)出的符號按出現(xiàn)概率的大小次序排列；對兩個概率最小的符號分別賦以“0”、“1”，并將這兩個概率相加之后作為一個新符號的概率；對符號概率重新排隊后再取兩個概率最小的符號分別賦以“0”、“1”，并將這兩個概率相加；依此類推，直到所有概率相加得到1為止；由后向前沿各支路逐一寫出“0”、“1”，此碼字即為霍夫曼編碼碼字。2.4.1霍夫曼編碼第二十六頁，共七十頁，編輯于2023年，星期五例如：

設信源各符號出現(xiàn)的概率為：

xi：x1x2x3x4x5x6x7x8

Pi：0.200.190.180.170.150.100.0050.005符號(xi)概率(Pi)x1x2x3x4x5x6x7x80.200.190.180.170.150.100.0050.005010.01010.11100.26010.35010.39010.61011.00碼字(wi)010011111010110011000110000碼長(ni)22333455第二十七頁，共七十頁，編輯于2023年，星期五信源熵：采用等長編碼方式時，每個符號需要3bit，即平均碼長為3bit/符號，熵冗余為0.38bit/符號。采用可變長編碼時，平均碼長為：熵冗余為0.11bit/符號第二十八頁，共七十頁，編輯于2023年，星期五像素塊矩陣經(jīng)DCT變換、量化和Z形掃描后：2.4.2DCT系數(shù)的熵編碼DC系數(shù)：差值編碼（DPCM），熵編碼；即：DIFF＝DCi－DCi-1對DIFF進行熵編碼AC系數(shù)：游程編碼，熵編碼第二十九頁，共七十頁，編輯于2023年，星期五DC系數(shù)的DIFF熵編碼（查表法）DIFF碼字1碼字20000-1，10100，1-3，-2，2，301100，01，10，11-7...-4，4…7100000…011，100…111-15…-8，8…151010000…0111，1000…1111-31…16，16…31110…-63…-32，32…631110…-127…-64，64…12711110…-255…-128，128…255111110…-511…-256，256…5111111110…-1023…-512，512…102311111110…-2047…-1024，1024…2047111111110…編碼碼字＝碼字1＋碼字2若DIFF＝2，則碼字為01110第三十頁，共七十頁，編輯于2023年，星期五AC系數(shù)熵編碼（表1）AC系數(shù)位長碼字2000-1，110，1-3，-2，2，3200，01，10，11-7...-4，4…73000…011，100…111-15…-8，8…1540000…0111，1000…1111-31…16，16…315…-63…-32，32…636…-127…-64，64…1277…-255…-128，128…2558…-511…-256，256…5119…-1023…-512，512…102310…第三十一頁，共七十頁，編輯于2023年，星期五AC系數(shù)熵編碼（表2）游程/位長碼字10/0(EOB)10100/1000/2010/31000/410110/5110100/611110000/7111110000/811111101100/911111111100000100/101111111110000011游程/位長碼字11/111001/2110111/311110011/41111101101/5111111101101/611111111100001001/711111111100001011/811111111100001101/911111111100001111/101111111110001000……第三十二頁，共七十頁，編輯于2023年，星期五F’(u,v)=AC系數(shù)游程編碼：（1，－2）（0，－1），（0，－1）（0，－1），（2，－1）EOB對于（1，－2）：AC系數(shù)為－2，前面有1個零查表1可知，其對應的“游程/位長”是1/2，碼字2為01查表2可知，1/2對應的碼字1為11011所以，對（1，－2）進行熵編碼的碼字為1101101第三十三頁，共七十頁，編輯于2023年，星期五2.5運動估計與運動補償運動估計：對運動物體的位移作出估計，即求出運動矢量運動補償：按照運動矢量，對上一幀做位移，然后求出對當前幀的預測值。運動矢量運動估計運動補償前一幀當前幀預測的當前幀編碼差值圖像第三十四頁，共七十頁，編輯于2023年，星期五運動補償幀間預測編碼方框圖：＋－輸入量化器反量化器幀存儲器運動補償運動估測編碼器輸出當前幀預測幀運動矢量幀差信號＋＋第三十五頁，共七十頁，編輯于2023年，星期五運動估計塊匹配法：將圖像分成若干個大小為M×N的子像塊，假定同一子像塊內(nèi)所有像素具有相同的位移。假定幀間最大水平位移和最大垂直位移分別為Wx和Wy個像素；對于當前幀的每一個塊在前一幀相應位置開辟大小為(M+2Wx)×(N+2Wy)的一塊搜索區(qū)；在搜索區(qū)內(nèi)求出當前幀對應塊的最佳匹配塊；求出運動矢量。第三十六頁，共七十頁，編輯于2023年，星期五前一幀搜索區(qū)當前幀像素塊M+2WxN+2WyWxWxWyWyNM第三十七頁，共七十頁，編輯于2023年，星期五jij：垂直位移量i：水平位移量第三十八頁，共七十頁，編輯于2023年，星期五塊匹配準則：均方誤差（MSE）最小準則絕對誤差均值（MAD）最小準則第三十九頁，共七十頁，編輯于2023年，星期五最大歸一化互相關函數(shù)（NCCF）準則第四十頁，共七十頁，編輯于2023年，星期五搜索方法：窮盡搜索法：對搜索區(qū)域內(nèi)的每一點都用匹配準則進行計算。二維對數(shù)法三步搜索法分塊全搜索法：第四十一頁，共七十頁，編輯于2023年，星期五三視頻壓縮國際標準1、視頻編碼圖像格式標準CCIR601ISO/MPEG-1CCITTH.261參數(shù)PALNTSCSIFCIFQCIF幀頻2530253030每幀有效行數(shù)YCRCB5762882884802402402881441442401201202881441441447272每行有效象素數(shù)YCRCB720360360360（352）180（176）180（176）3521761761768888第四十二頁，共七十頁，編輯于2023年，星期五

H.2612、視頻壓縮標準概述視頻電話和視頻會議壓縮編碼標準CCITT1984年開始研究，1990年正式成為標準應用：視頻電話、視頻會議，傳輸網(wǎng)絡為ISDN（綜合業(yè)務數(shù)據(jù)網(wǎng)，64kb/s～2.048Mb/s）圖像格式：CIF、QCIF，最大幀頻為30Hz，逐行掃描碼率：p×64kb/s（p＝1~30）。p＝1、2時，只支持QCIF格式，用于視頻電話。p≥6時，支持CIF格式，可用于視頻會議。壓縮方式：DCT、幀間預測編碼第四十三頁，共七十頁，編輯于2023年，星期五

JPEG

JointPhotographicExpertsGroup（靜止圖像專家組）靜止圖像壓縮標準1986年開始研究，1992通過標準的第一部分應用：靜止圖像的壓縮壓縮方式：DCT8×8像素塊Z形掃描DCT變換系數(shù)量化DC:DPCMAC:RLC熵編碼熵編碼MotionJPEG第四十四頁，共七十頁，編輯于2023年，星期五

JPEG2000靜止圖像壓縮標準1997年開始研究，2000通過標準應用：靜止圖像的壓縮壓縮方式：小波變化特點：良好的低比特率壓縮性能按照圖像質(zhì)量或分辨率的累進式傳輸支持有損和無損壓縮對碼流的隨機存取和感興趣區(qū)域（ROI）的編碼MotionJPEG2000第四十五頁，共七十頁，編輯于2023年，星期五

MPEG-1MovingPictureExpertGroup（活動圖像專家組）視頻及其伴音的壓縮標準1988年開始研究，1992成為正式標準應用：數(shù)字存儲媒體（如VCD等），交互式多媒體系統(tǒng)圖像格式：SIF（4:2:0），逐行掃描碼率：1.5Mb/s壓縮方式：DCT，幀間預測編碼第四十六頁，共七十頁，編輯于2023年，星期五

MPEG-2活動圖像及其伴音信息的通用編碼1990年開始制定，1994年成為正式標準應用：SDTV，HDTV，DVD等圖像格式：CCIR601等多種格式（4:2:2，4:4:4，4:2:0），逐行掃描，隔行掃描壓縮方式：DCT，幀間預測編碼有多種檔次：5個型，4個級與MPEG-1兼容第四十七頁，共七十頁，編輯于2023年，星期五

H.263低碼率圖像壓縮編碼標準ITU-T1995推出草案應用：視頻電話、多媒體通信、移動通信、遠程監(jiān)控系統(tǒng)等，傳輸網(wǎng)絡為PSTN（公用電話交換網(wǎng)）圖像格式：CIF、QCIF、sub-QCIF（Y：128×96，CR/CB：64×48），最大幀頻為30Hz，逐行掃描壓縮方式：DCT、幀間預測編碼第四十八頁，共七十頁，編輯于2023年，星期五

MPEG-4基于內(nèi)容的壓縮編碼標準1993年開始制定，1999年成為正式標準應用：交互式多媒體應用、移動通信、個人通信等圖像格式：多種格式，逐行掃描，隔行掃描特點：編碼對象是圖像中的音頻和視頻對象（AV對象）形狀編碼分級編碼第四十九頁，共七十頁，編輯于2023年，星期五

MPEG-7多媒體內(nèi)容描述接口由MPEG組織于1996開始研究，2001年公布目的：對各種多媒體信息的描述進行標準化，從而使用戶對感興趣的素材進行快速而高效的檢索。MPEG-7包括：描述符、描述方案、描述定義語言、編碼方案。應用：數(shù)字圖書館、數(shù)據(jù)庫、多媒體目錄服務等第五十頁，共七十頁，編輯于2023年，星期五

MPEG-21多媒體框架目標：建立一個交互式的多媒體框架，協(xié)調(diào)各個標準之間的配套銜接。通過網(wǎng)絡和設備可存取、使用并交互操作各種多媒體對象，實現(xiàn)多種業(yè)務。第五十一頁，共七十頁，編輯于2023年，星期五四、MPEG-2視頻部分4.1MPEG概況MPEG：屬于ISO/IEC下屬的聯(lián)合技術委員會任務：制定活動圖像的壓縮編碼標準，壓縮碼率為1.5Mb/s10Mb/s40Mb/s－MPEG-1（1992，ISO/IEC11172）－MPEG-2（1994，ISO/IEC13818）－MPEG-3（1992，撤銷）第五十二頁，共七十頁，編輯于2023年，星期五MPEG視頻部分框圖IDCT反量化VLC解碼緩沖器(b)解碼過程DCT量化VLC緩沖器(a)編碼過程碼率控制第五十三頁，共七十頁，編輯于2023年，星期五4.2MPEG-2的型和級型級簡單型SP4:2:0主型MP4:2:0SNR可分級型SNP4:2:0空間可分級型SSP4:2:0高級型HP4:2:04:2:2高級HL1920×1080×301920×1152×25－MP@HLI,P,B80Mb/s－－HP@HLI,P,B100Mb/sH-1440L1440×1080×301440×1152×25－MP@H1440LI,P,B60Mb/s－SSP@H1440LI,P,B60Mb/sHP@H1440LI,P,B80Mb/s主級ML720×480×30720×576×25SP@MLI,P15Mb/sMP@MLI,P,B15Mb/sSNP@MLI,P,B15Mb/s－HP@MLI,P,B20Mb/s低級LL352×240×30352×288×25－MP@LLI,P,B4Mb/sSNP@LLI,P,B4Mb/s－－第五十四頁，共七十頁，編輯于2023年，星期五4.3圖像編碼幀類型I幀（幀內(nèi)編碼幀）僅利用該幀圖像本身的信息進行編碼DCT、量化、熵編碼等I幀提供了進入壓縮圖像數(shù)據(jù)序列的隨機訪問點，便于對圖像進行編輯。一般應用中，一秒鐘出現(xiàn)兩個I幀壓縮比：（2～5）：1第五十五頁，共七十頁，編輯于2023年，星期五P幀（前向預測幀）利用前面最靠近的I幀或P幀圖像作參考幀，經(jīng)運動預測編碼得到的圖像。壓縮比：（5～10）：1P幀可以作為B幀和后面的P幀的參考幀P幀會使誤碼傳遞下去第五十六頁，共七十頁，編輯于2023年，星期五B幀（雙向預測幀）利用過去及將來的I幀或P幀作參考幀，經(jīng)運動預測編碼得到的圖像。壓縮比：（20～30）：1B幀不用作參考幀B幀不會使誤碼傳遞下去通常在兩個參考幀之間安排兩個B幀第五十七頁，共七十頁，編輯于2023年，星期五編碼圖像的顯示順序和傳送順序IBBPBBPBBPBBI12345678910111213IBPBBPBBPBBIB14237561089131112圖像的顯示順序圖像的傳送順序第五十八頁，共七十頁，編輯于2023年，星期五4.4MPEG2視頻編、解碼器框圖幀重排運動補償運動估計幀內(nèi)/幀間模式判別DCT量化VLC幀間幀內(nèi)反量化反DCTK1K2運動矢量去VLCI幀存P幀存K4K3I、BPI、PB信源數(shù)據(jù)＋＋＋－A2A1緩沖器量化控制編碼器第五十九頁，共七十頁，編輯于2023年，星期五解碼器反量化反DCT幀重排I(P)幀存P幀存MV2MV1BI、PMC值輸入碼流圖像數(shù)據(jù)VLD量化步長量化表選擇第六十頁，共七十頁，編輯于2023年，星期五4.5視頻基本碼流（ES流）的組成像塊宏塊宏塊條像塊像塊宏塊宏塊宏塊條宏塊條圖像圖像圖像圖像組圖像組圖像組圖像序列第六十一頁，共七十頁，編輯于2023年，星期五4.5.1像塊8×8像素陣列，DCT變換單元可以是Y像塊或CB、CR像塊第六十二頁，共七十頁，編輯于2023年，星期五4.5.2宏塊由16×16像素的Y陣列和相應畫面區(qū)域內(nèi)的