數(shù)字視頻處理6章課件

第六章視頻壓縮編碼基本原理6.1視頻壓縮編碼概述第六章視頻壓縮編碼基本原理6.1視頻壓縮編碼概述6.1.1視頻壓縮編碼的必要性未經(jīng)過壓縮的原始視頻的碼率：720p高清電視（30fps，4:2:0）：1280×720×30×8×1.5＝316.41Mbps1080p高清電視（60fps，4:2:2）：1920×1080×60×8×2＝1.85Gbps100分鐘的720p高清電視節(jié)目（30fps，4:2:0）大小可達(dá)約231.74GB6.1.1視頻壓縮編碼的必要性未經(jīng)過壓縮的原始視頻的碼率：視頻壓縮編碼的必要性同樣，傳輸中也存在同樣的困難，網(wǎng)絡(luò)帶寬受限視頻壓縮編碼的必要性同樣，傳輸中也存在同樣的困難，網(wǎng)絡(luò)帶寬受6.1.2視頻壓縮編碼的可能性信息之所以能進(jìn)行壓縮，是因?yàn)樾畔⒈旧硗ǔ４嬖谌哂嗔吭跀?shù)據(jù)存儲(chǔ)或傳輸時(shí)，通過選擇優(yōu)化的信源編碼方案，消除了冗余，也就達(dá)到了數(shù)據(jù)壓縮目的6.1.2視頻壓縮編碼的可能性信息之所以能進(jìn)行壓縮，是因?yàn)樾旁?信道信源就是信息的來源，可以是人、機(jī)器、自然界的物體等等。信源發(fā)出信息的時(shí)候，一般以某種訊息的方式表現(xiàn)出來，可以是符號(hào)，如文字、語言等，也可以是信號(hào)，如圖像、聲響等等信道就是信息傳遞的通道，是將信號(hào)進(jìn)行傳輸、存儲(chǔ)和處理的媒介。信道的關(guān)鍵問題是它的容量大小，要求以最大的速率傳送最大的信息量信源/信道信源就是信息的來源，可以是人、機(jī)器、自然界的物體等信源編碼/信道編碼為了減少信源輸出符號(hào)序列中的冗余度、提高符號(hào)的平均信息量，對(duì)信源輸出的符號(hào)序列所施行的變換稱為信源編碼對(duì)輸入信息進(jìn)行編碼，優(yōu)化信息和壓縮信息并且打成符合標(biāo)準(zhǔn)的數(shù)據(jù)包信道編碼是為了對(duì)抗信道中的噪音和衰減，通過增加冗余，如校驗(yàn)碼等，來提高抗干擾能力以及糾錯(cuò)能力信源編碼/信道編碼為了減少信源輸出符號(hào)序列中的冗余度、提高符信息熵信息是個(gè)很抽象的概念，我們常常說信息很多，或者信息較少，但卻很難說清楚信息到底有多少，直到1948年，香農(nóng)提出了“信息熵”（Entropy）的概念，才解決了對(duì)信息的量化度量問題信息熵是用于度量信息量的一個(gè)概念。一個(gè)系統(tǒng)越是有序，信息熵就越低；反之，一個(gè)系統(tǒng)越是混亂，信息熵就越高。所以，信息熵也可以說是系統(tǒng)有序化程度的一個(gè)度量信息熵信息是個(gè)很抽象的概念，我們常常說信息很多，或者信息較少時(shí)間冗余在視頻序列中，前后兩幀圖像（時(shí)間間隔很短）之間具有較大的相關(guān)性，表現(xiàn)出幀與幀之間的重復(fù)，因而存在時(shí)間冗余這是視頻信號(hào)中所經(jīng)常包含的冗余時(shí)間冗余在視頻序列中，前后兩幀圖像（時(shí)間間隔很短）之間具有較空間冗余在同一幅圖像中，規(guī)則物體和規(guī)則背景（所謂規(guī)則是指表面顏色分布是有序的、而不是完全雜亂無章的）的表面物理特征具有相關(guān)性，這些相關(guān)性的光成像結(jié)構(gòu)在數(shù)字化圖像中就表現(xiàn)為數(shù)據(jù)冗余同一幀圖像中相鄰的像素之間具有很強(qiáng)的相關(guān)性空間冗余在同一幅圖像中，規(guī)則物體和規(guī)則背景（所謂規(guī)則是指表面知識(shí)冗余有許多圖像的理解與圖像所表現(xiàn)內(nèi)容的基礎(chǔ)知識(shí)(先驗(yàn)或背景知識(shí))有相當(dāng)大的相關(guān)性，從這種知識(shí)出發(fā)可以歸納出圖像的某種規(guī)律性變化，這類冗余稱為知識(shí)冗余。知識(shí)冗余的一個(gè)典型例子是對(duì)人像的理解，比如，鼻子上方有眼睛，鼻子又在嘴的上方等知識(shí)冗余有許多圖像的理解與圖像所表現(xiàn)內(nèi)容的基礎(chǔ)知識(shí)(先驗(yàn)或背結(jié)構(gòu)冗余有些圖像從大面積上或整體上看存在著重復(fù)出現(xiàn)的相同或相近的紋理結(jié)構(gòu)，例如布紋圖像和草席圖像，被稱為結(jié)構(gòu)冗余結(jié)構(gòu)冗余有些圖像從大面積上或整體上看存在著重復(fù)出現(xiàn)的相同或相其它冗余信息熵冗余（統(tǒng)計(jì)冗余、編碼冗余）：調(diào)整編碼（coding）方式可以減少碼字的數(shù)據(jù)量，即編碼的效率視覺冗余：人類的視覺系統(tǒng)實(shí)際上只在一定程度上對(duì)圖像的變化產(chǎn)生敏感，即圖像數(shù)據(jù)中存在著大量人類視覺覺察不到的細(xì)節(jié)……其它冗余信息熵冗余（統(tǒng)計(jì)冗余、編碼冗余）：調(diào)整編碼（codi6.1.3無損壓縮與有損壓縮無損壓縮可完全恢復(fù)數(shù)據(jù)而不引入失真。由于整個(gè)編解碼過程中，信源信息的熵始終保持不變，因此無損壓縮又被稱為熵保持編碼，無損壓縮的編碼效率受信息的熵限制，壓縮率通常在2至5倍。無損編碼包括：變換編碼、游程編碼、算術(shù)編碼等6.1.3無損壓縮與有損壓縮無損壓縮可完全恢復(fù)數(shù)據(jù)而不引入無損壓縮與有損壓縮有損壓縮則是利用人眼視覺特性(HVS:HumanVisionSystem)，對(duì)人眼不敏感的某些圖像細(xì)節(jié)信息進(jìn)行壓縮甚至忽略不編碼，因此在解碼恢復(fù)的過程時(shí)，不能完全恢復(fù)數(shù)據(jù)的全部信息，引入了失真，但是對(duì)于圖像的最終接收者（人眼）而言，獲得的信息的變化不大（即無大的視覺失真），同時(shí)獲得較大的壓縮率(10到200倍)無損壓縮與有損壓縮有損壓縮則是利用人眼視覺特性(HVS:H無損壓縮與有損壓縮在常用的視頻編碼應(yīng)用中，有損編碼是與無損編碼進(jìn)行混合編碼無損壓縮與有損壓縮在常用的視頻編碼應(yīng)用中，有損編碼是與無損編6.1.4視頻壓縮編碼的目標(biāo)視頻信號(hào)由于信息量巨大，存儲(chǔ)空間要求高、傳輸網(wǎng)絡(luò)帶寬要求高，需要將視頻信號(hào)在傳送前先進(jìn)行壓縮編碼，即進(jìn)行視頻源壓縮編碼，然后在網(wǎng)絡(luò)上進(jìn)行傳送或者存儲(chǔ)，以便節(jié)省傳送帶寬和存儲(chǔ)空間視頻壓縮編碼的基本目標(biāo)要求：1）必須壓縮在一定的帶寬內(nèi)，即視頻編碼器應(yīng)具有足夠的壓縮比6.1.4視頻壓縮編碼的目標(biāo)視頻信號(hào)由于信息量巨大，存儲(chǔ)空視頻壓縮編碼的目標(biāo)2）視頻信號(hào)壓縮之后，應(yīng)保持一定的視頻質(zhì)量如果不問質(zhì)量，一味地壓縮，雖然壓縮比很高，但壓縮后嚴(yán)重失真，顯然達(dá)不到要求；反之，如只講質(zhì)量，壓縮比太小，也不符合要求3）在以上兩個(gè)要求下，視頻編碼器的實(shí)現(xiàn)應(yīng)力求簡(jiǎn)單、易實(shí)現(xiàn)、成本低、可靠性高，這也是基本的要求視頻壓縮編碼的目標(biāo)2）視頻信號(hào)壓縮之后，應(yīng)保持一定的視頻質(zhì)量6.1.5視頻壓縮編碼技術(shù)概述

從上世紀(jì)80年代開始逐漸形成了混合視頻編碼(Hybridvideocoding/encoding)技術(shù)，并成為之后一系列視頻編碼標(biāo)準(zhǔn)的基礎(chǔ)框架6.1.5視頻壓縮編碼技術(shù)概述從上世紀(jì)80年代開始逐漸形視頻壓縮編碼技術(shù)概述

視頻編碼方法與采用的信源模型有關(guān)如果采用“一幅圖像由許多像素構(gòu)成”的信源模型，這種信源模型的參數(shù)就是每個(gè)像素的亮度和色度的幅度值。對(duì)這些參數(shù)進(jìn)行壓縮編碼技術(shù)稱為基于波形的編碼如果采用一個(gè)分量有幾個(gè)物體構(gòu)成的信源模型，這種信源模型的參數(shù)就是各個(gè)物體的形狀、紋理和運(yùn)動(dòng)。對(duì)這些參數(shù)進(jìn)行壓縮編碼的技術(shù)被稱為基于內(nèi)容的編碼視頻壓縮編碼技術(shù)概述視頻編碼方法與采用的信源模型有關(guān)視頻壓縮編碼技術(shù)概述

由此可見，根據(jù)采用信源模型，視頻編碼可以分為兩大類，基于波形的編碼和基于內(nèi)容的編碼它們利用不同的壓縮編碼（Encoding）方法，得到相應(yīng)的量化前的參數(shù)；再對(duì)這些參數(shù)進(jìn)行量化；最后，進(jìn)行無損熵編碼進(jìn)一步提高效率解碼（Decoding）則為編碼的逆過程視頻壓縮編碼技術(shù)概述由此可見，根據(jù)采用信源模型，視頻編碼可視頻編碼分塊為減少編碼的復(fù)雜性，使視頻編碼操作易于執(zhí)行，首先把一幅圖像分成固定大小的宏塊（Macroblock,MB），以亮度為基準(zhǔn)，通常為16×16塊（每塊16行，每行16個(gè)像素）在宏塊中可以進(jìn)一步分塊，例如8×8塊（每塊8行，每行8個(gè)像素）、16×8塊、4×4塊等等，然后對(duì)塊進(jìn)行壓縮編碼處理色度按照采樣或子采樣格式對(duì)應(yīng)計(jì)算視頻編碼分塊為減少編碼的復(fù)雜性，使視頻編碼操作易于執(zhí)行，首先視頻編碼分塊一個(gè)宏塊通常由6個(gè)塊組成（4:2:0子采樣）8x8blocksmacroblockYCbCr視頻編碼分塊一個(gè)宏塊通常由6個(gè)塊組成（4:2:0子采樣）8x基于內(nèi)容的編碼基于塊的編碼易于操作，但由于人為地把一幅圖像劃分成許多固定大小的塊，當(dāng)包含邊界的塊屬于不同物體時(shí)，它們分別具有不同的運(yùn)動(dòng)，便不能用同一個(gè)運(yùn)動(dòng)矢量表示該邊界塊的運(yùn)動(dòng)狀態(tài)。如果強(qiáng)制劃分成固定大小的塊，這種邊界塊必然會(huì)產(chǎn)生高的預(yù)測(cè)誤差和失真，嚴(yán)重影響了壓縮編碼信號(hào)的質(zhì)量基于內(nèi)容的編碼基于塊的編碼易于操作，但由于人為地把一幅圖像劃基于內(nèi)容的編碼于是產(chǎn)生了基于內(nèi)容的編碼技術(shù)。這時(shí)先把視頻幀分成對(duì)應(yīng)于不同物體的區(qū)域，然后對(duì)其編碼即對(duì)不同物體的形狀、運(yùn)動(dòng)和紋理進(jìn)行編碼。在最簡(jiǎn)單情況下，利用二維輪廓描述物體的形狀；利用運(yùn)動(dòng)矢量描述其運(yùn)動(dòng)狀態(tài)；而紋理則用顏色的波形進(jìn)行描述基于內(nèi)容的編碼于是產(chǎn)生了基于內(nèi)容的編碼技術(shù)。這時(shí)先把視頻幀分視頻冗余的壓縮手段空間冗余：幀內(nèi)編碼時(shí)間冗余：幀間編碼視覺冗余：變換編碼、量化信息熵冗余：熵編碼視頻冗余的壓縮手段空間冗余：幀內(nèi)編碼6.1.6視頻質(zhì)量對(duì)壓縮后的視頻質(zhì)量估計(jì)是一件困難的工作大體上，可分為主觀視頻質(zhì)量評(píng)定和客觀視頻質(zhì)量評(píng)定兩種估計(jì)方法6.1.6視頻質(zhì)量對(duì)壓縮后的視頻質(zhì)量估計(jì)是一件困難的工作主觀質(zhì)量由于個(gè)人的視覺系統(tǒng)（HVS）不盡相同，對(duì)視頻內(nèi)容的熟悉程度也不一樣為了減少主觀隨意性，在對(duì)視頻進(jìn)行主觀評(píng)定前，選若干名專家和“非專家”作為評(píng)分委員，共同利用五項(xiàng)或七項(xiàng)評(píng)分法對(duì)同一種視頻進(jìn)行質(zhì)量評(píng)定最后按加權(quán)平均法則對(duì)該壓縮后的視頻質(zhì)量進(jìn)行主觀評(píng)定主觀質(zhì)量由于個(gè)人的視覺系統(tǒng)（HVS）不盡相同，對(duì)視頻內(nèi)容的熟主觀評(píng)價(jià)分?jǐn)?shù)標(biāo)準(zhǔn)主觀評(píng)價(jià)分?jǐn)?shù)標(biāo)準(zhǔn)主觀質(zhì)量測(cè)試系統(tǒng)測(cè)試方法可用隨機(jī)次序請(qǐng)?jiān)u委觀察比較原始圖像和壓縮編碼的圖像，國際上稱為DSCOS的測(cè)試系統(tǒng)其中A為原始圖像，B為編碼解碼后的圖像，以任意的A、B次序讓評(píng)委打分評(píng)定主觀質(zhì)量測(cè)試系統(tǒng)測(cè)試方法可用隨機(jī)次序請(qǐng)?jiān)u委觀察比較原始圖像和客觀質(zhì)量主觀的視頻質(zhì)量評(píng)分更接近人的真實(shí)視覺感受，但需耗費(fèi)人力和時(shí)間，成本較高客觀質(zhì)量的測(cè)定方法速度快、易實(shí)行，但往往不會(huì)太符合人眼的視覺感受，只能說大體上的質(zhì)量?？陀^質(zhì)量測(cè)定方法應(yīng)致力于改進(jìn)其測(cè)試標(biāo)準(zhǔn)和測(cè)試方法，使其符合人的視覺感受客觀質(zhì)量主觀的視頻質(zhì)量評(píng)分更接近人的真實(shí)視覺感受，但需耗費(fèi)人客觀質(zhì)量最常用的測(cè)試標(biāo)準(zhǔn)是峰值信號(hào)與噪聲之比（PSNR）：PSNR(dB)=10log10[(2n-1)２/MSE)其中MSE(meansquareerror)為原始和編解碼后圖像之間的均方誤差，(2n-1)２為圖像中最大可能信號(hào)值的平方，n表示每個(gè)像素的比特?cái)?shù)客觀質(zhì)量最常用的測(cè)試標(biāo)準(zhǔn)是峰值信號(hào)與噪聲之比（PSNR）：客觀質(zhì)量客觀質(zhì)量客觀質(zhì)量一般講，PSNR愈高視頻質(zhì)量愈高；反之亦然但實(shí)際上有時(shí)并非如此圖(4)的PSNR為27.7dB，其主觀評(píng)定可能比圖(2)、(3)的高，但客觀質(zhì)量PSNR卻低于圖(2)、(3)的30.6dB和28.3dB這是因?yàn)閳D(4)中的臉部更清晰，只是背景模糊，而人眼對(duì)臉部往往更敏感更重視客觀質(zhì)量一般講，PSNR愈高視頻質(zhì)量愈高；反之亦然第六章視頻壓縮編碼基本原理6.1視頻壓縮編碼概述6.2熵編碼（即編碼過程中按信息熵原理不丟失任何信息的編碼）第六章視頻壓縮編碼基本原理6.1視頻壓縮編碼概述變長(zhǎng)編碼（哈夫曼編碼）1952年，哈夫曼（霍夫曼）提出變長(zhǎng)編碼方法：對(duì)出現(xiàn)概率大的符號(hào)分配短字長(zhǎng)的二進(jìn)制碼，對(duì)出現(xiàn)概率小的符號(hào)分配長(zhǎng)字長(zhǎng)二進(jìn)制碼，得到符號(hào)平均碼長(zhǎng)最短的碼Avariable-lengthencodermapsinputsymbolstoaseriesofcodewords(variablelengthcodesorVLCs).變長(zhǎng)編碼器將輸入符號(hào)映射到一系列的碼字（變長(zhǎng)碼，或稱VLC）。變長(zhǎng)編碼（哈夫曼編碼）1952年，哈夫曼（霍夫曼）提出變長(zhǎng)編變長(zhǎng)編碼（哈夫曼編碼）Eachsymbolmapstoacodewordandcodewordsmayhavevaryinglengthbutmusteachcontainanintegralnumberofbits.每一個(gè)符號(hào)被映射到一個(gè)碼字，碼字具有可變的長(zhǎng)度，但是一定是整數(shù)比特?cái)?shù)的。變長(zhǎng)編碼（哈夫曼編碼）Eachsymbolmapsto變長(zhǎng)編碼（哈夫曼編碼）Frequently-occurringsymbolsarerepresentedwithshortVLCswhilstlesscommonsymbolsarerepresentedwithlongVLCs.頻繁出現(xiàn)的符號(hào)將通過短的VLC（可變長(zhǎng)碼）表示，而那些較少出現(xiàn)的符號(hào)將通過長(zhǎng)的VLC表示。由此實(shí)現(xiàn)字符數(shù)量的壓縮變長(zhǎng)編碼（哈夫曼編碼）Frequently-occurrin變長(zhǎng)編碼（哈夫曼編碼）HuffmancodingassignsaVLCtoeachsymbolbasedontheprobabilityofoccurrenceofdifferentsymbols.Itisnecessarytocalculatetheprobabilityofoccurrenceofeachsymbolandtoconstructasetofvariablelengthcodewords.

哈夫曼編碼為每個(gè)符號(hào)確定VLC時(shí)是依據(jù)不同符號(hào)的出現(xiàn)概率。因此有必要計(jì)算每個(gè)符號(hào)的出現(xiàn)概率來構(gòu)建一個(gè)可變長(zhǎng)碼集合。變長(zhǎng)編碼（哈夫曼編碼）Huffmancodingassi哈夫曼碼表(Huffmancodetable)哈夫曼編碼步驟如下：第1步，將信息符號(hào)按其出現(xiàn)概率從大到小排列第2步，將兩個(gè)最小概率組成一組，劃成2個(gè)分支域，并標(biāo)以0和1；再把2個(gè)分支域合并成1個(gè)支域，標(biāo)以兩個(gè)概率之和哈夫曼碼表(Huffmancodetable)哈夫曼編哈夫曼碼表第3步，依此類推，直到概率之和等于1.0第4步，找出概率和1.0到各信息符號(hào)的路徑，記下各路徑從右到左各分支域的0和1，即得到信息符號(hào)相應(yīng)的碼字哈夫曼碼表第3步，依此類推，直到概率之和等于1.0哈夫曼碼表哈夫曼碼表變長(zhǎng)編碼（哈夫曼編碼）平均碼字長(zhǎng)度的計(jì)算（平均每個(gè)符號(hào)用幾個(gè)比特表示）：p和l分別為一個(gè)符號(hào)的出現(xiàn)概率和碼字長(zhǎng)度（比特?cái)?shù)），N為符號(hào)總數(shù)變長(zhǎng)編碼（哈夫曼編碼）平均碼字長(zhǎng)度的計(jì)算（平均每個(gè)符號(hào)用幾個(gè)第六章視頻壓縮編碼基本原理6.1視頻壓縮編碼概述第六章視頻壓縮編碼基本原理6.1視頻壓縮編碼概述6.1.1視頻壓縮編碼的必要性未經(jīng)過壓縮的原始視頻的碼率：720p高清電視（30fps，4:2:0）：1280×720×30×8×1.5＝316.41Mbps1080p高清電視（60fps，4:2:2）：1920×1080×60×8×2＝1.85Gbps100分鐘的720p高清電視節(jié)目（30fps，4:2:0）大小可達(dá)約231.74GB6.1.1視頻壓縮編碼的必要性未經(jīng)過壓縮的原始視頻的碼率：視頻壓縮編碼的必要性同樣，傳輸中也存在同樣的困難，網(wǎng)絡(luò)帶寬受限視頻壓縮編碼的必要性同樣，傳輸中也存在同樣的困難，網(wǎng)絡(luò)帶寬受6.1.2視頻壓縮編碼的可能性信息之所以能進(jìn)行壓縮，是因?yàn)樾畔⒈旧硗ǔ４嬖谌哂嗔吭跀?shù)據(jù)存儲(chǔ)或傳輸時(shí)，通過選擇優(yōu)化的信源編碼方案，消除了冗余，也就達(dá)到了數(shù)據(jù)壓縮目的6.1.2視頻壓縮編碼的可能性信息之所以能進(jìn)行壓縮，是因?yàn)樾旁?信道信源就是信息的來源，可以是人、機(jī)器、自然界的物體等等。信源發(fā)出信息的時(shí)候，一般以某種訊息的方式表現(xiàn)出來，可以是符號(hào)，如文字、語言等，也可以是信號(hào)，如圖像、聲響等等信道就是信息傳遞的通道，是將信號(hào)進(jìn)行傳輸、存儲(chǔ)和處理的媒介。信道的關(guān)鍵問題是它的容量大小，要求以最大的速率傳送最大的信息量信源/信道信源就是信息的來源，可以是人、機(jī)器、自然界的物體等信源編碼/信道編碼為了減少信源輸出符號(hào)序列中的冗余度、提高符號(hào)的平均信息量，對(duì)信源輸出的符號(hào)序列所施行的變換稱為信源編碼對(duì)輸入信息進(jìn)行編碼，優(yōu)化信息和壓縮信息并且打成符合標(biāo)準(zhǔn)的數(shù)據(jù)包信道編碼是為了對(duì)抗信道中的噪音和衰減，通過增加冗余，如校驗(yàn)碼等，來提高抗干擾能力以及糾錯(cuò)能力信源編碼/信道編碼為了減少信源輸出符號(hào)序列中的冗余度、提高符信息熵信息是個(gè)很抽象的概念，我們常常說信息很多，或者信息較少，但卻很難說清楚信息到底有多少，直到1948年，香農(nóng)提出了“信息熵”（Entropy）的概念，才解決了對(duì)信息的量化度量問題信息熵是用于度量信息量的一個(gè)概念。一個(gè)系統(tǒng)越是有序，信息熵就越低；反之，一個(gè)系統(tǒng)越是混亂，信息熵就越高。所以，信息熵也可以說是系統(tǒng)有序化程度的一個(gè)度量信息熵信息是個(gè)很抽象的概念，我們常常說信息很多，或者信息較少時(shí)間冗余在視頻序列中，前后兩幀圖像（時(shí)間間隔很短）之間具有較大的相關(guān)性，表現(xiàn)出幀與幀之間的重復(fù)，因而存在時(shí)間冗余這是視頻信號(hào)中所經(jīng)常包含的冗余時(shí)間冗余在視頻序列中，前后兩幀圖像（時(shí)間間隔很短）之間具有較空間冗余在同一幅圖像中，規(guī)則物體和規(guī)則背景（所謂規(guī)則是指表面顏色分布是有序的、而不是完全雜亂無章的）的表面物理特征具有相關(guān)性，這些相關(guān)性的光成像結(jié)構(gòu)在數(shù)字化圖像中就表現(xiàn)為數(shù)據(jù)冗余同一幀圖像中相鄰的像素之間具有很強(qiáng)的相關(guān)性空間冗余在同一幅圖像中，規(guī)則物體和規(guī)則背景（所謂規(guī)則是指表面知識(shí)冗余有許多圖像的理解與圖像所表現(xiàn)內(nèi)容的基礎(chǔ)知識(shí)(先驗(yàn)或背景知識(shí))有相當(dāng)大的相關(guān)性，從這種知識(shí)出發(fā)可以歸納出圖像的某種規(guī)律性變化，這類冗余稱為知識(shí)冗余。知識(shí)冗余的一個(gè)典型例子是對(duì)人像的理解，比如，鼻子上方有眼睛，鼻子又在嘴的上方等知識(shí)冗余有許多圖像的理解與圖像所表現(xiàn)內(nèi)容的基礎(chǔ)知識(shí)(先驗(yàn)或背結(jié)構(gòu)冗余有些圖像從大面積上或整體上看存在著重復(fù)出現(xiàn)的相同或相近的紋理結(jié)構(gòu)，例如布紋圖像和草席圖像，被稱為結(jié)構(gòu)冗余結(jié)構(gòu)冗余有些圖像從大面積上或整體上看存在著重復(fù)出現(xiàn)的相同或相其它冗余信息熵冗余（統(tǒng)計(jì)冗余、編碼冗余）：調(diào)整編碼（coding）方式可以減少碼字的數(shù)據(jù)量，即編碼的效率視覺冗余：人類的視覺系統(tǒng)實(shí)際上只在一定程度上對(duì)圖像的變化產(chǎn)生敏感，即圖像數(shù)據(jù)中存在著大量人類視覺覺察不到的細(xì)節(jié)……其它冗余信息熵冗余（統(tǒng)計(jì)冗余、編碼冗余）：調(diào)整編碼（codi6.1.3無損壓縮與有損壓縮無損壓縮可完全恢復(fù)數(shù)據(jù)而不引入失真。由于整個(gè)編解碼過程中，信源信息的熵始終保持不變，因此無損壓縮又被稱為熵保持編碼，無損壓縮的編碼效率受信息的熵限制，壓縮率通常在2至5倍。無損編碼包括：變換編碼、游程編碼、算術(shù)編碼等6.1.3無損壓縮與有損壓縮無損壓縮可完全恢復(fù)數(shù)據(jù)而不引入無損壓縮與有損壓縮有損壓縮則是利用人眼視覺特性(HVS:HumanVisionSystem)，對(duì)人眼不敏感的某些圖像細(xì)節(jié)信息進(jìn)行壓縮甚至忽略不編碼，因此在解碼恢復(fù)的過程時(shí)，不能完全恢復(fù)數(shù)據(jù)的全部信息，引入了失真，但是對(duì)于圖像的最終接收者（人眼）而言，獲得的信息的變化不大（即無大的視覺失真），同時(shí)獲得較大的壓縮率(10到200倍)無損壓縮與有損壓縮有損壓縮則是利用人眼視覺特性(HVS:H無損壓縮與有損壓縮在常用的視頻編碼應(yīng)用中，有損編碼是與無損編碼進(jìn)行混合編碼無損壓縮與有損壓縮在常用的視頻編碼應(yīng)用中，有損編碼是與無損編6.1.4視頻壓縮編碼的目標(biāo)視頻信號(hào)由于信息量巨大，存儲(chǔ)空間要求高、傳輸網(wǎng)絡(luò)帶寬要求高，需要將視頻信號(hào)在傳送前先進(jìn)行壓縮編碼，即進(jìn)行視頻源壓縮編碼，然后在網(wǎng)絡(luò)上進(jìn)行傳送或者存儲(chǔ)，以便節(jié)省傳送帶寬和存儲(chǔ)空間視頻壓縮編碼的基本目標(biāo)要求：1）必須壓縮在一定的帶寬內(nèi)，即視頻編碼器應(yīng)具有足夠的壓縮比6.1.4視頻壓縮編碼的目標(biāo)視頻信號(hào)由于信息量巨大，存儲(chǔ)空視頻壓縮編碼的目標(biāo)2）視頻信號(hào)壓縮之后，應(yīng)保持一定的視頻質(zhì)量如果不問質(zhì)量，一味地壓縮，雖然壓縮比很高，但壓縮后嚴(yán)重失真，顯然達(dá)不到要求；反之，如只講質(zhì)量，壓縮比太小，也不符合要求3）在以上兩個(gè)要求下，視頻編碼器的實(shí)現(xiàn)應(yīng)力求簡(jiǎn)單、易實(shí)現(xiàn)、成本低、可靠性高，這也是基本的要求視頻壓縮編碼的目標(biāo)2）視頻信號(hào)壓縮之后，應(yīng)保持一定的視頻質(zhì)量6.1.5視頻壓縮編碼技術(shù)概述

從上世紀(jì)80年代開始逐漸形成了混合視頻編碼(Hybridvideocoding/encoding)技術(shù)，并成為之后一系列視頻編碼標(biāo)準(zhǔn)的基礎(chǔ)框架6.1.5視頻壓縮編碼技術(shù)概述從上世紀(jì)80年代開始逐漸形視頻壓縮編碼技術(shù)概述

視頻編碼方法與采用的信源模型有關(guān)如果采用“一幅圖像由許多像素構(gòu)成”的信源模型，這種信源模型的參數(shù)就是每個(gè)像素的亮度和色度的幅度值。對(duì)這些參數(shù)進(jìn)行壓縮編碼技術(shù)稱為基于波形的編碼如果采用一個(gè)分量有幾個(gè)物體構(gòu)成的信源模型，這種信源模型的參數(shù)就是各個(gè)物體的形狀、紋理和運(yùn)動(dòng)。對(duì)這些參數(shù)進(jìn)行壓縮編碼的技術(shù)被稱為基于內(nèi)容的編碼視頻壓縮編碼技術(shù)概述視頻編碼方法與采用的信源模型有關(guān)視頻壓縮編碼技術(shù)概述

由此可見，根據(jù)采用信源模型，視頻編碼可以分為兩大類，基于波形的編碼和基于內(nèi)容的編碼它們利用不同的壓縮編碼（Encoding）方法，得到相應(yīng)的量化前的參數(shù)；再對(duì)這些參數(shù)進(jìn)行量化；最后，進(jìn)行無損熵編碼進(jìn)一步提高效率解碼（Decoding）則為編碼的逆過程視頻壓縮編碼技術(shù)概述由此可見，根據(jù)采用信源模型，視頻編碼可視頻編碼分塊為減少編碼的復(fù)雜性，使視頻編碼操作易于執(zhí)行，首先把一幅圖像分成固定大小的宏塊（Macroblock,MB），以亮度為基準(zhǔn)，通常為16×16塊（每塊16行，每行16個(gè)像素）在宏塊中可以進(jìn)一步分塊，例如8×8塊（每塊8行，每行8個(gè)像素）、16×8塊、4×4塊等等，然后對(duì)塊進(jìn)行壓縮編碼處理色度按照采樣或子采樣格式對(duì)應(yīng)計(jì)算視頻編碼分塊為減少編碼的復(fù)雜性，使視頻編碼操作易于執(zhí)行，首先視頻編碼分塊一個(gè)宏塊通常由6個(gè)塊組成（4:2:0子采樣）8x8blocksmacroblockYCbCr視頻編碼分塊一個(gè)宏塊通常由6個(gè)塊組成（4:2:0子采樣）8x基于內(nèi)容的編碼基于塊的編碼易于操作，但由于人為地把一幅圖像劃分成許多固定大小的塊，當(dāng)包含邊界的塊屬于不同物體時(shí)，它們分別具有不同的運(yùn)動(dòng)，便不能用同一個(gè)運(yùn)動(dòng)矢量表示該邊界塊的運(yùn)動(dòng)狀態(tài)。如果強(qiáng)制劃分成固定大小的塊，這種邊界塊必然會(huì)產(chǎn)生高的預(yù)測(cè)誤差和失真，嚴(yán)重影響了壓縮編碼信號(hào)的質(zhì)量基于內(nèi)容的編碼基于塊的編碼易于操作，但由于人為地把一幅圖像劃基于內(nèi)容的編碼于是產(chǎn)生了基于內(nèi)容的編碼技術(shù)。這時(shí)先把視頻幀分成對(duì)應(yīng)于不同物體的區(qū)域，然后對(duì)其編碼即對(duì)不同物體的形狀、運(yùn)動(dòng)和紋理進(jìn)行編碼。在最簡(jiǎn)單情況下，利用二維輪廓描述物體的形狀；利用運(yùn)動(dòng)矢量描述其運(yùn)動(dòng)狀態(tài)；而紋理則用顏色的波形進(jìn)行描述基于內(nèi)容的編碼于是產(chǎn)生了基于內(nèi)容的編碼技術(shù)。這時(shí)先把視頻幀分視頻冗余的壓縮手段空間冗余：幀內(nèi)編碼時(shí)間冗余：幀間編碼視覺冗余：變換編碼、量化信息熵冗余：熵編碼視頻冗余的壓縮手段空間冗余：幀內(nèi)編碼6.1.6視頻質(zhì)量對(duì)壓縮后的視頻質(zhì)量估計(jì)是一件困難的工作大體上，可分為主觀視頻質(zhì)量評(píng)定和客觀視頻質(zhì)量評(píng)定兩種估計(jì)方法6.1.6視頻質(zhì)量對(duì)壓縮后的視頻質(zhì)量估計(jì)是一件困難的工作主觀質(zhì)量由于個(gè)人的視覺系統(tǒng)（HVS）不盡相同，對(duì)視頻內(nèi)容的熟悉程度也不一樣為了減少主觀隨意性，在對(duì)視頻進(jìn)行主觀評(píng)定前，選若干名專家和“非專家”作為評(píng)分委員，共同利用五項(xiàng)或七項(xiàng)評(píng)分法對(duì)同一種視頻進(jìn)行質(zhì)量評(píng)定最后按加權(quán)平均法則對(duì)該壓縮后的視頻質(zhì)量進(jìn)行主觀評(píng)定主觀質(zhì)量由于個(gè)人的視覺系統(tǒng)（HVS）不盡相同，對(duì)視頻內(nèi)容的熟主觀評(píng)價(jià)分?jǐn)?shù)標(biāo)準(zhǔn)主觀評(píng)價(jià)分?jǐn)?shù)標(biāo)準(zhǔn)主觀質(zhì)量測(cè)試系統(tǒng)測(cè)試方法可用隨機(jī)次序請(qǐng)?jiān)u委觀察比較原始圖像和壓縮編碼的圖像，國際上稱為DSCOS的測(cè)試系統(tǒng)其中A為原始圖像，B為編碼解碼后的圖像，以任意的A、B次序讓評(píng)委打分評(píng)定主觀質(zhì)量測(cè)試系統(tǒng)測(cè)試方法可用隨機(jī)次序請(qǐng)?jiān)u委觀察比較原始圖像和客觀質(zhì)量主觀的視頻質(zhì)量評(píng)分更接近人的真實(shí)視覺感受，但需耗費(fèi)人力和時(shí)間，成本較高客觀質(zhì)量的測(cè)定方法速度快、易實(shí)行，但往往不會(huì)太符合人眼的視覺感受，只能說大體上的質(zhì)量?？陀^質(zhì)量測(cè)定方法應(yīng)致力于改進(jìn)其測(cè)試標(biāo)準(zhǔn)和測(cè)試方法，使其符合人的視覺感受客觀質(zhì)量主觀的視頻質(zhì)量評(píng)分更接近人的真實(shí)視覺感受，但需耗費(fèi)人客觀質(zhì)量最常用的測(cè)試標(biāo)準(zhǔn)是峰值信號(hào)與噪聲之比（PSNR）：PSNR(dB)=10log10[(2n-1)２/MSE)其中MSE(meansquareerror)為原始和編解碼后圖像之間的均方誤差，(2n-1)２為圖像中最大可能信號(hào)值的平方，n表示每個(gè)像素的比特?cái)?shù)客觀質(zhì)量最常用的測(cè)試標(biāo)準(zhǔn)是峰值信號(hào)與噪聲之比（PSNR）：客觀質(zhì)量客觀質(zhì)量客觀質(zhì)量一般講，PSNR愈高視頻質(zhì)量愈高；反之亦然但實(shí)際上有時(shí)并非如此圖(4)的PSNR為27.7dB，其主觀評(píng)定可能比圖(2)、(3)的高，但客觀質(zhì)量PSNR卻低于圖(2)、(3)的30.6dB和28.3dB這是因?yàn)閳D(4)中的臉部更清晰，只是背景模糊，而人眼對(duì)臉部往往更敏感更重視客觀質(zhì)量一般講，PSNR愈高視頻質(zhì)量愈高；反之亦然第六章視頻壓縮編碼基本原理6.1視頻壓縮編碼概述6.2熵編碼（即編碼過程中按信息熵原理不丟失任何信息的編碼）第六章視頻壓縮編碼基本原理6.1視頻壓縮編碼概述變長(zhǎng)編碼（哈夫曼編碼）1952年，哈夫曼（霍夫曼）提出變長(zhǎng)編碼方法：對(duì)出現(xiàn)概率大的符號(hào)分配短字長(zhǎng)的二進(jìn)制碼，對(duì)出現(xiàn)概率小的符號(hào)分配長(zhǎng)字長(zhǎng)二進(jìn)制碼，得到符號(hào)平均碼長(zhǎng)最短的碼Avariable-lengthencodermapsinputsymbolstoaseriesofcodewords(variablelengthcodesorV