多媒體技術(shù)原理及應(yīng)用

多媒體技術(shù)原理及應(yīng)用第一頁(yè)，共一百六十頁(yè)，2022年，8月28日2.1

信息表示與編碼

數(shù)字化表示彩色空間多媒體數(shù)據(jù)轉(zhuǎn)換

第二頁(yè)，共一百六十頁(yè)，2022年，8月28日2.1.1概述傳統(tǒng)上用模擬方式表示聲音和圖像信息。

易出故障，常產(chǎn)生噪音和信號(hào)丟失，且拷貝過(guò)程中噪音和誤差逐步積累；模擬信號(hào)不適合數(shù)字計(jì)算機(jī)加工處理。數(shù)字化處理：巨大的數(shù)據(jù)量。第三頁(yè)，共一百六十頁(yè)，2022年，8月28日

采樣定理：僅當(dāng)采樣頻率≥2倍的原始信號(hào)頻率時(shí)，才能保證采樣后信號(hào)可被保真地恢復(fù)為原始信號(hào)。采用8bit數(shù)字化，從而1秒鐘電視信號(hào)的數(shù)據(jù)量約為99.2Mbits。即約為100Mbps。650MB的CD-ROM僅能存約1分鐘的原始電視數(shù)據(jù)。若HDTV(1.2Gbps)，一張CD-ROM還存不下6秒鐘的HDTV圖像。第四頁(yè)，共一百六十頁(yè)，2022年，8月28日

人說(shuō)話的音頻一般在20Hz~4kHz，即人類語(yǔ)音的帶寬為4kHz。依據(jù)采樣定理，設(shè)數(shù)字化精度為8b，則1秒鐘信號(hào)量為64kbits。因此，人講1分鐘話的數(shù)據(jù)量為480kB。數(shù)字化處理的關(guān)鍵問(wèn)題－數(shù)據(jù)壓縮第五頁(yè)，共一百六十頁(yè)，2022年，8月28日壓縮的基礎(chǔ)－數(shù)據(jù)冗余

空間冗余

時(shí)間冗余

信息熵冗余結(jié)構(gòu)冗余

知識(shí)冗余

視覺(jué)冗余

其他冗余

第六頁(yè)，共一百六十頁(yè)，2022年，8月28日空間冗余這是圖像數(shù)據(jù)中經(jīng)常存在的一種冗余。在同一幅圖像中，規(guī)則物體和規(guī)則背景的表面物理特性具有相關(guān)性，這些相關(guān)性的光成象結(jié)構(gòu)在數(shù)字化其他中就表現(xiàn)為數(shù)據(jù)冗余。

第七頁(yè)，共一百六十頁(yè)，2022年，8月28日時(shí)間冗余這是序列圖像和語(yǔ)音數(shù)據(jù)中所經(jīng)常包含的冗余。圖像序列中的兩幅相鄰的圖像之間有較大的相關(guān)性，這反映為時(shí)間冗余。在語(yǔ)言中，由于人在說(shuō)話時(shí)發(fā)音的音頻是一連續(xù)的漸變過(guò)程，而不是一個(gè)完全時(shí)間上獨(dú)立的過(guò)程，因而存在時(shí)間冗余。

第八頁(yè)，共一百六十頁(yè)，2022年，8月28日信息熵冗余信息熵是指一組數(shù)據(jù)所攜帶的信息量，它定義為：H=-∑i=0N-1Pilog2Pi

N為數(shù)據(jù)類數(shù)或碼元個(gè)數(shù)，Pi為碼元yi發(fā)生的概率.為使信息編碼單位數(shù)據(jù)量d接近于或等于H，應(yīng)設(shè)：d=∑i=0N-1Pib(yi)

其中b(yi)是分配給碼元yi的比特?cái)?shù)，理論上應(yīng)取b(yi)=-log2Pi.實(shí)際一般取b(y0)=b(y1)=…=b(yK-1).例如，英文字母編碼碼元長(zhǎng)為7bit，即b(y0)=b(y1)=…=b(yK-1)=7，這樣d必然大于H，由此帶來(lái)的冗余稱為信息熵冗余或編碼冗余。

第九頁(yè)，共一百六十頁(yè)，2022年，8月28日結(jié)構(gòu)冗余有些圖像從大域上看存著非常強(qiáng)的紋理結(jié)構(gòu)，我們稱它們?cè)诮Y(jié)構(gòu)上存在有冗余。例如，布紋圖像和草席圖像。第十頁(yè)，共一百六十頁(yè)，2022年，8月28日知識(shí)冗余有許多圖像的理解與某些基礎(chǔ)知識(shí)有相當(dāng)大的相關(guān)性。例如，人臉的圖像有固定的結(jié)構(gòu)。比如說(shuō)嘴的上方有鼻子，鼻子的上方有眼睛，鼻子位于正臉圖像的中線上等。這類規(guī)律性的結(jié)構(gòu)可由先驗(yàn)知識(shí)和背景知識(shí)得到，我們稱此類冗余為知識(shí)冗余。第十一頁(yè)，共一百六十頁(yè)，2022年，8月28日視覺(jué)冗余人類視覺(jué)系統(tǒng)對(duì)于圖像場(chǎng)的任何變化，并不是都能感知的。例如，對(duì)于圖像的編碼處理時(shí)，由于壓縮或量化截?cái)嘁肓嗽肼暥箞D像發(fā)生了一些變化，如果這些變化不能為視覺(jué)所感知，仍認(rèn)為圖像足夠好。事實(shí)上人類視覺(jué)系統(tǒng)一般分辨能力約為26灰度等級(jí)，而一般圖像量化采用28灰度等級(jí)，這類冗余我們稱為視覺(jué)冗余。第十二頁(yè)，共一百六十頁(yè)，2022年，8月28日其他冗余例如，由圖像的空間非定常特性所帶來(lái)的冗余。

第十三頁(yè)，共一百六十頁(yè)，2022年，8月28日

數(shù)字圖像編碼技術(shù)

1.彩色空間常見(jiàn)模型：

RGB彩色空間

HSI彩色空間

YUV彩色空間

YIQ彩色空間第十四頁(yè)，共一百六十頁(yè)，2022年，8月28日RGB彩色空間R、G、B是彩色最基本表示模型，也是計(jì)算機(jī)系統(tǒng)中所使用的彩色模型。

RGB5：5：5方式用2個(gè)字節(jié)表示一個(gè)像素，具體位分配見(jiàn)圖2.1。圖2.1RGB5：5：5方式

RGB8：8：8方式R、G、B三個(gè)分量各占一個(gè)字節(jié)。T(1b)R(5b)G(5b)B(5b)第十五頁(yè)，共一百六十頁(yè)，2022年，8月28日HSI彩色空間這種模型中，用H(Hue，色調(diào))、S(Saturation，飽和度)、I(Intensity，光強(qiáng)度)3個(gè)分量來(lái)表示一種顏色，這種表示更適合人的視覺(jué)特性。第十六頁(yè)，共一百六十頁(yè)，2022年，8月28日YUV彩色空間Y為亮度信號(hào)，U、V是色差信號(hào)(B-Y，R-Y)。

PAL制式彩色空間即為YUV。優(yōu)點(diǎn)是亮度和色差信號(hào)分離，容易使彩色電視系統(tǒng)與黑白電視信號(hào)兼容。國(guó)際無(wú)線電咨詢委員會(huì)根據(jù)實(shí)驗(yàn)認(rèn)為采用雙倍度采樣4：2：2方案效果較好，提出CCIR601標(biāo)準(zhǔn)。變換公式（YUV<--->RGB）

Y=0.299*R+0.587*G+0.114*B；

U=-0.169*R-0.332*G+0.500*B；

V=0.500*R+0.419*G-0.081*B第十七頁(yè)，共一百六十頁(yè)，2022年，8月28日YIQ彩色空間廣播電視系統(tǒng)另一種常用的亮度與色差分離的模型。NTSC制式彩色空間即為YIQ。這里Y是亮度，I和Q共同描述圖像的色調(diào)和飽和度。變換公式(YIQ<--->RGB)

Y=0.299*R+0.587*G+0.114*BI=0.211*R-0.523*G+0.312*BQ=0.596*R-0.275*G-0.322*B第十八頁(yè)，共一百六十頁(yè)，2022年，8月28日2.數(shù)字圖像文件格式

TIFPCXGIF、TGA、BMP、DVI、JPEG等

第十九頁(yè)，共一百六十頁(yè)，2022年，8月28日TIF文件格式由美國(guó)AldusDeveloper’sDesk和Microsoft制定結(jié)構(gòu)文件頭(8B)參數(shù)指針表

參數(shù)數(shù)據(jù)表

圖像數(shù)據(jù)

第二十頁(yè)，共一百六十頁(yè)，2022年，8月28日

文件頭含字節(jié)順序(2B，表示存儲(chǔ)格式：II-Intel格式；MM—Motorola格式)；標(biāo)記號(hào)(2B，版本信息)；指向第一個(gè)參數(shù)指針表的編碼(4B)。參數(shù)指針表由每個(gè)長(zhǎng)為12B參數(shù)塊構(gòu)成，描述壓縮種類、長(zhǎng)寬、彩色數(shù)、掃描密度等參數(shù)。較長(zhǎng)參數(shù)(如調(diào)色板)只給出指針，參數(shù)放在參數(shù)數(shù)據(jù)表中。其結(jié)構(gòu)定義如下：第二十一頁(yè)，共一百六十頁(yè)，2022年，8月28日

typedefstruct{inttag-type；

intnumber-size；

longlength；

longoffset；

}TIF-FIELD；圖像數(shù)據(jù)按參數(shù)表中描述的形式按行排列第二十二頁(yè)，共一百六十頁(yè)，2022年，8月28日PCX文件格式由ZSoft公司最初制定結(jié)構(gòu)文件頭(128字節(jié))數(shù)據(jù)部分(采用行程長(zhǎng)度編碼)文件頭結(jié)構(gòu)定義第二十三頁(yè)，共一百六十頁(yè)，2022年，8月28日

typedefstruct{charmanufacture；/*always0xa0*/charversion；

charencoding；/*always1*/charbits-per-pixel；/*colorbits*/intXmin，Ymin；/*imageorigin*/intXmax，Ymax；/*imagedimension*/inthres；/*resolutionvalues*/intvres；

charpalette[48]；/*colorpalette*/charreserved；

charcolor-planes；/*colorplanes*/intbytes-per-line；/*linebuffersize*/intpalette-type；/*greyorcolorpalette*/charfiller[58]；

}PCXHEAD；

其中Version若為5，文件內(nèi)有個(gè)256色調(diào)色板，數(shù)據(jù)768字節(jié)，在文件最后。

第二十四頁(yè)，共一百六十頁(yè)，2022年，8月28日

文件體對(duì)像素?cái)?shù)據(jù)采用行程長(zhǎng)度編碼，由包含Keybyte和Databyte的包組成。分2種情況：

(1)若Keybyte最高位為11，則低6位為重復(fù)次數(shù)(Index)，即后一個(gè)字節(jié)重復(fù)使用Index次。但最多重復(fù)63次，若再長(zhǎng)重建一個(gè)包。如圖2.2。圖2.2PCX數(shù)據(jù)包的結(jié)構(gòu)

(2)若Keybyte最高位不是11，那么該Databyte按原樣寫(xiě)入圖像文件。對(duì)一個(gè)字符的表示用長(zhǎng)度為1的包。11IndexDatabyte111Databyte第二十五頁(yè)，共一百六十頁(yè)，2022年，8月28日2.1.3多媒體數(shù)據(jù)轉(zhuǎn)換

不同媒體表示不同的信息表示方式。研究媒體之間轉(zhuǎn)換十分有意義。有些媒體之間的轉(zhuǎn)換是非常困難的事情，需要研究人類本身對(duì)各種媒體理解原理和解釋過(guò)程。有些媒體之間的轉(zhuǎn)換則相對(duì)容易，幾乎不用做什么工作。

第二十六頁(yè)，共一百六十頁(yè)，2022年，8月28日表2.1部分媒體的轉(zhuǎn)換關(guān)系轉(zhuǎn)換位圖圖像圖形語(yǔ)音音樂(lè)文本視頻數(shù)值位圖圖像－*映射？？*映射*凍結(jié)？圖形***輪廓或理解－*

波形*樂(lè)譜**矢量化？*可視化語(yǔ)音？？－*波形**語(yǔ)音合成？*合成音樂(lè)？？***識(shí)別－*音樂(lè)合成？？文本***文字識(shí)別**識(shí)別**語(yǔ)音識(shí)別*轉(zhuǎn)換－？*符號(hào)化視頻**序列化**序列化？？？－？數(shù)值？**計(jì)算***識(shí)別？*轉(zhuǎn)換？－第二十七頁(yè)，共一百六十頁(yè)，2022年，8月28日2.2

常用的數(shù)據(jù)壓縮技術(shù)

2.2.1概述

根據(jù)解碼后數(shù)據(jù)與原始數(shù)據(jù)是否完全一致，數(shù)據(jù)壓縮方法劃分為兩類：

可逆編碼(無(wú)失真編碼)解碼圖像與原始圖像嚴(yán)格相同，壓縮大約在2：1到5：1之間。如Huffman編碼、算術(shù)編碼、行程長(zhǎng)度編碼等。不可逆編碼(有失真編碼)還原圖像與原始圖像存在一定的誤差，但視覺(jué)效果一般可以接受，壓縮比可以從幾倍到上百倍來(lái)調(diào)節(jié)。常用的有變換編碼和預(yù)測(cè)編碼第二十八頁(yè)，共一百六十頁(yè)，2022年，8月28日

根據(jù)壓縮的原理可以有以下分類：

預(yù)測(cè)編碼利用空間中相鄰數(shù)據(jù)的相關(guān)性來(lái)預(yù)測(cè)未來(lái)點(diǎn)的數(shù)據(jù)。差分脈沖編碼調(diào)制(DPCM)和自適應(yīng)差分脈沖編碼調(diào)制(ADPCM)。

變換編碼將圖像時(shí)域信號(hào)變換到頻域空間上處理。時(shí)域空間有強(qiáng)相關(guān)的信號(hào)，反映在頻域上是某些特定的區(qū)域內(nèi)能量常被集中在一起，從而實(shí)現(xiàn)壓縮.正交變換如離散余弦變換，離散付立葉變換和Walsh-Hadamard變換.

量化與向量量化編碼為了使整體量化失真最小，就必須依照統(tǒng)計(jì)的概率分布設(shè)計(jì)最優(yōu)的量化器。已知最優(yōu)量化器是Max量化器。對(duì)象元點(diǎn)進(jìn)行量化時(shí)，也可以考慮一次量化多個(gè)點(diǎn)的向量量化。第二十九頁(yè)，共一百六十頁(yè)，2022年，8月28日

信息熵編碼根據(jù)信息熵原理，讓出現(xiàn)概率大的用短的碼字表達(dá)，反之用長(zhǎng)的碼字表示。最常見(jiàn)的方法如Huffman編碼、Shannon編碼以及算術(shù)編碼。

子帶編碼將圖像數(shù)據(jù)變換到頻域后，按頻域分帶，然后用不同的量化器進(jìn)行量化，從而達(dá)到最優(yōu)的組合?；蛘叻植綕u近編碼，隨著解碼數(shù)據(jù)的增加，圖像逐漸清晰。

模型編碼編碼時(shí)首先將圖像中邊界、輪廓、紋理等結(jié)構(gòu)特征找出來(lái)，保存這些參數(shù)信息。解碼時(shí)根據(jù)結(jié)構(gòu)和參數(shù)信息進(jìn)行合成，恢復(fù)出原圖像。具體方法有輪廓編碼、域分割編碼、分析合成編碼、識(shí)別合成編碼、基于知識(shí)的編碼、分形編碼等。第三十頁(yè)，共一百六十頁(yè)，2022年，8月28日

預(yù)測(cè)編碼線性預(yù)測(cè)-DPCM

基本原理是基于圖像中相鄰像素之間具有較強(qiáng)的相關(guān)性。每個(gè)像素可根據(jù)已知的前幾個(gè)像素來(lái)作預(yù)測(cè)。因此在預(yù)測(cè)編碼中，編碼和傳輸?shù)牟⒉皇窍袼夭蓸又当旧?，而是這個(gè)采樣值的預(yù)測(cè)值與其實(shí)際值之間的差值非線性預(yù)測(cè)（不討論）第三十一頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.3DPCM系統(tǒng)原理框圖預(yù)測(cè)器

量化器編碼器解碼器

預(yù)測(cè)器信道接收端輸出XN’＋＋＋XNe’NXNeNe’NXN’++輸入^XN^發(fā)送端+-第三十二頁(yè)，共一百六十頁(yè)，2022年，8月28日XN為tN時(shí)刻的亮度采樣值；XN為根據(jù)tN時(shí)刻以前已知X1，X2，…，XN-1對(duì)XN所作的預(yù)測(cè)值；eN=XN-XN為差值信號(hào)；eN’為量化器輸出信號(hào)；XN’為接收端輸出，XN’

=XN+eN’

。因?yàn)椋篨N-XN’

=

XN-(XN+eN’)

=(XN-XN)-eN’

=eN-eN’所以，DPCM系統(tǒng)中的誤差來(lái)源是發(fā)送端的量化器，而與接收端無(wú)關(guān)，若去掉量化器使eN=eN’，則XN=XN’，即實(shí)現(xiàn)信息保持編碼。事實(shí)上，這種量化誤差是不可避免的。^^^^^第三十三頁(yè)，共一百六十頁(yè)，2022年，8月28日

變換編碼

輸入圖像G經(jīng)正交變換U變換到頻域空間，像素之間相關(guān)性下降，能量集中在變換域中少數(shù)變換系數(shù)上，已經(jīng)達(dá)到了數(shù)據(jù)壓縮的效果。對(duì)變換系數(shù)A中那些幅度大元素予以保留，其他數(shù)量多的幅度小的變換系數(shù)，全部當(dāng)作零不予編碼，再輔以非線性量化，進(jìn)一步壓縮圖像數(shù)據(jù)。由于量化器存在，量化后變換系數(shù)A′和A間必然存在量化誤差，從而引起輸入圖像G和輸出圖像G′間存在誤差。圖2.4中U′是U的逆變換。

第三十四頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.4

變換編碼原理框圖變換量化編碼器解碼器逆變換信道輸入發(fā)送端接收端輸出GG’U’UA’A第三十五頁(yè)，共一百六十頁(yè)，2022年，8月28日變換編碼數(shù)據(jù)壓縮主要是去除信源的相關(guān)性。設(shè)信源序列為X={X0，X1，…，XN-1}，表征相關(guān)性的統(tǒng)計(jì)特性就是協(xié)方差矩陣：

ΦX=

其中σi，j=E{(Xi-EXi)(Xj-EXj)}.當(dāng)協(xié)方差矩陣Φx

除對(duì)角線上元素之外各元素均為0時(shí)，就等效于相關(guān)性為0。為了有效壓縮，希望變換后的協(xié)方差矩陣為對(duì)角矩陣，并希望主對(duì)角線元素隨i，j增加盡快衰減。σ0，02

σ0，12σ0，N-12σ1，02

σ1，12σN-1，02σ1，N-12σN-1，12

σN-1，N-12…………………第三十六頁(yè)，共一百六十頁(yè)，2022年，8月28日

已知X的條件下，根據(jù)它的協(xié)方差矩陣去尋找一種正交變換T，使變換后的協(xié)方差矩陣滿足或接近為一對(duì)角陣。Karhunen-Loeve變換即是這樣一種變換，又稱為最佳變換，它能使變換后協(xié)方差矩陣為對(duì)角陣，并且有最小均方誤差。它的計(jì)算比較復(fù)雜。實(shí)際應(yīng)用中采用了一些準(zhǔn)最佳變換如DCT，DFT和WHT等，使用這些變換后的協(xié)方差矩陣一般都接近一對(duì)角陣。第三十七頁(yè)，共一百六十頁(yè)，2022年，8月28日

信息熵編碼又稱為統(tǒng)計(jì)編碼，它是根據(jù)信源符號(hào)出現(xiàn)概率的分布特性而進(jìn)行的壓縮編碼。基本思想：在信源符號(hào)和碼字之間建立明確的一一對(duì)應(yīng)關(guān)系，以便在恢復(fù)時(shí)能準(zhǔn)確地再現(xiàn)原信號(hào)，同時(shí)要使平均碼長(zhǎng)或碼率盡量小。如Huffman編碼、算術(shù)編碼。第三十八頁(yè)，共一百六十頁(yè)，2022年，8月28日1.Huffman編碼定理

在變長(zhǎng)編碼中，對(duì)出現(xiàn)概率大的信源符號(hào)賦于短碼字，而對(duì)于出現(xiàn)概率小的信源符號(hào)賦于長(zhǎng)碼字。如果碼字長(zhǎng)度嚴(yán)格按照所對(duì)應(yīng)符號(hào)出現(xiàn)概率大小逆序排列，則編碼結(jié)果平均碼字長(zhǎng)度一定小于任何其他排列方式。Huffman定理是Huffman編碼的理論基礎(chǔ)第三十九頁(yè)，共一百六十頁(yè)，2022年，8月28日實(shí)現(xiàn)步驟

(1)將信源符號(hào)按概率遞減順序排列；(2)把二個(gè)最小概率相加作為新符號(hào)的概率，并按(1)重排；(3)重復(fù)(1)、(2)，直到概率為1；(4)在每次合并信源時(shí)，將合并的信源分別賦“0”和“1”(如概率大的賦“0”，概率小的賦“1”)；(5)尋找從每一信源符號(hào)到概率為1處的路徑，記錄下路徑上的“1”和“0”；(6)寫(xiě)出每一符號(hào)的“1”、“0”序列(從樹(shù)根到信源符號(hào)節(jié)點(diǎn))。第四十頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.5Huffman編碼信源符號(hào)概率編碼過(guò)程碼字碼長(zhǎng)(βi)x1

x2x3x4x5x6x7x80.400.180.100.100.070.060.050.0410010110000010001010001000011133444550101010.090.130.190.230.370.601010011第四十一頁(yè)，共一百六十頁(yè)，2022年，8月28日

上述編碼的平均碼字長(zhǎng)度：

R=∑Piβi=0.40×1+0.18×3+0.10×3+0.10×4+0.07×4+0.06×4+0.05×5+0.04×5=2.61第四十二頁(yè)，共一百六十頁(yè)，2022年，8月28日2.算術(shù)編碼20世紀(jì)60年代初，Elias提出了算術(shù)編碼概念。1976年，Rissanen和Pasco首次介紹了它的實(shí)用技術(shù)。其基本原理是將編碼的信息表示成實(shí)數(shù)0和1之間的一個(gè)間隔(Interval)，信息越長(zhǎng)，編碼表示它的間隔就越小，表示這一間隔所需的二進(jìn)制位就越多。

第四十三頁(yè)，共一百六十頁(yè)，2022年，8月28日算術(shù)編碼舉例采用固定模式符號(hào)概率分配如下：

字符：aeiou

概率：0.20.30.10.20.2

范圍：［0，0.2)［0.2，0.5)［0.5，0.6)［0.6，0.8)［0.8，1.0)編碼數(shù)據(jù)串為eai。令high間隔的高端，low為低端，range為間隔的長(zhǎng)度，rangelow為編碼字符分配的間隔低端，rangehigh為編碼字符分配的間隔高端。第四十四頁(yè)，共一百六十頁(yè)，2022年，8月28日

初始high=1，low=0，range=high-low，一個(gè)字符編碼后新的low和high按下式計(jì)算：

low=low+range×rangelow；

high=low+range×rangehigh。(1)在第一個(gè)字符e被編碼時(shí)，e的rangelow=0.2，rangehigh=0.5，因此：

low=0+1×0.2=0.2high=0+1×0.5=0.5range=high-low=0.5-0.2=0.3

此時(shí)分配給e的范圍為［0.2，0.5)第四十五頁(yè)，共一百六十頁(yè)，2022年，8月28日

(2)第二個(gè)字符a編碼時(shí)使用新生成范圍[0.2，0.5)，a的rangelow=0，rangehigh=0.2，因此：

low=0.2+0.3×0=0.2high=0.2+0.3×0.2=0.26range=0.06

范圍變成[0.2，0.26)第四十六頁(yè)，共一百六十頁(yè)，2022年，8月28日

(3)對(duì)下一個(gè)字符i編號(hào)，i的rangelow=0.5，rangehigh=0.6，range=0.06，則：

low=0.2+0.06×0.5=0.23high=0.2+0.06×0.6=0.236結(jié)果：用[0.23，0.236)表示數(shù)據(jù)串eai，如果解碼器知道最后范圍是[0.23，0.236)，它馬上可解得一個(gè)字符為e，然后依次得到惟一解a、i，最終得到eai。第四十七頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.6

算術(shù)編碼過(guò)程表示1e0.5ea0.260.2360.80.60.50.20uoieauoieauoieauoiea0.20.20.23eai第四十八頁(yè)，共一百六十頁(yè)，2022年，8月28日算術(shù)編碼的特點(diǎn)不必預(yù)先定義概率模型，自適應(yīng)模式具有獨(dú)特的優(yōu)點(diǎn)；信源符號(hào)概率接近時(shí)，建議使用算術(shù)編碼，這種情況下其效率高于Huffman編碼(約5%)。JPEG擴(kuò)展系統(tǒng)采用。第四十九頁(yè)，共一百六十頁(yè)，2022年，8月28日2.3靜態(tài)圖像壓縮標(biāo)準(zhǔn)JPEG

第五十頁(yè)，共一百六十頁(yè)，2022年，8月28日2.3.1JPEG標(biāo)準(zhǔn)的主要內(nèi)容

ISO/IEC10918號(hào)標(biāo)準(zhǔn)“多灰度連續(xù)色調(diào)靜態(tài)圖像壓縮編碼”即JPEG標(biāo)準(zhǔn)，選定ADCT作為靜態(tài)圖像壓縮的標(biāo)準(zhǔn)化算法。該標(biāo)準(zhǔn)為保證通用性，包含以下兩種方式：空間方式可逆編碼

空間方式對(duì)于基本系統(tǒng)和擴(kuò)展系統(tǒng)來(lái)說(shuō)，被稱為獨(dú)立功能。DCT方式非可逆編碼，包含基本系統(tǒng)(必須保證的功能)和擴(kuò)展系統(tǒng)(擴(kuò)充功能)第五十一頁(yè)，共一百六十頁(yè)，2022年，8月28日

基本系統(tǒng)是實(shí)現(xiàn)DCT編碼與解碼所需的最小功能集，大多數(shù)的應(yīng)用系統(tǒng)只要用此標(biāo)準(zhǔn)，就能基本上滿足要求。擴(kuò)展系統(tǒng)是為了滿足更為廣闊領(lǐng)域的應(yīng)用要求而設(shè)置的。第五十二頁(yè)，共一百六十頁(yè)，2022年，8月28日2.3.2JPEG靜態(tài)圖像壓縮算法

1.

基于DPCM的無(wú)失真編碼

預(yù)測(cè)器熵編碼器表說(shuō)明無(wú)失真編碼器源圖像數(shù)據(jù)壓縮圖像數(shù)據(jù)圖2.7無(wú)失真編碼簡(jiǎn)化框圖第五十三頁(yè)，共一百六十頁(yè)，2022年，8月28日基于DPCM的無(wú)失真編碼優(yōu)點(diǎn)是硬件易實(shí)現(xiàn)，重建圖像質(zhì)量好。缺點(diǎn)是壓縮比太低，大約為2：1。第五十四頁(yè)，共一百六十頁(yè)，2022年，8月28日工作原理是對(duì)X的預(yù)測(cè)值X’，將X-X’進(jìn)行無(wú)失真熵編碼。對(duì)X’的求法見(jiàn)圖給出的預(yù)測(cè)方式。

cbax選擇值預(yù)測(cè)選擇值預(yù)測(cè)0123非預(yù)測(cè)

abc4567a+b-ca+(b-c)/2b+(a-c)/2(a+b)/2(a)

X鄰域(b)

預(yù)測(cè)方式圖2.8預(yù)測(cè)器第五十五頁(yè)，共一百六十頁(yè)，2022年，8月28日2.基于DCT的有失真壓縮編碼

離散余弦變換量化處理DC系數(shù)的編碼和AC系數(shù)的行程編碼

熵編碼第五十六頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.9基于DCT編碼過(guò)程FDCT熵編碼器表說(shuō)明無(wú)失真編碼器源圖像數(shù)據(jù)壓縮圖像數(shù)據(jù)量化器表說(shuō)明88塊（YUV每個(gè)分量）第五十七頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.10解碼過(guò)程熵解碼器IDCT表說(shuō)明解碼器逆量化器表說(shuō)明88塊壓縮圖像數(shù)據(jù)恢復(fù)的圖像數(shù)據(jù)第五十八頁(yè)，共一百六十頁(yè)，2022年，8月28日離散余弦變換

(1)首先把原始圖像順序分割成8×8子塊；(2)采樣精度為P位(二進(jìn)制)，把[0，2P-1]范圍的無(wú)符號(hào)數(shù)變換成[-2P-1，2P-1]范圍的有符號(hào)數(shù)，作為離散余弦正變換(FDCT)的輸入；(3)在輸出端經(jīng)離散余弦逆變換(IDCT)后又得到一系列8×8子塊，需將數(shù)值范圍[-2P-1，2P-1]變換回[0，2P-1]來(lái)重構(gòu)圖像。第五十九頁(yè)，共一百六十頁(yè)，2022年，8月28日這里用的8×8FDCT的數(shù)學(xué)定義為：

F(u，v)=(1/4)C(u)

C(v)[∑x=07∑y=07f(x，y)·

cos((2x+1)u/16)·cos((2y+1)v/16)]

8×8IDCT的數(shù)學(xué)定義為：

f(x，y)=(1/4)[∑u=07∑v=07

C(u)C(v)F(u，v)·cos((2x+1)u/16)·cos((2y+1)v/16)]

其中：C(u)，C(v)=1/√2

當(dāng)u，v=0C(u)，C(v)=1

其他下面的編碼針對(duì)FDCT輸出的64個(gè)基信號(hào)的幅值(F(0，0)，…，F(xiàn)(7，7)稱作DCT系數(shù))來(lái)進(jìn)行

第六十頁(yè)，共一百六十頁(yè)，2022年，8月28日量化處理

量化是一個(gè)“多到一”的過(guò)程，失真原因關(guān)鍵是找最小量化失真的量化器，JPEG采用線性均勻量化器，定義為對(duì)64個(gè)DCT系數(shù)除以量化步長(zhǎng)，然后四舍五入取整：FQ(u，v)=IntegerRound[F(u，v)/Q(u，v)]Q(u，v)是量化器步長(zhǎng)，它是量化表的元素。量化表元素隨DCT系數(shù)的位置和彩色分量不同有不同的值，量化表尺寸為8×8與64個(gè)變換系數(shù)一一對(duì)應(yīng)。這個(gè)量化表應(yīng)由用戶規(guī)定(JPEG給出參考值-見(jiàn)表2.2，2.3)，并作為編碼器的一個(gè)輸入。第六十一頁(yè)，共一百六十頁(yè)，2022年，8月28日

1611101624405161121214192658605514131624405769561417222951878062182237566810910377243555648110411392496478871031211201017292959811210010399表2.2亮度量化表第六十二頁(yè)，共一百六十頁(yè)，2022年，8月28日

17182447999999991821266699999999242656999999999947669999999999999999999999999999999999999999999999999999999999999999999999999999表2.3色度量化表第六十三頁(yè)，共一百六十頁(yè)，2022年，8月28日

量化的作用是在一定主觀保真度圖像質(zhì)量前提下，丟掉那些對(duì)視覺(jué)影響不大的信息，通過(guò)量化可調(diào)節(jié)數(shù)據(jù)壓縮比。

第六十四頁(yè)，共一百六十頁(yè)，2022年，8月28日DC系數(shù)的編碼

64個(gè)變換系數(shù)經(jīng)量化后，坐標(biāo)u=v=0的F(0，0)稱DC系數(shù)(直流分量)，它即64個(gè)空域圖像采樣值的平均值。相鄰8×8塊之間DC系數(shù)有強(qiáng)相關(guān)性。JPEG對(duì)量化后的DC系數(shù)采用DPCM編碼，即對(duì)DIFF=DCi-DCi-1編碼。

…blocki-1blockiDCi-1DCi圖2.11DC系數(shù)差分編碼第六十五頁(yè)，共一百六十頁(yè)，2022年，8月28日AC系數(shù)的行程編碼

其余63個(gè)交流系數(shù)(AC)采用行程編碼。從左上方AC0，1開(kāi)始沿對(duì)角線方向“Z”字形掃描直到AC7，7掃描結(jié)束，這樣可增加行程中連續(xù)0的個(gè)數(shù)。AC系數(shù)編碼的碼字用兩個(gè)字節(jié)表示，如圖所示：

圖2.12Z字形掃描第六十六頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.13AC系數(shù)行程編碼碼字兩個(gè)非0值間連續(xù)0的個(gè)數(shù)

表示下一個(gè)非0值需要的bit數(shù)

下一個(gè)非0實(shí)際值7430字節(jié)1字節(jié)2例子：對(duì)“…，3，0，0，0，0，0，12，0，0，…”編碼…，(5，4)，(12)，….第六十七頁(yè)，共一百六十頁(yè)，2022年，8月28日熵編碼

為了進(jìn)一步壓縮數(shù)據(jù)，需對(duì)DC碼和AC行程編碼的碼字再做基于統(tǒng)計(jì)特性的熵編碼。JPEG建議的熵編碼是Huffman編碼和自適應(yīng)二進(jìn)制算術(shù)編碼。熵編碼可分成兩步進(jìn)行：把DC碼和AC行程碼轉(zhuǎn)換為中間符號(hào)序列給這些符號(hào)賦以變長(zhǎng)碼字

第六十八頁(yè)，共一百六十頁(yè)，2022年，8月28日AC系數(shù)熵編碼的中間格式

熵編碼的中間格式由兩個(gè)符號(hào)組成：符號(hào)1：(行程，尺寸)符號(hào)2：(幅值)第一個(gè)信息參數(shù)“行程”表示前后兩個(gè)非0的AC系數(shù)之間連續(xù)0的個(gè)數(shù)。第二個(gè)信息參數(shù)“尺寸”是后一個(gè)非0的AC系數(shù)幅值編碼所需比特?cái)?shù)。第六十九頁(yè)，共一百六十頁(yè)，2022年，8月28日行程取值范圍為1～15，超過(guò)15時(shí)用擴(kuò)展符號(hào)1(15，0)來(lái)擴(kuò)充，63個(gè)AC系數(shù)最多增加3個(gè)擴(kuò)展符號(hào)1。編碼結(jié)束時(shí)用(0，0)表示?！俺叽纭比≈捣秶鸀?～10?！胺怠庇靡员硎痉?的AC系數(shù)的值，范圍為［-210，210-1］(最長(zhǎng)10bit)，結(jié)構(gòu)形式如表2-4所示。第七十頁(yè)，共一百六十頁(yè)，2022年，8月28日1-1，12-3..-2，2..33-7..-4，4..74-15..-8，8..1567……89-511..-256，256…51110-1023..-512，512…1023表2.4符號(hào)2結(jié)構(gòu)第七十一頁(yè)，共一百六十頁(yè)，2022年，8月28日DC系數(shù)的熵編碼對(duì)于直流分量DC也有類似于AC系數(shù)的編碼格式符號(hào)1：(尺寸)符號(hào)2：(幅值)“尺寸”表示DC差值的幅值編碼所需的比特?cái)?shù)，而“幅值”表示DC差值的幅值，范圍為［-211，211-1］。可在表2.4中多加一級(jí)，幅值尺寸以1到11比特表示。將63個(gè)AC系數(shù)表示成為符號(hào)1和符號(hào)2序列，其中連續(xù)0的長(zhǎng)度超過(guò)15時(shí)，有多個(gè)符號(hào)1；塊結(jié)束(EOB)時(shí)僅有一個(gè)符號(hào)1(0，0)。第七十二頁(yè)，共一百六十頁(yè)，2022年，8月28日“…4，0，0，0，0，0，0，0，……0，3，0”.4，3之間有31個(gè)0.

(15，0)，(15，0)，(1，2)，(3)可變長(zhǎng)度熵編碼就是對(duì)上述序列進(jìn)行變長(zhǎng)編碼。對(duì)DC系數(shù)、AC系數(shù)中的符號(hào)1采用Huffman表中的變長(zhǎng)碼編碼(VLC)，這里Huffman變長(zhǎng)碼表必須作為JPEG編碼器輸入。符號(hào)2用碼字長(zhǎng)度在表2.4中給出的變長(zhǎng)整數(shù)VLI碼編碼。VLI是變長(zhǎng)碼，但不是Huffman碼。VLI的長(zhǎng)度存放在VLC中，JPEG提供VLI碼字表供用戶使用第七十三頁(yè)，共一百六十頁(yè)，2022年，8月28日J(rèn)PEG提供2套Huffman碼表：亮度和色度。每套又有DC表和AC表各1個(gè)。共有4個(gè)表。表定義（亮度DC系數(shù)碼表）

16B說(shuō)明碼字長(zhǎng)度：

X’00010501010101010100000000000000’

第i個(gè)(1-16)元素值表示長(zhǎng)度為i的Huffman碼個(gè)數(shù)。緊跟一組值說(shuō)明亮度表分類：

X’000102030405060708090A0B’第七十四頁(yè)，共一百六十頁(yè)，2022年，8月28日表2.5亮度DC系數(shù)表分類碼長(zhǎng)碼字分類碼長(zhǎng)碼字0200641110130107511110230118611111033100971111110431011081111111053110119111111110第七十五頁(yè)，共一百六十頁(yè)，2022年，8月28日表2.6色度DC系數(shù)表分類碼長(zhǎng)碼字分類碼長(zhǎng)碼字0200661111101201771111110221088111111103311099111111110441110101011111111105511110111111111111110第七十六頁(yè)，共一百六十頁(yè)，2022年，8月28日表2.7JPEG壓縮效果評(píng)價(jià)壓縮效果(比特/像素)

質(zhì)量0.25~0.50

中~好0.50~0.75

好~很好0.75~1.5

極好1.2~2.0

與原始圖像分不出來(lái)第七十七頁(yè)，共一百六十頁(yè)，2022年，8月28日3.基于DCT的累進(jìn)操作方式編碼

順序方式：每個(gè)圖像分量的編碼一次掃描完成的；累進(jìn)方式：圖像分量編碼要經(jīng)過(guò)多次掃描才完成。累進(jìn)方式第一次掃描只進(jìn)行一次粗糙圖像的掃描壓縮，以相對(duì)于總的傳輸時(shí)間快得多的時(shí)間傳輸粗糙圖像，并重建一幀質(zhì)量較低的可識(shí)別圖像；在隨后的掃描中再對(duì)圖像作較細(xì)的壓縮，這時(shí)只傳遞增加的信息，可重建一幅質(zhì)量提高一些的圖像。這樣不斷累進(jìn)，直到滿意的圖像為止。第七十八頁(yè)，共一百六十頁(yè)，2022年，8月28日需在量化器的輸出與熵編碼的輸入之間，增加一個(gè)足以存儲(chǔ)量化后DCT系數(shù)的緩沖區(qū)，對(duì)緩沖區(qū)中存儲(chǔ)的DCT系數(shù)多次掃描，分批編碼。有以下兩種累進(jìn)方式：頻譜選擇法掃描中只對(duì)64個(gè)DCT變換系數(shù)中某些頻帶的系數(shù)進(jìn)行編碼、傳送，隨后對(duì)其他頻帶編碼、傳送，直到全部系數(shù)傳送完畢為止。按位逼近法沿著DCT量化系數(shù)有效位(表示系數(shù)精度的位數(shù))方向分段累進(jìn)編碼。如第一次掃描只取最高有效位的n位編碼、傳送，然后對(duì)其余位進(jìn)行編碼、傳送。第七十九頁(yè)，共一百六十頁(yè)，2022年，8月28日4.基于DCT的分層操作方式

分層方式是對(duì)一幅原始圖像的空間分辨率，分成多個(gè)分辨率進(jìn)行“錐形”的編碼方法，水平(垂直)方向分辨率的下降以2的倍數(shù)因子改變。

圖2.14分層操作方式第八十頁(yè)，共一百六十頁(yè)，2022年，8月28日分層操作方式的過(guò)程(1)把原始圖像空間分辨率降低。(2)對(duì)已降低分辨率的圖像采用基于DCT的順序方式、累進(jìn)方式或無(wú)失真預(yù)測(cè)編碼中的任何一種編碼方法進(jìn)行編碼。(3)對(duì)低分辨率的圖像解碼，重建圖像，使用插值濾波器，對(duì)它插值，恢復(fù)圖像的水平和垂直分辨率。(4)把分辨率已升高的圖像作為原始圖像的預(yù)測(cè)值，對(duì)它們的差值采用基于DCT的順序方式、累進(jìn)方式或用無(wú)失真方式進(jìn)行編碼。(5)重復(fù)(3)、(4)直到圖像達(dá)到完整的分辨率編碼。第八十一頁(yè)，共一百六十頁(yè)，2022年，8月28日2.3.3JPEG2000簡(jiǎn)介基于Internet網(wǎng)絡(luò)的多媒體應(yīng)用，給圖像編碼提出了新的要求.2000年12月公布的新的JPEG2000標(biāo)準(zhǔn)(ISO15444)，其目標(biāo)是在高壓縮率的情況下，如何保證圖像傳輸?shù)馁|(zhì)量。JPEG中采用DCT變換考察整個(gè)時(shí)域過(guò)程的頻域特征或整個(gè)頻域過(guò)程的時(shí)域特征。JPEG2000采用以小波變換為主的多分辨率編碼方式。JPEG2000統(tǒng)一了面向靜態(tài)圖像和二值圖像的編碼方式，是既支持低比率壓縮又支持高比率壓縮的通用編碼方式。第八十二頁(yè)，共一百六十頁(yè)，2022年，8月28日

該算法主要特點(diǎn)如下：(1)高壓縮率。與JPEG相比，可修復(fù)約30％的速率失真特性。JPEG和JPEG2000在壓縮率相同時(shí)，JPEG2000的信噪比將提高30％左右；(2)無(wú)損壓縮。預(yù)測(cè)編碼作為對(duì)圖像進(jìn)行無(wú)損編碼的成熟方法被集成在JPEG2000中；(3)漸進(jìn)傳輸。JPEG2000可實(shí)現(xiàn)以空間清晰度和信噪比為首的各種可調(diào)節(jié)性，從而實(shí)現(xiàn)漸進(jìn)傳輸，即具有“漸現(xiàn)”特性.(4)感興趣區(qū)域壓縮。JPEG2000支持所謂的“感興趣區(qū)域”。第八十三頁(yè)，共一百六十頁(yè)，2022年，8月28日2.4

運(yùn)動(dòng)圖像壓縮標(biāo)準(zhǔn)MPEG第八十四頁(yè)，共一百六十頁(yè)，2022年，8月28日2.4.1MPEG標(biāo)準(zhǔn)簡(jiǎn)介MPEG標(biāo)準(zhǔn)是面向運(yùn)動(dòng)圖像壓縮的一個(gè)系列標(biāo)準(zhǔn)。最初MPEG專家組的工作項(xiàng)目是3個(gè)，即在1.5Mbps，10Mbps，40Mbps傳輸速率下對(duì)圖像編碼，分別命名為MPEG-1，MPEG-2，MPEG-3。MPEG-3后被取消.為了滿足不同的應(yīng)用要求，MPEG又將陸續(xù)增加其他一些標(biāo)準(zhǔn)MPEG-4，MPEG-7，MPEG-21。第八十五頁(yè)，共一百六十頁(yè)，2022年，8月28日

MPEG算法編碼過(guò)程和解碼過(guò)程是一種非鏡象對(duì)稱算法(不對(duì)稱)，解碼過(guò)程要比編碼過(guò)程相對(duì)簡(jiǎn)單些。MPEG-1和MPEG-2只規(guī)定了解碼的方案，重點(diǎn)將解碼算法標(biāo)準(zhǔn)化。因而用硬件實(shí)現(xiàn)MPEG算法時(shí)，人們首先實(shí)現(xiàn)MPEG的解碼器，如C-Cube公司CL450解碼器系列。最近幾年，隨著MPC性能的提高，軟件解壓功能也逐漸得到支持。第八十六頁(yè)，共一百六十頁(yè)，2022年，8月28日2.4.2MPEG-1系統(tǒng)“用于數(shù)字存儲(chǔ)媒體運(yùn)動(dòng)圖像及其伴音速率為1.5Mbps的壓縮編碼”簡(jiǎn)稱MPEG-1，作為ISO/IEC11172號(hào)建議于1992年通過(guò)。主要用于在CD-ROM存儲(chǔ)運(yùn)動(dòng)視頻圖像，它針對(duì)標(biāo)準(zhǔn)分辨率(NTSC制為352×240；PAL制為352×288)的圖像進(jìn)行壓縮，每秒30幀畫(huà)面，具備CD音質(zhì)。它還用于數(shù)字電話網(wǎng)絡(luò)上的視頻傳輸，如非對(duì)稱數(shù)字用戶線路(ADSL)、視頻點(diǎn)播、教育網(wǎng)絡(luò)等。使用MPEG-1的壓縮算法，可將一部120分鐘長(zhǎng)的電影壓縮到1.2GB左右。因此，它被廣泛地應(yīng)用于VCD制作。第八十七頁(yè)，共一百六十頁(yè)，2022年，8月28日MPEG-1分為5個(gè)部分(1)MPEG系統(tǒng)(11172-1)，定義音頻、視頻及有關(guān)數(shù)據(jù)的同步；(2)MPEG視頻(11172-2)，定義視頻數(shù)據(jù)的編碼和重建圖像所需的解碼過(guò)程，亮度信號(hào)分辨率為360×240，色度信號(hào)分辨率為180×120；(3)MPEG音頻(11172-3)，定義音頻數(shù)據(jù)的編碼和解碼；(4)一致性測(cè)試(11172-4)；(5)軟件模擬(11172-5)。第八十八頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.15

MPEG-1解碼器原型第八十九頁(yè)，共一百六十頁(yè)，2022年，8月28日MPEG-1編解碼器原型：多路復(fù)合而成的碼流假設(shè)以介質(zhì)特定格式存儲(chǔ)在數(shù)字存儲(chǔ)介質(zhì)(DSM)或網(wǎng)絡(luò)上，標(biāo)準(zhǔn)不規(guī)定介質(zhì)特定格式。系統(tǒng)解碼器從輸入多路復(fù)合流中抽取定時(shí)信息，并對(duì)輸入流進(jìn)行分流處理，輸出兩個(gè)基本流分別給視頻和音頻解碼器。視頻和音頻解碼器分別解碼輸出視頻和聲音信號(hào)。

第九十頁(yè)，共一百六十頁(yè)，2022年，8月28日

系統(tǒng)、視頻、音頻和介質(zhì)4個(gè)解碼器之間用定時(shí)信息進(jìn)行同步。多路復(fù)合流構(gòu)造為2層：系統(tǒng)層和壓縮層。系統(tǒng)解碼輸入的是系統(tǒng)層；而視頻、音頻解碼器輸入的是壓縮層。第九十一頁(yè)，共一百六十頁(yè)，2022年，8月28日

系統(tǒng)解碼器執(zhí)行兩類操作：一類是作用在整個(gè)多路復(fù)合流上的操作，稱為復(fù)合流操作；另一類是作用在單個(gè)基本流上的操作，稱為特定流操作。系統(tǒng)層分為兩個(gè)子層：一個(gè)子層稱為包(pack)，是復(fù)合流操作對(duì)象；另一個(gè)子層稱為組(packet)，它用于特定流操作。第九十二頁(yè)，共一百六十頁(yè)，2022年，8月28日

MPEG音頻標(biāo)準(zhǔn)的特點(diǎn)：音頻信號(hào)采樣率可以是32kHz，44.1kHz或48kHz。壓縮后的比特流可以按以下4種模式之一支持單聲道或雙聲道：提供給單音頻通道的單聲道模式；提供給兩個(gè)獨(dú)立的單音頻通道的雙-單聲道模式；提供給立體聲通道的立體聲模式；聯(lián)合立體聲模式，利用立體聲通道之間的關(guān)聯(lián)或通道之間相位差的無(wú)關(guān)性，或者對(duì)兩者同時(shí)利用。第九十三頁(yè)，共一百六十頁(yè)，2022年，8月28日

MPEG音頻標(biāo)準(zhǔn)提供3個(gè)獨(dú)立的壓縮層次，用戶可在復(fù)雜性和壓縮質(zhì)量之間權(quán)衡選擇。層1最簡(jiǎn)單，使用比特率384kbps，主要用于DCC；層2的復(fù)雜度中等，使用比特率192kbps左右，主要應(yīng)用于數(shù)字廣播的音頻編碼、CD-ROM上的音頻信號(hào)以及CD-I和VCD。層3最為復(fù)雜，使用比特率64kbps，尤其適用于ISDN上的音頻傳輸，有損壓縮但音質(zhì)保持逼真效果。MP3音樂(lè)是利用MPEGAudioLayer3的技術(shù)，聲音采用1：10甚至1：12的壓縮率

第九十四頁(yè)，共一百六十頁(yè)，2022年，8月28日

壓縮后的比特流具有預(yù)定義的比特率之一。MPEG音頻標(biāo)準(zhǔn)也支持用戶使用預(yù)定義的比特率之外的比特率。

編碼后的比特流支持循環(huán)冗余校驗(yàn)(CRC)。MPEG音頻標(biāo)準(zhǔn)還支持在比特流中載帶附加信息。

第九十五頁(yè)，共一百六十頁(yè)，2022年，8月28日MPEG視頻數(shù)據(jù)流的結(jié)構(gòu)圖2.16MPEG-1數(shù)據(jù)體系結(jié)構(gòu)運(yùn)動(dòng)圖像序列圖片組圖片圖片切片宏塊塊8像素第九十六頁(yè)，共一百六十頁(yè)，2022年，8月28日

運(yùn)動(dòng)序列圖像組圖像信號(hào)分3個(gè)部分：一個(gè)亮度信號(hào)Y和兩個(gè)色度信號(hào)U、V。第九十七頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.17色度和亮度的位置關(guān)系亮度信號(hào)Y由偶數(shù)個(gè)行和偶數(shù)個(gè)列組成，色度信號(hào)U、V分別取Y信號(hào)在水平、垂直方向的1/2。如圖所示，黑點(diǎn)代表色度U、V位置，亮度Y位置用白圈表示。第九十八頁(yè)，共一百六十頁(yè)，2022年，8月28日

塊：一個(gè)塊由一個(gè)8×8的亮度信息或色度信息組成。宏塊一個(gè)宏塊由一個(gè)16×16的亮度信息和兩個(gè)8×8色度信息構(gòu)成，如圖所示。圖2.18宏塊的組成圖像切片由一個(gè)或多個(gè)連續(xù)的宏塊構(gòu)成。

YUV8X88X8123456第九十九頁(yè)，共一百六十頁(yè)，2022年，8月28日

2.4.4MPEG-1視頻編碼技術(shù)

主要問(wèn)題：一方面無(wú)法達(dá)到很高的壓縮比，另一方面用單一的靜止幀內(nèi)編碼方法能最好地滿足隨機(jī)存取的要求。解決方法：對(duì)這兩個(gè)方面做了折衷考慮。即為了減少時(shí)間上冗余性的基于塊的運(yùn)動(dòng)補(bǔ)償技術(shù)和基于DCT變換的減少空間上冗余性的ADCT技術(shù)

第一百頁(yè)，共一百六十頁(yè)，2022年，8月28日在MPEG中將圖像分為3種類型：I圖像利用圖像自身的相關(guān)性壓縮，提供壓縮數(shù)據(jù)流中的隨機(jī)存取的點(diǎn)。P圖像用最近的前一個(gè)I圖像(或P圖像)預(yù)測(cè)編碼得到(前向預(yù)測(cè))。B圖像B圖像在預(yù)測(cè)時(shí)，既可使用了前一個(gè)圖像作參照，也可使用下一個(gè)圖像做參照或同時(shí)使用前后兩個(gè)圖像作為參照?qǐng)D像(雙向預(yù)測(cè))。

第一百零一頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.19

幀間預(yù)測(cè)1I2B3B4B5P6B7B8B1I前向預(yù)測(cè)雙向預(yù)測(cè)第一百零二頁(yè)，共一百六十頁(yè)，2022年，8月28日運(yùn)動(dòng)序列流的組成圖2.20典型的圖像類型的顯示次序1秒?yún)⒄諑g有2個(gè)B圖像

每0.5秒1幀I圖像

IBBPBBPBBPBBPBBIBBPBBPBBPBBPBB第一百零三頁(yè)，共一百六十頁(yè)，2022年，8月28日傳輸順序MPEG編碼器需對(duì)上述圖像重新排序，以便解碼器高效工作，因?yàn)閰⒄請(qǐng)D像必須先于B圖像恢復(fù)之前恢復(fù)。上述1～7幀圖像重排后圖像組次序?yàn)椋?213756IPBBPBB第一百零四頁(yè)，共一百六十頁(yè)，2022年，8月28日運(yùn)動(dòng)補(bǔ)償技術(shù)運(yùn)動(dòng)補(bǔ)償技術(shù)主要用于消除P圖像和B圖像在時(shí)間上的冗余性提高壓縮效率。在MPEG方案中，運(yùn)動(dòng)補(bǔ)償技術(shù)工作在宏塊一級(jí)。B圖像宏塊有4種類型幀內(nèi)宏塊，簡(jiǎn)稱I塊；前向預(yù)測(cè)宏塊，簡(jiǎn)稱F塊；后向預(yù)測(cè)宏塊，簡(jiǎn)稱B塊；平均宏塊，簡(jiǎn)稱A塊。對(duì)于P圖像，其宏塊只有I塊和F塊兩種。第一百零五頁(yè)，共一百六十頁(yè)，2022年，8月28日無(wú)論B圖像和P圖像，I塊處理技術(shù)都與I圖像中采用技術(shù)一致即ADCT技術(shù)。對(duì)于F塊、B塊和A塊，MPEG都采用基于塊的運(yùn)動(dòng)補(bǔ)償技術(shù)。F塊預(yù)測(cè)時(shí)其參照為前一個(gè)I圖像或P圖像B塊預(yù)測(cè)時(shí)其參照為后一個(gè)I圖像或P圖像對(duì)于A塊預(yù)測(cè)其參照為前后兩個(gè)I圖像或P圖像第一百零六頁(yè)，共一百六十頁(yè)，2022年，8月28日基于塊的運(yùn)動(dòng)補(bǔ)償技術(shù)基于塊的運(yùn)動(dòng)補(bǔ)償技術(shù)，就是在其參照幀中尋找符合一定條件，當(dāng)前被預(yù)測(cè)塊的最佳匹配塊。找到匹配塊后，有兩種處理方法：一是在恢復(fù)被預(yù)測(cè)塊時(shí)，用匹配塊代替；二是對(duì)預(yù)測(cè)的誤差采用ADCT技術(shù)編碼，在恢復(fù)被預(yù)測(cè)塊時(shí)，用匹配塊加上預(yù)測(cè)誤差。第一百零七頁(yè)，共一百六十頁(yè)，2022年，8月28日表2.8宏塊的預(yù)測(cè)方式宏塊類型預(yù)測(cè)器預(yù)測(cè)誤差I(lǐng)塊I1(X)=128I1(X)-I1(X)F塊I1(X)=I0(X+mv01)I1(X)-I1(X)B塊I1(X)=I2(X+mv21)I1(X)-I1(X)A塊I1(X)=(I0(X+mv01)+I2(X+mv21))/2I1(X)-I1(X)第一百零八頁(yè)，共一百六十頁(yè)，2022年，8月28日4.MPEG-1視頻系統(tǒng)圖2.21簡(jiǎn)化的視頻編碼框圖

第一百零九頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.22基本的視頻解碼器框圖

第一百一十頁(yè)，共一百六十頁(yè)，2022年，8月28日2.4.5MPEG-2標(biāo)準(zhǔn)MPEG-2(ISO/IEC13818)標(biāo)準(zhǔn)制定于1994年。它利用網(wǎng)絡(luò)提供的3～100Mbps的數(shù)據(jù)傳輸率來(lái)支持具有更高分辨率圖像的壓縮和更高的圖像質(zhì)量。MPEG-2可支持交迭圖像序列，支持可調(diào)節(jié)性編碼，多種運(yùn)動(dòng)估計(jì)方式，提供一個(gè)較廣的范圍改變壓縮比，以適應(yīng)不同畫(huà)面質(zhì)量、存儲(chǔ)容量和帶寬的要求。它與MPEG-1兼容的基礎(chǔ)上實(shí)現(xiàn)了低碼率和多聲道擴(kuò)展：MPEG-2可以將一部120分鐘長(zhǎng)的電影壓縮到4～8GB(DVD質(zhì)量)，其音頻編碼可提供左右中及兩個(gè)環(huán)繞聲道、一個(gè)加重低音聲道和多達(dá)7個(gè)伴音聲道。第一百一十一頁(yè)，共一百六十頁(yè)，2022年，8月28日

除了作為DVD的指定標(biāo)準(zhǔn)外，MPEG-2還可用于為廣播、有線電視網(wǎng)、電纜網(wǎng)絡(luò)等提供廣播級(jí)的數(shù)字視頻。不過(guò)對(duì)普通用戶來(lái)說(shuō)，由于現(xiàn)在電視機(jī)分辨率的限制，MPEG-2所帶來(lái)的高清晰度畫(huà)面質(zhì)量(如DVD畫(huà)面)在電視上效果并不明顯，倒是其音頻特性(如加重低音、多伴音聲道等)得到了廣泛的應(yīng)用。

MPEG-2Video定義了不同的功能檔次(Profiles)每個(gè)檔次又分為幾個(gè)等級(jí)(Levels)，一個(gè)等級(jí)為N的解碼器能夠?qū)ψ罡邽樵摰燃?jí)的數(shù)碼流解碼。

第一百一十二頁(yè)，共一百六十頁(yè)，2022年，8月28日5個(gè)檔次簡(jiǎn)單型（Simple）基本型（Main）信噪比可調(diào)型（SNRScalable）空間可調(diào)型（SpatialScalable）增強(qiáng)型（High）第一百一十三頁(yè)，共一百六十頁(yè)，2022年，8月28日4個(gè)等級(jí)低級(jí)（Low）35228830，它面向VCR并與MPEG-1兼容；基本級(jí)（Main）72046030或72057625，它面向視頻廣播信號(hào)；高1440級(jí)（High-1440）1440108030或1440115225，它面向HDTV；高級(jí)（High）1920108030或1920115225，它面向HDTV。

第一百一十四頁(yè)，共一百六十頁(yè)，2022年，8月28日11種規(guī)范高級(jí)的基本型MP@HL高級(jí)的增強(qiáng)型HP@HL高-1440級(jí)的基本型MP@H1440高-1440級(jí)的空間可調(diào)型SSP@H1440高-1440級(jí)的的增強(qiáng)型HP@H1440基本級(jí)的簡(jiǎn)單型SP@ML基本級(jí)基本型MP@ML基本級(jí)的信噪比可調(diào)型SNP@ML基本級(jí)的增強(qiáng)型HP@ML低級(jí)的基本型MP@LL低級(jí)的信噪比可調(diào)型SNP@LL第一百一十五頁(yè)，共一百六十頁(yè)，2022年，8月28日MPEG-2音頻基本特性之一是向后與MPEG-1音頻兼容?？梢允?.1也可以是7.1通道的環(huán)繞立體聲。5.1也稱為“3/2-立體聲加LFE”，其含義是播音現(xiàn)場(chǎng)前面可有3個(gè)喇叭通道(左、中、右)，后面可有2個(gè)環(huán)繞聲喇叭通道。LFE是低頻音效的加強(qiáng)通道。7.1通道環(huán)繞立體聲與5.1類似，它另有中左、中右2個(gè)喇叭通道。第一百一十六頁(yè)，共一百六十頁(yè)，2022年，8月28日MPEG-2編碼方法

MPEG-2的編碼方法和MPEG-1區(qū)別主要是在隔行掃描制式下，DCT變換是在場(chǎng)內(nèi)還是在幀內(nèi)進(jìn)行由用戶自行選擇，亦可自適應(yīng)選擇。一般情況下，對(duì)細(xì)節(jié)多、運(yùn)動(dòng)部分少的圖像在幀內(nèi)進(jìn)行DCT，而細(xì)節(jié)少、運(yùn)動(dòng)分量多的圖像在場(chǎng)內(nèi)進(jìn)行DCT。MPEG-2采用可調(diào)型和非可調(diào)型兩種編碼結(jié)構(gòu)。還可以使用一個(gè)基本層加上多個(gè)增強(qiáng)型的多層編碼結(jié)構(gòu)，這由用戶按質(zhì)量和壓縮比要求選擇使用.第一百一十七頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.23MPEG-2亮度宏塊結(jié)構(gòu)第一百一十八頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.24空間可調(diào)型MPEG-2編碼器原理框圖第一百一十九頁(yè)，共一百六十頁(yè)，2022年，8月28日2.4.6MPEG-4標(biāo)準(zhǔn)國(guó)際標(biāo)準(zhǔn)MPEG-4“甚低速率視聽(tīng)編碼”于1998年11月公布，它針對(duì)低速率下的視頻、音頻編碼，更加注重多媒體系統(tǒng)的交互性和靈活性。MPEG-4引入了AV對(duì)象(AVO)，使得更多的交互操作成為可能：“AV對(duì)象”可以是一個(gè)孤立的人，也可以是這個(gè)人的語(yǔ)音或一段背景音樂(lè)等。MPEG-4對(duì)AV對(duì)象的操作主要有：

采用AV對(duì)象來(lái)表示聽(tīng)覺(jué)、視覺(jué)或者視聽(tīng)組合內(nèi)容；組合已有AV對(duì)象來(lái)生成復(fù)合的AV對(duì)象，并生成AV場(chǎng)景；對(duì)AV對(duì)象的數(shù)據(jù)靈活地多路合成與同步，以便選擇合適的網(wǎng)絡(luò)來(lái)傳輸這些AV對(duì)象數(shù)據(jù)；允許接收端用戶在AV場(chǎng)景中對(duì)AV對(duì)象進(jìn)行交互操作等。第一百二十頁(yè)，共一百六十頁(yè)，2022年，8月28日

MPEG-4標(biāo)準(zhǔn)主要構(gòu)成部分：(1)傳輸多媒體集成框架(DMIF)。主要用于解決交互網(wǎng)絡(luò)中、廣播環(huán)境下以及光盤應(yīng)用中多媒體應(yīng)用的操作問(wèn)題。它是MPEG-4制訂的會(huì)話協(xié)議，用來(lái)管理多媒體數(shù)據(jù)流。通過(guò)傳輸多路合成比特信息來(lái)建立客戶端和服務(wù)器端的連接與傳輸。(2)場(chǎng)景描述。場(chǎng)景聲音視頻對(duì)象間的關(guān)系的描述體現(xiàn)在兩個(gè)層次：BIFS描述場(chǎng)景中對(duì)象的空間時(shí)間安排，觀察者可以有與這些對(duì)象交互的可能性；在較低的層次上，對(duì)象描述子定義針對(duì)每個(gè)對(duì)象的基本流的關(guān)系，并提供諸如訪問(wèn)基本流需要的URL地址、譯碼器的特性、知識(shí)產(chǎn)權(quán)等其他信息。第一百二十一頁(yè)，共一百六十頁(yè)，2022年，8月28日

MPEG-4具備與Web3DX3D和W3CSMIL的互操作性。XMT格式可在SMIL播放器、VRML和MPEG-4播放器間互換。(3)音頻編碼。MPEG-4不僅支持自然聲音，而且支持合成聲音。MPEG-4的音頻部分將音頻的合成編碼和自然聲音的編碼相結(jié)合，并支持音頻的對(duì)象特征。支持MIDI和TTS.(4)視頻編碼。MPEG-4也支持對(duì)自然和合成的視覺(jué)對(duì)象的編碼。合成的視覺(jué)對(duì)象包括2D、3D動(dòng)畫(huà)和人面部表情動(dòng)畫(huà)等。(5)緩沖區(qū)管理和實(shí)時(shí)解碼。MPEG-4定義了一個(gè)系統(tǒng)解碼模式(SDM)，該解碼模式描述了一種理想的處理比特流句法語(yǔ)義的解碼裝置，它要求特殊的緩沖區(qū)和實(shí)時(shí)模式。通過(guò)有效地管理，可以更好地利用有限的緩沖區(qū)空間。第一百二十二頁(yè)，共一百六十頁(yè)，2022年，8月28日

與MPEG-1和2相比，MPEG-4更適于交互AV服務(wù)以及遠(yuǎn)程監(jiān)控，其設(shè)計(jì)目標(biāo)使它具有更廣的適應(yīng)性和可擴(kuò)展性：MPEG-4傳輸速率可在4.8-64kbps之間，分辨率為176×144，可以利用很窄的帶寬通過(guò)幀重建技術(shù)壓縮和傳輸數(shù)據(jù)。它將應(yīng)用在數(shù)字電視、動(dòng)態(tài)圖像、互聯(lián)網(wǎng)、實(shí)時(shí)多媒體監(jiān)控、移動(dòng)多媒體通信、Internet/Intranet上的視頻流與可視游戲、DVD上的交互多媒體等方面。MPEG-4用MPEG-4壓縮算法的ASF可以將120分鐘的電影壓縮為300MB左右的視頻流；采用MPEG-4壓縮算法的DIVX編碼技術(shù)可以將120分鐘的電影壓縮600MB左右，也可以將一部DVD影片壓縮到2張CD-ROM上.第一百二十三頁(yè)，共一百六十頁(yè)，2022年，8月28日

MPEG-4屬于一種高比率有損壓縮算法，其圖像質(zhì)量始終無(wú)法和DVD的MPEG-2相比，畢竟DVD的存儲(chǔ)容量較大。要想保證高速運(yùn)動(dòng)的圖像畫(huà)面不失真，必須有足夠的碼率，目前MPEG-4的碼率雖然可以調(diào)到和DVD差不多，但總體效果還有不小的差距。因此，對(duì)圖像質(zhì)量要求較高的專業(yè)視頻領(lǐng)域暫時(shí)還不能采用。第一百二十四頁(yè)，共一百六十頁(yè)，2022年，8月28日

圖2.25MPEG-4視頻編碼器的算法方框圖第一百二十五頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.26MPEG-4終端的構(gòu)成(接收端)第一百二十六頁(yè)，共一百六十頁(yè)，2022年，8月28日背景全景圖+視頻對(duì)象(VO)=合成圖像圖2.27MPEG-4應(yīng)用實(shí)例第一百二十七頁(yè)，共一百六十頁(yè)，2022年，8月28日2.5

視聽(tīng)通信編碼解碼標(biāo)準(zhǔn)H.26X

第一百二十八頁(yè)，共一百六十頁(yè)，2022年，8月28日2.5.1H.261方案ITU推薦的H.261方案標(biāo)題“64kbps視聲服務(wù)用視象編碼方式”，又稱為P×64kbps視頻編碼標(biāo)準(zhǔn)。P取值范圍為1-30。P=1或2時(shí)，僅能支持QCIF(176×144)分辨率格式，每秒幀數(shù)較低的可視電話；當(dāng)P≥6時(shí)，則可支持圖像分辨率格式為CIF(352×288)的電視會(huì)議。第一百二十九頁(yè)，共一百六十頁(yè)，2022年，8月28日2.5.2P×64kbps視頻壓縮編碼算法P×64kbps壓縮算法采用基于DCT的變換編碼和帶有運(yùn)動(dòng)預(yù)測(cè)的DPCM預(yù)測(cè)編碼的混合方法。P×64kbps標(biāo)準(zhǔn)的壓縮算法與MPEG-1標(biāo)準(zhǔn)有許多共同之處，只是傳輸速率P×64kbps覆蓋較寬的信道頻帶，而MPEG-1是基于較窄的頻帶上傳輸。

第一百三十頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.28H.261編碼器第一百三十一頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.29利用CIF的優(yōu)點(diǎn)第一百三十二頁(yè)，共一百六十頁(yè)，2022年，8月28日2.5.3視頻層次數(shù)據(jù)結(jié)構(gòu)

P×64kbps標(biāo)準(zhǔn)采用層次塊的視頻數(shù)據(jù)結(jié)構(gòu)形式，使高壓縮視頻編碼算法得以實(shí)現(xiàn)。P×64kbps標(biāo)準(zhǔn)的視頻編碼定義一個(gè)視頻數(shù)據(jù)結(jié)構(gòu)CIF保證解碼器對(duì)接收到的比特流進(jìn)行沒(méi)有二義性的正確解碼。利用CIF格式，可使不同制式的各國(guó)電視信號(hào)變換為統(tǒng)一的中間格式，然后輸入給編碼器，從而使編碼器本身不必意識(shí)信號(hào)是來(lái)自哪種制式的。H.261標(biāo)準(zhǔn)適合各種各樣實(shí)時(shí)視覺(jué)應(yīng)用，如位率不同(P不同)，運(yùn)動(dòng)效果和圖像質(zhì)量不同，位率提高、畫(huà)面質(zhì)量改善。第一百三十三頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.30視頻數(shù)據(jù)結(jié)構(gòu)圖圖像頭QCIF幀圖塊組1塊組2塊組3塊組1頭宏塊1宏塊2宏塊33宏塊1頭亮度塊1亮度塊4色度塊1色度塊2DCT系數(shù)……DCT系數(shù)塊結(jié)束…第一百三十四頁(yè)，共一百六十頁(yè)，2022年，8月28日?qǐng)D2.31圖像數(shù)據(jù)層次結(jié)構(gòu)123456789101112135幀QCIF123456789101112131415161718192021222324252627282930313233塊組123456宏塊8CIF塊8第一百三十五頁(yè)，共一百六十頁(yè)，2022年，8月28日

為了適應(yīng)B-