運(yùn)動(dòng)圖像壓縮標(biāo)準(zhǔn)

1、運(yùn)動(dòng)圖像壓縮標(biāo)準(zhǔn)113.1電視圖象數(shù)據(jù)率ITU-R BT.601標(biāo)準(zhǔn)數(shù)據(jù)率 在PAL、NTSC和SECAM彩色電視制之間確定一個(gè)共同的數(shù)字化參數(shù)使用4:2:2的采樣格式，亮度信號Y的采樣頻率選擇為13.5 MHz/s，而色差信號Cr和Cb的采樣頻率選擇為6.75 MHz/s 210.1電視圖象數(shù)據(jù)率亮度(Y): 858樣本/行525行/幀30幀/秒10比特/樣本 = 135兆比特/秒(NTSC)864樣本/行625行/幀25幀/秒10比特/樣本 = 135兆比特/秒(PAL)Cr (R-Y):429樣本/行525行/幀30幀/秒10比特/樣本 = 68兆比特/秒(NTSC)429樣本/行625

2、行/幀25幀/秒10比特/樣本 = 68兆比特/秒(PAL)Cb (B-Y):429樣本/行525行/幀30幀/秒10比特/樣本 = 68兆比特/秒(NTSC)429樣本/行625行/幀25幀/秒10比特/樣本 = 68兆比特/秒(PAL)總計(jì): 27兆樣本/秒10比特/樣本 = 270兆比特/秒310.1電視圖象數(shù)據(jù)率如屏幕分辨率為720 x480，子采樣是4:1:1則亮度(Y): 7204803010= 104 Mb/s (NTSC)7205762510 = 104 Mb/s (PAL)色差(Cr，Cb)23602403010= 52 Mb/s (NTSC)23602882510 =52

3、Mb/s (PAL)總計(jì): 156 Mb/s如果每個(gè)樣本的采樣精度由10比特降為8比特，彩色數(shù)字電視信號的數(shù)據(jù)傳輸率就降為125 Mb/s。4VCD數(shù)據(jù)率估算Video-CD存儲(chǔ)器來存儲(chǔ)數(shù)字電視，數(shù)據(jù)傳輸率可達(dá)到1.4112 Mb/s，其中電視信號的數(shù)據(jù)傳輸率為1.15 Mb/s如果存儲(chǔ)125Mb/s的數(shù)字電視信號就需要對它進(jìn)行高度壓縮，壓縮比高達(dá)125/1.15 = 109:1把NTSC和PAL數(shù)字電視轉(zhuǎn)換成公用中分辨率格式CIF的數(shù)字電視，相當(dāng)于VHS(Video Home System)的質(zhì)量：3522403081.5= 30 Mb/s (NTSC)3522882581.5 = 30 M

4、b/s (PAL)。彩色電視信號存儲(chǔ)到CD盤上所需要的壓縮比為：30/1.15 = 26:1。是MPEG-1技術(shù)所能獲得的壓縮比。 5DVD數(shù)據(jù)率估算電視圖像的數(shù)據(jù)率壓縮成平均為3.5 Mb/s 4.7 Mb/s時(shí)非專家難于區(qū)分電視圖像在壓縮前后的之間差別。按照數(shù)字電視信號的平均數(shù)據(jù)傳輸率為4.1 Mb/s來計(jì)算，壓縮比要達(dá)到：125/4.10=31:1 610.2數(shù)據(jù)壓縮算法7視頻壓縮基本方法 在空間方向上，圖像數(shù)據(jù)壓縮采用JPEG(Joint Photographic Experts Group)壓縮算法來去掉冗余信息。 在時(shí)間方向上，圖像數(shù)據(jù)壓縮采用移動(dòng)補(bǔ)償(motion compens

5、ation)算法來去掉冗余信息。 8圖象分類幀內(nèi)圖像I，預(yù)測圖像P和雙向預(yù)測圖像B9幀內(nèi)圖象壓縮10I圖象壓縮基本過程如果電視圖像是用RGB空間表示的，則首先把它轉(zhuǎn)換成YCrCb空間表示的圖像。每個(gè)圖像平面分成88的圖塊，對每個(gè)圖塊進(jìn)行離散余弦變換DCT(discrete Cosine Transform)。DCT變換后經(jīng)過量化的交流分量系數(shù)按照Zig-zag的形狀排序，然后再使用無損壓縮技術(shù)進(jìn)行編碼。DCT變換后經(jīng)過量化的直流分量系數(shù)用差分脈沖編碼DPCM(Differential Pulse Code Modulation)，交流分量系數(shù)用行程長度編碼RLE(run-length enco

6、ding)，然后再用霍夫曼(Huffman)編碼或者用算術(shù)編碼。 11預(yù)測圖像P的壓縮編碼算法 預(yù)測圖像的編碼也是以圖像宏塊(macroblock)為基本編碼單元，一個(gè)宏塊定義為IJ像素的圖像塊，一般取1616。預(yù)測圖像P使用兩種類型的參數(shù)來表示：一種參數(shù)是當(dāng)前要編碼的圖像宏塊與參考圖像的宏塊之間的差值，另一種參數(shù)是宏塊的移動(dòng)矢量。 12預(yù)測圖象P13預(yù)測圖象編碼假設(shè)編碼圖像宏塊MPI是參考圖像宏塊MRJ的最佳匹配塊，它們的差值就是這兩個(gè)宏塊中相應(yīng)像素值之差。對所求得的差值進(jìn)行彩色空間轉(zhuǎn)換，并作4:1:1的子采樣得到Y(jié)，Cr和Cb分量值，然后仿照J(rèn)PEG壓縮算法對差值進(jìn)行編碼，計(jì)算出的移動(dòng)矢量

7、也要進(jìn)行霍夫曼編碼。 14預(yù)測圖象原理圖15移動(dòng)矢量計(jì)算16差值最小判斷絕對值最?。壕秸`差最?。浩骄^對幀差最?。?7二維對數(shù)搜索法 18三步搜索法19對偶搜索法 20MPEG-2的配置和等級 信噪比可變性(Signal-to-Noise Scalability)圖像質(zhì)量的折中，對于數(shù)據(jù)率比較低的解碼器使用比較低的信噪比，而對數(shù)據(jù)率比較高的解碼器則使用比較高的信噪比 空間分辨率可變性(Spatial Scalability)圖像的空間分辨率的折中，對于低速率的接受器使用比較低的圖像分辨率，而對于數(shù)據(jù)率比較高的接受器使用比較高的圖像分辨率 時(shí)間分辨率可變性(Temporal Scalabili

8、ty) 圖像在時(shí)間方向上分辨率的折中 21MPEG-2的配置配置(Profile)算法(Algorithms)High(高檔)支持由空間分辨率可變配置(Spatial Scalable Profile)提供的所有功能和其他規(guī)定功能子采樣格式：YUV 4:2:2 用于進(jìn)一步提高圖像質(zhì)量Spatial scalable(空間分辨率)支持信噪比可變配置(SNR Scalable Profile)提供的所有功能和空間分辨率可變(Spatial scalable coding)算法(2層)。子采樣格式：YUV：4:2:0SNR scalable(信噪比可變)支持基本配置(Main Profile)提供的

9、所有功能和信噪比可變編碼(SNR scalable coding)算法(2層) 子采樣格式：YUV：4:2:0Main (基本)非可變速率編碼算法支持隨機(jī)存取，B圖像預(yù)測方式 子采樣格式：YUV：4:2:0Simple(簡化)除不支持基本配置(Main Profile)提供的B圖像預(yù)測功能外，基本配置的其他所有功能都支持 子采樣格式：YUV：4:2:022MPEG-2的等級 23MPEG-2的等級24MPEG-2配置與等級25MPEG-2配置與等級26MPEG-4編碼標(biāo)準(zhǔn)MPEG-4 Video編碼算法支持由MPEG-1和MPEG-2提供的所有功能，包括對各種輸入格式下的標(biāo)準(zhǔn)矩形圖像、幀速率、

10、位速率和隔行掃描圖像源的支持。MPEG-4 Video算法的核心是支持內(nèi)容基(content-based)的編碼和解碼功能，也就是對場景中使用分割算法抽取的單獨(dú)的物理對象進(jìn)行編碼和解碼。實(shí)現(xiàn)預(yù)想的內(nèi)容基交互等功能，MPEG-4 Video驗(yàn)證模型引進(jìn)了一個(gè)叫做“電視圖像對象區(qū)(Video Object Plane，VOP)”的概念 。 27電視圖像對象區(qū)28電視圖象對象區(qū)編碼器輸入的是任意形狀的圖像區(qū)，圖像區(qū)的形狀和位置也可隨幀的變化而改變。屬于相同物理對象的連續(xù)的電視圖像對象區(qū)(VOP)組成電視圖像對象(Video Objects，VO)。MPEG-4可單獨(dú)對屬于相同電視圖像對象(VO)的電

11、視圖像區(qū)(VOP)的形狀、移動(dòng)(motion)和紋理(texture)信息進(jìn)編碼和傳送，或者把它們編碼成一個(gè)單獨(dú)的電視圖像對象層(Video Object Layer，VOL)。 電視圖像對象層(VOL)的信息也包含在編碼后的位流(bitstream)中，信息包括各種電視圖像對象層(VOL)的電視圖像在接收端應(yīng)該如何進(jìn)行組合，以便重構(gòu)完整的原始圖像序列。MPEG-4采用內(nèi)容基編碼方法的重要優(yōu)點(diǎn)是，使用合適的和專門的對象基移動(dòng)預(yù)測工具(object-based motion prediction tools)可以明顯提高場景中電視圖像對象的壓縮效率。 29電視圖像編碼方案 MPEG-4 Vide

12、o驗(yàn)證模型對每個(gè)電視圖像對象(VO)的形狀、移動(dòng)和紋理信息進(jìn)行編碼形成單獨(dú)的VOL層，以便能夠單獨(dú)對電視圖像對象(VO)進(jìn)行解碼。如果輸入圖像序列只包含標(biāo)準(zhǔn)的矩形圖像，就不需要形狀編碼，在這種情況下，MPEG-4 Video使用的編碼算法結(jié)構(gòu)也就與MPEG-1和MPEG-2使用的算法結(jié)構(gòu)相同。 MPEG-4 Video驗(yàn)證模型對每個(gè)電視圖像對象區(qū)(VOP)進(jìn)行編碼使用的壓縮算法是在MPEG-1和MPEG-2 Video標(biāo)準(zhǔn)的基礎(chǔ)上開發(fā)的，它也是以圖像塊為基礎(chǔ)的混合DPCM和變換編碼技術(shù)(hybrid DPCM/Transform coding)。 MPEG-4編碼算法也定義了幀內(nèi)電視圖像對象區(qū)

13、(I-VOP)編碼方式和幀間電視圖像對象區(qū)預(yù)測(P-VOP)編碼方式，它也支持雙向預(yù)測電視圖像對象區(qū)(B-VOP)方式。在對電視圖像對象區(qū)(VOP)的形狀編碼之后，顏色圖像序列分割成宏塊進(jìn)行編碼 30I-VOP和P-VOP編碼方式和宏塊結(jié)構(gòu) 31MPEG-4 Video編碼器的算法 32MPEG-4電視序列編碼舉例 33電視圖像分辨率可變編碼 電視圖象分辨率空間分辨率是指一幀圖像包含的行數(shù)與每行顯示的像素?cái)?shù)之乘積時(shí)間分辨率是指每秒種顯示或者傳輸?shù)膱D像幀數(shù)?？勺兙幋a目的設(shè)置電視圖像分辨率可變編碼功能的一個(gè)重要目的是為了能夠靈活支持性能不同(例如不同帶寬)的各種電視接收或顯示設(shè)備，或者支持要求瀏覽

14、電視數(shù)據(jù)庫等方面的應(yīng)用。另一個(gè)目的是提供分層次的電視圖像數(shù)據(jù)位流，這樣可按應(yīng)用所要求的先后次序進(jìn)行傳輸。 34圖象可變編碼MPEG-2也有電視圖像分辨率可變編碼功能，但它是以圖像的幀為基礎(chǔ)進(jìn)行編碼。MPEG-4電視圖像分辨率可變編碼是以任意形狀的電視圖像對象區(qū)(VOP)為基礎(chǔ)進(jìn)行編碼。 35圖象分辨率可變舉例36HDTV格式37HDTV格式垂直方向行數(shù) 水平方向像素長寬比圖像速率1035192016:960I* 30P* 24P*720128016:960P 30P 24P48070416:9和4:360I 60P 30P 24P4806404:360I 60P 30P 24P* I表示隔行掃

15、描；P表示非隔行掃描* HDTV的長寬比為16:9； NTSC, PAL和SECAM為4:3* 支持整數(shù)和非整數(shù)幀速率(60.00, 59.94；30.00, 29.97；24.00, 23.98)38 可伸縮視頻編碼前面介紹的編碼技術(shù)的目的都是以最佳的編碼效率產(chǎn)生恒定比特率碼流。具體來說，就是在可接受的視頻質(zhì)量前提下，使編碼器產(chǎn)生最少的碼流信息；或者說，在固定碼流輸出條件下，得到最佳的視頻編碼質(zhì)量。但是，當(dāng)很多個(gè)用戶試圖通過不同帶寬的網(wǎng)絡(luò)同時(shí)訪問同一個(gè)視頻時(shí)，想要獲得相同質(zhì)量的視頻內(nèi)容就很困難了。例如，用戶A和用戶B分別以1.5 Mb/s帶寬和56kb/s帶寬接入到視頻服務(wù)器，他們同時(shí)點(diǎn)播下

16、載一個(gè)以1.5 Mb/s編碼的MPEG-1視頻，結(jié)果用戶A可以實(shí)時(shí)地接收并播放該視頻，用戶B卻由于帶寬不足而不能得到足夠比特來進(jìn)行實(shí)時(shí)播放。 39 為了使得用戶A和B都能實(shí)時(shí)播放視頻，需要對視頻序列進(jìn)行可伸縮視頻編碼(ScalableVideoCoding，SVC)。 可伸縮視頻編碼是指對視頻序列分級別進(jìn)行編碼，解碼器可以根據(jù)接收的碼流級別進(jìn)行相應(yīng)解碼，得到不同質(zhì)量的視頻內(nèi)容。在前面的例子中，如果MPEG-1視頻是可伸縮的，則用戶A可以得到全部碼流信息，播放高質(zhì)量的視頻，用戶B也可以接收部分碼流，播放低質(zhì)量的視頻。40 可伸縮視頻編碼的方法包括空域可伸縮編碼、時(shí)域可伸縮編碼、質(zhì)量(信噪比)可伸

17、縮編碼、頻率可伸縮編碼、精細(xì)顆粒度的可伸縮編碼和基于小波變換的可伸縮編碼等?？缮炜s編碼的碼流為視頻序列提供一個(gè)基本層和一個(gè)或多個(gè)增強(qiáng)層。解碼器接收到碼流后，可以由基本層重建基本圖像質(zhì)量，由基本層和增強(qiáng)層重建較好的圖象質(zhì)量，這樣用戶可以根據(jù)不同的應(yīng)用環(huán)境和不同的需求來進(jìn)行解碼。41 即使增強(qiáng)層的碼流發(fā)生誤碼或者丟失，解碼器也能夠恢復(fù)一定質(zhì)量的圖像內(nèi)容?？梢哉f，可伸縮視頻編碼解決了網(wǎng)絡(luò)和終端異構(gòu)的問題，為任何人在何時(shí)何地采用何種設(shè)備通過何種方式獲取視頻提供了可操作性。因此，許多視頻編碼國際標(biāo)準(zhǔn)如MPEG-2、MPEG-4、H.263和H.264等都采用了可伸縮視頻編碼方法。421. 空域可伸縮視頻

18、編碼空域可伸縮編碼是指將一個(gè)視頻序列中的每一個(gè)視頻幀都編碼成多個(gè)不同空間分辨率的輸出碼流，其基本層由最低分辨率的碼流構(gòu)成，增強(qiáng)層由分辨率比基本層高的碼流構(gòu)成。解碼器接收到基本層后可以恢復(fù)出基本的視頻內(nèi)容，而接收到增強(qiáng)層后可以恢復(fù)出較好質(zhì)量的視頻內(nèi)容，增強(qiáng)層越多，空間分辨率越高，恢復(fù)的視頻質(zhì)量越好。43442 時(shí)域可伸縮視頻編碼1)基于幀的時(shí)域可伸縮視頻編碼時(shí)域可伸縮視頻編碼可以通過改變時(shí)間分辨率或幀率的方式來得到不同比特率的碼流?；緦拥膸首畹?，隨著增強(qiáng)層的增多，幀率也越來越高，最后達(dá)到與原始視頻相同的幀率?；趲臅r(shí)域可伸縮編/解碼器的示意圖和空域可伸縮編/解碼器一樣，只是空域可伸縮編/解

19、碼器使用空域下采樣和上采樣，而時(shí)域可伸縮編/解碼器使用時(shí)域下采樣和上采樣。進(jìn)行時(shí)域下采樣最簡單的方法是跳幀，如只選用奇數(shù)幀而丟棄偶數(shù)幀。進(jìn)行時(shí)域上采樣最簡單的方法是幀復(fù)制，如偶數(shù)幀都選用它前面相鄰的奇數(shù)幀。這樣，不同層的視頻序列具有不同的幀率。452.)基于物體的時(shí)域可伸縮視頻編碼基于幀的時(shí)域可伸縮視頻編碼是對原始視頻序列以整幀的方式進(jìn)行時(shí)域下采樣和上采樣。MPEG-4標(biāo)準(zhǔn)為了能夠適應(yīng)具有任意形狀的VOP編碼，采用基于物體的時(shí)域可伸縮編碼(Object-BasedTemporalScalability，OTS)。OTS不是對整個(gè)幀而是對被選擇的物體進(jìn)行下采樣和上采樣，這樣該物體的幀率要比其他區(qū)

20、域高，可以得到更加平滑的運(yùn)動(dòng)效果。4647483) 質(zhì)量可伸縮視頻編碼在編碼過程中，視頻序列需要經(jīng)過DCT變換、量化和熵編碼后發(fā)送到信道進(jìn)行傳輸。在量化過程中若量化步長不同，則恢復(fù)的視頻質(zhì)量也不同。量化步長大即粗量化，恢復(fù)的視頻質(zhì)量差，峰值信噪比PSNR?。涣炕介L小即細(xì)量化，恢復(fù)的視頻質(zhì)量好，PSNR大，不過壓縮后比特?cái)?shù)多。根據(jù)量化步長不同、恢復(fù)的視頻質(zhì)量不同，可以采用質(zhì)量可伸縮視頻編碼，也稱為SNR可伸縮視頻編碼。49504) 頻率可伸縮視頻編碼圖像具有不同頻率的分量：低頻分量反映圖像的輪廓，是圖像信號主要能量的反映；高頻分量則反映圖像的細(xì)節(jié)內(nèi)容，高頻分量越多，重建圖像就越清晰。頻率可伸縮編碼就是將圖像按照不同的頻率分量進(jìn)行編碼。基本層到增強(qiáng)層包含從低頻到高頻不同的頻率分量?；緦犹峁﹫D像的大體概貌，加上各增強(qiáng)層將產(chǎn)生逐漸清晰的圖像。頻率可伸縮編碼可以采用整幀變換如子帶變換和小波變換，也可以采用基于塊的變換。MPEG-2標(biāo)準(zhǔn)中的數(shù)據(jù)分割就是基于塊的變換，其基本層包括模式信息、運(yùn)動(dòng)信息和各個(gè)宏塊的前幾個(gè)DCT系數(shù)，增強(qiáng)層包括其余的DCT系數(shù)。515) 精細(xì)顆粒度的可伸縮視頻編碼前面描述的可伸縮視頻編碼方法將視頻序列編碼為基本層和增強(qiáng)層碼流，可以在一定程度上滿足不同用戶接入同一視頻的需求。但是這些方法把視頻壓縮為一個(gè)或幾個(gè)固定碼率的碼流，不能適應(yīng)帶寬變化范圍大和碼率不固定的