第10章彩色數(shù)字電視基礎(chǔ)補(bǔ)充葛

第10章彩色數(shù)字電視基礎(chǔ)

（視頻和視頻編碼）本章節(jié)參考北京大學(xué)人機(jī)交互與媒體實(shí)驗(yàn)室的陳毅松老師講義，在此表示深深的謝意。葛慶平03年4月2023/2/11.視頻基本知識(shí)1.1什么是視頻（video）1.2視頻信號(hào)的時(shí)空特性1.3視頻信號(hào)的彩色空間1.4彩色電視信號(hào)的類型2023/2/1

1.1什么是視頻視頻(video)：隨時(shí)間變化其內(nèi)容的一組圖象(24,25,30幀/秒)，又叫運(yùn)動(dòng)圖象或活動(dòng)圖象(motionpicture)。常見視頻信號(hào)：電視，電影，動(dòng)畫等.視頻信號(hào)的特點(diǎn)：內(nèi)容隨時(shí)間而變化,伴隨有與畫面動(dòng)作同步的聲音(伴音),人類接受的信息70%來自視覺,其中活動(dòng)圖象是信息量最豐富、直觀、生動(dòng)、具體的一種承載信息的媒體。視頻信息的處理是多媒體技術(shù)的核心。電視電視是當(dāng)代最有影響力的信息傳播工具!3種彩色電視制式:NTSC制(正交平衡調(diào)幅制),美國(guó)、加拿大，臺(tái)灣、日本、韓國(guó)、菲律賓等采用PAL制(逐行倒相正交平衡調(diào)幅制),德國(guó)、英國(guó)，中國(guó)、朝鮮等采用SECAM制(順序傳送彩色與存儲(chǔ)制),法國(guó)、蘇聯(lián)及東歐國(guó)家采用.2023/2/1電視圖象攝取,傳輸和重現(xiàn)的過程攝象機(jī)攝取景物時(shí)，把自然景物的顏色分解為R、G、B3個(gè)分量;在彩電信號(hào)傳輸中，用Y、C1,C2彩色表示法分別表示亮度信號(hào)和兩個(gè)色差信號(hào)，C1，C2的含義與彩電的制式有關(guān)。電視接收機(jī)把Y、C1,C2信號(hào)重新轉(zhuǎn)換為R、G、B進(jìn)行顯示.拍攝圖像和播放圖像都采用“光柵掃描”(rasterscan)的原理。2023/2/1光柵掃描隔行掃描(電視圖象采用)奇數(shù)場(chǎng)偶數(shù)場(chǎng)一幀逐行掃描(計(jì)算機(jī)顯示圖象時(shí)采用)2023/2/11.3電視信號(hào)的彩色空間1在彩色電視中，用Y、C1,C2彩色表示法分別表示亮度（Luminance或Luma）信號(hào)和兩個(gè)色度（Chrominance或Chroma）信號(hào)，C1，C2的含義與具體的電視制色有關(guān):NTSC:C1，C2分別表示I、Q兩個(gè)色度信號(hào)；PAL:C1，C2分別表示U、V兩個(gè)色度信號(hào)；CCIR601數(shù)字電視:C1，C2分別表示Cr，Cb兩個(gè)色度信號(hào)。2023/2/1電視信號(hào)的彩色空間2YUV空間(PAL)亮度分量

Y=0.3*R+0.59*G+0.11*B色度分量

U=(B-Y)*0.493色度分量

V=(R-Y)*0.877YIQ空間(NTSC)亮度分量

Y=0.3*R+0.59*G+0.11*B色度分量I=0.6*R-0.28*G-0.32*B色度分量

Q=0.21*R-0.52*G+0.31*B(優(yōu)點(diǎn)：與黑白電視兼容；有利于壓縮信號(hào)帶寬)電視信號(hào)的彩色空間3YCrCb是國(guó)際通用的CCIR601數(shù)字電視信號(hào)中使用的彩色空間，它由YUV彩色空間經(jīng)過縮放和平移得到。Y值的額定范圍在16-235之間，Cr和Cb在16-240之間，具體的轉(zhuǎn)換公式如下：Y=(77/256)*R+(150/256)*G+(29/256)*BCr=(131/256)*R-(110/256)*G-(21/256)*B+128Cb=-(44/256)*R-(87/256)*G+(131/256)*B+1282023/2/1電視信號(hào)的彩色空間4使用Y、C1，C2彩色空間的優(yōu)點(diǎn)：①Y和C1，C2是獨(dú)立的，因此彩色電視和黑白電視都可以使用，Y分量可由黑白電視接收機(jī)直接使用而不需做任何進(jìn)一步的處理；②可以利用人的視覺特性來節(jié)省信號(hào)的帶寬和功率，通過選擇合適的顏色模型，可以使C1，C2的帶寬明顯低于Y的帶寬，而又不明顯影響彩色圖像的質(zhì)量。2023/2/1

1.4彩色電視信號(hào)的類型復(fù)合電視信號(hào)(compositevideosignal)：由亮度、色度信號(hào)及同步信號(hào)復(fù)合而成的單一信號(hào)，也稱為全電視信號(hào).復(fù)合電視信號(hào)適合于進(jìn)行遠(yuǎn)距傳輸，其質(zhì)量稱為VHS（家用級(jí))。彩色空間轉(zhuǎn)換RGB=>YUV圖象信號(hào)編碼信號(hào)復(fù)合RGBYUVCVBSVSyncHSync復(fù)合彩電信號(hào)（模擬電視信號(hào)的編碼）2023/2/1復(fù)合電視信號(hào)為便于電視信號(hào)遠(yuǎn)距傳輸，必須把三個(gè)分量信號(hào)以及同步信號(hào)復(fù)合成一個(gè)信號(hào)，然后才進(jìn)行傳輸。CVBS=Y+a*U*Sin(Wsc*t)+b*V*Cos(Wsc*t)

(Wsc為副載波頻率)伴音信號(hào)與視頻信號(hào)也復(fù)合在一起傳輸。亮度色度6MHz(NTSC)-1.00.01.02.03.04.0圖象載波聲音載波色度副載波音頻分量電視信號(hào)為保證視頻信號(hào)質(zhì)量，近距離時(shí)可用分量視頻信號(hào)(componentvideosignal)傳輸,分量信號(hào)是指每個(gè)基色分量(R,G,B或Y,U,V)作為獨(dú)立的電視信號(hào)傳輸。(Betacam，廣播級(jí)或?qū)I(yè)級(jí)).計(jì)算機(jī)輸出的視頻信號(hào)，即為分量形式的視頻信號(hào)。2023/2/1S-Video信號(hào)

S-Video是亮度(包含同步信號(hào))和色度(2個(gè)色度信號(hào)復(fù)合在一起)互相分離的一種電視信號(hào)，優(yōu)點(diǎn)：①減少亮度信號(hào)和色度信號(hào)之間的交叉干擾；②不需要使用梳狀濾波器來分離亮度信號(hào)和色度信號(hào)，這樣可提高亮度信號(hào)的帶寬。信號(hào)電平=1V阻抗=75ohms信號(hào)電平=0.3V阻抗=75ohms

S-Video使用單獨(dú)的兩條信號(hào)線分別傳輸亮度信號(hào)和色度信號(hào)，這兩個(gè)信號(hào)稱為Y/C信號(hào)。

S-Video使用4針連接器2023/2/1小結(jié)：視頻信號(hào)的形式模擬形式：模擬復(fù)合信號(hào)模擬分量信號(hào)模擬S-video信號(hào)數(shù)字形式：數(shù)字復(fù)合信號(hào)數(shù)字分量信號(hào)2023/2/12數(shù)字視頻2.1為什么使用數(shù)字視頻？2.2數(shù)字視頻的取樣格式2.3視頻信號(hào)的數(shù)字化2.1為什么使用數(shù)字視頻？易于編輯、修改等操作處理用戶接收的圖像質(zhì)量更好(可達(dá)演播室水平)有利于存儲(chǔ)，信息復(fù)制不會(huì)失真有利于傳輸(抗干擾能力強(qiáng))節(jié)省頻率資源(占用頻道較窄)可以通過公共電信網(wǎng)和計(jì)算機(jī)網(wǎng)傳輸可以與其它媒體組合使用可以生成標(biāo)題信息（bitsaboutbits）,便于信息的檢索和使用2.2數(shù)字視頻的取樣格式視頻信號(hào)數(shù)字化過程:(8-10bits)prefiltersamplingQPCM編碼數(shù)字視頻信息模擬視頻信號(hào)VUYUVYITU-RBT.601標(biāo)準(zhǔn)(CCIR601,美國(guó)稱為D1標(biāo)準(zhǔn))，對(duì)3種制式電視的取樣頻率和有效顯示分辨率都作了統(tǒng)一規(guī)定:亮度信號(hào)的取樣頻率fs均統(tǒng)一為13.5MHz，色度信號(hào)的取樣有多種格式.亮度信號(hào)的取樣頻率:13.5MHz色度信號(hào)的取樣人眼對(duì)顏色的敏感程度遠(yuǎn)不如對(duì)亮度信號(hào)那么靈敏，所以色度信號(hào)的取樣頻率可以比亮度信號(hào)的取樣頻率低，以減少數(shù)字視頻的數(shù)據(jù)量。色度信號(hào)的取樣頻率:4:4:4格式:與亮度信號(hào)取樣頻率一樣;3樣本/像素4:2:2格式:取亮度信號(hào)取樣頻率的一半;2樣本/像素4:1:1格式:取亮度信號(hào)取樣頻率的1/4;1.5樣本/像素4:2:0格式:取亮度信號(hào)取樣頻率的一半,但隔行處理;1.5樣本/像素2023/2/1色度信號(hào)的取樣格式4:4:44:2:04:2:24:1:1亮度信號(hào)色度信號(hào)H.261,H.263和MPEG-1的采樣格式色度信號(hào)格式為4:2:0每4個(gè)Y樣本有1個(gè)Cb樣本和一個(gè)Cr樣本如果每個(gè)分量的樣本的精度為8比特，則每個(gè)象素共需要12比特.2023/2/1

名稱

亮度(Y)色度(Cb,Cr)

(行數(shù)/幀)

(像素/行)(行數(shù)/幀)

(像素/行)CCIR601576720 576360CIF288 360 144 180QCIF144180 7290SQCIF96 128 4864亮度的取值范圍:16(黑)-235(白)色度的取值范圍:16-240幾種常用數(shù)字視頻信號(hào)的格式

(色度信號(hào)格式為4:2:2)(ITU-R601)2.3視頻信號(hào)的數(shù)字化視頻信號(hào)數(shù)字化有2種情況:模擬復(fù)合視頻信號(hào)的數(shù)字化復(fù)合的視頻信號(hào)，Y／C信號(hào)（S-video）模擬分量視頻信號(hào)的數(shù)字化.2023/2/1模擬復(fù)合視頻信號(hào)的數(shù)字化把復(fù)合視頻信號(hào)或Y／C信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換。例如使用8位A／D轉(zhuǎn)換器，得到8位數(shù)字化的值把亮度(Y)和2個(gè)色度(C)信號(hào)分開。分離后Y的數(shù)值范圍為4-200，仍包含同步和消隱信息；色度信號(hào)是經(jīng)調(diào)制的色度信號(hào)，取值范圍為0±82(NTSC)或0±87(PAL)。接收調(diào)制的數(shù)字色度信息，經(jīng)過解調(diào)，輸出基帶I,Q(NTSC)或U,V(PAL)色度信號(hào)，即恢復(fù)出NTSC或PAL制的色度信號(hào)按需要對(duì)對(duì)比度、亮度和飽和度進(jìn)行調(diào)節(jié)完成從YIQ或YUV顏色空間到RGB和YCrCb顏色空間的轉(zhuǎn)換模數(shù)轉(zhuǎn)換Y/C分離色度信號(hào)解調(diào)信號(hào)調(diào)節(jié)顏色空間轉(zhuǎn)換模擬復(fù)合視頻信號(hào)數(shù)字視頻信號(hào)2023/2/1MPEG-1視頻編碼與應(yīng)用2023/2/1信息技術(shù)標(biāo)準(zhǔn)化的意義可交換和互操作是信息的重要屬性之一，標(biāo)準(zhǔn)化是開放性和互操作性的重要前提；標(biāo)準(zhǔn)是產(chǎn)品和工程的依據(jù)，標(biāo)準(zhǔn)化就是國(guó)際化；標(biāo)準(zhǔn)的形成包括研究，實(shí)驗(yàn)，測(cè)試，競(jìng)爭(zhēng)，篩選和優(yōu)化等一系列環(huán)節(jié)，每一項(xiàng)技術(shù)標(biāo)準(zhǔn)都是長(zhǎng)期研究開發(fā)的成果，是工業(yè)界和科技界合作的成果;“標(biāo)準(zhǔn)”是概念、原理、方法、技術(shù)的概括和抽象，對(duì)教學(xué)和培訓(xùn)有重要的參考價(jià)值；成功的技術(shù)標(biāo)準(zhǔn)必須既滿足產(chǎn)品開發(fā)和應(yīng)用要求,又不限制革新和競(jìng)爭(zhēng)。2023/2/1標(biāo)準(zhǔn)的分類

(1)國(guó)際標(biāo)準(zhǔn)如國(guó)際標(biāo)準(zhǔn)化組織(ISO)、國(guó)際電工委員會(huì)(IEC)和國(guó)際電信聯(lián)盟(ITU)等制定的標(biāo)準(zhǔn)。(2)國(guó)家標(biāo)準(zhǔn)由各國(guó)國(guó)家標(biāo)準(zhǔn)委員會(huì)制定.如中國(guó)的GB,美國(guó)的ANSI,德國(guó)的DIN和日本的JIS等。(3)公共規(guī)范(PublicSpecifications)或地區(qū)標(biāo)準(zhǔn)由多家公司或一些地區(qū)性的聯(lián)合組織(Consortium)共同開發(fā)。如早期的網(wǎng)絡(luò)協(xié)議TCP/IP標(biāo)準(zhǔn)等。(4)企業(yè)(實(shí)用)標(biāo)準(zhǔn)(De-FactoStandard)它由一家公司開發(fā),并被市場(chǎng)接受,如MSWindows軟件標(biāo)準(zhǔn)。2023/2/1多媒體技術(shù)標(biāo)準(zhǔn)相關(guān)的國(guó)際組織IEC(InternationalElectrotechnicalSociety),IEC/TC100(音頻、視頻、多媒體系統(tǒng)與設(shè)備技術(shù)委員會(huì))ISO(InternationalStandardsOrganization),TC36電影攝影術(shù);TC42攝影術(shù);TC43聲學(xué);TC159人類工效學(xué)ITU(InternationalTelecommunicationsUnion,formerlyCCITT),ITU-R/

SG10音頻廣播服務(wù);SG11電視廣播服務(wù);ITU-T/SG1視聽/多媒體服務(wù);SG8視聽遠(yuǎn)距服務(wù)DAVIC

數(shù)字音頻視頻委員會(huì)等ISO/IEC的聯(lián)合技術(shù)委員會(huì)JTC1的分委會(huì)(SC)2023/2/1ISO/IEC

JTC1-SC29ISO/IECJTC1SC29工作小組WG1WG11WG12SGSGSG音頻視頻系統(tǒng)測(cè)試數(shù)字存儲(chǔ)媒體應(yīng)用操作環(huán)境JBIGJPEGMHEG3MHEG5咨詢小組(音頻、圖片、多媒體和超媒體信息編碼)2023/2/1ISO國(guó)際標(biāo)準(zhǔn)的制定過程工作組草案(WD)=>委員會(huì)草案(CD)=>國(guó)際標(biāo)準(zhǔn)草案(DIS)=>國(guó)際標(biāo)準(zhǔn)(IS)工作文件WD(WorkingDraft)：工作組WG(WorkingGroup)準(zhǔn)備的工作文件委員會(huì)草案CD(CommitteeDraft)：從WD提升上來的文件。這是ISO文檔的最初形式，它由ISO內(nèi)部正式調(diào)查研究和投票表決。國(guó)際標(biāo)準(zhǔn)草案DIS(DraftInternationalStandard)：成員國(guó)對(duì)CD的內(nèi)容和說明滿意之后由CD提升上來的文件。國(guó)際標(biāo)準(zhǔn)IS(InternationalStandard)：由成員國(guó)、ISO的其他部門和其他委員會(huì)投票通過之后出版發(fā)布的文件。2023/2/1關(guān)于視頻壓縮編碼標(biāo)準(zhǔn)MPEG2023/2/1運(yùn)動(dòng)圖像專家組MPEG

(MovingPictureExpertGroup)

ISO/IEC/JTC1/SC29的一個(gè)工作組WG11,1988年成立,目前有25個(gè)國(guó)家(團(tuán)體)的200多個(gè)公司300多名成員分10個(gè)組工作:

(l)Requirements．(MPEG4和MPEG7單列)(2)DSM．(DigitalStorageMedia)(3)Delivery (4)Systems(5)Video (6)Audio(7)SNHC(Synthetic-NaturalHybridCoding)(8)Test (9)Implementation(10)Liaison(聯(lián)絡(luò)) (*)HoD(HeadsofDelegations)2023/2/1MPEG標(biāo)準(zhǔn)MPEG-1標(biāo)準(zhǔn)(ISO/IEC11172).1992年發(fā)布。 用于1.5Mbps數(shù)據(jù)傳輸率的運(yùn)動(dòng)圖像及其伴音的編碼。主要應(yīng)用于VCD，MP3音樂等.MPEG-1在JPEG和H.261等優(yōu)秀標(biāo)準(zhǔn)的基礎(chǔ)上,對(duì)參加競(jìng)爭(zhēng)的14個(gè)方案,通過反復(fù)協(xié)調(diào)而得到統(tǒng)一,從而成為先進(jìn)、合理、質(zhì)量高、成本低的優(yōu)秀標(biāo)準(zhǔn).MPEG-1促進(jìn)了大規(guī)模集成電路專用芯片的發(fā)展,為多媒體技術(shù)和產(chǎn)品的繁榮立下了功勞。2023/2/1MPEG標(biāo)準(zhǔn)（續(xù)）MPEG-2標(biāo)準(zhǔn)(ISO/IEC13818).1994年發(fā)布。 主要針對(duì)高清晰度電視(HDTV)的視頻及伴音信號(hào)，典型傳輸速率為10Mbps，與MPEG-1兼容，適用于1.5Mbps～60Mbps甚至更高速率的編碼范圍。

2023/2/1MPEG標(biāo)準(zhǔn)（續(xù)）以MPEG-2作為視音頻壓縮標(biāo)準(zhǔn)的數(shù)字衛(wèi)星電視接收機(jī)已在歐美形成了很大市場(chǎng)，美國(guó)高級(jí)電視聯(lián)盟(ATVGrandAlliance)和歐洲數(shù)字視頻廣播計(jì)劃(DigitalVideoBroadcastProject)先后決定將MPEG-2用于高清晰度電視(HDTV)廣播中;新一代的數(shù)字視盤DVD采用MPEG-2作為其視音頻壓縮標(biāo)準(zhǔn)(注:歐、美、日在視頻方面采用MPEG-2標(biāo)準(zhǔn),而在音頻方面則采用AC-3標(biāo)準(zhǔn))。2023/2/1MPEG標(biāo)準(zhǔn)（續(xù)）MPEG-4標(biāo)準(zhǔn)(ISO/IECl4496). 1999年5月形成國(guó)際標(biāo)準(zhǔn)(版本1),是一種其于對(duì)象的視(音)頻編碼標(biāo)準(zhǔn),目標(biāo)是支持各種多媒體應(yīng)用(主要側(cè)重于對(duì)多媒體信息內(nèi)容的訪問)，可根據(jù)不同的應(yīng)用需求現(xiàn)場(chǎng)配置解碼器。2023/2/1MPEG標(biāo)準(zhǔn)（續(xù)）MPEG-7標(biāo)準(zhǔn)(ISO/IECl5938).

計(jì)劃2001年9月形成。它是“多媒體內(nèi)容描述接口”(MultimediaContentDescriptionInterface)的標(biāo)準(zhǔn),該標(biāo)準(zhǔn)將確定各種類型的多媒體信息的標(biāo)準(zhǔn)描述方法,可應(yīng)用于數(shù)字圖書館、各種多媒體目錄服務(wù)、廣播媒體的選擇，以及多媒體編輯等領(lǐng)域。2023/2/1MPEG標(biāo)準(zhǔn)（續(xù)）MPEG-21標(biāo)準(zhǔn).(MultimediaFramework) 多媒體框架標(biāo)準(zhǔn)適合于多種應(yīng)用領(lǐng)域中各種類型用戶對(duì)各種類型內(nèi)容的傳送和使用，可通過大范圍的網(wǎng)絡(luò)和設(shè)備允許對(duì)多媒體資源的透明和增強(qiáng)使用2023/2/1MPEG-1(ISO/IEC11172)2023/2/1MPEG-1Requirements(在大約1.5Mb/s數(shù)碼率的情況下,獲得質(zhì)量可接受的A/V信息;適合于CD-ROM,DAT,硬盤,可寫光盤等數(shù)字存儲(chǔ)介質(zhì);可在N-ISDN、LAN等通信網(wǎng)絡(luò)上傳輸)1randomaccess2fastforward/backwardsearch3reverseplayback4A/Vsynchronization5robustnesstoerrors6smallencoding/decodingdelay7editability8formatflexibility9costtradeoff2023/2/1MPEG-1的內(nèi)容ISO/IEC11172-1:

system－－audio,video,data等如何組織成一個(gè)復(fù)合的比特流;如何同步等.ISO/IEC11172-2:

video－－video信號(hào)的壓縮編碼ISO/IEC11172-3:

audio－－audio信號(hào)的壓縮編碼ISO/IEC11172-4:

Conformancetesting－－MPEG-1的一致性測(cè)試ISO/IEC11172-5:

Softwaresimulation－－MPEG-1軟件模擬2023/2/1視頻數(shù)據(jù)壓縮編碼的依據(jù)每一幀畫面內(nèi)部的信息有很強(qiáng)的相關(guān)性;相鄰畫面之間有高度的相容性;運(yùn)動(dòng)可以估測(cè)（MotionEstimation）;人眼的視覺特性有利于數(shù)據(jù)的壓縮.2023/2/1視頻壓縮可利用的各種信息冗余

種類內(nèi)容目前用的主要方法

統(tǒng)計(jì)特性(空間冗余)象素間的相關(guān)性

變換編碼，預(yù)測(cè)編碼

統(tǒng)計(jì)特性(時(shí)間冗余)時(shí)間方向上的相關(guān)性

幀間預(yù)測(cè)，運(yùn)動(dòng)補(bǔ)償

圖象構(gòu)造冗余圖象本身的構(gòu)造

輪廓編碼，區(qū)域分割

知識(shí)冗余收發(fā)兩端對(duì)景物的

基于知識(shí)的編碼 共有認(rèn)識(shí)視覺冗余人的視覺特性

非線性量化，位分配

其它不確定性因素

2023/2/1視頻壓縮編碼技術(shù)的分類(1)基于圖像信源統(tǒng)計(jì)特性的方法:預(yù)測(cè)編碼、變換編碼、矢量量化、子帶－小波編碼、神經(jīng)網(wǎng)絡(luò)編碼等。

(2)考慮人眼視覺特性的方法:基于方向?yàn)V波的圖像編碼法、基于圖像輪廓/紋理的編碼法。

(3)考慮圖像所傳遞景物特征的方法:分形編碼、基于模型的編碼等。

2023/2/1

信源模型 編碼技術(shù)1.單個(gè)像素顏色 PCM編碼2.像素塊顏色 ADPCM，變換編碼3.像素塊顏色和運(yùn)動(dòng) 帶運(yùn)動(dòng)補(bǔ)償?shù)腄PCM/DCT 混合編碼、小波編碼4.運(yùn)動(dòng)的結(jié)構(gòu) 分形編碼、輪廓/紋理編碼5.圖像中景物的形狀,運(yùn)動(dòng)和顏色分析/綜合編碼6.己知景物的形狀,運(yùn)動(dòng)和顏色 知識(shí)基編碼7.圖像中的行為單元 語義學(xué)編碼視頻壓縮編碼技術(shù)的分類（續(xù)）2023/2/1視頻壓縮編碼技術(shù)的評(píng)價(jià)準(zhǔn)則碼率(bitrate)重建圖像的質(zhì)量編碼/解碼延時(shí)錯(cuò)誤修復(fù)能力算法復(fù)雜程度2023/2/1MPEG-1視頻壓縮的基本方法①在空間域: 采用JPEG(JointPhotographicExpertsGroup)壓縮算法來去掉畫面內(nèi)部的冗余信息。②在時(shí)間域: 采用運(yùn)動(dòng)補(bǔ)償(motioncompensation)算法來去掉畫面之間的冗余信息。2023/2/1壓縮編碼與圖象重建總框圖預(yù)處理壓縮編碼存儲(chǔ)和/或傳輸解碼后處理數(shù)字視頻CCIR601顯示2023/2/1畫面的分類Intra-picture(I畫面) 不需要參考其它畫面而獨(dú)立進(jìn)行壓縮編碼的畫面;Predicted-picture(P畫面) 參考前面已編碼的I或P畫面進(jìn)行預(yù)測(cè)編碼的畫面;Bidirectional-picture(B畫面) 既參考前面的I或P畫面、又參考后面的I或P畫面進(jìn)行雙向預(yù)測(cè)編碼的畫面DCcoefficient-picture(D畫面) 僅使用畫面自身的DC系數(shù)進(jìn)行編碼,用作正/反向快速搜索.2023/2/1MPEG的畫面組(GOP)2023/2/1畫面的重新排序畫面的顯示順序是:BBIBBPBBPBI

012345678910

畫面的編碼順序是:IBBPBBPBBIB

2

01534867109 因此,每一個(gè)GOP中的畫面在編碼前和解碼后都必須重排序BBBPBBPBIB012345678910例IGOP(GroupofPictures)2023/2/1MPEG-1編碼器框圖調(diào)節(jié)器SIF格式的視頻畫面畫面重排運(yùn)動(dòng)估計(jì)DCTQVLCBufferMUXQ-1IDCT++畫面存儲(chǔ)及預(yù)測(cè)預(yù)測(cè)畫面運(yùn)動(dòng)矢量差分畫面視頻比特流q解碼的差分畫面I畫面獨(dú)立編碼,類似于JPEGP畫面和B畫面應(yīng)進(jìn)行運(yùn)動(dòng)估計(jì),求出1~2個(gè)運(yùn)動(dòng)矢量P畫面和B畫面采用幀間預(yù)測(cè)編碼,被編碼的是差分圖象2023/2/1MPEG-l編碼器的組成MPEG-l編碼器包括:運(yùn)動(dòng)估計(jì)(算)與宏塊類型(MTYPE)的選擇,MQUANT值的設(shè)置,運(yùn)動(dòng)補(bǔ)償預(yù)測(cè),量化和逆量化(dequantizer),DCT和IDCT,變長(zhǎng)編碼(VLC),多路復(fù)用器(multiplexier),緩沖器及緩沖調(diào)節(jié)器(regulator).2023/2/1I畫面壓縮編碼的流程

2023/2/1運(yùn)動(dòng)矢量與幀間預(yù)測(cè)運(yùn)動(dòng)矢量由于畫面內(nèi)容有連貫性,因此當(dāng)前畫面的內(nèi)容可以看作是前面畫面內(nèi)容的位移(運(yùn)動(dòng))。畫面各處相應(yīng)的位移量(幅度、方向)各有不同，因此畫面應(yīng)細(xì)分成塊(宏塊)，以宏塊為單位，找出兩幀畫面中相應(yīng)宏塊之間的位移量---運(yùn)動(dòng)矢量2023/2/1宏塊的組成宏塊(macroblock)的組成:P畫面和B畫面中的宏塊有2種情況：可預(yù)測(cè)宏塊:與參考畫面中的某個(gè)宏塊有位移關(guān)系不可預(yù)測(cè)宏塊:與參考畫面中的任何宏塊都找不到位移關(guān)系012345Y(16x16)U(8x8)V(8x8)2023/2/1可預(yù)測(cè)宏塊MotionvectorForwardprediction:前向預(yù)測(cè)宏塊(IorPpicture)(Ppicture)Bidirectionalprediction:雙向預(yù)測(cè)宏塊(IorPpicture)(IorPpicture)(Bpicture)被編碼宏塊被編碼宏塊參考畫面參考畫面參考畫面2023/2/1不同類型宏塊的預(yù)測(cè)公式 設(shè)X為宏塊中象素的位置矢量,I(X)為位置X處的象素值；MV0,1

和MV2,1分別是畫面1中的宏塊相對(duì)于畫面0、畫面2中參考宏塊的運(yùn)動(dòng)矢量,I1(X)是畫面1中的宏塊所有象素的原始值,I1(X)

是它們的預(yù)測(cè)值宏塊類型內(nèi)部宏塊前向預(yù)測(cè)宏塊后向預(yù)測(cè)宏塊雙向預(yù)測(cè)宏塊預(yù)測(cè)公式I1(X)=128I1(X)=I0(X+MV0,1)I1(X)=I2(X+MV2,1)I1(X)=[I0(X+MV0,1)+I2(X+MV2,1)]/2預(yù)測(cè)誤差I(lǐng)1(X)-I1(X)I1(X)-I1(X)I1(X)-I1(X)I1(X)-I1(X)2023/2/1運(yùn)動(dòng)矢量的估計(jì)編碼宏塊2023/2/1運(yùn)動(dòng)矢量的估計(jì)算法基本原理:最佳匹配準(zhǔn)則(均方差最小/平均絕對(duì)誤差最小):匹配度=∑D[Ic(X)-Ir(X+V)]X其中Ic:當(dāng)前宏塊Ir:參考宏塊X:宏塊中的所有像素

V:搜索范圍中的矢量D:成本函數(shù)在搜索范圍內(nèi)調(diào)整運(yùn)動(dòng)矢量假設(shè)一個(gè)初始矢量計(jì)算匹配度是否最佳匹配結(jié)束yn2023/2/1MPEG-1的運(yùn)動(dòng)矢量估計(jì)搜索范圍(7種可選)31,63,127,...,2047?搜索精度(2種可選)0.5pel,1pel搜索策略(自定)全面搜索(31x31)搜索次數(shù)=(31-16+1)2=256方向搜索法對(duì)數(shù)搜索法(31x31)搜索次數(shù)=9x5=45對(duì)偶搜索法宏塊3131搜索范圍2023/2/1方向搜索法12111122345沿著最小失真方向搜索，每一次檢查5個(gè)搜索點(diǎn)，搜索步長(zhǎng)固定。2023/2/1對(duì)數(shù)搜索法111111111222222222333333333444444444搜索范圍每一步測(cè)試8個(gè)搜索點(diǎn),并逐步縮小搜索步長(zhǎng)2023/2/1實(shí)驗(yàn)結(jié)果變焦的鏡頭及其運(yùn)動(dòng)場(chǎng)平移的鏡頭及其運(yùn)動(dòng)場(chǎng)2023/2/1預(yù)測(cè)編碼宏塊的處理過程編碼宏塊參考宏塊最佳匹配運(yùn)動(dòng)矢量2023/2/1B畫面及D畫面的編碼B畫面編碼:與P畫面類似，但更復(fù)雜。例如:宏塊類型更多，預(yù)測(cè)宏塊可分成:前向預(yù)測(cè)宏塊后向預(yù)測(cè)宏塊雙向預(yù)測(cè)宏塊參加編碼的運(yùn)動(dòng)矢量可能是1個(gè)或2個(gè)跳空宏塊指：與前一非跳空宏塊類型相同，運(yùn)動(dòng)矢量也相同D畫面編碼:只取每一塊的DC系數(shù)進(jìn)行編碼，全部是幀內(nèi)編碼，用于快速檢索2023/2/1雙向預(yù)測(cè)宏塊的編碼過程2023/2/1小結(jié):編碼器的主要操作1．在GOP中確定I畫面、P畫面和B畫面2．為P畫面和B畫面中的每個(gè)MB（宏塊）估算運(yùn)動(dòng)矢量3．確定每個(gè)MB的宏塊類型（MTYPE）4．如果選擇自適應(yīng)量化的話，設(shè)置量化因子MQUANT。2023/2/1小結(jié):視頻比特流的層次結(jié)構(gòu)DCT單位運(yùn)動(dòng)補(bǔ)償單位重新同步單位主編碼單位隨機(jī)存取單元video編輯單位隨機(jī)存取單元context2023/2/1GOP：一組畫面，第一幀必為I畫面，長(zhǎng)度可各不相同.GOP中I畫面、P畫面和B畫面的相對(duì)數(shù)目與應(yīng)用相關(guān)。標(biāo)準(zhǔn)中規(guī)定了每132幀畫面中必須有—幀I畫面，以避免由于編碼器和解碼器間的IDCT失配引起的誤差傳播。B畫面的使用是一個(gè)任選項(xiàng)。畫面：標(biāo)題信息中包含畫面類型、運(yùn)動(dòng)矢量精度、搜索范圍等slice：由若干位置連續(xù)的宏塊組成，發(fā)現(xiàn)不可糾正的錯(cuò)誤時(shí)，可從下一宏塊開始解碼。宏塊：標(biāo)題信息中包含宏塊類型碼、運(yùn)動(dòng)矢量、碼塊圖等。視頻比特流的層次結(jié)構(gòu)

2023/2/1MPEG-1視頻的解碼2023/2/1解碼器框圖與解碼過程緩沖器分路器VLC解碼器Q-1IDCT畫面重排+畫面存儲(chǔ)與預(yù)測(cè)視頻比特流宏塊類型、畫面類型運(yùn)動(dòng)矢量量化步長(zhǎng)重建的視頻圖象輸入速率固定，但畫面的數(shù)據(jù)量差別很大，必須要設(shè)緩沖分路器負(fù)責(zé)語法、語義檢查，對(duì)宏塊進(jìn)行解碼，解出運(yùn)動(dòng)矢量、宏塊類型等IDCT輸出的是I畫面及P畫面和B畫面的預(yù)測(cè)畫面保存I畫面及P畫面，生成預(yù)則畫面（P,B）預(yù)則畫面+差分畫面=重建的畫面畫面重排序，然后輸出送顯示器（幀速固定）2023/2/1MPEG-1系統(tǒng)2023/2/1(1)功能與目的系統(tǒng)層的功能將多個(gè)基本流（視頻流、音頻流、數(shù)據(jù)流）復(fù)合成單一的串行比特流保證基本流之間的時(shí)間同步保證信源與信宿之間的時(shí)間同步可隨機(jī)存取，便于編輯加工速率可控制2023/2/1系統(tǒng)復(fù)合流A1A2A3A4V1V2V3V4D1D2D3D4A2D1V2A1V1D2A3V3音頻視頻數(shù)據(jù)MPEG-1復(fù)合比特流*音頻、視頻流均可有多個(gè)，音頻流<=32，視頻流<=16。*所有基本流均劃分為“分組”(packet),分組長(zhǎng)度可變。*每個(gè)分組均有標(biāo)題信息，用于指出所屬的基本流。2023/2/1系統(tǒng)復(fù)合流結(jié)構(gòu)格式Pack1……結(jié)束碼Pack2PacknPacket1Packet2……Packetm系統(tǒng)標(biāo)題SCRPack開始碼系統(tǒng)標(biāo)題開始碼長(zhǎng)度復(fù)合流速率上限音頻速率上限視頻速率上限標(biāo)志基本流說明1基本流說明2……基本流標(biāo)識(shí)緩沖單位緩沖大小Packet開始碼前綴所屬基本流Packet長(zhǎng)度Packet標(biāo)題Packet數(shù)據(jù)填料字節(jié)緩沖單位緩沖大小PTSDTS系統(tǒng)復(fù)合流PACK系統(tǒng)標(biāo)題PacketPacket標(biāo)題2023/2/1系統(tǒng)層解決的3個(gè)問題A/V同步編碼時(shí)以STC為基準(zhǔn)，對(duì)每一幀畫面、每一幀聲音均附加一個(gè)PTS值，解碼時(shí)即按此指定時(shí)間播放，從而達(dá)到A/V同步目的。編碼器/解碼器同步解碼器的本地STC值，受控于音頻PTS值，不斷進(jìn)行更新與校正。復(fù)合流速率控制解碼器通過把SCR值與本地STC值比較，發(fā)出反饋信號(hào)，可能的話控制輸入流的速度。2023/2/1(4)MPEG-1小結(jié)特點(diǎn)：是一種通用標(biāo)準(zhǔn)，它規(guī)定了已編碼位流的表示語法和解碼方法。該語法支持的操作有運(yùn)動(dòng)估算、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)、離散余弦變換(DCT)、量化和變長(zhǎng)編碼編碼器設(shè)計(jì)具有靈活性（它沒有定義產(chǎn)生合法數(shù)據(jù)流所需的詳細(xì)算法；例如，對(duì)運(yùn)動(dòng)估計(jì)算法和壓縮模式選擇未作規(guī)定）用于定義編碼位流和解碼器的一系列參數(shù)都包含在位流本身中。這就允許算法適用于不同大小和寬高比的畫面，也可以用在工作速率范圍很大的信道和設(shè)備上。2023/2/1MPEG-1小結(jié)缺點(diǎn)與不足:16x16的宏塊作為預(yù)測(cè)單位尺寸稍大可能產(chǎn)生亞象素級(jí)的位移物體的3D運(yùn)動(dòng)(如旋轉(zhuǎn))不易預(yù)測(cè)攝象機(jī)運(yùn)動(dòng)、燈光變化、物體形狀變化、場(chǎng)景切換、物體遮擋等引起的畫面變化，預(yù)測(cè)有困難B畫面、P畫面使編輯操作復(fù)雜化僅適合non-interlaced視頻的處理2023/2/1運(yùn)動(dòng)圖像及其伴音信息的

通用編碼(MPEG-2)

(Informationtechnology—Genericcodingofmovingpictures&associatedaudioinformation)(ISO/IEC13818)/(ITU-TH.262)CollaborationwiththeITU-TSG15ExpertsGroupforATMVideoCoding

目的MPEG-2是與數(shù)字電視有關(guān)的高質(zhì)量圖象/聲音的通用編碼標(biāo)準(zhǔn)，它滿足存儲(chǔ)、廣播和通信領(lǐng)域各種應(yīng)用對(duì)視頻及其伴音的通用編碼方法的日益增長(zhǎng)的需求；MPEG-2以一種計(jì)算機(jī)數(shù)據(jù)的形式，使視頻信息：能進(jìn)行操縱，能存儲(chǔ)在各種不同存儲(chǔ)媒體上，能在現(xiàn)存的和未來的網(wǎng)絡(luò)上傳輸，能在現(xiàn)存的和未來廣播信道上分發(fā)。MPEG-2是MPEG-1的超集，基本算法相同,但增加了許多MPEG-1所沒有的功能，例如增加了對(duì)隔行掃描電視信號(hào)的編碼，提供了scalability功能。2023/2/1MPEG-2的應(yīng)用領(lǐng)域*BSS廣播衛(wèi)星服務(wù)(到家庭) *CATV有線電視*CDAD有線數(shù)字音頻 *DAB數(shù)字音頻廣播*DTTB數(shù)字地面電視廣播 *EC電子電影*ENG電子新聞采集 *FSS固定衛(wèi)星服務(wù)*HTT家庭電視影院 *MMM多媒體郵件*ISM交互式存儲(chǔ)媒體(光盤等) *NCA新聞&時(shí)事*NDB網(wǎng)絡(luò)數(shù)據(jù)庫服務(wù)*RVS遠(yuǎn)程視頻監(jiān)視*SSM串行存儲(chǔ)媒體(數(shù)字VTR)*IPC個(gè)人間通信(視頻會(huì)議、可視電話)Interlaced/progressivecodinginMPEG-22023/2/1MPEG-2視頻的分“類”(profile)MPEG-2視頻的編碼按處理方法的復(fù)雜程度分成“類”（profile);每一類都包含一組其低類所沒有的新算法（模塊）;類越高，編碼越精細(xì),實(shí)現(xiàn)的代價(jià)也越高;解碼器向下兼容，任何一種高類解碼器，均能對(duì)用較低類方法編碼的視頻圖像進(jìn)行解碼。2023/2/1MPEG-2視頻的分“級(jí)”(level)按可支持的視頻圖像參數(shù)(分辨率,幀頻和碼率)分成4級(jí)：Low(352x288x25)CIF格式,最大輸出碼率為4MbpsMain(720x576x25)CCIR601格式,最大輸出碼率為15-20MbpsHigh1440(1440x1152x25)HDTV窄屏格式,最大輸出碼率為60-80MbpsHigh(1920x1152x25)HDTV寬屏格式,最大輸出碼率為80-100MbpsMPEG-2視頻編碼的可分級(jí)性“可分級(jí)”（scalable）指：視頻的編碼數(shù)據(jù)=基礎(chǔ)層+若干增強(qiáng)層Simple和Main不具有可分級(jí)性;SNRScalable,SpatialScalable和High這3類都具有可分級(jí)性,它們的編碼中包含2-3個(gè)流,不同的流代表著不同的layer.是編碼圖像的基本數(shù)據(jù)，但圖像質(zhì)量較低可用來改進(jìn)信噪比或清晰度(分辨率)2023/2/1MPEG-2視頻的可分級(jí)性SNRScalable類最多可以有2個(gè)layer:baselayer+SNRenhancementlayerSpatialScalable和High這2類最多都可以有3個(gè)layer: baselayer +SNRenhancementlayer +Spatialenhancementlayer2023/2/1ScalablecodinginMPEG-22023/2/1可分級(jí)性的應(yīng)用80Mb/s20Mb/s

HDTV解碼器常規(guī)電視解碼器1440x1152720x576baselayerbaselayer+SNRenhancementlayer+SpatialenhancementlayerHP@H1440SDTVCompleteMPEG-2transmissionscheme2023/2/1ErrorConcealment2023/2/1MPEG-2視頻的技術(shù)特點(diǎn)保持了向后兼容性(MPEG-1)。支持不同取樣格式的色度信號(hào)(4:2:0,4:2:2,4:4:4)支持隔行和逐行2種掃描格式的視頻信號(hào)。既支持恒定速率也支持可變速率的比特流。支持face-to-face應(yīng)用所需要的低延遲模式。可以隨機(jī)存取。具有可分級(jí)性,圖像質(zhì)量和碼率在很大范圍內(nèi)可以使用。支持編輯處理。適應(yīng)高復(fù)雜度和低復(fù)雜度解碼器的比特流均可生成。MPEG-1與MPEG-2的對(duì)比

MPEG-1 MPEG-2

主要應(yīng)用

DigitalvideoonCD-ROM DigitalTV(andHDTV)空間分辨率CIFFormat(1/4TV) TV(4xTV)

約288x360pels 約576x720pels

(1152x1440pels)時(shí)間分辨率25-30frames/s 50-60fields/s (100-120fields/s)碼率

1.5Mbit/s 約4Mbit/s (約20Mbit/s)質(zhì)量

comparabletoVHS comparabletoNTSC/PAL壓縮比

約20-30 約30-40(appr.30-40)2023/2/1附錄:

MPEG-1和MPEG-2視頻編碼的技術(shù)問題2023/2/1視頻編碼涉及的主要算法①運(yùn)動(dòng)估計(jì)(MotionEstimation，簡(jiǎn)記為ME)；②DCT／IDCT變換；③碼流速率控制(BitRateControl，簡(jiǎn)記為BRC)；④變長(zhǎng)編碼與解碼(VLC／VLD)。2023/2/1運(yùn)動(dòng)估計(jì)目的：運(yùn)動(dòng)補(bǔ)償是用以去除視頻圖象在時(shí)間域上冗余，利用視頻圖象在時(shí)域上的統(tǒng)計(jì)特性進(jìn)行壓縮。運(yùn)動(dòng)補(bǔ)償對(duì)視頻圖象壓縮編碼系統(tǒng)的編碼效率有顯著的影響。運(yùn)動(dòng)補(bǔ)償?shù)幕A(chǔ)是運(yùn)動(dòng)估計(jì)，運(yùn)動(dòng)補(bǔ)償?shù)某蓴∪Q于運(yùn)動(dòng)估計(jì)算法的精度、速度和效率。2023/2/1運(yùn)動(dòng)估計(jì)算法運(yùn)動(dòng)估計(jì)算法主要分為兩類：①像素遞歸算法(PelRecursiveAlgorithms，簡(jiǎn)記為PRA)②塊匹配算法(BlockMatchingAlgorithms，簡(jiǎn)記為BMA)。

PRA算法是基于像素的運(yùn)動(dòng)估計(jì)，能更好地表示真實(shí)的運(yùn)動(dòng)，但是計(jì)算復(fù)雜度非常高；BMA算法認(rèn)為在一個(gè)塊內(nèi)的像素具有相同的運(yùn)動(dòng)，該算法的計(jì)算相對(duì)簡(jiǎn)單，目前已被廣泛采用。2023/2/1塊匹配算法全搜索算法(FullSearchAlgorithm，簡(jiǎn)記為FSA)。FSA算法具有步長(zhǎng)固定，易于并行等優(yōu)點(diǎn)，但計(jì)算量大；二維對(duì)數(shù)搜索算法(TwoDimensionalLogarithmicSearchAlgorithm，簡(jiǎn)記為TDLSA)2023/2/1決定塊匹配算法效果的3個(gè)因素搜索范圍匹配準(zhǔn)則1均方誤差函數(shù)2平均絕對(duì)誤差函數(shù)3像素誤差分類函數(shù)4綜合投影技術(shù)等。搜索策略。2023/2/1MPEG-4(ISO/IEC14496)

(Codingofaudiovisualobjects)(背景,目標(biāo),特點(diǎn),體系結(jié)構(gòu)和應(yīng)用領(lǐng)域)2023/2/1MPEG-4的背景11趨勢(shì):音視頻內(nèi)容的生成越來越容易,每人都可以容易地生成、傳送和出版內(nèi)容，越來越多的內(nèi)容是計(jì)算機(jī)生成的；視頻信息的傳送將擴(kuò)展到所有網(wǎng)絡(luò)，無線通信不僅用于語音，而且將應(yīng)用于數(shù)據(jù)和視頻,對(duì)音視頻信息進(jìn)行交互處理和應(yīng)用的要求不斷增長(zhǎng),電信、計(jì)算機(jī)和影視娛樂領(lǐng)域正逐步融合,相互滲透,例如:單向AV終端向交互式AV服務(wù)發(fā)展;固定寬帶和移動(dòng)窄帶環(huán)境的結(jié)合;頻道傳輸與存儲(chǔ)媒體傳輸?shù)娜我饨M合.2023/2/1MPEG-4的背景22需求:高交互性(與音視頻內(nèi)容的交互性)(Highinteractivefunctionality)通用的存取/訪問/接入能力(包括無線)(Universalaccessibilityandrobustnessinerrorproneenvironments)自然數(shù)據(jù)與合成數(shù)據(jù)的集成；高效率的壓縮編碼，使得在低碼率時(shí)獲得可接受的質(zhì)量，支持Web環(huán)境下的交互和鏈接。許多音視頻應(yīng)用要求提供互操作性（interworking)2023/2/1MPEG-4的背景33MPEG-1和MPEG-2的不足基于象素和象素塊進(jìn)行編碼,不能對(duì)圖像的內(nèi)容進(jìn)行查詢、編輯和選擇播放等操作,交互性較差;無法在同一場(chǎng)景集成自然信息與人造(合成)信息；不支持超鏈(hyperlinking)將圖像固定地分成相同大小的塊,在高壓縮比的情況下會(huì)產(chǎn)生嚴(yán)重的塊效應(yīng);沒有充分利用人類視覺系統(tǒng)的特性。2023/2/1MPEG-4的目標(biāo)能有效表示若干種數(shù)據(jù)類型:Videofromverylowbitratestoveryhighqualityconditions;Musicandspeechdataforaverywidebitraterange,fromtransparentmusictoverylowbitratespeech;Genericdynamic3-Dobjectsaswellasspecificobjectssuchashumanfacesandbodies;Speechandmusictobesynthesizedbythedecoder,includingsupportfor3-Daudiospaces;Textandgraphics;在編碼層為各種類型的數(shù)據(jù)提供出錯(cuò)恢復(fù)功能,特別是在移動(dòng)通信之類信道困難情況下的出錯(cuò)恢復(fù).2023/2/1MPEG-4的目標(biāo)獨(dú)立地表示場(chǎng)景中的各種對(duì)象,允許對(duì)它們進(jìn)行單獨(dú)的訪問、操縱和重新使用;將自然的和合成的音頻、視頻對(duì)象復(fù)合成為一個(gè)音視頻場(chǎng)景(audiovisualscene);在場(chǎng)景中對(duì)對(duì)象和事件進(jìn)行描述;提供交互和超鏈功能;管理和保護(hù)音視頻內(nèi)容和算法的知識(shí)產(chǎn)權(quán)(intellectualproperty),使得只有授權(quán)用戶才能訪問.提供一種與傳送媒體無關(guān)的表示格式，使能透明地跨越不同傳送環(huán)境的邊界.2023/2/1MPEG-4的目標(biāo)Forauthors,使得所生產(chǎn)的內(nèi)容比數(shù)字電視、計(jì)算機(jī)動(dòng)畫及WWW頁面等具有更大的reusability和flexibility,能更好地管理和保護(hù)知識(shí)產(chǎn)權(quán)。Fornetworkserviceproviders,MPEG-4提供的是透明信息,它能被解釋和翻譯成每個(gè)網(wǎng)絡(luò)的nativesignalingmessages.對(duì)于QoS,MPEG-4對(duì)不同的media提供一種通用的QoSdescriptor，從每一種媒體的QoSparametersset翻譯成networkQoS則由networkproviders解決.SignalingoftheMPEG-4mediaQoSdescriptorsend-to-end能使信息在異構(gòu)網(wǎng)絡(luò)中傳輸最優(yōu).Forendusers,MPEG-4使得用戶與內(nèi)容能進(jìn)行更高級(jí)別的交互，它把多媒體應(yīng)用帶入新的網(wǎng)絡(luò)(低速網(wǎng)和移動(dòng)網(wǎng))，如交互式多媒體廣播,移動(dòng)通信.2023/2/1實(shí)現(xiàn)MPEG-4目標(biāo)的4個(gè)技術(shù)途徑1它能表示各種不同的媒體對(duì)象,既可以是自然的媒體對(duì)象,也可以是計(jì)算機(jī)合成的媒體對(duì)象.2它能描述這些媒體對(duì)象如何合成為一個(gè)復(fù)合的聲像場(chǎng)景.3它能把媒體對(duì)象與關(guān)聯(lián)的數(shù)據(jù)進(jìn)行多路復(fù)合和同步,使它們能在網(wǎng)絡(luò)上以適合的QoS進(jìn)行傳輸.4它能使用戶在接收端與生成的聲像場(chǎng)景進(jìn)行交互.2023/2/1Theobject-basedaudiovisualrepresentationmodel

場(chǎng)景由許多對(duì)象組成,對(duì)象之間有一定的時(shí)間和空間關(guān)系2023/2/1MPEG-4的結(jié)構(gòu)MPEG-4構(gòu)造成一個(gè)tool-box的形式,而不是monolithic形式,它使用若干profile來提供不同的解決方案.MPEG-4相當(dāng)大,但它允許量體裁衣,每個(gè)實(shí)現(xiàn)者可根據(jù)需要抽取MPEG-4標(biāo)準(zhǔn)中滿足其應(yīng)用的一個(gè)子集予以實(shí)現(xiàn).

2023/2/1MPEG-4的結(jié)構(gòu)MPEG-4標(biāo)準(zhǔn)通過定義框架(Profile)、級(jí)(Level)、算法(Algorithm)和工具(Tool)等4層結(jié)構(gòu)來分層次描述具體應(yīng)用中的編碼方案。Profile.一個(gè)框架是一類應(yīng)用的完整編碼碼流語法描述,它是整個(gè)MPEG-4碼流語法的一個(gè)子集。Level.在每個(gè)框架中又通過定義級(jí)來規(guī)定碼流中各個(gè)參數(shù)的類型和限制。Algorithm.算法是為了完成框架所要求的功能而組織起來的一些工具集合。例如MPEG-1的音頻編碼、MPEG-2的視頻編碼等。Tool.工具是在編碼過程中所采用的一些技術(shù),例如運(yùn)動(dòng)補(bǔ)償、輪廓編碼和DCT變換等。2023/2/1MPEG-4的結(jié)構(gòu)(MPEG-4提供一個(gè)靈活的框架和一個(gè)開放的工具集,以支持大量的新舊功能)工具1工具2工具3工具4工具5工具n算法1算法2算法m類1類kMPEG-4語法描述語言MSDLMPEG-4最有希望的應(yīng)用領(lǐng)域多媒體Internet;

視頻會(huì)議和視頻電話等個(gè)人通信;交互式視頻游戲和多媒體郵件;基于網(wǎng)絡(luò)的數(shù)據(jù)庫服務(wù);光盤等交互式的存儲(chǔ)媒介;遠(yuǎn)程的緊急事件系統(tǒng);遠(yuǎn)程的視頻監(jiān)視;無線多媒體通信。2023/2/1媒體對(duì)象的編碼表示MPEG-4audiovisualscenes是由若干媒體對(duì)象以層次方式組合而成的，初級(jí)(primitive)媒體對(duì)象如:

靜止圖像(e.g.asafixedbackground),視頻對(duì)象(e.g.atalkingperson-withoutthebackground)音頻對(duì)象(e.g.thevoiceassociatedwiththatperson);文本和圖形.初級(jí)媒體對(duì)象既可以是自然的，也可以是人造(合成)的,合成對(duì)象類型既可以是2維,也可以是3維.

2023/2/1媒體對(duì)象的編碼表示媒體對(duì)象的編碼中包含有描述元素，從而允許在音視頻場(chǎng)景中處理媒體對(duì)象，需要的話也可以在關(guān)聯(lián)的流式數(shù)據(jù)(streamingdata)中處理媒體對(duì)象.每一個(gè)媒體對(duì)象與周圍的對(duì)象或背景是相互獨(dú)立進(jìn)行編碼的.在考慮到所需功能的同時(shí)，媒體對(duì)象的編碼應(yīng)盡可能提高編碼效率。這里所指的功能包括：容錯(cuò)能力，對(duì)象的抽取和編輯，編碼具有可分級(jí)性等。2023/2/1媒體對(duì)象的組合MPEG-4的場(chǎng)景描述是一棵樹,葉節(jié)點(diǎn)是基本媒體對(duì)象,中間節(jié)點(diǎn)是復(fù)合媒體對(duì)象.因而內(nèi)容的創(chuàng)作者可以構(gòu)造復(fù)雜的場(chǎng)景,用戶則可選擇其中感興趣的對(duì)象進(jìn)行操縱處理.MPEG-4以一種標(biāo)準(zhǔn)化的方法來描述視聽場(chǎng)景的組成，例如它可以做到：將媒體對(duì)象放在給定坐標(biāo)系中的任何地方;對(duì)媒體對(duì)象進(jìn)行變換以改變其幾何或聲學(xué)形態(tài)(appearance);把若干初級(jí)媒體對(duì)象組合成為復(fù)合媒體對(duì)象;為了修改媒體對(duì)象的屬性而將流式數(shù)據(jù)應(yīng)用于媒體對(duì)象(例如屬于對(duì)象的一段聲音,一個(gè)運(yùn)動(dòng)紋理;驅(qū)動(dòng)一張合成人臉的動(dòng)畫參數(shù));交互式地改變用戶在場(chǎng)景中的觀察(聽)位置.2023/2/1MPEG-4可視對(duì)象的編碼目標(biāo)在多媒體環(huán)境中有效地存儲(chǔ),傳輸和操縱紋理(textures),圖像和視頻數(shù)據(jù).能對(duì)圖像和視頻內(nèi)容中的原子單位(即視頻對(duì)象“videoobjects”,簡(jiǎn)稱VO)進(jìn)行解碼和表示.常規(guī)的矩形圖像僅僅是視頻對(duì)象的一個(gè)特例.視頻對(duì)象可分成2大類:自然視頻對(duì)象合成視頻對(duì)象2023/2/1MPEG-4可視對(duì)象的編碼功能圖像和視頻的有效壓縮映射在2-D和3-D網(wǎng)格(meshe)上的紋理的有效壓縮隱式2-D網(wǎng)格的有效壓縮隨時(shí)間變化的用于網(wǎng)格運(yùn)動(dòng)的幾何流的有效壓縮所有各類可視對(duì)象的有效的隨機(jī)存取圖像和視頻序列的擴(kuò)展操縱功能圖像和視頻基于內(nèi)容的編碼紋理,圖像和視頻基于內(nèi)容的可分級(jí)性空間,時(shí)間和質(zhì)量的可分級(jí)性在易出錯(cuò)環(huán)境中的堅(jiān)固性和可恢復(fù)性2023/2/1自然視頻對(duì)象的編碼支持MPEG-1和MPEG-2提供的大部分功能，包括對(duì)各種輸入格式、幀速率、碼率和可分級(jí)性的標(biāo)準(zhǔn)矩形圖象序列的有效編碼的支持。MPEG-4Video的核心是支持任意形狀的可視對(duì)象的有效編碼，即提供基于內(nèi)容的編碼和解碼功能，也就是對(duì)圖像中使用分割算法抽取的單獨(dú)的物理對(duì)象進(jìn)行編碼和解碼。MPEG-4還提供管理這些視頻內(nèi)容的最基本方法。2023/2/1MPEG-4自然視頻編碼中

功能與碼率的關(guān)系VLBV(VeryLowBit-rateVideo)應(yīng)用在碼率為5...64kbits/s,CIF分辨率,幀頻小于15Hz的場(chǎng)合,例如實(shí)時(shí)多媒體通信,多媒體DB的隨機(jī)存取,快進(jìn)/快退10Mb/s64kb/s碼率功能提供最基本的交互性,靈活地表示和操縱圖像中的視頻對(duì)象內(nèi)容(以壓縮形式),不必在接收端進(jìn)行圖像分割和轉(zhuǎn)碼數(shù)字電視質(zhì)量的多媒體廣播或交互式檢索應(yīng)用2023/2/1MPEG-4VLBV核心編碼器

和通用編碼器GenericMPEG-4Coder

MPEG-4VLBVCoreCoder編碼過程中將VOP與背景分開處理。每個(gè)VOP的形狀、運(yùn)動(dòng)及紋理信息在一個(gè)VOP層獨(dú)立地編碼、存儲(chǔ)和傳輸.視頻對(duì)象在某一時(shí)刻（即在某一幀畫面）中的“象”稱為“視頻對(duì)象平面”(VOP)。2023/2/1VOP舉例分割出來的前景圖像只在視頻序列的第1幀畫面時(shí)傳輸1次,保存在背景緩沖器中,此后僅僅傳輸鏡頭參數(shù)即可.任意形狀視頻對(duì)象編碼的應(yīng)用在編碼前從一系列的視頻畫面中把背景圖像抽出并拼合而成2023/2/1MPEG-4視頻流的組成MPEG-4在比特流中按照大致固定的距離插入再同步標(biāo)志(ResyncMarker)以增強(qiáng)容錯(cuò)性，采用零樹小波(Zero-TreeWavelet)變換處理紋理和靜止圖象，提高了編碼效率,具有更精細(xì)的可分級(jí)性(11級(jí))。VOP1編碼MUXVOP定義VOP2編碼VOP3編碼……視頻輸入MPEG-4視頻流背景編碼2023/2/1VOP的編碼VOP的描述：形狀(shape)、運(yùn)動(dòng)(motion)、紋理(texture)。MUXBuffertexturecodingmotioncompensationmotionestimationpreviousreconstructionVOP+-shapecoding

VOPofarbitraryshapeVOPofarbitraryshapeshapeinfomotioninfotextureinfo輸入VOPVOP編碼器MPEG國(guó)際標(biāo)準(zhǔn)Likealanguage,astandardservestofacilitateseamlesscommunicationbetweenmen,man-machineandmachines2023/2/1MPEG國(guó)際標(biāo)準(zhǔn)Twomajorinternationalorganizationshavebeenresponsibleforprovidingstandardsonaudio-visualcodingInternationalorganizationforstandardization(ISO)InternationalTelecommunicationUnion(ITU)2023/2/1MPEG國(guó)際標(biāo)準(zhǔn)MovingPictureExpertsGroup–MPEGISO/IECJTC1/SC29/WG11150companies&researchinstitutesUSA:AT&T,TI,Motorola,Microsoft,IBM,…Asia:Sony,JVC,Mitsubishi,Samsung,…Europe:Philips,Thomson,Siemens,CNET,…MPEGmeets3-5timesperyear2023/2/1MPEG國(guó)際標(biāo)準(zhǔn)2023/2/1MPEG國(guó)際標(biāo)準(zhǔn)MPEG-1(1992)VideoonCD-ROM(1.5Mbit/s)MPEG-2(1996)DigitalTV(5-10Mbit/s)MPEG-4(1999)MultimediaApplications(10kbit/s-10Mbit/s)MPEG-7(2001)Multimediacontentdescriptioninterface2023/2/1MPEG國(guó)際標(biāo)準(zhǔn)2023/2/1MPEG國(guó)際標(biāo)準(zhǔn)2023/2/1運(yùn)動(dòng)估計(jì)ForwardpredictionPredictwherethepixelsinacurrentframewereinapastframeBackwardpredictionPredictwherethepixelsinacurrentframewillgotoinafutureframe2023/2/1ForwardpredictionPreviousframeCurrentframe2023/2/1BackwordpredictionCurrentframe Futureframe2023/2/1Motionestimationrefinement2023/2/1MPEG-4keyfunctionalities2023/2/1MPEG-4keyfunctionalities2023/2/1GeneralVideoBlockDiagram2023/2/1Videoobjectplane2023/2/1Videoobjectplane2023/2/1Videoobjectplane2023/2/1Videoobjectplane2023/2/1Videoobjectplane2023/2/1Decoding2023/2/1ShapeCodingAnydatacompressionschemeconsistsoftwocomponents:MessageextractionMessagecodingMessageextractionMessagecoding2023/2/1ShapeCodingFirstgererationcodingEachpixelsrepresentsthemessagetobecoded2023/2/1ShapeCodingSecondgererationcodingApictureisrepresentedbythesetofitsconstituingobjects(orfeatures).Eachobjectrepresentsthemessagetobecoded2023/2/1ShapeCoding2023/2/1ShapeCodingAdvantagesSimilartohumanvisualsystemmechanismEasiertointeractwithobjectsinthepictureBigpotential