MPEG壓縮技術(shù)課件

第五章MPEG壓縮技術(shù)MPEG(MovingPictureExpertGroup)是在1988年由國際標準化組織(InternationalOrganizationforStandardization，ISO)和國際電工委員會(InternationalElectrotechnicalCommission，IEC)聯(lián)合成立的專家組，負責開發(fā)電視圖像數(shù)據(jù)和聲音數(shù)據(jù)的編碼、解碼和它們的同步等標準。這個專家組開發(fā)的標準稱為MPEG標準，到目前為止，已經(jīng)開發(fā)和正在開發(fā)的MPEG標準有:MPEG-1：數(shù)字電視標準，1992年正式發(fā)布。MPEG-2：數(shù)字電視標準。MPEG-3：已于1992年7月合并到高清晰度電視(High-DefinitionTV，HDTV)工作組。MPEG-4：多媒體應(yīng)用標準(1999年發(fā)布)。MPEG-7：多媒體內(nèi)容描述接口標準(正在研究)。

第五章MPEG壓縮技術(shù)MPEG(MovingPi1主要應(yīng)用范圍光盤存儲數(shù)字視頻的傳播交換式數(shù)字視頻HDTV網(wǎng)絡(luò)多媒體主要應(yīng)用范圍2MPEG-1和-2典型的編碼參數(shù)

MPEG-1MPEG-2(基本型)標準化時間1992年1994年(DIS)主要應(yīng)用CD-ROM上的數(shù)字電視，VCD數(shù)字TV，DVD空間分辨率CIF格式(1/4TV)，288×360像素TV，576×720像素時間分辨率25-30幀/秒50-60場/秒位速率1.5Mbit/s15Mbit/s質(zhì)量相當于VHS相當于NTSC/PAL電視壓縮率20~3030~40

MPEG-1和-2典型的編碼參數(shù)

MPEG-1MPEG-235.1MPEG-1數(shù)字電視標準MPEG-1處理的是標準圖像交換格式(StandardInterchangeformat，SIF)或者稱為源輸入格式(SourceInputFormat，SIF)的電視，即NTSC制為352像素240行/幀

30幀/秒，PAL制為352像素

288行/幀

25幀/秒，壓縮的輸出速率定義在1.5Mbit/s以下。這個標準主要是針對當時具有這種數(shù)據(jù)傳輸率的CD-ROM和網(wǎng)絡(luò)而開發(fā)的，用于在CD-ROM上存儲數(shù)字影視和在網(wǎng)絡(luò)上傳輸數(shù)字影視。MPEG-1的標準號為ISO/IEC11172，標準名稱為“信息技術(shù)——用于數(shù)據(jù)速率高達大約1.5Mbit/s的數(shù)字存儲媒體的電視圖像和伴音編碼”Informationtechnology—Codingofmovingpicturesandassociatedaudiofordigitalstoragemediaatuptoabout1.5Mbit/s)。它已于1991年底被ISO/IEC采納，由五個部分組成：5.1MPEG-1數(shù)字電視標準MPEG-1處理的是4①MPEG-1系統(tǒng)，寫成MPEG-1Systems，規(guī)定電視圖像數(shù)據(jù)、聲音數(shù)據(jù)及其他相關(guān)數(shù)據(jù)的同步，標準名是ISO/IEC11172-1：1993Informationtechnology—Codingofmovingpicturesandassociatedaudiofordigitalstoragemediaatuptoabout1.5Mbit/s—

Part1：Systems。②MPEG-1電視圖像，寫成MPEG-1Video,規(guī)定電視數(shù)據(jù)的編碼和解碼，標準名是ISO/IEC11172-2：1993Informationtechnology—Codingofmovingpicturesandassociatedaudiofordigitalstoragemediaatuptoabout1.5Mbit/s—

Part2：Video。③MPEG-1聲音，寫成MPEG-1Audio,規(guī)定聲音數(shù)據(jù)的編碼和解碼，標準名是ISO/IEC11172-3：1993Informationtechnology—Codingofmovingpicturesandassociatedaudiofordigitalstoragemediaatuptoabout1.5Mbit/s—

Part3：Audio。

①MPEG-1系統(tǒng)，寫成MPEG-1Systems，規(guī)定5④MPEG-1一致性測試，寫成MPEG-1Conformancetesting，標準名是ISO/IEC11172-4：1995Informationtechnology—Codingofmovingpicturesandassociatedaudiofordigitalstoragemediaatuptoabout1.5Mbit/s—Part4：Conformancetesting。這個標準詳細說明如何測試比特數(shù)據(jù)流(bitstreams)和解碼器是否滿足MPEG-1前3個部分(Part1，2和3)中所規(guī)定的要求。這些測試可由廠商和用戶實施。⑤MPEG-1軟件模擬，寫成MPEG-1Softwaresimulation，標準名是ISO/IECTR11172-5Informationtechnology—Codingofmovingpicturesandassociatedaudiofordigitalstoragemediauptoabout1.5Mbit/s—Part5：Softwaresimulation。實際上，這部分的內(nèi)容不是一個標準，而是一個技術(shù)報告，給出了用軟件執(zhí)行MPEG-1標準前3個部分的結(jié)果。

④MPEG-1一致性測試，寫成MPEG-1Conform6MPEG-1譯碼器的方框圖MPEG-1譯碼器的方框圖75.2MPEG-2數(shù)字電視標準

MPEG-2標準從1990年開始研究，1994發(fā)布DIS。它是一個直接與數(shù)字電視廣播有關(guān)的高質(zhì)量圖像和聲音編碼標準。MPEG-2可以說是MPEG-1的擴充，因為它們的基本編碼算法都相同。但MPEG-2增加了許多MPEG-1所沒有的功能，例如增加了隔行掃描電視的編碼，提供了位速率的可變性能(scalability)功能。MPEG-2要達到的最基本目標是：位速率為4～9Mbit/s，最高達15Mbit/s。MPEG-2的標準號為ISO/IEC13818，標準名稱為“信息技術(shù)�電視圖像和伴音信息的通用編碼(Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation)”。MPEG-2包含9個部分：①MPEG-2系統(tǒng)，寫成MPEG-2Systems，規(guī)定電視圖像數(shù)據(jù)、聲音數(shù)據(jù)及其他相關(guān)數(shù)據(jù)的同步，標準名是ISO/IEC13818-1：1996Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation：Systems。5.2MPEG-2數(shù)字電視標準MPEG-2標準從8這個標準主要是用來定義電視圖像數(shù)據(jù)、聲音數(shù)據(jù)和其他數(shù)據(jù)的組合，把這些數(shù)據(jù)組合成一個或者多個適合于存儲或者傳輸?shù)幕緮?shù)據(jù)流。數(shù)據(jù)流有兩種形式，一種稱為程序數(shù)據(jù)流(ProgramStream，PS)，另一種稱為傳輸數(shù)據(jù)流(TransportStream，TS)。程序數(shù)據(jù)流是組合一個或者多個規(guī)格化的即包化基本數(shù)據(jù)流(PacketisedElementaryStreams，PES)而生成的一種數(shù)據(jù)流，用在出現(xiàn)錯誤相對比較少的環(huán)境下，適合使用軟件處理的應(yīng)用；傳輸數(shù)據(jù)流也是組合一個或者多個PES而生成的一種數(shù)據(jù)流，它用在出現(xiàn)錯誤相對比較多的環(huán)境下，例如在有損失或者有噪聲的傳輸系統(tǒng)中。

MPEG-2的系統(tǒng)模型

這個標準主要是用來定義電視圖像數(shù)據(jù)、聲音數(shù)據(jù)和其他數(shù)9②MPEG-2電視圖像，寫成MPEG-2Video，規(guī)定電視數(shù)據(jù)的編碼和解碼，標準名是ISO/IEC13818-2：1996Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation：Video。為了適應(yīng)各種應(yīng)用，這個標準定義了電視圖像的各種規(guī)格，稱為配置(profile)。表中的“X”符號表示MPEG-2支持的配置。有些人認為使用4:2:0子采樣格式的圖像質(zhì)量還不夠好，因此在1996年的標準中增加了4:2:2子采樣格式的圖像。多視角配置(MultiviewProfile，MVP)是附加的配置。③MPEG-2聲音，寫成MPEG-2Audio，規(guī)定聲音數(shù)據(jù)的編碼和解碼，是MPEG-1Audio的擴充，支持多個聲道，標準名是ISO/IEC13818-3：1998Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation—Part3：Audio。②MPEG-2電視圖像，寫成MPEG-2Video，規(guī)定10配置等級Simple

(簡化型)Main

(基本型)SNRscalable

(信噪比可變型)Spatialscalable

(空間分辨率可變型)High

(高級型)Multiview

(多視角型)4:2:2Highlevel(高級)

X

X

High-1440level

(高級1440)

X

XX

Mainlevel(基本級)XXX

XXXLowlevel(低級)

XX

MPEG-2電視圖像配置配置Simple

(簡化型)Main

(基本型)SNR11④MPEG-2一致性測試，寫成MPEG-2Conformancetesting，標準名是ISO/IECDIS13818-4Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation—Part4：Conformancetesting。⑤MPEG-2軟件模擬，寫成MPEG-2Softwaresimulation，標準名是ISO/IECTR13818-5：1997Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation—Part5：Softwaresimulation。⑥MPEG-2數(shù)字存儲媒體命令和控制擴展協(xié)議，寫成MPEG-2ExtensionsforDSM-CC，標準名是ISO/IECDIS13818-6Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation—Part6：ExtensionsforDSM-CC。④MPEG-2一致性測試，寫成MPEG-2Conform12⑦MPEG-2先進聲音編碼，寫成MPEG-2AAC，是多聲道聲音編碼算法標準。這個標準除后向兼容MPEG-1Audio標準之外，還有非后向兼容的聲音標準。標準名是ISO/IEC13818-7：1997Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation—Part7：AdvancedAudioCoding(AAC)。⑧MPEG-2系統(tǒng)解碼器實時接口擴展標準，標準名是ISO/IEC13818-9：1996Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation—Part9：Extensionforrealtimeinterfaceforsystemsdecoders。

⑨MPEG-2DSM-CC一致性擴展測試，標準名是ISO/IECDIS13818-10Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation—Part10：ConformanceextensionsforDigitalStorageMediaCommandandControl(DSM-CC)。⑦MPEG-2先進聲音編碼，寫成MPEG-2AAC，是多聲135.3MPEG-4多媒體應(yīng)用標準

MPEG-4從1994年開始工作，它是為視聽(audio-visual)數(shù)據(jù)的編碼和交互播放開發(fā)算法和工具，是一個數(shù)據(jù)速率很低的多媒體通信標準。MPEG-4的目標是要在異構(gòu)網(wǎng)絡(luò)環(huán)境下能夠高度可靠地工作，并且具有很強的交互功能。為了達到這個目標，MPEG-4引入了對象基表達(object-basedrepresentation)的概念，用來表達視聽對象(audio/visualobjects，AVO)；MPEG-4擴充了編碼的數(shù)據(jù)類型，由自然數(shù)據(jù)對象擴展到計算機生成的合成數(shù)據(jù)對象，采用合成對象/自然對象混合編碼(Synthetic/NaturalHybridCoding，SNHC)算法；在實現(xiàn)交互功能和重用對象中引入了組合、合成和編排等重要概念。MPEG-4系統(tǒng)構(gòu)造如圖5-01所示，接收端的構(gòu)造部件如圖5-02所示。5.3MPEG-4多媒體應(yīng)用標準MPEG-414圖5-01MPEG-4系統(tǒng)示意圖

圖5-01MPEG-4系統(tǒng)示意圖15圖5-02MPEG-4接收端的主要部件

圖5-02MPEG-4接收端的主要部件16MPEG-4中制定了一個稱為傳輸多媒體集成框架(DeliveryMultimediaIntegrationFramework，DMIF)的會話協(xié)議，它用來管理多媒體數(shù)據(jù)流。該協(xié)議在原則上與文件傳輸協(xié)議FTP(FileTransferProtocol)類似，其差別是：FTP返回的是數(shù)據(jù)，而DMIF返回的是指向到何處獲取數(shù)據(jù)流的指針。DMIF覆蓋了三種主要技術(shù)：廣播技術(shù)，交互網(wǎng)絡(luò)技術(shù)和光盤技術(shù)，如圖8-03所示。

圖8-03DMIF覆蓋的三種主要技術(shù)

MPEG-4中制定了一個稱為傳輸多媒體集成17MPEG-4將應(yīng)用在移動通信和公用電話交換網(wǎng)(publicswitchedtelephonenetwork，PSTN)上，并支持可視電話(videophone)、電視郵件(videomail)、電子報紙(electronicnewspapers)和其他低數(shù)據(jù)傳輸速率場合下的應(yīng)用。MPEG-4的標準名是Very-lowbitrateaudio-visualcoding(甚低速率視聽編碼)。截止到1998年9月，已作為國際標準草案(DraftInternationalStandard，DIS)的MPEG-4文件有6個部分，它們是：①MPEG-4系統(tǒng)標準，標準名是ISO/IECDIS14496-1Very-lowbitrateaudio-visualcoding—Part1:Systems。②MPEG-4電視圖像標準，標準名是ISO/IECDIS14496-2Verylowbitrateaudio-visualcoding—Part2:Video。③MPEG-4聲音標準，標準名是ISO/IECDIS14496-3Verylowbitrateaudio-visualcoding—Part3:Audio。

MPEG-4將應(yīng)用在移動通信和公用電話交換網(wǎng)(pu18④MPEG-4一致性測試標準，標準名是ISO/IECDIS14496-4Very-lowbitrateaudio-visualcoding—Part4:ConformanceTesting。⑤MPEG-4參考軟件，標準名是ISO/IECDIS14496-5Very-lowbitrateaudio-visualcoding—Part5:Referencesoftware⑥MPEG-4傳輸多媒體集成框架，標準名是ISO/IECDIS14496-6Very-lowbitrateaudio-visualcoding—Part6:DeliveryMultimediaIntegrationFramework(DMIF)。④MPEG-4一致性測試標準，標準名是ISO/IECDI195.4MPEG-7多媒體應(yīng)用標準

MPEG-7的工作于1996年啟動，名稱叫做多媒體內(nèi)容描述接口(MultimediaContentDescriptionInterface)，目的是制定一套描述符標準，用來描述各種類型的多媒體信息及它們之間的關(guān)系，以便更快更有效地檢索信息。這些媒體材料可包括靜態(tài)圖像、圖形、3D模型、聲音、話音、電視以及在多媒體演示中它們之間的組合關(guān)系。在某些情況下，數(shù)據(jù)類型還可包括面部特性和個人特性的表達。與其他的MPEG標準一樣，MPEG-7是為滿足特定需求而制定的視聽信息標準。MPEG-7標準也是建筑在其他的標準之上的，例如，PCM,MPEG-1,MPEG-2和MPEG-4等等。在MPEG-7中，例如MPEG-4中使用的形狀描述符、MPEG-1和MPEG-2中使用的移動矢量(motionvector)等都可能在MPEG-7中用到。5.4MPEG-7多媒體應(yīng)用標準MPEG-7的20下圖表示了MPEG-7的處理鏈(processingchain)，這是高度抽象的方框圖。在這個處理鏈中包含有三個方框：特征抽取(featureextraction)、標準描述(standarddescription)和檢索工具(searchengine)。特征的自動分析和抽取對MPEG-7是至關(guān)重要的，抽象程度越高，自動抽取也越困難，而且不是都能夠自動抽取的，因此開發(fā)自動的和交互式半自動抽取的算法和工具都是很有用的。盡管如此，特征抽取和檢索工具都不包含在MPEG-7標準中，而是留給大家去競爭，以便得到最好的算法和工具。MPEG-7的應(yīng)用領(lǐng)域包括：數(shù)字圖書館(Digitallibrary)，例如圖像目錄、音樂詞典等；多媒體目錄服務(wù)(multimediadirectoryservices)，例如黃頁(yellowpages)；廣播媒體的選擇，例如無線電頻道，TV頻道等；多媒體編輯，例如個人電子新聞服務(wù)，多媒體創(chuàng)作等等。潛在應(yīng)用的應(yīng)用領(lǐng)域包括：教育、娛樂、新聞、旅游、醫(yī)療、購物等等

下圖表示了MPEG-7的處理鏈(processing215.5MPEG視頻MPEG-1和MPEG-2Video標準有許多共同之處，基本概念類似，數(shù)據(jù)壓縮編碼方法基本相同，都采用以圖像塊作為基本單元進行變換、量化和運動補償?shù)燃夹g(shù)來獲得高壓縮比。MPEG-4Video部分采用內(nèi)容基編碼技術(shù)，它除與MPEG-1和-2Video向后兼容外，還引入了電視圖像對象(VO)的概念，在某些應(yīng)用場合下，對場景中的圖像分別進行編碼可以獲得很高的壓縮比而服務(wù)質(zhì)量也能滿足要求。下面將簡要介紹這些標準中壓縮電視圖像數(shù)據(jù)的基本方法。5.5.1數(shù)據(jù)壓縮算法1簡介電視圖像數(shù)據(jù)壓縮利用的各種特性和采用的方法歸納在表5-1中。從表中可以看到，電視圖像本身在時間上和空間上都含有許多冗余信息，圖像自身的構(gòu)造也有冗余性。此外，正如前面所介紹的，利用人的視覺特性也可對圖像進行壓縮，這叫做視覺冗余。5.5MPEG視頻MPEG-1和MPEG-222表5-1電視圖像壓縮利用的各種冗余信息種類內(nèi)容目前主要方法統(tǒng)計空間冗余像素間的相關(guān)性變換編碼，預(yù)測編碼特性時間冗余時間方向上的相關(guān)性幀間預(yù)測，運動補償圖像構(gòu)造冗余圖像本身的構(gòu)造輪廓編碼，區(qū)域分割知識冗余收發(fā)兩端對人物的共有認識基于知識的編碼視覺冗余人的視覺特性非線性量化，位分配其他不確定性因素

表5-1電視圖像壓縮利用的各種冗余信息種類內(nèi)容目前主要方法23MPEG-Video圖像壓縮技術(shù)基本方法和方法可以歸納成兩個要點：①在空間方向上，圖像數(shù)據(jù)壓縮采用JPEG(JointPhotographicExpertsGroup)壓縮算法來去掉冗余信息。②在時間方向上，圖像數(shù)據(jù)壓縮采用運動補償(motioncompensation)算法來去掉冗余信息。為了在保證圖像質(zhì)量基本不降低而又能夠獲得高的壓縮比，MPEG專家組定義了三種圖像：幀內(nèi)圖像I(intra)，預(yù)測圖像P(predicted)和雙向預(yù)測圖像B(bidirectionallyinterpolated)，典型的排列如圖5-04所示。這三種圖像將采用三種不同的算法進行壓縮。圖5-04MPEG專家組定義的三種圖像

MPEG-Video圖像壓縮技術(shù)基本方法和方法可以歸242幀內(nèi)圖像I的壓縮編碼算法幀內(nèi)圖像I不參照任何過去的或者將來的其他圖像幀，壓縮編碼采用類似JPEG壓縮算法，它的框圖如圖5-05所示。如果電視圖像是用RGB空間表示的，則首先把它轉(zhuǎn)換成YCrCb空間表示的圖像。每個圖像平面分成8×8的圖塊，對每個圖塊進行離散余弦變換DCT(discreteCosineTransform)。DCT變換后經(jīng)過量化的交流分量系數(shù)按照Zig-zag的形狀排序，然后再使用無損壓縮技術(shù)進行編碼。DCT變換后經(jīng)過量化的直流分量系數(shù)用差分脈沖編碼DPCM(DifferentialPulseCodeModulation)，交流分量系數(shù)用行程長度編碼RLE(run-lengthencoding)，然后再用霍夫曼(Huffman)編碼或者用算術(shù)編碼。它的編碼框圖如圖5-05所示。2幀內(nèi)圖像I的壓縮編碼算法25圖5-05幀內(nèi)圖像I的壓縮編碼算法框圖

圖5-05幀內(nèi)圖像I的壓縮編碼算法框圖263預(yù)測圖像P的壓縮編碼算法預(yù)測圖像的編碼也是以圖像宏塊(macroblock)為基本編碼單元，一個宏塊定義為I×J像素的圖像塊，一般取16×16。預(yù)測圖像P使用兩種類型的參數(shù)來表示：一種參數(shù)是當前要編碼的圖像宏塊與參考圖像的宏塊之間的差值，另一種參數(shù)是宏塊的運動矢量。運動矢量的概念可用圖5-06表示。圖5-06運動矢量的概念

3預(yù)測圖像P的壓縮編碼算法圖5-06運動矢量的概念27求解差值的方法如圖5-07所示。假設(shè)編碼圖像宏塊MPI是參考圖像宏塊MRJ的最佳匹配塊，它們的差值就是這兩個宏塊中相應(yīng)像素值之差。對所求得的差值進行彩色空間轉(zhuǎn)換，并作4:1:1的子采樣得到Y(jié)，Cr和Cb分量值，然后仿照JPEG壓縮算法對差值進行編碼，計算出的運動矢量也要進行霍夫曼編碼。圖5-07預(yù)測圖像P的壓縮編碼算法框圖

求解差值的方法如圖5-07所示。假設(shè)編碼圖像宏塊MP28求解運動矢量的方法定義在圖5-08中。在求兩個宏塊差值之前，需要找出編碼圖像中的預(yù)測圖像編碼宏塊MPI相對于參考圖像中的參考宏塊MRJ所移動的距離和方向，這就是運動矢量(motionvector)。

圖5-08運動矢量的算法框圖

horizontal求解運動矢量的方法定義在圖5-08中。在求兩個宏塊差值29要使預(yù)測圖像更精確，就要求找到與參考宏塊MRJ最佳匹配的預(yù)測圖像編碼宏塊MPI。所謂最佳匹配是指這兩個宏塊之間的差值最小。方法一、以絕對值A(chǔ)E(absolutedifference)最小作為匹配判據(jù)，

，

方法二、以均方誤差MSE(mean-squareerror)最小作為匹配判據(jù)，方法三、以平均絕對幀差MAD(meanoftheabsoluteframedifference)最小作為匹配判據(jù)，，

要使預(yù)測圖像更精確，就要求找到與參考宏塊MRJ最佳匹配的預(yù)測30其中，dx和dy分別是參考宏塊MRJ的運動矢量d(dx,dy)在X和Y方向上的矢量。從以上分析可知，對預(yù)測圖像的編碼實際上就是尋找最佳匹配圖像宏塊，找到最佳宏塊之后就找到了最佳運動矢量d(dx,dy)。為減少搜索次數(shù)，現(xiàn)在已開發(fā)出許多簡化算法用來尋找最佳宏塊，下面介紹其中的三種。1.二維對數(shù)搜索法(2D-logarithmicsearch)這種方法采用的匹配判據(jù)是MSE為最小。它的搜索策略是當沿著最小失真方向搜索。二維對數(shù)搜索方法如圖5-09所示。在搜索時，每移動一次就檢查5個搜索點。如果最小失真在中央或在邊界，就減少搜索點之間的距離。在這個例子中，步驟1，2，…，5得到的近似移動矢量d為(i，j-2)、(i，j-4)、(i+2，j-4)、(i+2，j-5)和(i+2，j-6)，最后得到的移動矢量為d(i+2，j-6)。其中，dx和dy分別是參考宏塊MRJ的運動矢量d(d31圖5-09二維對數(shù)搜索法圖5-09二維對數(shù)搜索法322.三步搜索法(three-stepsearch)這種搜索法與二維對數(shù)搜索法很接近。不過在開始搜索時，搜索點離(i，j)這個中心點很遠，第一步就測試8個搜索點，如圖5-10所示。在這個例子中，點(i+3，j-3)作為第一個近似的移動矢量d1；第二步，搜索點偏離(i+3，j-3)較近，找到的點假定為(i+3，j-5)；第三步給出了最后的移動矢量為d(i+2，j-6)。本例采用MAD作為匹配判據(jù)。圖5-10三步搜索法

2.三步搜索法(three-stepsearch)圖5-333.對偶搜索法(conjugatesearch)該法使用MAD作為匹配判據(jù)，示于圖5-11。在第一次搜索時，通過計算點(i-1，j)、(i，j)和(i+1，j)處的MAD值來決定i方向上的最小失真。如果計算結(jié)果表明點(i+1，j)處的MAD為最小，就計算點(i+2，j)處的MAD，并從(i，j)，(i+1，j)和(i+2，j)的MAD中找出最小值。按這種方法一直進行下去，直到在i方向上找到最小MAD值及其對應(yīng)的點。在這個例子中，假定在i方向上找到的點為(i+2，j)。在i方向上找到最小MAD值對應(yīng)的點之后，就沿j方向去找最小MAD值對應(yīng)的點，方法與i方向的搜索方法相同。最后得到的移動矢量為d(i+2，j-6)。3.對偶搜索法(conjugatesearch)34圖5-11對偶搜索法

在整個MPEG圖像壓縮過程中，尋找最佳匹配宏塊要占據(jù)相當多的計算時間，匹配得越好，重構(gòu)的圖像質(zhì)量越高。圖5-11對偶搜索法在整個MPEG圖像354雙向預(yù)測圖像B的壓縮編碼算法雙向預(yù)測圖像B的壓縮編碼框圖如圖5-12所示。具體計算方法與預(yù)測圖像P的算法類似。

圖5-12雙向預(yù)測圖像B的壓縮編碼算法框圖[

4雙向預(yù)測圖像B的壓縮編碼算法圖5-12雙向預(yù)測圖像365電視圖像的結(jié)構(gòu)MPEG編碼器算法允許選擇I圖像的頻率和位置。I圖像的頻率是指每秒鐘出現(xiàn)I圖像的次數(shù)，位置是指時間方向上幀所在的位置。一般情況下，I圖像的頻率為2。MPEG編碼器也允許在一對I圖像或者P圖像之間選擇B圖像的數(shù)目。I圖像、P圖像和B圖像數(shù)目的選擇依據(jù)主要是根據(jù)節(jié)目的內(nèi)容。例如，對于快速運動的圖像，I圖像的頻率可以選擇高一些，B圖像的數(shù)目可以選擇少一點；對于慢速運動的圖像I圖像的頻率可以低一點，而B圖像的數(shù)目可以選擇多一點。此外，在實際應(yīng)用中還要考慮媒體的速率。一個典型的I、P、B圖像安排如圖5－13所示。編碼參數(shù)為：幀內(nèi)圖像I的距離為N=15，預(yù)測圖像(P)的距離為M=3。

5電視圖像的結(jié)構(gòu)37圖5－13MPEG電視幀編排

I、P和B圖像壓縮后的大小如表10-02所示，單位為比特。從表中可以看到，I幀圖像的數(shù)據(jù)量最大，而B幀圖像的數(shù)據(jù)量最小。MPEG三種圖像的壓縮后的典型值(比特)

圖像類型IPB平均數(shù)據(jù)/幀MPEG-1CIF格式(1.15Mb/s)150000500002000038000MPEG-2601格式(4.00Mb/s)40000020000080000130000圖5－13MPEG電視幀編排I、P和B圖像壓縮后的大小385.4MPEG-4電視圖像編碼MPEGVideo專家組建立了一個用來開發(fā)圖像和電視圖像編碼技術(shù)的模型，叫做“試驗?zāi)Ｐ?TestModel)”或者叫做“驗證模型(VM—VerificationModel)”。這個模型描述了一個核心的編碼算法平臺，包括編碼器、解碼器以及位流(bitstream)的語法和語義。本節(jié)就電視圖像的編碼和解碼的基本方法作一個簡單介紹，其他內(nèi)容請看本章所附的參考文獻和站點。1、電視圖像對象區(qū)的概念MPEG-4Video編碼算法支持由MPEG-1和MPEG-2提供的所有功能，包括對各種輸入格式下的標準矩形圖像、幀速率、位速率和隔行掃描圖像源的支持。MPEG-4Video算法的核心是支持內(nèi)容基(content-based)的編碼和解碼功能，也就是對場景中使用分割算法抽取的單獨的物理對象進行編碼和解碼。MPEG-4Video還提供管理這些電視內(nèi)容的最基本方法。

5.4MPEG-4電視圖像編碼39為了實現(xiàn)預(yù)想的內(nèi)容基交互等功能，MPEG-4Video驗證模型引進了一個叫做“電視圖像對象區(qū)(VideoObjectPlane，VOP)”的概念。如圖10-11所示，上圖表示支持MPEG-1和MPEG-2的普通的MPEG-4編碼器，下圖表示MPEG-4的甚低速率電視圖像(VeryLowBitrateVideo，VLVB)的核心編碼器。MPEG-4Video驗證模型不像MPEG-1/-2Video那樣把電視圖像都認為是一個矩形區(qū)，而是假設(shè)每幀圖像被分割成許多任意形狀的圖像區(qū)，每個區(qū)都有可能覆蓋描述場景中感興趣的物理對象或者內(nèi)容，這種區(qū)被定義為圖像對象區(qū)VOP。

圖5－13普通MPEG-4編碼器和MPEG-4VLBV核心編碼器

為了實現(xiàn)預(yù)想的內(nèi)容基交互等功能，MPEG-4Vid40

編碼器輸入的是任意形狀的圖像區(qū)，圖像區(qū)的形狀和位置也可隨幀的變化而改變。屬于相同物理對象的連續(xù)的電視圖像對象區(qū)(VOP)組成電視圖像對象(VideoObjects，VO)。例如，一個沒有背景圖像的正在演講的人，如圖10-11所示。MPEG-4可單獨對屬于相同電視圖像對象(VO)的電視圖像區(qū)(VOP)的形狀、移動(motion)和紋理(texture)信息進編碼和傳送，或者把它們編碼成一個單獨的電視圖像對象層(VideoObjectLayer，VOL)。此外，需要標識每個電視圖像對象層(VOL)的信息也包含在編碼后的位流(bitstream)中，這些信息包括各種電視圖像對象層(VOL)的電視圖像在接收端應(yīng)該如何進行組合，以便重構(gòu)完整的原始圖像序列。這樣就可以對每個電視圖像對象區(qū)(VOP)進行單獨解碼，提供了管理電視圖像序列的靈活性。編碼器輸入的是任意形狀的圖像區(qū)，圖像區(qū)的形狀和位置也412電視圖像編碼方案

MPEG-4Video驗證模型對每個電視圖像對象(VO)的形狀、移動和紋理信息進行編碼形成單獨的VOL層，以便能夠單獨對電視圖像對象(VO)進行解碼。如果輸入圖像序列只包含標準的矩形圖像，就不需要形狀編碼，在這種情況下，MPEG-4Video使用的編碼算法結(jié)構(gòu)也就與MPEG-1和MPEG-2使用的算法結(jié)構(gòu)相同。

MPEG-4Video驗證模型對每個電視圖像對象區(qū)(VOP)進行編碼使用的壓縮算法是在MPEG-1和MPEG-2