《多媒體技術》講稿第4章-2-2003

1、第四章-第二部分運動圖象編碼4.2動態(tài)圖象、圖形處理4.2.1概述n利用人眼的視覺惰性作用：對亮度信號保持感覺1/201/10秒n序列圖象、圖形(動畫)(2530幀/S)形成運動感覺特點：(1)時間連續(xù)、適于表示“過程”(2)逐幀顯示、屬于離散型時基媒體(3)數(shù)據(jù)量大，需要壓縮編碼(4)相關性強，這是動態(tài)的基礎，也是壓縮的條件(5)實時性強4.4 預測編碼多媒體技術基礎及應用4幀間編碼幀間編碼n幀間編碼技術處理的對象是序列圖幀間編碼技術處理的對象是序列圖像（也稱為運動圖像）；像（也稱為運動圖像）；nASIC的迅速發(fā)展，已有可能把幾的迅速發(fā)展，已有可能把幾幀圖像存儲起來作實時處理，利用幀圖像存儲

2、起來作實時處理，利用幀間的時間相關性進一步消除圖像幀間的時間相關性進一步消除圖像信號的冗余度，提高壓縮比。信號的冗余度，提高壓縮比。n幀間編碼的技術基礎是預測技術幀間編碼的技術基礎是預測技術 。4.2.2幀間預測編碼n三維預測：利用本行前幾個取樣值，前幾行相鄰取樣值，還有上一幀或前幾幀取樣值等，電視信號相鄰幀間的相關性即時間相關性去掉冗余度，達到壓縮碼率的目的。4.2.2.1幀間差值的統(tǒng)計特性 Frame Difference是指活動圖象序列的某一固定象素位置(m , n)上，當前幀的圖象亮度值X (m ,n)與上一幀的亮度值X-1(m ,n)之差，即 統(tǒng)計資料表明：對于變化較為緩慢的256級

3、灰度的黑白圖象序列幀間差值超過閾值3的象素大約不到4%；對于變化較為劇烈的256級亮度值的彩色電視圖象序列，幀間差值超過閾值6的象素數(shù)平均只有7.5%，而色度信號平均只有7.5%。這些是幀間壓縮編碼的依據(jù)。),(),(),(1nmxnmxnmd4.2.2.2條件幀間修補法Conditional Frame Replenishment CFR稱條件幀間修補法，對第幀的當前象素X (m ,n)的預測值定義為其中X-1(m n)為第-1幀中對應象素X-1(m ,n)的復原值，進而定義當前象素X(m ,n)的幀間差值),(),(1nmxnmx),(),(),(),(),(1nmxnmxnmxnmxnm

4、FDn規(guī)定一個閾值TH，若滿足則認為當前象素X(m ,n)位于圖象的背景區(qū)或相對靜止部分，隔幾幀才傳輸一次。n反之若則認為當前象素X(m ,n)位于圖象的運動物體區(qū)，需用全碼傳送。THnmFD),(THnmFD),(n 進一步的改進是此時傳輸FD(m ,n)，而不是傳輸X(m ,n)本身，在接收端則通過獲得X(m ,n)的復原值。),(),(),(1nmFDnmxnmx4.4 預測編碼多媒體技術基礎及應用10幀間預測編碼條件補充法n若幀間對應像素的亮度差超過閾值，則把這些像素存入緩存中，并以恒定的傳輸速度傳送；n閾值以下的像素不傳送，在接收端用上一幀相應像素值來代替。n 只傳送圖像中亮度差超過

5、閾值的像素，且傳送的只是幀間差值，可以得到較好的壓縮比。n上述預測法(CFR)可獲得平均1bit/象素，壓縮比為8的結果。 4.4 預測編碼多媒體技術基礎及應用11幀間預測編碼條件次取樣n條件補充法還可以和內(nèi)插法相結合應用，稱為條件次取樣 ；n在時間軸采用次取樣，對于未取樣的當前場的某一點，可以用隔場的四個鄰點的亮度均值作為該點亮度的預測值。 4.4 預測編碼多媒體技術基礎及應用12條件次取樣（續(xù)一）條件次取樣（續(xù)一）n圖中兩場像素取樣點錯開半個像素，稱為梅花狀取樣。在時間軸采用次取樣。 4.4 預測編碼多媒體技術基礎及應用13條件次取樣（續(xù)二）條件次取樣（續(xù)二）n在時間軸采用次取樣。預測值為

6、So=(SaSbScSd)/4;n如果像素的亮度實際值與預測值之間的差值小于閾值，則此像素信息就不傳輸；n如果這個差值超過閾值，則補充傳送。 4.2.2.3運動補償預測n目前，從H.261到MPEG-1，MPEG-2都無一例外地采用“簡單幀間預測運動補償”(或者“簡單幀間預測+有條件地切換為幀內(nèi)編碼”)的技術框架。nMotion Compensation運行補償簡寫為MC4.4 預測編碼多媒體技術基礎及應用15運動補償技術運動補償技術n它是Mpeg中使用的主要技術之一。對提高編碼壓縮比很有好處。尤其對于運動部分只占整個畫面較小的會議電視和可視電話，此技術后，壓縮比可以提高很多。n用這一技術計算

7、圖像中運動部分位移的兩個分量可使預測效果大大提高。n運動補償方法是跟蹤畫面內(nèi)的運動情況對其加以補償之后再進行幀間預測。n這項技術的關鍵是運動向量的計算。運動補償預測技術通常由下面幾方面組成：把圖象分割為靜止和運動兩部分，并假設運動物體僅作平移。估計物體的位移值。用位移估值(即運動矢量)進行運動補償預測。預測信息編碼運動估值示意圖例如圖中將當前預測值的位置沿物體平移的方向錯開Dx個象素再進行預測，稱運動補償預測。運動預測與補償技術示意運動預測與補償技術示意圖象分割(Image Segmentation)是運動補償預測的基礎，分割的辦法：n實際分割成不同運動的物體，但較困難。n把圖象分為矩形子塊，

8、將子塊分為動與不動兩種，估計出運動子塊的位移。n對每個象素的位移都進行遞歸估計。將s0,經(jīng)行幀存儲后，即為前一幀的數(shù)據(jù)，把前一幀和當前數(shù)據(jù)送進運動參數(shù)估值器后就得到運動位移的估值，有了運動位移參數(shù)和前幀復原數(shù)據(jù)，就可作出當前象素的預測值。4.2.3運動估值方法4.2.3.1塊匹配法Block Matching Algorithm簡稱BMA，它假設塊內(nèi)各象素只作相等的平移，H.261和MPEG都采用了BMA。首先確定M*N塊與搜索區(qū)的幾何關系如下圖，用MXN子塊在搜索區(qū)內(nèi)尋求最優(yōu)匹配來得到運動矢量估值(dx ,dy)。塊匹配示意圖判決準則：歸一化互相關函數(shù)(NCCF)均方誤差MSE幀間絕對差(M

9、AD)三種估值結果差別不大，但MAD便于計算與硬件實現(xiàn). MAD定義為：),(),(1),(111jnimSnmSMNjiMADKNnKMm其中SK表示第K幀灰度值，i,j分別為水平與垂直方向的偏移量。n搜索方法中最簡單可靠的是窮盡搜索法，對搜索范圍內(nèi)每點都計算MAD值，最小的MAD(i,j)即對應著最優(yōu)匹配，它共需計算(M+2Mx)(N+2My)個MAD值。塊匹配法存在的問題：n塊尺寸的選擇，塊小的時候才可近似認為塊內(nèi)各點作相等平移，但塊太小易干擾噪聲的影響，不可靠，而且矢量場比特數(shù)多，塊大可減輕噪聲影響，但影響估值精度。而且大的塊常包含多個不同運動的物體，塊內(nèi)運動一致性難于滿足。H261和

10、MPEG的建議選1616作為“宏塊”。n估值得到的運動矢量場一致性不夠好，這是由于分割圖象為塊的緣故。n塊內(nèi)包含前景背景兩個不同區(qū)的運動估值，這時塊內(nèi)運動一致性假設不成立，還存在背景的遮擋和露出問題。4.2.3.2像素遞歸法基本公式 Sk(x ,y)=Sk-1(x-dx ,y-dy)即若K幀的(x ,y)點是由K-1幀中位于(x-dx y-dy)處的點運動dx,dy過來的，則這兩點灰度值相等。定義偏移幀差通過修正公式(迭代)找到使DFD為最小的 ,將上述作泰勒展開，用梯度法求解使DFD為最小的運動矢量 ，得迭代修正公式由于受穩(wěn)定性限制，取得很小，如1/1024，因此收斂慢。),(),(),(1yxKKyxdydxSyxSddyxDFDyxdd,TyxddD),(),(),.(11iyixKiyixiidydxSddyxDFDDD4.2.3.3相位相關法在頻域中進行運動估值設Sk-1(x,y)和Sk(x,y)分別為兩幀圖象中大小為N*N的子塊，記Sk-1(x,y)的付立葉變換為則根據(jù)付立葉變換的性質(zhì)，Sk-1(x,y)的空間平移 的付立葉變換為它與Sk-1(u,v)之間相位差為:).(),(11vuSyxSFKK),()(