多媒體編碼通信04-預測

多媒體編碼與通信趙海武上海大學通信學院目錄DPCM幀內預測幀間預測DPCM編碼PCM：脈沖編碼調制56,58,62,55,57,60,59,56DPCM：差分脈沖編碼調制56,2,4,-7,2,3,-1,-3DPCM可以用于像素的分量值，也可以用于變換以后的DCT直流系數7071696870727172686869707273701-2-12211-401111DPCM編碼DPCM編碼器DPCM解碼DPCM解碼器DPCM預測器DPCM的性能主要取決于預測器的性能。一般的線性預測器形式是xn=a1xn-1+a2xn-2+…+akxn-k其中k稱為階數DPCM的特點是算法簡單，易于硬件實現幀內預測分塊基于塊的預測基于塊的幀內預測DPCM以像素值或直流分量值為預測單位，沒有利用更大尺度上的相關性基于塊的預測方法以‘塊’為預測單位，利用相鄰的已經解碼的像素預測當前要編碼的塊塊通常是正方形的，尺寸有4x4,8x8,16x16等下面以8x8為例來說明分塊基于塊的幀內預測8x8塊預測模式基于塊的幀內預測基于塊的幀內預測有以下模式方向模式垂直水平左下右下…直流模式平面模式基于塊的幀內預測垂直模式Intra_8x8_Vertical當r[i]（i=1～8）‘可用’時，該模式才被使用，此時predMatrix[x,y]=r[x+1]（x,y=0～7）水平模式Intra_8x8_Horizontal當c[i]（i=1～8）‘可用’時，該模式才被使用，此時predMatrix[x,y]=c[y+1]（x,y=0～7）基于塊的幀內預測左下模式Intra_8x8_Down_Left當r[i]、c[i]（i=1～16）均‘可用’時，該模式才被使用，此時predMatrix[x,y]=((r[x+y+1]+2

r[x+y+2]+r[x+y+3]+2)>>2+(c[x+y+1]+2

c[x+y+2]+c[x+y+3]+2)>>2)>>1（x,y=0～7）右下模式Intra_8x8_Down_Right當r[i]、c[i]（i=0～16）均‘可用’時，該模式才被使用，此時如果x等于y，predMatrix[x,y]=(c[1]+2

r[0]+r[1]+2)>>2（x,y=0～7）；否則如果x大于y，predMatrix[x,y]=(r[x-y+1]+2

r[x-y]+r[x-y-1]+2)>>2（x,y=0～7）；否則如果y大于x,predMatrix[x,y]=(c[y-x+1]+2

c[y-x]+c[y-x-1]+2)>>2（x,y=0～7）?；趬K的幀內預測直流模式Intra_8x8_DC如果r[i]、c[i]（i=0～9）都‘可用’,則predMatrix[x,y]=((r[x]+2

r[x+1]+r[x+2]+2)>>2+(c[y]+2

c[y+1]+c[y+2]+2)>>2)>>1（x,y=0～7）；否則如果r[i]（i=0～9）‘可用’，則predMatrix[x,y]=(r[x]+2

r[x+1]+r[x+2]+2)>>2（x,y=0～7）；否則如果c[i]（i=0～9）‘可用’，則predMatrix[x,y]=(c[y]+2

c[y+1]+c[y+2]+2)>>2（x,y=0～7）；否則predMatrix[x,y]=128（x,y=0～7）基于塊的幀內預測平面模式Intra_Chroma_Plane當r[i]、c[i]（i=1～8）均‘可用’時，該模式才被使用，此時predMatrix[x,y]=Clip1((ia+(x-3)

ib+(y-3)

ic+16)>>5)（x,y=0～7）。其中，ia=(r[8]+c[8])<<4,ib=(17

ih+16)>>5,ic=(17

iv+16)>>5,ih=iv=Clip1(v)=v<0?0:(v>255?255:v)基于塊的幀內預測基于塊的幀內預測還有更多的塊尺寸和形狀更多的方向模式更多的預測算法雙線性模式參考像素濾波基于塊的幀內預測更多的塊尺寸和形狀基于塊的幀內預測更多的方向模式幀間預測綜述運動向量塊劃分預測塊與殘差塊匹配準則搜索算法幀間預測綜述時間上相鄰的圖像存在很大的相關性，用幀間預測可以有效地消除這種相關性幀間預測主要是基于塊的預測方法，也有整幀的預測方法運動向量：匹配塊的位置與當前塊的位置的差，MV=(xm-xc,ym-yc)其中(xm,ym)是匹配塊的亮度分量的左上角樣本在整個幀的亮度樣本構成的矩陣中的坐標，(xc,yc)的含義類似YYCbCrCrCb參考幀當前幀當前塊匹配塊同位塊MV幀間預測：運動向量幀間預測：塊劃分通用模式是矩形塊，MxN固定大小的正方形寬高比最大為2的矩形MV=(xm-xc,ym-yc)=(xv,yv)predMatrix[x,y]=refPic[x+xc+xv,y+yc+yv]如果x+xc+xv和y+yc+yv小于0，則以0代替，如果大于水平或垂直方向的最大值，則用最大值代替。diffMatrix[x,y]=currMatrix[x,y]-predMatrix[x,y]叫做‘殘差塊’或者‘殘差矩陣’YYCbCrCrCb參考幀當前幀當前塊匹配塊同位塊MV幀間預測：預測塊與殘差塊幀間預測：匹配準則判斷兩個塊接近程度的方法最小絕對差（MAD）最小均方誤差（MSE）歸一化互相關函數（NCCF）幀間預測：匹配準則MAD當前塊記為[f(x,y)],候選參考塊記為[g(x,y)]，x=0...M-1,y=0...N-1可見，MAD是兩個塊對應像素值的差的絕對值的平均值。MAD越小表示兩個塊越接近，使MAD達到最小值的那個（些）候選塊叫做MAD最佳匹配塊幀間預測：匹配準則SAD由于在尋找一個塊的最佳匹配塊的過程中塊的大小是不變的，所以比較‘總和’和比較平均值的結果是一樣的，計算總和可以簡化計算。絕對差值和（SAD）的計算公式是幀間預測：匹配準則MSEMAD最佳匹配塊在實際編碼的時候不一定是最佳的，因為變換系數的值不僅和MAD有關，還和每個差值具體取值及其分布有關MSE比MAD更加接近真實的變換結果MSE的計算公式是可見，MSE是兩個塊對應像素值的差的平方的平均值。MSE越小表示兩個塊越接近，使MSE達到最小值的那個（些）候選塊叫做MSE最佳匹配塊幀間預測：匹配準則NCCFNCCF叫做歸一化互相關函數，它的計算公式是NCCF描述的是兩個塊的相關性。NCCF的值越大，表示兩個塊的相關性越強。使NCCF達到最大值的那個（些）候選塊叫做NCCF最佳匹配塊NCCF和變換的原理是類似的，所以在理論上NCCF比MAD和MSE更好。幀間預測：匹配準則練習分別計算SAD，MAD和NCCF幀間預測：搜索算法全搜索法（fullsearchalgorithm,FSA）三步搜索法（threestepsearch,TSS）新三步搜索法（novelTSS,NTSS）四步搜索法（fourstepsearch,FSS）菱形搜索法（diamondsearch,DS）六邊形搜索法（hexagon-basedsearch,HEXBS）混合非對稱交叉多六邊形網格搜索法（UMHexagonS）幀間預測：全搜索全搜索是最笨但也是最優(yōu)的方法確定一個搜索窗計算搜索窗中每個可能的mv的匹配效果（選一種匹配準則）取匹配效果最好的mv計算量最大保證得到最優(yōu)的mv幀間預測：三步法三步法是一種典型的快速搜索算法，主要思想是由粗到精從搜索窗中心點開始，按一定步長去周圍8個點作匹配計算，選一個匹配最好的點，記為MBD將步長減半，以MBD為新的中心點，取8個點再做匹配計算如此遞推，知道搜索步長為1，得到最后的MBD作為最終的mv計算量變小，但不能保證獲得最優(yōu)的mv幀間預測：新三步法三步法采用9點正方形搜索模板，第一步步長過大，容易陷入局部最優(yōu)新三步法第一步的搜索模板上有17個點，如果MBD位于模板中心，則搜索結束如果MBD是8個相鄰點之一，則以MBD為新的中心，在3x3鄰域內逐步搜索，直到MBD位于模板中心如果第一步的MBD不是8個相鄰點之一，則令步長減半，按照三步法繼續(xù)搜索引入提前終止可以適應小運動的視頻序列幀間預測：四步法四步法基于實際視頻的一個特征，即MV都是中心分布的四步法第一步的搜索窗為5x5每一步將搜索中心移到MBD處后續(xù)各步的搜索窗大小依賴于MBD點的位置幀間預測：菱形搜索法搜索模板的大小和形狀會影響算法的速度和性能，搜索模板太大易產生錯誤的搜索路徑太小又容易陷入局部最優(yōu)菱形搜索采用兩種模板：9點和5點搜索時先用大模板，當MBD出現在大模板的中心時改用小模板作業(yè)4如下表所示的4x4編碼塊，在SAD準則下，比較水平預測模式和垂直預測模式哪個更好

568465676777778989799998作業(yè)4如下所示的8x8參考塊和當前編碼塊，請計算兩個塊匹配的MSE51545251525249505352525851475052535153555153454448475547514846445353474354495040

5747434762604539

5041506080794838

535050

579493764849484650594856464846474451554746

4748794648464744505650