多媒體編碼通信04-預(yù)測

多媒體編碼與通信趙海武上海大學(xué)通信學(xué)院目錄DPCM幀內(nèi)預(yù)測幀間預(yù)測DPCM編碼PCM：脈沖編碼調(diào)制56,58,62,55,57,60,59,56DPCM：差分脈沖編碼調(diào)制56,2,4,-7,2,3,-1,-3DPCM可以用于像素的分量值，也可以用于變換以后的DCT直流系數(shù)7071696870727172686869707273701-2-12211-401111DPCM編碼DPCM編碼器DPCM解碼DPCM解碼器DPCM預(yù)測器DPCM的性能主要取決于預(yù)測器的性能。一般的線性預(yù)測器形式是xn=a1xn-1+a2xn-2+…+akxn-k其中k稱為階數(shù)DPCM的特點(diǎn)是算法簡單，易于硬件實(shí)現(xiàn)幀內(nèi)預(yù)測分塊基于塊的預(yù)測基于塊的幀內(nèi)預(yù)測DPCM以像素值或直流分量值為預(yù)測單位，沒有利用更大尺度上的相關(guān)性基于塊的預(yù)測方法以‘塊’為預(yù)測單位，利用相鄰的已經(jīng)解碼的像素預(yù)測當(dāng)前要編碼的塊塊通常是正方形的，尺寸有4x4,8x8,16x16等下面以8x8為例來說明分塊基于塊的幀內(nèi)預(yù)測8x8塊預(yù)測模式基于塊的幀內(nèi)預(yù)測基于塊的幀內(nèi)預(yù)測有以下模式方向模式垂直水平左下右下…直流模式平面模式基于塊的幀內(nèi)預(yù)測垂直模式Intra_8x8_Vertical當(dāng)r[i]（i=1～8）‘可用’時，該模式才被使用，此時predMatrix[x,y]=r[x+1]（x,y=0～7）水平模式Intra_8x8_Horizontal當(dāng)c[i]（i=1～8）‘可用’時，該模式才被使用，此時predMatrix[x,y]=c[y+1]（x,y=0～7）基于塊的幀內(nèi)預(yù)測左下模式Intra_8x8_Down_Left當(dāng)r[i]、c[i]（i=1～16）均‘可用’時，該模式才被使用，此時predMatrix[x,y]=((r[x+y+1]+2

r[x+y+2]+r[x+y+3]+2)>>2+(c[x+y+1]+2

c[x+y+2]+c[x+y+3]+2)>>2)>>1（x,y=0～7）右下模式Intra_8x8_Down_Right當(dāng)r[i]、c[i]（i=0～16）均‘可用’時，該模式才被使用，此時如果x等于y，predMatrix[x,y]=(c[1]+2

r[0]+r[1]+2)>>2（x,y=0～7）；否則如果x大于y，predMatrix[x,y]=(r[x-y+1]+2

r[x-y]+r[x-y-1]+2)>>2（x,y=0～7）；否則如果y大于x,predMatrix[x,y]=(c[y-x+1]+2

c[y-x]+c[y-x-1]+2)>>2（x,y=0～7）。基于塊的幀內(nèi)預(yù)測直流模式Intra_8x8_DC如果r[i]、c[i]（i=0～9）都‘可用’,則predMatrix[x,y]=((r[x]+2

r[x+1]+r[x+2]+2)>>2+(c[y]+2

c[y+1]+c[y+2]+2)>>2)>>1（x,y=0～7）；否則如果r[i]（i=0～9）‘可用’，則predMatrix[x,y]=(r[x]+2

r[x+1]+r[x+2]+2)>>2（x,y=0～7）；否則如果c[i]（i=0～9）‘可用’，則predMatrix[x,y]=(c[y]+2

c[y+1]+c[y+2]+2)>>2（x,y=0～7）；否則predMatrix[x,y]=128（x,y=0～7）基于塊的幀內(nèi)預(yù)測平面模式Intra_Chroma_Plane當(dāng)r[i]、c[i]（i=1～8）均‘可用’時，該模式才被使用，此時predMatrix[x,y]=Clip1((ia+(x-3)

ib+(y-3)

ic+16)>>5)（x,y=0～7）。其中，ia=(r[8]+c[8])<<4,ib=(17

ih+16)>>5,ic=(17

iv+16)>>5,ih=iv=Clip1(v)=v<0?0:(v>255?255:v)基于塊的幀內(nèi)預(yù)測基于塊的幀內(nèi)預(yù)測還有更多的塊尺寸和形狀更多的方向模式更多的預(yù)測算法雙線性模式參考像素濾波基于塊的幀內(nèi)預(yù)測更多的塊尺寸和形狀基于塊的幀內(nèi)預(yù)測更多的方向模式幀間預(yù)測綜述運(yùn)動向量塊劃分預(yù)測塊與殘差塊匹配準(zhǔn)則搜索算法幀間預(yù)測綜述時間上相鄰的圖像存在很大的相關(guān)性，用幀間預(yù)測可以有效地消除這種相關(guān)性幀間預(yù)測主要是基于塊的預(yù)測方法，也有整幀的預(yù)測方法運(yùn)動向量：匹配塊的位置與當(dāng)前塊的位置的差，MV=(xm-xc,ym-yc)其中(xm,ym)是匹配塊的亮度分量的左上角樣本在整個幀的亮度樣本構(gòu)成的矩陣中的坐標(biāo)，(xc,yc)的含義類似YYCbCrCrCb參考幀當(dāng)前幀當(dāng)前塊匹配塊同位塊MV幀間預(yù)測：運(yùn)動向量幀間預(yù)測：塊劃分通用模式是矩形塊，MxN固定大小的正方形寬高比最大為2的矩形MV=(xm-xc,ym-yc)=(xv,yv)predMatrix[x,y]=refPic[x+xc+xv,y+yc+yv]如果x+xc+xv和y+yc+yv小于0，則以0代替，如果大于水平或垂直方向的最大值，則用最大值代替。diffMatrix[x,y]=currMatrix[x,y]-predMatrix[x,y]叫做‘殘差塊’或者‘殘差矩陣’YYCbCrCrCb參考幀當(dāng)前幀當(dāng)前塊匹配塊同位塊MV幀間預(yù)測：預(yù)測塊與殘差塊幀間預(yù)測：匹配準(zhǔn)則判斷兩個塊接近程度的方法最小絕對差（MAD）最小均方誤差（MSE）歸一化互相關(guān)函數(shù)（NCCF）幀間預(yù)測：匹配準(zhǔn)則MAD當(dāng)前塊記為[f(x,y)],候選參考塊記為[g(x,y)]，x=0...M-1,y=0...N-1可見，MAD是兩個塊對應(yīng)像素值的差的絕對值的平均值。MAD越小表示兩個塊越接近，使MAD達(dá)到最小值的那個（些）候選塊叫做MAD最佳匹配塊幀間預(yù)測：匹配準(zhǔn)則SAD由于在尋找一個塊的最佳匹配塊的過程中塊的大小是不變的，所以比較‘總和’和比較平均值的結(jié)果是一樣的，計算總和可以簡化計算。絕對差值和（SAD）的計算公式是幀間預(yù)測：匹配準(zhǔn)則MSEMAD最佳匹配塊在實(shí)際編碼的時候不一定是最佳的，因?yàn)樽儞Q系數(shù)的值不僅和MAD有關(guān)，還和每個差值具體取值及其分布有關(guān)MSE比MAD更加接近真實(shí)的變換結(jié)果MSE的計算公式是可見，MSE是兩個塊對應(yīng)像素值的差的平方的平均值。MSE越小表示兩個塊越接近，使MSE達(dá)到最小值的那個（些）候選塊叫做MSE最佳匹配塊幀間預(yù)測：匹配準(zhǔn)則NCCFNCCF叫做歸一化互相關(guān)函數(shù)，它的計算公式是NCCF描述的是兩個塊的相關(guān)性。NCCF的值越大，表示兩個塊的相關(guān)性越強(qiáng)。使NCCF達(dá)到最大值的那個（些）候選塊叫做NCCF最佳匹配塊NCCF和變換的原理是類似的，所以在理論上NCCF比MAD和MSE更好。幀間預(yù)測：匹配準(zhǔn)則練習(xí)分別計算SAD，MAD和NCCF幀間預(yù)測：搜索算法全搜索法（fullsearchalgorithm,FSA）三步搜索法（threestepsearch,TSS）新三步搜索法（novelTSS,NTSS）四步搜索法（fourstepsearch,FSS）菱形搜索法（diamondsearch,DS）六邊形搜索法（hexagon-basedsearch,HEXBS）混合非對稱交叉多六邊形網(wǎng)格搜索法（UMHexagonS）幀間預(yù)測：全搜索全搜索是最笨但也是最優(yōu)的方法確定一個搜索窗計算搜索窗中每個可能的mv的匹配效果（選一種匹配準(zhǔn)則）取匹配效果最好的mv計算量最大保證得到最優(yōu)的mv幀間預(yù)測：三步法三步法是一種典型的快速搜索算法，主要思想是由粗到精從搜索窗中心點(diǎn)開始，按一定步長去周圍8個點(diǎn)作匹配計算，選一個匹配最好的點(diǎn)，記為MBD將步長減半，以MBD為新的中心點(diǎn)，取8個點(diǎn)再做匹配計算如此遞推，知道搜索步長為1，得到最后的MBD作為最終的mv計算量變小，但不能保證獲得最優(yōu)的mv幀間預(yù)測：新三步法三步法采用9點(diǎn)正方形搜索模板，第一步步長過大，容易陷入局部最優(yōu)新三步法第一步的搜索模板上有17個點(diǎn)，如果MBD位于模板中心，則搜索結(jié)束如果MBD是8個相鄰點(diǎn)之一，則以MBD為新的中心，在3x3鄰域內(nèi)逐步搜索，直到MBD位于模板中心如果第一步的MBD不是8個相鄰點(diǎn)之一，則令步長減半，按照三步法繼續(xù)搜索引入提前終止可以適應(yīng)小運(yùn)動的視頻序列幀間預(yù)測：四步法四步法基于實(shí)際視頻的一個特征，即MV都是中心分布的四步法第一步的搜索窗為5x5每一步將搜索中心移到MBD處后續(xù)各步的搜索窗大小依賴于MBD點(diǎn)的位置幀間預(yù)測：菱形搜索法搜索模板的大小和形狀會影響算法的速度和性能，搜索模板太大易產(chǎn)生錯誤的搜索路徑太小又容易陷入局部最優(yōu)菱形搜索采用兩種模板：9點(diǎn)和5點(diǎn)搜索時先用大模板，當(dāng)MBD出現(xiàn)在大模板的中心時改用小模板作業(yè)4如下表所示的4x4編碼塊，在SAD準(zhǔn)則下，比較水平預(yù)測模式和垂直預(yù)測模式哪個更好

568465676777778989799998作業(yè)4如下所示的8x8參考塊和當(dāng)前編碼塊，請計算兩個塊匹配的MSE51545251525249505352525851475052535153555153454448475547514846445353474354495040

5747434762604539

5041506080794838

535050

579493764849484650594856464846474451554746

4748794648464744505650