運(yùn)動(dòng)圖像的編碼一

運(yùn)動(dòng)圖像的編碼一第1頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月運(yùn)動(dòng)圖像的特點(diǎn)運(yùn)動(dòng)圖像本質(zhì)上是連續(xù)的時(shí)間內(nèi)連續(xù)的場(chǎng)景變化，我們眼睛看到的實(shí)際事物就滿(mǎn)足這個(gè)要求。由于人眼的視覺(jué)特點(diǎn)，我們可以利用離散的時(shí)間點(diǎn)上一幅幅圖像來(lái)表示，而讓人產(chǎn)生同樣的視覺(jué)效果。這一幅幅圖像就是幀，就是時(shí)間離散化的結(jié)果。在一幀圖像中，我們可以從空間上分割為一個(gè)個(gè)像素，用單個(gè)像素來(lái)替代原來(lái)的若干模擬點(diǎn)，這就是空間離散化的結(jié)果。我們對(duì)于運(yùn)動(dòng)圖像，就利用時(shí)間離散化和空間離散化產(chǎn)生的相關(guān)性，來(lái)進(jìn)行壓縮編碼第2頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月運(yùn)動(dòng)圖像的冗余空間冗余：和靜止圖像的冗余情況一致時(shí)間冗余：人眼的視覺(jué)特點(diǎn)，25fps就可以認(rèn)為連續(xù)。幀間預(yù)測(cè)：利用相鄰幀的時(shí)間相關(guān)性運(yùn)動(dòng)估值：對(duì)運(yùn)動(dòng)的物體，幀間的相關(guān)性降低，利用運(yùn)動(dòng)估值，可以減小預(yù)測(cè)的殘差。第3頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月運(yùn)動(dòng)圖像編碼技術(shù)我們已經(jīng)講過(guò)了靜止圖像編碼，運(yùn)動(dòng)圖像既然是一幅幅靜止圖像在時(shí)間上的先后排列，因此可以簡(jiǎn)單的將每一幅靜止圖像編碼組合起來(lái)，就形成了一個(gè)運(yùn)動(dòng)圖像的編碼。這樣的碼流還是很大，舉例來(lái)說(shuō)，一幅300*200的圖像，用JPEG壓縮后要20KBytes。如果是30幀/秒的視頻，則會(huì)產(chǎn)生600KB/s=4.8Mb/s的碼流。這在網(wǎng)絡(luò)傳輸中還是無(wú)法接收的帶寬要求。為此，我們必須利用運(yùn)動(dòng)圖像在時(shí)間軸上的相關(guān)性，利用預(yù)測(cè)編碼的方法，而只傳輸余量信號(hào)，就可以減小信號(hào)的動(dòng)態(tài)范圍，降低碼率。進(jìn)行準(zhǔn)確預(yù)測(cè)的基礎(chǔ)就是運(yùn)動(dòng)矢量估計(jì)，具體的編碼方法就是幀間預(yù)測(cè)編碼第4頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月運(yùn)動(dòng)矢量估計(jì)第5頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月塊匹配方法(1)按一般想法，應(yīng)將運(yùn)動(dòng)物體和靜止背景分離，然后再對(duì)運(yùn)動(dòng)物理進(jìn)行運(yùn)動(dòng)估計(jì)。如何分離？實(shí)際上，將圖像分塊，并認(rèn)為每塊內(nèi)像素具有同樣的運(yùn)動(dòng)矢量。在k幀中的一個(gè)塊，在k-1幀中尋找最相似的子塊，稱(chēng)為匹配塊，進(jìn)而得到運(yùn)動(dòng)矢量D當(dāng)前幀中的子塊前一幀中的最佳匹配子塊前一幀中的搜索區(qū)域位移矢量第6頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月塊匹配方法(2)搜索范圍是有限的，設(shè)兩幀間隔時(shí)間內(nèi)，最大的水平和垂直位移是，則搜索范圍SR為如何判斷兩個(gè)子塊是否匹配？如何搜索計(jì)算量最小？子塊相似程度—?dú)w一化的二維互相關(guān)函數(shù)，越大越相似。第7頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月塊匹配方法(3)NCCF計(jì)算復(fù)雜，常用下面兩個(gè)計(jì)算簡(jiǎn)單的值。幀間子塊亮度的均方差值MSE幀間子塊亮度的絕對(duì)值的均值MAD匹配準(zhǔn)則的不同，對(duì)匹配精度影響不大，故常用沒(méi)有乘除法的MAD作為實(shí)用的匹配準(zhǔn)則。第8頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月匹配塊的搜索全搜索：在整個(gè)搜索區(qū)域逐個(gè)像素移動(dòng)，每次都要計(jì)算MAD?？偟囊苿?dòng)次數(shù)：快速搜索算法二維對(duì)數(shù)法三步法共軛方向法正交搜索法基于同一假設(shè)：當(dāng)偏離最小誤差方向時(shí)，判決函數(shù)單調(diào)上升。即不存在局部最小值。第9頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月三步法每步對(duì)中心和8個(gè)臨域點(diǎn)計(jì)算，而且臨域點(diǎn)和中心點(diǎn)的距離，隨著搜索步驟的增加而減小。右圖搜索3步，最終的匹配點(diǎn)是(i+2,j+6)2221121222211111133333333第10頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月共軛方向法首先延水平方向搜索，計(jì)算中心點(diǎn)與左右兩點(diǎn)的判決值，找到最小點(diǎn)，并移動(dòng)，直到中心點(diǎn)就是最小點(diǎn)。再延垂直方向進(jìn)行搜索，直至找到最佳匹配點(diǎn)。91123445678第11頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月快速搜索算法比較搜索方法所需搜索點(diǎn)數(shù)所需搜索步驟圖例最壞情況圖例最壞情況二維對(duì)數(shù)法182157三步法252533共軛方向法1215912正交搜索法131366對(duì)全搜索，若，需要搜索點(diǎn)數(shù)Q=169，而快速算法的搜索點(diǎn)數(shù)見(jiàn)下表。由于很多DSP能并行運(yùn)算，因此減小搜索步驟比減小搜索點(diǎn)數(shù)更重要，同一步的不同點(diǎn)的判決函數(shù)值可以并行計(jì)算。

第12頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月像素遞歸法(1)先將圖像中的運(yùn)動(dòng)部分與靜止部分分開(kāi)，然后在運(yùn)動(dòng)區(qū)域內(nèi)每個(gè)像素上以迭代的方式計(jì)算位移量經(jīng)位移后，相鄰兩幀圖像差值DFD(DisplacedFrameDifference)的平方通過(guò)迭代，得到最優(yōu)的Di，使得DFD最小。一般迭代方向沿著負(fù)梯度方向。第13頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月像素遞歸法(2)迭代法示意圖DFD按什么范圍計(jì)算？一個(gè)像素還是整個(gè)運(yùn)動(dòng)區(qū)域？按像素計(jì)算的DFD函數(shù)圖，可能的問(wèn)題按運(yùn)動(dòng)區(qū)域計(jì)算的函數(shù)圖與可能的問(wèn)題第14頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月兩種方法的比較塊匹配法不需要分離運(yùn)動(dòng)與靜止區(qū)域一個(gè)塊有一個(gè)運(yùn)動(dòng)矢量像素遞歸法需要分離運(yùn)動(dòng)與靜止區(qū)域逐個(gè)像素，或者逐個(gè)獨(dú)立運(yùn)動(dòng)的模塊進(jìn)行遞歸運(yùn)動(dòng)矢量估計(jì)更準(zhǔn)確對(duì)于一般的運(yùn)動(dòng)圖像，由于運(yùn)動(dòng)物體無(wú)規(guī)律，采用塊匹配法更合適；而對(duì)于那種大面積背景不變，而只是單個(gè)或個(gè)別物體運(yùn)動(dòng)的運(yùn)動(dòng)圖像，則更適合用像素遞歸法。第15頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月半像素搜索為了提高運(yùn)動(dòng)矢量的精度，引入半像素搜索。在原先搜索到最小MAD的位置(i,j)上，再通過(guò)線(xiàn)形內(nèi)插得到周?chē)?個(gè)半像素點(diǎn)。再在這9個(gè)點(diǎn)中尋找最終的匹配點(diǎn)。(i,j)第16頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月具有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)第17頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月前向預(yù)測(cè)(1)前向預(yù)測(cè)：用k-1幀來(lái)預(yù)測(cè)k幀。不直接傳送當(dāng)前幀像素，而是傳送同一位置的當(dāng)前幀像素與前一幀像素的差值。對(duì)運(yùn)動(dòng)物體，這個(gè)差值很大，預(yù)測(cè)沒(méi)有起作用。如果已知運(yùn)動(dòng)物體的方向和速度，可從k-1幀的位置推出k幀中運(yùn)動(dòng)物體的位置，而背景而以k-1幀的背景代替。這種方法稱(chēng)為具有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)。k-1幀k幀k-1幀k幀X’X第18頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月前向預(yù)測(cè)(2)基本步驟將圖像分割為運(yùn)動(dòng)物理和靜止背景，估計(jì)各運(yùn)動(dòng)物體的運(yùn)動(dòng)矢量。計(jì)算運(yùn)動(dòng)補(bǔ)償后的預(yù)測(cè)值傳送預(yù)測(cè)誤差，運(yùn)動(dòng)矢量以及對(duì)運(yùn)動(dòng)物體和靜止背景的分割的信息。事實(shí)上，將圖像分割為靜止區(qū)和不同的運(yùn)動(dòng)區(qū)域，是很困難的。一般來(lái)說(shuō)，將圖像分塊，每塊都作為一個(gè)物體估算運(yùn)動(dòng)矢量，接收端按上面的方法可以恢復(fù)該塊數(shù)據(jù)。第19頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月前向預(yù)測(cè)(3)問(wèn)題：若同一塊中有兩個(gè)不同的運(yùn)動(dòng)物體，則運(yùn)動(dòng)矢量必然不準(zhǔn)確，導(dǎo)致預(yù)測(cè)誤差增大。k-1與k幀中各子塊的相互關(guān)系1234567891011121312734561389101112K-1幀K幀也可以使用像素遞歸法得到每個(gè)像素的位移矢量。但是運(yùn)算復(fù)雜，而且對(duì)于大面積的運(yùn)動(dòng)物體，像素遞歸法反而會(huì)由于噪聲的存在，導(dǎo)致同一物體的運(yùn)動(dòng)矢量不一致。因此實(shí)用中，常選用塊匹配算法。第20頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月后向預(yù)測(cè)與雙向預(yù)測(cè)如果用k幀預(yù)測(cè)k-1幀的圖像，稱(chēng)為后向預(yù)測(cè)為提高壓縮比，往往需要用前后兩幀來(lái)預(yù)測(cè)中間幀，稱(chēng)為雙向預(yù)測(cè)。利用兩個(gè)運(yùn)動(dòng)矢量和預(yù)測(cè)值，進(jìn)一步降低預(yù)測(cè)誤差。問(wèn)題：會(huì)引入延時(shí)。K-1幀K幀K+1幀第21頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月具有運(yùn)動(dòng)補(bǔ)償?shù)膸g內(nèi)插第22頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月幀間內(nèi)插(1)在發(fā)送端每隔一段時(shí)間，丟掉一幀或幾幀圖像，在收端利用幀間相關(guān)性將丟掉的幀恢復(fù)，適用于低比特率傳輸，如可視電話(huà)。簡(jiǎn)單的接收幀重復(fù)顯示。這樣動(dòng)作會(huì)不連續(xù)。線(xiàn)形內(nèi)插恢復(fù)丟失幀。ABC傳送幀丟棄幀傳送幀第23頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月幀間內(nèi)插(2)ABk-幀i幀k幀當(dāng)存在運(yùn)動(dòng)物體時(shí)，簡(jiǎn)單內(nèi)插會(huì)引起圖像模糊，必須加入運(yùn)動(dòng)補(bǔ)償。相鄰兩幀比較，分為不變區(qū)域，變化區(qū)域變換區(qū)域又分為運(yùn)動(dòng)物體，由于運(yùn)動(dòng)而覆蓋的背景以及新暴露的背景。這4塊區(qū)域需要不同的處理方法。幀間內(nèi)插要求運(yùn)動(dòng)矢量估計(jì)更準(zhǔn)確，一般采用像素遞歸法。第24頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月運(yùn)動(dòng)圖像編碼系統(tǒng)

典型的編碼器框圖

速率控制的反饋

編碼速率的范圍

第25頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月典型的編碼器框圖DCT緩存熵編碼QDQIDCT運(yùn)動(dòng)估值參考幀存儲(chǔ)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)預(yù)處理++圖像復(fù)雜度分析速率控制視頻信號(hào)入運(yùn)動(dòng)矢量壓縮碼流編碼器-第26頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月典型的解碼器框圖熵解碼DQIDCT幀存儲(chǔ)運(yùn)動(dòng)補(bǔ)償+運(yùn)動(dòng)矢量視頻信號(hào)壓縮碼流解碼器第27頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月速度控制策略編碼器產(chǎn)生的碼流速率是變化的，為了適應(yīng)恒定速率信道的要求，需要在編碼器和信道之間設(shè)置一個(gè)緩存器。緩存器的充滿(mǎn)程度與碼流速率和信道速率的差值有關(guān)。為了防止緩存器的溢出或清空，需要利用反饋機(jī)制去控制量化器的量化間隔來(lái)穩(wěn)定碼流。一般來(lái)說(shuō)，運(yùn)動(dòng)較大時(shí)，預(yù)測(cè)后余量信號(hào)動(dòng)態(tài)范圍較大，產(chǎn)生較多的碼流，通過(guò)反饋，使得量化間隔變大，碼率下降，但是圖像質(zhì)量也相應(yīng)的下降。因此我們看到同樣的情況下，運(yùn)動(dòng)劇烈的視頻質(zhì)量，往往不如運(yùn)動(dòng)比較平穩(wěn)的視頻。第28頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月速度控制的反饋模型基本思想是：根據(jù)信道速率，為每幀圖像規(guī)定好編碼的比特?cái)?shù)，稱(chēng)為目標(biāo)比特分配；然后在編碼中，通過(guò)調(diào)整量化間隔，使編碼的實(shí)際比特?cái)?shù)，接近其預(yù)分配值。目標(biāo)比特分配：設(shè)Ti,Tp,Tb為三種幀的目標(biāo)比特?cái)?shù)，應(yīng)和信道速率Rc匹配。若實(shí)際幀的編碼比特為Si,Sp,Sb，實(shí)際數(shù)據(jù)速率為Rc’。則將目標(biāo)比特?cái)?shù)更新為T(mén)x=Sx*Rc/Rc’。碼率調(diào)整：量化間隔Q=Qmin+Buf/N，其中Qmin為量化間隔的下限，N為系數(shù)，Buf為緩沖器中數(shù)據(jù)量。Buf由下式更新：Buf+=SB-NB。其中SB為實(shí)際的編碼比特?cái)?shù)，NB為目標(biāo)比特?cái)?shù)。第29頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月編碼器碼流的速度范圍盡管從一段時(shí)間平均的來(lái)看，編碼器通過(guò)速率控制使其輸出碼流的速率保持恒定，但是對(duì)每一幀圖像而言，編碼后的數(shù)據(jù)量并不相同。對(duì)于恒定速率信道而言，每個(gè)已編碼幀的數(shù)據(jù)量的變動(dòng)不應(yīng)超過(guò)一定的范圍。我們利用VBV(VideoBufferVerifier)模型來(lái)進(jìn)行描述第30頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月VBV模型（1）VBV是一個(gè)假想的解碼器，在解碼器前有個(gè)容量為B的緩存器。右圖表示隨著時(shí)間的推移，緩存器中數(shù)據(jù)量的變化。其中tn表示幀的采樣時(shí)刻，dn表示一幀圖像的數(shù)據(jù)，Bn表示緩存器中的剩余數(shù)據(jù)。0Bttn+1tnt1d1Bn+1BnB1dndn+1BFVBV-delay解碼器B第31頁(yè)，課件共32頁(yè)，創(chuàng)作于2023年2月VBV模型（2）若tn時(shí)刻剩余量為Bn，為了保證有足夠數(shù)據(jù)提供給tn+1時(shí)刻作解碼，要求Bn+Rc/fr>=dn+1，其中fr為幀