圖像處理第13章 視頻圖像處理

第13章視頻圖像處理章節(jié)內(nèi)容視頻的表達(dá)、模型、顯示、格式運(yùn)動(dòng)信息分類、前景運(yùn)動(dòng)、背景運(yùn)動(dòng)運(yùn)動(dòng)信息檢測視頻處理方法、濾波視頻預(yù)測編碼原理第13章視頻圖像處理

視頻圖像處理是基于前三個(gè)單元介紹的圖象處理技術(shù)的進(jìn)一步拓展。

視頻一般代表一類彩色序列圖象，它描述了在一段時(shí)間內(nèi)3-D景物投影到2-D圖象平面且由3個(gè)分離的傳感器獲得的場景輻射強(qiáng)度。

視頻可看作是對（靜止）圖象的擴(kuò)展。除了原來圖象的一些概念和定義仍然保留外，為表示視頻還需要一些新的概念和定義。

視頻相對圖像最明顯的一個(gè)區(qū)別就是含有場景中的運(yùn)動(dòng)信息，這也是使用視頻的一個(gè)主要目的。針對含有運(yùn)動(dòng)信息的視頻的特點(diǎn)，原來的圖象處理技術(shù)也需要相應(yīng)的推廣。13.1視頻表達(dá)和格式{首先要討論視頻的表示或表達(dá)，以及視頻的格式和顯示等}13.1.1視頻基礎(chǔ){視頻是在有規(guī)律間隔拍攝得到的圖像序列，所以視頻相對于圖像在時(shí)間上有了擴(kuò)展}1.視頻表達(dá)函數(shù)函數(shù)f(x,y,t)描述了在時(shí)間t投影到圖象平面XY的3-D景物的某種性質(zhì)。對彩色圖象用函數(shù)

f(x,y)來表示，則考慮視頻灰度到彩色的擴(kuò)展，視頻可用函數(shù)

f(x,y,t)來表示。1.視頻表達(dá)函數(shù)彩色視頻都應(yīng)該由3個(gè)函數(shù)（它們組成一個(gè)矢量函數(shù)）來表示，每個(gè)函數(shù)描述一個(gè)彩色分量。這種格式的視頻稱之為分量視頻。(質(zhì)量較高，數(shù)據(jù)量大，用于專業(yè)視頻設(shè)備)復(fù)合視頻格式中的3個(gè)彩色信號被復(fù)用成一個(gè)單獨(dú)的信號。將每個(gè)色度分量調(diào)到一個(gè)位于亮度分量高端的頻率上，將一條色度分量加到原始亮度信號中。(數(shù)據(jù)量小質(zhì)量差)13.1.1視頻基礎(chǔ)2.視頻彩色模型常用的彩色模型是YCBCR模型：Y代表亮度分量，CB和CR代表色度分量。亮度分量可借助彩色的RGB分量獲得：色度分量CB表示藍(lán)色部分與亮度值的差，而色度分量CR表示紅色部分與亮度值的差(也稱色差分量)。由Y、CB

、CR到R、G、B的反變換：13.1.1視頻基礎(chǔ)3.視頻空間采樣率視頻空間采樣指的是對亮度分量Y的采樣率，一般對色度分量CB和CR的采樣率常只有其的二分之一。使每行像素?cái)?shù)減半，每幀行數(shù)不變。這種格式成為4:2:2，即每4個(gè)Y采樣點(diǎn)對應(yīng)2個(gè)CB采樣點(diǎn)和2個(gè)CR采樣點(diǎn)。對于高分辨率的應(yīng)用，定義了4:4:4的各式，即對亮度分量Y的采樣率與對色度分量CB和CR的采樣率相同。另外還有4:1:1和4:2:2的格式。13.1.1視頻基礎(chǔ)4.視頻顯示視頻顯示器寬高比主要有4:3和16:9兩種?？捎袃煞N光柵掃描方式：逐行掃描，隔行掃描逐行掃描：以幀為單位，顯示時(shí)從左上角逐行進(jìn)行到右下角；隔行掃描：以場為單位（一幀分為兩場：頂場包含所有奇數(shù)行，底場包含所有偶數(shù)行），垂直分辨率是幀的一半，顯示時(shí)頂場和底場交替，借助人眼視覺暫留使人感覺為一幅圖像。13.1.1視頻基礎(chǔ)比較兩種模式：逐行掃描：清晰度高，數(shù)據(jù)量大隔行掃描：數(shù)據(jù)量只需一半，效果模糊{視頻在顯示時(shí)還需要有一定的幀率，即相鄰兩幀出現(xiàn)的頻率。根據(jù)人眼的視覺暫留特性，幀率需要高于25幀/秒，低了會(huì)出現(xiàn)閃爍和不連續(xù)}13.1.1視頻基礎(chǔ)5.視頻碼率

視頻的數(shù)據(jù)量由視頻的時(shí)間分辨率、空間分辨率和幅度分辨率共同決定。存儲(chǔ)一秒鐘視頻圖象所需的位數(shù)b（也稱為視頻碼率，單位是b/s），設(shè)視頻幀數(shù)是L，空間分辨率M×N，幅度分辨率G（G=2k）視頻的數(shù)據(jù)量也可由行數(shù)fy、每行樣本數(shù)fx和幀頻ft來定義。如果用K表示視頻中一個(gè)像素值的比特?cái)?shù)，這樣視頻碼率也可表示為：

b=fxfyftK13.1.1視頻基礎(chǔ)6.視頻格式實(shí)際應(yīng)用中視頻有許多不同的格式，下表為一些常用的視頻格式13.1.2彩色電視制式常用彩色電視制式保羅NTSC(美國開發(fā)，用于美國、日本等)、PAL(德國開發(fā)，用于德國、中共等)SECAM(法國開發(fā)，用于法國、俄羅斯等)YUV模型Y代表亮度分量，U和V分別正比于色差B–Y和RY稱為色度分量。YUV可有PAL制系統(tǒng)中歸一化、計(jì)算得到：13.1.2彩色電視制式由YUV得到R'、G'、B'的反變換為13.1.2彩色電視制式Y(jié)IQ模型

在NTSC制系統(tǒng)中使用Y代表亮度分量，I和Q分別是U和V分量旋轉(zhuǎn)33°后的結(jié)果。旋轉(zhuǎn)后，I對應(yīng)在橙色和青色間的彩色，而Q對應(yīng)在綠色和紫色間的彩色。人眼對在綠色和紫色間的彩色變化不如在橙色和青色間的彩色敏感，所以在量化時(shí)Q分量所需要的比特?cái)?shù)可比I分量少，傳輸時(shí)Q分量的貸款可比I分量窄。YIQ可由NTSC制系統(tǒng)中歸一化R'G'B'經(jīng)過下式得到：反變換：人眼對色度信號的分辨能力較低，所以在普通電視制式中，均對信號采用比對亮度信號更低的空間采樣率，以降低視頻數(shù)據(jù)量。PLA制系統(tǒng)中的基準(zhǔn)白色與NTSC制系統(tǒng)中的基準(zhǔn)白色是略有不同的。13.2運(yùn)動(dòng)分類和表達(dá)

{視頻圖像可以記錄景物的運(yùn)動(dòng)情況，運(yùn)動(dòng)信息也是視頻中特有的}1.運(yùn)動(dòng)分類前景運(yùn)動(dòng)：目標(biāo)在場景中的自身運(yùn)動(dòng)，又稱為局部運(yùn)動(dòng)背景運(yùn)動(dòng)：主要由攝象機(jī)的運(yùn)動(dòng)所造成，幀圖象內(nèi)所有點(diǎn)整體移動(dòng)，又稱為全局運(yùn)動(dòng)或攝象機(jī)運(yùn)動(dòng)。全局運(yùn)動(dòng)一般具有整體性強(qiáng)、比較規(guī)律的特點(diǎn)。局部運(yùn)動(dòng)常比較復(fù)雜，特別是在目標(biāo)比較多的時(shí)候，各目標(biāo)可做不同的運(yùn)動(dòng)，目標(biāo)盡在空間小范圍內(nèi)表現(xiàn)出一定的一致性。前景和背景運(yùn)動(dòng)或靜止可能有4種情況：兩者均運(yùn)動(dòng)或靜止以及其中之一靜止另一運(yùn)動(dòng)。13.2運(yùn)動(dòng)分類和表達(dá)2.運(yùn)動(dòng)矢量場表達(dá)由于運(yùn)動(dòng)既包括全局運(yùn)動(dòng)，又包括局部運(yùn)動(dòng)，所以對整個(gè)運(yùn)動(dòng)場的表達(dá)不能僅采用全局模型的方法。極端情況下，可以考慮對每個(gè)像素分別描述其運(yùn)動(dòng)。將整幅圖象分成許多固定大小的塊，對塊的運(yùn)動(dòng)用矢量表示，將每個(gè)運(yùn)動(dòng)矢量用（有起點(diǎn)）無箭頭的線段（線段長度與矢量大小亦即運(yùn)動(dòng)速度成正比）來表示，并疊加在原始圖象上。不使用箭頭是為了表達(dá)簡介，減小箭頭疊加到圖像上對圖像的影響。由于起點(diǎn)確定，所以方向是明確的。13.2運(yùn)動(dòng)分類和表達(dá)3.運(yùn)動(dòng)直方圖表達(dá)雖然同一剛性目標(biāo)上個(gè)點(diǎn)的運(yùn)動(dòng)常具有一致性，但不同目標(biāo)間可以有相對運(yùn)動(dòng)，所以局部運(yùn)動(dòng)比全局運(yùn)動(dòng)矢量場復(fù)雜的多。運(yùn)動(dòng)矢量方向直方圖僅保留運(yùn)動(dòng)方向信息以減少數(shù)據(jù)量，依據(jù)是人們分辨不同運(yùn)動(dòng)首先是根據(jù)運(yùn)動(dòng)方向，而運(yùn)動(dòng)幅度的大小則需要較多的注意力才能夠區(qū)分，所以可認(rèn)為運(yùn)動(dòng)的方向是最基本的運(yùn)動(dòng)信息。13.2運(yùn)動(dòng)分類和表達(dá)運(yùn)動(dòng)區(qū)域類型直方圖根據(jù)局部運(yùn)動(dòng)矢量場可實(shí)現(xiàn)對其的分割，并得到具有不同仿射參數(shù)模型的各個(gè)運(yùn)動(dòng)區(qū)域。具體就是對運(yùn)動(dòng)模型進(jìn)行分類，統(tǒng)計(jì)各個(gè)運(yùn)動(dòng)區(qū)域滿足不同運(yùn)動(dòng)模型的象素。13.2運(yùn)動(dòng)分類和表達(dá)4.運(yùn)動(dòng)軌跡表達(dá)運(yùn)動(dòng)軌跡表達(dá)了目標(biāo)在運(yùn)動(dòng)過程中的位置信息國際標(biāo)準(zhǔn)MPEG-7推薦了運(yùn)動(dòng)軌跡描述符這種運(yùn)動(dòng)軌跡描述符有一系列關(guān)鍵點(diǎn)和一組在這些關(guān)鍵點(diǎn)間進(jìn)行插值的函數(shù)構(gòu)成。關(guān)鍵點(diǎn)用2-D或3-D坐標(biāo)空間中的坐標(biāo)值表達(dá)，而插值函數(shù)分別對應(yīng)各個(gè)坐標(biāo)軸，x(t)對應(yīng)水平方向軌跡，y(t)對應(yīng)垂直方向的軌跡，z(t)對應(yīng)深度方向的軌跡。插值函數(shù)表達(dá)式：對于上式插值函數(shù)，p：時(shí)間軸一點(diǎn)，vp：運(yùn)動(dòng)速度，ap：運(yùn)動(dòng)加速度13.2運(yùn)動(dòng)分類和表達(dá)對應(yīng)圖13.2.5中3段軌跡的插值函數(shù)分別為零次函數(shù)、一次函數(shù)和兩次函數(shù)A段零次函數(shù)：x(t)=x(t0)B段一次函數(shù)：

x(t)=x(t1)+v(t1)(t－t1)C段二次函數(shù)：x(t)=x(t2)+v(t2)(t-t2)+a(t2)(t–t2)2/2根據(jù)軌跡中的關(guān)鍵點(diǎn)坐標(biāo)和差值函數(shù)形式，可以確定目標(biāo)沿特定方向的運(yùn)動(dòng)情況，綜合沿三個(gè)方向的運(yùn)動(dòng)軌跡，可以確定場景中目標(biāo)隨時(shí)間變化而在空間的運(yùn)動(dòng)情況。13.3運(yùn)動(dòng)檢測要理解場景變化的情況，首先要對運(yùn)動(dòng)進(jìn)行檢測，確定是否有運(yùn)動(dòng)，以及哪些景物有運(yùn)動(dòng)；其次對運(yùn)動(dòng)進(jìn)行評估，即確定運(yùn)動(dòng)的情況(速度、方向等)。運(yùn)動(dòng)檢測是視頻圖像處理中特有的，也是許多視頻圖像處理的基礎(chǔ)。

對運(yùn)動(dòng)的檢測就是對整個(gè)圖像中的運(yùn)動(dòng)信息的檢測，視頻中包括前景運(yùn)動(dòng)與背景運(yùn)動(dòng)，所以運(yùn)動(dòng)檢測既要檢測場景整體運(yùn)動(dòng)造成的變化，又要檢測具體景物運(yùn)動(dòng)造成的變化。13.3.1利用圖像差的運(yùn)動(dòng)檢測視頻中，通過逐像素比較可直接求取前后兩幀圖像之間的差別。對時(shí)間上相鄰的兩幅圖像求差可以將圖像中運(yùn)動(dòng)目標(biāo)的位置和形狀變化突顯出來1.差圖像的計(jì)算圖(b)給出一個(gè)示例，將長方形區(qū)域逐漸向下移動(dòng)，依次劃過橢圓目標(biāo)的不同部分，將各次結(jié)果組合起來，就得到完整的橢圓目標(biāo)。圖(a),如果對一系列圖像兩兩求差，并把差分圖像中值為正或負(fù)的區(qū)域邏輯與起來就可以得到整個(gè)目標(biāo)的形狀。13.3.1利用圖像差的運(yùn)動(dòng)檢測如果在圖像采集和被攝場景間有相對運(yùn)動(dòng)的情況下采集一系列圖像，則根據(jù)其中存在的運(yùn)動(dòng)信息幫助確定圖像中有變化的像素。設(shè)在兩個(gè)時(shí)刻ti和tj采集到兩幅圖象f(x,y,ti)和f(x,y,tj)，則據(jù)此可得到差圖象

（13.3.1）差圖像中為0的像素對應(yīng)在前后兩時(shí)刻間沒有發(fā)生變化的地方。差圖像中為1的像素對應(yīng)兩圖間發(fā)生變化的地方，這場是由于目標(biāo)運(yùn)動(dòng)而產(chǎn)生的。13.3.1利用圖像差的運(yùn)動(dòng)檢測差圖像中為1的像素也可能源于不同的情況如：

f(x,y,ti)是一個(gè)運(yùn)動(dòng)目標(biāo)的象素而

f(x,y,tj)是一個(gè)背景象素或是同一個(gè)運(yùn)動(dòng)目標(biāo)但不同位置的象素，……13.3.1利用圖像差的運(yùn)動(dòng)檢測式13.3.1中的閾值Tg用來確定兩時(shí)刻圖像的灰度是否存在比較明顯的差異，灰度差異顯著性的判別：似然比：實(shí)際情況下，由于隨機(jī)噪聲影響，沒有發(fā)生像素移動(dòng)的地方也會(huì)出現(xiàn)圖像間差別不為零的情況，把噪聲的影響與像素的移動(dòng)區(qū)別開來，可對差別圖像取較大的閾值，差別大于特定的閾值是才認(rèn)為是像素發(fā)生了移動(dòng)。

各μ和σ分別是在時(shí)刻ti

和tj采集到的兩幅圖象的對應(yīng)觀測窗口中的均值和方差，Ts

是顯著性閾值13.3.1利用圖像差的運(yùn)動(dòng)檢測2.累積差圖象的計(jì)算為克服上述隨機(jī)噪聲影響，可利用多幅圖像。如果在某一個(gè)位置的變化之偶爾出現(xiàn)，就可判斷為噪聲。設(shè)有一系列圖像f(x,y,t1),f(x,y,t2),….f(x,y,tn),，并取第一幅圖f(x,y,t1)作為參考圖，通過將參考圖與其后的每一幅圖比較就可得到累積差圖像(ADI)ADI有三個(gè)功能：(1)ADI中相鄰象素值間的梯度關(guān)系可用來估計(jì)目標(biāo)移動(dòng)的速度矢量，這里梯度的方向就是速度的方向，梯度的大小與速度成正比(2)ADI中象素的個(gè)數(shù)（值）可幫助確定運(yùn)動(dòng)目標(biāo)的尺寸和移動(dòng)的距離(3)ADI中包含了目標(biāo)運(yùn)動(dòng)的全部歷史資料，有助于檢測慢運(yùn)動(dòng)和尺寸較小目標(biāo)的運(yùn)動(dòng)13.3.1利用圖像差的運(yùn)動(dòng)檢測三種ADI圖象：(1)絕對(2)正(3)負(fù)13.3.1利用圖像差的運(yùn)動(dòng)檢測上述3中ADI圖像的值都是對像素的計(jì)數(shù)結(jié)果，初始時(shí)均為零，獲得下列信息：(1)正ADI圖像中的非零區(qū)域面積等于運(yùn)動(dòng)目標(biāo)的面積；(2)正ADI圖像中對應(yīng)運(yùn)動(dòng)目標(biāo)移的位置也就是運(yùn)動(dòng)目標(biāo)在參考圖中的位置；(3)當(dāng)正ADI圖像中運(yùn)動(dòng)目標(biāo)移動(dòng)到與參考圖中的運(yùn)動(dòng)目標(biāo)不重合時(shí)，正ADI圖像停止計(jì)；(4)絕對ADI圖像包含了正ADI圖像和負(fù)ADI圖像中的所有目標(biāo)區(qū)域；(5)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)方向和運(yùn)動(dòng)速度可根據(jù)絕對ADI圖像和負(fù)ADI圖像來確定。13.3.2基于模型的運(yùn)動(dòng)檢測運(yùn)動(dòng)模型考慮對攝象機(jī)建模來進(jìn)行全局運(yùn)動(dòng)檢測全局運(yùn)動(dòng)通用模型：6參數(shù)仿射模型：8參數(shù)雙線性模型：在對模型參數(shù)進(jìn)行估計(jì)時(shí)，首先從相鄰幀中選取足夠多的觀測點(diǎn)，接著用一定匹配算法求出這些點(diǎn)的觀測運(yùn)動(dòng)矢量，最后用參數(shù)擬合的方法估計(jì)模型參數(shù)。13.3.3頻率域運(yùn)動(dòng)檢測借助傅里葉變換把檢測轉(zhuǎn)到頻率域中進(jìn)行優(yōu)點(diǎn)是可以分別處理平移、旋轉(zhuǎn)和尺度的變化(1)對平移的檢測根據(jù)傅里葉變換借助平移性質(zhì)傅里葉變換相位角之差13.3.3頻率域運(yùn)動(dòng)檢測考慮到傅里葉變換的分離性，得到d?x(u)和d?y(v)分別為f(x,y,tk)和f(x,y,tk+1)在X

軸上和Y軸上投影的傅里葉變換的相位角之差。由于相位角的不唯一性，在計(jì)算d?x(u)和d?y(v)時(shí)可采用下列方法，設(shè)dx的變化范圍滿足K為常數(shù)，Lx為X方向的像素個(gè)數(shù)。將f(x,y,tk)和f(x,y,tk+1)在X

軸上和Y

軸上投影的傅里葉變換的相位角各自加上2π的整數(shù)倍，可得到dθ(u)的唯一值。13.3.3頻率域運(yùn)動(dòng)檢測(2)對旋轉(zhuǎn)的檢測

借助傅里葉變換功率譜進(jìn)行，圖象中的直線模式在傅里葉功率譜中對應(yīng)過頻譜原點(diǎn)的直線模式。對f(x,y,tk)和f(x,y,tk+1)分別進(jìn)行傅里葉變換，并計(jì)算他們的功率譜：在Pk(u,v)和Pk+1(u,v)中分別搜索對應(yīng)的過原點(diǎn)的直線模式，再計(jì)算直線間的夾角得到旋轉(zhuǎn)角。13.3.3頻率域運(yùn)動(dòng)檢測(3)對尺度變化的檢測圖象空間的尺度變化對應(yīng)傅里葉變換域中頻率高低的變化當(dāng)圖像空間中目標(biāo)的尺寸變大時(shí)，頻率域中功率譜的低頻分量會(huì)增加；當(dāng)圖像空間中目標(biāo)的尺寸變小時(shí)，頻率域中功率譜的高頻分量會(huì)增加1)在Pk(u,v)，Pk+1(u,v)中分別搜索方向相同的直線模式Lk和Lk+12)將Lk投影到Pk+1(u,v)上，得到L'k如果S<1，表明目標(biāo)圖象尺寸增加了S倍如果S>1，表明目標(biāo)圖象尺寸減小了S倍13.4視頻濾波{濾波在這里代表多種處理過程和手段分為空域?yàn)V波器（僅考慮幀內(nèi)）和時(shí)空濾波器(還考慮幀間）兩類}13.4.1基于運(yùn)動(dòng)檢測的濾波1.直接濾波基于運(yùn)動(dòng)檢測的濾波需要在運(yùn)動(dòng)檢測的基礎(chǔ)上采用運(yùn)動(dòng)適應(yīng)的技術(shù)幀平均技術(shù)不影響幀圖象空間分辨率的情況下消除噪聲沿時(shí)間軸的1-D濾波，即進(jìn)行時(shí)域平均，在場景中有突然的隨時(shí)間變化處會(huì)導(dǎo)致時(shí)域模糊。運(yùn)動(dòng)適應(yīng)濾波，它利用相鄰幀間的運(yùn)動(dòng)信息來確定濾波方向，將由于運(yùn)動(dòng)造成的沿時(shí)間軸變化與噪聲導(dǎo)致的變化區(qū)別開來。13.4.1基于運(yùn)動(dòng)檢測的濾波2.利用運(yùn)動(dòng)檢測信息有限脈沖響應(yīng)（FIR）濾波器{具有有限的噪聲消除能力，特別在僅進(jìn)行時(shí)域?yàn)V波且參與濾波的幀較少時(shí)。}

無限脈沖響應(yīng)（IIR）濾波器{有更強(qiáng)的噪聲消除能力，但一般會(huì)導(dǎo)致傅里葉相位失真的發(fā)生}

13.4.2基于運(yùn)動(dòng)補(bǔ)償?shù)臑V波運(yùn)動(dòng)補(bǔ)償濾波器作用于運(yùn)動(dòng)軌跡上，象素灰度在確定的運(yùn)動(dòng)軌跡上保持不變。1.運(yùn)動(dòng)軌跡和時(shí)空頻譜運(yùn)動(dòng)軌跡可用一個(gè)矢量函數(shù)M(t;x,y,t0)來描述幀間灰度變化：13.4.2基于運(yùn)動(dòng)補(bǔ)償?shù)臑V波時(shí)空函數(shù)的傅里葉變換時(shí)空頻譜的定義域13.4.2基于運(yùn)動(dòng)補(bǔ)償?shù)臑V波2.沿運(yùn)動(dòng)軌跡的濾波沿運(yùn)動(dòng)軌跡的每一幀上的每個(gè)點(diǎn)的濾波。定義在(x,y,t)處的濾波輸出為：沿一個(gè)勻速運(yùn)動(dòng)軌跡的線性、空間不變?yōu)V波可表示為：式中，h(x,y,t)是沿運(yùn)動(dòng)軌跡所使用的1-D濾波器的脈沖響應(yīng)。脈沖響應(yīng)也可表為：13.4.2基于運(yùn)動(dòng)補(bǔ)償?shù)臑V波對上式進(jìn)行3-D傅里葉變換，得到運(yùn)動(dòng)補(bǔ)償濾波器的頻率響應(yīng)

有運(yùn)動(dòng)補(bǔ)償且正確時(shí)的情況沒有運(yùn)動(dòng)補(bǔ)償時(shí)的純時(shí)間濾波情況斜線代表運(yùn)動(dòng)軌跡13.4.2基于運(yùn)動(dòng)補(bǔ)償?shù)臑V波3.運(yùn)動(dòng)補(bǔ)償濾波器假設(shè)在沿運(yùn)動(dòng)軌跡M(q;x,y,t)的路徑上，像素灰度的變化主要源于噪聲。在時(shí)空域的采樣序列中對運(yùn)動(dòng)軌跡估計(jì)。使用N幀圖來對第k幀圖進(jìn)行濾波。在第k幀的(x,y)處估計(jì)離散運(yùn)動(dòng)軌跡M(l;x,y,t)，它給出第k幀圖中(x,y)處象素對應(yīng)的第l幀圖中的坐標(biāo)在估計(jì)軌跡時(shí)，要參考第k幀圖來估計(jì)偏移矢量，如箭頭所示確定了運(yùn)動(dòng)補(bǔ)償濾波器的定義域后，可使用各種濾波方式進(jìn)行濾波。13.4.2基于運(yùn)動(dòng)補(bǔ)償?shù)臑V波4.時(shí)空自適應(yīng)線性最小均方誤差濾波時(shí)空自適應(yīng)的線性最小均方誤差(LMMSE)濾波可如下進(jìn)行：在(x,y,t)處的像素估計(jì)值為考慮平穩(wěn)獨(dú)立噪聲(1)時(shí)空信號的方差遠(yuǎn)小于噪聲方差時(shí)，σf2(x,y,t)≈0，估計(jì)值逼近時(shí)空均值，μg=μf(2)時(shí)空信號的方差遠(yuǎn)大于噪聲方差時(shí)，

σf2(x,y,t)>>

σn2(x,y,t)，估計(jì)值逼近噪聲圖像值以避免模糊13.4.2基于運(yùn)動(dòng)補(bǔ)償?shù)臑V波5.自適應(yīng)加權(quán)平均濾波自適應(yīng)加權(quán)平均(AWA)濾波在時(shí)空中沿運(yùn)動(dòng)軌跡計(jì)算圖像值的一個(gè)加權(quán)平均。通過優(yōu)化一個(gè)準(zhǔn)則函數(shù)來確定權(quán)重，其值依賴于對運(yùn)動(dòng)估計(jì)的準(zhǔn)確性和圍繞運(yùn)動(dòng)軌跡區(qū)域的空間均勻性。AWA濾波器可如下定義：其中權(quán)重K(x,y,t)是歸一化常數(shù)：當(dāng)時(shí)空中一個(gè)像素的值與要濾波像素的值差距大于一個(gè)閾值時(shí)，對它的權(quán)重下降，而加強(qiáng)其它像素的作用。13.4.3消除勻速直線運(yùn)動(dòng)模糊假設(shè)對在平面上勻速運(yùn)動(dòng)的景物采集一幅圖像f(x,y)，并設(shè)x0(t)和y0(t)分別是景物在x和y方向的運(yùn)動(dòng)分量，忽略其他因素，實(shí)際采集到的模糊圖像g(x,y)為(13.4.20)13.4.3消除勻速直線運(yùn)動(dòng)模糊定義濾波函數(shù)將式(13.4.20)寫成適合實(shí)用逆濾波方法的形式：當(dāng)景物在平面上的勻速運(yùn)動(dòng)沿直線進(jìn)行時(shí)，x0(t)和y0(t)均是t的線性函數(shù)（且可從模糊視頻中估計(jì)出來），式(13.4.21)中的積分可解析計(jì)算，由運(yùn)動(dòng)造成的模糊就可以消除。模糊圖移動(dòng)24個(gè)象素移動(dòng)40個(gè)象素移動(dòng)32個(gè)象素{例13.4.1}13.5視頻預(yù)測編碼視頻編碼，目的是降低視頻的碼率以減少存儲(chǔ)量和加快在信道中的傳輸，這與靜止圖像編碼類似/并行。1.預(yù)測基礎(chǔ)當(dāng)場景變化或景物運(yùn)動(dòng)或攝像機(jī)的各種運(yùn)動(dòng)較快時(shí)，視頻中相鄰幀之間的相關(guān)性會(huì)變小，預(yù)測