數(shù)字視頻智能編輯算法研究

數(shù)字視頻智能編輯算法研究

1傳統(tǒng)視頻制作成本高據(jù)統(tǒng)計(jì)，人們收到約60%的信息來(lái)自視覺(jué)，20%來(lái)自聽(tīng)覺(jué)，20%來(lái)自其他方法，這表明視覺(jué)信息的重要性。其中,視頻是視覺(jué)信息傳播的主要媒體,然而在視頻制作過(guò)程中,常常有一些特殊要求,如場(chǎng)景中的字符或人臉留下一些影響視覺(jué)效果的斑點(diǎn)需要去除等。如果按傳統(tǒng)的方法,就必須重新拍攝該視頻片段,或者用現(xiàn)有的一些PS工具一幀一幀地手動(dòng)處理該視頻片段,制作慢,成本高。為此,筆者創(chuàng)新性地設(shè)計(jì)了一種數(shù)字視頻智能編輯系統(tǒng),旨在智能地處理視頻中的小瑕疵,文章首先利用圖像跟蹤技術(shù)實(shí)現(xiàn)對(duì)連續(xù)幀中的小瑕疵跟蹤,再利用圖像修復(fù)技術(shù),去除這些瑕疵的影響,從而達(dá)到了視頻制作的低成本、高效率、高質(zhì)量目標(biāo)。2基于塊匹配算法的圖像特征點(diǎn)窗口對(duì)比圖像跟蹤技術(shù)不同的算法各有其優(yōu)缺點(diǎn),適用的場(chǎng)合也不同,因此一種算法的優(yōu)劣取決于其處理的目標(biāo)對(duì)象的特點(diǎn)。本文的處理對(duì)象是視頻中的小目標(biāo),由于目標(biāo)區(qū)域小,紋理信息少,特征點(diǎn)難以提取,因此基于區(qū)域的跟蹤算法是一種較為適合的算法。由于基于區(qū)域跟蹤算法幾乎沒(méi)有抗形變、伸縮的能力,該算法的應(yīng)用場(chǎng)合非常受限;另一方面,由于跟蹤目標(biāo)的背景占有較大區(qū)域,往往含有豐富的信息,這些信息有助于實(shí)現(xiàn)目標(biāo)的精確跟蹤。綜合考慮這兩點(diǎn),提出了一種結(jié)合Kanade-Lucas-Tomasi(KLT)算法和塊匹配算法的跟蹤算法,其中KLT算法利用背景領(lǐng)域的紋理特征,得到形變仿射信息,完成初步處理,再利用塊匹配算法精確跟蹤目標(biāo)。KLT算法對(duì)灰度圖像的特征點(diǎn)窗口W,KLT算法假定圖像在t+τ時(shí)刻的像素I(x,y,t+τ)和t時(shí)刻像素I(x,y,t)滿足關(guān)系對(duì)于特征點(diǎn)窗口內(nèi)的各個(gè)像素,其唯一近似表示為令A(yù)=I+D,I和J分別表示待匹配的兩幀圖像的特征點(diǎn)窗口,則由上述分析,I和JKLT算法就是要尋找A和d,使得特征點(diǎn)窗口的灰度差平方和SSD最小式中:w(X)為權(quán)重函數(shù),通?？梢匀?,或?yàn)榱藦?qiáng)調(diào)中心紋理,取高斯分布函數(shù)。當(dāng)式(4)取得最小值時(shí)有式中:當(dāng)u=DX+d為小量時(shí),可對(duì)J(AX+d)進(jìn)行泰勒展開(kāi),并將待求運(yùn)動(dòng)參數(shù)D和d提取出來(lái),問(wèn)題可表示為因此,KLT的迭代步驟為:1)假設(shè)i=0時(shí),D2)計(jì)算式(4),若ε≤min(ε),停止迭代,所得D3)判斷迭代次數(shù),若i>N,停止迭代;5)根據(jù)式(6),計(jì)算D6)由5)的結(jié)果,計(jì)算J在KLT跟蹤算法中,并不是所有包含紋理信息的特征窗口都是適合跟蹤的,只有對(duì)那些特征窗口,滿足矩陣T的子矩陣Z的兩個(gè)特征值λ塊匹配如圖1為跟蹤算法的實(shí)驗(yàn)結(jié)果,其中圖1b,1c分別為單純使用塊匹配法跟蹤的結(jié)果,顯然它不能處理形變伸縮的序列,而圖1d,1e是結(jié)合KLT算法的塊匹配跟蹤結(jié)果,從結(jié)果可見(jiàn),目標(biāo)得到了精確的跟蹤。3tables-tod算法描述完成了對(duì)目標(biāo)的正確跟蹤后,下一步就是要對(duì)跟蹤到的目標(biāo)進(jìn)行修復(fù),得到期望的圖像。圖像修復(fù)技術(shù)主要分為圖像細(xì)紋修復(fù)技術(shù)和圖像紋理合成修復(fù)技術(shù)。與傳統(tǒng)的需要迭代的修復(fù)方法不同,Telea提出了一種快速的非迭代的修復(fù)算法。該方法根據(jù)像素與結(jié)構(gòu)信息計(jì)算區(qū)域內(nèi)已知像素所應(yīng)有的權(quán)重,采取與缺失區(qū)域幾何信息相關(guān)的修復(fù)順序,根據(jù)鄰域內(nèi)像素加權(quán)來(lái)確定未知像素的值。圖2為Telea算法的示意圖,假設(shè)待修復(fù)點(diǎn)集為S={x即距離修復(fù)點(diǎn)x式中:w這樣的權(quán)重估計(jì),保證了距離待修復(fù)點(diǎn)較近的已知點(diǎn)具有較大的權(quán)重,靠近修復(fù)方向的已知點(diǎn)具有較大的權(quán)重,符合了Telea的信息傳遞的方向。由于Telea圖像修復(fù)法只根據(jù)圖像破損區(qū)域的幾何特征確定向內(nèi)修復(fù)的方向,可能導(dǎo)致信息向內(nèi)的錯(cuò)誤傳遞,并且有不連續(xù)的現(xiàn)象。但在本系統(tǒng)中,由于考慮的是視頻中小目標(biāo)破損區(qū)域,還不會(huì)出現(xiàn)Telea算法本身缺陷導(dǎo)致的問(wèn)題。同時(shí)由于Telea算法不需要迭代計(jì)算修復(fù)權(quán)重,還是一種快速的修復(fù)算法?？傊?針對(duì)該視頻圖像智能編輯系統(tǒng),Telea算法可以在不影響視頻修復(fù)質(zhì)量的基礎(chǔ)上,達(dá)到快速修復(fù)的目的,因此是本系統(tǒng)一個(gè)較佳的選擇。4預(yù)測(cè)設(shè)備的智能修正根據(jù)前面的分析,本文設(shè)計(jì)的智能編輯系統(tǒng)的數(shù)據(jù)處理流程為:首先用KLT算法計(jì)算圖像幀的形變仿射系數(shù)矩陣,根據(jù)該系數(shù)矩陣,計(jì)算待匹配區(qū)域仿射后的模板,之后,利用塊匹配算法,在后續(xù)幀中找到此模板的匹配區(qū)域,最后利用Telea細(xì)紋修復(fù)算法完成對(duì)匹配區(qū)域的修復(fù)。如圖3所示,為該智能編輯系統(tǒng)的試驗(yàn)結(jié)果,該圖片序列為電影中截取的片段,其中圖3a為截取片段的第一幀,該試驗(yàn)的目標(biāo)是:用戶先在圖像上圈出待修復(fù)的區(qū)域,即臉頰上的痣;然后該系統(tǒng)自動(dòng)在后續(xù)幀中定位該痣在圖像中的位置,并將其去除。為了說(shuō)明問(wèn)題,該系統(tǒng)隨機(jī)地選取了智能修復(fù)過(guò)程中兩幀圖像的跟蹤和修復(fù)結(jié)果,如圖3b,3c分別為圖像序列第13幀和第76幀的跟蹤結(jié)果,圖3d,3e分別為圖像序列第13幀和第76幀的跟蹤并修復(fù)的結(jié)果。從圖3可以看出,本文設(shè)計(jì)的數(shù)字視頻編輯系統(tǒng)可以很好地對(duì)圖像中的小目標(biāo)進(jìn)行跟蹤并修復(fù),從而實(shí)現(xiàn)了視頻的智能編輯的目的。5數(shù)字視頻智能編輯系統(tǒng)文章以視頻制作應(yīng)用作為切入點(diǎn),針對(duì)視頻拍攝中不可