一種基于分層率失真優(yōu)化的容錯性視頻轉碼算法

1、一種基于分層率失真優(yōu)化的容錯性視頻轉碼算法韓鎮(zhèn) 1,胡瑞敏 1, 2, 陳皓 2, 李明 21(武漢大學計算機學院,武漢 4300722(武漢大學國家多媒體軟件工程技術研究中心,武漢 430072摘要 :容錯性視頻轉碼能夠在已壓縮視頻流中嵌入容錯性工具,以增強視頻流面向無線信道的抗誤 碼能力。但是容錯性工具的嵌入在降低失真的同時也會增加碼率,因此需要進行率失真優(yōu)化。針對這一問 題,本文提出了一種基于分層率失真優(yōu)化的容錯性轉碼算法。該算法通過在幀層和宏塊層分別對重同步標 記的插入和幀內宏塊的刷新進行不同粒度的優(yōu)化來提高算法的靈活性,通過在幀層考慮幀內宏塊刷新、幀 內預測和運動矢量預測的影響來提高

2、算法的精確性,通過在宏塊層減少候選模式的數量來降低算法的復雜 度。 實驗表明本算法與基于單層率失真優(yōu)化的算法相比, 信噪比可獲得 0.6-1.1dB 的增益, 復雜度最多可降 低 25%。關鍵字 :視頻轉碼;容錯性;率失真優(yōu)化;重同步標記插入;幀內宏塊刷新Error Resilient Video Transcoding Based on Layered Rate Distortion OptimizationHAN Zhen*1, HU Rui-Min 1, 2, CHEN Hao 2, LI Ming 21(Computer School, Wuhan University, Wuhan,

3、 430072, China2(National Multimedia Software Engineering Research Center, Wuhan University, Wuhan, 430072, ChinaAbstract :Error resilient video transcoding can insert error resilient tools in the compressed video to enhance error resilience of the video over wireless channels. However the error resi

4、lience insertion increases bit rate while reducing distortion. So the rate distortion optimization is required. In order to solve this problem, this paper proposes an error resilient video transcoding algorithm based on layered rate distortion optimization. This algorithm improves the flexibility by

5、 performing rate distortion optimization with different granularity for synchronization marker insertion and intra macroblock refresh on the frame layer and macroblock layer respectively. Moreover this algorithm improves the accuracy by accounting for the intra refresh, intra prediction, motion vect

6、or prediction on the frame layer and reduces the complexity by reducing the candidate macroblock modes on the macroblock layer. The simulation results show that the proposed algorithm improves PSNR by 0.6-1.1dB and reduces the complexity by about 25% compared with the algorithms based on single laye

7、r rate distortion optimization.Key words:video transcoding; Error resilient; rate distortion optimization; synchronization marker insertion; intra macroblock refresh*基金項目:國家自然科學基金(No.60472040 ;公安部應用創(chuàng)新計劃(No. 2005YYCXHBST114 。韓鎮(zhèn), 男, 1980年生,博士研究生,主要研究領域:視頻編碼和轉碼, E-mail :hanzhen_2003;胡 瑞敏,男, 1964年生,博士,教

8、授,博士生導師,主要研究領域:多媒體通信,數字信號處理等;陳皓, 男, 1982年生,博士研究生,主要研究領域:無線視頻編碼;李明,男, 1975年生,博士,副教授,主要 研究領域:無線視頻通信和編碼。1 引言由于網絡環(huán)境的異構性(如信源的異構性、信道的異構性、終端的異構性等 ,通用多 媒體存取成為一個亟待解決的問題。視頻轉碼正是解決這一問題的有效技術 1-3。狹義的視 頻轉碼是指將已壓縮的視頻流從一種格式 (如空間分辨率、幀率、 碼率等轉換為另一種格 式的操作。 廣義的視頻轉碼則包括在已壓縮視頻流中嵌入信息 (如數字水印、 容錯性工具等 的操作。容錯性視頻轉碼就是指在已壓縮視頻流中嵌入容錯性

9、工具的轉碼 1-3。容錯性視頻 轉碼能夠有效增強視頻流面向無線信道的抗誤碼能力, 因此對于無線異構網絡環(huán)境下的通用 多媒體存取具有重要意義,在移動娛樂、移動監(jiān)控等領域具有廣泛的應用價值?；镜娜蒎e性視頻轉碼分為時域容錯和空域容錯兩種 4-7。前者主要是對輸入視頻流進 行幀內宏塊刷新, 后者主要是對輸入視頻流插入重同步標記。 雖然容錯性轉碼可以有效地增 強視頻流的抗誤碼能力,降低無線環(huán)境下解碼端的視頻重建失真,但是同時也會增加碼率:幀內宏塊的刷新則會由于減少當前幀與參考幀之間的預測而增加時域上的冗余; 重同步標記 的插入會增加額外的頭信息,同時也會由于禁止重同步單元之間的預測而增加空域上的冗 余

10、。 因此利用率失真優(yōu)化在失真與碼率之間取得平衡是容錯性轉碼的關鍵問題。 近年來已有 研究人員對率失真優(yōu)化與容錯性轉碼的結合進行了有益嘗試。文獻 8針對已有算法的不足 提出了一種基于幀層率失真優(yōu)化的容錯性轉碼算法, 將幀內宏塊刷新率和重同步標記插入率 同時作為優(yōu)化變量。文獻 9則提出了一種基于宏塊層率失真優(yōu)化的容錯性轉碼算法,但只 對幀內宏塊的刷新進行優(yōu)化, 對重同步標記的插入則通過設定閾值來選擇。 上述算法使得容 錯性轉碼的效率有所提高,但仍然在以下方面存在著問題:(1靈活性:文獻 8和 9提出 的幀層和宏塊層算法均是針對單一層次的, 因此重同步標記的插入和幀內宏塊的刷新難以在 不同層次進行不

11、同粒度的優(yōu)化。這使得算法的靈活性降低。 (2精確性:在文獻 8提出的 幀層算法中:對于失真模型,沒有考慮幀內宏塊刷新對信源失真的影響;對于率模型, 沒有 考慮幀內預測和運動矢量預測對比特數的影響; 對于拉格朗日乘子, 沒有給出具體的計算公 式。這使得幀層算法的精確性降低。 (3復雜度:在文獻 9提出的宏塊層算法中,沒有利 用轉碼輸入視頻的信息減少率失真優(yōu)化候選模式的數量。這使得宏塊層算法的復雜度增高。針對上述不足, 本文提出了一種基于分層率失真優(yōu)化的 H.264容錯性轉碼算法, 首先在 幀層對重同步標記的插入, 即片的長度進行粗粒度的率失真優(yōu)化, 然后在宏塊層對幀內宏塊 的刷新, 即宏塊的編碼

12、模式進行細粒度的率失真優(yōu)化, 從而提高算法的靈活性。 在進行幀層 率失真優(yōu)化時, 充分考慮幀內宏塊刷新、 幀內預測和運動矢量預測的影響, 并推導出具體的 拉格朗日乘子公式, 從而提高幀層算法的精確性。 在進行宏塊層率失真優(yōu)化時, 充分利用轉 碼輸入視頻流的當前幀信息和轉碼輸出視頻流的前一幀信息, 減少率失真優(yōu)化候選模式的數 量,從而降低宏塊層算法的復雜度。2 幀層率失真優(yōu)化本文借鑒文獻 10中的宏塊層信源信道聯合率失真模型,建立如下式所示的幀層信源信 道聯合率失真模型:( (minarg *s R s D s FR FR FR +=( ( (minarg 0s R s R s D FR FR

13、FR FR += (1 其中 s , s 0分別為當前幀的片長度和幀長度, D FR (s 為當前幀片長度為 s 時的信源信道聯合 總失真, R FR (s , R FR (s 0 和 R FR (s 分別為當前幀片長度為 s , s 0時的比特數以及前者相 對于后者的比特增益, FR 為當前幀的拉格朗日乘子。其中當前幀未出現誤碼丟包時,解碼 端不進行錯誤掩蓋,信源信道聯合總失真 D FR (s 由信源失真和擴散失真組成;當前幀出現誤碼丟包時,解碼端進行錯誤掩蓋,信源信道聯合總失真 D FR (s 則由掩蓋失真組成。因此 式(1所示的幀層信源信道聯合率失真模型可以進一步表示如下:( ( ( (

14、1min(arg 0, , , *s R s R D s p D D s p s FR FR FR c FR p FR s FR +-=(2其中 p (s 為當前幀片長度為 s 時的丟包率, D FR, s , D FR, p 和 D FR, c 分別為當前幀的信源失 真、擴散失真和掩蓋失真。需要指出的是, 基于幀層和基于宏塊層的率失真優(yōu)化是兩個相互影響的過程:對片的長 度進行幀層優(yōu)化時,需要先確定宏塊的編碼模式;而對宏塊的編碼模式進行宏塊層優(yōu)化時, 又需要先確定片的長度。為了解決這一悖論,本文采取了宏塊預刷新策略,其基本思想是:在對片長度進行幀層優(yōu)化之前, 根據宏塊的刷新前率失真函數值進行預

15、刷新, 刷新前率失真 函數值越大, 則預刷新的可能性就越大。 由于宏塊刷新前后變化的主要是擴散失真和比特數, 因此刷新前率失真函數的定義如下:MB MB p MB MB R D J +=, (3其中, D MB, p, R MB 和 MB 分別為宏塊的刷新前擴散失真、比特數和拉格朗日乘子。 D MB, p根據文獻 10中的擴散失真公式由轉碼輸入流中的運動矢量計算得到, R MB 由轉碼輸入流解 碼得到, MB 則由轉碼輸入流中的量化步長計算得到。預刷新的步驟如下:首先根據式 (3 計算前一幀實際刷新宏塊的刷新前率失真函數值, 求得其平均值 MBJ ;然后根據式(3計算當前幀幀間宏塊的刷新前率失

16、真函數值 MB J ; 如果 MB J 大于 MBJ ,則此幀間宏塊被預刷新為幀內宏塊。需要指出的是,預刷新策略只是 對編碼模式的預估計,并不是對宏塊進行實際編碼。2.1 失真模型由式(2可知失真模型由 D FR, s, D FR, p, D FR, c和 p (s 構成,其中掩蓋失真 D FR, c可 以基于轉碼輸入流中的運動矢量根據文獻 10中的掩蓋失真公式計算得到; 丟包率 p (s 可以 根據文獻 11中的誤碼率 /丟包率轉換公式和文獻 12中的片長度 /丟包率曲線計算得到; 對于 幀間宏塊,擴散失真 D FR, p可以基于轉碼輸入流中的運動矢量根據文獻 10中的擴散失真公 式計算得到

17、; 對于幀內宏塊, 擴散失真 D FR, p則可以通過采用受限幀內預測來消除。 因此下 面主要討論信源失真 D FR, s。由于預刷新并不進行實際編碼,當前幀信源失真 D FR ,s需要通過文獻 13中的信源率失 真模型求得。當前幀轉碼前后的信源率失真模型分別如下所示: =1, , 1, 21, log s FR FR FR FR D b a R (4 =2, , 2, 22, log s FR FR FR FR D b a R (5 其中 R FR, 1和 R FR, 2分別為當前幀轉碼前后的比特數, b FR, 1和 b FR, 2分別為當前幀轉碼前后 的方差, D FR,s, 1和 D

18、FR,s, 2分別為當前幀轉碼前后的信源失真, a FR 為當前幀信源率失真模型 參數。由式(4 (5可得: -=2, , 2, 1, , 1, 22, 1, log s FR FR s FR FR FR FR D b D b R R (6 由式(6進一步推導可得:2, 1, 21, , 1, 2, 2, , F R F R R R s FR FR FR s FR D b b D -= (7 其中 R FR, 1/R FR, 2由轉碼前后的碼率之比得到, D FR,s, 1由如下所示的信源失真模型 13求得:= =n MB MB s FR Q D 021, 1, , 12 (8 其中 Q MB

19、, 1為轉碼前當前幀宏塊的量化步長, 由轉碼輸入流解碼得到, n 為當前幀宏塊數目。當前幀轉碼前的方差 b FR, 1由當前幀未刷新宏塊的方差和預刷新宏塊的刷新前方差構 成,兩者均可以由轉碼輸入流解碼得到。當前幀轉碼后的方差 b FR, 2則由當前幀未刷新宏塊 的方差和預刷新宏塊的刷新后方差構成, 其中后者由于預刷新并不進行實際編碼需要根據前 一幀刷新宏塊刷新前后的方差估計得到。 基于上述分析, b FR, 1和 b FR, 2的計算公式如下所示:+=A MB r nt MB A MB MB FR b b b e i , 1, (9 +=A MB ntraMB A MB MB FR b b b

20、 i , 2, inter , intra , i , MB MB A MB nter MB A MB MB b b b b += (10其中 A 表示預刷新宏塊的集合, b MB 為當前幀未刷新宏塊的方差, b MB, inter 和 b MB, intra 分別為當前幀預刷新宏塊刷新前后的方差, inter , MBb 和 intra , MB b 分別為前一幀刷新宏塊刷新前后 方差的平均值。 b MB , b MB, inter 和 inter , MBb 由轉碼輸入流解碼計算得到, intra , MB b 由前一幀實 際編碼計算得到。將式(8 (9 (10代入式(7就可以求得 D F

21、R,s, 2,也就是式(2中的 D FR, s。2.2 率模型由式(2可知率模型由 R FR (s 0 和 R FR (s 構成。其中當前幀片長度為 s 0時的比特數 R FR (s 0 由轉碼后的目標碼率得到。下面主要討論片長度為 s 時相對片長度為 s 0時的比特增 益 R FR (s 。正如文獻 12所分析的,片的長度越小,片的數量就越多,而片結構會增加額外的片頭 信息, 同時也會禁止片之間進行預測, 因此由片數增加而導致的比特增益主要由兩部分構成:片頭增加的比特數和片間預測 (包括幀內預測和運動矢量預測 被禁止而增加的比特數。 R FR (s 的計算公式如下所示:MB 0 (R n R

22、 ss s R head FR += (11 其中 R head 為視頻編碼標準中片頭的比特數, s 0 /s 為當片長度為 s 時一幀所包括的片的數目,MB R '為前一幀中宏塊由于片間預測被禁止而增加的比特數的平均值, n 為當前幀片間預測被禁止的宏塊的數目, 也就是與參考宏塊處于不同片的宏塊的數目。 n 的計算公式如下所示:=MB n n (12如果當前宏塊與參考宏塊之間所有宏塊的比特數之和大于片長度, 那么此宏塊與參考宏塊處 于不同片內。因此 n MB 的取值如下:>=-=-=sR R r s R R r n FR FR MB L MB i i FR FR MB L MB

23、 i i MB 1, 2, 1, 2, , 1, 0 (13 其中 r i 為宏塊 i 轉碼前的比特數, 由轉碼輸入流解碼得到; L 為視頻一行所包括的宏塊數目, 由空間分辨率參數決定。2.3 拉格朗日乘子文獻 10已經證明了在信道丟包的情況下,拉格朗日乘子 FR 滿足下列關系:0, (1(FR FR s p -= (14其中 0, FR 為沒有信道丟包時當前幀的拉格朗日乘子。由文獻 13中的證明可知:2, 2, , 0, d dD FR s FR FR R -= (15將式(5代入式(15可進一步推導得到:FRs FR FR a 2ln D 2, , 0, = (16 其中 a FR 可由式

24、(4進一步推導得到: =1, , 1, 21, log s FR FR FR FR D b R a (17其中 R FR, 1由轉碼輸入流解碼得到, D FR,s, 1和 b FR, 1 由式(8 (9計算得到。2.4 片長度的選擇由于片長度是靈活變化的, 并不像編碼模式一樣有具體的候選集。 針對這一問題, 本文 采取了片長度預選擇策略, 其基本思想是首先求得幀層率失真函數取極小值時的片長度, 即 預選擇的最優(yōu)片長度, 然后以此片長度為中心確定一個有限的候選集, 最后基于此候選集進 行最終的片長度優(yōu)化選擇。根據上述分析,首先根據下式求式(2中幀層率失真函數取極小值時的片長度,其中 與片長度 s

25、 相關的變量為丟包率 p (s 和比特增益 R FR (s :0 ( ( ( (1(0, , , =+-ds s R s R D s p D D s p d FR FR FR c FR p FR s FR (18對于丟包率 p (s , 由于與片長度 s 具有近似線性關系 12,因此可以根據下式近似計算:21 (k s k s p + (19其中 k 1和 k 2是丟包率模型參數,可以根據文獻 11中的誤碼率 /丟包率轉換公式和文獻12中的片長度 /丟包率曲線計算得到。對于比特增益 R FR (s , 由于片數目 s 0 /s 越大,與參考宏塊處于不同片的宏塊數目 n 就越大, 因此可以將 n

26、 與 s 0 /s 近似為正比關系。 所以 R FR (s 可以根據下式進行近似計算:MB 030 (R ss k R s s s R head FR + (20 其中 k 3是 n 與 s 0 /s 之間正比關系的參數, 可以根據前一幀或前若干幀的數據統(tǒng)計得到。 將式(19 (20以及(14代入(18進行求導可得到預選擇的最優(yōu)片長度 s :(012030, 200, , , , 1=+-ss R k R k s R D D D k MB head FR FR FR p FR s FR c FR 00, , , , 1030, 21s R D D D k s R k R k s FR FR p

27、 FR s FR c FR MB head FR -+-= (21 最后以 s 為中心, 將 s 、 s+10、 s+20、 s -10、 s -20作為候選集進行率失真函數計算, 選取最小函數值的片長度為最終的最優(yōu)片長度。3 宏塊層率失真優(yōu)化與幀層信源信道聯合率失真模型類似,宏塊層信源信道聯合率失真模型如下所示 10: ( (minarg *m R m D m MB MB MB +=( ( ( (1min(arg , , , m R D s p m D m D s p MB MB c MB p MB s MB +-= (22其中 m 為當前宏塊的編碼模式, D MB (m , D MB, s

28、 (m , D MB, p (m 和 D MB, c (m 分別為當前 宏塊的總失真、 信源失真、 擴散失真和掩蓋失真, R MB (m 為當前宏塊的編碼模式為 m 時的 比特數, MB 為當前宏塊的拉格朗日乘子。由文獻 10可知,在信道丟包的情況下拉格朗日 乘子 MB 滿足下列關系:0, (1(MB MB s p -= (23其中 MB, 0為沒有信道丟包時當前宏塊的拉格朗日乘子,可以根據 H.264參考模型中的定義 由量化步長計算得到。由于丟包率 p (s 和掩蓋失真 D MB, c 與宏塊編碼模式無關,因此將式(23代入式(22后可以簡化為:( (1( ( (1min(arg 0, ,

29、, m R s p m D m D s p m MB MB p MB s MB -+-= ( ( (minarg 0, , , m R m D m D MB MB p MB s MB += (24 為了降低宏塊層算法的復雜度, 需要在對宏塊進行轉碼之前減少率失真優(yōu)化候選模式的 數量。對于轉碼前的幀內宏塊,不需要考慮刷新,因此候選模式可以仍然限制為幀內模式; 對于轉碼前的幀間宏塊, 需要考慮刷新, 因此候選模式的限制需要比較轉碼后幀內和幀間模 式的率失真函數值來確定。 而宏塊在轉碼前可利用的信息主要來自兩方面:轉碼輸入流中當 前宏塊轉碼前的率失真信息和轉碼輸出流中前一幀對應宏塊轉碼后的率失真信息

30、。 對于轉碼 前的幀間宏塊而言, 前者蘊涵了轉碼后幀間模式的率失真信息, 而后者蘊涵了轉碼后幀內模 式的率失真信息。 因此綜合利用這兩方面的信息, 減少候選模式的數量是降低宏塊層算法復雜度的有效方法。下面分別對轉碼后幀內和幀間模式的率失真函數進行分析。3.1 幀間模式率失真函數對于轉碼前的幀間宏塊,轉碼后幀間模式的率失真函數如下所示:( ( (inter 2, 0, inter 2, , inter 2, , inter m R m D m D J MB MB p MB s MB += (25其中 m inter 為當前宏塊轉碼后的幀間模式, D MB,s, 2(m inter 、 D MB,

31、p, 2(m inter 和 R MB, 2(m inter 分 別為當前宏塊轉碼后模式為 m inter 時的信源失真、擴散失真和比特數。由于幀間模式的運動 矢量可以從轉碼輸入流中解碼得到, 因此 D MB,p, 2(m inter 可以直接根據文獻 10中的擴散失真 公式計算得到。下面主要討論 D MB,s, 2(m inter 和 R MB, 2(m inter 。根據文獻 13中的宏塊信源失真模型可知:21, 22, inter 1, , inter 2, , ( (MB MB s MB s MB Q Q m D m D = (26其中 D MB,s, 1(m inter 為當前宏塊轉

32、碼前模式為 m inter 時的信源失真, Q MB, 1和 Q MB, 2分別為轉 碼前后當前幀宏塊的量化步長。 D MB,s, 1(m inter 滿足如下所示的信源率失真模型: =inter 1, , inter , 2inter 1, log (m D b a m R s MB MB MB MB (27 其中 R MB, 1(m inter 為當前宏塊轉碼前的比特數, a MB 為當前宏塊信源率失真模型參數, b MB, inter 為當前宏塊模式為 m inter 時的方差。由式(27可得:M B M B a m R MB s MB b m D inter1, 2 (inter ,

33、inter 1, , =(28其中 R MB, 1(m inter 和 b MB, inter 可以從轉碼輸入流中解碼計算得到, a MB 則基于已實際編碼宏 塊的數據根據 H.264參考模型中的線性衰退模型預測得到。將式(28代入(26可求得 D MB,s, 2(m inter ,而 R MB, 2(m inter 的計算公式如下: =inter 2, , inter , 2inter 2, log (m D b a m R s MB MB MB MB (29 將式(26 (29代入式(25即可求得 J inter 。3.2 幀內模式率失真函數對于轉碼前的幀間宏塊,轉碼后幀內模式的率失真函數

34、如下所示:( ( (intra 2, 0, intra 2, , intra 2, , intra m R m D m D J MB MB p MB s MB += (30其中 m intra 為當前宏塊轉碼后的幀內模式, D MB,s, 2(m intra 、 D MB,p, 2(m intra 和 R MB, 2(m intra 分 別為當前宏塊轉碼后模式為 m intra 時的信源失真、擴散失真和比特數。由于幀間宏塊的運動 矢量可以從轉碼輸入流中解碼得到, 因此可以確定當前宏塊在前一幀的對應宏塊, 從而獲得 其提供的幀內模式率失真信息。 D MB,p, 2(m intra 可以通過采用受

35、限幀內預測來消除, 因此下面 主要討論 D MB,s, 2(m intra 和 R MB, 2(m intra 。由于當前宏塊的運動搜索以 4×4塊為最小單位,所以獲取對應宏塊的率失真信息也以 4×4塊為單位。如果對應 4×4塊進行了幀內編碼,則將其在最優(yōu)幀內模式時的信源失真、 方差作為幀內模式率失真信息; 如果對應 4×4塊沒有進行幀內編碼, 則將其對應 4×4塊在 幀內模式時的信源失真、方差作為幀內模式率失真信息。將上述獲取的對應 4×4塊在幀內模式時的信源失真、 方差記為 (intra 2, , m D s B'、 in

36、tra , B b ',則 D MB,s, 2(m intra 和 R MB, 2(m intra 分別通過下式計算得到:(= ''=16022, 22, intra 2, , intra 2, , (B B B s B s MB Q Q m D m D (31 '=intra 2, , 160intra , 2intra 2, log (m D b a m R s MB B B MB MB (32 其中 2, B Q 和 2, BQ '分別為當前 4×4塊和前一幀對應 4×4塊的量化步長。 將式(31 (32代入式(30就可以求得

37、J intra 。3.3 候選模式的選擇根據式 (25 (30 分別求得的轉碼后幀間模式和幀內模式的率失真函數值 J inter 和 J intra , 可以對候選模式進行選擇。由于 J intra 是基于前一幀對應宏塊的信息得到的,因此當前宏塊 與對應宏塊的時域相關性越強, J intra 的誤差就越小;反之,誤差則越大?；谏鲜龇治? 實際的幀內模式率失真函數值應當落在一個以 J intra 為中心、以誤差為半徑的區(qū)間內。所以 候選模式的選擇可以基于以下思路進行:如果 J inter 大于 J intra 區(qū)間的最大值,則進行刷新, 候選模式限制為幀內模式;如果 J inter 小于 J

38、intra 區(qū)間的最小值,則不進行刷新,候選模式限 制為幀間模式;如果 J inter 落在 J intra 區(qū)間內,則無法判斷是否進行刷新,候選模式為所有模 式。 對于當前宏塊而言, 轉碼前幀間模式的差分系數表征了當前宏塊與對應宏塊的時域相關 性:系數越小,相關性越強, J intra 區(qū)間半徑也就越小;反之,相關性越弱, J intra 區(qū)間半徑 也越大。 因此可以以 4×4塊中的非零系數比 B 表征此時域相關性和區(qū)間半徑。 候選模式選 擇的具體步驟如下所示:(1根據下式分別計算最大值 (intra 2, , m D s MB 、 (intra 2, m R MB :(= +&#

39、39;'=16022, 22, intra 2, , intra 2, , 1( (B B B B s B s MB Q Q m D m D (33 +'=intra 2, , 160intra , 2intra 2, 1(log (m D b a m R s MB B B B MB MB (34 (2根據下式分別計算最小值 (intra 2, , m s MB 、 (intra 2, m MB : (= -''=16022, 22, intra 2, , intra 2, , 1( (B B B B s B s MB Q Q m D m (35 -'=

40、intra 2, , 160intra , 2intra 2, 1(log (m b a m s MB B B B MB MB (36(3根據下式分別計算 intra J 的最大值 intra J 和最小值 intra J :( (intra 2, 0, intra 2, , intra m R m D J MB MB s MB += (37( (intra 2, 0, intra 2, , intra m R m D J MB MB s MB += (38(4如果 intra inter J J >,則候選模式限制為幀內模式;否則,如果 intra inter J J <,則 候

41、選模式限制為幀間模式;否則,則候選模式為所有模式。4 實驗結果及討論我們基于 H.264 JM12.2參考模型和空域轉碼結構 2,對本文提出的容錯性轉碼算法、文 獻 89中的容錯性轉碼算法以及 JM12.2參考模型中的非容錯性算法進行了測試。實驗采用 ITU 推薦的 3G 無線視頻通用仿真測試環(huán)境 14,無線信道誤碼使用六種錯誤模板來模擬實現, 誤碼率分別為 9.3e-3、 2.9e-3、 5.1e-4、 1.7e-4、 5.0e-4、 2.0e-4, 測試序列使用 Hall Monitor、 Coastguard 、 Foreman 、 Glasgow 、 Paris 等五個測試序列,序列與

42、模板的對應關系根據文 獻 14中表 4設置,其中模板 1和 2針對的是流媒體型業(yè)務,分別進行了 3次和 2次重傳,模板 3-6針對的是會話型業(yè)務,不進行重傳。轉碼輸出序列的分辨率、幀率、碼率根據文獻 14中表 1設置,轉碼輸入序列的分辨率、幀率與輸出序列相同,碼率則為輸出序列的兩倍。測 試序列的編碼幀數均為 100幀,不使用多參考幀運動預測,均采用 IPPP. 的編碼結構和一片 一包的打包策略,解碼端啟用誤碼掩蓋策略。每組實驗均采用文獻 14中表 3給出的 10個錯 誤起始位置進行 10次測試。實驗所用的機器配置為 Pentium 4 3.0GHz CPU、 1.00GB 內存。表 1給出了每

43、個測試序列無誤碼條件下的原始信噪比、 10次誤碼測試的平均信噪比和每 個測試序列的轉碼時間。其中算法 1、 2、 3、 4分別表示本算法、幀層算法 8、宏塊層算法 9 和 JM12.2參考模型算法。由表 1可以看出,與 JM12.2參考模型算法相比,本算法、幀層算法 和宏塊層算法無誤碼條件下的原始信噪比分別有約 0.56dB 、 0.62dB 和 0.45dB 的降低,而 10次 誤碼測試的平均信噪比則分別有約 3.71dB 、 2.75dB 和 3.19dB 的增益。這主要是因為本算法、 幀層算法和宏塊層算法在視頻流中嵌入了額外的容錯性工具, 從而導致在無誤碼條件下信噪 比降低,而在誤碼條件

44、下信噪比增高。由表 1還可以看出,除了 Glasgow 序列,本算法 10次 誤碼測試的平均信噪比始終保持最優(yōu),與幀層算法和宏塊層算法相比分別有約 1.11dB 和 0.62dB 的增益。 本算法相對于幀層算法的增益主要來源于在幀層率失真模型中考慮幀內宏塊 刷新、幀內預測和運動矢量預測的影響和以宏塊層的模式優(yōu)化選擇代替幀層的模式優(yōu)化選 擇, 相對于宏塊層算法的增益則主要來源于以基于率失真優(yōu)化的片長度選擇代替基于固定閾 值的片長度選擇。 通過進一步分析, 我們可以發(fā)現:與幀層算法相比, 本算法對 Hall Monitor序列(會話型的提升最大,有約 2.85dB 。這是因為對于 Hall Mon

45、itor 這種大部分內容為靜 止背景, 小部分內容為運動物體的序列, 僅在幀層進行模式選擇難以精確地對小部分運動物 體進行幀內模式刷新, 因而當運動物體出現誤碼時會導致信噪比的顯著下降。 與宏塊層算 法相比,本算法對 Foreman 序列(流媒體型的提升最大,有 1.05dB ,但是對于 Foreman 序列 (會話型的提升則相對低一些,只有 0.45dB 。這是因為在仿真實驗中,宏塊層算法所取的 片長度選擇閾值,是文獻 12中基于 Foreman 序列(會話型給出的推薦值,因此宏塊層算 法的性能對于 Foreman 序列(會話型較好,對于 Foreman 序列(流媒體型則較差。這正 說明宏塊

46、層算法的適應性較差, 而本算法則能在不同的測試條件下均保持較好的性能。 與 幀層算法和宏塊層算法 相比,本算法對 Glasgow 序列均只有略微的提升。這是因為 Glasgow 序列存在頻繁的場景切換 (由 30f/s轉為 7.5f/s后 100幀中包括 13幀場景切換幀 ,本身已具有較強的容錯性,進一步提升的空間較小。除了信噪比,由表 1還可以看出,本算法的轉碼時間 與宏塊層算法相比減少了約 25%, 與幀層算法基本相當。 這是因為宏塊層的率失真優(yōu)化需要 進行實際編碼, 而幀層的率失真優(yōu)化并不需要, 所以復雜度主要集中在宏塊層, 而本算法通 過重用信息減少了宏塊層率失真優(yōu)化中候選模式的數量,

47、 降低了宏塊層算法的復雜度, 因此 本算法的轉碼時間與宏塊層算法相比能有較明顯的減少,與幀層算法相比則基本相當。 圖 1給出了 Hall Monitor序列(會話型和 Foreman 序列(流媒體型的單幀信噪比,兩 者分別是在錯誤模板 4和 1下進行 10次測試得到的平均值。由圖 1我們可以發(fā)現,在誤碼條件 下本算法的單幀信噪比也基本上保持最優(yōu)。圖 2和圖 3比較了 Hall Monitor序列(會話型和 Foreman 序列(流媒體型解碼重構圖像的主觀質量。由圖 2和圖 3我們可以看出,本算法的 解碼重構圖像具有較好的主觀質量, 既通過精確的幀內模式刷新避免了誤差擴散導致的黑斑 和陰影,又通

48、過適當的片長度選擇避免了丟包導致的掩蓋失真。5 結論針對現有基于單層率失真優(yōu)化的容錯性視頻轉碼算法在靈活性、精確性、復雜度方面 的不足, 本文提出了一種基于分層率失真優(yōu)化的容錯性視頻轉碼算法。 該算法通過在幀層和 宏塊層分別對重同步標記的插入和幀內宏塊的刷新進行不同粒度的優(yōu)化來提高算法的靈活 性,通過在幀層考慮幀內宏塊刷新、幀內預測和運動矢量預測的影響來提高算法的精確性, 通過在宏塊層減少候選模式的數量來降低算法的復雜度。 仿真實驗結果表明, 本算法的平均 信噪比與基于幀層率失真優(yōu)化的算法 8和基于宏塊層率失真優(yōu)化的算法 9相比有較為顯著 的提高, 并且對于不同特征的序列始終保持最優(yōu), 同時本

49、算法的復雜度與宏塊層算法相比降 低了約 25%,與幀層算法基本相當。作為最新一代視頻編碼標準, H.264提供了一些新的容 錯工具,如靈活的宏塊排序 FMO 等,因此在下一步的工作中我們將嘗試在基于率失真優(yōu)化 的容錯性轉碼框架中引入這些新的工具。表 1. 信噪比和轉碼時間的比較圖像序列 算法模板 1/3/5 模板 2/4/6運行時間 (s 原始信噪比(dB平均信噪比(dB原始信噪比(dB平均信噪比(dBHall Monitor 會話型 1 41.16 37.323 41.07 38.251 8.0852 41.29 34.604 41.27 35.219 7.9883 40.99 36.775

50、 40.98 37.560 11.7654 41.43 31.866 41.43 34.715 11.813Coastguard 流媒體型 1 33.70 29.989 33.51 29.037 11.7973 33.75 29.691 33.59 28.623 15.6254 34.10 26.113 34.10 23.794 15.820Foreman 會話型 1 34.45 30.551 34.50 31.092 12.6112 33.92 29.664 33.93 30.270 12.4663 34.68 30.264 34.69 30.602 16.6374 35.31 26.465

51、 35.31 26.546 16.912Foreman 流媒體型 1 34.42 30.557 34.23 29.340 11.7902 34.37 29.925 34.28 28.946 11.4113 34.84 29.277 34.58 28.591 16.2994 35.31 25.229 35.31 22.596 16.329Glasgow 流媒體型 1 28.77 27.201 28.41 26.443 11.3612 28.76 27.162 28.34 26.351 10.8503 28.86 27.177 28.47 26.380 16.1024 29.15 25.694 2

52、9.15 24.840 16.252Paris 會話型 1 31.81 28.269 31.82 28.560 39.1092 31.89 27.829 31.85 27.912 38.3003 31.88 27.603 31.92 27.790 52.6374 32.00 26.788 32.00 27.377 54.826 (a Hall Monitor序列(會話型 (b Foreman序列(流媒體型 圖 1. 單幀信噪比的比較 (a 原始圖像 (b 幀層算法 (c 宏塊層算法 (d 本算法 (e JM12.2算法圖 2. Hall Monitor序列主觀質量的比較 (a 原始圖像 (b

53、幀層算法 (c 宏塊層算法 (d 本算法 (e JM12.2算法圖 3. Foreman序列主觀質量的比較參考文獻 :1Vetro. A, Christopoulos. C, and H.F. Sun. Video transcoding architectures and techniques: an overview. IEEE Signal Processing Magazine, 2003, 20 (2: 18-292I. Ahmad, XH. Wei, Y. Sun et al. Video transcoding: an overview of various techniques

54、 and research issues, IEEE Transactions on Multimedia, 2005, 7 (5: 791-043余圣發(fā) , 陳曾平 , 莊釗文 . 針對網絡視頻應用的視頻轉碼技術綜述 . 通信學報 , 2007, 28 (1: 111-1184De los Reyes, G, Reibman, A.R, Chuang, J.C, et al. Video transcoding for resilience in wireless channels. In: Proceedings of International Conference on Image P

55、rocessing (ICIP 98, Chicago, USA, 1998: 338-3425S. Dogan, A. Cellatoglu, M. Uyguroglu, et al. Error-resilient video transcoding for robust internetwork communications using GPRS. IEEE Transactions on Circuits and Systems for Video Technology, 2002, 12(6: 453-4646H.-J. Chiou, Y.-R. Lee, and C.-W. Lin

56、. Content-aware error-resilient transcoding using prioritized intra-refresh for video streaming. Journal of Visual Communication and Image Representation, 2005, 16(4: 563-5887Sertac Eminsoy, Safak Dogan, and Ahmet M. Kondoz. Transcoding-based error-resilient video adaptation for 3G wireless networks

57、. EURASIP Journal on Advances in Signal Processing, 2007, 2007(2: 29-398Vetro, A, Xin, J, et al. Error resilient video transcoding for wireless communications. IEEE Wireless Communications, 2005, 12 (4: 14-219Seong Hwan, Jang Jayant, N. An efficient error resilient technique for applications of one-way video using transcoding and analysis by synthesis. In: Proceedings of IEEE Global Telecommunications Conference Workshops, Texas, USA, 2004:428- 43210Zhang Y, Gao W, Lu Y, et al. Joint source-channel rate-distortion optimization for H.26