一種面向SVC的碼率控制算法

1、一種面向SVC的碼率控制算法徐龍* 基金項目：北京市自然科學(xué)基金（No.4041003）；國家自然科學(xué)基金（No.60333020）；國家科技攻關(guān)計劃（No. 2002BA906A35）；國家863計劃（No.2004AA119010）。徐龍，男，1977年生，博士，主要研究領(lǐng)域：可伸縮視頻編碼，3D小波視頻編碼，圖像處理，E-mail：lxu，通信地址：北京市海淀區(qū)上地東路1號盈創(chuàng)動力A座701室，聯(lián)系電話：58858300-320；高文，男，1956 年生，博士，教授，博士生導(dǎo)師，主要研究領(lǐng)域：多媒體數(shù)據(jù)壓縮，圖像處理，計算機視覺，多模式接口，人工智能，虛擬現(xiàn)實等；季向陽，男，1976年生

2、，博士，主要研究領(lǐng)域：視頻編碼，圖像處理，3D小波視頻編碼；趙德斌，男，博士，教授，博士生導(dǎo)師，主要研究領(lǐng)域：視頻壓縮，圖像處理，模式識別。本文投稿日期：2006年9月，修改：2008年6月。1，高文1，2，季向陽1，趙德斌3（1中國科學(xué)院計算技術(shù)研究所，北京 100080；2北京大學(xué)數(shù)字媒體研究所，北京100871；3哈爾濱工業(yè)大學(xué)，哈爾濱 150001）摘要：H.264/AVC可伸縮性擴展視頻編碼系統(tǒng)（JSVM）提供了一種可伸縮視頻編碼（SVC）的解決方案，然而它本身并沒有提供一種有效的碼率控制算法。本文基于JSVM的分層預(yù)測結(jié)構(gòu)，提出了一種全新的碼率控制算法。首先在碼率分配方面，考慮到分

3、層B幀預(yù)測（或運動補償時間域濾波（MCTF）結(jié)構(gòu)，本文提出了一種分層的碼率分配方案；其次，針對不同類型和不同時間分解層各自的統(tǒng)計特性，分別為它們設(shè)計了不同的率失真（R-D）模型。實驗結(jié)果表明，本算法能夠有效地控制碼率，使得目標(biāo)碼率跟實際產(chǎn)生碼率之間的偏差最大不超過2%；同時本算法較大地提高了解碼圖像的質(zhì)量，使得峰值信噪比（PSNR）在低碼率端可提高1dB；另外， JSVM中通過不斷調(diào)整量化參數(shù)（QP）使得實際產(chǎn)生的碼率逐次逼近目標(biāo)碼率， 較之這種嘗試式的碼率控制算法，本文基于模型的碼率控制是在一次編碼中產(chǎn)生最終的目標(biāo)碼率，從而大大降低了計算復(fù)雜度。關(guān)鍵字：可伸縮編碼；碼率控制；率失真優(yōu)化；率失

4、真模型1引言隨著計算機、通信和各種娛樂媒體的交互、融合，如今各種數(shù)字媒體應(yīng)用通過通信網(wǎng)絡(luò)連為一體。在網(wǎng)絡(luò)環(huán)境里，比如互聯(lián)網(wǎng)，各種終端系統(tǒng)可能具有不同的再現(xiàn)能力和應(yīng)用需求。所以為了某種特定的應(yīng)用而一次壓縮的碼流并不是令人滿意和有效的，對一些特定的用戶或設(shè)備而言，甚至是沒有意義的。解決這個問題的一個有效的方法就是可伸縮編碼。在可伸縮編碼里，為低端應(yīng)用而產(chǎn)生的低碼率碼流作為子集嵌入在為高端應(yīng)用而產(chǎn)生的高碼率碼流中。這樣，對于一次性壓縮的高碼率碼流，通過選擇性地傳輸和解碼其中的部分碼流，就能夠得到適用于多種應(yīng)用和多種設(shè)備的解碼結(jié)果?？缮炜s功能主要包括信噪比、空間分辨率、時間分辨率和復(fù)雜度可伸縮性。目前

5、，基于H.264可伸縮擴展的視頻編碼系統(tǒng)1被采納作為可伸縮視頻編碼的標(biāo)準(zhǔn)，稱為Joint Scalable Video Model (簡稱JSVM)。JSVM在時間域上采用基于運動補償時域濾波（MCTF）的開環(huán)預(yù)測或分層B幀（Hierarchical B）的閉環(huán)預(yù)測2-3。以一組圖像（GOP）為單位，經(jīng)過分層B幀預(yù)測（或MCTF4-6），產(chǎn)生一組不同頻率的子帶圖像（subband），包括低通（low-pass）子帶和若干高通(high-pass)子帶，子帶的編碼采用H.264/AVC的方法。通過依存選擇性地傳輸或解碼部分子帶（頻率從底到高）實現(xiàn)時間域分辨率的可伸縮性；為了取得空間域可伸縮性，對

6、原始視頻序列經(jīng)過多次下采樣得到多個分辨率的視頻序列，這些序列經(jīng)過去相關(guān)一起壓縮到一個碼流文件，實際應(yīng)用環(huán)境中選擇性地傳輸或解碼相應(yīng)分辨率的序列可以獲得多個空間分辨率的解碼圖像；信噪比（SNR）可伸縮性通過傳統(tǒng)的FGS技術(shù)實現(xiàn)。JSVM提供了可伸縮編碼的有效解決方案，通過一次編碼產(chǎn)生的高碼率碼流，可以根據(jù)用戶需求和應(yīng)用環(huán)境，得到各自時域（幀率）、空域和信噪比的解碼。但是這種可分級畢竟是有限的，不可能得到任意連續(xù)（無縫的）分辨率的解碼，只有碼率控制可以產(chǎn)生任意精細程度的碼流，并且，獲得可伸縮碼流本身需要碼率控制。除此之外，碼率控制涉及的一系列優(yōu)化策略能夠有效地提高編碼的性能?？傊?，作為任何編碼標(biāo)準(zhǔn)

7、的應(yīng)用，碼率控制是不可缺少的，同樣對于JSVM碼率控制的研究價值是肯定的。傳統(tǒng)的碼率控制模型有MPEG2的TM57，H.263的TMN88和TMN129以及MPEG4的VM810等。對于H.264/AVC，一種基于VM8改進的碼率控制算法11和一種基于率失真優(yōu)化和假設(shè)參考模型（HRD）的碼率控制算法12，被采納并廣泛應(yīng)用。碼率控制不但涉及量化參數(shù)的選擇而且涉及最優(yōu)模式?jīng)Q策和最優(yōu)碼率分配，同時還應(yīng)該考慮解碼器的溢出。首先，率失真模型表示碼率和量化參數(shù)之間的關(guān)系，給定目標(biāo)碼率，根據(jù)率失真模型計算編碼所用的量化參數(shù)從而使得實際編碼所用的比特數(shù)盡可能地接近目標(biāo)碼率。例如在TM5中，采用一個簡單的基于緩

8、沖區(qū)變化的線性率失真模型；而H.264采用了更為精確的二次率失真模型；也有根據(jù)量化參數(shù)和量化后零系數(shù)所占比例的關(guān)系建立率失真模型，稱為域模型。其次，碼率控制通常跟率失真優(yōu)化緊密地聯(lián)系在一起，二者互為一個矛盾統(tǒng)一體。另外，在廣泛運用的幀間預(yù)測編碼里，運動估計產(chǎn)生的運動向量和殘差信息之間需要一個折中，通常是用拉格朗日乘數(shù)法來實現(xiàn)此率失真優(yōu)化的。率失真優(yōu)化通過選擇最優(yōu)編碼模式和最優(yōu)碼率分配取得最優(yōu)的編碼性能。在當(dāng)前的JSVM中，碼率控制從給定的初始量化參數(shù)出發(fā)，通過二分搜索算法得到最終的量化參數(shù)。這種算法產(chǎn)生的多次循環(huán)增加了時間復(fù)雜度，并且算法本身沒有考慮到編碼圖像（或宏塊）的屬性。本文針對JSVM

9、提出了一種全新的基于圖像內(nèi)容的自適應(yīng)碼率控制算法，碼率的分配和率失真模型的構(gòu)造都充分考慮到了JSVM特殊的分層結(jié)構(gòu)。本文的結(jié)構(gòu)安排如下，第二部分展示了部分測試序列的率失真性能曲線，以及在此統(tǒng)計結(jié)果上建立的率失真模型，第三部分詳細描述了分層的碼率分配算法，實驗結(jié)果和分析在第四部分，最后，第五部分對全文進行了總結(jié)。2分層率失真模型碼率控制所要達到的一個目標(biāo)是：1）決定適當(dāng)?shù)牧炕瘏?shù)使得所編碼的比特流滿足給定的目標(biāo)碼率；2）解碼圖像的失真最小。對于1），由于編碼中碼率的產(chǎn)生由量化參數(shù)決定，而實際應(yīng)用中往往給定碼率，這就需要以給定的碼率求得相應(yīng)的量化參數(shù)，這個問題的解決取決于率失真模型，通常率失真模型

10、是一個碼率和量化參數(shù)的方程。在JSVM分層B幀的預(yù)測結(jié)構(gòu)（或MCTF）中，產(chǎn)生了一系列特征（主要是頻率）不同的幀，包括低通子帶（I、P幀）和不同層上的高通子帶（B幀）。我們對一些序列作了細致的統(tǒng)計分析，得到分別針對于不同類型幀的率失真性能曲線（如圖1所示）。實驗的目的是給不同類型的幀指定不同的率失真模型，從結(jié)果可以看出，B幀的率失真性能的確跟I幀和P幀相差很大，I幀和P幀亦有較大的差別。所以我們提出的解決方案是：1）給定I幀和P幀不同的率失真模型，模型參數(shù)在相鄰若干個GOP的各自幀類型范圍內(nèi)更新；2）給定不同層次B幀不同的率失真模型，模型參數(shù)除了在相鄰GOP間的相應(yīng)層次的幀間更新外，還在本層內(nèi)

11、幀間更新；3）最底層B幀的量化參數(shù)由次底層插值得到，建議不使用碼率控制；4）關(guān)于I、P和B幀采用的率失真模型的類型為：I幀和P幀分別采用二次率失真模型，而B幀采用線性的率失真模型。圖1中“I Frames”代表I幀的量化步長與編碼的比特數(shù)之間的關(guān)系，“P Frames”代表P幀的量化步長與編碼比特數(shù)之間的關(guān)系，二者的率失真曲線比較接近，而與“B Frames” （代表B幀的量化步長與編碼比特數(shù)之間的關(guān)系）相差較遠。圖1中“poly I Frames”、“poly P Frames”和“poly B Frames”分別代表I、P和B幀率失真性能的二次擬合曲線，可以看出三者率失真性能的擬合都非常符

12、合二次方程，相關(guān)性在0.99以上，所以在碼率控制中使用二次率失真模型能夠很好地控制碼率，使得實際產(chǎn)生的碼率與目標(biāo)碼率盡可能匹配。然而，二次率失真模型的更新比較復(fù)雜，并且相對線性模型需要更多的樣本點，故而對于B幀，我們選擇了線性率失真模型。就B幀而言，我們做了一系列測試，統(tǒng)計得出B幀使用線性模型，相關(guān)性在0.99以上，而I、P幀使用線性模型相關(guān)性只在0.97以上，所以在我們提出的碼率控制中，所有B幀使用線性率失真模型。圖1中只給出了最高層B幀（“Foreman”和“Football”）的率失真曲線以及它的線性擬合，可以看出其最高層率失真性能曲線非常符合線性模型，相關(guān)性達到0.99?；趥鹘y(tǒng)H.2

13、64/AVC碼率控制的率失真模型，本文對于I幀和P幀的二次率失真模型為： （1）而對于各個時域分解層上的B幀，實驗統(tǒng)計數(shù)據(jù)結(jié)果表明可以用簡單的線性曲線擬合，其線性模型為：（2）其中R為分配給當(dāng)前幀（或宏塊）除去編碼頭信息（header bits）的比特數(shù)，為當(dāng)前幀（宏塊）的MAD（mean absolute distortion），QP為當(dāng)前幀（宏塊）的量化參數(shù)，c，c1和c2是常數(shù)。時域分解的B幀在各自層次上使用各自的率失真模型，模型參數(shù)在各自層次的幀上更新，其中二次模型參數(shù)的更新使用線性回歸方法13-14，一次模型的更新簡單地使用若干歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)的加權(quán)平均。(a)Foreman (Q

14、CIF)(b)Football (QCIF)圖 1. 率失真性能曲線及其線性、二次曲線擬合3分層的碼率分配策略在JSVM的時域分解中，有兩種不同的分解方式：1）MCTF，它是一個倒立的金字塔結(jié)構(gòu)，低通子帶處于金字塔的最底層，是原始若干幀低通信息的匯聚，這里的I、P幀都屬于時域分解的低通子帶；2）Hierarchical B，它是一個金字塔結(jié)構(gòu)，最底層為最高頻B幀，從低到高，頻率依次降低，其對整個編碼性能的貢獻也越來越大，金字塔的頂端為幀內(nèi)編碼的I幀或幀間前向預(yù)測編碼的P幀。如圖2（a）所示3級MCTF，8幀原始圖像經(jīng)過3級MCTF分解得到1幀低通子帶（I幀或P幀）和分布在3級上的高通子帶；圖2

15、（b）所示為4層Hierarchical B 分解，原始16幀經(jīng)過4級Hierarchical B 分解得到一個I（或P）以及分布在4層上的B幀。(a)3級運動補償時間域濾波（MCTF）分解(b) 4級分層B幀（Hierarchical B）分解圖2.JSVM時域分解結(jié)構(gòu)在我們以前的工作15中，基于MCTF的結(jié)構(gòu)，每個子帶的碼率分配由當(dāng)前GOP所剩的比特數(shù)和緩沖區(qū)變化來決定；同時，各個子帶間的碼率分配由一個權(quán)重參數(shù)來調(diào)整，這個權(quán)重參數(shù)由以下兩個因素決定：一方面，由于MCTF所用的非歸一化的濾波器，濾波器的歸一化被放置到量化里來實現(xiàn)；另一方面，不同頻率的幀對于整體編碼性能的影響力不同，低頻幀在編

16、碼中的影響力最大。碼率在這些子帶間按照各自的復(fù)雜度信息（宏塊系數(shù)哈達瑪變換的平方累加和）和重要性信息（權(quán)重參數(shù)）來分配。依圖中表示，最底層的幀為MCTF分解的低通子帶，含有原始視頻序列的低頻信息，它對于編碼性能的影響是至關(guān)重要的，接下來是次底層的高通子帶，依存從下到上，各個層上的高通子帶頻率依次升高，對整體編碼性能的影響依存遞減?；谶@種考慮，指定各個子帶一個權(quán)重因子（scaling factor），參考1，本文給出了MCTF分解子帶從高層到底層（頻率從低到高）對應(yīng)的權(quán)重因子為：1.000f,1.216f,1.478f,1.794f。除了scaling factor，我們還考慮了濾波器的歸一化

17、問題，JSVM的MCTF編碼結(jié)構(gòu)中所涉及的濾波器系數(shù)和相應(yīng)的濾波器能量為：Haar低通：系數(shù) 1/2，1/2，能量 ；Haar 高通：系數(shù) 1，-1，能量 ；樣條 5/3 低通：系數(shù) -1/8, 1/4, 3/4, 1/4, -1/8，能量 ；樣條5/3 高通：系數(shù)-1/2, 1, -1/2，能量。根據(jù)濾波器能量，兩個相鄰層子帶（對應(yīng)濾波前和濾波后）之間量化參數(shù)（實際涉及到計算都是指量化步長，量化參數(shù)只是作為量化步長的索引）的關(guān)系由以下式子表示 （3）這里n為MCTF的級數(shù)，QPt，n（tL，H）為n級t類型子帶的量化參數(shù)，常數(shù)，分別表示低通和高通濾波器的能量。從而相鄰層高通子帶與低通子帶間能

18、量的比例關(guān)系為，相鄰兩個低通層間能量的比例關(guān)系為。式（3）這種層間量化參數(shù)的關(guān)系類似地在JSVM固定量化參數(shù)的編碼中已經(jīng)出現(xiàn)1-2?？梢钥闯?，上層子帶的量化參數(shù)可以由底層子帶（最底層為MCTF分解得到的低通子帶）的量化參數(shù)依照（3）式導(dǎo)出；同時，兩層高通子帶量化參數(shù)之間的關(guān)系也可以根據(jù)（3）式導(dǎo)出為： （4）假設(shè)碼率與量化參數(shù)之間為簡單的反比例關(guān)系，則第i個高通子帶的目標(biāo)碼率可以表示為： （5）對于如圖2（a）中唯一的低通子帶，式（5）相應(yīng)地修改為 （6）這里Bi（j）是編碼第i個子帶之前，當(dāng)前（第j）GOP剩余的比特數(shù)，（t=I,p,b）是當(dāng)前GOP第i子帶（類型為t）的復(fù)雜度（sum ab

19、solute distortion（SAD），l為MCTF分解的層次，假設(shè)分解層次為d，如圖2，則低頻幀處于分解的頂層（記為d），其他高通子帶分別位于的d-1到0層，GOP的大小為N。最后，綜合考慮歸一化和權(quán)重因子，則相應(yīng)的（5）、（6）修改為： （7）和 （8）式中參數(shù)l，d和i如（5-6）式，Sl表示第l層的權(quán)重因子。對于Hierarchical B 結(jié)構(gòu)，碼率分配類似于MCTF碼率分配的推理過程，只是涉及到的濾波器不同，從而（3-8）中涉及到的比例因子需要修改。簡單地來說，Hierarchical B 結(jié)構(gòu)中不包含MCTF分解中提升格式小波變換的更新（update）5-6過程，從而式（3

20、-8）中代表低通濾波器（樣條5/3）能量的常數(shù)因子始終為1。4實驗結(jié)果及討論為了評價本文的碼率控制算法，我們分別在一系列序列（包括 “football”，“foreman”，“mobile”和“harbour”等）上進行了測試。測試結(jié)果表明，該算法可以有效地控制碼率；并且相對于原始搜索量化參數(shù)的碼率控制（min-max）算法，該算法提高了編碼的性能，特別是在低碼率端，圖像的PSNR提高了近1dB；同時，由于該算法中量化參數(shù)的決策是在一次過程中取得，所以時間復(fù)雜度降低了。根據(jù)16的性能分析和17-18的實驗結(jié)果，對于低頻幀使用較小QP，而高頻幀使用較大QP的策略較之所有幀使用相同QP（后面稱為固

21、定QP）的方法能夠極大提高編碼的性能，這種量化稱為分層或?qū)盈B（cascade）量化。其中，在17中，我們針對單層H.264/AVC的Hierarchical B編碼，基于與本文相同的思想提出了使用伸縮因子（scaling-factor）進行最優(yōu)碼率分配的碼率控制算法；而且，給出了所有幀使用相同QP、傳統(tǒng)的碼率控制、分層的多級QP和我們提出的碼率控制的性能對比結(jié)果。如圖3和圖4分別展示了“football”和“bus” (176x144(QCIF), 30Hz)的H.264/AVC單層編碼結(jié)果（JSVM基本層編碼與H.264/AVC完全兼容），可以看出，使有多級QP和我們提出的使用scaling

22、-factor的碼率控制算法，可以大大提高編碼的性能，圖中“Constant QP”表示所有幀使用相同QP的編碼, “Existing RC”使用傳統(tǒng)碼率控制, “Hierar-QP”使用多級QP, “Proposed RC”使用我們提出的碼率控制。與所有幀使用相同QP編碼比較，多級QP和我們的碼率控制算法可以提高PSNR 2dB多；而且，如果使用傳統(tǒng)的碼率控制12，可以看出它并不適合新的分層B幀編碼結(jié)構(gòu)，PSNR較固定QP編碼下降超過1dB。在18中，針對空間分辨率層，我們提出了一種新的率失真模型，以更好地利用層間編碼信息。圖5-8給出“football”，“foreman”，“mobile

23、” 和“harbour”在兩級空間分辨率層（176x144 （QCIF） 15Hz，352x288（CIF） 15Hz）上從低碼率到高碼率的PSNR對比。其中“football”在各個碼率點上（QCIF 在60kbps和450kbps之間，CIF在200kbps和1500kbps之間）的PSNR較多級QP的結(jié)果提高了0.3-1.1dB；“foreman”在基本層（QCIF，15Hz）低碼率端（小于38kbps）的PSNR提高了1.0dB； “mobile”和“harbour”在基本層（QCIF 15Hz）低碼率端也分別有大于0.75 dB 和1.0dB的增益；“football”，“forem

24、an”和“mobile”在增強層（CIF，15Hz）最高碼率點上的PSNR分別有1.09dB，0.96dB和0.84dB的增益?？傮w來看，本文所提出的分層結(jié)構(gòu)的碼率分配方案做到了碼率的優(yōu)化分配，從而使得編碼的性能大大提高；同時，本文所提出的碼率控制算法較好地工作于從低碼率到高碼率的各個碼點上。表2-5分別詳細給出了以上各個測試序列的圖像PSNR和碼率，以及與使用多級QP編碼的圖像的PSNR和碼率的對比結(jié)果；同時，碼率控制的誤差和PSNR的增益也在表2-5中給出?？梢钥闯隹傮w碼率控制的誤差保持在正負2%誤差范圍內(nèi)，對于基本層（QCIF，15Hz）PSNR的增益在0.3-1.1dB之間，對于增強層

25、，PSNR的增益在0-1.1dB之間。圖5-9和表2-5中，為了與碼率控制結(jié)果對比，都給出了多級QP量化的編碼結(jié)果，因為在JSVM，多級QP相對固定QP的編碼增益達到了1-2dB。進一步分析結(jié)果可知，本文提出的碼率控制算法對于運動較劇烈的序列（例如“football”），PSNR有更大的提高。如圖5所示，“football”在兩層空間分辨率層上從低碼率到高碼率，PSNR都有不同程度的提高，其中基本層上碼率從60kbps到450kbps之間，圖像的PSNR提高了0.66-0.94dB，增強層碼率從200kbps到1500kbps之間，圖像的PSNR提高了0.26-1.09dB。相反地，“harb

26、our”和“mobile”運動相對緩慢，中高碼率PSNR提高幅度不大。以上對于“football”，“mobile”和“harbour”實驗結(jié)果的分析可以說明本文所提出的碼率控制算法在率失真優(yōu)化、碼率的優(yōu)化分配（包括運動矢量和編碼系數(shù)的碼率分配）方面對于整體編碼性能的影響起到了關(guān)鍵的作用，正因為如此，對于運動平緩的序列，每幀的碼率變化不大，這樣使用碼率分配方案起到的作用不如前者大，所以使用本文的碼率控制算法對于運動平滑的序列的PSNR提高不如運動劇烈的序列的PSNR高。圖9是“foreman”單幀圖像PSNR對比圖，兩條曲線分別是用固定QP和本文所提出的碼率控制算法得到的各幀圖像的PSNR對比

27、。從圖9可以看出，不論是用多級QP編碼或以碼率控制編碼，單幀圖像的PSNR在各個低通（I/P）幀都對應(yīng)一個波峰，這是由于低通幀對于一個GOP中的所有高通幀的質(zhì)量都有影響，從而高質(zhì)量的低通幀可以保證整體的編碼性能，已有實驗結(jié)果分析說明了這種PSNR波動并不影響解碼圖像的視覺效果。圖10給出了測試序列“foreman”和“football”在兩層空間分辨率（QCIF 15Hz，CIF 15Hz），總體碼率分別為242kbps（基本層碼率69kbps，增強層碼率173kbps）和617kbps（基本層碼率195kbps，增強層碼率422kbps）時的編碼器緩沖區(qū)變化曲線?？梢钥闯?，編碼緩沖區(qū)處于一個

28、較平穩(wěn)的周期變化的狀態(tài)。變化周期為一個GOP時間的長度。并且由于每個GOP的低頻幀（I/P幀）消耗最多的碼率，從而曲線變化上有一個緩沖區(qū)填充的尖峰，然后緩沖區(qū)填充度逐漸降低，直到另一個GOP的低頻幀開始進入。另外，“football”的緩沖區(qū)較“foreman”變化大，這是由于相對“foreman”而言，“football”有更劇烈的運動，表現(xiàn)出各個編碼幀復(fù)雜度較大幅度的變化，以及相應(yīng)地編碼使用比特數(shù)較大的差別，從而緩沖區(qū)數(shù)據(jù)不同的流入和流出速率使得其填充度有較大的變化?？傊褂昧朔謱拥穆适д婺Ｐ?，使得編碼產(chǎn)生的碼率能夠準(zhǔn)確地匹配目標(biāo)碼率；使用了分層的碼率分配方案，做到了有限碼率的優(yōu)化分配，

29、使得編碼的整體性能大大提高；另外，分層的B幀（或MCTF）預(yù)測結(jié)構(gòu)產(chǎn)生不同重要性的幀，使得碼率控制在GOP內(nèi)更加容易，實際上，碼率控制中為了取得GOP級的碼率匹配，對于次重要性幀的碼率調(diào)整較大，從而校正了由于重要性較高幀編碼產(chǎn)生碼率的不匹配。5結(jié)論本文針對JSVM提出了一種有效的碼率控制算法，其中在提高圖像的PSNR和碼率的精確匹配方面，本算法都表現(xiàn)出了較好的性能。本文主要在碼率分配和率失真模型設(shè)計兩大關(guān)鍵技術(shù)上提出了我們自己的方法。首先，基于Hierarchical B （或MCTF）特殊的分解結(jié)構(gòu)，考慮了各個時域分解層上B幀（或高通子帶相當(dāng)于MCTF）對于整體編碼性能的影響和作為參考幀對于

30、后續(xù)編碼B幀的影響，分別為每個幀指定了一個權(quán)重因子。在此基礎(chǔ)上，根據(jù)每個幀的權(quán)重因子和它的復(fù)雜度得到各自的碼率配額；其次，針對不同類型幀的統(tǒng)計特性，分別為它們指定了不同的率失真模型。實驗結(jié)果證明本算法不但能夠有效地控制碼率，而且極大地提高了編碼性能。本文涉及碼率控制的其他方面，如緩沖區(qū)管理，沿用了已有TMN8的方法，另外，目前未考慮碼率在多個空間分辨率層間的分配問題，所有這些都需要進一步考慮。圖3. “football”PSNR對比圖圖4. “bus”PSNR對比圖a）Football （176x144 15Hz）b）Football （352x288 15Hz）圖5. 多級QP和碼率控制結(jié)果

31、PSNR對比（Football）a）Foreman （176x144 15Hz）B）Foreman（352x288 15Hz）圖6. 多級QP和碼率控制結(jié)果PSNR對比（Foreman）a）Mobile （176x144 15Hz）b）Mobile（352x288 15Hz）圖7. 多級QP和碼率控制結(jié)果PSNR對比（Mobile）a） Harbour （176x144 15Hz）b）Harbour（352x288 15Hz）圖8. 多級QP和碼率控制結(jié)果PSNR對比（Harbour）a) Foreman (QCIF QP=32/bit rate=69kbps 15Hz)b) Foreman

32、(CIF QP=32/bit rate=242kbps 15Hz)圖9. 多級QP和碼率控制單幀圖像的PSNR對比a) Foremanb) Football圖10 . 緩沖區(qū)的變化曲線(增強空間分辨率層)表2. “Football” 多級QP和碼率控制結(jié)果對比FOOTBALL(BL) QCIF 15HzFixed QPOur Proposed RCPSNRYBITSErrorBit rateYUVBit rateYUV435.8439.977643.261844.4631446.996740.879643.748445.0040.9020.026 291.474537.034440.93814

33、2.6291294.921937.855241.617243.29440.82080.012 195.799234.469839.013841.0352196.698235.130339.806541.79850.66050.005 129.826631.91637.44739.8182130.796732.642638.162740.48650.72660.007 90.455629.812936.126238.764391.837330.422536.902239.50490.60960.015 65.425427.908934.816637.60167.049628.858836.005

34、138.79520.94990.025 FOOTBALL(EL) CIF 15Hz1504.17139.28443.495844.64631531.03640.379244.052645.25991.09520.018 967.387736.697941.621843.0915969.956237.589942.193743.69320.8920.003 617.232734.214939.983141.7505620.217734.994840.628242.34570.77990.005 406.895132.200838.735840.7266406.842932.563939.1259

35、40.99640.36310.000 282.325130.334937.696139.7693282.322430.600637.778939.88710.26570.000 209.505628.800336.705339.0242211.420129.083837.009739.36860.28350.009 表3. “Foreman” 多級QP和碼率控制結(jié)果對比FOREMAN(BL) QCIF 15HzFixed QPOur Proposed RCPSNRYBITSErrorBit rateYUVBit rateYUV179.42940.880944.503845.3993177.71

36、4241.255444.30445.30940.3745-0.010 109.116438.444242.726643.5938110.902338.607242.647543.54740.1630.016 69.469236.109640.998941.818469.963336.177741.123241.98130.06810.007 50.08334.105439.816540.541350.649434.357740.293740.98390.25230.011 38.731931.918438.711239.193339.29132.431240.104340.72310.5208

37、0.014 32.135229.773437.655937.883533.592630.786139.625240.20511.01270.045 FOREMAN(EL) CIF 15Hz743.300739.352643.948645.516744.769740.317543.864845.69390.96490.001 411.804437.207642.479644.127415.889437.988542.478844.31420.70890.009 242.409135.286541.002342.6004242.646335.566641.033542.69290.28010.00

38、1 161.453833.576939.92741.3453161.518333.763539.810441.23190.18660.000 122.16532.066938.916340.042122.106532.227439.132140.36850.16050.000 100.328330.431437.920338.7142103.813231.2738.821740.01310.83860.035 表4. “Mobile” 多級QP和碼率控制結(jié)果對比MOBILE(BL) QCIF 15HzFixed QPOur Proposed RCPSNRYBITSErrorBit rateYU

39、VBit rateYUV419.390938.691340.224439.907419.598639.036540.791540.34370.34520.000 228.706835.465537.484837.0782231.097735.8137.978837.36980.34450.010 124.649432.764935.297334.6777125.669832.913235.73434.92870.14830.008 79.597230.563433.742533.099379.48330.705734.02633.24250.1423-0.001 56.101228.27033

40、2.218331.553656.64528.789433.054132.2630.51910.010 44.120325.881130.778430.132844.960326.638932.341631.53890.75780.019 MOBILE(EL) CIF 15Hz1900.35337.598739.689239.62411858.27938.443740.19740.08830.845-0.022 1057.57634.489537.56637.32021033.26635.336237.792937.52160.8467-0.023 550.427631.801235.90593

41、5.4749544.294332.565935.957235.53920.7647-0.011 311.677229.685434.667334.1165307.156130.045434.388433.84390.36-0.015 198.81627.842333.28632.7687196.895228.005833.180432.63740.1635-0.010 142.394525.878831.990231.4661144.505925.924132.401531.71940.04530.015 表5. “Harbour” 多級QP和碼率控制結(jié)果對比HARBOUR(BL) QCIF

42、15HzFixed QPOur Proposed RCPSNRYBITSErrorBit rateYUVBit rateYUV377.122838.973644.90346.5748378.278139.029545.311246.97250.05590.003 215.695435.809943.135644.8971216.565235.864943.257645.03850.0550.004 127.677533.317841.392743.3965128.846133.420941.805243.90670.10310.009 75.67230.871240.270342.440676

43、.84331.285940.49142.62460.41470.015 50.378528.737639.390641.39751.193729.286539.867441.90610.54890.016 37.843926.631138.417940.148538.732727.676539.354841.3491.04540.023 HARBOUR(EL) CIF 15Hz1498.01137.805444.685546.10631501.91538.125444.492745.91150.320.003 831.118334.921643.323344.9152834.709235.18

44、3142.753244.26710.26150.004 458.108732.479641.987243.5392461.392632.579841.765643.39460.10020.007 262.088330.464640.937842.5697264.301230.445640.695442.3332-0.0190.008 168.470128.735239.79641.4275169.896828.822839.779441.41490.08760.008 121.708126.963138.782239.945122.989227.696739.344841.03020.7336

45、0.011 參考文獻：1. Julien Reichel, Heiko Schwarz, Mathias Wien. Joint scalable video model JSVM-6, Joint Video Team: Doc. JVT-S202, Geneva, Switzerland, Apr. 2006.2. Heiko Schwarz, Detlev Marpe, Thomas Wiegand. Overview of the scalable video coding extension of the H.264/AVC standard: IEEE Trans. On CSVT

46、, Vol.17, pp: 1103-1120, 2007.3. Heiko Schwarz, Detlev Marpe, and Thomas Wiegand. Comparison of MCTF and closed-loop hierarchical B pictures: ITU-T VCEG 16th Meeting, July 2005.4. David Taubman. Successive refinement of video: fundamental issues, past efforts and new directions: VCIP 2003, Proc. of

47、SPIE, vol. 5120, pp: 649-663, July 2003.5. Markus Flierl and Bernd Girod. Video coding with motion-compensated lifted wavelet transforms: Proc. of PCS, pp: 59-62, April 2003.6. Markus Flierl. Video coding with lifted wavelet transforms and frame-adaptive motion compensation: Proc. of VLBL, pp: 243-2

48、51, September 2003.7. ISO-IEC/JTC1/SC29/WG11, MPEG2 Test model 5 Draft, April 1993.8. Jordi Ribas-Corbera, Shawmin Lei. Rate control in DCT video coding for low-delay communications: IEEE Trans. on CSVT, Vol. 9, No. 1, pp: 172-185, February 1999.9. Appendix II of H.263 Version 3, Test model 12 , Ten

49、th Meeting, Portland, OR, USA, Aug. 22-24, 2000.10. Tihao Clziang and Ya-Qin Zhang. A new rate control scheme using quadratic rate distortion model: IEEE Trans. on CSVT, Vol.7, No.1, pp:287-311, July 1997.11. Siwei Ma, Wen Gao, and Yan Lu. Proposed draft description of rate control: Joint Video Team

50、 (JVT) of ISO/IEC MPEG & ITU-T VCEG, Doc. JVT-F086-L, 6th Meeting, Awaji, Island, JP, Dec. 5-13, 2002.12. Siwei Ma et al. Proposed draft adaptive rate control: Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, Doc. JVT-H017r3, 8th Meeting, Geneva, May 20-26, 2003.13. Ii-Hong Shin, Yung-Ly

51、ul Lee and Hyunwook Park. Rate control using linear rate-model for H.264: Signal Processing, Image Com., Vol. 19, pp: 341-352, April 2004.14. Hyun Mun Kim. Adaptive rate control using nonlinear regression: IEEE Trans. On CSVT, Vol. 13, pp: 432-439, May 2003.15. Long Xu, Siwei Ma, Debin Zhao and Wen

52、Gao. Rate control for scalable video model: VCIP2005, Proc. of SPIE Vol. 5960, pp: 525-534, July 2005.16. Mathias Wien, Heiko Schwarz, Tobias Oelbaum. Performance analysis of SVC: IEEE Trans. On CSVT, Vol. 17, pp:1194-1203, 2007.17. Long Xu, Wen Gao, Xiangyang Ji, Debin Zhao. Rate control for hierar

53、chical B-picture coding with scaling-factors: ISCAS'2007, New Orleans, USA, pp:49-52, May27-30, 200718. Long. Xu, W. Gao, Xiangyang Ji, Debin Zhao, Siwei Ma. Rate control for spatial scalable coding in SVC: PCS2007, Lisboa, Portugal, November, 2007.Rate Control Algorithm for Scalable Video Model

54、Long Xu1, Wen Gao1，2, Xiangyang Ji1, Debin Zhao3（1Institute of Computing Technology, Chinese Academy of Sciences, Beijing, 100080, China2Institute of Digital Media, Peking University, Beijing, 100871, China3Department of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001, China）Abstract： The joint scalable video model (JSVM) as a scalable extension of H.264/AVC provides a high efficient solution for scalable video coding (SVC). However, there is not efficient rate control scheme is specified. This paper presents a new rate control scheme for the JSVM based