（通信與信息系統(tǒng)專業(yè)論文）基于h264視頻終端關(guān)鍵技術(shù)研究及dsp實(shí)現(xiàn).pdf

摘要 隨著2 1 世紀(jì)的到來，人類進(jìn)入了一個(gè)全新的多媒體時(shí)代，視頻通信成為人們 的需求趨勢。h 2 6 4 是新一代視頻編碼標(biāo)準(zhǔn)，與之前的標(biāo)準(zhǔn)相比具有更高的壓縮比 和更好的視頻質(zhì)量，其技術(shù)優(yōu)勢決定其必將在眾多領(lǐng)域中得到應(yīng)用。 然而在實(shí)際應(yīng)用中，h 2 6 4 還面臨些問題：i p 網(wǎng)絡(luò)是“盡力”傳輸，常常伴 隨網(wǎng)絡(luò)延時(shí)和丟包，如何在時(shí)變的i p 網(wǎng)絡(luò)環(huán)境下提高視頻通信的質(zhì)量是目前主要 的研究熱點(diǎn)之一；另外，h 2 6 4 在編碼性能提升的同時(shí)也大大增加了運(yùn)算復(fù)雜度， 如何在資源有限的d s p 硬件平臺(tái)上實(shí)現(xiàn)h 2 6 4 實(shí)時(shí)編碼也是實(shí)際應(yīng)用中必須解決 的問題。 論文提出了一種適用于丟包網(wǎng)絡(luò)環(huán)境下的自適應(yīng)幀內(nèi)刷新算法，該算法通過 建立一個(gè)幀內(nèi)刷新尺度矩陣來記錄當(dāng)前幀和參考幀宏塊之間的依賴關(guān)系，利用該 矩陣構(gòu)造端到端的率失真模型來判決后續(xù)幀的宏塊編碼模式。實(shí)驗(yàn)結(jié)果表明，該 算法可在編碼碼率基本不變的情況下大大提高丟包環(huán)境下恢復(fù)圖像的主客觀質(zhì) 量。接下來，論文提出了一種通用的f e c ( f o r w a r d e r r o r c o r r e c t i o n ) 載荷結(jié)構(gòu)， 利用該載荷結(jié)構(gòu)對h 2 6 4 碼流進(jìn)行封裝，并實(shí)現(xiàn)對h 2 6 4 碼流的f e c 不等保護(hù)。 實(shí)驗(yàn)結(jié)果表明，該方法能有效提高丟包環(huán)境下的通信視頻質(zhì)量。 最后介紹了t m s 3 2 0 d m 6 4 2d s p 平臺(tái)的硬件特點(diǎn)和軟件編程方法，給出了該 平臺(tái)下h 2 6 4 編碼器的實(shí)現(xiàn)過程，并采用數(shù)據(jù)打包、內(nèi)聯(lián)函數(shù)、線性匯編、d m a ( 贏接內(nèi)存訪問) 等多種優(yōu)化手段對編碼算法進(jìn)行優(yōu)化，優(yōu)化后的編碼器可以實(shí) 現(xiàn)c i f ( 3 5 2 x 2 8 8 ) 格式的實(shí)時(shí)視頻編碼，與優(yōu)化前相比圖像質(zhì)量、編碼碼率基本 不變，可用于實(shí)際視頻通信終端產(chǎn)品。 關(guān)鍵詞： l 2 6 4 ；視頻通信；幀內(nèi)刷新；前向糾錯(cuò)；d s p 優(yōu)化 a b s t r a c t a b s t r a c t w i 出t h ec o m i n go ft h e2 1 “c e n t u r y ，m a i li se n t e r i n gi n t oad e wm u l t i m e d i aa g e v i d e oc o m m u n i c a t i o ni sb e c o m i n gp e o p l e sn e wd e m a n d i t u - ta n di s oj o i n e dt o e s t a b l i s ha n dr e l e a s ean e wg e n e r a t i o ni n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r d ：h 2 6 4 ，a v c c o m p a r ew i t ht h ef o r m e rs t a n d a r d s ，t h en e wt e c h n i q u eo f f e r sh i g h e rc o m p r e s s i o nr a t i o a n db e t t e rv i d e oq u a l i t y , a n dw i l lb ea p p l i e di nm a n yf i e l d s h o w e v e r , t h e r ea r es t i l ls o m et e c h n i c a lp r o b l e m si nt h ea p p l i c a t i o no fh 2 6 4 s t a n d a r d h o wt oe n s u r ei m a g eq u a l i t yi nv i d e ot r a n s m i s s i o nw i t he r r o r - p r o n en e t w o r k s a n dh o wt or e a l i z er e a l - t i m ei m a g ec o d i n go ne m b e dp l a t f o r ms u c ha sd s pa r eh o t s p o t s w h i c ha r er e s e a r c h e dr e c e n t l y a na d a p t i v ei n t r ar e f r e s hm e t h o df o rr o b u s tt r a n s m i s s i o ni ne r r o r - p r o n en e t w o r k s o fh 2 6 4i sp r o p o s e df i r s ti nt h i sd i s s e r t a t i o n i nt h i sm e t h o d a ni n t r a - r e f r e s hm a t r i xi s c r e a t e dt or e c o r dt h ed e p e n d e n c eb e t w e e nt h em a c r o b l o c k si nt h ec u r r e n tf r a m ea n dt h e r e f e r e n c ef r a m e b a s e do nt h ei n t r a r e f r e s hm a t r i x a ne n d t o e n dr a t ed i s t o r t i o nm o d e i f o re r r o r - p r o n en e t w o r k si sp r o p o s e dt oe s t i m a t et h em o t i o nm o d eo fe a c hm a c r o b l o e k i nt h ef o l l o w i n gf r a m e a se x p e r i m e n t a lr e s u l t ss h o w n ，t h i sm e t h o dc a ni m p r o v et h e d e c o d e dv i d e oq u a l i t yw i t hac o n s t a n tb i tr a t ei ne r r o r - p r o n en e t w o r k s n e x t ，ag e n e r i cf e c ( f o r w a r de r r o rc o r r e c t i o n ) p a y l o a ds t r u c t u r ea r eg i v e ni nt h e p a p e r w i t ht h i sn e ws t r u c t u r e t h et o r n a d oc o d ei su s e dt or e a l i z et h eu n e q u a lp r o t e c t i o n o ft h eh 2 6 4v i d e os t r e a m n l es i m u l a t i o nr e s u l t ss h o wt h a tt h ep r o p o s e dt e c h n i q u ec a l l i m p r o v et h ed e c o d e dv i d e oq u a l i t yg r e a t l yi nc h a n n e l sw i t hh i g hp a c k e tl o s sr a t e a tl a s t ，t h eh a r d w a r es t r u c t u r ea n ds o f t w a r ep r o g r a m m i n gm e t h o d so ft m s 3 2 0 d m 6 4 2a r ei n t r o d u c e di n t h i sp a p e r , a n dt h ei m p l e m e n to fh 2 6 4e n c o d e ro ni ti sa l s o g i v e n 1 1 1 em e t h o d sa r ea d a p t e dt oo p t i m i z et h eh 2 6 4e n c o d e rb a s e do nd s pp l a t f o r m s u c ha sp a c k i n gd a t a , i n t r i n s i c ，l i n e a ra s s e m b l y , a n dd i r e c tm e m o r ya e , c e s $ a c c o r d i n gt o d s po p t i m i z a t i o n , r e a l t i m ee n c o d i n gf o rv i d e os e q u e n c ei nc i ff o r m a ti sr e a l i z e d c o m p a r e dw i t ht h ee n c o d e rw i t h o u to p t i m i z a t i o n , t h ei m a g eq u a l i t ya n db i t - r a t eh a v e l i a l ec h a n g e f u r t h e r m o r e , t h em e t h o d sg a l lb eu s e di np r a c t i c e k e y w o r d ：h 2 6 4 ，v i d e oc o m m u n i c a t i o n , i n t r ar e f r e s h ，f e c ，d s po p t i m i z a t i o n 西安電子科技大學(xué) 學(xué)位論文創(chuàng)新性聲明 秉承學(xué)校嚴(yán)謹(jǐn)?shù)膶W(xué)分和優(yōu)良的科學(xué)道德，本人聲明所呈交的論文是我個(gè)人在 導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標(biāo) 注和致謝中所羅列的內(nèi)容以外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成 果；也不包含為獲得西安電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書而使用過的 材料。與我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中做了明確的說 明并表示了謝意。 申請學(xué)位論文與資料若有不實(shí)之處，本入承擔(dān)一切的法律責(zé)任。 本人簽名： 毪：! ：墨日期! ! ：竺：! ：! ! 西安電子科技大學(xué) 關(guān)于論文使用授權(quán)的說明 本人完全了解西安電子科技大學(xué)有關(guān)保留和使用學(xué)位論文的規(guī)定，即：研究 生在校攻讀學(xué)位期間論文工作的知識(shí)產(chǎn)權(quán)單位屬西安電子科技大學(xué)。學(xué)校有權(quán)保 留送交論文的復(fù)印件，允許查閱和借閱論文：學(xué)?？梢怨颊撐牡娜炕虿糠謨?nèi) 容，可以允許采用影印、縮印或其它復(fù)制手段保存論文。同時(shí)本人保證，畢業(yè)后 結(jié)合學(xué)位論文研究課題再攥寫的文章一律署名單位為西安電子科技大學(xué)。 ( 保密的論文在解密后遵守此規(guī)定) 本學(xué)位論文屬于保密，在一年解密后適用本授權(quán)書。 本人簽名； 導(dǎo)師簽名： 疊：! ：墨 童型 日期一趔塵 日期砷幔二 第一章緒論 第一章緒論 1 1 研究背景 從可視電話、視頻會(huì)議到d v d 、數(shù)字電視，數(shù)字化視頻技術(shù)的應(yīng)用越來越廣泛。 一方面，圖像處理的計(jì)算設(shè)備不斷降價(jià)，圖像數(shù)字化和顯示設(shè)備更加普及和廉價(jià)， 使得清晰度更高、實(shí)時(shí)性更好的數(shù)字視頻處理技術(shù)的出現(xiàn)和應(yīng)用成為現(xiàn)實(shí)；另一 方面，信道傳輸帶寬和存儲(chǔ)容量的限制，圖像的傳輸速率、壓縮比和回放質(zhì)量是 必然存在的矛盾。未經(jīng)壓縮的數(shù)字視頻圖像數(shù)據(jù)量非常大，對數(shù)據(jù)傳輸帶寬、數(shù) 據(jù)存儲(chǔ)容量有著很高的要求。通常的存儲(chǔ)介質(zhì)和傳輸帶寬難以滿足需要。因此， 研究和發(fā)展有效的圖像壓縮編碼方法，以數(shù)據(jù)壓縮的形式存儲(chǔ)和傳輸這些數(shù)據(jù)是 最好的解決途徑。通過去除數(shù)字視頻圖像序列的時(shí)間冗余( t e m p o r a lr e d u n d a n c y ) 和空間冗余( s p a t i a lr e d u n d a n c y ) ，可以降低碼率，利于存儲(chǔ)和傳遞更多信息， 滿足更高要求的視頻回放，稱為視頻壓縮編碼。 1 2 國內(nèi)外研究現(xiàn)狀 視頻編碼的研究早在二十世紀(jì)四十年代已經(jīng)開始，視頻編碼技術(shù)的實(shí)用化與 產(chǎn)業(yè)化到二十世紀(jì)九十年代才得以實(shí)現(xiàn)。近年來，一系列國際視頻壓縮編碼標(biāo)準(zhǔn) 的制定極大地促進(jìn)了視頻壓縮編碼技術(shù)和多媒體通信技術(shù)的發(fā)展。視頻壓縮編碼 標(biāo)準(zhǔn)的制定工作主要由國際標(biāo)準(zhǔn)化組織( i n t e r n m i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ， 簡稱i s o ) 和國際電信聯(lián)盟( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ，簡稱i t u ) 完 成。由i t u 組織制定的標(biāo)準(zhǔn)主要針對實(shí)時(shí)視頻通訊應(yīng)用，如視頻會(huì)議和可視電話， 它們以h 2 6 x 命名( 如h 2 6 1 ，h 2 6 2 ，h 2 6 3 和h 2 6 4 ) t h ；i s o 和i e c ( i n t e r n a t i o n a l e l e c t r ot e c h n i c a lc o m m i s s i o n ) 的共同委員會(huì)中的m p e g 組織( m o v i n gp i c t u r ee x p e r t g r o u p ) 制定的標(biāo)準(zhǔn)主要針對視頻數(shù)據(jù)的存儲(chǔ)、廣播電視和視頻流的網(wǎng)絡(luò)傳輸?shù)葢?yīng) 用，它們以m p e g - x 命名( 如m p e g 1 ，m p e g 一2 ，m p e g 一4 ，m p e g 7 等) 【2 j 。兩個(gè) 組織也共同制定了一些標(biāo)準(zhǔn)，h 2 6 2 標(biāo)準(zhǔn)等同于m p e g 一2 的視頻編碼標(biāo)準(zhǔn)，而最新 的h 2 6 4 標(biāo)準(zhǔn)則被納入m p e g 一4 的第1 0 部分。 事實(shí)上，h 2 6 4 標(biāo)準(zhǔn)的開展可追溯1 9 9 6 年。1 9 9 6 年制定h 2 6 3 標(biāo)準(zhǔn)后，i t u t 的視頻編碼專家組( v c e g , v i d e oc o d i n ge x p e r t sg r o u p ) 開始了兩個(gè)方面的研究： 一個(gè)是短期研究計(jì)劃，在h 2 6 3 基礎(chǔ)上增加選項(xiàng)( 之后產(chǎn)生了h 2 6 3 + 與h 2 6 3 十+ ) ： 另一個(gè)是長期研究計(jì)劃，制定一種新標(biāo)準(zhǔn)以支持低碼率的視頻通信。長期研究計(jì) 劃產(chǎn)生了h 2 6 l 標(biāo)準(zhǔn)草案，在壓縮效率方面與先期的r r u t 視頻壓縮標(biāo)準(zhǔn)相比， 具有明顯的優(yōu)越性。2 0 0 1 年，i s o 的m p e g 組織認(rèn)識(shí)到h 2 6 l 潛在的優(yōu)勢，隨后 2 基于 l 2 6 4 視頻終端的關(guān)鍵技術(shù)研究及d s p 實(shí)現(xiàn) i s o 與i t u 開始組建包括來自i s o i e cm p e g 與i t u tv c e g 的聯(lián)合視頻組( t ， j o i n tv i d e ot e a m ) ，j v t 的主要任務(wù)就是將h 2 6 l 草案發(fā)展為一個(gè)國際性標(biāo)準(zhǔn)。經(jīng) 過兩年的努力，在2 0 0 3 年5 月，i t u 和i s o 共同發(fā)布了j 制定的新一代視頻壓 縮編碼標(biāo)準(zhǔn)i t u tr e c h 2 6 4 1 i s o i e c1 4 4 9 5 1 0a v c 。在i s o i e c 中該標(biāo)準(zhǔn)命名為 a v c ( a d v a n c e dv i d e oc o d i n g ) ，作為m p e g - 4 標(biāo)準(zhǔn)的第1 0 個(gè)選項(xiàng)，而在i t u t 中則正式命名為h 2 6 4 標(biāo)準(zhǔn)。2 0 0 5 年2 月，m p e g 和v c e g 聯(lián)合把可伸縮性編碼 ( s c a l a b l ev i d e oc o d i n g ，s v c ) 作為h 2 6 4 標(biāo)準(zhǔn)f 3 】的修改。并起草了h 2 6 4 標(biāo)準(zhǔn)的 可伸縮性擴(kuò)展第一草案q2 0 0 6 年1 0 月，h 2 6 4 的第二個(gè)版本也已推出。 與現(xiàn)有的m p e g 一2 、m p e g 4 a s p 及h 2 6 3 相比，h 2 6 4 標(biāo)準(zhǔn)具有明顯的優(yōu)越 性。在同等的畫質(zhì)下，h 2 6 4 的編碼效率比h 2 6 3 和m p e g - 4 提高了近5 0 。 然而h 2 6 4 標(biāo)準(zhǔn)的高效編碼也帶來了一些問題： 1 ) 解碼器對編碼碼流的錯(cuò)誤變得更加的敏感。如何采用視頻抗誤碼方法來消 除信道誤碼或丟包對視頻碼流的影響，提高恢復(fù)視頻質(zhì)量，目前成為為國內(nèi)外共 同研究的一項(xiàng)關(guān)鍵技術(shù)。 2 ) h 2 6 4 帶來壓縮性能明顯改善的同時(shí)，大大增加了運(yùn)算復(fù)雜度。如何結(jié)合 硬件特點(diǎn)對編解碼器進(jìn)行優(yōu)化，使實(shí)時(shí)編解碼能在功耗、內(nèi)存受限的嵌入式平臺(tái) 上實(shí)現(xiàn)，也是業(yè)界研究的熱點(diǎn)之一。 1 3 本文內(nèi)容和結(jié)構(gòu)安排 論文以華為公司合作項(xiàng)目h 2 6 4 視頻在m 網(wǎng)絡(luò)上傳送健壯性技術(shù)研究和 杭州信得捷電子有限公司合作項(xiàng)目音頻視頻壓縮編碼、傳輸及嵌入式系統(tǒng)實(shí)現(xiàn) 關(guān)鍵技術(shù)研究為研究背景，對基于h 2 6 4 的視頻傳輸技術(shù)和h 2 6 4 編碼器在d s p 平臺(tái)上的快速實(shí)現(xiàn)進(jìn)行了深入的研究。 論文內(nèi)容安排如下： 第一章介紹視頻編碼標(biāo)準(zhǔn)的發(fā)展歷程，h 2 6 4 編碼標(biāo)準(zhǔn)的制定過程、應(yīng)用中存 在問題，以及本文內(nèi)容結(jié)構(gòu)安排。 第二章詳細(xì)介紹h 2 6 4 的基本原理，重點(diǎn)給出與之前的視頻編碼標(biāo)準(zhǔn)相比較 h 2 6 4 標(biāo)準(zhǔn)的采用的編碼新技術(shù)，并分析了h 2 6 4 在應(yīng)用中遇到的問題，是論文后 續(xù)研究的理論基礎(chǔ)。 第三章介紹基于幀內(nèi)刷新算法的原理和現(xiàn)有的幀內(nèi)刷新算法，然后提出一種 具有抗分組丟失能力的h 2 6 4 幀內(nèi)刷新算法，該算法可在丟包網(wǎng)絡(luò)環(huán)境下明顯提 高通信視頻質(zhì)量。 第四章將傳統(tǒng)t o r n a d o 碼做了實(shí)用性改進(jìn)，并提出一種通用的f e c 保護(hù)載荷 結(jié)構(gòu)和獨(dú)立的f e c 層結(jié)構(gòu)，綜合以上方法對h 2 6 4 碼流進(jìn)行f e c 保護(hù)，實(shí)驗(yàn)結(jié)果 第一章緒論 表明該保護(hù)算法可大大提高丟包網(wǎng)絡(luò)環(huán)境下的實(shí)時(shí)視頻通信質(zhì)量。 第五章先介紹t i 公司t m s 3 2 0 d m 6 4 2d s p 平臺(tái)的特點(diǎn)，然后在該平臺(tái)上實(shí)現(xiàn) h 2 6 4 編碼器的算法移植，接下來重點(diǎn)研究d s p 平臺(tái)上編碼器的優(yōu)化算法。實(shí)驗(yàn) 結(jié)果表明，優(yōu)化后的h 2 6 4 編碼器可在圖像質(zhì)量下降不明顯的情況下，實(shí)現(xiàn)c i f 格式圖像的實(shí)時(shí)編碼。 最后總結(jié)全文，給出今后的研究方向。 第二章h 2 6 4 標(biāo)準(zhǔn)簡介 第二章h 2 6 4 標(biāo)準(zhǔn)簡介 h 2 6 4 和以前的視頻壓縮標(biāo)準(zhǔn)一樣，也是d p c m ( d i f f e r e n t i a lp u l s ec o d e m o d u l a t i o n ) 加變換編碼的混合編碼模式。但作為新一代視頻壓縮標(biāo)準(zhǔn)，h 2 6 4 在繼 承了以往一些視頻壓縮標(biāo)準(zhǔn)的優(yōu)點(diǎn)的基礎(chǔ)上，在碼流組織、編碼算法和編碼模式 等方面引入了一些新的方法和內(nèi)容，加強(qiáng)了對各種信道的適應(yīng)能力，采用“網(wǎng)絡(luò) 友好”的結(jié)構(gòu)和語法，有利于對誤碼和丟包的處理，增加了差錯(cuò)恢復(fù)能力，能夠 很好地適應(yīng)口和無線網(wǎng)絡(luò)的應(yīng)用。本章將詳細(xì)介紹h 2 6 4 視頻編碼標(biāo)準(zhǔn)的檔次、 編碼框架、編碼新技術(shù)和實(shí)際應(yīng)用中面臨的問題等。 2 1h 2 6 4 標(biāo)準(zhǔn)的三個(gè)檔次 針對不同領(lǐng)域及不同級(jí)別的應(yīng)用要求，h 2 6 4 按算法集的限定被分為了三個(gè)檔 次( p r o f i l e ) ：b a s d i n e ，m a i n 及e x t e n d e d 。每個(gè)版本支持特定的一組編碼算法：基本 檔次( b a s e l i n e p r o f i l e ) 支持幀內(nèi)和幀間編碼( 用i - s l i c e s 和p s l i c e s ) 和基于內(nèi)容的自適 應(yīng)變長熵編碼( c a v l c ，c o n t e x t - a d a p t i v ev a r i a b l e - l e n g t hc o d e s ) ：主要檔次( m a i n p r o f i l e ) 支持隔行掃描視頻，幀間編碼還可用b s l i c e s 和預(yù)測加權(quán)，內(nèi)容自適應(yīng)的二 進(jìn)制算術(shù)熵編碼( c a b a c ，c o n t e x t b a s e da r i m m e t i cc o d i n g ) ；擴(kuò)展檔次( e x t e n d e d p r o f i l e ) 不支持隔行掃描視頻和c a b a c 熵編碼，但增加了s p s l i c e s 和s i s l i c e ：模式 來保證速率和質(zhì)量間的最佳，增加了數(shù)據(jù)分割技術(shù)( d a t a p a r t i t i o n i n g ) 來提高差錯(cuò)恢 復(fù)能力【5 】。三個(gè)檔次之間的關(guān)系如圖2 1 所示。 擴(kuò)展檔次 f i 臣圃 l 臣團(tuán) 、 l t t 、 圖2 - 1h 2 6 4 的檔次劃分 6 基于h 2 6 4 視頻終端的關(guān)鍵技術(shù)研究及d s p 實(shí)現(xiàn) 圖2 1 中各個(gè)檔次有各自不同的應(yīng)用領(lǐng)域。其中，b a s e l i n e p r o f i l e 主要包含了 低復(fù)雜度、低延時(shí)的技術(shù)特征，主要是針對交互式的應(yīng)用，如視頻電話或視頻會(huì) 議，也考慮到了惡劣環(huán)境下的容錯(cuò)性，b a s e l i n e p r o f i l e 的內(nèi)容基本都被其它更高級(jí) 別的p r o f i l e 所包含；m a i n p r o f i l e 是針對更高編碼效率的應(yīng)用，如視頻廣播和視頻 存儲(chǔ)；e x t e n d e dp r o f i l e 的設(shè)計(jì)主要針對流媒體及移動(dòng)通信中的應(yīng)用。 2 2h 2 6 4 標(biāo)準(zhǔn)的編碼框架 h 2 6 4 a v c 是目前算法復(fù)雜度最高、性能最好的基于混合編碼框架的視頻編碼 標(biāo)準(zhǔn)【6 】oh 2 6 4 的編碼過程( 圖2 ，2 ) 【刀主要分為以下部分： 1 ) 將圖像分成子圖象塊( 宏塊) ，以子圖象塊作為編碼單元。 2 ) 當(dāng)采用幀內(nèi)模式編碼時(shí)，對圖象塊進(jìn)行變換和量化，消除圖象的空間冗余。 幀內(nèi)模式中還增加了幀內(nèi)預(yù)測模式。 3 ) 當(dāng)采用幀間模式編碼時(shí)，對幀間圖象采用運(yùn)動(dòng)估計(jì)和補(bǔ)償方法，只對圖象 序列中的變化部分編碼，從而去除時(shí)間冗余。 4 ) 變換量化系數(shù)最后經(jīng)重排序和熵編碼輸出到網(wǎng)絡(luò)適配層n a l ( n e t w o r k a b s t r a c t i o nl a y e r ) 。 圖2 - 2h 2 6 4 編碼器基本結(jié)構(gòu) 第二章h 2 6 4 標(biāo)準(zhǔn)簡介 2 3h 2 6 4 標(biāo)準(zhǔn)采用的編碼新技術(shù) 與以前的視頻壓縮標(biāo)準(zhǔn)h 2 6 1 、h 2 6 3 、m p e g 1 、m p e g 2 、m p e g 4 類似， h 2 6 4 也是采用幀間預(yù)測和幀內(nèi)變換的混合編碼方法來消除或減少圖像中的信息 冗余。但是，h 2 6 4 采用了許多新技術(shù)以提高壓縮效率，其主要技術(shù)特點(diǎn)包括： _ 4 4 塊d c t 整數(shù)變換以及相應(yīng)的量化方法； 靈活的運(yùn)動(dòng)補(bǔ)償：采用1 6 1 6 、1 6 8 、 8 1 6 、8 8 、8 4 、4 8 以及4 x 4 共7 種可變尺寸塊，使得運(yùn)動(dòng)估計(jì)和補(bǔ)償更加精確： 幀內(nèi)預(yù)測：對亮度4 4 塊采用了9 種幀內(nèi)預(yù)測模式，對亮度1 6 1 6 以及 色度8 8 塊采用4 種幀內(nèi)預(yù)測模式； 改進(jìn)的去塊效應(yīng)濾波器( d e b l o c k i n gf i l t e r ) ：濾波器根據(jù)塊邊緣信息的不 同采用不同的濾波權(quán)重，因而可以在有效消除塊塊效應(yīng)的同時(shí)又不會(huì)影響 圖像的銳度； 增強(qiáng)的熵編碼方法u v l c ( u n i v e r s a lv l c ) 、c a v l c ( c o n t e x ta d a p t i v e v l c ) 和c a b a c ： 1 4 像素插值： - 多參考幀； _ 宏塊級(jí)逐行、隔行自適應(yīng)編碼m b a f f 。 正是采用了這樣一些切實(shí)有效的技術(shù)方法，h 2 6 4 才具有了前所未有的高壓縮 效率，在相同的圖像質(zhì)量下所需的碼流量更低。在相同的圖像質(zhì)量下，h 2 6 4 與 h 2 6 3 + 和m p e g 一4 標(biāo)準(zhǔn)相比，能節(jié)約5 0 的碼流。 2 4h 2 6 4 標(biāo)準(zhǔn)在實(shí)際應(yīng)用中面臨的問題 隨著通信網(wǎng)絡(luò)的發(fā)展，人們已經(jīng)不單單滿足于傳統(tǒng)意義上的語音、數(shù)據(jù)通信， 而是越來越青睞于更為直觀的視頻通信及各種多媒體業(yè)務(wù)。同時(shí)，人們對視頻畫 面的質(zhì)量也越來越挑剔。傳統(tǒng)的視頻壓縮算法，壓縮率比較低，現(xiàn)有的網(wǎng)絡(luò)帶寬 無法滿足。h 2 6 4 不僅具有優(yōu)越的壓縮性能，而且具有良好的網(wǎng)絡(luò)親和性，它已逐 漸成為主流的視頻壓縮算法，必將在數(shù)字電視廣播、視頻實(shí)時(shí)通信、網(wǎng)絡(luò)視頻流 媒體傳遞以及多媒體短信等各個(gè)方面發(fā)揮重要作用。 實(shí)時(shí)視頻通信是h 2 6 4 一個(gè)重要的應(yīng)用領(lǐng)域。由于2 0 世紀(jì)9 0 年代互聯(lián)網(wǎng)的 迅速發(fā)展，人們希望利用口技術(shù)傳輸視頻。從目前的研究狀況可以看到，在網(wǎng)絡(luò) 流量不大時(shí)，視頻電話的質(zhì)量尚能接受。由于口數(shù)據(jù)流的突發(fā)性，當(dāng)業(yè)務(wù)流量大 時(shí)，網(wǎng)絡(luò)會(huì)發(fā)生擁塞，導(dǎo)致數(shù)據(jù)分組延遲到達(dá)甚至丟失，此時(shí)的圖像質(zhì)量是讓人 無法接受的。如何最大限度地克服時(shí)變信道帶來的影響成為制約h 2 6 4 在實(shí)際產(chǎn) 品應(yīng)用的一大技術(shù)難點(diǎn)。 基于h 2 6 4 視頻終端的關(guān)鍵技術(shù)研究及d s p 實(shí)現(xiàn) 另一方面，多媒體業(yè)務(wù)的日益普及，人們不只希望在p c 機(jī)上實(shí)現(xiàn)實(shí)時(shí)視頻通 信，還希望在諸如網(wǎng)絡(luò)電話、手持終端等設(shè)備上實(shí)現(xiàn)實(shí)時(shí)的視頻通信以及視頻點(diǎn) 播業(yè)務(wù)。由于h 2 6 4 標(biāo)準(zhǔn)采用了許多新的編碼技術(shù)，導(dǎo)致編碼復(fù)雜度大大提升， 因此對c p u 的處理能力提出了更高的要求。為了使h 2 6 4 標(biāo)準(zhǔn)能夠在更多領(lǐng)域內(nèi) 應(yīng)用，人們致力于對h 2 6 4 編解碼算法基于嵌入式平臺(tái)進(jìn)行優(yōu)化，以滿足實(shí)時(shí)視 頻應(yīng)用的要求。 2 5 小結(jié) 本章首先介紹h 2 6 4 視頻編碼標(biāo)準(zhǔn)的基本原理、檔次劃分和編碼器結(jié)構(gòu)，然 后分析了它與之前的視頻編碼標(biāo)準(zhǔn)相比采用的主要編碼新技術(shù)，接下來結(jié)合h 2 6 4 的特點(diǎn)分析了其在實(shí)際應(yīng)用中遇到的關(guān)鍵問題。在本論文的后續(xù)章節(jié)中，將圍繞 這些關(guān)鍵問題進(jìn)行詳細(xì)研究，并提出一些新的解決方案。 第三章基于h2 6 4 具有抗分組丟失能力的幀內(nèi)刷新算法 第三章基于h 2 6 4 具有抗分組丟失能力的幀內(nèi)刷新算法 基于口網(wǎng)絡(luò)的視頻通信中，由于口網(wǎng)絡(luò)遵循“盡力”傳輸?shù)脑瓌t，會(huì)常常發(fā) 生延時(shí)和丟包，且經(jīng)過高效編碼的h 2 6 4 碼流對錯(cuò)誤非常地敏感，因此恢復(fù)出來 的圖像質(zhì)量有時(shí)會(huì)讓人無法接受。因此，在惡劣網(wǎng)絡(luò)環(huán)境下如何最大限度地克服 網(wǎng)絡(luò)丟包、時(shí)延等帶來的影響，提高恢復(fù)視頻質(zhì)量是本章研究的重點(diǎn)。目前常用 的算法有：前向糾錯(cuò)【引，多描述編碼 9 1 ，交互式防誤碼擴(kuò)散【1 0 】，接收端的誤碼掩蓋 技術(shù)【l i 】等。在h 2 6 4 編碼標(biāo)準(zhǔn)中，也使用了設(shè)置參數(shù)集、靈活塊重排和s p 幀( 切 換預(yù)測幀) 等抗誤碼工具來保證視頻通信質(zhì)量。盡管有多種視頻抗分組丟失算法， 但對特定視頻數(shù)據(jù)進(jìn)行幀內(nèi)編碼的幀內(nèi)刷新算法，仍然是一種非常簡單、有效的 視頻抗分組丟失技術(shù)。 3 1 幀內(nèi)刷新的原理 幀內(nèi)幀( i 幀) 只利用當(dāng)前幀的圖像數(shù)據(jù)進(jìn)行編碼，而不參考相鄰幀數(shù)據(jù)，在 丟包環(huán)境下能夠有效的防止誤碼擴(kuò)散，從而保證恢復(fù)視頻主觀質(zhì)量。然而，編碼 過多的i 幀會(huì)增加編碼比特?cái)?shù)，不利于帶寬受限下的實(shí)時(shí)視頻應(yīng)用。因此，對一幀 圖像中部分?jǐn)?shù)據(jù)進(jìn)行幀內(nèi)模式編碼的幀內(nèi)刷新方法得到廣泛使用。在h ，2 6 4 標(biāo)準(zhǔn) 中，以宏塊為單位選擇編碼模式。幀內(nèi)幀中的宏塊只能選擇幀內(nèi)預(yù)測模式，而幀 間幀中的宏塊可以選擇幀內(nèi)或幀間編碼模式。幀內(nèi)刷新就是按照一定的規(guī)則，在 幀間幀中選取若干個(gè)宏塊強(qiáng)制按幀內(nèi)預(yù)測模式編碼。這樣帶來的好處是，既在一 定程度上減少了誤碼擴(kuò)散，保證了恢復(fù)視頻主觀質(zhì)量，同時(shí)沒有過多的增加編碼 比特?cái)?shù)。 3 2 現(xiàn)有的幀內(nèi)刷新方法 由于幀內(nèi)刷新是一種有效抑制誤碼擴(kuò)散、提高恢復(fù)視頻質(zhì)量的方法，人們致 力于更有效的幀內(nèi)刷新算發(fā)的研究，提出了許多有效的算法?，F(xiàn)有的幀內(nèi)刷新算 法有很多種，主要包括： 隨機(jī)刷新 在幀內(nèi)幀中隨機(jī)的選取一定比例的宏塊，強(qiáng)制按照幀內(nèi)預(yù)測模式編碼。由于 這種算法對幀內(nèi)刷新宏塊的選擇是隨機(jī)的，它并不能準(zhǔn)確找出出錯(cuò)宏塊的位置， 因此效率低，可能會(huì)對不應(yīng)當(dāng)刷新的宏塊進(jìn)行刷新，而忽略一些應(yīng)當(dāng)刷新的宏塊。 定期刷新 1 0 基于h 2 6 4 視頻終端的關(guān)鍵技術(shù)研究及d s p 實(shí)現(xiàn) 每隔若干幀，從幀間幀中選取一定比例的宏塊進(jìn)行幀內(nèi)預(yù)測編碼。這種方法 的問題和隨機(jī)刷新算法一樣，具有盲目性，并不能有效提高丟包環(huán)境下的恢復(fù)視 頻質(zhì)量。 一 基于感興趣區(qū)域( r o i ) 的刷新算法【1 2 】 首先按照一定的規(guī)則將圖像劃分成不同的區(qū)域，找出哪些是感興趣區(qū)域，即 那些人眼比較敏感的區(qū)域，對該區(qū)域內(nèi)的宏塊優(yōu)先進(jìn)行幀內(nèi)刷新。這樣的好處是， 利用了人類的視覺特性，對那些人眼敏感的區(qū)域如人物面部采用幀內(nèi)預(yù)測模式編 碼，使之更加清晰，而對人眼不十分敏感的背景區(qū)域采用幀間預(yù)測模式編碼，即 使出現(xiàn)一定失真，也不會(huì)造成太大影響，從而顯著改善了恢復(fù)視頻的主觀質(zhì)量。 這種算法的問題在于，對感興趣區(qū)域的選擇算法過于復(fù)雜，不利于實(shí)時(shí)視頻通信 系統(tǒng)的實(shí)現(xiàn)。 一基于率失真模型的刷新算法【1 3 】 對每個(gè)像素的編碼模式進(jìn)行跟蹤和記錄，每進(jìn)行一次幀內(nèi)預(yù)測模式編碼，該 像素記錄重新設(shè)置為o ，每進(jìn)行一次幀間模式編碼，記錄加1 ，優(yōu)先選擇那些具有 較大記錄值的像素所在宏塊進(jìn)行幀內(nèi)模式編碼。這種算法的好處在于，像素進(jìn)行 幀間模式編碼次數(shù)越多，失真的概率越大，因此該算法能有效找到那些更易失真 的宏塊。該算法的缺陷在于沒有充分考慮分組丟失對編碼模式選擇的影響，如果 發(fā)生分組丟失，即便是剛剛進(jìn)行幀內(nèi)刷新過的宏塊仍然需要再次刷新。 從以上討論可以看出，在丟包環(huán)境下使用這些幀內(nèi)刷新算法都存在一定問題， 本章致力研究一種新的幀內(nèi)刷新算法，來保證抗丟包環(huán)境下實(shí)時(shí)視頻通信的質(zhì)量。 3 3 基于幀內(nèi)刷新尺度的自適應(yīng)幀內(nèi)刷新算法 本節(jié)基于h 2 6 4 的算法特點(diǎn)，提出了一種新的自適應(yīng)幀內(nèi)刷新算法。首先建 立一個(gè)幀內(nèi)刷新尺度矩陣，該矩陣每個(gè)元素對應(yīng)著圖像中的每個(gè)宏塊，元素值為 各宏塊用于后繼幀參考區(qū)域面積的歸一化值：然后結(jié)合幀內(nèi)刷新尺度矩陣和率失 真模型，在丟包環(huán)境下提出基于幀內(nèi)刷新尺度的端到端率失真模型( m e 2 e r d ) ： 接下來，利用h 2 6 4 中s e i ( 補(bǔ)充增強(qiáng)信息) 域?qū)崿F(xiàn)無需專門反饋信道的信息交互， 提出具有抗分組丟失能力的自適應(yīng)幀內(nèi)刷新算法。 3 3 1 幀內(nèi)刷新尺度矩陣 與目前使用廣泛的h 2 6 3 + 標(biāo)準(zhǔn)相比，h 2 6 4 視頻編碼算法有許多新穎之處。 其中h 2 6 4 采用尺寸可變塊編碼：1 6 x 1 6 、1 6 8 、8 1 6 、8 8 、8 4 、4 x 8 、4 x 4 ，大大提高宏塊運(yùn)動(dòng)估值的準(zhǔn)確性，從而提高編碼效率。另外，h 2 6 4 中幀內(nèi) 編碼是將圖像內(nèi)已編碼區(qū)域的邊緣像素用于待編碼區(qū)域的空間預(yù)測，對亮度信號(hào) 第三章基于h2 6 4 具有抗分組丟失能力的幀內(nèi)刷新算法 1 1 既要做4 4 預(yù)測還要做1 6 1 6 預(yù)測，這一技術(shù)有效提高了幀內(nèi)預(yù)測的編碼效率。 在基于塊編碼的h 2 6 4 中，如果某一位置宏塊被后繼幀運(yùn)動(dòng)補(bǔ)償時(shí)參考的越多， 則該宏塊對后繼幀圖像質(zhì)量影響越大，特別是在丟包環(huán)境下，該宏塊的丟失將造 成更為嚴(yán)重的誤碼擴(kuò)散。因此，將這些對后繼幀影響大的宏塊進(jìn)行幀內(nèi)模式編碼， 可以有效提高丟包環(huán)境下的恢復(fù)圖像質(zhì)量。 基于上述的討論，首先計(jì)算各個(gè)宏塊被后繼幀運(yùn)動(dòng)補(bǔ)償時(shí)參考的區(qū)域面積， 并以此來建立幀內(nèi)刷新尺度矩陣，做為幀內(nèi)刷新的判決依據(jù)。具體計(jì)算步驟如下： 第n - i 幀第n 幀 圖3 - 1 參考區(qū)域面積計(jì)算示例 步驟一計(jì)算參考幀的宏塊坐標(biāo) h 2 6 4 的預(yù)測幀中編碼塊的大小和尺寸可變，首先要根據(jù)當(dāng)前幀編碼宏塊的分 割類型確定可變塊的寬高，然后利用該編碼塊的坐標(biāo)值和運(yùn)動(dòng)矢量得到其參考?jí)K 在參考幀中的坐標(biāo)值，這樣就可以計(jì)算該編碼塊的參考?jí)K在參考幀各個(gè)宏塊中的 面積分布。圖3 1 以第1 1 _ 幀編碼塊b k ( 8 1 6 分割模式) 為例計(jì)算其在參考幀宏 塊中的面積。圖中b k 的左上角像素a 坐標(biāo)為( ，y 。) ，在第n 1 幀的對應(yīng)位 置a 坐標(biāo)( 工。，) ，通過塊b k 的運(yùn)動(dòng)矢量m v a t f ( m v x ，m v y ) 可以計(jì)算得到 第n 1 幀的參考?jí)Kb k 左上角像素b 坐標(biāo)( 西驢肘) 。如果像素b 屬于第n - l 幀的 宏塊m b ，則宏塊m b 的坐標(biāo)( 工，y ) 為： ”x 一1 6 , x n l 2 棚匕( 3 1 ) i y = y 一1 6 ， y 耐= y 。4 - 小v y 、7 式中表示整除，h 2 6 4 標(biāo)準(zhǔn)中宏塊大小為1 6 1 6 。 步驟二計(jì)算參考?jí)K在各宏塊中的面積分布 d x = ( ，x + 。1 ) x 1 6 - x , 可, (3-2)d ly = + 1 ) 1 6 一腸，一 由式( 3 2 ) 計(jì)算得到b ( 確一y 聊d 距宏塊m b 右側(cè)和下側(cè)邊緣的距離( 以， d y ) 。根據(jù)b k 的編碼分割類型，得到可變塊b k 的寬( w b k ) 和高( k ) ，由 1 2 基于h 2 6 4 視頻終端的關(guān)鍵技術(shù)研究及d s p 實(shí)現(xiàn) i 吱嘭，( = w k 4 = k ) 同理，可以計(jì)算塊b k 的剩余部分( 除m 刪以外的部分) ，落在m b 相鄰宏塊 中的像素面積。 根據(jù)式( 3 3 ) 得到的計(jì)算結(jié)果，第n 1 幀宏塊m b 被第n 幀中多個(gè)宏塊做為運(yùn)動(dòng) 參考的像素區(qū)域總面積s 是： 只，= ( 3 4 ) 式( 3 4 ) 表示第n 幀中有m 個(gè)塊參考m b 的部分或全部像素進(jìn)行運(yùn)動(dòng)補(bǔ)償，：。 表示第i 個(gè)塊在運(yùn)動(dòng)補(bǔ)償時(shí)使用第n 1 幀宏塊m b 的像素?cái)?shù)。通過式( 3 4 ) 可以計(jì)算 n 1 幀中各個(gè)宏塊用于第1 1 幀宏塊運(yùn)動(dòng)補(bǔ)償參考的像素面積。 步驟三計(jì)算幀內(nèi)刷新尺度矩陣 由于視頻序列連續(xù)多個(gè)相鄰幀之間有較強(qiáng)的時(shí)間相關(guān)性，因此可以通過連續(xù) 跟蹤前驅(qū)幀來修正步驟二中的像素面積。設(shè)第n 幀( 當(dāng)前編碼幀) 的前j 幀為第 n - j 幀，則該宏塊被第( n - j + 1 ) 幀中編碼塊用做參考的區(qū)域總面積記做7 。將當(dāng) 前編碼幀的前羈w 幀中m b 。( 坐標(biāo)為( x ，y ) 的宏塊) 的參考區(qū)域面積加權(quán)求和： s = ，蹋0 - c a ) ，l ( 3 5 ) 式中霹。在寶越大說明m b ，對后繼幀編碼塊的運(yùn)動(dòng)補(bǔ)償影響越大，即在接收端 m b 。解碼出錯(cuò)對解碼恢復(fù)圖像質(zhì)量影響較大，因此可以利用愛，值來調(diào)整宏塊在 編碼時(shí)的幀內(nèi)幀間模式，有效提高丟包環(huán)境下的恢復(fù)視頻質(zhì)量。式( 3 6 ) 將s ：，進(jìn) 行歸一化處理( 從以像素為單位轉(zhuǎn)換到以宏塊為單位) ，得到第1 1 幀中宏塊m b 。的 幀內(nèi)刷新尺度值： a 。n = ，( 1 6 1 6 ) ( 3 - 6 ) 利用式( 3 6 ) 對一幀圖像每個(gè)宏塊都計(jì)算a ：得到第n 幀的幀內(nèi)刷新尺度矩 陣，該矩陣每個(gè)元素對應(yīng)著圖像中的每個(gè)宏塊，元素值為各宏塊用于后繼幀參考 區(qū)域面積的歸一化值，用于第n + 1 幀宏塊的幀內(nèi)幀間編碼模式判決。由式( 3 6 ) n - j 以看出幀內(nèi)刷新尺度矩陣給出每個(gè)宏塊被后繼幀宏塊參考的重要程度。在編碼模 式判決時(shí)，對n ：，大的宏塊提高其幀內(nèi)編碼的可能性，從而有效減少誤碼擴(kuò)散造成 的恢復(fù)圖像質(zhì)量下降。 第三章基于h 2 6 4 具有抗分組丟失能力的幀內(nèi)刷新算法 3 3 2 自適應(yīng)幀內(nèi)刷新算法 3 3 2 1 基于幀內(nèi)刷新尺度的端到端率失真模型 在h 2 6 4 預(yù)測幀中，使用率失真優(yōu)化方法( r d ) 來選擇宏塊的編碼模式，即 將預(yù)測誤差和信息編碼碼率結(jié)合起來選擇編碼模式1 4 ： ，o ，( m w x l 。，) = d 艇c ( m b x ，l ，) + a ( m b x l ，) ( 3 - 7 ) 式中l(wèi) ，表示宏塊( x ，y ) 的可選預(yù)測模式，分為幀內(nèi)模式和幀間模式，l a g r a n g i a n 參 數(shù)a 的值為0 8 5 2 口尸”肼( q p 是量化因子) ，r i 口和d m 分別表示對應(yīng)預(yù)測模式 下的編碼比特?cái)?shù)和由量化造成的解碼恢復(fù)圖像失真。在口網(wǎng)絡(luò)下，考慮分組丟失 的影響，端到端率失真模型( e 2 e r d ) 1 5 】可由式( 3 7 ) 改為： j 。m e ( m b x ”ix 、0 = d r b c ( m b x i 。0 + d e r r ( m b x i ；。3 + a 4r c t m b ”，i x 。0 。砷 式中d 。表示解碼端出現(xiàn)丟包時(shí)誤碼擴(kuò)散造成的圖像失真，誤碼擴(kuò)散由于編碼端 和解碼端重構(gòu)圖像緩存內(nèi)容不匹配，而導(dǎo)致誤碼在時(shí)間域上的擴(kuò)散，即不僅影響 當(dāng)前幀，且持續(xù)造成后繼幀的恢復(fù)圖像質(zhì)量下降。由前面的討論可知，可以采用 幀內(nèi)刷新技術(shù)來降低誤碼擴(kuò)散的影響。利用上一節(jié)給出的幀內(nèi)刷新尺度矩陣和式 ( 3 8 ) ，提出基于幀內(nèi)刷新尺度的端到端率失真模型( m e 2 e r d ) ： j m 。似b ，i ；。= d m ( m s x i 。0 f tm + 盧( 口：l ) + d 腓( 魍，) + 丑+ 胄r 盯( 恤l ，) 式中參數(shù)夕( a ，l ) 取值與宏塊m b 。的幀內(nèi)刷新尺度a ：，、幀內(nèi)或幀間編碼 模式l ，、解碼端受丟包影響系數(shù)( 本文使用網(wǎng)絡(luò)丟包率) 相關(guān)，其具體計(jì)算 方法為： ( ，o ，氣，) = 1 ，( l je i n t r a ) 1 ( 1 一只。) 2 ， ( y 1 ，x , ye i n t e r ) 使用式( 3 1 0 ) 給出的m e 2 e r d 模型對視頻數(shù)據(jù)進(jìn)行h 2 6 4 編碼時(shí)，充分考慮到由 于網(wǎng)絡(luò)丟包造成誤碼擴(kuò)散所帶來的恢復(fù)圖像失真，并對那些造成誤碼擴(kuò)散影響較 大的宏塊進(jìn)行幀內(nèi)編碼。這樣可以有效地降低誤碼擴(kuò)散造成的失真，提高視頻量。 由式( 3 9 ) 可知，在實(shí)際視頻通信系統(tǒng)中，需要實(shí)時(shí)反饋分組丟失對解碼端恢復(fù)圖 像的影響，下面將利用h 2 6 4 中s e i 域給出無需專門反饋信道的信息交互方式， 來實(shí)現(xiàn)自適應(yīng)幀內(nèi)刷新。 基于h 2 6 4 視頻終端的關(guān)鍵技術(shù)研究及d s p 實(shí)現(xiàn) 3 3 2 2 基于h 2 6 4 中s e t 域的自適應(yīng)幀內(nèi)刷新 h 2 6 4 中定義了補(bǔ)充增強(qiáng)信息( s e i ) 1 6 1 ，它的數(shù)據(jù)表示區(qū)域與視頻編碼數(shù)據(jù) 獨(dú)立。在s e i 域內(nèi)可以記入有用的自定義信息，這些自定義信息稱之為s e i 消息。 圖2 給出s e i 擴(kuò)展消息格式，它包括s e i 類型、s e i 載荷長度和解碼端受丟包影響 參數(shù)。其中s e i 類型，s e i 載荷長度合稱s e i 頭信息，余下信息稱為s e i 有效載荷。 圖中設(shè)接收端解碼器受丟包影響系數(shù)值為5 丟包率( 該參數(shù)也可以使用其它評(píng)價(jià) 值) ，s e i 類型取值定義為0 x 0 a ，表示s e i 消息是反饋解碼端的出錯(cuò)信息，s e i 有 效載荷長度為2 個(gè)字節(jié)。 i 。 1 圖3 - 2s e i 擴(kuò)展消思格式 h 2 6 4 中定義的s e i 域可根據(jù)需求存放足夠多的用戶自定義信息。對于不支持 解析這些用戶自定義信息的h 2 6 4 解碼器，會(huì)自動(dòng)丟棄s e i 域中的數(shù)據(jù)。因此， 在s e i 域內(nèi)記入有用的自定義信息不會(huì)影響基于h 2 6 4 視頻通信系統(tǒng)的兼容性。 在雙向視頻通信時(shí)，通信系統(tǒng)的各個(gè)終端都既有編碼器，又有解碼器。基于這一 特性，接收端可以將信息記入該終端編碼碼流的s e i 域中，發(fā)往遠(yuǎn)端。這樣既不 占用專門的反饋信道，又能加快信息反饋的速度。 基于s e i 域自適應(yīng)幀內(nèi)刷新算法的具體步驟： 1 ) 接收端解碼器將分組丟失信息發(fā)送給本端編碼器。由于h 2 6 4 在m 網(wǎng)絡(luò) 上傳輸使用i u l p 協(xié)議封裝，因此可以利用r t p 包的接收和頭信息解析 實(shí)時(shí)計(jì)算網(wǎng)絡(luò)丟包率，作為解碼端受丟包影響系數(shù)。 2 ) 將1 ) 中信息在接收端編碼器編碼為s e i 消息，然后進(jìn)行網(wǎng)絡(luò)適配層( n a l ) 的封裝，再通過r t p u d p i p 協(xié)議封裝后發(fā)往發(fā)送端解碼器。 3 ) 發(fā)送端解碼器解碼s e i 消息，將s e i 消息內(nèi)容通知給本端編碼器或者丟棄。 4 ) 發(fā)送給本端編碼器，如果發(fā)送端編碼器能夠解析s e i 消息，那么根據(jù)s e i 消息給出的網(wǎng)絡(luò)丟包率，可以利用前面提出m e 2 e r d 模型，在發(fā)送端編 碼當(dāng)前幀時(shí)，對相應(yīng)宏塊進(jìn)行幀內(nèi)編碼刷新。 由上面的算法步驟可知，h 2 6 4 的s e i 域能夠?qū)崟r(shí)給出網(wǎng)絡(luò)上的丟包狀態(tài)，這 樣使用m e 2 e r d 模型進(jìn)行h 2 6 4 編碼，可以根據(jù)丟包率的變化自適應(yīng)進(jìn)行幀內(nèi)刷 新，來提高丟包網(wǎng)絡(luò)環(huán)境下恢復(fù)圖像的質(zhì)量，保證實(shí)時(shí)視頻通信的q o s 。 第三章基于h 2 6 4 具有抗分組丟失能力的幀內(nèi)刷新算法1 5 3 4 實(shí)驗(yàn)結(jié)果 使用標(biāo)準(zhǔn)圖像序列“s t e f a n ”和“f o r e m a n ”各3 0 0 幀( 重復(fù)2 0 次) 進(jìn)行實(shí) 驗(yàn)研究，它們是c i f 格式( 3 5 2 2 8 8 ) ，y ：u ：v 是4 ：2 ：0 。實(shí)驗(yàn)中設(shè)定h 2 6 4 編碼器 中量化因子q