基于頻域外推的誤碼掩蓋

1、 江西師范大學(xué) 2012 屆本科畢業(yè)設(shè)計(jì)題目：題目： 基于頻域外推的誤碼掩蓋frequency selective signal extrapolation withapplications to errorconcealment in image communication.院系名稱院系名稱：物理與通信電子學(xué)院物理與通信電子學(xué)院學(xué)生姓名學(xué)生姓名： 謝兵謝兵 學(xué)生學(xué)號(hào)學(xué)生學(xué)號(hào)： 09080631340908063134 專專 業(yè)業(yè)： 通信工程通信工程 指導(dǎo)老師指導(dǎo)老師： 詹學(xué)鋒詹學(xué)鋒 完成時(shí)間完成時(shí)間：20122012 年年 4 4 月月 楷體，小二號(hào)字，字體加黑?？w，小二號(hào)字，字體加黑。t

2、imes new roman 字體，字體，小二號(hào)字加黑，小二號(hào)字加黑，楷體，小二號(hào)字，字體加黑?？w，小二號(hào)字，字體加黑。注意本頁(yè)文字居中，美觀大方。注意本頁(yè)文字居中，美觀大方。宋體，小二號(hào)字，字體加黑。宋體，小二號(hào)字，字體加黑。摘 要在日常工作和生活中,人們經(jīng)常接觸的語(yǔ)音、文本和圖像這三類信息中,因圖像信息具有直觀性強(qiáng)的特點(diǎn)而成為了當(dāng)今人們獲取信息的主要來(lái)源。隨著現(xiàn)代通信技術(shù)與計(jì)算機(jī)技術(shù)的蓬勃發(fā)展,人們對(duì)各種圖像信息的需求日益增長(zhǎng),使得圖像通信已經(jīng)成為了信息傳輸?shù)闹饕绞?。在圖像通信中，信號(hào)外推是一個(gè)重要課題，它可以用于各種預(yù)測(cè)，如損壞的圖像數(shù)據(jù)傳輸?shù)恼`碼掩蓋。這種技術(shù)概述了信號(hào)超出了有限數(shù)

3、目的已知樣品時(shí)的外推的方法。已知的信號(hào)樣本是由一組基函數(shù)近似，這被定義過(guò)的區(qū)域以及覆蓋被稱為未知樣品。通過(guò)最小化一個(gè)合適的錯(cuò)誤標(biāo)準(zhǔn)，依次選擇的最主導(dǎo)的基函數(shù)，非帶限信號(hào)外推可以得到。它示出這種外推法可以成功地是視頻通信中的傳輸誤差以及整幅均勻漂白隱蔽消除缺陷像素透視成像。在無(wú)線網(wǎng)絡(luò)和因特網(wǎng)上傳輸視頻, 誤碼掩蓋的問(wèn)題越來(lái)越重要。回顧了文獻(xiàn)中介紹的誤碼掩蓋的方法。誤碼掩蓋后處理利用圖像和視頻信號(hào)的相關(guān)特性, 在解碼端對(duì)丟失區(qū)域進(jìn)行掩蓋, 并總結(jié)了空域、時(shí)域, 以及時(shí)空結(jié)合的誤碼掩蓋方法。關(guān)鍵詞：誤碼掩蓋, 空域誤碼掩蓋, 時(shí)域誤碼掩蓋, 信號(hào)外推的誤碼掩蓋，圖像和視頻通信，x 射線成像,黑體，小

4、二號(hào)字。宋體，小四號(hào)字。行距 20 磅。abstractabstractsignal extrapolation is an important topic in image communication where it can be usedfor various prediction purposes. such as concealment of image data corrupted by transmission errors. this contribution outlines a methodfor extrapolating a signal beyond a limite

5、d number of known samples. the known signal samples are approximated by a set of basis functions which are defined over an area covering known as well as unknown samples. by minimizing a suitable error criterion and successively selecting the most dominant basis functions, a non band-limited signal

6、extrapolation can be obtained. it is shown that this extrapolation can successfully be used for concealment of transmission errors in video communication as well aselimination of defective pixels in x-ray imaging. the problem of error concealment in image communication is becoming increasingly impor

7、tant because of the growing interest in image delivery over unreliable channels such as wireless networks and the internet. this paper reviews the techniques that have been developed for error concealment in the literature. error concealment by postprocessing refers to operations at the decoder to r

8、ecover the damaged areas based on characteristics of image and video signals.this paper summarized the error concealment methods in space and temporal, including some hybrid temporal- spat ial error concealment method.keywords: error concealment; signal extrapolation; error concealment; image and vi

9、deo communication; x-ray imagingtimes new roman 字體，字體，小四號(hào)字，行距小四號(hào)字，行距 20 磅。磅。目目 錄錄摘要.iabstract.ii第一章 緒論.1 1.1 課題背景及選題意義 .1 1.2 國(guó)內(nèi)外研究現(xiàn)狀.11.3 本文的研究?jī)?nèi)容.21.4 文章結(jié)構(gòu) .2第一章 緒論 1.1 選題背景及意義圖象是人類傳遞和交流信息以及認(rèn)識(shí)客觀世界的重要方式之一。由于圖象信息具有生動(dòng)直觀、信息量大等特點(diǎn)，成為人類獲取和交流信息、感知外部客觀世界進(jìn)而改造世界的一種重要手段。近年來(lái)，隨著視頻壓縮編碼技術(shù)、網(wǎng)絡(luò)技術(shù)、無(wú)線移動(dòng)通信技術(shù)的發(fā)展，圖像、視頻、音頻

10、和數(shù)據(jù)等相結(jié)合的多媒體應(yīng)用在社會(huì)生活中日益顯著。在當(dāng)今信息膨脹知識(shí)爆炸的時(shí)代,隨著 internet的發(fā)展和用戶需求的驅(qū)動(dòng)，基于文本和語(yǔ)音的交流已經(jīng)無(wú)法滿足人們的需要, 于是圖像視頻應(yīng)運(yùn)而生，通過(guò)互聯(lián)網(wǎng)和移動(dòng)通信網(wǎng)絡(luò)傳輸圖像視頻信息變得越來(lái)越流行。圖像和視頻信息以其直觀、生動(dòng)、具體、高效的特點(diǎn),越來(lái)越受到人們的青睞,其業(yè)務(wù)需求隨之越來(lái)越大。以 jpeg20001、mpeg-42為代表的圖像和視頻編碼新技術(shù),在壓縮性能、處理靈活性、功能性等方面體現(xiàn)了諸多的優(yōu)點(diǎn)。多媒體技術(shù)和相關(guān)的應(yīng)用得到越來(lái)越多的關(guān)注，如可視電話、視頻點(diǎn)播、數(shù)字圖像監(jiān)控、數(shù)字電視、視頻會(huì)議等。在多媒體通信中，保證視頻信息的傳輸快

11、速和正確極其重要，然而視頻圖像（視頻序列）具有非常大的數(shù)據(jù)量，在存儲(chǔ)和傳輸?shù)倪^(guò)程中所占用的帶寬較多，這使得實(shí)時(shí)視頻通信的發(fā)展面臨著嚴(yán)峻的挑戰(zhàn)。例如：高清晰視頻信號(hào)所含巨大的信息量，如果在發(fā)送端不進(jìn)行壓縮，在傳輸、轉(zhuǎn)發(fā)以及接收處理過(guò)程的計(jì)算量將會(huì)十分巨大，同時(shí)又會(huì)造成網(wǎng)絡(luò)擁塞，為此在視頻傳輸之前必須進(jìn)行數(shù)據(jù)壓縮和處理。各種高效率的視頻編解碼標(biāo)準(zhǔn)相繼提出;如 h.261、h.263等，由“國(guó)際電聯(lián)(工 tu 一 t)”制定;如 mpeg黑體，小二號(hào)字。宋體，五號(hào)字。單倍行距。黑體，三號(hào)字。以下標(biāo)題相同格式。宋體，小四號(hào)字。行距 20 磅。以下段內(nèi)文字相同格式。注意頁(yè)碼編排。一1、mpeg 一2、m

12、peg 一4等，由“國(guó)際標(biāo)準(zhǔn)化組織(150)”制定。目前最新的視頻壓縮標(biāo)準(zhǔn)是 h.264/avc 標(biāo)準(zhǔn)，是由上述兩個(gè)組織的專家組成的聯(lián)合視頻組(jvt)制定的新數(shù)字視頻編碼標(biāo)準(zhǔn)。它引進(jìn)了許多先進(jìn)插值和運(yùn)動(dòng)矢量預(yù)測(cè)技術(shù)，如多參考幀機(jī)制，1/4 像素運(yùn)動(dòng)矢量估計(jì)等，大大提高了圖像的壓縮比特率。h264是一系列國(guó)際視頻壓縮標(biāo)準(zhǔn)的最新標(biāo)準(zhǔn),其無(wú)論從壓縮性能還是結(jié)構(gòu)設(shè)計(jì)方面都優(yōu)于以前的標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)使用了最新的編碼技術(shù),有效地支持交織視頻和非交織視頻,即使在高比特率的情況下也能提供比以前的標(biāo)準(zhǔn)更優(yōu)秀的視頻質(zhì)量。而且,該標(biāo)準(zhǔn)支持韌性編碼和靈活的編碼數(shù)據(jù)組織形式,這為.h264壓縮碼流提供了很強(qiáng)的抗差錯(cuò)性能。

13、在技術(shù)上,.h264采用了多項(xiàng)改進(jìn)技術(shù),從而使其成為了目前最高效的視頻壓縮標(biāo)準(zhǔn)。但是.h264性能的提高是以復(fù)雜度為代價(jià)的h.264作為最新制定的標(biāo)準(zhǔn)，與其它現(xiàn)有的視頻編碼標(biāo)準(zhǔn)相比，有如下優(yōu)點(diǎn):(1)低碼率，和 mpeg 一2、mpeg 一4等壓縮技術(shù)相比，在同等視頻圖像質(zhì)量情況下，經(jīng) h.264技術(shù)壓縮后的數(shù)據(jù)量只有 mpeg 一2的1/8，mpeg 一4的1/3。(2)圖像質(zhì)量高，h.264能提供連續(xù)、流暢的高質(zhì)量視頻圖像(dvd 質(zhì)量)。(3)容錯(cuò)能力強(qiáng)，h.264在編碼端采用了數(shù)據(jù)分割、幀內(nèi)編碼等容錯(cuò)技術(shù)，這些技術(shù)在以前的標(biāo)準(zhǔn)中也有，但 h.264標(biāo)準(zhǔn)對(duì)其進(jìn)行了改進(jìn)，而且獲得了更好的差

14、錯(cuò)控制效果，同時(shí)，h.264標(biāo)準(zhǔn)中還提出了參數(shù)集、靈活的宏塊次序等新的容錯(cuò)技術(shù)。在解碼端提供了錯(cuò)誤隱藏技術(shù)，能解決不穩(wěn)定網(wǎng)絡(luò)環(huán)境下發(fā)生丟包等錯(cuò)誤的問(wèn)題。(4)網(wǎng)絡(luò)適應(yīng)性強(qiáng)，h.264提供了網(wǎng)絡(luò)適配層，使得 h.264文件能順利地在不同網(wǎng)絡(luò)環(huán)境中傳輸(如互聯(lián)網(wǎng)，enma，gprs 等)。常見(jiàn)的視頻通信系統(tǒng)包括 3 個(gè)部分：發(fā)送端視頻編碼、傳輸及接收端的視頻解碼。圖 1.1 給出了視頻通信系統(tǒng)結(jié)構(gòu)圖，從圖中可以看出，視頻信號(hào)首先在發(fā)送端被壓縮除去時(shí)空域冗余信息，然后經(jīng)過(guò)分組、封裝打包后進(jìn)入傳輸信道，到達(dá)接收端后再被轉(zhuǎn)換成可解壓的視頻流文件，最后通過(guò)視頻解碼完成整個(gè)通信過(guò)程。通信系統(tǒng)可靠、高效地傳輸

15、信息始終是通信工作追求的目標(biāo)。對(duì)于實(shí)時(shí)視頻通信來(lái)說(shuō)，處理視頻傳輸過(guò)程中的誤碼和數(shù)據(jù)丟失問(wèn)題非常重要和迫切。由于在編碼端對(duì)視頻序列壓縮時(shí)丟掉了不同幀之間的時(shí)域相關(guān)信息和同一幀內(nèi)的空域相關(guān)信息，這使得壓縮后的視頻圖像比原始圖像的冗余信息要少得多，因此少量的數(shù)據(jù)丟失或者錯(cuò)誤可能引起整個(gè)數(shù)據(jù)傳輸和處理的過(guò)程的不同步，并且在解碼時(shí)隨著幀數(shù)的增加，差錯(cuò)會(huì)迅速擴(kuò)散，進(jìn)而造成圖像質(zhì)量的急劇下降。為了解決這一問(wèn)題需要引入差錯(cuò)控制技術(shù)，對(duì)丟失的數(shù)據(jù)和圖像信息進(jìn)行處理來(lái)最大程度的恢復(fù)丟失的信息。差錯(cuò)控制技術(shù)是一種針對(duì)數(shù)據(jù)錯(cuò)誤的控制方法，廣泛應(yīng)用于通信系統(tǒng)。它包含三個(gè)方面的內(nèi)容：（1）向前的差錯(cuò)控制技術(shù)，該技術(shù)通過(guò)在

16、服務(wù)器端增加壓縮數(shù)據(jù)的時(shí)空域冗余信息，即減少壓縮比特率來(lái)提高網(wǎng)絡(luò)傳輸過(guò)程中的抗誤碼和抗數(shù)據(jù)丟包的能力；（2）前后交互的差錯(cuò)控制技術(shù)，該技術(shù)的核心思想是通過(guò)服務(wù)器端和客戶端的交互和通信，客戶端根據(jù)服務(wù)器端反饋的信息來(lái)對(duì)丟失的數(shù)據(jù)信息進(jìn)行掩蓋和恢復(fù)或者服務(wù)器直接對(duì)數(shù)據(jù)進(jìn)行重傳；（3）向后的差錯(cuò)控制技術(shù)，該技術(shù)是指客戶端根據(jù)解碼數(shù)據(jù)在時(shí)間和空間上相關(guān)性來(lái)直接對(duì)錯(cuò)誤信息進(jìn)行恢復(fù)的方法。向前的差錯(cuò)控制技術(shù)和交互的差錯(cuò)控制技術(shù)雖然能夠很好的控制錯(cuò)誤信息數(shù)量和誤碼的程度，但是它們的局限性也很明顯，比如對(duì)于一般的視頻傳輸信道和帶寬較寬的傳輸信道，向前的差錯(cuò)控制技術(shù)并不適用，因?yàn)樵诮^大部分時(shí)間里，信道處于正常狀

17、態(tài)，而向前的差錯(cuò)控制為了提高傳輸過(guò)程的抗誤碼能力，在任何時(shí)刻要產(chǎn)生大量的冗余信息，這就會(huì)導(dǎo)致帶寬被大量的冗余信息占用和浪費(fèi)，而正常的數(shù)據(jù)無(wú)法傳輸，嚴(yán)重情況下會(huì)產(chǎn)生網(wǎng)絡(luò)擁塞；對(duì)于實(shí)時(shí)視頻通信，交互的差錯(cuò)控制技術(shù)并不適用，因?yàn)閷?shí)時(shí)視頻傳輸系統(tǒng)對(duì)實(shí)時(shí)性要求極高，為了盡可能的減少傳輸?shù)难舆t，在通常情況下不能對(duì)數(shù)據(jù)進(jìn)行重傳或者反饋，而交互差錯(cuò)控制技術(shù)需要服務(wù)器端不斷地接收錯(cuò)誤信息并反饋給客戶端，這樣就會(huì)產(chǎn)生巨大的延遲；向后的差錯(cuò)控技術(shù)幾乎適用任何情況的視頻傳輸和通信，它利用解碼的時(shí)域和空域信息對(duì)丟失的宏塊進(jìn)行運(yùn)動(dòng)矢量搜索或者插值，由于不需要考慮服務(wù)器端的情況，因此它不需要進(jìn)行信息反饋和重傳，也就不會(huì)增加

18、網(wǎng)絡(luò)的開(kāi)銷，能夠很好應(yīng)用于實(shí)時(shí)視頻傳輸，但是它的問(wèn)題在于當(dāng)數(shù)據(jù)丟失比較嚴(yán)重的情況下，恢復(fù)的效果可能不夠理想。因?yàn)椴铄e(cuò)控制與視頻傳輸息息相關(guān),所以只要有視頻傳輸應(yīng)用的地方就或多或少地要考慮到差錯(cuò)控制?？梢?jiàn)其應(yīng)用范圍非常廣泛,而對(duì)于無(wú)線傳輸這樣的不可靠傳輸,差錯(cuò)控制有著更大的應(yīng)用價(jià)值。1.2 國(guó)內(nèi)外研究現(xiàn)狀為了高效地在網(wǎng)絡(luò)上傳輸視頻信息，通常在傳輸前需要對(duì)原始視頻數(shù)據(jù)進(jìn)行壓縮編碼。目前，itu-t（itu telecommunication standardization sector）和 iso/iec（internationalstandards organization/internatio

19、nal electrotechnical commission）是從事視頻編碼標(biāo)準(zhǔn)制定工作的兩個(gè)主要的國(guó)際組織。h.系列標(biāo)準(zhǔn)（如 h.2611，h.2631等）是 itu-t 的建議標(biāo)準(zhǔn)，一般用于實(shí)時(shí)視頻通信領(lǐng)域，如視頻電視會(huì)議、可視電話等；而 iso/iec 的建議標(biāo)準(zhǔn) mpeg 系列（如 mpeg-1，mpeg-2，mpeg-42等）主要用于數(shù)字電視廣播、dvd 等。國(guó)際電信聯(lián)盟視頻編碼專家組（itu-t vceg（videocoding experts group）和國(guó)際標(biāo)準(zhǔn)化組織運(yùn)動(dòng)圖像專家組（iso mpeg（moving pictureexperts group）于 2001 年合

20、作成立了了聯(lián)合視頻組 jvt（joint video team），共同開(kāi)發(fā)新一代的視頻壓縮標(biāo)準(zhǔn) h.2643,4,5,6（也稱為h.26l）。h.264 是 itu 的正式名稱，而 mpeg 的正式名稱是 mpeg-4 part 10, 又稱為 avc（高級(jí)視頻編碼）。目前的視頻編碼標(biāo)準(zhǔn)基本采用了基于變換編碼、運(yùn)動(dòng)補(bǔ)償和熵編碼的編碼框架，這些模塊的目的都是最大限度的降低視頻信號(hào)中存在的空間與時(shí)間冗余度。然而在提高壓縮效率的同時(shí)，碼字之間的抗干擾能力卻變得非常脆弱。一個(gè)碼字的傳輸錯(cuò)誤不僅會(huì)影響當(dāng)前碼字而且也有可能影響后續(xù)碼字，結(jié)果導(dǎo)致接收視頻圖象的質(zhì)量惡化。變長(zhǎng)編碼使得某一個(gè)比特的錯(cuò)誤或者丟失可

21、能使后面的比特流無(wú)法解碼，直到下一個(gè)同步碼的出現(xiàn)。因此在視頻通信中采用差錯(cuò)處理技術(shù)是非常必要的。通常，差錯(cuò)處理技術(shù)分為以下三類：差錯(cuò)彈性編碼技術(shù)、錯(cuò)誤隱藏技術(shù)、編解碼器交互式的差錯(cuò)控制技術(shù)。差錯(cuò)彈性編碼技術(shù)可分為下面四種：健壯性熵編碼、彈性差錯(cuò)預(yù)測(cè)、基于層編碼的差錯(cuò)保護(hù)、多描述編碼。takishima 等人提出可逆的變長(zhǎng)編碼(如接收的視頻比特流)能夠在前向和反向信道中同時(shí)被解碼。rdemlli 和 kingsbury 提出的彈性差錯(cuò)熵編碼erec(error resilient entropy coding)是通過(guò)將整個(gè)數(shù)據(jù)流分割成很多宏塊并采用變長(zhǎng)編碼形成數(shù)據(jù)流，然后在比特流中通過(guò)對(duì)每個(gè)宏塊

22、的起始位置對(duì)壓縮數(shù)據(jù)進(jìn)行識(shí)別。彈性差錯(cuò)預(yù)測(cè)通過(guò)采用幀內(nèi)編碼模式編碼的幀或宏塊的關(guān)系來(lái)限制差錯(cuò)在時(shí)間域上的擴(kuò)散。但是這樣做的后果會(huì)導(dǎo)致出現(xiàn)很多的幀內(nèi)編碼幀或宏塊，從而增加比特率，并且對(duì)每一幀和宏塊進(jìn)行編碼時(shí)要在壓縮效率與差錯(cuò)控制之間進(jìn)行優(yōu)化，以保證數(shù)據(jù)無(wú)障礙的在信道中傳輸。作為視頻傳輸?shù)囊粋€(gè)重要方面,差錯(cuò)控制從第一個(gè)視頻標(biāo)準(zhǔn).h261的頒布開(kāi)始就成為了一個(gè)不可忽視的研究方向。隨著視頻壓縮技術(shù)的發(fā)展,國(guó)內(nèi)外學(xué)者針對(duì)不同的視頻壓縮標(biāo)準(zhǔn),采用多種手段先后提出了一系列差錯(cuò)控制算法。最早期的差錯(cuò)控制手段主要在視頻信號(hào)的空域、時(shí)域、頻域門以及變換域、時(shí)空域結(jié)合等方面進(jìn)行,這些差錯(cuò)控制技術(shù)主要是利用視頻信號(hào)固

23、有的相關(guān)性,其處理方法一般都不太復(fù)雜,因此目前在差錯(cuò)控制領(lǐng)域應(yīng)用最廣泛。但是視頻信號(hào)固有的相關(guān)性為基礎(chǔ)的技術(shù)存在很大局限性,其主要原因是根據(jù)傳輸差錯(cuò)發(fā)生程度及視頻序列內(nèi)容特性的變化,其處理效果會(huì)有很大差異。因此 tushna chen 等人以模板匹配為基礎(chǔ)提出了第二代差錯(cuò)控制技術(shù),而 sungdac choa 等從對(duì)編碼數(shù)據(jù)進(jìn)行分級(jí)或分類嵌入處理的思想入手,采用添加冗余的手段實(shí)現(xiàn)對(duì)重要數(shù)據(jù)的保護(hù),從而在差錯(cuò)控制中取得了很好的效果.目前差錯(cuò)控制技術(shù)仍然沿著三個(gè)方向繼續(xù)發(fā)展:將數(shù)據(jù)通信中的差錯(cuò)控制技術(shù)擴(kuò)展到視頻通信中,采用冗余信源編碼以及對(duì)原始信息進(jìn)行近似。第二階段是采用模板匹配、數(shù)據(jù)嵌入等技術(shù)的

24、。1.3 本文的研究?jī)?nèi)容在有干擾的信道中傳輸高壓縮率圖像,接收端獲得的圖像必然會(huì)失真。在基于 dct 壓縮技術(shù)的圖像通信中,引起圖像失真的原因主要有量化誤差和傳輸誤碼。量化誤差會(huì)導(dǎo)致接收端圖像產(chǎn)生方塊效應(yīng),傳輸誤碼會(huì)導(dǎo)致接收端圖像出現(xiàn)圖像塊丟失。本論文圍繞著這兩種失真問(wèn)題,以提高接收端圖像質(zhì)量為目的,提出了在接收端對(duì)失真圖像進(jìn)行恢復(fù)的后處理技術(shù),其中包括塊效應(yīng)消除技術(shù)和差錯(cuò)掩蓋技術(shù)。誤碼掩蓋是一種應(yīng)對(duì)誤碼的解碼端事后處理技術(shù)，它主要利用受損圖像塊或幀在時(shí)域、空域中的相關(guān)陛對(duì)受損單元進(jìn)行補(bǔ)償，其本身并不能改變誤碼。在無(wú)線視頻傳輸中, 為了抵抗傳輸過(guò)程中的丟包, 在解碼端采用誤碼掩蓋技術(shù)最大限度恢

25、復(fù)受損的視頻塊, 從而大幅度提高重建視頻的峰值信噪比( psnr) 以及主觀視覺(jué)效果。誤碼掩蓋是視頻通信中差錯(cuò)恢復(fù)的“最后一道防線”，是重要的視頻后處理技術(shù)之一,所以研究最可行有效的誤碼掩蓋技術(shù)是非常有必要的。根據(jù)時(shí)空域的不同位置，誤碼掩蓋方法可分為以下四種情況：1）時(shí)域掩蓋時(shí)域掩蓋是基于時(shí)間相關(guān)性的錯(cuò)誤隱藏，當(dāng)視頻圖像沒(méi)有激烈的運(yùn)動(dòng)時(shí)，相鄰兩幀具有時(shí)間相關(guān)性。適用于受損區(qū)域?yàn)閹g編碼時(shí)，錯(cuò)誤隱藏恢復(fù)過(guò)程分為“運(yùn)動(dòng)向量(motion vector，mv) 估算”和”補(bǔ)償替代”兩個(gè)階段，其成功的關(guān)鍵是如何正確找出受損圖像塊的運(yùn)動(dòng)向量。利用時(shí)間上連續(xù)的相鄰幀之間的相關(guān)性，受損宏塊由前面完好幀的對(duì)應(yīng)

26、塊替代。隱藏的效果取決于運(yùn)動(dòng)的情況。如果運(yùn)動(dòng)矢量完好，運(yùn)動(dòng)矢量可用于該塊的運(yùn)動(dòng)補(bǔ)償；如果運(yùn)動(dòng)矢量也不可用，則運(yùn)動(dòng)小時(shí)這種替代的效果較好，運(yùn)動(dòng)大時(shí)取決于運(yùn)動(dòng)矢量的重建。時(shí)域掩蓋是利用視頻信號(hào)的時(shí)域相關(guān)性, 通過(guò)估計(jì)運(yùn)動(dòng)矢量從相鄰幀中找合適塊以代替重建圖像的錯(cuò)誤塊. 該方法對(duì)估計(jì)運(yùn)動(dòng)矢量的幀間編碼圖像( b 和 p 幀) 錯(cuò)誤的掩蓋效果較好, 但對(duì)幀內(nèi)編碼( i 幀) 圖像, 一方面編碼器一般不會(huì)估計(jì)運(yùn)動(dòng)矢量傳給解碼器, 另一方面對(duì)于視頻切換和背景暴露等情況就根本找不到合適的替代塊,因此很難利用時(shí)域信息對(duì)其錯(cuò)誤做掩蓋處理.當(dāng)受損區(qū)域所在幀靜止或運(yùn)動(dòng)平滑，采用時(shí)域掩蓋能有效的恢復(fù)受損圖像，以基于運(yùn)動(dòng)

27、矢量恢復(fù)的邊界匹配法為代表；2）空域掩蓋空域掩蓋是基于空間相關(guān)性的錯(cuò)誤隱藏，在同一幀中，宏塊與其周圍的宏塊有較強(qiáng)的相關(guān)性，特別是平滑的圖像中，相鄰宏塊的亮度、色度滿足線型關(guān)系。因此可以利用丟失塊邊界進(jìn)行錯(cuò)誤隱藏，根據(jù)線型插值恢復(fù)丟失塊。主要依賴本幀正確接收的宏塊信息來(lái)恢復(fù)受損塊,通過(guò)空域插值對(duì)受損區(qū)域進(jìn)行恢復(fù)，以像素加權(quán)平均法為代表由于塊中所有像素均需要計(jì)算， 因此該方法較復(fù)雜。時(shí)域的誤碼掩蓋對(duì)于不規(guī)則運(yùn)動(dòng), 運(yùn)動(dòng)情況較為復(fù)雜, 或出現(xiàn)場(chǎng)景切換時(shí)的視頻序列恢復(fù)效果較差?？沼虻恼`碼掩蓋算法由于僅僅依靠本幀的信息, 能夠有效地解決時(shí)域掩蓋的不足。3）混和掩蓋技術(shù)單純的使用空域算法會(huì)造成圖像的粉化,

28、 而時(shí)域算法則無(wú)法處理大運(yùn)動(dòng)的圖像區(qū)域, 頻域算法的復(fù)雜度一般比較高, 可以同時(shí)利用時(shí)間和空間相關(guān)性來(lái)進(jìn)行視頻誤碼的錯(cuò)誤隱藏。 因此, 建娛了一種混和的掩蓋算法, 同時(shí)使用多種算法對(duì)發(fā)生錯(cuò)誤的圖像幀進(jìn)行掩蓋。例如, 時(shí)空域掩蓋適用于運(yùn)動(dòng)性較強(qiáng)的受損區(qū)域，通過(guò)采用運(yùn)動(dòng)估計(jì)(me)和運(yùn)動(dòng)補(bǔ)償(mc)來(lái)恢復(fù)圖像一般，受損塊上面和下面的運(yùn)動(dòng)矢量(mv)將用于其估計(jì)運(yùn)動(dòng)矢量但方法不適用于受損塊處于幀內(nèi)塊的包圍中的情況4）頻域掩蓋基于塊的視頻混和編碼標(biāo)準(zhǔn)中, 源圖像或時(shí)域補(bǔ)償后的誤差要變換到頻域后量化和編碼, 由于相鄰塊的像素值相似, 所以它們的 dct 系數(shù)值也是相似的, 因此在頻域中也可以像時(shí)域那樣用

29、相鄰塊的 dct 系數(shù)來(lái)估計(jì)丟失塊的 dct 系數(shù), 從而完成誤碼掩蓋。頻域錯(cuò)誤掩蓋是以周圍塊的直流分量( dc) 內(nèi)插得到錯(cuò)誤塊的 dc 值, 再進(jìn)行反變換以重建錯(cuò)誤塊內(nèi)像素灰度的平均值. 該方法的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單, 但其恢復(fù)的圖像將丟失所有邊界信息.由于受損塊中低頻系數(shù)與同一幀中相鄰的塊的對(duì)應(yīng)系數(shù)相關(guān)，所以其中的 dc 系數(shù)和較低。基于頻域外推的誤碼掩蓋技術(shù)是在視頻圖像處理中用頻譜分析的方法并采用信號(hào)外推技術(shù)實(shí)現(xiàn)誤碼掩蓋的。本論文主要研究空域錯(cuò)誤隱藏算法，目標(biāo)是尋找一種更優(yōu)的空域錯(cuò)誤隱藏算法，能進(jìn)一步地提高視頻恢復(fù)質(zhì)量，并降低計(jì)算復(fù)雜度。本論文的研究?jī)?nèi)容包括: (1)h.264視頻編碼標(biāo)準(zhǔn)研

30、究，掌握編解碼原理、方法。(2)研究解碼端的錯(cuò)誤隱藏技術(shù)，研究經(jīng)典算法和當(dāng)前最新算法，總結(jié)它們的優(yōu)點(diǎn)和不足。(3)提出一種改進(jìn)的空域錯(cuò)誤隱藏算法。1.4 論文結(jié)構(gòu)論文研究?jī)?nèi)容和章節(jié)安排如下。第1章，介紹課題的研究背景和意義，國(guó)內(nèi)外研究現(xiàn)狀及本文的研究?jī)?nèi)容及結(jié)構(gòu)安排。第二章，簡(jiǎn)要介紹了視頻壓縮技術(shù)，并分析了視頻傳輸中差錯(cuò)產(chǎn)生的原因、影響，及錯(cuò)誤檢測(cè)，差錯(cuò)控制和錯(cuò)誤隱藏技術(shù); 詳細(xì)介紹了解碼端的錯(cuò)誤隱藏技術(shù)，分析了空域和時(shí)域錯(cuò)誤隱藏的常用算法，第3章 算法描述，實(shí)驗(yàn)結(jié)果與分析第二章 圖像視頻通信的抗誤碼技術(shù)的研究2.1 視頻通信抗誤碼技術(shù)在視頻碼流在信道傳輸過(guò)程中，由于不可靠信道以及端到端的時(shí)延限

31、制等因素的影響，傳輸差錯(cuò)不可避免。高效壓縮后的視頻碼流對(duì)傳輸中產(chǎn)生的誤碼非常敏感。一旦傳輸中出現(xiàn)了誤碼，不僅影響該誤碼數(shù)據(jù)的恢復(fù)，還會(huì)影響與之相關(guān)的其他數(shù)據(jù)的恢復(fù)。由于誤碼的發(fā)生是不可避免的，因此，當(dāng)視頻編碼流在傳輸過(guò)程中丟失或受到破壞時(shí)，必然會(huì)影響傳輸圖像的質(zhì)量。一個(gè)數(shù)字圖像通信系統(tǒng)應(yīng)使解碼圖像中的誤差的發(fā)生最小化，特別要使在解碼幀中連續(xù)幾幀的誤差最小化或完全消失?？拐`碼技術(shù)的實(shí)質(zhì)在于無(wú)論何時(shí)何處檢測(cè)到誤碼，都使因此而丟棄的數(shù)據(jù)量為最小，或者說(shuō)造成的傷害影響最小。為了減小傳輸差錯(cuò)對(duì)解碼器端重建視頻質(zhì)量的影響，一方面需要在傳輸中采用各種差錯(cuò)控制技術(shù)減少傳輸差錯(cuò)，另一方面還需要在編解碼器層采用適

32、當(dāng)?shù)娜蒎e(cuò)機(jī)制和差錯(cuò)隱藏策略。圖 2 一 1 描述了抗誤碼技術(shù)的差錯(cuò)控制與差錯(cuò)隱藏技術(shù)所處的位置 圖 2 一 1 差錯(cuò)控制與錯(cuò)誤隱藏框圖 2.2 差錯(cuò)控制技術(shù)移動(dòng)信道具有易錯(cuò)、時(shí)變和帶限的特點(diǎn)，以及因多徑反射和衰落引入大量的隨機(jī)誤碼和突發(fā)誤碼，使得移動(dòng)信道的誤碼率比有線信道大。同時(shí)由于帶寬的限制，視頻信息在傳輸前必須進(jìn)行高效的壓縮編碼，目前大多數(shù)的視頻編碼標(biāo)準(zhǔn)所采用的時(shí)間和空間預(yù)測(cè)，使得編碼的視頻流對(duì)信道差錯(cuò)更加脆弱。為了減輕信道差錯(cuò)對(duì)解碼質(zhì)量的影響，必須結(jié)合實(shí)際應(yīng)用信道的傳輸特性，采用有效的差錯(cuò)處理機(jī)制，因此差錯(cuò)控制技術(shù)便成為視頻通信的關(guān)鍵技術(shù)。在多媒體通信業(yè)務(wù)急速發(fā)展的同時(shí)，對(duì)其進(jìn)行可靠傳輸

33、的需求也逐漸增加.對(duì)于在網(wǎng)絡(luò)上傳輸?shù)木幋a視頻信息來(lái)說(shuō)，由于其在網(wǎng)絡(luò)傳輸過(guò)程中會(huì)不可避免地產(chǎn)生誤碼，包括信號(hào)衰落、區(qū)間誤碼、丟包等等，因此需要使用某種誤碼控制方法來(lái)保證解碼器輸出視頻信息的視覺(jué)質(zhì)量。誤碼控制方法大致可分為信道誤碼控制、信源誤碼控制、信源/信道聯(lián)合編碼控制和誤碼防擴(kuò)散四類技術(shù)。2.1.1 傳輸層信道誤碼控制技術(shù)由于量化產(chǎn)生的噪聲和傳輸中出現(xiàn)的誤碼將會(huì)使視頻圖像在解碼器端重構(gòu)時(shí)產(chǎn)生嚴(yán)重的視頻圖像失真，所以我們提高量化級(jí)數(shù)和視頻信息前向糾錯(cuò)的能力，我們一般主要是通過(guò)增加比特資源的開(kāi)銷來(lái)提高量化級(jí)數(shù)和視頻信息前向糾錯(cuò)的能力，從而降低量化產(chǎn)生的噪聲和傳輸中出現(xiàn)的誤碼這兩種失真。在信道的帶寬

34、資源和信道的誤碼特征基本已經(jīng)給定的情況下，那么我們一般就需要結(jié)合信源的特點(diǎn)以及添加一些誤碼控制碼來(lái)實(shí)現(xiàn)檢測(cè)出視頻信息中的錯(cuò)誤信息并對(duì)其進(jìn)行有效的重構(gòu)，從而降低視頻圖像產(chǎn)生的失真。其中最常用的方法有前向糾錯(cuò)(fec)和自動(dòng)重傳(arq)。1.前向糾錯(cuò)(fec)前向糾錯(cuò)是比較經(jīng)典的信道編碼誤碼控制方法。它的原理是:在對(duì)視頻進(jìn)行編碼時(shí)，在編碼視頻信息中額外加入一些冗余的保護(hù)信息，這樣當(dāng)在對(duì)視頻編碼信息進(jìn)行解碼時(shí)，解碼器通過(guò)這些冗余的保護(hù)信息來(lái)恢復(fù)和重構(gòu)那些遭受到破壞的視頻信息。與傳統(tǒng)的 tcp 重傳方法相比，前向糾錯(cuò)具有較小的傳輸延遲，并且可保持恒定的吞吐量以及有限的時(shí)延，比較適合在實(shí)時(shí)通信等對(duì)所傳

35、輸視頻信息的時(shí)延有非常嚴(yán)格限制的應(yīng)用系統(tǒng)中。前向糾錯(cuò)方法可以分為與數(shù)據(jù)有關(guān)和無(wú)關(guān)兩種模式:(l)與數(shù)據(jù)有關(guān)的前向糾錯(cuò)方法:此方法在編碼視頻信息中直接添加保護(hù)信息，例如在第 n 個(gè) gob 編碼信息中添加第 n 一 1 個(gè) gob 的保護(hù)信息(一個(gè)粗糙量化的版本)。這種算法的優(yōu)點(diǎn)是時(shí)延更小，但是仍無(wú)法適應(yīng)動(dòng)態(tài)變化的網(wǎng)絡(luò)丟包率。(2)與數(shù)據(jù)無(wú)關(guān)的前向糾錯(cuò)方法:此方法并不關(guān)心編碼視頻信息的句法，而將編碼視頻信息分成固定大小的數(shù)據(jù)塊，對(duì)每一個(gè)數(shù)據(jù)塊添加保護(hù)信息。此方法實(shí)現(xiàn)簡(jiǎn)單，但是無(wú)法根據(jù)網(wǎng)絡(luò)的動(dòng)態(tài)改變保護(hù)級(jí)別，因此可能會(huì)出現(xiàn)保護(hù)不夠而無(wú)法重構(gòu)原編碼視頻信息或保護(hù)程度過(guò)高而造成編碼效果低下的情況。fe

36、c 方案的缺點(diǎn)主要有以下幾點(diǎn):首先，加入的額外校驗(yàn)信息會(huì)使編碼視頻信息數(shù)據(jù)量相應(yīng)增加。在無(wú)誤碼無(wú)線信道中傳輸時(shí)會(huì)引入一些恒定的開(kāi)銷，從而在一定傳輸速率下反而會(huì)使傳輸質(zhì)量下降;其次，由于無(wú)線信道傳輸質(zhì)量波動(dòng)很大，在進(jìn)行傳輸系統(tǒng)設(shè)計(jì)時(shí)需要針對(duì)某一特定的最壞信道狀態(tài)進(jìn)行設(shè)計(jì)，由此嚴(yán)重降低了對(duì)視頻信息的壓縮性能。而且當(dāng)信道狀態(tài)超出原先設(shè)定的最壞狀態(tài)時(shí)，整個(gè)系統(tǒng)可能會(huì)出現(xiàn)嚴(yán)重編碼錯(cuò)誤甚至不能正常工作的情況;第三，信道編碼方案對(duì)于某些具有區(qū)間誤碼特征的無(wú)線信道來(lái)說(shuō)較難設(shè)計(jì)。解決方法之一就是使用交叉編碼，但由于引入了較大的時(shí)延，因此也不是一個(gè)最優(yōu)解決方案。2.自動(dòng)重傳(arq)在自動(dòng)重傳方案中，當(dāng)解碼器發(fā)現(xiàn)

37、有受誤碼影響的編碼視頻信息時(shí)，向視頻信息發(fā)送端發(fā)送重傳請(qǐng)求，請(qǐng)求將受影響信息再重新傳送一次。arq 在處理數(shù)據(jù)包丟失以及發(fā)生較大區(qū)間誤碼的情況時(shí)是非常有效的，但由于需要等待接收重傳的數(shù)據(jù)，這樣就可能會(huì)在接收端出現(xiàn)較為明顯的時(shí)延，因此在一些實(shí)時(shí)通信應(yīng)用(如視頻會(huì)議)中是不可行的。arq 也不適合處理具有隨機(jī)誤碼以及短區(qū)間誤碼的情況。雖然己證明 arq 方法比 fec 方法更有效，但是由于對(duì)受誤碼影響的信息進(jìn)行重傳而引入了額外的時(shí)延，這樣就限制了 arq 技術(shù)在無(wú)線視頻傳輸中的應(yīng)用。改進(jìn)的方案之一就是使用混合 arq 方案。在編碼視頻信息傳輸時(shí)間明顯小于解碼器端重構(gòu)視頻的播放時(shí)延要求時(shí)，該方案采用

38、有時(shí)延限制的重傳機(jī)制重新發(fā)送丟失的編碼視頻信息，通過(guò)限制重傳數(shù)據(jù)包的數(shù)目來(lái)實(shí)現(xiàn)對(duì)時(shí)延和傳輸速率的有效控制。有時(shí)延限制的重傳策略可以分為接受方控制的重傳、發(fā)送方控制的重傳和混合重傳三種。但由于最大重傳數(shù)目以及視頻信息傳輸?shù)膬?yōu)先級(jí)是事先設(shè)定好的，這樣就不能準(zhǔn)確反映傳輸時(shí)延的時(shí)變特性，因此也具有一定的局限性。2.1.2 信源誤碼控制技術(shù)信源誤碼控制技術(shù)采用的方法主要就是我們經(jīng)常遇到的容錯(cuò)技術(shù)，其作用就是防止那些錯(cuò)誤的信息的擴(kuò)散，將誤碼影響控制到一定的范圍。容錯(cuò)技術(shù)的主要工作原理就是在視頻信息傳播前先對(duì)其進(jìn)行一些抗誤碼的預(yù)處理，這樣即使編碼的視頻信息在傳輸?shù)倪^(guò)程中受到誤碼的影響，用戶也不用擔(dān)心，利用容

39、錯(cuò)技術(shù)在解碼端進(jìn)行重構(gòu)時(shí)也能夠獲得較好的視頻圖像質(zhì)量。也就是說(shuō)，那些經(jīng)過(guò)容錯(cuò)技術(shù)處理的視頻編碼信息，我們不用擔(dān)心會(huì)產(chǎn)生失真的圖像信息，因?yàn)槠湓谛诺纻鬏斶^(guò)程中具有較強(qiáng)的抗誤碼的能力，因此容錯(cuò)技術(shù)的應(yīng)用特別廣泛，在網(wǎng)絡(luò)傳輸、多媒體傳輸、無(wú)線傳輸都有很廣泛的應(yīng)用并占有重要的地位。在面向低帶寬傳輸環(huán)境下的視頻標(biāo)準(zhǔn)如 h.263+和 mpeg 一 4 中，定義了一系列的容錯(cuò)工具，例如重同步標(biāo)志、分層編碼、可逆變長(zhǎng)編碼等。以上這些容錯(cuò)工具主要是針對(duì)隨機(jī)誤碼，適用于無(wú)線信道。而在基于 internet 的視頻傳輸中，由于數(shù)據(jù)包的頻繁丟失會(huì)造成大量編碼視頻信息的丟失，因此以上這些工具并不是很有效，因此通常使用

40、的容錯(cuò)工具是最優(yōu)模式選擇和多值描述編碼)等。1.重同步標(biāo)志在變長(zhǎng)編碼和解碼過(guò)程中，碼字同步丟失問(wèn)題是大多數(shù)編碼系統(tǒng)中所遇到的最常見(jiàn)的問(wèn)題之一。在許多編碼系統(tǒng)中通過(guò)使用同步碼字來(lái)對(duì)視頻信息進(jìn)行周期性的重同步。重同步標(biāo)志是在碼流中插入一些特殊的二進(jìn)制字符串，使得解碼器可以定期校準(zhǔn)解碼的幀和宏塊序號(hào)，從而將誤碼限制在一定范圍內(nèi)。當(dāng)出現(xiàn)誤碼時(shí)，解碼器可以尋找下一個(gè)同步碼字來(lái)繼續(xù)對(duì)后來(lái)的視頻信息進(jìn)行解碼。同步碼字越復(fù)雜其長(zhǎng)度就越長(zhǎng)，如果過(guò)于頻繁使用就會(huì)在解碼器輸出的視頻信息中出現(xiàn)明顯的時(shí)延。2.分層編碼 分層編碼指的是將視頻信息劃分為多個(gè)組或者層。編碼模式、運(yùn)動(dòng)矢量等最重要的信息通常作為視頻源的基本信息

41、被放置在基本層中，解碼器可以將其解碼得到一定視頻質(zhì)量的輸出信號(hào)，然后通過(guò)增強(qiáng)層攜帶的數(shù)據(jù)就可以得到一個(gè)更加高質(zhì)量的視頻信號(hào)。在視頻傳輸層使用最廣泛、有效的錯(cuò)誤隱藏技術(shù)是將分層編碼與不等重保護(hù)機(jī)制相結(jié)合，如圖 2-2 所示 圖 2-2 分級(jí)編碼原理示意圖結(jié)合傳輸優(yōu)先級(jí)的分層編碼基本思想是將編碼視頻信息分成兩個(gè)或更多的層結(jié)構(gòu)，將碼流中描述不同編碼視頻信息的部分(例如運(yùn)動(dòng)矢量和 dct 系數(shù))分開(kāi)存放，以便在信道編碼時(shí)加以不同優(yōu)先級(jí)別的誤碼保護(hù)。這樣做有利于對(duì)重要編碼視頻信息的保護(hù)。視頻信息中的不同部分內(nèi)容對(duì)視頻信息重構(gòu)所起的作用是不一樣的。一般來(lái)說(shuō)，在單層結(jié)構(gòu)視頻信息傳輸過(guò)程中，i 幀起的作用比

42、p 幀和 b 幀更大。而在分層可擴(kuò)展視頻傳輸過(guò)程中，位于高層的信息部分比位于較低層的信息部分對(duì)視頻信息重構(gòu)起的作用更大。在非平衡誤碼保護(hù)(uep)策略中，編碼視頻信息按照信息內(nèi)容被分割成不同的部分，并被置于相應(yīng)優(yōu)先級(jí)的層結(jié)構(gòu)中，對(duì)每一部分信息分別使用不同的誤碼控制方法，從而提高解碼器輸出視頻的視覺(jué)質(zhì)量?；緦?具有高優(yōu)先級(jí))用于對(duì)重要信息的編碼，而其余層則用于對(duì)重要性不高的信息進(jìn)行編碼?；緦又邪艘曨l信息中最重要的內(nèi)容，如運(yùn)動(dòng)矢量信息等等，因此基本層應(yīng)當(dāng)受到最高優(yōu)先級(jí)的抗誤碼保護(hù)并在可靠信道上傳輸，從而使得在解碼器重構(gòu)后可得到視覺(jué)質(zhì)量滿足用戶要求的視頻信息，否則解碼器重構(gòu)后視頻的視覺(jué)質(zhì)量將

43、會(huì)受到很大影響。在增強(qiáng)層中包含的視頻信息在較低優(yōu)先級(jí)信道上傳輸，經(jīng)解碼器端重構(gòu)后與基本層中重構(gòu)的信息合并得到高質(zhì)量的視頻信號(hào)。由于增強(qiáng)層中的信息是在高層信息(如基本層)的基礎(chǔ)上進(jìn)行編碼的，如果在高層數(shù)據(jù)中出現(xiàn)誤碼，就會(huì)對(duì)其后的幾幀圖像中的增強(qiáng)層信息造成一定程度的影響，導(dǎo)致誤碼能夠在數(shù)幀圖像中間進(jìn)行傳播。以上這些層可根據(jù)其優(yōu)先級(jí)的不同加以不同程度的誤碼保護(hù)，這就是非平衡誤碼保護(hù)策略(uep)。分層編碼的缺點(diǎn)是由于在每一層都要引入位置信息而會(huì)導(dǎo)致編碼器輸出編碼視頻流的比特率增加，同時(shí)也會(huì)增加信道負(fù)擔(dān)，但具有較好的抗誤碼性能。該方法的另一個(gè)缺點(diǎn)是基本層忽略了高頻信息而使得其僅能獲得一個(gè)次最優(yōu)結(jié)果。:

44、2.1.3 信源/信道聯(lián)合誤碼控制技術(shù)信源和信道的低層交互，如量化器、嫡編碼、fec 和調(diào)制方案等，就稱為信源信道聯(lián)合編碼。將信源/信道編碼聯(lián)合在一起抗誤碼是非常有效的誤碼控制技術(shù)，同時(shí)也是一個(gè)重要的研究方向。信源和信道聯(lián)合編碼的思想是根據(jù)率失真的理論為編碼的視頻信息和信道的前向糾錯(cuò)進(jìn)行動(dòng)態(tài)的分配帶寬資源，從而使得在解碼端獲得的重構(gòu)圖像質(zhì)量達(dá)到最佳的狀態(tài)。在給定的信道錯(cuò)誤特性下，設(shè)計(jì)量化器和嫡編碼器使傳輸錯(cuò)誤的影響最小化。當(dāng)信道有大量噪聲時(shí)，pcm 編碼時(shí)源編碼級(jí)粗的量化反而勝過(guò)細(xì)的量化?？梢栽O(shè)計(jì)優(yōu)化量化器，使在給定輸入數(shù)據(jù)概率分布和信道錯(cuò)誤特性下。量化和信道錯(cuò)誤的組合均方誤差最小。信源和信道

45、的組合編碼可以有三個(gè)選擇。(1)對(duì)于每個(gè)量化變換系數(shù)，調(diào)制和fec 是相同的。(2)對(duì)于相同量化變換系數(shù)，調(diào)制和 fec 是相同的，對(duì)于不同的系數(shù)可以是不同的。(3)對(duì)于同一變換系數(shù)的不同比特位，調(diào)制和 fec 也可以是不同的。基本的原則是，對(duì)于有更多噪聲的信道，應(yīng)該更少的比特分配給高頻系數(shù)，而更多的比特分配給低頻系數(shù)。信源/信道聯(lián)合編碼的優(yōu)點(diǎn)是，即使當(dāng)信道網(wǎng)絡(luò)的特性出現(xiàn)變化時(shí)，我們也可以動(dòng)態(tài)的調(diào)整其抗誤碼的優(yōu)先級(jí)，使得圖像的播放效果最好，目前視頻通信中聯(lián)合信源/信道編碼研究還處于初級(jí)階段:只局限用信源、信道獨(dú)立進(jìn)行編碼聯(lián)合優(yōu)化主要參數(shù)。另外，在低時(shí)延信道中，使用 rs 碼和簡(jiǎn)單交織技術(shù)也可以

46、減輕突發(fā)誤碼的影響。在無(wú)記憶信道中，fec 技術(shù)優(yōu)于幀內(nèi)塊刷新編碼，而在有記憶信道中，后者更為有效。信源和信道的聯(lián)合誤碼控制技術(shù)的理論雖好，但是對(duì)其研究才剛剛開(kāi)始，而且聯(lián)合編碼方法的難點(diǎn)在于整體優(yōu)化的實(shí)現(xiàn)算法比較復(fù)雜，編碼耗時(shí)較長(zhǎng),但是相信未來(lái)信源和信道的聯(lián)合誤碼控制技術(shù)肯定會(huì)占有舉足輕重的地位。:2.1.4 誤碼防擴(kuò)散技術(shù)在有誤碼信道環(huán)境下，當(dāng)視頻編碼流在傳輸過(guò)程中出現(xiàn)誤碼時(shí)，由于編碼器端并不知道解碼器端檢測(cè)到誤碼，它還會(huì)繼續(xù)使用這些宏塊做運(yùn)動(dòng)估計(jì)，而解碼器端也會(huì)使用這些己出現(xiàn)誤碼的宏塊做運(yùn)動(dòng)補(bǔ)償，這樣就引起了誤碼傳播。誤碼的傳播不僅會(huì)使出錯(cuò)幀在解碼器端輸出重構(gòu)圖像的視覺(jué)質(zhì)量下降，而且可能會(huì)

47、給后續(xù)幀造成無(wú)法彌補(bǔ)的損失。即使解碼器端使用了錯(cuò)誤隱藏技術(shù)也不能阻止重構(gòu)圖像質(zhì)量的下降。另外由于視頻通信對(duì)實(shí)時(shí)性要求強(qiáng)，通常不采用 arq 方式將發(fā)生錯(cuò)誤的信息進(jìn)行重傳，而使用交互式防誤碼擴(kuò)散措施來(lái)保證重構(gòu)圖像的質(zhì)量。1.幀內(nèi)編碼受影響的宏塊該方法利用運(yùn)動(dòng)矢量的前向依賴關(guān)系來(lái)對(duì)誤碼進(jìn)行準(zhǔn)確跟蹤，并對(duì)受誤碼的宏塊采用幀內(nèi)編碼，從而有效地阻止誤碼的傳播。steinbach 等首先分析了由運(yùn)動(dòng)補(bǔ)償所引起的幀間依賴關(guān)系，然后根據(jù) mv 的前向依賴性和權(quán)重因子的相關(guān)度計(jì)算出誤碼的“能量”，對(duì)其中“能量”最大的宏塊采用幀內(nèi)編碼，以阻止誤碼的傳播。這種算法可以迅速提高圖像質(zhì)量，在視頻通信中也沒(méi)有引入額外時(shí)延

48、，并且與現(xiàn)有標(biāo)準(zhǔn)兼容，但是它存在有計(jì)算量大、對(duì)內(nèi)存需求高等問(wèn)題。pao-chi chang 等基于象素的后向運(yùn)動(dòng)依賴性提出了較準(zhǔn)確的誤碼跟蹤(pet)算法，并給出相應(yīng)的快速算法。pet 算法首先根據(jù)象素點(diǎn)后向運(yùn)動(dòng)依賴性的遞歸計(jì)算公式和從反饋信道得出的出錯(cuò)宏塊信息，來(lái)計(jì)算出當(dāng)前編碼宏塊中象素點(diǎn)受誤碼影響的程度，然后對(duì)受影響的宏塊采用幀內(nèi)編碼，以阻止進(jìn)一步的誤碼傳播。此算法能夠快速阻止誤碼傳播并且與現(xiàn)有標(biāo)準(zhǔn)兼容，同時(shí)運(yùn)算量和對(duì)內(nèi)存的需求也較少，適合實(shí)時(shí)視頻應(yīng)用場(chǎng)合。2.標(biāo)識(shí)受誤碼影響的宏塊在一些寬帶網(wǎng)絡(luò)中，編碼器端處理下一個(gè) i 幀或 p 幀之前有足夠時(shí)間得到反饋信息?；诖朔治?jong-izy

49、 wang 和 pao-chi chang 等提出當(dāng)發(fā)送端得到從接收端反饋回來(lái)的出錯(cuò)信息之后，將同一組(gob)中的出錯(cuò)宏塊以后的象素全部用一個(gè)特定的值(如“00”)來(lái)標(biāo)記，這樣接下來(lái)的 p 幀或 b 幀的運(yùn)動(dòng)估計(jì)就不會(huì)參考已標(biāo)識(shí)區(qū)域，從而避免了接收端的誤碼擴(kuò)散。這種方法在基本沒(méi)有增加計(jì)算復(fù)雜度和信道負(fù)擔(dān)的情況下，將誤碼的影響僅僅限制在出錯(cuò)幀中。3.自適應(yīng)幀內(nèi)塊刷新這種方法不需要反饋信道，而是基于編碼器端的“誤碼靈敏性尺度”(esm)來(lái)衡量每一個(gè)編碼宏塊對(duì)信道誤碼的易損性，然后進(jìn)行自適應(yīng)的幀內(nèi)塊刷新。編碼器端初始化 esm 的基本思想是:距離同步標(biāo)志越遠(yuǎn)的宏塊，對(duì)誤碼的敏感性越高;編碼宏塊的比

50、特?cái)?shù)越多，越容易受到誤碼破壞。在編碼過(guò)程中，通過(guò)計(jì)算每個(gè)宏塊 esm 的累積值來(lái)更新 esm，然后根據(jù) esm 的值選擇幀內(nèi)編碼的宏塊。這種算法不但減少了解碼器端糾正大量誤碼的耗時(shí)，而且尺度矩陣對(duì)信道誤碼率的變化并不敏感，特別適用于反饋信道時(shí)延較大或廣播環(huán)境的無(wú)線視頻通信系統(tǒng)。4.連續(xù)更新的防誤碼傳播技術(shù)連續(xù)更新的防誤碼傳播技術(shù)(rescu)是將顯示過(guò)后接收到的視頻信息保存下來(lái)用于防止誤碼在后繼幀中的傳播。rescu 引入了周期性時(shí)間依賴距離(ptdd)的概念，指出在一個(gè) ptdd 內(nèi)丟包可以重構(gòu)，并且誤碼不在非周期幀中傳播。此外還可以將 rescu 和 fec 結(jié)合在一起使用，這種技術(shù)不需要

51、反饋信道，在組播、無(wú)線或衛(wèi)星通信中較為實(shí)用。5.交互式防誤碼傳播技術(shù)該技術(shù)首先在解碼器端將檢測(cè)出的誤碼位置信息通過(guò) h.263+中的 pei 域(包括圖像擴(kuò)展信息(pei)和補(bǔ)充增強(qiáng)信息(psupp)發(fā)往編碼器端，并對(duì)誤碼宏塊進(jìn)行錯(cuò)誤隱藏;當(dāng)接收到出現(xiàn)誤碼后的最鄰近幀中信息時(shí)，可以快速準(zhǔn)確計(jì)算出誤碼在最鄰近幀中的傳播位置。根據(jù)約定，編碼器端和解碼器端同時(shí)對(duì)最鄰近幀受誤碼傳播的區(qū)域采用誤碼屏蔽，從而有效阻止了誤碼在后繼幀中的傳播。在誤碼環(huán)境下，這種算法能夠有效的抑制誤碼的傳播以保證重構(gòu)視頻質(zhì)量，并且與h.263+標(biāo)準(zhǔn)兼容，可應(yīng)用于實(shí)際視頻通信系統(tǒng)中。2.3 錯(cuò)誤隱藏技術(shù)要進(jìn)行多媒體通信尤其是視頻

52、通信，首先必須解決以下幾個(gè)關(guān)鍵問(wèn)題:第一，網(wǎng)絡(luò)帶寬是影響多媒體通信質(zhì)量的主要因素。視頻信息數(shù)據(jù)量巨大，而傳輸信道尤其是無(wú)線信道可用帶寬有限。第二，視頻信息在信道傳輸過(guò)程中都很容易受到誤碼的影響，因此為了保證解碼器輸出重構(gòu)視頻信息的質(zhì)量，滿足用戶的要求，需要采取一定的誤碼控制技術(shù)（ect)來(lái)增加編碼視頻信息的抗誤碼性能。視頻圖像經(jīng)過(guò)編碼后，以視頻流的形式在網(wǎng)絡(luò)傳輸，很容易受到信道誤碼的影響而丟失數(shù)據(jù)，由于數(shù)據(jù)的丟失不但會(huì)影響當(dāng)前幀，還會(huì)連續(xù)傳遞到以后的解碼幀，導(dǎo)致錯(cuò)誤的蔓延，和圖像質(zhì)量的嚴(yán)重惡化；也可能由于網(wǎng)絡(luò)擁塞，出現(xiàn)丟包。兩者都會(huì)降低解碼后視頻質(zhì)量，嚴(yán)重情況下，由于找不到同步字造成解碼失敗。

53、因此必須采取一定措施解決這種問(wèn)題。流媒體視頻傳輸中應(yīng)用最多和最有效的措施是錯(cuò)誤隱藏。因?yàn)樗辉黾泳幋a器端額外的開(kāi)銷，也不增加網(wǎng)絡(luò)的延時(shí)，也不以犧牲碼率為代價(jià)。只是利用視頻圖像自身的相關(guān)性，用最匹配的相關(guān)像素進(jìn)行插值，恢復(fù)圖像。如前所述，由于各種信道/網(wǎng)絡(luò)錯(cuò)誤，壓縮視頻數(shù)據(jù)在傳輸或存儲(chǔ)過(guò)程中會(huì)被損壞或丟失。雖然傳輸層提供了各種抗誤碼策略，但是除非重傳可以無(wú)限制的使用(這對(duì)實(shí)時(shí)業(yè)務(wù)是不可接受的)，在接收到的數(shù)據(jù)中會(huì)殘留有誤碼和丟失，在解碼端重建圖像會(huì)引起較嚴(yán)重的失真。受許多因素影響，例如信源編碼、傳輸協(xié)議以及丟失的信息數(shù)量和種類等，誤碼引起的失真程度從暫時(shí)的質(zhì)量下降到圖像或視頻信號(hào)完全不可恢復(fù)。由

54、于人眼視覺(jué)系統(tǒng)對(duì)視頻信號(hào)中的高頻成分不敏感，因而可通過(guò)對(duì)解碼器端的重建圖像進(jìn)行后處理來(lái)減弱差錯(cuò)對(duì)圖像質(zhì)量造成的影響，這個(gè)后處理過(guò)程即為錯(cuò)誤隱藏。2.3.1 視頻圖像誤碼的檢測(cè)與定位技術(shù)為減小差錯(cuò)的影響，首要步驟是檢測(cè)誤碼和定位誤碼。信道解碼器和信源解碼器(視頻解碼器)都可以執(zhí)行一定的誤碼檢測(cè)任務(wù)。在解碼的不同階段有不同的誤碼檢測(cè)方法，一般來(lái)說(shuō)，誤碼檢測(cè)可在兩個(gè)層面上進(jìn)行:傳輸層和視頻解碼層。傳輸層上的誤碼檢測(cè)是指在信道解碼環(huán)節(jié)上檢測(cè)傳輸誤碼;而視頻解碼層上檢測(cè)誤碼是指在視頻解碼環(huán)節(jié)上檢測(cè)傳輸誤碼。主要的誤碼檢測(cè)方法有以下幾類：1) 根據(jù)頭信息檢測(cè)在對(duì)視頻信息進(jìn)行編碼時(shí)，大多數(shù)編碼系統(tǒng)都會(huì)加入少

55、量的文件頭信息(比如視頻信息的長(zhǎng)度和編碼方法等重要信息)，此信息一般先于圖像幀進(jìn)行編碼。由于文件頭信息中存放著解碼所需的重要信息，因此如果此部分中任何比特位出現(xiàn)誤碼，則會(huì)導(dǎo)致解碼失敗。信道解碼器和信源解碼器都可以根據(jù)頭信息檢測(cè)差錯(cuò)。視頻編碼后要以數(shù)據(jù)包的形式發(fā)送出去，為了能夠在接收端正確解碼，需要對(duì)數(shù)據(jù)包按順序解碼，因此每個(gè)數(shù)據(jù)包都有序號(hào)，反映數(shù)據(jù)流的先后。因此根據(jù)接收的數(shù)據(jù)包的序號(hào)，可以判斷是否有丟包?，F(xiàn)有的解決辦法時(shí)設(shè)計(jì)一個(gè)具有容錯(cuò)功能的編碼器，如:使用前向糾錯(cuò)（fec)方法來(lái)對(duì)文件頭信息加以保護(hù)。由于文件頭信息相對(duì)于整個(gè)編碼視頻信息來(lái)說(shuō)只占很少部分，因此不必?fù)?dān)心會(huì)對(duì)使用了有效的 fec

56、方法而顯著增加整個(gè)編碼視頻信息的長(zhǎng)度。2) 根據(jù)校驗(yàn)碼檢測(cè)校驗(yàn)位技術(shù)是計(jì)算機(jī)各個(gè)領(lǐng)域廣泛采用的檢測(cè)錯(cuò)誤的方法。在視頻圖像編碼中，信道和信源解碼器都可以前向糾錯(cuò)方式檢測(cè)差錯(cuò)，可以根據(jù)碼流中的校驗(yàn)位來(lái)確定錯(cuò)誤的位置，有些情況下還可以進(jìn)行糾正。3) 根據(jù)語(yǔ)法檢測(cè)基于語(yǔ)法的檢測(cè)方案 由于信源編碼協(xié)議對(duì)碼流結(jié)構(gòu)做了詳細(xì)的規(guī)定，因此可以通過(guò)在解碼端檢查碼流中的相應(yīng)語(yǔ)法元素是否符合句法結(jié)構(gòu)來(lái)判斷在傳輸過(guò)中是否有錯(cuò)誤發(fā)生。例如，量化步長(zhǎng)永遠(yuǎn)不可能為零，dct 系數(shù)的個(gè)數(shù)存在一個(gè)最大值，運(yùn)動(dòng)矢量及量化參數(shù)的取值也有一定的范圍等等。如果解碼端發(fā)現(xiàn)所接收到的碼流中相應(yīng)語(yǔ)法元素不滿足這些條件，就可以斷定傳輸過(guò)程中有錯(cuò)

57、誤發(fā)生。另外，因?yàn)樗械囊曨l壓縮標(biāo)準(zhǔn)都采用了變長(zhǎng)編碼，但所用的碼字并不是完全碼，即并非所有可能的碼字都是合法的碼字。因此解碼端也可以通過(guò)檢查解碼碼字的合法性來(lái)判斷是否有錯(cuò)誤發(fā)生。4) 根據(jù)常識(shí)檢測(cè)自然視頻的特點(diǎn)同樣可被用來(lái)檢測(cè)錯(cuò)誤。例如，塊邊界不連續(xù)；塊中的大部分?jǐn)?shù)據(jù)都需要鉗位。綜上所述，沒(méi)有一種方法可以保證檢測(cè)出所有差錯(cuò)。其中，方法(4)是一種不可靠的方法，可能造成誤檢測(cè)，將無(wú)差錯(cuò)的數(shù)據(jù)塊認(rèn)定為錯(cuò)誤的塊。實(shí)際系統(tǒng)常常將這幾種方式結(jié)合起來(lái)檢測(cè)誤碼。2.3.2 視頻圖像的錯(cuò)誤隱藏技術(shù)一旦能夠檢測(cè)到錯(cuò)誤的存在，并且獲知錯(cuò)誤所在的位置，大量的辦法可以用來(lái)糾正錯(cuò)誤或者掩蓋錯(cuò)誤。錯(cuò)誤隱藏技術(shù)不需要從編碼

58、器得到額外信息，只是利用視頻信號(hào)在空間和時(shí)間上的冗余信息和人類視覺(jué)系統(tǒng)特性來(lái)隱藏出錯(cuò)的圖像數(shù)據(jù)。通過(guò)在解碼器中加入額外的校驗(yàn)信息或采用統(tǒng)計(jì)學(xué)方法，該技術(shù)首先對(duì)接收到的編碼視頻信息進(jìn)行檢測(cè)以判斷是否有誤碼存在。如果檢測(cè)到有誤碼存在，解碼器則預(yù)測(cè)出受誤碼影響的視頻信息內(nèi)容的可能值，從而將由誤碼對(duì)視頻信息造成的不利影響進(jìn)行隱藏。在誤碼檢測(cè)和隱藏技術(shù)中涉及到的一個(gè)關(guān)鍵問(wèn)題是其在很大程度上依賴于所使用的編碼方案。在以人眼為最終信宿的視頻應(yīng)用中，對(duì)于傳輸中的誤碼，不需要像數(shù)據(jù)傳輸那樣要求絕對(duì)的無(wú)損恢復(fù)，可以通過(guò)尋找一些相關(guān)數(shù)據(jù)來(lái)代替誤碼數(shù)據(jù)，實(shí)現(xiàn)錯(cuò)誤隱藏，即利用人眼的視覺(jué)缺陷，恢復(fù)出人眼可以接受的視頻圖像

59、。錯(cuò)誤隱藏本身不改變誤碼，而是利用視頻圖像在時(shí)間上和空間上的相關(guān)性，在接收端采取一些后處理技術(shù)，部分地恢復(fù)出被破壞的圖像，使這些誤碼在視覺(jué)上盡量不被察覺(jué)出來(lái)。視頻解碼器必須首先檢測(cè)出傳輸?shù)囊曨l碼流中是否存在誤碼，如果存在，還要精確地確定出誤碼置;然后利用各種錯(cuò)誤隱藏技術(shù)將誤碼的損害降低到最低。由于圖像序列本身就有很強(qiáng)的空間和時(shí)間相關(guān)性，這就為使用正確接收到的視頻數(shù)據(jù)去預(yù)測(cè)丟失的數(shù)據(jù)提供了依據(jù)。錯(cuò)誤隱藏可分為時(shí)域錯(cuò)誤隱藏、空域錯(cuò)誤隱藏和頻域錯(cuò)誤隱藏三大類:2.3.2.1 時(shí)域錯(cuò)誤隱藏時(shí)域錯(cuò)誤隱藏技術(shù)是基于時(shí)域冗余信息的一種錯(cuò)誤處理方法?？沼蝈e(cuò)誤隱藏主要用來(lái)處理 i 一幀圖像，時(shí)域錯(cuò)誤隱藏主要用來(lái)

60、隱藏 p 一幀和 b 一幀圖像的錯(cuò)誤。而實(shí)際碼流的錯(cuò)誤處理是將兩種方法動(dòng)態(tài)地結(jié)合起來(lái)，對(duì)于不同的幀和不同的情況采用不同的方法。利用視頻信號(hào)時(shí)間相關(guān)性的最簡(jiǎn)單方法是直接將損壞的宏塊用前一幀同一位置的宏塊替代，這種算法稱之為零向量錯(cuò)誤隱藏算法。該方法簡(jiǎn)單，沒(méi)有任何計(jì)算量，對(duì)于低碼率視頻比特流，如會(huì)議電視，由于圖像運(yùn)動(dòng)很慢，零運(yùn)動(dòng)矢量錯(cuò)誤隱藏作為實(shí)時(shí)處理方法，隱藏效果很好。但對(duì)于運(yùn)動(dòng)劇烈的圖像，由于前后幀圖像差別很大，錯(cuò)誤隱藏存在明顯塊移動(dòng)效應(yīng)。用運(yùn)動(dòng)補(bǔ)償塊替代損壞宏塊可以獲得很大的提高。這種方法在分層編碼中特別有效，因?yàn)樵诨緦又邪怂械倪\(yùn)動(dòng)信息。如果運(yùn)動(dòng)矢量（mv）正確，出錯(cuò)塊用相應(yīng)的運(yùn)動(dòng)預(yù)