第2章 多媒體信息處理的必要性與可行性

1、多媒體通信技術(shù) 第2章 多媒體信息處理的必要性和可行性鄧曉衡中南大學(xué)信息科學(xué)與工程學(xué)院通信工程系2第2章 多媒體信息處理的必要性和可行性 n2.1 2.1 多媒體信息的特點(diǎn)多媒體信息的特點(diǎn) n2.2 2.2 信息壓縮的必要性信息壓縮的必要性 n2.3 2.3 信息壓縮的可行性信息壓縮的可行性 n2.4 2.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)數(shù)據(jù)壓縮技術(shù)的性能指標(biāo) n練習(xí)與思考題練習(xí)與思考題 32.1 多媒體信息的特點(diǎn) n多媒體信息進(jìn)行處理就必須了解多媒體信息的基本特征。 多媒體信息主要有三個(gè)特征： 1） 數(shù)據(jù)量龐大： 和文本信息相比， 語(yǔ)音、 圖像的信息量就顯得十分龐大。 例如， 用生動(dòng)的語(yǔ)音表達(dá)和文

2、本文字相同的一段內(nèi)容， 語(yǔ)音所需要的數(shù)據(jù)量要比文本大10倍以上。 若要用圖像來(lái)大體表示同樣的意思， 則圖像所需要的數(shù)據(jù)量又不知道要大多少倍了。 4（2）碼率可變、 突發(fā)性強(qiáng)： 代表多媒體信息的數(shù)據(jù)流其碼率是隨著不同的信息內(nèi)容、 所處的不同時(shí)間而不斷變化的。 人們講話(huà)時(shí)的停頓、 所傳場(chǎng)景圖像中物體的運(yùn)動(dòng)等都會(huì)形成碼流速率的波動(dòng)， 而且這種波動(dòng)往往呈現(xiàn)出極強(qiáng)的突發(fā)性。 再加上采用了種種信息壓縮編碼的方法， 就更加劇了這種變化。 （3）復(fù)合性信息多， 同步性、 實(shí)時(shí)性要求高： 多媒體通信系統(tǒng)中傳輸?shù)耐莾煞N或兩種以上媒體的復(fù)合信息， 各類(lèi)信息之間存在著很強(qiáng)的關(guān)聯(lián)， 因此， 對(duì)信息傳輸?shù)耐叫约皩?shí)時(shí)

3、性的要求也就相當(dāng)高了。 52.2 信息壓縮的必要性 n多媒體信息的壓縮技術(shù)是多媒體通信領(lǐng)域中的關(guān)鍵技術(shù)之一n 不能對(duì)多媒體數(shù)據(jù)進(jìn)行有效的壓縮， 就難以保證通信的順利進(jìn)行 以一般彩色電視信號(hào)為例， 設(shè)代表光強(qiáng)、 色彩和色飽和度的YIQ空間中各分量的帶寬分別為4 MHz、 1.3 MHz和0.5 MHz。 根據(jù)采樣定理， 僅當(dāng)采樣頻率大于或等于2倍的原始信號(hào)的頻率時(shí)， 才能保證采樣后的信號(hào)可被保真地恢復(fù)為原始信號(hào)。 6設(shè)各樣點(diǎn)均被數(shù)字化為8 bit， 從而1秒鐘的電視信號(hào)的數(shù)據(jù)量為（41.30.5） 2 8 bit = 92.8 Mbit因而一張640 MB容量的CDCD*2ROM能夠存放的原始電

4、視數(shù)據(jù)（每字節(jié)附有2位校驗(yàn)位）為 640892.8(1+0.25)=44 s一張普通光盤(pán)只能存放44 s的原始數(shù)據(jù)。 7n電視信號(hào)數(shù)字化后直接保存的方法是難以令人接受的， 因而必須采取某些措施進(jìn)行保存， 例如， 對(duì)圖像數(shù)據(jù)進(jìn)行壓縮后再保存。 n語(yǔ)音信號(hào)的數(shù)據(jù)量， 人在正常說(shuō)話(huà)時(shí)的音頻一般在200 Hz3.4 kHz， 即人類(lèi)語(yǔ)音的帶寬為3.4 kHz。 n依據(jù)采樣定理， 并設(shè)數(shù)字化精度為8 bit， 則每秒的數(shù)據(jù)量為 3.4 kHz28=54.4 kbitn講一分鐘話(huà)的數(shù)據(jù)量約為400 kbit。 n表2.2-1列出了支持語(yǔ)音、 圖像、 視頻等多媒體信號(hào)高質(zhì)量存儲(chǔ)和傳輸所必需的未壓縮速率以及信

5、號(hào)特性。8表2.2-1 各種信號(hào)的特性和未壓縮速率 9n從以上兩個(gè)例子以及表2.2-1可以看出： 未進(jìn)行任何形式編碼和壓縮的窄帶語(yǔ)音信號(hào)需要128 kb/s的速率， 即兩倍于普通電話(huà)的速率。 信號(hào)未被壓縮的寬帶話(huà)音需要256 kb/s的速率， 未壓縮的雙聲道立體聲CD音頻需要1.41 Mb/s的速率。 保持原始信號(hào)質(zhì)量n窄帶語(yǔ)音可以壓縮到4 kb/s（301的壓縮比）， n寬帶話(huà)音可以壓縮到約16 kb/s（151的壓縮比）n CD音頻可以壓縮到64 kb/s（221的壓縮比）。 10n 對(duì)于多媒體處理系統(tǒng)所要求的語(yǔ)音與音頻、 圖像、 視頻、 文本、 數(shù)據(jù)的結(jié)合， 信號(hào)進(jìn)行有效的存儲(chǔ)和傳輸之前

6、， 必須進(jìn)行處理n最關(guān)鍵的處理方法是進(jìn)行數(shù)據(jù)壓縮。多媒體信息壓縮技術(shù)的對(duì)象主要是視頻、 音頻和文本信息這三大類(lèi)。 例如， 現(xiàn)代數(shù)字壓縮技術(shù)可以對(duì)多數(shù)圖像實(shí)現(xiàn)大于1001的壓縮比， 而質(zhì)量沒(méi)有重大損失。 112.3 信息壓縮的可行性 n數(shù)據(jù)中通常包含很大的冗余， 數(shù)據(jù)的大小與所攜帶的信息量的關(guān)系由下式給出： I=D-r (2.3-1) I、 D、 r分別為信息量、 數(shù)據(jù)量與冗余量。 以存儲(chǔ)一本200萬(wàn)字的中文百科全書(shū)為例， 每個(gè)漢字以2字節(jié)計(jì)算， 該書(shū)的數(shù)據(jù)量為4 MB。 若使用Huffman算法，可將大約2 MB左右的冗余數(shù)據(jù)尋找出來(lái)并壓縮掉，可節(jié)省出2 MB的存儲(chǔ)空間。 121 空間冗余n空

7、間冗余是在圖像數(shù)據(jù)中經(jīng)常存在的一種冗余。 在任何一幅圖像中， 均有許多灰度或顏色都相同的鄰近像素組成的局部區(qū)域， 它們形成了一個(gè)性質(zhì)相同的集合塊， 即它們之間具有空間（或空域）上的強(qiáng)相關(guān)性， 在圖像中就表現(xiàn)為空間冗余。n 例如， 圖2.3-1是一張俯視圖， 圖中央的黑色是一塊表面均勻的積木塊， 在圖中， 黑色區(qū)域所有點(diǎn)的光強(qiáng)和色彩以及飽和度都是相同的， 因而黑色區(qū)域的數(shù)據(jù)表達(dá)有很大的冗余。 13n對(duì)空間冗余的壓縮方法就是把這種集合塊當(dāng)作一個(gè)整體， 用極少的數(shù)據(jù)量來(lái)表示它， 從而節(jié)省了存儲(chǔ)空間。 這種壓縮方法叫空間壓縮或幀內(nèi)壓縮， 它的基本點(diǎn)就在于減少鄰近像素之間的空間（或空域）相關(guān)性。 圖2.

8、3-1 空間冗余 142 時(shí)間冗余n時(shí)間冗余是活動(dòng)圖像和語(yǔ)音數(shù)據(jù)中經(jīng)常包含的冗余。 活動(dòng)圖像中的兩幅相鄰的圖像有較大的相關(guān)性， 這反映為時(shí)間冗余。 n在語(yǔ)音中， 由于人在說(shuō)話(huà)時(shí)其發(fā)出的音頻是一個(gè)連續(xù)和漸變的過(guò)程， 而不是一個(gè)完全的時(shí)間上獨(dú)立的過(guò)程, 因而存在著時(shí)間冗余。 n運(yùn)動(dòng)圖像，如圖2.3-2中F1幀中有一輛汽車(chē)和一個(gè)路標(biāo)P， 在經(jīng)過(guò)時(shí)間T后的圖像F2仍包含以上兩個(gè)物體15n小車(chē)向前行駛了一段路程nF1和F2是時(shí)間相關(guān)的， 后一幅圖像F2在參照?qǐng)D像F1的基礎(chǔ)上只需很少數(shù)據(jù)量即可表示出來(lái)， 從而減少了存儲(chǔ)空間， 實(shí)現(xiàn)了數(shù)據(jù)壓縮。n這種壓縮對(duì)運(yùn)動(dòng)圖像往往能得到很高的壓縮比， 這也稱(chēng)為時(shí)間壓縮或

9、幀間壓縮。 16圖2.3-2 時(shí)間冗余 PTPF1F2173 信息熵冗余（編碼冗余）n信息熵， 是指數(shù)據(jù)所帶的信息量。 n信息量是指從N個(gè)相等可能事件中選出一個(gè)事件所需要的信息度量或含量， 即在N個(gè)事件中辨識(shí)一個(gè)特定事件的過(guò)程中需要提問(wèn)“是”或“否”的最少次數(shù)。 n將信源所有可能事件的信息量進(jìn)行平均， 就得到信息的“熵”（Entropy）。 熵就是平均信息量。 通常， 信息熵的數(shù)學(xué)表達(dá)式為iikiIbPPH10（2.3-2） 18n 式中， Pi為任意一個(gè)數(shù)i的概率， k為數(shù)據(jù)類(lèi)數(shù)或碼元的個(gè)數(shù)。 設(shè)單位數(shù)據(jù)量d為)(10iikiybPd（2.3-3） 19 圖2.3-3 結(jié)構(gòu)冗余示意圖 4.結(jié)

10、構(gòu)冗余有些圖像從整體上看存在很強(qiáng)的紋理結(jié)構(gòu)205 知識(shí)冗余n人們通過(guò)認(rèn)識(shí)世界而得到某些圖像所具有的先驗(yàn)知識(shí)和背景知識(shí)， 由此帶來(lái)的冗余稱(chēng)為知識(shí)冗余。 n例如， 人臉的圖像有固定的結(jié)構(gòu)， 嘴的上方有鼻子， 鼻子的上方有眼睛， 鼻子位于正臉圖像的中線(xiàn)上等等。 這類(lèi)規(guī)律的結(jié)構(gòu)可由先驗(yàn)知識(shí)和背景知識(shí)得到， 因此這類(lèi)信息對(duì)一般人來(lái)說(shuō)是冗余信息。216 視覺(jué)冗余n在多媒體技術(shù)的應(yīng)用領(lǐng)域中， 人的眼睛是圖像信息的接收端。 而人類(lèi)的視覺(jué)系統(tǒng)并不能對(duì)圖像畫(huà)面的任何變化都能感覺(jué)到， 視覺(jué)系統(tǒng)對(duì)于圖像場(chǎng)的注意是非均勻和非線(xiàn)性的， 即注意主要部分質(zhì)量， 同時(shí)取畫(huà)面的整體效果， 不拘泥每一個(gè)細(xì)節(jié)。 n例如， 人的視覺(jué)對(duì)

11、于圖像邊緣的急劇變化不敏感， 對(duì)圖像的亮度信息敏感， 對(duì)顏色的分辨率較弱等。 因此， 如果圖像經(jīng)壓縮或量化發(fā)生的變化（或稱(chēng)引入了噪聲）不能被視覺(jué)所感覺(jué)， 則認(rèn)為圖像質(zhì)量是完好的或是夠好的， 即圖像壓縮并恢復(fù)后仍有滿(mǎn)意的主觀圖像質(zhì)量。 227 其他冗余n多媒體數(shù)據(jù)除了具有上面所說(shuō)的各種冗余外， 還存在一些其他的冗余類(lèi)型。 例如， 圖像的空間非定常特性所帶來(lái)的冗余等。 n空間冗余和時(shí)間冗余是將圖像信號(hào)看作為隨機(jī)信號(hào)時(shí)所反映出的統(tǒng)計(jì)特征把這兩種冗余稱(chēng)為統(tǒng)計(jì)冗余。 是多媒體圖像數(shù)據(jù)處理中兩種最主要的數(shù)據(jù)冗余。 23n在數(shù)字圖像或語(yǔ)音信息中普遍存在著程度不同的冗余度， 在保證一定質(zhì)量的前提下， 盡可能地

12、除去這些冗余度， 這就是信息壓縮技術(shù)的目的。 例如， 在可視電話(huà)中將原本為36 Mb/s 的視頻和音頻信號(hào)壓縮到64 kb/s以下， 使它能在一個(gè)數(shù)字話(huà)路上傳輸。 n按照壓縮前后信息量的變化來(lái)分， 壓縮技術(shù)可分為信息保持型壓縮和信息非保持型壓縮兩大類(lèi)。 信息保持型壓縮編碼（又稱(chēng)為無(wú)失真編碼）是指解碼以后的信息量和原信息量嚴(yán)格相同； 信息非保持型壓縮的方法則會(huì)給解碼信息帶來(lái)一定的失真， 但一般來(lái)說(shuō)壓縮比要遠(yuǎn)遠(yuǎn)大于保持型壓縮的壓縮比。 242.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)1 壓縮比n壓縮性能常常用壓縮比來(lái)定義， 也就是壓縮過(guò)程中輸入數(shù)據(jù)量和輸出數(shù)據(jù)量之比。 壓縮比越大， 說(shuō)明數(shù)據(jù)壓縮的程度越高。 在

13、實(shí)際應(yīng)用中， 壓縮比可以定義為比特流中每個(gè)樣點(diǎn)所需要的比特?cái)?shù)。 25 2 重現(xiàn)質(zhì)量n重現(xiàn)質(zhì)量是指比較重現(xiàn)時(shí)的圖像、 聲音信號(hào)與原始圖像、 聲音之間有多少失真， 這與壓縮的類(lèi)型有關(guān)。 壓縮方法可以分為無(wú)損壓縮和有損壓縮。 無(wú)損壓縮是指壓縮和解壓縮過(guò)程中沒(méi)有損失原始圖像或聲音的信息， 所以對(duì)無(wú)損系統(tǒng)不必?fù)?dān)心重現(xiàn)質(zhì)量。 n有損壓縮雖然可獲得較大的壓縮比， 但壓縮比過(guò)高， 還原后的圖像、 聲音質(zhì)量就可能降低。 圖像和聲音質(zhì)量的評(píng)估常采用客觀評(píng)估和主觀評(píng)估兩種方法。 以圖像信息壓縮為例。 圖像的主觀評(píng)價(jià)采用5分制， 其分值在15分情況下的主觀評(píng)價(jià)如表2.4-1所示。 26表2.4-1 圖像主觀評(píng)價(jià)性能表

14、 主觀評(píng)價(jià)分 質(zhì)量尺度 妨礙觀看尺度 5 非常好 絲毫看不出圖像質(zhì)量變壞 4 好 能看出圖像質(zhì)量變化，但不妨礙觀看 3 一般 清楚地看出圖像質(zhì)量變壞，對(duì)觀看稍有妨礙 2 差 對(duì)觀看有妨礙 1 非常差 非常嚴(yán)重地妨礙觀看27n 而客觀尺度通常有以下幾種： 2)()(1ixixnEin均方誤差： 22lg10)(rxdBSNR為方差信噪比： 22maxlg10)(rxdBPSNRx峰值信噪比： 283 壓縮和解壓縮的速度n壓縮與解壓縮的速度是兩項(xiàng)單獨(dú)的性能度量。 壓縮與解壓縮都需要實(shí)時(shí)進(jìn)行， 這稱(chēng)為對(duì)稱(chēng)壓縮， 如電視會(huì)議的圖像傳輸；壓縮可以用非實(shí)時(shí)壓縮， 而只要解壓縮是實(shí)時(shí)的， 這種壓縮稱(chēng)為非對(duì)稱(chēng)壓縮， 如多媒體CD-ROM的節(jié)目制作。 從目前開(kāi)發(fā)的壓縮技術(shù)看， 一般壓縮的計(jì)算量比解壓縮要大。 在靜止圖像中， 壓縮速度沒(méi)有解壓縮速度要求嚴(yán)格。 29n動(dòng)態(tài)視頻的壓縮與解壓縮， 速度問(wèn)題是至關(guān)重要的 動(dòng)態(tài)視頻為保證幀間動(dòng)作變化的連貫要求， 必須有較高的幀速。 對(duì)于大多數(shù)情況來(lái)說(shuō)動(dòng)態(tài)視頻至少為15幀/s， 而全動(dòng)態(tài)視頻則要求有25幀/s或30幀/s。 因此， 壓縮和解壓縮速度的快慢直接影響實(shí)時(shí)圖像通信的完成。 n 還要