第3講-信息表示與編碼(聲音、圖像、視頻)

1、第三講 信息編碼（聲音、圖像、視頻）第三講 信息表示與編碼內(nèi)容提要聲音圖像視頻數(shù)據(jù)存儲(chǔ)數(shù)據(jù)存儲(chǔ)存儲(chǔ)音頻模擬信號(hào)與數(shù)字信號(hào)模擬信號(hào): 時(shí)間和幅度都是連續(xù)的信號(hào)數(shù)字信號(hào): 時(shí)間和幅度都是離散的信號(hào)音頻是一種隨時(shí)間連續(xù)變化的模擬數(shù)據(jù).數(shù)據(jù)存儲(chǔ)存儲(chǔ)音頻一段時(shí)間內(nèi)，擁有無限數(shù)量的觀測值，不可能完全存儲(chǔ)在計(jì)算機(jī)中。利用采樣量化編碼的策略，存儲(chǔ)離散時(shí)間點(diǎn)上的音頻信號(hào)強(qiáng)度。模擬信號(hào)如何存儲(chǔ)？數(shù)據(jù)存儲(chǔ)存儲(chǔ)音頻采樣（離散化時(shí)間）在模擬信號(hào)上選擇數(shù)量有限的點(diǎn)來度量他們的值并記錄下來，通過記錄的值來表現(xiàn)模擬信號(hào)。奈奎斯特理論（采樣定理）: 采樣頻率不低于聲音信號(hào)最高頻率的兩倍，即可將以數(shù)字表達(dá)的聲音還原成原來的聲音。

2、 采樣率：每秒鐘采樣的次數(shù)；采樣率越高，則占用更多的存儲(chǔ)空間，效果越好；對于音頻信號(hào)，每秒采樣40000次的效果已經(jīng)足夠好。數(shù)據(jù)存儲(chǔ)存儲(chǔ)音頻量化（離散化幅度）將幅值在最大值和最小值之間劃分N個(gè)區(qū)間，一般采用等分方式。如上圖所示的量化過程采用了8個(gè)量化區(qū)間（也稱量化等級(jí)為8），把位于一個(gè)量化區(qū)間內(nèi)的采樣點(diǎn)的值歸為一類，即賦予相同的量化值。 數(shù)據(jù)存儲(chǔ)存儲(chǔ)音頻例如：假設(shè)聲音的幅度值范圍是0-4，將0-4之間的幅值分成了8等份，每份為0.5.則在0-0.5之間的所有數(shù)值均用0表示，0.5-1之間的數(shù)值均用0.5表示，1-1.5之間的數(shù)值均用1表示，3.5-4之間的數(shù)值用3.5表示?？梢娏炕淖饔檬鞘狗?/p>

3、值數(shù)字化，即把無限個(gè)數(shù)值用有限個(gè)數(shù)來表示。 量化不可避免的存在偏差。如果分成16個(gè)量化區(qū)間（量化等級(jí)為16），每份為0.25.則0-0.25之間的數(shù)值用0表示，0.25-0.5之間的數(shù)值用0.25表示，3.75-4之間的數(shù)值用3.75表示，這時(shí)的偏差比分成8個(gè)區(qū)間要小。 數(shù)據(jù)存儲(chǔ)存儲(chǔ)音頻編碼（采樣值如何表示）是指將量化后的樣本值按照對應(yīng)的量化等級(jí)，用若干二進(jìn)制位（也叫量化位數(shù)）表示的過程。對于幅值為0-4，若量化等級(jí)為8，可用3位的二進(jìn)制數(shù)來表示樣本值的大小，如用000表示0，001表示0.5,010表示1，111表示3.5。同理，若量化等級(jí)為16，則用4位的二進(jìn)制數(shù)來表示樣本值的大小。位率：

4、單位時(shí)間內(nèi)產(chǎn)生的音頻數(shù)據(jù)位數(shù)。量化位數(shù)為B，采樣率為S，則位率為SB（存儲(chǔ)每秒音頻需要的位數(shù)）數(shù)據(jù)存儲(chǔ)存儲(chǔ)音頻對比不同的采樣、量化、編碼采樣頻率11KHz 8位量化采樣頻率22KHz 16位量化 數(shù)據(jù)存儲(chǔ)存儲(chǔ)音頻數(shù)字化音頻的數(shù)據(jù)量采樣是對模擬信號(hào)在時(shí)間軸上進(jìn)行數(shù)字化，而量化是對模擬信號(hào)在幅度上的數(shù)字化，編碼則是將量化后得到的數(shù)據(jù)表示成二進(jìn)制數(shù)據(jù)，數(shù)據(jù)量（B）=采樣頻率量化位數(shù)采樣時(shí)間聲道數(shù)8 例：人正常說話時(shí)的聲音頻率一般在20Hz4kHz。采樣頻率為8kHz，量化位數(shù)為8bit，求1秒的聲音數(shù)字化后的數(shù)據(jù)量。8k88=8000（B）7.8KB 如果是高質(zhì)量的CD音質(zhì)效果，采樣頻率為44.1k

5、Hz，量化位數(shù)為16bit，雙聲道立體聲，則1分鐘的數(shù)據(jù)量為：44.1k162608=10584000B10.09MB 數(shù)據(jù)存儲(chǔ)存儲(chǔ)音頻不同質(zhì)量聲音的性能指標(biāo)質(zhì)量采樣頻率（kHz）樣本精度（b/s）聲道數(shù)據(jù)率（kb/s）頻率范圍（Hz）電話88單聲道64.02003400AM11.0258單聲道88.2507000FM22.05016立體聲705.62015000CD44.116立體聲1411.22020000DAT4816立體聲1536.02020000樣本位數(shù)越多，聲音質(zhì)量越高，而需要的存儲(chǔ)空間也越大Digital Audio Tape數(shù)字錄音帶數(shù)據(jù)存儲(chǔ)存儲(chǔ)音頻聲音文件（編碼標(biāo)準(zhǔn)）Wave

6、格式文件（.wav）Wave文件的形成是用麥克風(fēng)錄音后，經(jīng)計(jì)算機(jī)的聲卡完成數(shù)字化過程形成擴(kuò)展名為.wav的聲音文件，存儲(chǔ)在計(jì)算機(jī)的硬盤中。例如：“附件”中“錄音機(jī)”產(chǎn)生的.wav文件播放時(shí)由聲卡還原成模擬信號(hào)經(jīng)揚(yáng)聲器輸出。Wave格式文件采樣頻率44.1khz,16位，立體聲（雙聲道），通常文件較大，多用于存儲(chǔ)簡短的聲音片段（Windows XP系統(tǒng)自帶一些Wave格式的聲音文件，在C:WINDOWSMedia文件夾中有）。數(shù)據(jù)存儲(chǔ)存儲(chǔ)音頻聲音文件（編碼標(biāo)準(zhǔn)）MIDI格式文件（.mid） MIDI是樂器數(shù)字接口（Musical Instrument Digital Interface）的英文縮

7、寫，是聲卡提供的一個(gè)接口，用于將電子樂器與計(jì)算機(jī)相連。播放MIDI格式的聲音時(shí)，聲卡根據(jù)數(shù)字代表的含義進(jìn)行聲音合成后由揚(yáng)聲器輸出?？梢姡琈IDI文件存放的不是聲音的采樣信息，相對于Wave文件，MIDI文件要小得多。同樣10分鐘的立體聲音樂，MIDI文件大小不到70KB，而聲音文件要100MB左右。 當(dāng)樂器彈奏時(shí)，聲卡記錄下樂器的音調(diào)、聲音的強(qiáng)弱、使用的何種樂器等信息，這些信息形成一連串的二進(jìn)制數(shù)字，從而形成MIDI文件。數(shù)據(jù)存儲(chǔ)存儲(chǔ)音頻聲音文件（編碼標(biāo)準(zhǔn)）MPEG音頻文件（.mp3）MP3是一種音頻壓縮技術(shù)標(biāo)準(zhǔn)，其全稱是動(dòng)態(tài)影像專家組音頻層面3（Moving Picture Experts

8、Group Audio Layer III），簡稱為MP3。利用人耳對高頻信號(hào)無法識(shí)別的原理，將時(shí)域波形信號(hào)轉(zhuǎn)換成頻域信號(hào)，并劃分成多個(gè)頻段，對不同的頻段使用不同的壓縮率，對高頻加大壓縮比（甚至忽略信號(hào)）對低頻信號(hào)使用小壓縮比，保證信號(hào)不失真。可以實(shí)現(xiàn)110甚至112的壓縮率。例如：將“錄音機(jī)”產(chǎn)生的.wav文件另存為.mp3格式數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像位圖矢量圖一般把位圖稱為圖像，把矢量圖稱為圖形。圖形與圖像在計(jì)算機(jī)上的顯示結(jié)果基本相似，但實(shí)現(xiàn)方法完全不同。位圖數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像矢量圖矢量圖用一組指令集合來描述圖形的內(nèi)容，這些描述包括圖形的形狀、位置、大小、色彩等特征。數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像例如：點(diǎn)（x1，

9、y1）到點(diǎn)（x2，y2）的一條直線可以用Line（x1，y1，x2，y2）表示。Circle（x，y，r）表示圓心位置為（x，y），半徑為r的一個(gè)圓。存儲(chǔ)空間（矢量圖）例：一幅由1000條直線組成的矢量圖形，計(jì)算存儲(chǔ)空間。數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像矢量圖存儲(chǔ)的是構(gòu)造圖形的線條信息，每條線的信息可由起點(diǎn)坐標(biāo)（x1，y1）、終點(diǎn)坐標(biāo)（x2，y2）、線條顏色、線條寬度、線條類型（虛線、實(shí)線等）等屬性表示。其中4個(gè)坐標(biāo)點(diǎn)每個(gè)用2個(gè)字節(jié)存儲(chǔ)，其它5個(gè)屬性用1個(gè)字節(jié)存儲(chǔ)，則存儲(chǔ)這幅圖形的存儲(chǔ)空間為：4（坐標(biāo)點(diǎn)）2（字節(jié)）+5（屬性）1（字節(jié)）1000（條）=12.7KB矢量圖文件應(yīng)用主要用于表示線框形圖片、工程制圖

10、、二維動(dòng)畫設(shè)計(jì)、三維物體造型、美術(shù)字體設(shè)計(jì)等。 矢量圖文件格式CDR格式：矢量圖形軟件coredraw專用格式AI格式：Adobe公司矢量圖形軟件illustrator專用格式DWG格式：計(jì)算機(jī)輔助設(shè)計(jì)軟件Auto CAD專用格式3DS格式：三維動(dòng)畫設(shè)計(jì)軟件3DS MAX專用圖形格式FLA格式：Flash動(dòng)畫設(shè)計(jì)軟件專用格式VSD格式：微軟公司繪圖軟件Visio專用格式數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像 矢量圖文件優(yōu)點(diǎn)由于矢量圖形的特點(diǎn)，通過軟件可方便地將矢量圖進(jìn)行縮放、移動(dòng)、旋轉(zhuǎn)等，其尺寸可以任意變化而不會(huì)損壞圖形的質(zhì)量。由于矢量圖形只保存算法和特征點(diǎn)參數(shù)，因此占用的存儲(chǔ)空間較小。矢量圖文件缺點(diǎn)當(dāng)圖形復(fù)雜時(shí)，

11、計(jì)算時(shí)間較長。對于某些復(fù)雜的彩色照片（如真實(shí)世界的照片）很難用數(shù)學(xué)公式來描述圖形的構(gòu)造，而采用位圖來表示。數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像色彩的三原色1）國際照明委員會(huì)(CIE) 規(guī)定以700nm(紅)、546.1nm(綠)、435.8nm (藍(lán))三個(gè)色光為三基色。又稱為物理三基色。2）自然界的所有顏色都可以通過這三基色按不同比例混合而成。數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像原文為：Commission Internationale de LEclairage(法);或International Commission on illumination(英)顏色模型R:200 G:50B:120黃(255,255,0)黑(0,0,0

12、)綠(0,255,0)青(0,255,255)藍(lán)(0,0,255)品紅(255,0,255)白(255,255,255)紅(255,0,0)數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像以RGB的三元組來表示某一種顏色。（0，0，0）表示黑色；（255，255，255）表示白色等。位圖對模擬的圖像數(shù)據(jù)，不可能完全在計(jì)算機(jī)中進(jìn)行存儲(chǔ)。仍然需要通過空間采樣的方法，測量離散點(diǎn)處的顏色值來進(jìn)行存儲(chǔ)。數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像和音頻類似，照片中的內(nèi)容來自現(xiàn)實(shí)世界，是隨空間連續(xù)變化的一些顏色值，是一種模擬數(shù)據(jù)。采樣例如一幅1024768的圖像，代表水平方向（橫）上有1024個(gè)像素點(diǎn)，垂直方向（豎）上有768個(gè)采樣點(diǎn)，圖像的分辨率為1024768

13、。數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像實(shí)質(zhì)是把圖像在空間上分割成N行M列的網(wǎng)格，每一個(gè)網(wǎng)格就是一個(gè)像素點(diǎn)，也代表一個(gè)采樣點(diǎn)。也就是說每行獲取M個(gè)像素點(diǎn)，總共采樣N行。MN代表總的像素?cái)?shù)，也稱為圖像的分辨率。同一幅圖像，如果分辨率越高，則描述的圖像細(xì)節(jié)越豐富，圖像越細(xì)膩、逼真，但所需的存儲(chǔ)空間也會(huì)越大。量化及編碼黑白圖像，圖像中的每個(gè)像素點(diǎn)用1位二進(jìn)制數(shù)表示，其中白色用1表示，黑色用0表示。數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像量化是每一個(gè)采樣點(diǎn)的顏色值用幾位二進(jìn)制來表示。編碼是一個(gè)數(shù)值和顏色的對應(yīng)關(guān)系。圖像可分為三類：黑白、灰度、彩色?；叶葓D像，圖像是由不同深度的灰色組成的，這時(shí)要把黑色和白色之間的顏色用不同的灰色表示出來，用8位二進(jìn)

14、制數(shù)表示，即量化位數(shù)為8 ，可分為256種灰色。數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像對于灰度，用0（二進(jìn)制00000000）代表黑,255（11111111）代表白。0-255之間的數(shù)代表灰，顯然數(shù)值越大，灰度越淺?；叶染幋a彩色圖像，紅色用8位，綠色用8位，藍(lán)色用8位，則量化位數(shù)為24位，這樣可以有256種紅色（R）、256種綠色（G）、256種藍(lán)色（B）。數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像彩色編碼量化位數(shù)稱為色彩深度。24位深度的顏色稱為真彩色。數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像根據(jù)色彩形成原理，不同取值的R、G、B可表示256256256=224（約1677萬）種色彩。特殊情況：如果R=0，G=0，B=0表示黑色；如果R=255，G=255，B

15、=255表示白色調(diào)色板技術(shù)（索引色，256色）真彩色可表示約1677萬種顏色，許多應(yīng)用中并不需要，且占用較大的空間。從大的顏色集中選擇一些顏色（通常256種，深度為8）并對其建立索引（取值0255）掃描圖像時(shí)，對每個(gè)像素，使用索引值表示其顏色。存儲(chǔ)空間（位圖）例：一幅圖像的分辨率為640480，色彩深度為24位，則該圖像文件的大小是多少？ 圖像存儲(chǔ)空間（字節(jié)）=分辨率量化位數(shù)8矢量圖所需的存儲(chǔ)空間要比位圖小得多。640480248=921600B=900KB數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像 位圖文件優(yōu)點(diǎn)可以表現(xiàn)出色彩豐富的圖象效果可逼真表現(xiàn)自然界各類景物位圖文件缺點(diǎn)文件占用存儲(chǔ)空間大；放大圖像會(huì)出現(xiàn)失真（馬賽

16、克,mosaic）。數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像BMP格式：BMP格式是Windows系統(tǒng)采用的圖像文件格式，形成的圖像文件較大，大多數(shù)圖像處理軟件都支持這種格式。GIF格式：GIF文件時(shí)一種壓縮圖像存儲(chǔ)格式，該文件允許存放多幅彩色圖像，圖像可以連續(xù)播放而形成動(dòng)畫效果。這種文件所支持的顏色數(shù)最多為256種，文件的壓縮率高，文件較小，適合在網(wǎng)上傳輸。 PNG格式：PNG格式文件采用無損壓縮的方法，他的壓縮率比GIF文件高。存儲(chǔ)灰度圖像的色彩位數(shù)可達(dá)16位，彩色圖像的位數(shù)可達(dá)48位。是一種新興的網(wǎng)絡(luò)圖像格式，缺點(diǎn)是不支持動(dòng)畫效果。 數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像位圖文件格式 JPEG格式：JPEG（Joint Photog

17、raphic Experts Group）是聯(lián)合圖像專家組制定的圖像數(shù)據(jù)壓縮標(biāo)準(zhǔn)，這是一個(gè)適用于黑白、灰度、彩色圖像的壓縮標(biāo)準(zhǔn)。它將不易被人眼察覺的圖像顏色刪除，有較高的壓縮率（2:140:1），對圖像質(zhì)量影響不大。同一圖像的BMP格式的大小是JPEG格式的510倍。而GIF格式最多支持256色，因此JPEG格式可處理256色以上的大幅面圖像。由于其優(yōu)越的性能，應(yīng)用非常廣泛，JPEG文件時(shí)網(wǎng)上的主流圖像格式。數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像黑白圖像數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像灰度圖像數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像位圖效果數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖像矢量圖效果數(shù)據(jù)存儲(chǔ)視頻模擬視頻每秒顯示25幀畫面（即幀頻），每幀畫面水平掃描行數(shù)為6

18、25行。采用隔行掃描方式。每一幀分兩場進(jìn)行掃描，第一場掃描奇數(shù)行，第二場掃描偶數(shù)行。1秒鐘顯示25幀圖像，完成50場的掃描，因此場頻為50Hz。我國及西歐國家使用。是圖像（幀）在時(shí)間上的表示，是一系列幀連續(xù)播放而形成的運(yùn)動(dòng)圖像，是隨空間和時(shí)間變化的色彩信息表示。分模擬與數(shù)字兩種。（1）PAL制（Phase Alternating Line 逐行倒相）視頻幀頻為30，每幅畫面水平掃描行數(shù)為525，隔行掃描方式，場頻為60Hz。美國、加拿大、日本、韓國等均采用這種制式。（2）NTSC制（National Television Standards Committee，美國國家電視標(biāo)準(zhǔn)委員會(huì)）第一場：

19、奇數(shù)行 第二場 ：偶數(shù)行 數(shù)據(jù)存儲(chǔ)視頻YUV格式Y(jié)指亮度，U和V指色差，是構(gòu)成彩色的兩個(gè)分量。Y和U、V之間是可分離的。數(shù)據(jù)存儲(chǔ)視頻亮度Y：Y=0.3R + 0.59G + 0.11B 紅色色差U：U=R-Y= 0.7R - 0.59G - 0.11B藍(lán)色色差V：V=B-Y= -0.3R - 0.59G + 0.90B若只有Y分量，則表示的圖像只是黑白灰度圖像，加上U和V分量可形成彩色圖像。彩色電視采用YUV格式可以實(shí)現(xiàn)與黑白電視兼容，使黑白電視也能接收彩色電視信號(hào)。PAL制和NTSC制采用的是YUV格式的色彩模式，而計(jì)算機(jī)采樣的是RGB的色彩模式，因此視頻數(shù)字化時(shí)還需考慮色彩模式的轉(zhuǎn)換。（1

20、）采樣 國際無線電咨詢委員會(huì)（CCIR：International Radio Consultative Committee）提出CCIR 601標(biāo)準(zhǔn)（現(xiàn)在的ITU-R標(biāo)準(zhǔn)），對采樣及色彩空間的轉(zhuǎn)換做了嚴(yán)格的規(guī)定。ITU-R建議使用4:2:2的采樣結(jié)構(gòu)進(jìn)行YUV彩色空間的采樣。在每條掃描線上每4個(gè)連續(xù)的采樣點(diǎn)取4個(gè)Y樣本、兩個(gè)色差U樣本、兩個(gè)色差V樣本。數(shù)據(jù)存儲(chǔ)視頻數(shù)字視頻按4：4：4格式采樣：第1個(gè)像素點(diǎn)（Y0，U0，V0）第2個(gè)像素點(diǎn)（Y1，U1，V1）第3個(gè)像素點(diǎn)（Y2，U2，V2）第4個(gè)像素點(diǎn)（Y3，U3，V3）數(shù)據(jù)存儲(chǔ)視頻按4：2：2格式采樣：第1個(gè)像素點(diǎn)（Y0，U0）第2個(gè)像素點(diǎn)（Y1，V1）第3個(gè)像素點(diǎn)（Y2，U2）第4個(gè)像素點(diǎn)（Y3，V3）例如：從掃描線上取4個(gè)采樣點(diǎn)（像素點(diǎn)），每一像素點(diǎn)的顏色信息表示區(qū)別如下：（2）