多媒體信號(hào)處理 課件 第1章 多媒體信息處理基礎(chǔ)

1.1多媒體的基本概念1.2音d頻信息處理基礎(chǔ)1.3圖像信息處理基第1章多媒體信息處理基礎(chǔ)1.1.1媒體的概念1.1.2多媒體與多媒體技術(shù)1.1多媒體的基本概念1.媒體（medium）按傳統(tǒng)的說(shuō)法，媒體指的是信息的載體，如：報(bào)紙、雜志、電視、廣播、因特網(wǎng)…在計(jì)算機(jī)領(lǐng)域有兩種含義：信息的存儲(chǔ)實(shí)體，如磁盤(pán)、光盤(pán)、磁帶、半導(dǎo)體存儲(chǔ)器等，中文常譯為媒質(zhì)或媒介；傳遞信息的基本元素，如文字、聲音、圖形、動(dòng)畫(huà)和圖像等。1.1.1媒體的概念2.媒體的分類(lèi)國(guó)際電話電報(bào)咨詢(xún)委員會(huì)（CCITT）把媒體分成如下5類(lèi)。（1）感知媒體（PerceptionMedium）感知媒體就是指能直接作用于人的感覺(jué)器官，使人直接產(chǎn)生感覺(jué)（視、聽(tīng)、嗅、味、觸覺(jué)）的一類(lèi)媒體，如語(yǔ)言、音樂(lè)、圖形、動(dòng)畫(huà)、數(shù)據(jù)、文字、文件等都是感知媒體。（2）表示媒體（RepresentationMedium）表示媒體是為了更有效地加工、處理和傳輸感知媒體而人為研究和構(gòu)造出來(lái)的一種媒體。它包括上述感知媒體的各種編碼，諸如語(yǔ)言編碼、靜止和活動(dòng)圖像編碼，以及文本編碼等。1.1.1媒體的概念（3）呈現(xiàn)媒體（PresentationMedium）呈現(xiàn)媒體是感知媒體與用于通信的電信號(hào)之間在轉(zhuǎn)換中用于信息輸入和輸出的媒體。可分為輸入呈現(xiàn)媒體（如鍵盤(pán)、攝像機(jī)、話筒、掃描儀等）和輸出呈現(xiàn)媒體（如顯示器、揚(yáng)聲器、打印機(jī)等）兩種。（4）存儲(chǔ)媒體（StorageMedium）存儲(chǔ)媒體用于存儲(chǔ)表示媒體，即存放感知媒體數(shù)字化后的代碼的媒體稱(chēng)為存儲(chǔ)媒體，如磁盤(pán)、光盤(pán)、磁帶、半導(dǎo)體存儲(chǔ)器等。（5）傳輸媒體（TransmissionMedium）傳輸媒體是指用來(lái)將表示媒體從一處傳遞到另一處的物理傳輸介質(zhì)，如同軸電纜、雙絞線、光纖及其他通信信道。1.1.1媒體的概念

在多媒體技術(shù)中所說(shuō)的媒體一般指感知媒體。常見(jiàn)的感知媒體包括：（1）視覺(jué)媒體：圖像、圖形、符號(hào)、視頻、動(dòng)畫(huà)等。（2）聽(tīng)覺(jué)媒體：聲音、語(yǔ)音、音樂(lè)和音響。（3）觸覺(jué)媒體：通過(guò)直接或間接與人體接觸，使人能感覺(jué)到對(duì)象的位置、大小、方向、方位、質(zhì)地等性質(zhì)。

1.1.1媒體的概念1．多媒體關(guān)于多媒體（Multimedium）的定義或說(shuō)法多種多樣，從不同的角度出發(fā)對(duì)多媒體給出了不同的描述，目前仍沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)。通常所說(shuō)的多媒體就是各種媒體的綜合，也就是聲音、圖像、動(dòng)畫(huà)、視頻、文本等各種媒體的綜合。“多媒體”常被當(dāng)作“多媒體技術(shù)”的同義詞。2．多媒體技術(shù)多媒體技術(shù)就是利用計(jì)算機(jī)技術(shù)把文本、圖像、圖形、動(dòng)畫(huà)、音頻及視頻等多種媒體有機(jī)地集成起來(lái)，使人們能以更加自然的方式使用信息，并與計(jì)算機(jī)進(jìn)行交互，且使表現(xiàn)的信息圖、文、聲并茂。簡(jiǎn)言之，多媒體技術(shù)就是計(jì)算機(jī)綜合處理聲、文、圖信息的技術(shù)，具有集成性、實(shí)時(shí)性和交互性。1.1.2多媒體與多媒體技術(shù)1.2.1聲音的基本特性1.2.2聲音的主觀感覺(jué)1.2.3音頻信號(hào)的數(shù)字化

1.2音頻信息處理基礎(chǔ)聲音是機(jī)械振動(dòng)或氣流振動(dòng)引起周?chē)鷤鞑ッ劫|(zhì)（氣體、液體、固體等）發(fā)生波動(dòng)的現(xiàn)象，通常將產(chǎn)生聲音的發(fā)聲體稱(chēng)為聲源。當(dāng)聲源產(chǎn)生振動(dòng)時(shí)，引起鄰近空氣的振動(dòng)。這樣空氣就隨著聲源體所振動(dòng)幅度的不同，而產(chǎn)生密或稀的振動(dòng)，空氣的這種振動(dòng)被稱(chēng)為聲波。聲波可以用一條連續(xù)的曲線來(lái)表示，它可以分解成一系列正弦波的線性疊加。1.2.1聲音的基本特性1.頻率單位時(shí)間內(nèi)信號(hào)振動(dòng)的次數(shù)，單位是赫茲（Hz）。聲音的音調(diào)由頻率決定。聲音尖細(xì)表示頻率高，聲音低粗表示頻率低。1.2.1聲音的基本特性次聲波音頻信號(hào)超聲波<20Hz20～20000Hz>20000Hz聲音信號(hào)按頻率劃分：2.頻譜

聲音信號(hào)按頻率成分組成來(lái)分，可分為：純音：頻率單一、振幅隨時(shí)間按正弦函數(shù)規(guī)律變化的聲音復(fù)音：由不同頻率和不同振幅的聲波組合而成的聲音基音：復(fù)音中頻率最低的成分（分音）諧音：復(fù)音中頻率與基音成整數(shù)倍的分音聲音的頻譜結(jié)構(gòu)是用基音、諧音數(shù)目、各諧音振幅大小及相位關(guān)系來(lái)描述的。聲音的音色就是由其頻譜成分決定的。1.2.1聲音的基本特性聲壓由聲波引起的交變壓強(qiáng)稱(chēng)為聲壓，一般用P表示，單位是帕（Pa）。聲壓的大小反映了聲音振動(dòng)的強(qiáng)弱，同時(shí)也決定了聲波的幅度大小。聲壓級(jí)

用聲壓的相對(duì)大小（稱(chēng)聲壓級(jí)或聲強(qiáng)）來(lái)表示聲壓的強(qiáng)弱。聲壓級(jí)用符號(hào)SPL

表示，單位是分貝（dB）：

式中，P為聲壓有效值；Pref為參考聲壓，一般取Pa，這個(gè)數(shù)值是人耳所能聽(tīng)到的1kHz聲音的最低聲壓，低于這一聲壓，人耳就無(wú)法覺(jué)察出聲波的存在了。3.聲壓及聲壓級(jí)

1.2.1聲音的基本特性

人對(duì)聲音的感知有響度、音調(diào)和音色三個(gè)主觀聽(tīng)感要素。響度：與聲波振動(dòng)的幅度有關(guān)音調(diào)：取決于聲波的基音頻率音色：由聲波的的頻譜成分決定1.2.2聲音的主觀感覺(jué)1.響度：是人耳對(duì)聲音強(qiáng)弱的主觀感覺(jué)程度。在客觀的度量中，聲音的強(qiáng)弱是由聲波的振幅（聲壓）決定的。但響度與聲波的振幅并不完全一致。響度不僅取決于振幅的大小，還取決于頻率的高低。響度用符號(hào)N表示，單位是宋(sone)。國(guó)際上規(guī)定，頻率為1kHz的純音在聲壓級(jí)為40dB時(shí)的響度為1宋（sone）。另外，響度的大小與距聲源的距離有關(guān)，同一聲音離聲源越近，響度越大。

1.2.2聲音的主觀感覺(jué)2.響度級(jí)：人耳對(duì)聲音強(qiáng)弱的主觀感覺(jué)還可以用響度級(jí)來(lái)表示。響度級(jí)的單位為方（phon）。規(guī)定1kHz純音聲壓級(jí)的分貝數(shù)定義為響度級(jí)的數(shù)值。響度／sone1248163264128256聲壓級(jí)／dB405060708090100110120響度級(jí)／phon405060708090100110120表1-1聲壓級(jí)與響度、響度級(jí)的關(guān)系1.2.2聲音的主觀感覺(jué)3.聽(tīng)閾與痛閾聽(tīng)閾：當(dāng)聲音減弱到人耳剛剛可以聽(tīng)見(jiàn)時(shí)，此時(shí)的聲音強(qiáng)度稱(chēng)為最小可聽(tīng)閾值，簡(jiǎn)稱(chēng)為“聽(tīng)閾”或“聞閾”。一般以1kHz純音為準(zhǔn)進(jìn)行測(cè)量，人耳剛能聽(tīng)到的聲壓級(jí)為0dB（通常大于0.3dB即有感受）。痛閾：當(dāng)聲音增強(qiáng)到使人耳感到疼痛時(shí)，這個(gè)聽(tīng)覺(jué)閾值稱(chēng)為“痛閾”。仍以1kHz純音為準(zhǔn)來(lái)進(jìn)行測(cè)量，使人耳感到疼痛時(shí)的聲壓級(jí)約達(dá)到130~140dB左右。1.2.2聲音的主觀感覺(jué)4.音調(diào)音調(diào)也稱(chēng)音高，表示人耳對(duì)聲音調(diào)子高低的主觀感受。聲音越低沉，音調(diào)越低；聲音越尖細(xì)，音調(diào)越高。音調(diào)的高低是由發(fā)聲體振動(dòng)的頻率決定的，頻率越高，音調(diào)越高；頻率越低，音調(diào)越低。物體的振動(dòng)頻率與發(fā)聲體的結(jié)構(gòu)有關(guān)，一般而言，大而長(zhǎng)的物體振動(dòng)頻率低，小而短的物體振動(dòng)頻率高；物體繃得越緊，振動(dòng)頻率越高；物體越薄、越細(xì)，振動(dòng)頻率越高。音調(diào)單位是“美（Mel）”。頻率為1kHz、聲壓級(jí)為40dB的純音所產(chǎn)生的音調(diào)就定義為1Mel。音調(diào)大體上與頻率的對(duì)數(shù)成正比。1.2.2聲音的主觀感覺(jué)聲音信號(hào)是典型的連續(xù)信號(hào)，不僅在時(shí)間上是連續(xù)的，而且在幅度上也是連續(xù)的。數(shù)字化實(shí)際上就是對(duì)模擬信號(hào)進(jìn)行采樣、量化和編碼。模/數(shù)轉(zhuǎn)換1101110011001101把聲音(模擬量)按照固定時(shí)間間隔，轉(zhuǎn)換成有限個(gè)數(shù)字表示的離散序列1.2.3音頻信號(hào)的數(shù)字化采樣（Sampling）：每隔一定的時(shí)間間隔，抽取信號(hào)的一個(gè)瞬時(shí)幅度值（樣本值），即在時(shí)間上將模擬信號(hào)進(jìn)行離散化。采樣后所得到的一系列在時(shí)間上離散的樣本值稱(chēng)為樣值序列。1.2.3音頻信號(hào)的數(shù)字化量化（Quantization）：對(duì)每個(gè)樣值的連續(xù)幅度進(jìn)行離散化，即用有限個(gè)幅度值近似原來(lái)連續(xù)變化的幅度值，把模擬信號(hào)的連續(xù)幅度變?yōu)橛邢迶?shù)量、有一定間隔的離散值。均勻量化（線性量化）：量化器的每個(gè)量化間隔都相等，量化電平取各量化區(qū)間的中間值。非均勻量化（非線性量化）：量化器的各個(gè)量化間隔是不相等的。1.2.3音頻信號(hào)的數(shù)字化編碼（Encoding）：采樣、量化后的信號(hào)還不是數(shù)字信號(hào)，需要把它轉(zhuǎn)換成數(shù)字編碼脈沖，這一過(guò)程稱(chēng)為編碼。最簡(jiǎn)單的編碼方式是二進(jìn)制編碼。具體說(shuō)來(lái)，就是用n比特二進(jìn)制碼來(lái)表示已經(jīng)量化了的樣值，每個(gè)二進(jìn)制數(shù)對(duì)應(yīng)一個(gè)量化電平，然后把它們排列，得到由二值脈沖組成的數(shù)字信息流。1.2.3音頻信號(hào)的數(shù)字化1.2.4人耳聽(tīng)覺(jué)效應(yīng)人耳的聽(tīng)覺(jué)系統(tǒng)人耳聽(tīng)覺(jué)的特性1）掩蔽效應(yīng)2）雙耳效應(yīng)3）顱骨效應(yīng)4）雞尾酒會(huì)效應(yīng)5）回音壁效應(yīng)6）多普勒效應(yīng)7）哈斯效應(yīng)1.2.5音頻信號(hào)質(zhì)量評(píng)價(jià)頻帶寬度動(dòng)態(tài)范圍信噪比主觀度量法表格1-1聲音質(zhì)量和數(shù)據(jù)率質(zhì)量采樣頻率（kHz）樣本精度（b/s）聲道數(shù)數(shù)據(jù)率（kb/s）頻率范圍（Hz）頻寬（kHz）電話88單聲道64200～34003.2AM11.0258單聲道88.250～70007FM22．0516立體聲705.620～1500015CD44.116立體聲1411.220～2000020DAT4816立體聲1536.020～2000020

表格1-2幾種音頻業(yè)務(wù)的動(dòng)態(tài)范圍音頻效果AMFM數(shù)字電話CD、DAT動(dòng)態(tài)范圍（dB）4060501001.1多媒體的基本概念1.2音頻信息處理基礎(chǔ)1.3圖像信息處理基礎(chǔ)第1章多媒體信息處理基礎(chǔ)1.3.1圖像信號(hào)的數(shù)字化

1.3.2三基色原理1.3.3典型的顏色空間模型及轉(zhuǎn)換關(guān)系1.3圖像信息處理基礎(chǔ)

彩色圖像信號(hào)一般表示為式中，x、y、z

表示空間某個(gè)點(diǎn)的坐標(biāo)；λ為光的波長(zhǎng)；t為時(shí)間軸坐標(biāo)。當(dāng)

t=t0（常數(shù)）時(shí)，則表示靜態(tài)圖像；當(dāng)

z=z0

（常數(shù)）時(shí)，則表示二維圖像；當(dāng)λ=λ0（常數(shù)）時(shí)，則表示單色圖像。由三基色原理知，其中

1.3.1圖像信號(hào)的數(shù)字化1.圖像信號(hào)的表示1.3.1圖像信號(hào)的數(shù)字化2.圖像信號(hào)的采樣圖像采樣就是將二維空間上模擬的連續(xù)亮度（即灰度）或彩色信息，轉(zhuǎn)化為一系列有限的離散數(shù)值來(lái)表示。采樣就是對(duì)圖像在水平方向和垂直方向上進(jìn)行等間隔的采樣，每個(gè)采樣點(diǎn)組成圖像的基本單位，稱(chēng)為像素（pixel）。在進(jìn)行采樣時(shí)，采樣點(diǎn)間隔的選取是一個(gè)重要的問(wèn)題，它決定了采樣后的圖像是否能真實(shí)地反映原圖像的程度。一般來(lái)說(shuō)，采樣間隔越大，所得圖像像素?cái)?shù)越少，空間分辨率低，圖像質(zhì)量差，嚴(yán)重時(shí)出現(xiàn)馬賽克效應(yīng)；采樣間隔越小，所得圖像像素?cái)?shù)越多，空間分辨率高，圖像質(zhì)量好，但數(shù)據(jù)量大。(a)256×256(b)128×128(c)32×32(d)16×16

采樣點(diǎn)數(shù)與圖像質(zhì)量之間的關(guān)系1.3.1圖像信號(hào)的數(shù)字化模擬圖像經(jīng)過(guò)采樣后，在時(shí)間和空間上離散化為像素。

p.s.采樣所得的像素值（灰度級(jí)）仍是一個(gè)有無(wú)窮多個(gè)取值的連續(xù)量。量化是指將具有無(wú)限多個(gè)取值的樣值用有限個(gè)離散值來(lái)表示的過(guò)程。3.圖像信號(hào)的量化1.3.1圖像信號(hào)的數(shù)字化

用有限個(gè)離散灰度值表示無(wú)窮多個(gè)連續(xù)灰度的量必然引起誤差，稱(chēng)為量化誤差，有時(shí)也稱(chēng)為量化噪聲。量化分層越多，則量化誤差越小。對(duì)于不同的圖像，量化方法分為兩種：等間隔量化（均勻量化或線性量化）非等間隔量化

等間隔量化就是簡(jiǎn)單地把采樣值的灰度范圍等間隔地分割并進(jìn)行量化。對(duì)于像素灰度級(jí)在黑-白范圍分布較均勻的圖像，這種量化方法可以得到較小的量化誤差。1.3.1圖像信號(hào)的數(shù)字化一幅圖像在采樣時(shí)，行、列的采樣點(diǎn)與量化時(shí)每個(gè)像素量化的級(jí)數(shù)，既影響數(shù)字圖像的質(zhì)量，也影響到該數(shù)字圖像數(shù)據(jù)量的大小。假定圖像取M×N個(gè)采樣點(diǎn)，每個(gè)像素量化后的灰度二進(jìn)制位數(shù)為Q，一般Q總是取為2的整數(shù)冪，即Q=2k,則存儲(chǔ)一幅數(shù)字圖像所需的字節(jié)數(shù)B為4.采樣與量化精度對(duì)圖像質(zhì)量的影響

1.3.1圖像信號(hào)的數(shù)字化對(duì)一幅圖像，當(dāng)量化級(jí)數(shù)Q一定時(shí)，采樣點(diǎn)數(shù)M×N對(duì)圖像質(zhì)量有著顯著的影響。采樣點(diǎn)數(shù)越多，圖像質(zhì)量越好；當(dāng)采樣點(diǎn)數(shù)減少時(shí)，圖上的塊狀效應(yīng)就逐漸明顯。(a)256×256(b)128×128(c)32×32(d)16×16

采樣點(diǎn)數(shù)與圖像質(zhì)量之間的關(guān)系1.3.1圖像信號(hào)的數(shù)字化當(dāng)圖像的采樣點(diǎn)數(shù)一定時(shí)，采用不同量化級(jí)數(shù)的圖像質(zhì)量也不一樣。量化級(jí)數(shù)越多，所得圖像層次越豐富，圖像質(zhì)量越好，但數(shù)據(jù)量大；量化級(jí)數(shù)越少，圖像層次欠豐富，圖像質(zhì)量越差，會(huì)出現(xiàn)假輪廓現(xiàn)象，但數(shù)據(jù)量小。量化級(jí)數(shù)最小的極端情況就是二值圖像（即非黑即白，灰度級(jí)沒(méi)有中間過(guò)渡的圖像）。1.3.1圖像信號(hào)的數(shù)字化

從數(shù)字圖像的獲取過(guò)程可以知道，一幅采樣圖像由M（行）、N（列）個(gè)采樣點(diǎn)組成，每個(gè)采樣點(diǎn)（像素）是組成圖像的基本單位。黑白圖像的像素只有1個(gè)亮度值，彩色圖像的像素是矢量，它由多個(gè)彩色分量組成，一般有3個(gè)分量：R（紅）、G（綠）、B（藍(lán)），因此，采樣圖像在計(jì)算機(jī)中的表示方法是：?jiǎn)紊珗D像用一個(gè)矩陣來(lái)表示；彩色圖像用一組（一般是3個(gè)）矩陣來(lái)表示，矩陣的行數(shù)稱(chēng)為圖像的垂直分辨率，列數(shù)稱(chēng)為圖像的水平分辨率，矩陣中的元素是像素顏色分量的亮度值，使用整數(shù)表示。1.3.1圖像信號(hào)的數(shù)字化

一幅M×N的數(shù)字圖像可用矩陣表示為

數(shù)字圖像中的每個(gè)像素都對(duì)應(yīng)于矩陣中相應(yīng)的元素。把數(shù)字圖像表示成矩陣的優(yōu)點(diǎn)在于，能應(yīng)用矩陣?yán)碚搶?duì)圖像進(jìn)行分析處理。數(shù)字圖像的表示1.3.1圖像信號(hào)的數(shù)字化

(a)256級(jí)灰度圖象(b)子圖(c)子圖對(duì)應(yīng)的量化數(shù)據(jù)

數(shù)字圖像實(shí)例1.3.1圖像信號(hào)的數(shù)字化1.3.2三基色原理三種基色必須是相互獨(dú)立的，即任一種基色都不能由其他兩種基色混合得到。自然界中絕大多數(shù)的彩色可以分解為三基色，三基色按一定比例混合，可得到自然界中絕大多數(shù)彩色?；旌仙纳{(diào)和飽和度由三基色的混合比例決定，混合色的亮度等于三種基色亮度之和。1.RGB顏色空間模型在RGB模型中，顏色空間里所有的顏色都是由R、G、B

(紅、綠、藍(lán))三種光依不同的比例相加而成。RGB的每一色光，含有亮度成分，例如R的成分越多，表示越紅越亮。各色光混合后，會(huì)比原來(lái)單獨(dú)的色光還亮，稱(chēng)為相加混色；適合在以主動(dòng)光源顯示影像的場(chǎng)合使用，如電視、電腦、投影等。1.3.3典型的顏色空間模型及轉(zhuǎn)換綠(0,1,0)青(0,1,1)黃(1,1,0)黑(0,0,0)藍(lán)(0,0,1)品紅(1,0,1)白(1,1,1)紅(1,0,0)1.3.3典型的顏色空間模型及轉(zhuǎn)換相加混色RGB顏色000黑001藍(lán)010綠011青100紅101品紅110黃111白2.CMY/CMYK顏色空間模型在彩色印刷、彩色膠片和繪畫(huà)中的混色采用相減混色。彩色印刷或彩色打印的紙張是不能發(fā)射光線的，因而印刷機(jī)或彩色打印機(jī)就只能使用一些能夠吸收特定的光波而反射其他光波的油墨或顏料。任何一種由顏料呈現(xiàn)的顏色都可以用青（Cyan）、品紅（Magenta）和黃（Yellow）這三種基色按不同的比例混合而成，我們稱(chēng)這種顏色空間為CMY顏色空間。由于彩色墨水和顏料的化學(xué)特性，用等量的CMY三基色得到的黑色不是真正的黑色，因此在印刷術(shù)中常加一種真正的黑色墨水（BlackInk）