第9章多媒體技術

新編大學計算機基礎教程（第三版）普通高等教育“十一五”國家級規(guī)劃教材教育部大學計算機課程改革立項規(guī)劃教材高等院校新課程體系計算機基礎教育規(guī)劃教材第九章計算機多媒體技術3本章節(jié)目錄9.1多媒體技術概述9.2多媒體系統(tǒng)9.3圖形圖像處理技術9.4音頻處理技術9.5視頻動畫處理技術9.6多媒體應用系統(tǒng)案例49.1.1多媒體技術概述返回目錄返回章節(jié)1.基本概念媒體（media，medium）：媒體在計算機領域有兩種含義，一是指媒質，即存儲信息的實體，如閃盤、云盤、激光存儲等；二是指傳遞信息的載體，如文本、聲音、圖形、圖像、視頻、動畫等。多媒體（Multimedia）：可以理解為多種信息載體的表現(xiàn)形式和傳遞方式。多媒體技術是通過計算機對文字、圖像、圖形、動畫、音頻、視頻等多種信息進行綜合處理、建立邏輯關系，使用戶通過多種感官與計算機進行實時信息交互的技術。59.1.1多媒體技術概述媒體類型用途表現(xiàn)形式表現(xiàn)介質感覺媒體用于人類感知客觀環(huán)境聽覺、視覺、觸覺文字、圖形、圖像、動畫、語言、聲音、音樂等表示媒體用于定義信息的表達特征計算機處理信息格式ASCII編碼、圖像編碼、聲音編碼、視頻編碼等顯示媒體用于表達信息輸入、輸出信息鍵盤、鼠標、話筒、掃描儀、屏幕、打印機等存儲媒體用于存儲信息保存、取出信息硬盤、光盤、閃盤、光存儲等傳輸媒體用于連續(xù)數(shù)據(jù)信息的傳輸信息傳輸?shù)木W(wǎng)絡介質電纜、光纜、微波、紅外線等2.媒體類型63．多媒體技術主要處理對象（1）文本（2）圖形（3）圖像（4）動畫（5）音頻信息（6）視頻信息9.1.1多媒體技術概述79.1.2多媒體技術特點數(shù)字化多媒體系統(tǒng)中的各種媒體信息都以數(shù)字形式存儲在計算機中。各種媒體信息處理為數(shù)字信息后，計算機就能對數(shù)字化的多媒體信息進行存儲、加工、控制、編輯、交換、査詢和檢索。89.1.2多媒體技術特點多樣性—適應了信息載體的多樣性信息載體的多樣性是相對于計算機而言的，指的就是信息媒體的多樣化，有人稱之為信息多維化。65%20%10%2%3%視覺味覺嗅覺觸覺聽覺99.1.2多媒體技術特點交互性—易于人和計算機的交互10集成性：實現(xiàn)了信息處理的集成性多媒體信息媒體的集成處理這些媒體的設備與設施的集成1+1〉29.1.2多媒體技術特點11實時性在計算機多媒體系統(tǒng)中聲音及活動的視頻圖像是實時的、同步的。計算機必須提供對這類媒體的實時同步處理能力。9.1.2多媒體技術特點9.1.3多媒體技術的發(fā)展12多媒體技術發(fā)展的第一個階段多媒體熱潮的興起DVI，HyperCard……九十年代一批產品出現(xiàn)MPEG(VCD)，MPC，VOD連續(xù)召開多媒體國際學術研討會MM’93，MM’94，MM’95“叫好不叫座”94年開始進入低潮期139.1.3多媒體技術的發(fā)展多媒體技術發(fā)展的第二個階段一批設備普及CD-ROM，SB……一批產品出現(xiàn)VCD，VR，會議系統(tǒng)一批產業(yè)出現(xiàn)美國舊金山附近的“MultimediaGorge”向新加坡、臺灣等地輻射產業(yè)化前景極好用途范圍極為廣泛14計算機大眾傳播通信多媒體信息系統(tǒng)多媒體技術發(fā)展的第三個階段20世紀90年代至今，是計算機多媒體技術飛速發(fā)展的階段。目前，多媒體技術正向多重業(yè)務融合、網(wǎng)絡化、多媒體終端應用設施部件化、智能化和嵌入化方向發(fā)展。9.1.3多媒體技術的發(fā)展教育領域是應用多媒體技術最早的領域，也是進展最快的領域。過程模擬和智能模擬是近年來多媒體技術被大量應用的新科技領域。多媒體技術還被廣泛應用在咨詢服務、通信、軍事、金融等諸多行業(yè)，例如GIS、電子簽章、智能家電、車載導航器、多媒體遠程監(jiān)控等。159.1.4多媒體技術的應用169.2多媒體系統(tǒng)9.2.1多媒體系統(tǒng)組成9.2.2多媒體硬件系統(tǒng)9.2.3多媒體軟件系統(tǒng)9.2.1多媒體系統(tǒng)組成多媒體系統(tǒng)由多媒體硬件系統(tǒng)和多媒體軟件系統(tǒng)兩部分組成。其中硬件系統(tǒng)包括計算機主要配置和各種外部設備，以及與各種外部設備的控制接口卡（其中包括多媒體實時壓縮和解壓縮電路）；軟件系統(tǒng)包括多媒體驅動軟件、多媒體操作系統(tǒng)、多媒體數(shù)據(jù)處理軟件、多媒體制作工具軟件和多媒體應用軟件。17189.1.2多媒體硬件系統(tǒng)1．MPC硬件組成MPC硬件系統(tǒng)除了需要較高配置的計算機主機硬件以外，通常還需要音頻與視頻處理設備、光盤驅動器、各種媒體輸入與輸出設備等。199.1.3多媒體軟件系統(tǒng)1．多媒體驅動軟件多媒體驅動軟件是多媒體計算機中直接和硬件打交道的程序。它完成設備的初始化，完成各種設備操作以及設備的關閉等。2．多媒體操作系統(tǒng)典型的多媒體操作系統(tǒng)有Intel和IBM公司為DVI系統(tǒng)開發(fā)的AVSS和AVK操作系統(tǒng)，Apple公司在Macintosh上的System7.0中提供的QuickTime操作平臺。目前，MPC常用的操作系統(tǒng)有Microsoft公司的Windows7/8操作系統(tǒng)及IP多媒體操作系統(tǒng)（IMOS）。3．多媒體數(shù)據(jù)處理軟件常見的音頻處理軟件有GoldWave、SoundEdit等；圖形圖像處理軟件有Photoshop、CoreDraw等；動畫編輯軟件有Flash、3dsMax、Maya等。返回目錄返回章節(jié)20返回目錄返回章節(jié)4．多媒體制作工具多媒體制作工具是在多媒體操作系統(tǒng)之上開發(fā)的幫助用戶制作多媒體應用軟件的工具。其中比較常用的是Flash和Director等。5．多媒體應用軟件多媒體應用軟件是利用多媒體制作工具或計算機語言設計的多媒體產品，直接面向用戶。例如，可視電話系統(tǒng)、視頻點播技術（VideoOnDemand，VOD）和交互電視系統(tǒng)、GIS與數(shù)字地球等。9.1.3多媒體軟件系統(tǒng)219.3圖形圖像處理技術9.3.1圖形圖像基本知識9.3.2圖像數(shù)據(jù)壓縮技術9.3.3常見圖形圖像文件格式9.3.4常用圖形圖像處理工具22返回目錄返回章節(jié)9.3.1圖形圖像基本知識位圖圖像像素像素是位圖圖像的基本構成元素。在位圖中，當每一個小“方塊”中被填充了顏色時，它就能表達出圖像信息，其中每一個小“方塊”稱為像素。顏色深度

在一個彩色圖像中，每一個像素的顏色，在計算機里是用若干個二進制“位”來記錄的。在一個計算機系統(tǒng)中，表示一幅圖像的一個像素的顏色所使用的二進制位數(shù)就稱做顏色深度。二值圖像彩色圖像與灰度圖像23返回目錄返回章節(jié)圖形與圖象的關系圖形是矢量概念，圖元；圖象是位圖概念，象素；圖形顯示圖元順序；圖象顯示象素順序；圖形變換無失真；圖象變換有失真；圖形以圖元為單位修改屬性、編輯；圖象只能對象素或圖塊處理；圖形是對圖象的抽象，但在屏幕上兩者無異9.3.1圖形圖像基本知識24返回目錄返回章節(jié)9.3.1圖形圖像基本知識顏色基礎（1）色彩的表示①三基色相加混色原理R+G=黃色；R+B=品紅；G+B=青色；R+G+B=白色。②CMYK相減混色原理Y-M=R；C-M=B；Y-C=G；Y-C-M=K。③真彩色、偽彩色、調配色在RGB色彩空間中，圖像深度與色彩的映像關系，可以有真彩色、偽彩色、調配色三種。25返回目錄返回章節(jié)9.3.1圖形圖像基本知識分辨率

圖像分辨率是組成一幅圖像的像素密度的度量方法。圖像分辨率的單位是dpi（displaypixels/inch），它確定了組成一幅圖像的像素密度。顏色分辨率屏幕分辨率顯示分辨率打印機分辨率26圖像數(shù)據(jù)容量在生成一幅數(shù)字圖像時，實際上就是按一定的像素數(shù)量和圖像深度對模擬圖片或照片進行采樣，從而生成一幅數(shù)字化的圖像。圖像數(shù)據(jù)大小可用下面的公式來計算：圖像數(shù)據(jù)量=圖像的總像素×圖像深度/8（Byte）例如，一幅分辨率為640×480的真彩色圖像，其文件大小約為：640×480×24/8=1M（Bytes）可見，圖像數(shù)據(jù)所占用的存儲空間較大，因此，在處理圖形圖像時，更應考慮好圖像容量與效果的關系。返回目錄返回章節(jié)9.3.1圖形圖像基本知識27返回目錄返回章節(jié)9.3.2圖像數(shù)據(jù)壓縮技術壓縮的必要性

音頻、視頻的數(shù)據(jù)量很大，如果不進行處理，計算機系統(tǒng)幾乎無法對它進行存取和交換。例如，一幅具有中等分辨率（640×480）的真彩色圖像（24b/像素），它的數(shù)據(jù)量約為7.37Mb/幀，一個100MB（Byte）的硬盤只能存放約100幀圖像。信息論認為：若信源編碼的熵大于信源的實際熵，該信源中一定存在冗余度。原始信源的數(shù)據(jù)存在著很多冗余度：空間冗余、時間冗余、視覺冗余、聽覺冗余等。288.2.3設置形狀屬性返回目錄返回章節(jié)評價壓縮系統(tǒng)的參數(shù)：壓縮比圖象質量壓縮和解壓的速度另外也必須考慮每個壓縮算法所需的硬件和軟件。

目前，靜態(tài)圖像數(shù)據(jù)壓縮技術主要有JPEG、JPEG-2000標準和JPEG-LS標準等。29返回目錄返回章節(jié)9.3.3常見圖形圖像文件格式開發(fā)圖形圖像處理軟件的廠商很多，由于在存儲方式、存儲技術及發(fā)展觀點上的差異，導致了圖形圖像文件格式的多樣化。常見的圖形圖像文件格式主要有以下幾種。1．BMP格式2．JPG格式3．GIF格式4．TIFF格式5．TGA格式6．PNG格式30返回目錄返回章節(jié)9.3.4常用圖形圖像處理工具【例9-1】設計制作如圖所示的月餅盒外包裝。【問題分析】（1）制作工具：PhotoshopCS5軟件，相應圖片素材。（2）制作思路：設計一個完整的月餅盒外包裝，包括圖片的布局及具體表現(xiàn)方法。（3）使用的操作命令：圖層、圖像色彩調整、文字、橢圓工具、繪制自定義圖形及路徑工具的使用。31返回目錄返回章節(jié)【操作步驟】（1）新建畫布。單擊“文件”菜單，選擇“新建”命令，在“新建”對話框中設置文件名為“包裝盒”，尺寸為“155mm×208mm”；分辨率為“120像素/英寸”；（2）設置參考線。按【Ctrl+R】快捷鍵在畫布上打開標尺，設置標尺單位為“mm”；拖動標尺設置參考線，尺寸為：寬度155mm=正面寬121mm+左右側面各14mm+左右出血各3mm、高度208mm=正面高174mm+上下高各14mm+上下出血各3mm。（3）設置漸變色。單擊圖層面板中的【創(chuàng)建新的填充或調整圖層】按鈕，選擇“漸變”命令，打開“漸變填充”對話框，選擇“線性”、“反向”命令；單擊漸變編輯欄，打開“漸變編輯器”對話框，單擊色塊標尺，在打開的“拾色器”對話框中設置4種顏色，從左至右顏色值為：2f0809、4e1607、c25200、ffC000，此時，該圖層名自動命名為“漸變1”。9.3.4常用圖形圖像處理工具32返回目錄返回章節(jié)9.3.4常用圖形圖像處理工具（4）導入圖片。單擊“文件”菜單，選擇“打開”命令，在“打開”對話框中將人物圖片導入到新建圖層0中，用復制粘貼命令將圖片插入到“漸變1”圖層；按【Ctrl+T】快捷鍵調整圖片尺寸直至與畫布吻合，得到圖層1。（5）設置顏色效果。單擊圖層面板中“設置混合模式”下拉列表，選擇“柔光”命令，單擊【創(chuàng)建新的填充或調整圖層】按鈕，選擇“黑白”命令；在調整面板的“黑白”下拉列表中選擇“藍色濾鏡”，得到“黑白1”圖層。按【Ctrl+Alt+G】快捷鍵創(chuàng)建剪貼蒙板，在顏色面板，將圖像處理成為單色（k值為“100%”）。（6）繪制漸變。在工具欄中選擇【橢圓工具】命令，按【Shift】鍵畫一個正圓，設置該層混合模式為“疊加”。單擊【添加蒙版】按鈕，在工具欄的“漸變編輯器”選擇“線性漸變”，漸變色為“黑”、“白”，在橢圓中從上方至右下方繪制漸變。33返回目錄返回章節(jié)9.3.4常用圖形圖像處理工具（7）創(chuàng)建圖層樣式。單擊圖層面板中的【圖層樣式】按鈕，打開“圖層樣式”對話框，勾選“外發(fā)光”復選框，設置值為“45”，單擊【確定】按鈕；選中已完成圖層，按住【Ctrl+Alt】快捷鍵，將鼠標左鍵向空白區(qū)拖動，快速復制該層。用同樣的方法復制第2個圖層，將該層的模式設置為“正常”、不透明度值為“80%”。34返回目錄返回章節(jié)9.3.4常用圖形圖像處理工具（8）導入云彩圖片，并設置填充值為“0%”，雙擊圖層，勾選“描邊”復選框，設置值為“255、255、255”，顏色值為“白色”。使用復制、粘貼命令得到第二個云彩圖片，將圖片移動到合適位置。用同樣的方法導入花圖片，并設置圖片參數(shù)為“強光”、模糊半徑為“5”。（9）導入文字圖片，右擊選擇“柵格化圖層”命令，設置文字效果為“漸變（對稱）”。35返回目錄返回章節(jié)9.3.4常用圖形圖像處理工具（10）導入背景圖片，選擇工具欄中【移動】按鈕，將圖片整合。用【矩形選項】按鈕創(chuàng)建選區(qū)，并在右鍵菜單中選擇“斜切”、“縮放”命令。單擊【Ctrl+D】快捷鍵刪掉選區(qū)，使用【鋼筆工具】按鈕繪制盒蓋。（11）選擇路徑面板，單擊【路徑轉換成選區(qū)】按鈕，用【Alt+Del】快捷鍵填充前景色。選擇一個盒用【Ctrl+T】快捷鍵將其旋轉30°。使用復制、粘貼命令制作出另一個盒蓋。369.4音頻處理技術9.4.1音頻基本知識9.4.2音頻數(shù)據(jù)壓縮技術9.4.3常見音頻文件格式9.4.4常用音頻處理工具37返回目錄返回章節(jié)9.4.1音頻基本知識音頻（1）波形聲音波形聲音包含了所有的聲音格式，任何聲音信號。（2）語音人的聲音不僅是一種波形，而且還有內在的語言、語言學的內涵，可以利用特殊的方式進行抽取，通常將語音作為一種媒體。（3）音樂音樂是符號化的聲音。聲音具有音調、音強、音色三要素。38返回目錄返回章節(jié)9.4.1音頻基本知識數(shù)字音頻采樣采樣是把時間上連續(xù)的信號，通過抽取樣本，變成在時間上不連續(xù)的信號序列，即將模擬信號轉變成數(shù)字信號。39采樣率應用8kHz電話22.050kHz無線電廣播32kHzminiDV數(shù)碼視頻

camcorder44.1kHz音頻

CD，也常用于

MPEG-1

音頻（VCD，SVCD，MP3）47.25kHzNipponColumbia（Denon）開發(fā)的世界上第一個商用

PCM

錄音機48kHzminiDV、數(shù)字電視、DVD、DAT、電影和專業(yè)音頻所用的數(shù)字聲音50kHz3M和

Soundstream開發(fā)的第一款商用數(shù)字錄音機50.4kHz三菱

X-80數(shù)字錄音機96kHz或192kHzDVD-Audio、一些

LPCMDVD

音軌、BD-ROM（藍光盤）音軌、和

HD-DVD

（高清晰度

DVD）音軌2.8224MHz超級音頻光盤系統(tǒng)（SACD）數(shù)字音頻領域采用的采樣率9.4.1音頻基本知識40量化采樣得到的數(shù)據(jù)只是一些離散的值，這些離散的值應該能用計算機中的若干二進制位來表示，這一過程成為量化。連續(xù)信號經(jīng)過采樣成為離散信號，離散信號經(jīng)過量化成為數(shù)字信號。數(shù)字化聲音的數(shù)據(jù)量是由采樣頻率、量化精度、聲道數(shù)和聲音持續(xù)時間所決定的，它們與聲音的數(shù)據(jù)量成比例關系。數(shù)據(jù)量計算方式為：數(shù)據(jù)量（Byte）=（采樣頻率×量化精度×聲道數(shù)×聲音持續(xù)時間）/8例如，一個CD格式聲音文件，假設它的采樣頻率為44.1kHZ，量化精度為16bit，立體聲，那么該文件每秒鐘播放的數(shù)據(jù)量為：(44.1kHz×16bit×2×1s)/8=0.176Mbps9.4.1音頻基本知識41（1）音樂的符號化－MIDIMIDI(MusicInstrumentDigitalInterface)是指樂器數(shù)字接口的國際標準。MIDI消息，是指樂譜的數(shù)字描述。任何電子樂器，只要有處理MIDI消息的微處理器和合適的硬件接口，就構成了一個MIDI設備。當一組MIDI消息通過音樂合成芯片處理時，合成器能解釋這些符號并且產生音樂。MIDI的關鍵是作為媒體能夠記錄這些音樂的符號，相應的設備能夠產生和解釋這些符號。它給出了一種得到音樂聲音的方法。9.4.1音頻基本知識429.4.2音頻數(shù)據(jù)壓縮技術音頻頻率范圍

低頻聲音(Infra-sound)：0Hz－20Hz人類聽覺頻率范圍的聲音：20Hz－20kHz

高頻(Ultrasound)：20kHz－1GHz超聲波(Hypersound)：1GHz－10THz不同音頻的帶寬

電話語音：

200Hz－3.4kHz調幅廣播：50Hz－7kHz

調頻廣播：20Hz－15kHz

寬帶音響:20Hz－20kHz43無失真壓縮音頻壓縮方法有失真壓縮Huffman編碼行程編碼波形編碼參數(shù)編碼混合編碼全頻帶編碼PCMDPCMADPCM子帶編碼自適應變換編碼ATC心理學模型矢量量化線性預測LPC矢量和激勵線性預測VSELP多脈沖線性預測MP-LPC碼本激勵線性預測CELP9.4.2音頻數(shù)據(jù)壓縮技術44（1）電話（200hz-3.4khz)語音壓縮標準主要有ITU的G.722(64kb/s)、G721(32kb/s)、G.728(16kb/s)和G.729(8kb/s)等建議，用于數(shù)字電話通信。（2）調幅廣播（50hz-7khz)語音壓縮標準主要采用ITU的G.722(64kb/s)建議，用于優(yōu)質語音、音樂、音頻會議和視頻會議等。（3）調頻廣播（20hz-15khz)及CD音質(20hz-20khz)的寬帶音頻壓縮標準主要采用MPEG-1或MPEG-2雙杜比AC-3等建議，用于CD、MD、MPC、VCD、DVD、HDTV和電影配音等。9.4.2音頻數(shù)據(jù)壓縮技術459.4.3常見音頻文件格式在多媒體聲音處理技術中，最常見的音頻存儲格式有WAVE波形文件、MIDI音樂數(shù)字文件和目前流行的MP3、MP4音樂文件等。1．WAVE波形文件2．MIDI音樂數(shù)字文件3．MP3文件4．MP4文件5．RA文件6．WMA文件469.4.4常用音頻處理工具菜單欄工具欄控制菜單音頻文件GoldWave窗口47【例9-2】使用GoldWave軟件錄制配樂詩朗誦：毛澤東《沁園春?雪》?！締栴}分析】（1）所需設備：麥克風，GoldWave軟件，背景音樂，《沁園春?雪》詩詞。（2）所需音質：采用“調頻收音機/電視”音質，錄音時需進行降噪處理。（3）所需處理命令：錄音，混音，降噪，淡入淡出。（4）所需時長：5分鐘?！静僮鞑襟E】（1）運行GoldWave，單擊“File”菜單，選擇“New”命令，打開“NewSound”窗口，如圖所示。9.4.4常用音頻處理工具（2）輸入所需音質和時長數(shù)據(jù)，單擊【OK】按鈕開始錄音。（3）錄音結束后，單擊“File”菜單，選擇“SaveAs”命令，保存文件。（4）打開錄制的文件和背景音樂文件。復制背景音樂波形段，選擇錄制文件波段中的起始位置作為合成的起點位置。單擊“Edit”菜單，選擇“Mix”命令，打開“Mix”對話框，輸入混音的起始時間點，調節(jié)兩個文件的音量大小，單擊【OK】按鈕完成合成操作并命名為“詩朗誦”。（5）選中錄音文件，單擊“Edit”菜單，選擇“SelectAll”命令。單擊工具欄上按鈕，進行降噪處理。（6）打開“詩朗誦”文件，選擇需要設置的波形段，單擊工具欄上按鈕，完成淡入效果設置。淡出效果的設置需要單擊工具欄上按鈕，方法相同。489.4.4常用音頻處理工具499.5視頻動畫處理技術

9.5.1視頻9.5.2動畫9.5.3視頻與動畫文件格式9.5.4常用視頻與動畫處理工具509.5.1視頻1．視頻圖像視頻是由文本、圖像、聲音、動畫中的一種或多種組合而成。通常將連續(xù)地隨著時間變化的一組圖像稱為視頻圖像，其中每一幅圖像稱為一幀（Frame）。視頻用于電影時，采用24幀/S的播放速率；用于電視時，采用23幀/S的播放速率（PAL制）。2．數(shù)字視頻處理技術數(shù)字視頻處理的基本技術就是通過“模擬/數(shù)字（A/D）”信號的轉換，方便視頻信息的存儲和傳輸，有利于計算機進行分析處理。3．視頻數(shù)據(jù)壓縮技術（1）視頻壓縮原理視頻圖像編碼方法的基本思想是：第一幀和關鍵幀，采用幀內編碼方法進行壓縮，而后續(xù)幀的編碼根據(jù)相鄰幀之間的相關性，只傳輸相鄰幀之間的變化信息（幀差），幀差的傳送是采用運動估計和補償?shù)姆椒ㄟM行編碼。如果視頻圖像只傳輸?shù)谝粠完P鍵幀的完整幀，而其他幀只傳輸幀差信息，就可以得到較高的壓縮比。51（2）視頻壓縮標準由ISO和ITU-T制定的視頻壓縮編碼標準有H.261、H.263、H.264、MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21等。H.26x主要用于視頻通信應用中MPEG-X主要用于視頻存儲播放應用中。例如，VCD中的視頻壓縮標準為MPEG-1；DVD中的視頻壓縮標準為