多媒體技術(shù)的形成以及未來發(fā)展

1、多媒體技術(shù)的形成以及未來發(fā)展一、什么是多媒體？（理解） 文本、聲音、圖形、圖象和動(dòng)畫等是信息的載體，其中兩個(gè)或多于兩個(gè)的組合構(gòu)成了多媒體。 多媒體技術(shù)內(nèi)容：（理解） 多媒體技術(shù)：運(yùn)用計(jì)算機(jī)綜合處理多媒體信息（文本、聲音、圖形、圖像等）的技術(shù)，包括將多種信息建立邏輯連接，進(jìn)而集成一個(gè)具有交互性的系統(tǒng)等等。二、多媒體技術(shù)的特性（了解） （1）集成性 （2）實(shí)時(shí)性 （3）交互性 （4）高質(zhì)量三、促進(jìn)多媒體技術(shù)發(fā)展的關(guān)鍵技術(shù)（了解） 1、CD-ROM 2、高速計(jì)算機(jī)網(wǎng)絡(luò) 3、高速位處理技術(shù)、專用集成電路技術(shù)和亞微米集成電路技術(shù) 4、多媒體壓縮技術(shù)、人機(jī)交互技術(shù)和分布式技術(shù)二、多媒體技術(shù)的發(fā)展過程及應(yīng)用

2、（了解） 1、啟蒙發(fā)展階段 2、初期應(yīng)用和標(biāo)準(zhǔn)化階段 在我國，多媒體技術(shù)和應(yīng)用的發(fā)展始于20世紀(jì)80年代。1.2 多媒體技術(shù)的分類（了解）按功能和應(yīng)用分類： 1、基于功能的分類 （1）開發(fā)系統(tǒng) （2）演示系統(tǒng) （3）培訓(xùn)系統(tǒng) （4）家庭系統(tǒng)2、基于應(yīng)用的分類： （1）多媒體信息咨詢系統(tǒng) （2）多媒體管理系統(tǒng) （3）多媒體輔助教育系統(tǒng) （4）多媒體通信系統(tǒng) （5）多媒體娛樂系統(tǒng)1.3 多媒體系統(tǒng)的組成（理解） 1、計(jì)算機(jī)硬件 2、多媒體計(jì)算機(jī)所配置的硬件 3、多媒體I/O控制及接口 4、多媒體的核心系統(tǒng) 5、創(chuàng)作系統(tǒng) 6、應(yīng)用系統(tǒng)1.4 多媒體網(wǎng)絡(luò)應(yīng)用技術(shù)（了解）1、局域網(wǎng) 定義： 局域網(wǎng)LAN

3、（Local Area Network）能夠“把分散在一個(gè)建筑物或相鄰幾個(gè)建筑物中的計(jì)算機(jī)、終端、帶大容量存儲器的外圍設(shè)備、控制器、顯示器以及連接其他網(wǎng)絡(luò)而使用的網(wǎng)絡(luò)連接器等相互連接起來，以很高的速率（120Mbps）進(jìn)行通信”。功能（從應(yīng)用角度）：（1）設(shè)備共享（2）信息共享（3）可進(jìn)行高速數(shù)據(jù)通信，進(jìn)行多種媒體信息的通信（4）分布式處理（5）提高兼容性（6）安全性2、廣域網(wǎng)定義：WAN即Wide Area Network 是在較大地理范圍內(nèi)將計(jì)算機(jī)連接起來的計(jì)算機(jī)網(wǎng)絡(luò)。3、因特網(wǎng)（1）internet的發(fā)展（2）internet提供的服務(wù)方式 基本服務(wù)方式（電子郵件、文件傳輸、遠(yuǎn)程登錄）

4、擴(kuò)展服務(wù)方式第二章 多媒體信息的表示與壓縮2.1 文字一、西文（ASCII碼）二、漢字（數(shù)字編碼、拼音碼、字型編碼）2.2 音頻（Audio）定義：20HZ20KHZ的音頻范圍分類：波形聲音、語音、音樂聲音三要素：音調(diào)、音強(qiáng)、音色一、數(shù)字音頻音頻數(shù)字化：把模擬音頻信號轉(zhuǎn)換成有限個(gè)數(shù)字表示的離散序列。轉(zhuǎn)換過程：選擇采樣頻率，進(jìn)行采樣 選擇分辨率，進(jìn)行量化 形成聲音文件數(shù)字錄音文件大小的計(jì)算： S=RD （r/8） 1 S以字節(jié)為單位聲音文件的格式：WAV(waveform) au(audio)AIF (Audio Interchangeable ) snd(sound)為擴(kuò)展名的文件格式VOC、

5、MIDI、 SNO、RMI文件1、WAV文件 存儲容量大2、VOC文件3、MIDI文件 用于音樂，與WAV文件不同 二、樂器數(shù)字接口（MIDI）MIDI信息實(shí)際上是一段音樂的描述，只記錄產(chǎn)生某種聲音的指令，指令中包括了使用MIDI設(shè)備的音樂、音量和持續(xù)時(shí)間長短信息。是數(shù)字化的樂譜，由音符序列、定時(shí)及合成音色的樂器定義組成。三、數(shù)字化聲音和MIDI的比較MIDI信息實(shí)際上就是樂譜的數(shù)字表示。與波形聲音相比，MIDI數(shù)據(jù)不是聲音而是指令，因此它的數(shù)據(jù)量要比波形聲音少的多。對MIDI的編輯很靈活，可以自由地改變曲調(diào)、音色等屬性，波形聲音就很難做到這點(diǎn)。波形聲音與設(shè)備有關(guān)，MIDI數(shù)據(jù)與設(shè)備有關(guān)，即M

6、IDI音樂文件所產(chǎn)生的聲音與用來回放的特定的設(shè)備有關(guān)。數(shù)字化聲音最重要的優(yōu)點(diǎn)就是重放質(zhì)量的一致性、可靠性比較好，可自始至終保證質(zhì)量。2.3 視覺媒體計(jì)算機(jī)的圖形、圖像均為視覺媒體表示方式：位圖表示、矢量表示、曲線表示（動(dòng)態(tài)圖像）、符號表示一、圖形、圖像文件格式 DIB、BMP、PCX、TIFF等二、位圖又稱點(diǎn)陣圖，是一種寫實(shí)的手法。 能夠忠實(shí)地記錄圖像中每一個(gè)象素的顏色和位置 三、矢量圖四、矢量圖與位圖的比較1、概念上：矢量圖（圖形）一般指計(jì)算機(jī)繪制的畫面，如直線、圓、圓弧、任意曲線和圖表等圖像是指由輸入設(shè)備捕捉的實(shí)際場景畫面或以數(shù)字化形式存儲的任意畫面。 2、存儲容量大小 圖像是由一些排成行

7、列的像素組成的，在計(jì)算機(jī)中的存儲格式有BMP、TIF、GIFD等。一般數(shù)據(jù)量比較大。除了可以表達(dá)真實(shí)的相片，也可以表現(xiàn)復(fù)雜繪畫的某些細(xì)節(jié)，具有靈活和富于創(chuàng)造力等特點(diǎn)。在打印輸出和放大時(shí)，容易發(fā)生失真。 圖形也稱矢量圖文件中只記錄生成圖的算法和圖上的某些特征點(diǎn)，容易進(jìn)行移動(dòng)、縮放、旋轉(zhuǎn)和扭曲等變換，主要用于表示線框型的圖畫、工程制圖、美術(shù)字等。常用的矢量圖文件有3DS（用于3D造型）、DXF（用于CAD）、WMF（用于桌面出版）等。圖形只保存算法和特征點(diǎn)，相對于位圖的大數(shù)據(jù)量來說，它占用的存儲空間也比較小。但是顯示速度沒有圖像快，打印輸出和放大時(shí)，質(zhì)量較高不會發(fā)生很大失真。五、監(jiān)視器與顏色監(jiān)視器

8、的分辨率分類： 屏幕分辨率 圖像分辨率 像素分辨率2.4 動(dòng)畫（animation）定義：指運(yùn)動(dòng)的畫面。利用快速變換幀的內(nèi)容達(dá)到運(yùn)動(dòng)的效果。制作工具：animation、Flash、 3D max等視覺暫留 計(jì)算機(jī)動(dòng)畫設(shè)計(jì)主要是為了能夠生成和處理一連串的靜態(tài)畫面，并通過高速放映來欺騙人的眼睛，使人們相信屏幕上的畫面是動(dòng)態(tài)的。計(jì)算機(jī)實(shí)現(xiàn)動(dòng)畫的兩種方法造型動(dòng)畫：對每一個(gè)活動(dòng)的對象分 別進(jìn)行設(shè)計(jì)，并構(gòu)造每一 對象的特征，然后用這些 對象組成完整的畫面，進(jìn) 行實(shí)時(shí)轉(zhuǎn)換，形成動(dòng)畫。幀動(dòng)畫是由一幅幅連續(xù)的畫面組成的畫像或圖形序列動(dòng)畫和視頻是連續(xù)漸變的靜態(tài)圖像或圖形序列，沿時(shí)間軸順次更換顯示，從而構(gòu)成運(yùn)動(dòng)視

9、覺的媒體。動(dòng)畫：序列中每幀圖像是人工或計(jì)算機(jī)產(chǎn)生的圖像。視頻：序列中每幀圖像是通過實(shí)時(shí)攝取自然景象或活動(dòng)對象。動(dòng)畫技術(shù)參數(shù) 幀速度 數(shù)據(jù)量 圖象質(zhì)量2.5 超文本和超媒體定義： 超文本：由信息結(jié)點(diǎn)和表示結(jié)點(diǎn)間相關(guān)性的鏈構(gòu)成的一個(gè)具有一定邏輯結(jié)構(gòu)和語義的網(wǎng)絡(luò)。 超媒體：多媒體超文本超文本主要成分： 結(jié)點(diǎn)和表示結(jié)點(diǎn)間關(guān)系的鏈超文本系統(tǒng)的三層模型： 數(shù)據(jù)庫層 超文本抽象機(jī)層 用戶接口層2.6 數(shù)據(jù)壓縮多媒體冗余信息： 空域相關(guān) 時(shí)域相關(guān) 視覺掩蓋效應(yīng)數(shù)字壓縮技術(shù)三個(gè)重要指標(biāo)1、信息存儲量之比 大2、壓縮的算法 簡單3、恢復(fù)效果 好基本原理壓縮編碼： 冗余壓縮法（無損壓縮法或熵編碼） 有損壓縮法（熵壓

10、縮法）（一）變長編碼 1、Huffman編碼 定義：對統(tǒng)計(jì)獨(dú)立信源達(dá)到最小平均碼長的編碼方法 ，具有惟一可譯性。 基本原理：按信源符號出現(xiàn)的概率大小進(jìn)行排序，出現(xiàn)概率大的分配短碼，出現(xiàn)概率小的則分配長碼。 編碼過程（1）將信源符號按概率遞減順序排列； （2）把兩個(gè)最小的概率加起來，作為新符號的概率； （3）重復(fù)（1）和（2），直到概率和達(dá)到1為止； （4）在每次合并消息時(shí)，將被合并的消息賦予1和0或0和1； （5）尋找從每一信源符號到概率為1的路徑，記錄下路徑上的1和0 （6）對每一符號寫出從碼樹的根到終結(jié)點(diǎn)1、0序列2、算術(shù)編碼 定義：是一種二元碼的編碼方法，在不考慮信源統(tǒng)計(jì)的情況下，只要監(jiān)

11、視一小段時(shí)間內(nèi)碼出現(xiàn)的頻率，不管統(tǒng)計(jì)是平穩(wěn)的或非平穩(wěn)的，編碼的碼率總能趨近于信源熵值，每次迭代時(shí)的編碼算法只處理一個(gè)數(shù)據(jù)符號，并且只有算術(shù)運(yùn)算。原理：也是一種統(tǒng)計(jì)編碼，每個(gè)符號對應(yīng)0到1上的一段子區(qū)間，區(qū)間長度為該符號出現(xiàn)的概率。該方法將被編碼的符號串（數(shù)值串）表示成實(shí)數(shù)0到1之間的一個(gè)區(qū)間。初始把它設(shè)為整個(gè)區(qū)間。當(dāng)出現(xiàn)一個(gè)新的待編碼符號，先把完整的0到1區(qū)間映射到上一次形成的區(qū)間，然后新區(qū)間取為0到1上的新符號對應(yīng)區(qū)間所映成的像。解碼時(shí)，根據(jù)區(qū)間的覆蓋性來逐一解出原符號串。預(yù)測編碼：根據(jù)某一數(shù)據(jù)模型利用以往的樣本值對新樣本值進(jìn)行預(yù)測，然后將樣本實(shí)際值與預(yù)測值的差值進(jìn)行編碼。如果模型足夠好，且

12、樣本序列的時(shí)間相關(guān)性較強(qiáng)，那么誤差信號的幅度將遠(yuǎn)小于原始信號，可以用較少的值對其差值量化，得到較好的壓縮效果。預(yù)測編碼常用的是差分脈沖編碼調(diào)制（DPCM）和自適應(yīng)的差分脈沖編碼調(diào)制（ADPCM）。 變換編碼：是將通常在空間域描寫的圖像信號，變換到另外一些正交矢量空間（即變換域）中進(jìn)行描寫，而且通過選擇合適的變換關(guān)系使變換域中描寫的各信號分量之間相關(guān)性很小或者互不相關(guān)，從而達(dá)到數(shù)據(jù)壓縮的目的。模型編碼：是指采用模型的方法對傳輸?shù)膱D像進(jìn)行參數(shù)估測。典型的有分形編碼。2.7 音頻信號的壓縮編碼一、音頻信號編碼基礎(chǔ)音頻冗余主要表現(xiàn)為： 時(shí)域冗余度 頻域冗余度音頻信號的編碼方式：（1）波形編碼，如PCM

13、、APC、ATC等（2）分析合成方法（參數(shù)編碼方法）如PLC（3）混合編碼方法2.8 視頻信號的壓縮編碼一、視頻信號的壓縮編碼分類無損壓縮：利用數(shù)據(jù)的統(tǒng)計(jì)特性來進(jìn)行數(shù)據(jù)壓縮，典型的編碼:Huffman編碼、算術(shù)編碼等。 不失真 壓縮比低有損壓縮：利用人的視覺特性使解壓縮后的圖像看起來與原始圖像一樣。 壓縮比高 如：預(yù)測編碼、變換編碼、模型編碼及混合編碼等。二、視頻信號壓縮編碼的標(biāo)準(zhǔn) JPEG靜止圖像壓縮算法 MPEG運(yùn)動(dòng)圖像壓縮算法視頻壓縮方式（補(bǔ)充）：Micosoft Video1:使用8位有損壓縮方法壓縮模擬視頻。它壓縮后的動(dòng)畫尺寸大，而且在進(jìn)行漸變色處理時(shí)會出現(xiàn)條紋。 INDEO :是專

14、門處理局部動(dòng)態(tài)影像和色彩、畫質(zhì)細(xì)膩的靜態(tài)圖像的壓縮編碼技術(shù)，壓縮比低，且需要較高速的CPU才能確保播放品質(zhì)。處理漸變色和火焰效果時(shí)會有嚴(yán)重的馬賽克。 Radius Cinepak:這種有損壓縮方法最初用于壓縮24位視頻，從而在CD-ROM驅(qū)動(dòng)器上播放，圖像質(zhì)量好，播放速度快，能壓縮成黑白動(dòng)畫。它的特點(diǎn)是壓縮后尺寸小，漸變色外理時(shí)不會出現(xiàn)條玟和馬賽克，壓縮后火焰效果也不會出現(xiàn)馬賽克。但如果使用貼圖背景，背景會比較粗糙。 Full Frames:在將動(dòng)畫信息以數(shù)據(jù)流形式存儲時(shí)，這種方法質(zhì)量高并得到普便使用。這種方法形成的AVI文件需要大量的硬盤空間，但可為動(dòng)畫提供高質(zhì)量的單個(gè)連續(xù)文件。因?yàn)樗m合于

15、很多機(jī)器類型并與桌面視頻應(yīng)用程序兼容，對交互式多媒體產(chǎn)品，是十分有效的。 JPEG和MPEG的差別 MPEG視頻壓縮技術(shù)是針對運(yùn)動(dòng)圖像的數(shù)據(jù)壓縮技術(shù)。為了提高壓縮比，幀內(nèi)圖像數(shù)據(jù)和幀間圖像數(shù)據(jù)壓縮技術(shù)必須同時(shí)使用。MPEG通過幀運(yùn)動(dòng)補(bǔ)償有效地壓縮了數(shù)據(jù)的比特?cái)?shù)，它采用了三種圖像，幀內(nèi)圖、預(yù)測圖和雙向預(yù)測圖。有效地減少了冗余信息。對于MPEG來說，幀間數(shù)據(jù)壓縮、運(yùn)動(dòng)補(bǔ)償和雙向預(yù)測，這是和JPEG主要不同的地方。而JPEG和MPEG相同的地方均采用了DCT幀內(nèi)圖像數(shù)據(jù)壓縮編碼。另外，MPEG中視頻信號包含有靜止畫面（幀內(nèi)圖）和運(yùn)動(dòng)信息（幀間預(yù)測圖）等不同的內(nèi)容，量化器的設(shè)計(jì)比JPEG壓縮算法中量化

16、器的設(shè)計(jì)考慮的因素要多。關(guān)于壓縮比衡量一個(gè)壓縮算法好壞的標(biāo)準(zhǔn)，除了解壓后的數(shù)據(jù)有無失真或失真程度之外，是看壓縮比的大小。壓縮比常用的定義有兩種：（1） 采樣壓縮比（2） 比特壓縮比 數(shù)字視頻的制式PAL制式NTSC制式影響數(shù)字視頻質(zhì)量的因素 （1）幀速 （2）分辨率（3）顏色數(shù) （4）壓縮比 （5）關(guān)鍵幀 三、多媒體制作一、多媒體應(yīng)用系統(tǒng)開發(fā)的一般步驟（1）確定開發(fā)對象（2）明確開發(fā)方法（3）準(zhǔn)備多媒體數(shù)據(jù)（4）集成一個(gè)多媒體系統(tǒng)二、多媒體數(shù)據(jù)制作概念 根據(jù)多媒體應(yīng)用系統(tǒng)的需要，制作數(shù)字音頻、數(shù)字圖像、動(dòng)畫等文件，完成應(yīng)用系統(tǒng)的多媒體數(shù)據(jù)準(zhǔn)備工作。3.1 數(shù)字音頻的制作一、數(shù)字音頻的制作過程1

17、、音頻概述聲波的表示方法2、數(shù)字音頻的錄制準(zhǔn)備步驟（1）選擇音源重要因素：音頻的質(zhì)量（2）錄制數(shù)字音頻A、設(shè)置音頻硬件配置B、選擇采樣率和量化位數(shù)C、設(shè)置音軌的音源和輸出端口D、檢測輸入音頻的強(qiáng)度（3）音頻的編輯和存儲（4）音頻的播放（硬件需求）3、產(chǎn)生失真的原因及解決方法原因：（1）信號頻帶寬，但采樣頻率不夠高，數(shù)字音頻信號發(fā)生混疊；（2）模擬音頻信號幅度太大，超過了量化器范圍。解決方法：前者：選擇與信號相匹配的采樣頻率后者：可以調(diào)整音源的輸出幅度或調(diào)節(jié)采集卡輸入放大器的增益，也可選用音頻卡的line輸入端，而不用microphone輸入端。4、利用Audio Editor實(shí)現(xiàn)音頻制作（1）

18、簡介（2）數(shù)字音頻的錄制（3）音頻特效制作5、MIDI音樂的制作（1）MIDI標(biāo)準(zhǔn)（2）MIDI Mapper標(biāo)準(zhǔn)（3）Cakewalk編輯MIDI6、數(shù)字視頻的獲取 數(shù)字視頻信息獲取與處理過程主要有采樣、A/D變換、壓縮、存儲、解壓縮、D/A變換。7、利用Adobe Premiere實(shí)現(xiàn)視頻使用8、3D Studio Max動(dòng)畫制作補(bǔ)充：數(shù)字圖象的制作 用數(shù)碼相機(jī)攝取，利用圖象處理軟件進(jìn)行處理四、多媒體開發(fā)環(huán)境和工具一、多媒體創(chuàng)作系統(tǒng)1、概念 多媒體創(chuàng)作系統(tǒng)提供一種把內(nèi)容和功能結(jié)合在一起的集成環(huán)境。2、功能（1）、視頻圖象的制作（2）、動(dòng)畫制作（3）、交互式演示系統(tǒng)（4）、展示系統(tǒng)（5）、交

19、互式查詢系統(tǒng)（6）、交互式的訓(xùn)練（7）、仿真、厚型和技術(shù)的可視化3、系統(tǒng)組成素材庫編輯播放二、多媒體開發(fā)工具的類型與功能1、類型 （1）基于時(shí)間的創(chuàng)作工具 （2）基于圖標(biāo)或流線的創(chuàng)作工具 （3）基于卡片或頁面的工具 （4）以傳統(tǒng)程序語言為基礎(chǔ)的多媒體創(chuàng)作工具2、功能（1）優(yōu)異的面向?qū)ο蟮木幊汰h(huán)境（2）具有較強(qiáng)的多媒體數(shù)據(jù)I/O能力（3）動(dòng)畫處理能力（4）超級連接能力（5）應(yīng)用程序的連接能力（6）模塊化和面向?qū)ο螅?）友好的界面、易學(xué)易用3、多媒體開發(fā)工具的特征（1）編輯特征（2）組織特征（3）編程特征（4）交互式特征（5）性能精確特征（6）播放特征（7）提交特征4、跨平臺工具多媒體開發(fā)的基本軟

20、件的特點(diǎn)5、與多媒體創(chuàng)作工具相關(guān)的幾個(gè)概念（1）創(chuàng)作環(huán)境（2）創(chuàng)作系統(tǒng)（3）創(chuàng)作工具（4）集成工具（五）多媒體應(yīng)用系統(tǒng)的特點(diǎn)一、多媒體應(yīng)用系統(tǒng)的特點(diǎn)（1）增加計(jì)算機(jī)的友好性（2）涉及技術(shù)領(lǐng)域廣、技術(shù)層次高（3）多媒體技術(shù)的標(biāo)準(zhǔn)化（4）多媒體技術(shù)的集成化和工具化二、應(yīng)用系統(tǒng)開發(fā)組三、應(yīng)用系統(tǒng)開發(fā)的各階段及其主要內(nèi)容從軟件工程的角度分四階段：（1）計(jì)劃制定與成本估算（2）設(shè)計(jì)與制作（3）測試（4）提交各階段的主要任務(wù)1、計(jì)劃和成本估算 軟件計(jì)劃 成本估算2、設(shè)計(jì)與制作 程序設(shè)計(jì)方法 軟件界面設(shè)計(jì)3、測試 測試方法 軟件測試策略 測試的復(fù)審 排錯(cuò)技術(shù)4、提交 軟件質(zhì)量度量模型 軟件質(zhì)量評價(jià)過程模型

21、軟件具體評價(jià) 軟件維護(hù)多媒體軟件開發(fā)過程的理解問題定義 可行性研究 需求分析 總體設(shè)計(jì) 詳細(xì)設(shè)計(jì) 編碼 測試 運(yùn)行和維護(hù)五、多媒體卡一、音頻卡音頻卡的主要功能：1、錄制與播放2、編輯與合成3、MIDI接口和音樂合成4、文語轉(zhuǎn)換和語音識別5、CD-ROM接口6、游戲棒接口音頻卡的分類音頻卡的工作原理（了解） 主要組成部分： 1、聲音的合成與處理 2、混合信號處理器及功率放大器 3、計(jì)算機(jī)總線接口和控制器音頻卡的選擇根據(jù)處理的語音任務(wù)選擇合乎需求的設(shè)備 重要因素：三種WINDOWS聲音選擇音頻卡的最重要原則符合MPC標(biāo)準(zhǔn)要求的卡，與MPC公布的標(biāo)準(zhǔn)相兼容的音頻卡必須能記錄和播放頻率達(dá)的音頻選擇音頻卡時(shí)應(yīng)當(dāng)注意下述幾項(xiàng)指標(biāo)：1、與Adlib和sound Blaster兼容能力2、支持16位采樣帶寬3、具備混音和合成能力4、采樣頻率最高能支持音頻卡的基本技術(shù)指標(biāo)1、采樣頻率 單位時(shí)間內(nèi)的采樣次數(shù)2、采樣值的量化位數(shù)3、聲道數(shù)4、合成器5、MIDI接口6、I/O設(shè)備支持7、即插即用8、兼容性音頻卡的安裝硬件安裝軟件安裝搜索到新硬件，按系統(tǒng)的提示，一步步執(zhí)行相應(yīng)的操作即可。測試二、視頻卡1、視頻采集 是指將視頻信號數(shù)字化并記錄到文件上的過程。在記錄時(shí)，視頻變成了一系列的圖