多媒體信息處理講

1、多媒體信息處理多媒體信息處理主要內(nèi)容主要內(nèi)容媒體（medium）媒體是指承載信息的載體媒體媒體又稱媒介、媒質(zhì)，指的是用于分發(fā)信息和展現(xiàn)信息的手段、方法、工具、設(shè)備或裝置。根據(jù)CCITT的定義，媒體有五種類型：感覺媒體表示媒體顯示媒體存儲(chǔ)媒體傳輸媒體媒體（medium）表示媒體，即信息的存在形式和表現(xiàn)形式，如文字、聲音、語音、圖形、圖像、視頻、動(dòng)畫等，是我們研究的核心。媒體（medium）多媒體技術(shù)的基本概念多媒體技術(shù)的基本概念根據(jù)與時(shí)間的關(guān)系媒體可以分成靜態(tài)媒體和連續(xù)媒體靜態(tài)媒體：沒有時(shí)間維，播放速度不影響所含信息的再現(xiàn)靜態(tài)媒體：沒有時(shí)間維，播放速度不影響所含信息的再現(xiàn). .信息的再現(xiàn)與時(shí)間無

2、關(guān)，如文本、圖形、圖像等等.連續(xù)媒體：由媒體連續(xù)媒體：由媒體“量子量子”（視頻幀、音頻采樣等）組成，（視頻幀、音頻采樣等）組成，有隱含時(shí)間有隱含時(shí)間關(guān)系，播放速度影響所含信息的再現(xiàn)，播放速度影響所含信息的再現(xiàn). . 如聲音、動(dòng)畫、視頻等。連續(xù)媒體基本特征：媒體內(nèi)連續(xù)性（實(shí)時(shí)與等時(shí)）、媒體連續(xù)媒體基本特征：媒體內(nèi)連續(xù)性（實(shí)時(shí)與等時(shí)）、媒體間同步（對(duì)口型）、高帶寬（網(wǎng)絡(luò)與存儲(chǔ)）間同步（對(duì)口型）、高帶寬（網(wǎng)絡(luò)與存儲(chǔ)）多媒體通信技術(shù)面臨的挑戰(zhàn)主要來源于連續(xù)媒體多媒體通信技術(shù)面臨的挑戰(zhàn)主要來源于連續(xù)媒體連續(xù)媒體的引入給傳統(tǒng)的計(jì)算機(jī)系統(tǒng)、通信系統(tǒng)和分布式應(yīng)用系統(tǒng)提出了更高的要求。多媒體技術(shù)的基本概念多媒體

3、技術(shù)的基本概念 什么是多媒體（什么是多媒體（Multimedia)l 多媒體多媒體 (multimedia)是融合兩種或者兩種以上媒體的一種人機(jī)交互式的信息交流和傳播媒體。l將文字、聲音、圖形、圖像、視頻等多種媒體集成進(jìn)計(jì)算機(jī),使信息表現(xiàn)聲、圖、文并茂。超文本與超媒體 什么是超文本與超媒體l超文本超文本是一種信息管理技術(shù)，將信息自然地相連接，建立穿過文檔的大量信息路徑，注釋已有文本。l超媒體超媒體（hypermedia) =多媒體多媒體+超文本超文本, 是以Web系統(tǒng)為基礎(chǔ)的通過超鏈接組織在一起的全球多媒體信息系統(tǒng)。l例如：例如：Windows的“幫助”信息就是一 種超文本超文本結(jié)構(gòu)超文本結(jié)構(gòu)

4、多媒體技術(shù)的特點(diǎn) 多媒體技術(shù)強(qiáng)調(diào)的是交互式綜合處理多種信息媒體（感覺媒體）的技術(shù)。從本質(zhì)上來說，它具有以下特性：l多樣性多樣性，使計(jì)算機(jī)所能處理的信息范圍從傳統(tǒng)的數(shù)值、文字、靜止圖像擴(kuò)展到聲音和視頻信息；l集成性集成性，即綜合性，它能使多種不同形式的信息綜合地表現(xiàn)某個(gè)內(nèi)容，取得更好的效果l交互性交互性，使人們獲取和使用信息變被動(dòng)為主動(dòng)。這三個(gè)特性中交互性最重要交互性最重要。l數(shù)字化數(shù)字化：多媒體信息都是以數(shù)字的形式而不是以模擬信號(hào)的形式存儲(chǔ)和傳輸?shù)?。l以計(jì)算機(jī)為中心以計(jì)算機(jī)為中心：信息的獲取、處理、存儲(chǔ)、傳輸和展示都是在計(jì)算機(jī)控制下完成的。多媒體的起源與發(fā)展計(jì)算機(jī)計(jì)算機(jī)0，1通通 信信大眾傳媒

5、大眾傳媒文文 本本圖象圖形圖象圖形聲音聲音視頻視頻MPC郵郵 政政電電 報(bào)報(bào)電電 話話數(shù)字網(wǎng)數(shù)字網(wǎng)ISDN信息高速信息高速報(bào)報(bào) 紙紙廣廣 播播電電 影影電電 視視HDTVITV多媒體時(shí)代多媒體時(shí)代 多 媒 體 硬 件 設(shè) 備 音頻 / 視頻信息的壓縮、還原設(shè)備 多 媒 體 設(shè) 備 的 I/O 控 制 操作系統(tǒng)的多媒體擴(kuò)充 多媒體系統(tǒng)軟件 多媒體編輯與寫作工具 多媒體應(yīng)用軟件 多媒體計(jì)算機(jī)系統(tǒng)的層次結(jié)構(gòu)分布式多媒體系統(tǒng)的層次結(jié)構(gòu)硬件服務(wù)硬件服務(wù)數(shù)字存儲(chǔ)設(shè)備、編碼解碼器、數(shù)字傳輸數(shù)字存儲(chǔ)設(shè)備、編碼解碼器、數(shù)字傳輸設(shè)備、媒體展示設(shè)備設(shè)備、媒體展示設(shè)備系統(tǒng)服務(wù)系統(tǒng)服務(wù)實(shí)時(shí)調(diào)度、實(shí)時(shí)網(wǎng)絡(luò)傳送、連續(xù)媒體文

6、實(shí)時(shí)調(diào)度、實(shí)時(shí)網(wǎng)絡(luò)傳送、連續(xù)媒體文件系統(tǒng)、表現(xiàn)服務(wù)件系統(tǒng)、表現(xiàn)服務(wù)媒體服務(wù)媒體服務(wù)分布對(duì)象管理、設(shè)備管理、會(huì)議服務(wù)器分布對(duì)象管理、設(shè)備管理、會(huì)議服務(wù)器窗口服務(wù)器、超媒體引擎、多媒體數(shù)據(jù)庫窗口服務(wù)器、超媒體引擎、多媒體數(shù)據(jù)庫合成服務(wù)合成服務(wù)可接受性測試、多通道同步、元級(jí)調(diào)度可接受性測試、多通道同步、元級(jí)調(diào)度腳本、工具腳本、工具可視化編寫工具、多媒體編程語言可視化編寫工具、多媒體編程語言多媒體應(yīng)用多媒體應(yīng)用多媒體應(yīng)用多媒體郵件多媒體郵件多媒體宣傳演示系統(tǒng)多媒體宣傳演示系統(tǒng)多媒體出版物、多媒體光盤多媒體出版物、多媒體光盤多媒體會(huì)議系統(tǒng)、多媒體辦公自動(dòng)化、多媒體會(huì)議系統(tǒng)、多媒體辦公自動(dòng)化、CSCW多媒

7、體信息咨詢系統(tǒng)、數(shù)字化圖書館多媒體信息咨詢系統(tǒng)、數(shù)字化圖書館交互式電視（交互式電視（ITV）、）、視頻點(diǎn)播系統(tǒng)視頻點(diǎn)播系統(tǒng)遠(yuǎn)程醫(yī)療、遠(yuǎn)程教學(xué)系統(tǒng)遠(yuǎn)程醫(yī)療、遠(yuǎn)程教學(xué)系統(tǒng)多媒體訓(xùn)練系統(tǒng)、虛擬現(xiàn)實(shí)多媒體訓(xùn)練系統(tǒng)、虛擬現(xiàn)實(shí)語音處理研究的基本內(nèi)容說的是什么內(nèi)容？是誰在說話？計(jì)算機(jī)去說話？怎么把話說好？語音識(shí)別聲紋識(shí)別文語轉(zhuǎn)換說話水平評(píng)估說的是什么語言？語種識(shí)別語音處理及其應(yīng)用語音命令和控制語音命令和控制中小詞表孤立詞語音識(shí)別l語音命令導(dǎo)航 (EasyCmd)l家電控制 (Cmd99)l聲控號(hào)碼簿 (Voice PhoneBook)l聲控?fù)芴?hào) (Voice Dialler, e.g.: DataBank)

8、l個(gè)人數(shù)字助理 (PDA, e.g. 快譯通)；語音秘書l讀者通過互聯(lián)網(wǎng)頁在DL中漫游l不需使用鍵盤或鼠標(biāo)l只需口呼相應(yīng)的“按鈕”、“熱鏈接”、菜單等大詞匯連續(xù)語音識(shí)別大詞匯連續(xù)語音識(shí)別l漢語語音聽寫機(jī)(EasyTalk)是漢字輸入的重要手段l整句音字轉(zhuǎn)換(EasyConv)是鍵盤輸入的輔助手段l基于文本的語言理解(EasyNav)是理解關(guān)鍵之一l關(guān)鍵詞檢出(KWS)是基于內(nèi)容的語音信息檢索的基礎(chǔ)語音處理及其應(yīng)用 當(dāng)不想說話，不想為人所知，或不想影響別人時(shí)輔助手段 直接輸入漢語拼音串 使用電話或手機(jī)時(shí)，可輸入數(shù)字串聲紋識(shí)別聲紋識(shí)別身份鑒別l安全 (金融、網(wǎng)絡(luò)、)l個(gè)性化配置語種識(shí)別語種識(shí)別l為

9、多語種語音識(shí)別平臺(tái)提供預(yù)分流語音處理及其應(yīng)用 語音識(shí)別器支持多語種 語種識(shí)別器結(jié)果 使用漢語識(shí)別器還是英語識(shí)別器l電子借書證：讀者的各種信息(姓名、信用、聯(lián)絡(luò)、聲紋、電子簽名等)l聲紋識(shí)別結(jié)果 讀者資格確認(rèn)文語轉(zhuǎn)換文語轉(zhuǎn)換l有聲電子讀物l盲人閱讀l獲取信息的有聲反饋語音處理及其應(yīng)用l電話銀行口語對(duì)話系統(tǒng)口語對(duì)話系統(tǒng)l語音識(shí)別與理解（語音識(shí)別、語義分析與表示）l對(duì)話管理（記憶與遺忘）l查詢信息的反饋l信息計(jì)算（信息庫管理、搜索引擎、信息獲取，及信息生成）語音處理及其應(yīng)用說話水平評(píng)估說話水平評(píng)估S2El多媒體語言教學(xué)l大嘴英語l隨心所欲說英語語音處理及其應(yīng)用窄帶語音處理窄帶語音處理l帶寬窄（電話、

10、無線通訊、電視等）l信道差異的影響l信源噪音、信道噪音，本地噪音語音處理及其應(yīng)用語音的基本單位Phoneme (abstract, smallest)音素:清音，濁音 Morpheme 詞素 Syllable 音節(jié)：元音和輔音構(gòu)成；（聲母和韻母） Word 單詞 Phrase 短語 Sentence 句子 Paragraph 段落 Topics, Articles, Stories 主題文章 研究的范圍語音分析工具： MATLAB, PRAAT, SFS 瀑布瀑布 語譜圖（語譜圖（SPECTROGRAM） 時(shí)間、頻率、幅值三維坐標(biāo)， 頻譜幀隨時(shí)間變化彩色語譜圖發(fā) “ah.”時(shí)的單元音 /a/發(fā)

11、 “eye”時(shí)的雙元音 /ai/發(fā)音 “real”發(fā)音 “mean”聲音的本質(zhì)聲音是攜帶信息的極其重要的媒體（20）聲音是通過空氣傳播的一種連續(xù)的波，叫聲波，也具有反射、折射和衍射現(xiàn)象。聲音信號(hào)是由許多頻率不同的分量信號(hào)組成的復(fù)合信號(hào)。復(fù)合信號(hào)的頻率范圍稱為帶寬。帶寬為20Hz20kHz的信號(hào)稱為音頻（audio）信號(hào)，可以被人的耳朵感知。聲音是時(shí)基類媒體。話音的形成原理 肺中的空氣受到擠壓形成氣流，氣流通過聲門（聲帶）沿著聲道（由咽、喉、口腔等組成）釋放出去，就形成了話音。 氣流、聲門可以等效為一個(gè)激勵(lì)源，聲道可以等效為一個(gè)時(shí)變?yōu)V波器（共振峰）。 話音信號(hào)具有很強(qiáng)的相關(guān)性（長期相關(guān)、短期相關(guān)

12、）。話音的分類濁音（voiced sounds）：聲道打開，聲帶在先打開后關(guān)閉，氣流經(jīng)過使聲帶要發(fā)生張馳振動(dòng)，變?yōu)闇?zhǔn)周期振動(dòng)氣流。濁音的激勵(lì)源被等效為準(zhǔn)周期的脈沖信號(hào)。清音（unvoiced sounds）：聲帶不振動(dòng)，而在某處保持收縮，氣流在聲道里收縮后高速通過產(chǎn)生湍流，再經(jīng)過主聲道（咽、口腔）的調(diào)整最終形成清音。清音的激勵(lì)源被等效為一種白噪聲信號(hào)。爆破音（plosive sounds）：聲道關(guān)閉之后產(chǎn)生壓縮空氣然后突然打開聲道所發(fā)出的聲音。語音的產(chǎn)生發(fā)聲器官：喉；聲道；嘴話音產(chǎn)生的數(shù)字模型周期脈沖序周期脈沖序列發(fā)生器列發(fā)生器偽隨機(jī)噪聲偽隨機(jī)噪聲產(chǎn)生器產(chǎn)生器周期周期時(shí)變數(shù)字濾時(shí)變數(shù)字濾波器波

13、器音量控制音量控制聲道參數(shù)聲道參數(shù)語音語音輸出輸出濁濁/清選擇清選擇聲音的三要素音調(diào)、音強(qiáng)、音色為聲音的三要素。音強(qiáng)（響度）取決于聲音的幅度（分貝）。音調(diào)取決于聲音的頻率。音色是由混入基音的泛音所決定的。聲音的表示與處理聲音的表示與處理聲音表示的兩種方法聲音表示的兩種方法l數(shù)字波形法l合成法聲音數(shù)字聲音數(shù)字波形法波形法處理的步驟：處理的步驟：l采樣采樣（采樣率越高，聲音越好，數(shù)據(jù)量越大）l量化量化（模-數(shù)轉(zhuǎn)化，位數(shù)越多，噪聲越?。﹍壓縮壓縮聲音的波形變化特性聲音的波形變化特性聲音的采樣與量化Example ratesCD: 1.411 MbpsMP3: 96, 128, 160 kbpsInt

14、ernet telephony: 5.3 - 13 kbps聲音信號(hào)數(shù)字化采樣精度 每個(gè)聲音樣本的數(shù)字化位數(shù)反映了聲音波形幅度的采樣精度。質(zhì)量采樣頻率（kHz）樣本精度單道聲/立體聲數(shù)據(jù)率（kb/s）頻率范圍（kHz）電話88單道聲642003400AM11.0258單道聲88507000FM22.05016立體聲705.62015000CD44.116立體聲1411.22020000DAT4816立體型采樣頻率 ：8K、10k、16K、44.1K聲音的合成法表示MI DI 音樂（Musical Instrument digital Interface)特點(diǎn)：l音樂符

15、號(hào)化的一種方法l數(shù)據(jù)量少l易于編輯、修改l適用于表示各種樂曲演奏的音樂l尚不能表示聲音語音質(zhì)量等級(jí)劃分廣播質(zhì)量：帶寬為7000Hz的高質(zhì)量話音長途電話質(zhì)量：帶寬為3400Hz，信噪比為30db，有失真通信質(zhì)量：完全可以聽懂，但和長途電話質(zhì)量相比有明顯的失真。合成質(zhì)量：8090的可懂度，聽起來象機(jī)器講話，失去了講話者的特征語音編碼技術(shù)語音編碼的主要目標(biāo)：語音編碼的主要目標(biāo)： 較高的語音質(zhì)量 較高的可測的識(shí)別性 低碼率，如用于手機(jī)。 低的計(jì)算量及計(jì)算要求 減少存儲(chǔ)量，如用于自動(dòng)應(yīng)答系統(tǒng)或語音數(shù)據(jù)庫 連續(xù)編解碼的魯棒性 to successive encode/decode cycles 對(duì)傳輸誤差

16、的魯棒性Robustness to transmission errors對(duì)實(shí)時(shí)語音系統(tǒng)的目標(biāo): 較小的延時(shí) Low coding/decoding delay (ms) 同樣適用非語音信號(hào)Work with non-speech signals (e.g. touch tone)語音編譯碼器的分類波形編譯碼器（waveform coder）：不利用生成話音的信號(hào)的任何知識(shí)，將話音視為一種普通的聲音，直接對(duì)波形信號(hào)進(jìn)行采樣和量化。例如PCM、DPCM、ADPCM等。音源編譯碼器（Source coder）：也叫參數(shù)編譯碼器、聲碼器（vocoder）。它從話音波形信號(hào)中提取話音生成模型的參數(shù)，使

17、用這些參數(shù)通過話音生成模型重構(gòu)出話音?；旌暇幾g碼器（Hybrid coder）：綜合使用上述兩種技術(shù)。使用的激勵(lì)信號(hào)波形盡可能接近于原始話音信號(hào)的波形。例如CELP。話音編譯碼器A/D話音編碼信道編碼信道信道譯碼話音譯碼D/A衡量話音編碼器的參數(shù)數(shù)據(jù)輸出速率延遲時(shí)間話音質(zhì)量價(jià)格（實(shí)現(xiàn)代價(jià)）語音信號(hào)的冗余度幅度非均勻分布樣本之間的相關(guān)性周期之間的相關(guān)性基音之間的相關(guān)性靜止系數(shù)（話音間隙）長期相關(guān)性（long term correlation）脈沖編碼調(diào)制（PCM）Pulse Code ModulationPCM的量化方式均勻量化與非均勻量化非均勻量化對(duì)小信號(hào)采用小的量化間隔，對(duì)大信號(hào)采用大的量化

18、間隔，這樣可以用較少的位數(shù)編碼。對(duì)大信號(hào)來說，雖然絕對(duì)量化誤差較大，但是因?yàn)椋海?）大信號(hào)出現(xiàn)的機(jī)會(huì)不多，（2）信噪比（相對(duì)誤差）與小信號(hào)是一致的，所以對(duì)總的話音質(zhì)量影響不大。非均勻量化也是一種壓縮。律壓擴(kuò)與A律壓擴(kuò)m 律(m -Law)壓擴(kuò)(G.711)主要用在北美和日本等地區(qū)的數(shù)字電話通信中。x為x 為輸入信號(hào)，規(guī)格化為1= x =1m 為確定壓縮量的參數(shù)，它反映最大量化間隔和最小量化間隔之比，取100 = m = 500。律壓擴(kuò)與A律壓擴(kuò)0 0 = | |x x| | = 1/A 1/A1/A1/A = | |x x| | = 1 1A律(A-Law)壓擴(kuò)(G.711)主要用在歐洲和中國

19、大陸等地區(qū)的數(shù)字電話通信中對(duì)于采樣頻率為8 kHz，樣本精度為13位、14位或者16位的輸入信號(hào)，使用m 律壓擴(kuò)編碼或者使用A律壓擴(kuò)編碼，經(jīng)過PCM編碼器之后每個(gè)樣本的精度為8位，輸出的數(shù)據(jù)率為64 kb/s。這個(gè)數(shù)據(jù)就是CCITT推薦的G.711標(biāo)準(zhǔn)。PCM與時(shí)分多路復(fù)用（TDM）差分脈沖編碼調(diào)制（DPCM)關(guān)鍵在于預(yù)測器與量化器的設(shè)計(jì)量化器預(yù)測器xkekekxkxk-自適應(yīng)預(yù)測逆量化器自適應(yīng)量化階ek產(chǎn)生誤差差分脈沖編碼調(diào)制（DPCM)逆量化器預(yù)測器ekekxkxk譯碼過程增量調(diào)制(M)增量調(diào)制 (delta modulation，DM) 是一種預(yù)測編碼技術(shù)，是對(duì)實(shí)際的采樣信號(hào)與預(yù)測的采樣

20、信號(hào)之差的極性進(jìn)行編碼，將極性變成“0”和“1”這兩種可能的取值之一。如果實(shí)際的采樣信號(hào)與預(yù)測的采樣信號(hào)之差的極性為“正”，則用“1”表示；相反則用“0”表示。DM編碼系統(tǒng)又稱為“1位系統(tǒng)”。自適應(yīng)增量調(diào)制(ADM)CVSD（連續(xù)可變斜率增量調(diào)制）： 如果編碼器的輸出連續(xù)出現(xiàn)三個(gè)相同的值，量化階就加上一個(gè)大的增量；反之，就加一個(gè)小的增量。自適應(yīng)脈沖編碼調(diào)制（APCM）APCM是一種根據(jù)輸入信號(hào)幅度大小自動(dòng)改變量化階大小的一種波形編碼技術(shù)。自適應(yīng)差分脈沖編碼調(diào)制 自適應(yīng)差分脈沖編碼調(diào)制（ADPCM）綜合了APCM的自適應(yīng)特性和DPCM系統(tǒng)的差分特性自適應(yīng)差分脈沖編碼調(diào)制ADPCM是利用樣本與樣本

21、之間的高度相關(guān)性和量化階自適應(yīng)來壓縮數(shù)據(jù)的一種波形編碼技術(shù)，CCITT為此制定了G.721推薦標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)叫做32 kb/s ADPCM。在此基礎(chǔ)上還制定了G.721的擴(kuò)充推薦標(biāo)準(zhǔn)G.723，使用該標(biāo)準(zhǔn)的編碼器的數(shù)據(jù)率可降低到40 kb/s和24 kb/s。G.721 的輸入信號(hào)是G.711 PCM代碼，它的數(shù)據(jù)率為64 kb/s。而G.721 ADPCM的輸出是用4位表示的差分信號(hào)，它的采樣率仍然是8 kHz，它的數(shù)據(jù)率為32 kb/s，這樣就獲得了2 1的數(shù)據(jù)壓縮。子帶自適應(yīng)差分脈沖編碼調(diào)制 G.722編碼標(biāo)準(zhǔn)G.722是CCITT推薦的音頻信號(hào)編碼譯碼標(biāo)準(zhǔn)。G.722標(biāo)準(zhǔn)的數(shù)據(jù)率為64

22、 kb/s，采樣頻率由8 kHz提高到16 kHz，是G.711 PCM采樣率的2倍，因而要被編碼的信號(hào)頻率由原來的3.4 kHz擴(kuò)展到7 kHz。這就使音頻信號(hào)的質(zhì)量有很大改善，由數(shù)字電話的話音質(zhì)量提高到調(diào)幅(AM)無線電廣播的質(zhì)量。其它語音編碼方法線性預(yù)測聲碼器（LPC10，LPC10e）數(shù)據(jù)速率為2.4kb/s。多脈沖激勵(lì)線性預(yù)測編碼器（MPELPC）數(shù)據(jù)速率為10kb/s左右。規(guī)則脈沖激勵(lì)線性預(yù)測編碼器（RPELTP被定位GSM標(biāo)準(zhǔn)，速率為13kb/s ）碼激勵(lì)線性預(yù)測編碼器（CELP），數(shù)據(jù)速率在4.816kb/s之間音頻編碼算法和標(biāo)準(zhǔn)一覽語音編碼語音編碼 應(yīng)用應(yīng)用 速率速率 kb/

23、s 計(jì)算量計(jì)算量 MIPS ROM RAM VSELPIS54 第一代第一代 TDMA IS54 7.95 24.5 9k 2k ACELPIS641 第二代第二代 TDMA IS136 7.4 25.0 11.3k 4.5k JVSELPPDC 全速率全速率 PDC 6.7 24.7 10k 2k PSICELPPDC 半速率半速率 PDC 3.45 38 23k 4k RPELTPGSM 全速率全速率 GSM 13 8 4k 1k ACELPGSM 半速率半速率 GSM 12.2 25 15k 5k QCELP8k CDMA 第一代第一代 8.5 23 7k 2.4k QCELP13k C

24、DMA 第二代第二代 1 3.2 27.5 13.5k 4k EVRCIS127 CDMA 第三代第三代 8.5 32 15k 5.5k 視頻信息的表示與處理視頻信息（Video):運(yùn)動(dòng)圖像（如25幀/秒）視頻信息的處理是多媒體技術(shù)的核心計(jì)算機(jī)要處理視頻信息必須將其數(shù)字化數(shù)字化過程l采樣l量化l編碼壓縮關(guān)于視頻壓縮視頻是一系列以某個(gè)固定速率來顯示的圖像l例如 24 幀/秒的電影放映數(shù)字圖像是象素的陣列每個(gè)象素用位來表示冗余度l空間冗余l(xiāng)時(shí)間冗余例子:MPEG 1 (CD-ROM) 1.5 MbpsMPEG2 (DVD) 3-6 MbpsMPEG4 (常用于Internet, 1 Mbps)視頻

25、信息數(shù)字化數(shù)字化以一幅幅彩色畫面為單位進(jìn)行的每個(gè)采樣點(diǎn)分為亮度（Y）和色差（U、V）三個(gè)分量 整幅畫面的處理過程 幾種常用數(shù)字視頻格式名稱名稱分辨率分辨率量化精度量化精度 數(shù)據(jù)量數(shù)據(jù)量/秒秒CCIR601720X576X258+4+4124CIF360X288X258+4+426QCIF180X144X258+4+46.5視頻卡功能：視頻信息的數(shù)字化、壓縮編碼視頻信息的解壓縮l硬解壓 如解壓卡，視頻卡等l軟解壓 如“解霸”、“Xing Play”等視頻卡功能示意圖多媒體信息與光盤存儲(chǔ)器光盤CD （Compact Disc）的種類lCD-ROM（只讀式CD光盤）lCD-R（可錄式CD光盤）l可讀

26、寫CD光盤可存儲(chǔ)的內(nèi)容：l數(shù)據(jù)、軟件、圖片l數(shù)字化高保真立體聲音樂l數(shù)字化電視圖像、聲音信息（如VCD）CD-ROM光盤的數(shù)據(jù)格式信息是記錄在CD-ROM的光道上光道是一條由里向外連續(xù)的螺旋型路徑一個(gè)記錄單元為一個(gè)二進(jìn)制位，在光盤上占據(jù)的長度相等光道被分為許多長度相等的塊整個(gè)光盤約有30萬個(gè)數(shù)據(jù)塊，存儲(chǔ)容量達(dá)650MB幾種視頻壓縮編碼標(biāo)準(zhǔn)MPEG-1：用于CD-ROM光盤存儲(chǔ)MPEG-2：用于DVD、CATV等MPEG-4：滿足低成本的視頻通信要求CCITT H.26: 用于可視電話、會(huì)議電視等MPEG-1數(shù)字存儲(chǔ)的運(yùn)動(dòng)數(shù)字存儲(chǔ)的運(yùn)動(dòng)圖象及伴音圖象及伴音VCD,視頻監(jiān)控等視頻監(jiān)控等低于低于1.

27、5Mb/sMPEG-2運(yùn)動(dòng)圖象及伴音運(yùn)動(dòng)圖象及伴音數(shù)字電視數(shù)字電視,衛(wèi)星電視衛(wèi)星電視地面廣播地面廣播,DVD1.535Mb/sMPEG-4音視頻對(duì)象音視頻對(duì)象Internet,交互視頻交互視頻專業(yè)視頻專業(yè)視頻,移動(dòng)通信移動(dòng)通信8Kb/s35Mb/sH.261p64Kb/s視頻視頻ISDN視頻視頻p64Kb/sH.263低比特率視頻低比特率視頻POTS視頻視頻,無線無線視頻電話視頻電話/會(huì)議會(huì)議8Kb/s1.5Mb/s一一 般般 視視 頻頻 編編 碼碼 框框 架架DCTDCT-1-1Q Q-1-1MEMEMCMCCodingCodingcontrolcontrolVLCVLCQ QDCTDCTFrameFramebufferbuffer-+Video inIntra/interModeQpVideo outMVMCMCFrameFrameMemoryMemory+ +IDCTIDCTQ-1Q-1VLCVLCDecoderDe