工學(xué)多媒體總結(jié)

1、多媒體通信技術(shù)教師：趙冰手機：答疑：物理實驗樓709在開始正式上課之前，首先需要強調(diào)以下問題：一 課程基礎(chǔ) 應(yīng)先修課程：線性代數(shù)、概率論與數(shù)理統(tǒng)計、數(shù)學(xué)分析、信息論、通信原理二 課程的主要內(nèi)容 1 多媒體通信概念 2 數(shù)字音頻技術(shù) 3 圖像技術(shù)基礎(chǔ) 4 電視技術(shù)基礎(chǔ) 5 視頻信息壓縮與處理 6 多媒體數(shù)據(jù)信息的獲取、存儲與顯示技術(shù) 7 多媒體數(shù)據(jù)同步技術(shù) 8 多媒體數(shù)據(jù)庫及其檢索技術(shù) 9 多媒體通信網(wǎng)絡(luò)技術(shù) 10 數(shù)據(jù)分布式處理 11 各種實用的多媒體應(yīng)用系統(tǒng) 三 課程要求 掌握上述基本概念及分析思路。 熟記分析結(jié)果和計算過程。四 考試形式 實驗成績占本門課程總成績的20%。 理論課閉卷考試占

2、總成績的80%，卷面成績占理論課成績70%。平時成績占30%。（課上點名與作業(yè)成績）v 本課程公共郵箱： 密碼：duomeiti教材與參考書v 多媒體通信技術(shù)，孫學(xué)康、石方文、劉勇編著，北京郵電大學(xué)出版社v 多媒體通信技術(shù)，王汝言編著，西安電子科技大學(xué)出版社v 多媒體通信技術(shù)，何忠龍、陳萱華編著，中國林業(yè)出版社課程進度安排v 講授（32學(xué)時）、實驗（6學(xué)時） 第一章 多媒體通信技術(shù)概述 2學(xué)時 第二章 音頻技術(shù)基礎(chǔ) 6學(xué)時 第三章 圖像技術(shù)基礎(chǔ) 4學(xué)時 第四章 視頻處理技術(shù) 10學(xué)時 第五章 多媒體通信系統(tǒng)中的關(guān)鍵技術(shù) 4學(xué)時 第六章 多媒體通信網(wǎng)絡(luò)技術(shù) 4學(xué)時 第七章 多媒體數(shù)據(jù)的分布式處理

3、 4學(xué)時 第八章 多媒體通信應(yīng)用系統(tǒng) 4學(xué)時多媒體通信技術(shù)v 課程意義1. 三網(wǎng)融合 三網(wǎng)融合是指電信網(wǎng)、計算機網(wǎng)和有線電視網(wǎng)三大網(wǎng)絡(luò)通過技術(shù)改造，能夠提供包括語音、數(shù)據(jù)、圖像等綜合多媒體的通信業(yè)務(wù)。2. 三媒合一：三網(wǎng)融合體驗的未來時三媒合一是指平面媒體、網(wǎng)絡(luò)媒體、移動媒體三種不同媒介的匯聚與互動互補，融書籍閱讀、視頻欣賞和網(wǎng)絡(luò)瀏覽三種功能為一體，通過視覺、聽覺等多維體驗傳遞信息的一種全新的媒體形式。 “三媒合一”理念由數(shù)字美術(shù)館首創(chuàng)并積極推動，其核心思想，定位在與傳統(tǒng)媒體互為促進的改良力量上。2011年5月3日，數(shù)字美術(shù)館實現(xiàn)了國內(nèi)首個三媒合一實例新版“常青指路”。第1章多媒體通信技術(shù)概述

4、1.1 多媒體通信的基本概念1.2 多媒體通信中的關(guān)鍵技術(shù)1.3 多媒體通信的應(yīng)用1.1 多媒體通信的基本概念1媒體(medium)是指信息傳遞和存儲的最基本的技術(shù)和手段，即信息的載體。根據(jù)原CCITT的定義，媒體可劃分為5大類：(1) 感覺媒體（perception medium）是指人類通過感覺器官直接產(chǎn)生感覺（感知信息內(nèi)容）的一類媒體。這類媒體包括：聲音、文字、圖像、氣味、冷熱等。(2) 表示媒體（representation medium）是指用于數(shù)據(jù)交換的編碼表示。這類媒體包括：圖像編碼、文本編碼、聲音編碼等。其目的是為了能有效地加工、處理、存儲和傳輸感覺媒體。(3) 顯示媒體（pr

5、esentation medium）是指進行信息輸入和輸出的媒體。輸入媒體包括：鏈盤、鼠標、攝像頭、話筒、掃描儀、觸摸屏等；輸出媒體包括：顯示屏、打印機、揚聲器等。(4) 存儲媒體（storage medium）是指進行信息存儲的媒體。這類媒體包括：硬盤、光盤、軟盤、磁帶、ROM、RAM等。(5) 傳輸媒體（transmission medium）是指承載信息，將信息進行傳輸?shù)拿襟w。這類媒體包括：雙絞線、同軸電纜、光纜、無線電鏈路等?！岸嗝襟w”通常是指感覺媒體的組合，即聲音、文字、圖像、數(shù)據(jù)等各種媒體的組合。2多媒體（Multimedia）發(fā)展背景： 1987年，第二屆國際CD-ROM年會上展

6、出了世界上第一臺多媒體計算機，首次將彩色電視技術(shù)和計算機技術(shù)融合在一起，該技術(shù)后定名為DVI（Digital Video Interactive）。同年國際上成立了交互聲像工業(yè)協(xié)會（后稱交互多媒體協(xié)會IMA:Interactive Multimedia Association），主要目的是推動多媒體產(chǎn)業(yè)發(fā)展并減少現(xiàn)存多媒體技術(shù)應(yīng)用的障礙。多媒體技術(shù)就是計算機交互式綜合處理多媒體信息（文本、圖形、圖像和聲音），使多種信息建立邏輯連接，集成為一個系統(tǒng)并具有交互性。多媒體技術(shù)的最簡單表現(xiàn)形式多媒體計算機（對視頻的處理、存儲和顯示的能力。）3、多媒體通信在物理結(jié)構(gòu)上，多媒體通信系統(tǒng)是由若干個多媒體通信

7、終端、多媒體服務(wù)器經(jīng)過通信網(wǎng)絡(luò)連接構(gòu)成的系統(tǒng)。在計算機領(lǐng)域又稱為分布式多媒體系統(tǒng)DMS（Distribute Multimedia System）。特征：（1）集成性可處理、存儲和傳輸內(nèi)容上相互關(guān)聯(lián)的多媒體信息。（2）交互性用戶與系統(tǒng)通信過程中具有完全的交互控制能力。（3）同步性使得多媒體信息（文字、圖形、聲音、圖像等）在終端上以時空同步方式工作。1.2 多媒體通信中的關(guān)鍵技術(shù)1 多媒體數(shù)據(jù)壓縮技術(shù)（多媒體信息處理技術(shù)）在多媒體信息壓縮技術(shù)中最為關(guān)鍵的就是音/視頻壓縮編碼技術(shù)。視頻信號數(shù)據(jù)速率在140Mbit/s左右，高清電視可達到1000Mbit/s壓縮后，高清電視只需20Mbit/s,可視

8、電話可壓縮到20kbit/s語音信號如不壓縮，需要64kbit/s的速率經(jīng)壓縮可降到32kbit/s、 16kbit/s、 8kbit/s，甚至56kbit/s節(jié)約帶寬一路以分量編碼的數(shù)字電視信號，數(shù)據(jù)速率可達到216Mbit/s需要80GB的存儲空間存儲1小時的電視節(jié)目 要實現(xiàn)遠距離傳輸需要占用108216MHz的信道帶寬節(jié)省存儲空間視頻壓縮：可以分為三個階段，即第一代、第二代、第三代圖像壓縮編碼方法。第一代圖像壓縮編碼方法以香農(nóng)信息論為基礎(chǔ)，考慮圖像信源的統(tǒng)計特性，采用預(yù)測編碼、變換編碼、矢量量化編碼、子帶編碼、小波變換編碼、神經(jīng)網(wǎng)絡(luò)編碼等方法。第二代圖像壓縮編碼方法充分考慮了人眼的視覺特

9、性，從人類的主觀特性出發(fā)，采用基于方向濾波的圖像編碼方法和基于圖像輪廓紋理的編碼方法。第三代圖像壓縮編碼方法考慮到了圖像傳遞的景物特征，采用分形編碼方法和基于模型的編碼方法。有關(guān)圖像壓縮編碼的國際標準主要有：JPEG、H.261、H.263、MPEG-1、MPEG-2/H.262、MPEG-4等。在多媒體技術(shù)中涉及的聲音壓縮編碼的國際標準主要有：G. 711、G. 721、G. 722、G. 728、G. 729、G. 723.1等。2 多媒體數(shù)據(jù)的獲取與顯示技術(shù)（多媒體通信的終端技術(shù)）主要體現(xiàn)在用戶和多媒體系統(tǒng)之間進行交互的多媒體終端上。多媒體通信終端是能集成多種媒體信息，能對多媒體信息實現(xiàn)

10、同步，并具有交互功能的通信終端。多媒體終端多媒體計算機專用終端設(shè)備可視電話機頂盒輸入設(shè)備輸出手段鼠標圖像電子筆觸摸屏跟蹤球攝像頭視/音頻采集卡聲音活動視頻3 多媒體數(shù)據(jù)庫及其檢索技術(shù)傳統(tǒng)的數(shù)據(jù)庫管理系統(tǒng)的局限性：（1）多媒體數(shù)據(jù)所包含的信息量非常大；（2）多媒體數(shù)據(jù)隨時變化，因而難以統(tǒng)計及預(yù)測；（3）多媒體數(shù)據(jù)內(nèi)部有各種復(fù)雜的時域、空域以及基于內(nèi)容的約束關(guān)系?；趦?nèi)容的方法是從新的角度來管理多媒體信息，多媒體數(shù)據(jù)的內(nèi)容包括概念級內(nèi)容、感知特性、邏輯關(guān)系、信號特征、特定領(lǐng)域的特征等。目前基于內(nèi)容的圖像檢索系統(tǒng)有：v IBM Almaden 研究中心開發(fā)的商用檢索系統(tǒng)QBIC；v 麻省理工學(xué)院媒體

11、實驗室研發(fā)的Photobook 系統(tǒng)；v 卡內(nèi)基·梅隆大學(xué)的Informedia 數(shù)字視頻圖書館系統(tǒng)等。4 多媒體通信網(wǎng)絡(luò)技術(shù)網(wǎng)絡(luò)應(yīng)用的需求是推動網(wǎng)絡(luò)技術(shù)發(fā)展的主要動力。在多媒體通信系統(tǒng)中，要求通信網(wǎng)絡(luò)對信息具有高速傳輸能力（高帶寬），對各種信息的高效綜合能力（高服務(wù)質(zhì)量），還要具有實現(xiàn)媒體同步的能力。5 多媒體信息存儲技術(shù)多媒體信息的信息量巨大，在多媒體信息傳輸時，對其實時性、交互性提出較高的要求，同時播放、使用還需保持同步關(guān)系。存儲設(shè)備包括：磁帶、光盤、硬盤等。為了滿足處理器的高速要求，人們提出了冗余磁盤陣列和存儲區(qū)域網(wǎng)絡(luò)。6 多媒體數(shù)據(jù)的分布式處理技術(shù)分布在不同地點的信息提供者、接收者和處理者能夠通過網(wǎng)絡(luò)來共同完成多媒體數(shù)據(jù)的處理過程。分布式多媒體系統(tǒng)涉及到計算機領(lǐng)域和通信領(lǐng)域的多種技術(shù)，仍有大量問題亟待解決。1.3 多媒體通信的應(yīng)用可視電話系統(tǒng)遠程教育系統(tǒng)視頻會議系統(tǒng)視頻點播系統(tǒng)VOD多媒體電子郵件虛擬現(xiàn)實1.4 多媒體通信的標準化提出建議和制定多媒體標準的組織主要為： ITU-T（國際電信聯(lián)盟電信標準部）、ISO（國際標準