研究生多媒體01-緒論

1、多 媒 體 技 術(shù)多媒體技術(shù)1任課教師：楊靜電子郵件：2第 一 章 緒 論多媒體系統(tǒng)：通過多種技術(shù)在不斷演進(jìn)過程中產(chǎn)生的融合和集成課程主要內(nèi)容：多媒體相關(guān)技術(shù)，以及從系統(tǒng)的角度出發(fā)的多媒體系統(tǒng)的組成與特性3第 一 章 緒 論4第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述媒體 （media）：指承載信息的載體。按照ITU-T建議的定義，媒體可以分為以下幾種：感知媒體，表示媒體，顯示媒體，存儲(chǔ)媒體和傳輸媒體。5第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體（multimedia）：多種媒體的結(jié)合和利用【定義一】利用計(jì)算機(jī)技術(shù)把文本、圖形、圖像和動(dòng)畫等多種媒體綜合一體化，使之

2、建立起邏輯上的聯(lián)系，并能夠?qū)λ鼈儷@取、解碼、編碼、編輯、處理、存儲(chǔ)、傳輸和再現(xiàn)?！径x二】將影象、聲音、圖形、圖象、文字、文本、動(dòng)畫等多種媒體結(jié)合在一起，形成一個(gè)有機(jī)的整體，能實(shí)現(xiàn)一定的功能，就稱之為多媒體。6第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體（multimedia）：多種媒體的結(jié)合和利用【定義三】多媒體將多種媒體包括文本、圖片、動(dòng)畫、視頻、和聲音組合成一個(gè)大包。它是互動(dòng)的，用戶通過選擇和控制成為其中一員。【定義四】多媒體是融合兩種或者兩種以上媒體的一種人機(jī)交互式的信息交流和傳播媒體。關(guān)鍵特性：信息載體多樣性、集成性、交互性7第 一 章 緒 論1. 什么是多媒體系統(tǒng)1

3、. 1 概述多媒體的起源多媒體的直接起源是計(jì)算機(jī)工業(yè)界、家用電器工業(yè)界和通信工業(yè)界對(duì)各自領(lǐng)域未來發(fā)展的預(yù)測(cè)。家電行業(yè)、有線電視、娛樂行業(yè)、計(jì)算機(jī)工業(yè)及通信業(yè)應(yīng)用的相互融合，產(chǎn)生了真正意義上的多媒體技術(shù)。8第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)：用計(jì)算機(jī)有效處理有機(jī)集成的多種媒體載體上的信息的技術(shù)。多媒體技術(shù)的特點(diǎn)： 綜合性：計(jì)算機(jī)技術(shù) 用戶研究 心理研究等 多元性：時(shí)間特性，空間特性，邏輯特性等 廣泛性：涉及多種技術(shù)9第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)的基礎(chǔ)多媒體軟硬件平臺(tái)技術(shù)、多媒體操作系統(tǒng)技術(shù)、多媒體信息管理技術(shù)、多媒體通信與分布應(yīng)用

4、技術(shù)。包含的主要內(nèi)容： 數(shù)據(jù)壓縮和編碼 數(shù)據(jù)交換 輸入/輸出技術(shù) 存儲(chǔ)技術(shù) 10第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)應(yīng)用發(fā)展的趨勢(shì)：（一）智能感知技術(shù)（二）虛擬現(xiàn)實(shí)與人機(jī)交互11第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)應(yīng)用發(fā)展的趨勢(shì)智能感知技術(shù)基于人類感知和認(rèn)知機(jī)理的智能信息處理技術(shù)主要研究內(nèi)容：感知計(jì)算模型，圖像語義理解技術(shù)，基于人類感知和認(rèn)知機(jī)理的機(jī)器學(xué)習(xí)、模式識(shí)別、多源感知融合等。新型人機(jī)交互模式及技術(shù)主要研究內(nèi)容：新型人機(jī)交互模式與多通道人機(jī)交互技術(shù)，生物特征識(shí)別新方法，基于注意機(jī)制的人機(jī)交互新模型等。12第 一 章 緒 論1. 什么

5、是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)應(yīng)用發(fā)展的趨勢(shì)智能感知技術(shù)基于視覺感知與認(rèn)知機(jī)理的圖像分析與識(shí)別系統(tǒng)研究目標(biāo)：突破基于人類視覺感知與認(rèn)知機(jī)理的圖像處理模型、關(guān)鍵技術(shù)和算法，建立個(gè)性化、高準(zhǔn)確度的圖像分析與識(shí)別系統(tǒng)。主要研究內(nèi)容：分層交互的統(tǒng)計(jì)視覺計(jì)算模型與推理，基于感知整合機(jī)制的視覺模式識(shí)別技術(shù)，具有選擇性注意機(jī)制的視覺信息搜索與多目標(biāo)跟蹤模型。13第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)應(yīng)用發(fā)展的趨勢(shì)智能感知技術(shù)復(fù)雜應(yīng)用環(huán)境下的生物特征識(shí)別系統(tǒng)研究目標(biāo)：突破安全便捷的、高可靠性的多生物特征獲取及識(shí)別算法，建立面向典型應(yīng)用的生物特征識(shí)別與認(rèn)證原型系統(tǒng)。主要研究內(nèi)容：

6、臉相、虹膜、掌紋等多生物特征獲取技術(shù)，大規(guī)模生物特征庫的分類和檢索，具有魯棒性的生物特征識(shí)別關(guān)鍵技術(shù)，面向?qū)嶋H應(yīng)用需求的多種生物特征的融合技術(shù)等。主要指標(biāo)：研制臉相、虹膜、掌紋等生物特征獲取設(shè)備樣機(jī)，以及大規(guī)模臉相、虹膜和掌紋庫的分類和檢索系統(tǒng)，錯(cuò)誤接收率為百萬分之一條件下錯(cuò)誤拒絕率小于3%，等錯(cuò)誤率小于1/1000。14第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)應(yīng)用發(fā)展的趨勢(shì)智能感知技術(shù)面向網(wǎng)絡(luò)應(yīng)用環(huán)境的自然人機(jī)/人際語音系統(tǒng)研究目標(biāo)：研究基于自然口語的人機(jī)對(duì)話技術(shù)和特定領(lǐng)域的口語翻譯技術(shù)，建立網(wǎng)絡(luò)應(yīng)用環(huán)境下的自然人機(jī)對(duì)話系統(tǒng)和雙語語音翻譯系統(tǒng)，探索語音應(yīng)用新模式。主要

7、研究內(nèi)容：自然口語語音識(shí)別、理解和翻譯技術(shù)，面向應(yīng)用的自然人機(jī)對(duì)話模型與管理技術(shù)，個(gè)性化目標(biāo)語音合成，人機(jī)對(duì)話和語音互譯的系統(tǒng)集成技術(shù)等。主要指標(biāo)：面向領(lǐng)域自然口語人機(jī)對(duì)話響應(yīng)準(zhǔn)確率達(dá)到90%，語音合成MOS得分超過4.5，支持中-英、中-日互譯，在限定應(yīng)用場(chǎng)景下的語音翻譯BLEU達(dá)到0.35，支持企業(yè)級(jí)和電信級(jí)的大用戶量的并發(fā)使用。15第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)應(yīng)用發(fā)展的趨勢(shì)虛擬現(xiàn)實(shí)與人機(jī)交互虛擬現(xiàn)實(shí)建模與表現(xiàn)技術(shù)主要研究內(nèi)容：多種媒體融合、光照合成和虛實(shí)結(jié)合等新技術(shù)；大規(guī)模復(fù)雜場(chǎng)景快速建模與實(shí)時(shí)繪制新技術(shù)；虛擬對(duì)象情感與行為特性建模表現(xiàn)技術(shù)；醫(yī)學(xué)醫(yī)療、

8、文化教育、工業(yè)制造、社會(huì)活動(dòng)等領(lǐng)域中特殊環(huán)境和行為過程建模表現(xiàn)的新技術(shù)和新方法等。16第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)應(yīng)用發(fā)展的趨勢(shì)虛擬現(xiàn)實(shí)與人機(jī)交互數(shù)字媒體內(nèi)容制作技術(shù)主要研究內(nèi)容：文字、圖像、音視頻信息數(shù)字化處理與合成的新技術(shù)；電影/動(dòng)漫特效制作和數(shù)字影音內(nèi)容制作的新技術(shù)；游戲、動(dòng)漫等媒體內(nèi)容網(wǎng)絡(luò)化協(xié)同創(chuàng)作技術(shù)；支持?jǐn)?shù)字媒體內(nèi)容制作的圖形圖像處理新技術(shù)等。17第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)應(yīng)用發(fā)展的趨勢(shì)虛擬現(xiàn)實(shí)與人機(jī)交互數(shù)字媒體處理與服務(wù)技術(shù)主要研究內(nèi)容：數(shù)字媒體內(nèi)容集成與分發(fā)的關(guān)鍵技術(shù)；數(shù)字媒體海量信息管理與基于內(nèi)容檢索的

9、關(guān)鍵技術(shù)；提升數(shù)字媒體制作效率或精度的CG新技術(shù)；視音頻編解碼新技術(shù)等。18第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)應(yīng)用發(fā)展的趨勢(shì)虛擬現(xiàn)實(shí)與人機(jī)交互支持人機(jī)交互的顯示技術(shù)主要研究內(nèi)容：視覺、聽覺、觸覺等感知信息處理和顯示技術(shù)；虛擬環(huán)境中的多通道交互信息融合與顯示技術(shù)；可伸縮的高分辨率投影顯示技術(shù)；沉浸感的新型顯示方法與技術(shù)等。19第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)應(yīng)用發(fā)展的趨勢(shì)虛擬現(xiàn)實(shí)與人機(jī)交互分布式虛擬現(xiàn)實(shí)與數(shù)字媒體技術(shù)主要研究內(nèi)容：分布式大規(guī)模虛擬環(huán)境構(gòu)建與時(shí)空管理技術(shù)；支持分布式大規(guī)模虛擬仿真應(yīng)用的并行計(jì)算技術(shù)；分布式應(yīng)用環(huán)境中多用戶

10、遠(yuǎn)程協(xié)同交互技術(shù)等。20第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)應(yīng)用發(fā)展的趨勢(shì)虛擬現(xiàn)實(shí)與人機(jī)交互虛擬現(xiàn)實(shí)應(yīng)用系統(tǒng)集成開發(fā)環(huán)境研究目標(biāo)：構(gòu)建由工具和平臺(tái)組成的，能夠支持虛擬現(xiàn)實(shí)技術(shù)研究、應(yīng)用系統(tǒng)開發(fā)和效能分析評(píng)價(jià)的綜合集成環(huán)境。主要研究內(nèi)容：虛擬環(huán)境和對(duì)象高效建模的新型技術(shù)，虛擬現(xiàn)實(shí)應(yīng)用系統(tǒng)開發(fā)、測(cè)試、發(fā)布和體驗(yàn)的關(guān)鍵技術(shù)，虛擬現(xiàn)實(shí)系統(tǒng)效能的驗(yàn)證與評(píng)判技術(shù)，千兆級(jí)復(fù)雜度的虛擬環(huán)境驅(qū)動(dòng)引擎技術(shù)，支持虛擬現(xiàn)實(shí)相關(guān)技術(shù)研究的分布計(jì)算環(huán)境。21第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)應(yīng)用發(fā)展的趨勢(shì)虛擬現(xiàn)實(shí)與人機(jī)交互支持?jǐn)?shù)字媒體內(nèi)容創(chuàng)作的集成環(huán)境研究目標(biāo)：構(gòu)

11、建能夠支持動(dòng)漫、游戲、數(shù)字影視等數(shù)字媒體產(chǎn)品開發(fā)的創(chuàng)作工具集和通用引擎。主要研究內(nèi)容：支持大規(guī)模網(wǎng)絡(luò)協(xié)作式內(nèi)容創(chuàng)作的關(guān)鍵技術(shù)，網(wǎng)絡(luò)游戲通用引擎開發(fā)的關(guān)鍵技術(shù)，高效的對(duì)象造型與非線性編輯技術(shù)；支持多種媒體融合的建模技術(shù)與創(chuàng)作工具，高效的數(shù)字媒體渲染服務(wù)新技術(shù)。22第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)應(yīng)用發(fā)展的趨勢(shì)虛擬現(xiàn)實(shí)與人機(jī)交互支持大型公共設(shè)施安全問題研究的系統(tǒng)原型研究目標(biāo)：建構(gòu)能支持對(duì)大型公共建筑或重要公共基礎(chǔ)設(shè)施危機(jī)處置預(yù)案進(jìn)行研究與評(píng)估的系統(tǒng)原型。主要研究內(nèi)容：復(fù)雜場(chǎng)景和大規(guī)模實(shí)體建模技術(shù)，安全危機(jī)過程的建模、控制和可視化體驗(yàn)技術(shù)，安全危機(jī)處置預(yù)案可視化編輯和

12、分析決策支持技術(shù)，安全危機(jī)處置效果的分析驗(yàn)證技術(shù)。主要指標(biāo)：虛擬場(chǎng)景中的實(shí)體規(guī)模數(shù)應(yīng)大于五萬個(gè)、環(huán)境規(guī)模應(yīng)大于100平方公里或建筑面積大于10萬平方米；實(shí)現(xiàn)的虛擬環(huán)境能夠隨現(xiàn)實(shí)世界的自然變化過程而實(shí)時(shí)生成新的環(huán)境。 23第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)應(yīng)用發(fā)展的趨勢(shì)虛擬現(xiàn)實(shí)與人機(jī)交互支持大規(guī)模綜合訓(xùn)練的集成環(huán)境研究目標(biāo)：構(gòu)建能夠支持重大問題決策分析的，集大規(guī)模人員、裝備及相關(guān)環(huán)境設(shè)施為一體的綜合訓(xùn)練集成環(huán)境。主要研究內(nèi)容：大規(guī)模訓(xùn)練所需環(huán)境的建模與實(shí)時(shí)繪制技術(shù)，復(fù)雜虛擬實(shí)體及大規(guī)模群體建模技術(shù)，多模式人機(jī)交互技術(shù)，訓(xùn)練過程實(shí)時(shí)控制和綜合效能分析技術(shù)。主要指標(biāo)：訓(xùn)

13、練環(huán)境應(yīng)包括綜合自然環(huán)境和公共基礎(chǔ)設(shè)施環(huán)境等，訓(xùn)練虛擬實(shí)體數(shù)達(dá)到1萬個(gè)以上，虛擬聚合類實(shí)體應(yīng)能達(dá)到數(shù)十萬人以上，能夠支持虛實(shí)結(jié)合和人機(jī)結(jié)合的訓(xùn)練。24第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)應(yīng)用發(fā)展的趨勢(shì)虛擬現(xiàn)實(shí)與人機(jī)交互支持城市環(huán)境規(guī)劃設(shè)計(jì)的集成環(huán)境研究目標(biāo)：構(gòu)建能夠?qū)Τ鞘协h(huán)境或基礎(chǔ)設(shè)施進(jìn)行規(guī)劃設(shè)計(jì)的工具集和資源管理平臺(tái)。主要研究內(nèi)容：支持規(guī)劃設(shè)計(jì)中相關(guān)環(huán)境和社會(huì)活動(dòng)建模繪制技術(shù)，相關(guān)數(shù)字媒體處理、編輯和集成展示技術(shù)，虛實(shí)結(jié)合的增強(qiáng)型虛擬環(huán)境生成技術(shù)，規(guī)劃設(shè)計(jì)的決策分析和效果評(píng)價(jià)方法與技術(shù)。主要指標(biāo)：能夠?qū)崿F(xiàn)城市級(jí)（100平方公里以上）規(guī)模的規(guī)劃設(shè)計(jì)，應(yīng)具有可視化的設(shè)

14、計(jì)、體驗(yàn)和決策分析功能。25第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 1 概述多媒體技術(shù)應(yīng)用發(fā)展的趨勢(shì)虛擬現(xiàn)實(shí)與人機(jī)交互支持先進(jìn)裝備模擬訓(xùn)練的系統(tǒng)原型研究目標(biāo)：選擇先進(jìn)的實(shí)用裝備或設(shè)備，集成開發(fā)出符合實(shí)際裝備訓(xùn)練需求的虛擬現(xiàn)實(shí)系統(tǒng)原型。主要研究內(nèi)容：復(fù)雜裝備/設(shè)備系統(tǒng)的建模與展示技術(shù)，復(fù)雜裝備/設(shè)備動(dòng)態(tài)行為仿真建模技術(shù)，裝備系統(tǒng)訓(xùn)練的人機(jī)交互技術(shù)，支持模擬訓(xùn)練環(huán)境集成和系統(tǒng)實(shí)現(xiàn)的相關(guān)技術(shù)。主要指標(biāo)：所模擬的裝備性能和效能應(yīng)通過權(quán)威部門使用驗(yàn)證，支持裝備訓(xùn)練的真三維場(chǎng)景地形面積1000km2，能夠支持虛實(shí)裝備和操作人員相結(jié)合的訓(xùn)練。26第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 2 多媒體

15、系統(tǒng)所謂多媒體系統(tǒng)，是指多媒體終端設(shè)備、多媒體網(wǎng)絡(luò)設(shè)備、多媒體服務(wù)系統(tǒng)、多媒體軟件及有關(guān)的媒體數(shù)據(jù)組成的有機(jī)整體。當(dāng)多媒體系統(tǒng)只是單機(jī)系統(tǒng)時(shí)，可以只包含多媒體終端系統(tǒng)和相應(yīng)的軟件及數(shù)據(jù)，例如多媒體個(gè)人計(jì)算機(jī)MPC。而在大多數(shù)情況下，多媒體系統(tǒng)是以網(wǎng)絡(luò)形式出現(xiàn)的。至少在概念上應(yīng)該以網(wǎng)絡(luò)互聯(lián)的。27第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 2 多媒體系統(tǒng)多媒體系統(tǒng)信息系統(tǒng)的新形式所謂“信息系統(tǒng)”，是指提供信息、輔助人們對(duì)環(huán)境進(jìn)行控制和決策的系統(tǒng)，是人、機(jī)器、思想及收集與處理活動(dòng)的集合。特性：整體性、結(jié)構(gòu)性和各組織成分間的交互性28第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 2 多媒體系統(tǒng)傳統(tǒng)

16、的信息系統(tǒng) 多媒體信息系統(tǒng) 多媒體信息系統(tǒng)集成的范圍更為廣泛 使用的信息真正的實(shí)現(xiàn)多媒體化 多媒體信息系統(tǒng)的應(yīng)用范圍更加廣泛29第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 2 多媒體系統(tǒng)多媒體系統(tǒng)的分類多媒體計(jì)算系統(tǒng)和多媒體通信系統(tǒng)廣義：信息系統(tǒng)包含所有與信息獲取、信息處理、信息分發(fā)、信息顯示等完整過程有關(guān)的設(shè)備和內(nèi)容。多媒體信息系統(tǒng)包括：計(jì)算機(jī)設(shè)備、數(shù)據(jù)庫系統(tǒng)、多媒體通信網(wǎng)、用戶接口等各個(gè)部分。其中，有關(guān)計(jì)算機(jī)的信息處理部分被稱為計(jì)算系統(tǒng)，而將通信部分看作是支持信息系統(tǒng)的信息傳輸通道，即通信系統(tǒng)。30第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 2 多媒體系統(tǒng)多媒體系統(tǒng)與分布式系統(tǒng)在我們的

17、課程中，如果不做特殊的說明，我們所說的多媒體系統(tǒng)應(yīng)該是一個(gè)分布式的多媒體系統(tǒng)。系統(tǒng)中應(yīng)該具備：全局名稱空間、客戶服務(wù)器計(jì)算、全局時(shí)鐘和分布對(duì)象管理等方面的能力，使得多媒體的資源能在更大的范圍共享。31第 一 章 緒 論1. 什么是多媒體系統(tǒng)1. 3 多媒體系統(tǒng)的應(yīng)用及分類多媒體出版多媒體辦公自動(dòng)化和計(jì)算機(jī)會(huì)議系統(tǒng)多媒體信息咨詢系統(tǒng)交互式數(shù)字化電視與視頻點(diǎn)播數(shù)字化圖書館遠(yuǎn)程學(xué)習(xí)和遠(yuǎn)程醫(yī)療保健32第 一 章 緒 論2. 多媒體系統(tǒng)的主要特征 集成性 交互性 實(shí)時(shí)性 人機(jī)合作33第 一 章 緒 論2. 多媒體系統(tǒng)的主要特征2. 1 集成性集成是系統(tǒng)的一個(gè)飛躍。多媒體系統(tǒng)的集成性主要表現(xiàn)在兩個(gè)方面：

18、多媒體信息媒體的集成 處理這些媒體的設(shè)備與設(shè)施的集成34第 一 章 緒 論2. 多媒體系統(tǒng)的主要特征2. 1 集成性計(jì)算、通信和消費(fèi)娛樂領(lǐng)域的融合融合35第 一 章 緒 論2. 多媒體系統(tǒng)的主要特征2. 1 集成性36第 一 章 緒 論2. 多媒體系統(tǒng)的主要特征 集成性 交互性 實(shí)時(shí)性 人機(jī)合作37第 一 章 緒 論2. 多媒體系統(tǒng)的主要特征2. 2 交互性多媒體系統(tǒng)將向用戶提供交互式使用、加工和控制信息的手段。提高人對(duì)信息的表現(xiàn)形式的選擇和控制能力；提高信息表現(xiàn)形式與人的邏輯和創(chuàng)造能力結(jié)合的程度。38第 一 章 緒 論2. 多媒體系統(tǒng)的主要特征2. 2 交互性39第 一 章 緒 論2. 多媒體系統(tǒng)的主要特征 集成性 交互性 實(shí)時(shí)性 人機(jī)合作40第 一 章 緒 論2. 多媒體系統(tǒng)的主要特征2. 3 實(shí)時(shí)性時(shí)間相關(guān)