多媒體技術(shù)第1章-1

多媒體技術(shù)基礎(chǔ)計(jì)算機(jī)與信息技術(shù)學(xué)院：倪蓉蓉教材林福宗．多媒體技術(shù)基礎(chǔ)（第三版）．北京：清華大學(xué)出版社，2009．參考書：(加)LiZN，DrewMS（著）．史元春等（譯）．多媒體技術(shù)教程．北京：機(jī)械工業(yè)出版社，2007．阮秋琦.數(shù)字圖像處理基礎(chǔ).清華大學(xué)出版社倪蓉蓉專業(yè)：信號(hào)與信息處理單位：計(jì)算機(jī)學(xué)院信息科學(xué)研究所聯(lián)系方式： rrni@

九教北604（51683695）團(tuán)隊(duì)主頁：

信息科學(xué)研究所招收的研究生專業(yè)：信號(hào)與信息處理模式識(shí)別與智能系統(tǒng)信息安全BeijingJiaotongUniversity計(jì)算機(jī)與信息技術(shù)學(xué)院信息科學(xué)研究所InstituteofInformationScience2.信息科學(xué)研究所簡介北京交通大學(xué)信息科學(xué)研究所（1）師資情況“教育部長江學(xué)者”獲得者1人“國家杰出青年科學(xué)基金”獲得者1人國家百千萬人才工程入選

1人北京科技百名領(lǐng)軍

1人“科技部重大基礎(chǔ)研究（973）信息領(lǐng)域”咨詢專家1人“國務(wù)院學(xué)位委員會(huì)學(xué)科評(píng)議組成員”1人“國家自然科學(xué)基金專家評(píng)議組成員”2人“國家級(jí)教學(xué)名師”1人“教育部新世紀(jì)優(yōu)秀人才”入選者3人“北京市科技新星計(jì)劃”入選者2人北京交通大學(xué)“紅果園人才計(jì)劃”

入選者6人

信息所教師由31名老、中、青科研人員組成。其中教授11名，副教授12人，講師8名。80%以上的成員有海外研究背景。北京交通大學(xué)信息科學(xué)研究所信息所自上世紀(jì)九十年代起，開始主持國家自然科學(xué)基金重大項(xiàng)目“超級(jí)智能視聽信息處理系統(tǒng)”等項(xiàng)目。近5年，信息所主持承擔(dān)了“973”、“863”、國家自然科學(xué)基金、鐵道部及軍工等縱向項(xiàng)目100多項(xiàng)，項(xiàng)目經(jīng)費(fèi)累計(jì)近7000萬。2012年科研經(jīng)費(fèi)1800萬。（2）科學(xué)研究北京交通大學(xué)信息科學(xué)研究所近年，信息所共獲得“北京市自然科學(xué)一、二等獎(jiǎng)”、“教育部科技進(jìn)步一等獎(jiǎng)”、“教育部自然科學(xué)二等獎(jiǎng)”、“國家教學(xué)名師獎(jiǎng)”等各類獎(jiǎng)項(xiàng)14項(xiàng)。獲獎(jiǎng)承擔(dān)項(xiàng)目近五年，信息所取得了豐碩的學(xué)術(shù)成果。信息所成員在國際頂級(jí)期刊IEEETrans.OnKnowledgeandDataEngineering(TKDE)、IEEETrans.OnMultimedia(TMM)、IEEETrans.OnCircuitsandSys.forVideoTech.(TCSVT)、IEEETrans.OnSignalProcessing(TSP)、PatternRecognition

與國際會(huì)議上發(fā)表相關(guān)論文400余篇，其中SCI檢索論文100篇，授權(quán)發(fā)明專利30項(xiàng)。5篇論文獲國際會(huì)議最佳論文獎(jiǎng)。學(xué)術(shù)成果北京交通大學(xué)信息科學(xué)研究所2023/2/3近年來，團(tuán)隊(duì)與包括美國、英國、新加坡等十幾個(gè)國家的20多個(gè)科研院所建立了長期的合作關(guān)系,為國外留學(xué)生授予博士、碩士學(xué)位十余人次。承擔(dān)了中國-新加坡、中國-意大利等國際重大、重點(diǎn)等合作項(xiàng)目等。國際合作與交流北京交通大學(xué)信息科學(xué)研究所2023/2/3國際合作與交流自1990年起，團(tuán)隊(duì)已連續(xù)主辦12屆IEEE國際信號(hào)處理（InternationalConferenceonSignalProcessing，ICSP）會(huì)議，在信號(hào)處理領(lǐng)域具有非常大的國內(nèi)、國際影響力自2006年起，已連續(xù)承辦4屆IET國際無線、多媒體和移動(dòng)網(wǎng)絡(luò)會(huì)議(ICWMMN)北京交通大學(xué)信息科學(xué)研究所國家級(jí)重點(diǎn)學(xué)科“信號(hào)與信息處理”信號(hào)與信息處理全國重點(diǎn)學(xué)科8個(gè)（2007年二級(jí)學(xué)科評(píng)估第5）清華大學(xué)、北京交通大學(xué)、北京郵電大學(xué)、北京理工大學(xué)、東南大學(xué)、電子科技大學(xué)、西安電子科技大學(xué)、中國科學(xué)技術(shù)大學(xué)“信號(hào)與信息處理”和“通信與信息系統(tǒng)”合并為國家一級(jí)重點(diǎn)學(xué)科–“通信與信息工程”（2012年一級(jí)學(xué)科評(píng)估全國排名并列第八）（3）學(xué)科建設(shè)北京交通大學(xué)信息科學(xué)研究所（3）學(xué)科建設(shè)北京交通大學(xué)信息科學(xué)研究所計(jì)算機(jī)視覺與數(shù)字媒體研究室信息科學(xué)研究所朱振峰（室主任）袁保宗阮秋琦趙耀劉渭濱倪蓉蓉楊唐文白慧慧安高云常冬霞韋世奎林春雨劉美琴現(xiàn)代信號(hào)處理與信息認(rèn)證研究室孫冬梅（室主任）裘正定丁曉明章春娥王升輝泛在網(wǎng)絡(luò)與普適計(jì)算研究室朱維彬（室主任）苗振江梁滿貴劉湘黔萬麗莉信息感知與多維信號(hào)處理研究室趙瑞珍(室主任)胡紹海肖揚(yáng)

趙帥鋒岑翼剛王東余貺祿張樹軍北京交通大學(xué)信息科學(xué)研究所（4）研究方向（5）科研平臺(tái)北京交通大學(xué)信息科學(xué)研究所211工程建設(shè)985工程優(yōu)勢學(xué)科創(chuàng)新平臺(tái)教育部創(chuàng)新團(tuán)隊(duì)（5）科研平臺(tái)北京交通大學(xué)信息科學(xué)研究所信息所具有兩個(gè)省部級(jí)重點(diǎn)實(shí)驗(yàn)室北京市重點(diǎn)實(shí)驗(yàn)室“現(xiàn)代信息科學(xué)與網(wǎng)絡(luò)技術(shù)”鐵道部部級(jí)開放實(shí)驗(yàn)室“鐵路信息科學(xué)與工程”（5）科研平臺(tái)北京交通大學(xué)信息科學(xué)研究所多視點(diǎn)視頻采集平臺(tái)立體實(shí)拍顯示平臺(tái)虛擬現(xiàn)實(shí)平臺(tái)博士后出站20余人畢業(yè)博士研究生100余人畢業(yè)碩士研究生700余人在讀博士研究生60余人在讀碩士研究生140余人北京交通大學(xué)信息科學(xué)研究所研究生培養(yǎng)情況（6）人才培養(yǎng)1名博士研究生獲全國優(yōu)秀百篇優(yōu)秀論文提名獎(jiǎng)2名博士研究生獲北京市優(yōu)秀博士學(xué)位論文獎(jiǎng)1名博士研究生獲中國計(jì)算機(jī)學(xué)會(huì)（CCF）優(yōu)秀博士論文獎(jiǎng)2名博士入選了微軟亞洲研究院的“微軟青年學(xué)者鑄星計(jì)劃”畢業(yè)博士研究生100余人北京交通大學(xué)信息科學(xué)研究所（6）人才培養(yǎng)3.招生專業(yè)北京交通大學(xué)信息科學(xué)研究所信號(hào)與信息處理（081002）通信系統(tǒng)原理及應(yīng)用（一）數(shù)字信號(hào)處理數(shù)據(jù)結(jié)構(gòu)模式識(shí)別與智能系統(tǒng)（081104）數(shù)字信號(hào)處理

數(shù)據(jù)結(jié)構(gòu)電子與信息工程（085208）

數(shù)字信號(hào)處理

通信系統(tǒng)原理及應(yīng)用。學(xué)位碩士專業(yè)碩士招生人數(shù)、考試科目以研究生院的正式通知為準(zhǔn)

智瑾專項(xiàng)獎(jiǎng)學(xué)金、寶鋼優(yōu)秀學(xué)生獎(jiǎng)學(xué)金、校友獎(jiǎng)學(xué)金、華為技術(shù)獎(jiǎng)學(xué)金、

尖峰獎(jiǎng)學(xué)金等多項(xiàng)研究生獎(jiǎng)學(xué)金，獎(jiǎng)勵(lì)額度1000至10000元不等。

教育創(chuàng)新基金：優(yōu)秀博士生，5萬到8萬元項(xiàng)目經(jīng)費(fèi)。碩士生1-2萬。

優(yōu)秀論文獎(jiǎng)：信息所每年對(duì)研究生發(fā)表論文評(píng)獎(jiǎng)，獎(jiǎng)金額度5000元。北京交通大學(xué)信息科學(xué)研究所優(yōu)秀研究生獎(jiǎng)學(xué)金：北京交通大學(xué)信息科學(xué)研究所優(yōu)秀研究生(博士研究生)均有機(jī)會(huì)獲得公派出國進(jìn)行3個(gè)月、一年及兩年聯(lián)合培養(yǎng)的機(jī)會(huì)。近幾年來，每年均有數(shù)名研究生赴美國、澳大利亞、英國、德國、新加坡、瑞士等國的著名高校聯(lián)合培養(yǎng)。國家留學(xué)基金委公派留學(xué)基金北京交通大學(xué)出國交流基金研究生導(dǎo)師根據(jù)科研項(xiàng)目需求安排的國際合作

交流聯(lián)合培養(yǎng)聯(lián)合培養(yǎng)經(jīng)費(fèi)來源北京交通大學(xué)信息科學(xué)研究所信息科學(xué)研究所Institute

ofInformationScience，IIS團(tuán)隊(duì)介紹教育部創(chuàng)新團(tuán)隊(duì)MePro常年招生本科生NameMePro

:

Center

of

Digital

Media

Information

ProcessingLeader:

Prof.

Yao

ZhaoAbout

30

teachersLeader:

Prof.

Yao

ZhaoAbout

8

teachershttp://Peopleinmepro8teachers1secretary10PhDstudents40MasterstudentsResearchdirections

Digital

Media

Information

Processing

Image/Video

Coding

and

TransmissionMedia

Content

SecurityMedia

Analysis

and

Understanding

3D

Image/Video

Coding;

HEVC;

etc.

1Watermarking;

Stegography;

Forensics2Computer

vision;

Analysis

and

Understanding;

Machine

Learning3Image,

Video,

Graph，etc.第1章多媒體技術(shù)概述第2章多媒體數(shù)據(jù)壓縮技術(shù)第3章音頻處理基礎(chǔ)第4章圖像處理基礎(chǔ)第5章視頻信息處理課程內(nèi)容第1章多媒體技術(shù)概述1.1多媒體基本概念1.2多媒體計(jì)算機(jī)系統(tǒng)1.3多媒體技術(shù)的研究內(nèi)容1.4多媒體技術(shù)的應(yīng)用和發(fā)展1.1多媒體基本概念1.1.1媒體和多媒體1.1.2媒體的分類與特性1.1.3多媒體技術(shù)基本概念1.1多媒體基本概念1.1.1媒體和多媒體1.1.2媒體的分類與特性1.1.3多媒體技術(shù)基本概念1.1.1媒體和多媒體

媒體是人與人之間、人與計(jì)算機(jī)信息系統(tǒng)之間進(jìn)行信息交流的介質(zhì)，媒體信息傳遞和存儲(chǔ)的最基本的技術(shù)和手段，也就是信息的載體，是信息的表示形式。媒體1.1.1媒體和多媒體

廣義角度看，作為信息的載體，媒體有多種。傳統(tǒng)媒體：書刊報(bào)紙、廣播、電視；現(xiàn)代媒體：Internet、IPTV、電子雜志和手機(jī)短信等。媒體媒體要承載信息，所以媒體要能表示信息，媒體要能存儲(chǔ)信息，媒體還要傳輸信息。1.1.1媒體和多媒體表示信息媒體:

文字、音頻、圖形、圖像、動(dòng)畫、視頻等文字音頻圖像媒體1.1.1媒體和多媒體存儲(chǔ)信息媒體:

紙、雜志、光盤、磁盤、磁帶等媒體紙磁盤光盤1.1.1媒體和多媒體傳輸信息媒體:

電纜、光纜、電磁波、互聯(lián)網(wǎng)、移動(dòng)通訊等媒體廣播電臺(tái)電視臺(tái)手機(jī)短信1.1.1媒體和多媒體多媒體多媒體是指將多個(gè)不同但相互關(guān)聯(lián)的媒體綜合集成在一起而產(chǎn)生的一種傳播、存儲(chǔ)和表現(xiàn)的載體。通常，融合兩種或兩種以上的表示媒體。即指集文本、圖形、圖像、動(dòng)畫、音頻、視頻為一體的綜合媒體形式。1.1.1媒體和多媒體多媒體多媒體的特征：1．多媒體是信息交流和傳播媒體。2．多媒體是人機(jī)交互式媒體。3．多媒體信息以數(shù)字形式存儲(chǔ)和傳輸。4．多媒體信息種類多，具有實(shí)時(shí)的特性。1.1.1媒體和多媒體多媒體多媒體的表現(xiàn)形式，如：計(jì)算機(jī)游戲、交互電視和基于計(jì)算機(jī)的訓(xùn)練系統(tǒng)等。人人網(wǎng)上的游戲—餐廳自由選擇節(jié)目的交互電視模擬飛行訓(xùn)練系統(tǒng)1.1多媒體技術(shù)概述1.1.1媒體和多媒體1.1.2媒體的分類與特性1.1.3多媒體技術(shù)基本概念1.1多媒體技術(shù)概述1.1.1媒體和多媒體1.1.2媒體的分類與特性1.1.3多媒體技術(shù)基本概念1.1.2多媒體的分類與特性多媒體分類國際電信聯(lián)盟ITU下屬的電信標(biāo)準(zhǔn)部(TSS)建議的ITU-TI.374定義媒體有五大類：

感覺媒體，表現(xiàn)媒體，表示媒體，存儲(chǔ)媒體，傳輸媒體InternationalTelecommunicationUnion1.1.2多媒體的分類與特性多媒體分類感覺媒體表現(xiàn)媒體表示媒體存儲(chǔ)媒體傳輸媒體

使人產(chǎn)生直接感覺的各種媒體。

表達(dá)和接收媒體信息的物理設(shè)備。

媒體信息在計(jì)算機(jī)中的存儲(chǔ)形式。

存儲(chǔ)媒體數(shù)據(jù)的物理設(shè)備。

傳輸媒體的數(shù)據(jù)物理設(shè)備。1.1.2多媒體的分類與特性多媒體分類計(jì)算機(jī)系統(tǒng)與各種媒體間的關(guān)系示意圖

感覺媒體感覺媒體輸入設(shè)備輸出設(shè)備CPU存儲(chǔ)器表現(xiàn)媒體表現(xiàn)媒體表示媒體表示媒體存儲(chǔ)媒體傳輸媒體1.1.2多媒體的分類與特性多媒體分類五種媒體間關(guān)系示意圖

1.1.2多媒體的分類與特性多媒體的特性

多媒體的多樣性多媒體的交互性多媒體的集成性多媒體的實(shí)時(shí)性多媒體具有一些共同的基本屬性，這些屬性使得多媒體的應(yīng)用異彩紛呈。1.1.2多媒體的分類與特性多媒體的特性

多媒體的多樣性65%20%10%2%3%人類五大感覺所占信息量關(guān)系

媒體種類多樣性媒體信息的表現(xiàn)形式多樣性多媒體的應(yīng)用形式多樣1.1.2多媒體的分類與特性多媒體的特性

多媒體的交互性

指人-機(jī)之間的信息交換關(guān)系交互功能的游戲1.1.2多媒體的分類與特性多媒體的特性

多媒體的集成性

信息媒體的集成媒體的設(shè)備和系統(tǒng)的集成左聲道右聲道右環(huán)繞中置低音炮左環(huán)繞低音炮系統(tǒng)和設(shè)備的集成聲音、圖像和文字的集成1.1.2多媒體的分類與特性多媒體的特性

多媒體的實(shí)時(shí)性

各種信息媒體在時(shí)間上必須是同步的《家有兒女》：圖像、語音、文字、背景音樂必須同步1.1多媒體技術(shù)概述1.1.1媒體和多媒體1.1.2媒體的分類與特性1.1.3多媒體技術(shù)基本概念1.1多媒體技術(shù)概述1.1.1媒體和多媒體1.1.2媒體的分類與特性1.1.3多媒體技術(shù)基本概念1.1.3多媒體技術(shù)基本概念多媒體技術(shù)所謂多媒體技術(shù)就是計(jì)算機(jī)交互式綜合處理多種媒體信息（如文本、圖形、圖像和聲音），使多種信息建立邏輯連接，集成為一個(gè)具有交互性系統(tǒng)的技術(shù)。簡言之，多媒體技術(shù)就是計(jì)算機(jī)綜合處理圖、文、聲、像信息，并具有集成性、交互性和實(shí)時(shí)性的技術(shù)。1.1.3多媒體技術(shù)基本概念多媒體技術(shù)多媒體計(jì)算機(jī)技術(shù)是指以數(shù)字化為基礎(chǔ)，能夠?qū)Χ喾N媒體信息進(jìn)行采集、編碼、存儲(chǔ)、傳輸、處理和表現(xiàn)，綜合處理多種媒體信息并使之建立起有機(jī)的邏輯聯(lián)系，集成為一個(gè)系統(tǒng)并能具有良好交互性的技術(shù)。1.1.3多媒體技術(shù)基本概念多媒體技術(shù)多媒體技術(shù)涉及面相當(dāng)廣泛，主要包括:圖像處理：如靜態(tài)圖像和電視圖像的壓縮/解壓縮，動(dòng)畫、圖形處理技術(shù)等。聲音處理：如聲音的壓縮/解壓縮、音樂合成、特定人與非特定人的語音識(shí)別、文字－語音轉(zhuǎn)換等。存儲(chǔ)技術(shù)：如光盤、磁光盤、磁帶等。多媒體通信：如局域網(wǎng)、廣域網(wǎng)、窄帶與寬帶綜合業(yè)務(wù)數(shù)據(jù)網(wǎng)絡(luò)等寬帶寬頻帶通信。1.1.3多媒體技術(shù)基本概念媒體對(duì)象多媒體技術(shù)研究的媒體對(duì)象主要有：

文字圖形圖像聲音動(dòng)畫視頻文字符號(hào)圖形圖像動(dòng)畫音頻視頻文字符號(hào)---記錄語言的書寫形式

1.1.3多媒體技術(shù)基本概念媒體對(duì)象媒體對(duì)象

文字文字是人類用來交際的符號(hào)系統(tǒng)，是記錄語言的書寫形式。計(jì)算機(jī)中的文字指組成計(jì)算機(jī)文本(text)文件的基本元素。純文字的文本文件常有.txt擴(kuò)展名，而.doc則是Word所采用的加入了排版命令的特殊文本文件。文字用編碼(ASCII碼，GB—2312)的方式在計(jì)算機(jī)內(nèi)存儲(chǔ)和交換。如ASCII碼：7位(擴(kuò)展后8位)“Ａ”表示為01000001圖形---通過計(jì)算而描述的圖形文字符號(hào)圖形圖像動(dòng)畫音頻視頻1.1.3多媒體技術(shù)基本概念媒體對(duì)象媒體對(duì)象

圖形圖形用一組指令集合來描述圖形的內(nèi)容，如描述構(gòu)成該圖的各種圖元位置維數(shù)、形狀等。描述對(duì)象可任意縮放不會(huì)失真。在顯示方面圖形使用專門軟件將描述圖形的指令轉(zhuǎn)換成屏幕上的形狀和顏色。適用于描述輪廓不很復(fù)雜，色彩不是很豐富的對(duì)象，如：幾何圖形、工程圖紙、CAD、3D造型軟件等。圖像---像素點(diǎn)描述的自然影像文字符號(hào)圖形圖像動(dòng)畫音頻視頻1.1.3多媒體技術(shù)基本概念媒體對(duì)象文字符號(hào)圖形圖像動(dòng)畫音頻視頻媒體對(duì)象媒體對(duì)象

圖像凡是能為人類視覺系統(tǒng)所感知的信息形式或人們心目中的有形想象統(tǒng)稱為圖像。是指由輸入設(shè)備捕捉的實(shí)際場景畫面，以數(shù)字化形式存儲(chǔ)的任意畫面。點(diǎn)陣圖像便是最基本的一種圖像形式，這些點(diǎn)稱之為像素點(diǎn)(pixel)，這種圖像稱為位圖（bitmap）。圖像除了可以表達(dá)真實(shí)的照片外，也可以表現(xiàn)復(fù)雜繪畫的細(xì)節(jié)，并具有靈活和富有創(chuàng)造力等特點(diǎn)。事實(shí)上，文字、圖形、視頻等媒體最終都是以圖像的形式出現(xiàn)。動(dòng)畫---