多媒體技術第1章-1

多媒體技術基礎計算機與信息技術學院：倪蓉蓉教材林福宗．多媒體技術基礎（第三版）．北京：清華大學出版社，2009．參考書：(加)LiZN，DrewMS（著）．史元春等（譯）．多媒體技術教程．北京：機械工業(yè)出版社，2007．阮秋琦.數字圖像處理基礎.清華大學出版社倪蓉蓉專業(yè)：信號與信息處理單位：計算機學院信息科學研究所聯系方式： rrni@

九教北604（51683695）團隊主頁：

信息科學研究所招收的研究生專業(yè)：信號與信息處理模式識別與智能系統(tǒng)信息安全BeijingJiaotongUniversity計算機與信息技術學院信息科學研究所InstituteofInformationScience2.信息科學研究所簡介北京交通大學信息科學研究所（1）師資情況“教育部長江學者”獲得者1人“國家杰出青年科學基金”獲得者1人國家百千萬人才工程入選

1人北京科技百名領軍

1人“科技部重大基礎研究（973）信息領域”咨詢專家1人“國務院學位委員會學科評議組成員”1人“國家自然科學基金專家評議組成員”2人“國家級教學名師”1人“教育部新世紀優(yōu)秀人才”入選者3人“北京市科技新星計劃”入選者2人北京交通大學“紅果園人才計劃”

入選者6人

信息所教師由31名老、中、青科研人員組成。其中教授11名，副教授12人，講師8名。80%以上的成員有海外研究背景。北京交通大學信息科學研究所信息所自上世紀九十年代起，開始主持國家自然科學基金重大項目“超級智能視聽信息處理系統(tǒng)”等項目。近5年，信息所主持承擔了“973”、“863”、國家自然科學基金、鐵道部及軍工等縱向項目100多項，項目經費累計近7000萬。2012年科研經費1800萬。（2）科學研究北京交通大學信息科學研究所近年，信息所共獲得“北京市自然科學一、二等獎”、“教育部科技進步一等獎”、“教育部自然科學二等獎”、“國家教學名師獎”等各類獎項14項。獲獎承擔項目近五年，信息所取得了豐碩的學術成果。信息所成員在國際頂級期刊IEEETrans.OnKnowledgeandDataEngineering(TKDE)、IEEETrans.OnMultimedia(TMM)、IEEETrans.OnCircuitsandSys.forVideoTech.(TCSVT)、IEEETrans.OnSignalProcessing(TSP)、PatternRecognition

與國際會議上發(fā)表相關論文400余篇，其中SCI檢索論文100篇，授權發(fā)明專利30項。5篇論文獲國際會議最佳論文獎。學術成果北京交通大學信息科學研究所2023/2/3近年來，團隊與包括美國、英國、新加坡等十幾個國家的20多個科研院所建立了長期的合作關系,為國外留學生授予博士、碩士學位十余人次。承擔了中國-新加坡、中國-意大利等國際重大、重點等合作項目等。國際合作與交流北京交通大學信息科學研究所2023/2/3國際合作與交流自1990年起，團隊已連續(xù)主辦12屆IEEE國際信號處理（InternationalConferenceonSignalProcessing，ICSP）會議，在信號處理領域具有非常大的國內、國際影響力自2006年起，已連續(xù)承辦4屆IET國際無線、多媒體和移動網絡會議(ICWMMN)北京交通大學信息科學研究所國家級重點學科“信號與信息處理”信號與信息處理全國重點學科8個（2007年二級學科評估第5）清華大學、北京交通大學、北京郵電大學、北京理工大學、東南大學、電子科技大學、西安電子科技大學、中國科學技術大學“信號與信息處理”和“通信與信息系統(tǒng)”合并為國家一級重點學科–“通信與信息工程”（2012年一級學科評估全國排名并列第八）（3）學科建設北京交通大學信息科學研究所（3）學科建設北京交通大學信息科學研究所計算機視覺與數字媒體研究室信息科學研究所朱振峰（室主任）袁保宗阮秋琦趙耀劉渭濱倪蓉蓉楊唐文白慧慧安高云常冬霞韋世奎林春雨劉美琴現代信號處理與信息認證研究室孫冬梅（室主任）裘正定丁曉明章春娥王升輝泛在網絡與普適計算研究室朱維彬（室主任）苗振江梁滿貴劉湘黔萬麗莉信息感知與多維信號處理研究室趙瑞珍(室主任)胡紹海肖揚

趙帥鋒岑翼剛王東余貺祿張樹軍北京交通大學信息科學研究所（4）研究方向（5）科研平臺北京交通大學信息科學研究所211工程建設985工程優(yōu)勢學科創(chuàng)新平臺教育部創(chuàng)新團隊（5）科研平臺北京交通大學信息科學研究所信息所具有兩個省部級重點實驗室北京市重點實驗室“現代信息科學與網絡技術”鐵道部部級開放實驗室“鐵路信息科學與工程”（5）科研平臺北京交通大學信息科學研究所多視點視頻采集平臺立體實拍顯示平臺虛擬現實平臺博士后出站20余人畢業(yè)博士研究生100余人畢業(yè)碩士研究生700余人在讀博士研究生60余人在讀碩士研究生140余人北京交通大學信息科學研究所研究生培養(yǎng)情況（6）人才培養(yǎng)1名博士研究生獲全國優(yōu)秀百篇優(yōu)秀論文提名獎2名博士研究生獲北京市優(yōu)秀博士學位論文獎1名博士研究生獲中國計算機學會（CCF）優(yōu)秀博士論文獎2名博士入選了微軟亞洲研究院的“微軟青年學者鑄星計劃”畢業(yè)博士研究生100余人北京交通大學信息科學研究所（6）人才培養(yǎng)3.招生專業(yè)北京交通大學信息科學研究所信號與信息處理（081002）通信系統(tǒng)原理及應用（一）數字信號處理數據結構模式識別與智能系統(tǒng)（081104）數字信號處理

數據結構電子與信息工程（085208）

數字信號處理

通信系統(tǒng)原理及應用。學位碩士專業(yè)碩士招生人數、考試科目以研究生院的正式通知為準

智瑾專項獎學金、寶鋼優(yōu)秀學生獎學金、校友獎學金、華為技術獎學金、

尖峰獎學金等多項研究生獎學金，獎勵額度1000至10000元不等。

教育創(chuàng)新基金：優(yōu)秀博士生，5萬到8萬元項目經費。碩士生1-2萬。

優(yōu)秀論文獎：信息所每年對研究生發(fā)表論文評獎，獎金額度5000元。北京交通大學信息科學研究所優(yōu)秀研究生獎學金：北京交通大學信息科學研究所優(yōu)秀研究生(博士研究生)均有機會獲得公派出國進行3個月、一年及兩年聯合培養(yǎng)的機會。近幾年來，每年均有數名研究生赴美國、澳大利亞、英國、德國、新加坡、瑞士等國的著名高校聯合培養(yǎng)。國家留學基金委公派留學基金北京交通大學出國交流基金研究生導師根據科研項目需求安排的國際合作

交流聯合培養(yǎng)聯合培養(yǎng)經費來源北京交通大學信息科學研究所信息科學研究所Institute

ofInformationScience，IIS團隊介紹教育部創(chuàng)新團隊MePro常年招生本科生NameMePro

:

Center

of

Digital

Media

Information

ProcessingLeader:

Prof.

Yao

ZhaoAbout

30

teachersLeader:

Prof.

Yao

ZhaoAbout

8

teachershttp://Peopleinmepro8teachers1secretary10PhDstudents40MasterstudentsResearchdirections

Digital

Media

Information

Processing

Image/Video

Coding

and

TransmissionMedia

Content

SecurityMedia

Analysis

and

Understanding

3D

Image/Video

Coding;

HEVC;

etc.

1Watermarking;

Stegography;

Forensics2Computer

vision;

Analysis

and

Understanding;

Machine

Learning3Image,

Video,

Graph，etc.第1章多媒體技術概述第2章多媒體數據壓縮技術第3章音頻處理基礎第4章圖像處理基礎第5章視頻信息處理課程內容第1章多媒體技術概述1.1多媒體基本概念1.2多媒體計算機系統(tǒng)1.3多媒體技術的研究內容1.4多媒體技術的應用和發(fā)展1.1多媒體基本概念1.1.1媒體和多媒體1.1.2媒體的分類與特性1.1.3多媒體技術基本概念1.1多媒體基本概念1.1.1媒體和多媒體1.1.2媒體的分類與特性1.1.3多媒體技術基本概念1.1.1媒體和多媒體

媒體是人與人之間、人與計算機信息系統(tǒng)之間進行信息交流的介質，媒體信息傳遞和存儲的最基本的技術和手段，也就是信息的載體，是信息的表示形式。媒體1.1.1媒體和多媒體

廣義角度看，作為信息的載體，媒體有多種。傳統(tǒng)媒體：書刊報紙、廣播、電視；現代媒體：Internet、IPTV、電子雜志和手機短信等。媒體媒體要承載信息，所以媒體要能表示信息，媒體要能存儲信息，媒體還要傳輸信息。1.1.1媒體和多媒體表示信息媒體:

文字、音頻、圖形、圖像、動畫、視頻等文字音頻圖像媒體1.1.1媒體和多媒體存儲信息媒體:

紙、雜志、光盤、磁盤、磁帶等媒體紙磁盤光盤1.1.1媒體和多媒體傳輸信息媒體:

電纜、光纜、電磁波、互聯網、移動通訊等媒體廣播電臺電視臺手機短信1.1.1媒體和多媒體多媒體多媒體是指將多個不同但相互關聯的媒體綜合集成在一起而產生的一種傳播、存儲和表現的載體。通常，融合兩種或兩種以上的表示媒體。即指集文本、圖形、圖像、動畫、音頻、視頻為一體的綜合媒體形式。1.1.1媒體和多媒體多媒體多媒體的特征：1．多媒體是信息交流和傳播媒體。2．多媒體是人機交互式媒體。3．多媒體信息以數字形式存儲和傳輸。4．多媒體信息種類多，具有實時的特性。1.1.1媒體和多媒體多媒體多媒體的表現形式，如：計算機游戲、交互電視和基于計算機的訓練系統(tǒng)等。人人網上的游戲—餐廳自由選擇節(jié)目的交互電視模擬飛行訓練系統(tǒng)1.1多媒體技術概述1.1.1媒體和多媒體1.1.2媒體的分類與特性1.1.3多媒體技術基本概念1.1多媒體技術概述1.1.1媒體和多媒體1.1.2媒體的分類與特性1.1.3多媒體技術基本概念1.1.2多媒體的分類與特性多媒體分類國際電信聯盟ITU下屬的電信標準部(TSS)建議的ITU-TI.374定義媒體有五大類：

感覺媒體，表現媒體，表示媒體，存儲媒體，傳輸媒體InternationalTelecommunicationUnion1.1.2多媒體的分類與特性多媒體分類感覺媒體表現媒體表示媒體存儲媒體傳輸媒體

使人產生直接感覺的各種媒體。

表達和接收媒體信息的物理設備。

媒體信息在計算機中的存儲形式。

存儲媒體數據的物理設備。

傳輸媒體的數據物理設備。1.1.2多媒體的分類與特性多媒體分類計算機系統(tǒng)與各種媒體間的關系示意圖

感覺媒體感覺媒體輸入設備輸出設備CPU存儲器表現媒體表現媒體表示媒體表示媒體存儲媒體傳輸媒體1.1.2多媒體的分類與特性多媒體分類五種媒體間關系示意圖

1.1.2多媒體的分類與特性多媒體的特性

多媒體的多樣性多媒體的交互性多媒體的集成性多媒體的實時性多媒體具有一些共同的基本屬性，這些屬性使得多媒體的應用異彩紛呈。1.1.2多媒體的分類與特性多媒體的特性

多媒體的多樣性65%20%10%2%3%人類五大感覺所占信息量關系

媒體種類多樣性媒體信息的表現形式多樣性多媒體的應用形式多樣1.1.2多媒體的分類與特性多媒體的特性

多媒體的交互性

指人-機之間的信息交換關系交互功能的游戲1.1.2多媒體的分類與特性多媒體的特性

多媒體的集成性

信息媒體的集成媒體的設備和系統(tǒng)的集成左聲道右聲道右環(huán)繞中置低音炮左環(huán)繞低音炮系統(tǒng)和設備的集成聲音、圖像和文字的集成1.1.2多媒體的分類與特性多媒體的特性

多媒體的實時性

各種信息媒體在時間上必須是同步的《家有兒女》：圖像、語音、文字、背景音樂必須同步1.1多媒體技術概述1.1.1媒體和多媒體1.1.2媒體的分類與特性1.1.3多媒體技術基本概念1.1多媒體技術概述1.1.1媒體和多媒體1.1.2媒體的分類與特性1.1.3多媒體技術基本概念1.1.3多媒體技術基本概念多媒體技術所謂多媒體技術就是計算機交互式綜合處理多種媒體信息（如文本、圖形、圖像和聲音），使多種信息建立邏輯連接，集成為一個具有交互性系統(tǒng)的技術。簡言之，多媒體技術就是計算機綜合處理圖、文、聲、像信息，并具有集成性、交互性和實時性的技術。1.1.3多媒體技術基本概念多媒體技術多媒體計算機技術是指以數字化為基礎，能夠對多種媒體信息進行采集、編碼、存儲、傳輸、處理和表現，綜合處理多種媒體信息并使之建立起有機的邏輯聯系，集成為一個系統(tǒng)并能具有良好交互性的技術。1.1.3多媒體技術基本概念多媒體技術多媒體技術涉及面相當廣泛，主要包括:圖像處理：如靜態(tài)圖像和電視圖像的壓縮/解壓縮，動畫、圖形處理技術等。聲音處理：如聲音的壓縮/解壓縮、音樂合成、特定人與非特定人的語音識別、文字－語音轉換等。存儲技術：如光盤、磁光盤、磁帶等。多媒體通信：如局域網、廣域網、窄帶與寬帶綜合業(yè)務數據網絡等寬帶寬頻帶通信。1.1.3多媒體技術基本概念媒體對象多媒體技術研究的媒體對象主要有：

文字圖形圖像聲音動畫視頻文字符號圖形圖像動畫音頻視頻文字符號---記錄語言的書寫形式

1.1.3多媒體技術基本概念媒體對象媒體對象

文字文字是人類用來交際的符號系統(tǒng)，是記錄語言的書寫形式。計算機中的文字指組成計算機文本(text)文件的基本元素。純文字的文本文件常有.txt擴展名，而.doc則是Word所采用的加入了排版命令的特殊文本文件。文字用編碼(ASCII碼，GB—2312)的方式在計算機內存儲和交換。如ASCII碼：7位(擴展后8位)“Ａ”表示為01000001圖形---通過計算而描述的圖形文字符號圖形圖像動畫音頻視頻1.1.3多媒體技術基本概念媒體對象媒體對象

圖形圖形用一組指令集合來描述圖形的內容，如描述構成該圖的各種圖元位置維數、形狀等。描述對象可任意縮放不會失真。在顯示方面圖形使用專門軟件將描述圖形的指令轉換成屏幕上的形狀和顏色。適用于描述輪廓不很復雜，色彩不是很豐富的對象，如：幾何圖形、工程圖紙、CAD、3D造型軟件等。圖像---像素點描述的自然影像文字符號圖形圖像動畫音頻視頻1.1.3多媒體技術基本概念媒體對象文字符號圖形圖像動畫音頻視頻媒體對象媒體對象

圖像凡是能為人類視覺系統(tǒng)所感知的信息形式或人們心目中的有形想象統(tǒng)稱為圖像。是指由輸入設備捕捉的實際場景畫面，以數字化形式存儲的任意畫面。點陣圖像便是最基本的一種圖像形式，這些點稱之為像素點(pixel)，這種圖像稱為位圖（bitmap）。圖像除了可以表達真實的照片外，也可以表現復雜繪畫的細節(jié)，并具有靈活和富有創(chuàng)造力等特點。事實上，文字、圖形、視頻等媒體最終都是以圖像的形式出現。動畫---