第5章 多媒體數據格式及流媒體技術

1、第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 第第5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 5.1 圖像文件格式圖像文件格式 5.2 聲音文件格式聲音文件格式 5.3 流媒體技術流媒體技術 練習與思考題練習與思考題 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 5.1 圖像文件格式圖像文件格式 在圖像數據文件中， 通常包含圖像尺寸（寬度和高度）、 顏色信息（彩色模型、 深度和調色板等）、 組織結構（色彩平面或圖像平面）、 壓縮編碼方式、 位和字節(jié)順序（低位在前或高位在前）等信息。 常見的圖像文件格式有以下13種。 第第5 5章

2、章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 1. GIF文件格式（*.GIF） GIF是圖形交換格式(Graphics Interchange Format)的英文縮寫， 是由CompuServe公司于20世紀80年代推出的一種高壓縮比的彩色圖像文件格式， 它支持的圖像顏色可以多達256色， 采用無損數據壓縮方法中壓縮效率較高的LZW(Lempel Ziv Welch)算法， 主要用于圖像文件的網絡傳輸。 考慮到網絡傳輸中的實際情況， GIF圖像格式除了一般的逐行顯示方式之外， 還增加了漸顯方式， 也就是說， 在圖像傳輸過程中， 第第5 5章章 多媒體數據格式及流媒體技術多媒體數

3、據格式及流媒體技術 大致輪廓， 然后隨著傳輸過程的繼續(xù)而逐漸看清圖像的細節(jié)部分， 從而適應用戶的觀賞心理， 這種方式以后也被其他圖像格式所采用， 如JPEG/JPG等。 最初， GIF只是用來存儲單幅靜止圖像， 稱GIF87a， 后來， 又進一步發(fā)展成為GIF89a， 可以同時存儲若干幅靜止圖像并進而形成連續(xù)的動畫。 目前Internet上大量采用的彩色動畫文件多為這種格式的GIF文件。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 2. Flic文件格式（*.FLI/*.FLC） Flic文件是Autodesk公司在其出品的Autodesk Animator/Anim

4、ator Pro/3D Studio等2D/3D動畫制作軟件中采用的彩色動畫文件格式。 其中， *.FLI是最初的基于320200分辨率的動畫文件格式， 而*.FLC則是*.FLI的進一步擴展， 采用了更高效的數據壓縮技術， 其分辨率也不再局限于320200。 Flic文件采用游程編碼算法和Delta算法進行無損的數據壓縮， 首先壓縮并保存整個動畫序列中的第一幅圖像， 然后逐幀計算前后兩幅相鄰圖像的差異或改變部分， 并對這部分數據進行游程編碼壓縮。 由于動畫序列中前后相鄰圖像的差別通常不大， 因此采用行程編碼可以得到相當高的數據壓縮率。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式

5、及流媒體技術 GIF和Flic文件通常用來表示由計算機生成的動畫序列， 其圖像相對比較簡單， 因此可以得到比較高的無損壓縮率， 文件尺寸也不大。 然而， 對于來自外部世界的真實而復雜的影像信息而言， 無損壓縮便顯得無能為力， 而且， 即使采用了高效的有損壓縮算法， 影像文件的尺寸也仍然相當龐大。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 3. AVI及n AVI文件格式（*.AVI） AVI是音頻視頻交錯(Audio Video Interleaved)的英文縮寫， 是一種桌面系統(tǒng)上的低成本、 低分辨率的視頻格式。 AVI是Microsoft公司開發(fā)的一種符合RIF

6、F文件規(guī)范的數字音頻與視頻文件格式， 原先用于Microsoft Video for Windows (簡稱VFW)環(huán)境， 現在已被Windows、 OS/2等多數操作系統(tǒng)直接支持。 AVI格式允許視頻和音頻交錯在一起同步播放， 支持256色和游程長度編碼， 但AVI文件并未限定壓縮標準， 因此， AVI文件格式只是作為控制界面上的標準， 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 不具有兼容性， 用不同壓縮算法生成的AVI文件， 必須使用相應的解壓縮算法才能播放出來。 AVI可在160120的視窗中以15幀/s回放視頻， 并可帶有8位的聲音， 也可以在VGA或超級V

7、GA監(jiān)視器上回放。 AVI很重要的一個特點是可伸縮性， 使用AVI算法時的性能依賴于與它一起使用的基礎硬件。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 n AVI 是 newAVI 的縮寫， 是一個名為 ShadowRealm 的地下組織發(fā)展起來的一種新視頻格式。 它是由Microsoft ASF 壓縮算法的修改而來的（并不是想象中的 AVI）。 nAVI 為了追求壓縮率和圖像質量， 改善了原始的 ASF 格式的一些不足， 讓 nAVI 可以擁有更高的幀率（frame rate）。 當然， 這是以犧牲 ASF 的視頻流特性作為代價的。 概括來說， nAVI 就是一種

8、去掉視頻流特性的改良型 ASF 格式， 也可以被視為是非網絡版本的ASF。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 4. MPEG文件格式(*.MPEG/*.MPG/*.DAT) 有關MPEG的視頻、 音頻的相關知識我們在前兩章中只作較為詳細介紹， 為了使本章節(jié)具有系統(tǒng)性， 這里只作簡單介紹。 MPEG文件格式是運動圖像壓縮算法的國際標準， 它采用有損壓縮方法減少運動圖像中的冗余信息， 同時保證30幀/s的圖像動態(tài)刷新率， 已被幾乎所有的計算機平臺共同支持。 MPEG標準包括MPEG視頻、 MPEG音頻和MPEG系統(tǒng)(視頻、 音頻同步)三個部分， 而Video C

9、D (VCD)、 Super VCD (SVCD)、 DVD (Digital Versatile Disk)則是全面采用MPEG技術所產生出來的新型消費類電子產品。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 MPEG壓縮標準是針對運動圖像而設計的， 其基本方法是： 在單位時間內采集并保存第一幀信息， 然后只存儲其余幀相對第一幀發(fā)生變化的部分， 從而達到壓縮的目的。 它主要采用兩個基本壓縮技術： 運動補償技術(預測編碼和插補碼)實現時間上的壓縮， 變換域(離散余弦變換DCT)壓縮技術實現空間上的壓縮。 MPEG的平均壓縮比為50 1， 最高可達 200 1， 壓縮效

10、率非常高， 同時圖像和音響的質量也非常好， 并且在微機上有統(tǒng)一的標準格式， 兼容性相當好。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 DIVX 視頻編碼技術由 Microsoft MPEG4v3 修改而來， 使用 MPEG-4 壓縮算法， 可以說它是為了打破ASF的種種協(xié)定而發(fā)展出來的。 MPEG-4 是一種新的壓縮算法， 使用這種算法的 ASF 格式可以把一部 120 分鐘長的電影（視頻文件）壓縮到 300 MB左右的視頻流， 供網上觀看。 其他的 DIVX 格式也可以壓縮到 600 MB左右， 但其圖像質量比 ASF 要好很多。 DIVX 視頻播放對機器的要求也

11、不高， CPU 只要是 300 MHz 以上、 配上 64 MB的內存和一個 8 MB顯存的顯卡就可以流暢地播放了， 這個要求是目前出廠的任何一款計算機都能達到的。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 5. WMV文件格式（*.WMV） WMV(Windows Media Video)是Microsoft公司出品的視頻格式文件， 公司希望用其取代QuickTime之類的技術標準以及WAV、 AVI之類的文件擴展名。 WMV的主要優(yōu)點包括： 本地或網絡回放、 可擴充的媒體類型、 部件下載、 可伸縮的媒體類型、 流的優(yōu)先級化、 多語言支持、 環(huán)境獨立性、 豐富的流

12、間關系以及擴展性等。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 6. BMP文件格式（Windows Bitmap） BMP格式為Windows下的標準位圖格式， 最大色深為24 bit， 可以不壓縮存儲， 也可以用游程長度無損壓縮方案存儲。 Windows的應用程序“調色板”就是以這種格式存取圖像文件的。 我們可以用這種格式存取單色或256色的圖像以供Windows環(huán)境下的多媒體工具使用。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 7. PCX文件格式（PC Paintbrush） PCX文件格式是Zsoft公司為Paintbrush這

13、套繪圖軟件開發(fā)出來的。 Paintbrush所提供的圖像文件擴展名為PCC， 其格式即為PCX的文件格式。 8. TGA文件格式（TARGA） TGA文件格式是True Vision公司為其TARGA視頻卡開發(fā)出來的， 許多在全彩色的色彩類型下工作的專業(yè)圖像處理系統(tǒng)常采用此種格式。 它有 8、 16、 24、 32、 64位幾種， 3DS 生成的TGA文件為24位圖像。 TGA圖像以其逼真的記錄方式深受人們的喜愛。 壓縮TGA文件的產生， 使TGA 格式逐漸成為一種標準的R.G.B型真彩色圖像格式。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 9. EPS文件格式（E

14、ncapsulated PostScript） Post Script打印機的特性在于， 使用者并非直接傳送數據到打印機， 而是以Postscript語言（一個強大的程序語言， 其編輯器在打印機中）編寫一個程序， 描述希望打印的東西。 所以EPS文件中的內容不是圖形或圖像數據本身， 而只是一段程序， 描述希望打印的圖形或圖像。 有很多知名的排版系統(tǒng)如北大方正支持EPS格式。第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 10 TIF文件格式（Tagged Image File Format） TIF文件格式是Microsoft和Aldus公司針對桌面印刷（DTP）和桌面型

15、掃描儀的應用而開發(fā)出來的， 有時也稱為TIFF文件格式。 TIF可支持高達24位全彩色的圖像， 而且移植性高， 很容易在PC和Macintosh機器之間交互使用。 TIF格式分黑白和彩色兩種， 記錄方式原始， 占用空間大， 但是圖像質量好。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 11 JPEG文件格式（JPEG File Interchange Format） JPEG是一個名為Joint Photographic Experts Group的組織針對圖像文件空間的壓縮問題開發(fā)出來的， JPG文件格式可以提高壓縮率。 當磁盤空間有限或圖像很大時， 可以考慮采用J

16、PG格式（它的最大壓縮率可達100 1）。 JPG格式屬于 R.G.B型真彩色圖像格式， 可以人為地控制圖像壓縮程度， 在保持質量不變的情況下， 有很高的壓縮率。 一般壓縮圖像為原來圖像體積的1/5， 從而節(jié)省磁盤空間。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 12. DXF文件格式（Drawing Interchange Format） DXF是由Autodesk公司所開發(fā)的， 作為Auto CAD中的ASCII繪圖交換文件格式， 這一格式現在也為許多計算機輔助設計人員所使用。 13. IGS文件格式（Initial Graphics exchange Spec

17、ification） IGS又稱IGES， 是由一個工業(yè)委員會開發(fā)的， 作為傳送CAD的一個廣泛標準。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 5.2 聲音文件格式聲音文件格式 1. CD格式（*.CDA） CD是當今世界上音質最好的音頻格式， 標準CD格式音頻的采樣頻率是44.1 kHz， 16位量化位數。 雖然CD音頻是采用有損壓縮， 但其音質可以說是近似無損的， 因此， 它的聲音基本上是忠于原聲的。 CD光盤可以在CD唱機中播放， 也能用電腦里的各種播放軟件來重放。 一個CD音頻文件是一個*.cda文件， 這只是一個索引信息， 并不是真正的包含聲音信息， 所

18、以不論CD音樂的長短， 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 在電腦上看到的“*.cda文件”都是44字節(jié)長。 注意： 不能直接地復制CD格式的*.cda文件到硬盤上播放， 需要使用像EAC這樣的抓音軌軟件把CD格式的文件轉換成WAV， 如果光盤驅動器質量過關而且EAC的參數設置得當的話， 這個轉換過程可以做到基本上無損。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 2. Wave文件格式（*.WAV） WAV是微軟公司開發(fā)的一種聲音文件格式， 它符合 PIFF Resource Interchange File Format 文件規(guī)范

19、， 用于保存Windows平臺的音頻信息資源， 被Windows平臺及其應用程序所支持。 “*.WAV”格式支持MSADPCM、 CCITT A-Law、 CCITT -Law等多種壓縮算法， 支持多種音頻位數、 采樣頻率和聲道， 標準格式的WAV文件和CD格式一樣， 也是44.1 kHz的采樣頻率， 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 16位量化位數， 支持多種音頻位數、 采樣頻率和聲道， 但其文件尺寸較大， 多用于存儲簡短的聲音片斷。 WAV格式的聲音文件質量和CD相差無幾， 也是目前PC機上廣為流行的聲音文件格式， 幾乎所有的音頻編輯軟件都能識別WAV格

20、式。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 3. MPEG音頻文件格式（*.MP1/*.MP2/*.MP3） MPEG音頻文件的壓縮是一種有損壓縮， 根據壓縮質量和編碼復雜程度的不同可分為三層(MPEG Audio Layer 1/2/3)， 分別對應MP1、 MP2和MP3這三種聲音文件。 MPEG音頻編碼具有很高的壓縮率， MP1和MP2的壓縮率分別為4 1和6 1 8 1， 而MP3的壓縮率則高達10 1 12 1， 也就是說一分鐘CD音質的音樂， 未經壓縮需要10 MB存儲空間， 而經過MP3壓縮編碼后只有1 MB左右， 同時其音質基本保持不失真， 因此

21、， 目前使用最多的是MP3文件格式。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 4. MIDI文件格式（*.MID） MIDI是Musical Instrument Digital Interface（樂器數字接口）的縮寫。 它是由世界上主要電子樂器制造廠商建立起來的一個通信標準， 以規(guī)定計算機音樂程序電子合成器和其他電子設備之間交換信息與控制信號的方法。 MIDI文件中包含音符定時和多達16個通道的樂器定義， 每個音符包括鍵通道號、 持續(xù)時間、 音量和力度等信息。第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 所以MIDI文件記錄的不是樂曲本

22、身， 而是一些描述樂曲演奏過程的指令。 由于只是像記樂譜一樣記錄下演奏的符號， 所以它的體積是所有音頻格式中最小的。 嚴格地說， MIDI與上面提到的那些聲音格式不是一族， 因為它不是真正的數字化聲音， 而僅是一堆聲音或樂器符號的集合。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 MIDI是目前最成熟的音樂格式， 實際上它已經成為一種產業(yè)標準， 其科學性、 兼容性、 復雜程度等各方面當然遠遠超過其他聲音標準， 它的General MIDI就是最常見的通行標準。 作為音樂行業(yè)的數據通信標準， MIDI能指揮各音樂設備的運轉， 而且具有統(tǒng)一的標準格式， 能夠模仿原始樂器的

23、各種演奏技巧， 達到其他樂器無法實現的演奏效果， 而且文件的長度非常小。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 5. WMA文件格式（*.WMA） WMA(Windows Media Audio)是Microsoft公司出品的音頻文件格式， WMA格式的音樂文件的突出特點是提供了比MP3音樂文件更大的壓縮比， 并且在音質上也毫不遜色。 關鍵是WMA格式的音樂文件， 使用Windows中提供的媒體播放器Windows Media P1ayer 78就可以支持播放， 所以只要你使用Windows，第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術

24、就不必擔心不能播放。 WMA的壓縮率一般都可以達到18 1左右， WMA的另一個優(yōu)點是內容提供商可以通過DRM（Digital Rights Management）方案如Windows Media Rights Manager 7加入防拷貝保護。 另外， WMA還支持音頻流(Stream)技術， 適合在網絡上在線播放。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 6. VOC文件格式（*.VOC） VOC文件格式是Creative Labs公司的波形音頻文件格式， 多用于保存Creative Sound Blaster(創(chuàng)新聲霸)系列聲卡所采集的聲音數據， 被Wind

25、ows平臺和DOS平臺所支持， 支持CCITT A-Law和CCITT -Law等壓縮算法。 每個VOC文件由文件頭塊（header block）和音頻數據塊（data block）組成。 文件頭包含一個標識版本號和一個指向數據塊起始處的指針。 數據塊分成各種類型的子塊， 例如， 聲音數據子塊、 靜音標識子塊、 ASCII碼字符子塊、 循環(huán)重復子塊、 終止子塊以及用于立體聲音響的擴展子塊等。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 7. VQF文件格式 VQF是日本YAMAHA公司購買NTT公司的技術開發(fā)出來的一種音頻壓縮格式， 矛頭直指MP3， 主要賣點是壓縮比

26、比MP3高， 而且音質也比MP3好。 但由于VQF是YAMAHA公司的專有格式， 受到的支持（播放器）相當有限， 所以影響力不如MP3。 VQF需要YAMAHA公司的VQF播放器才能播放。 其他播放器比如WinAMP需要安裝支持插件才能播放。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 8. AIFF文件格式（*.AIF/*.AIFF） AIFF是音頻交換文件格式(Audio Interchange File Format)的英文縮寫， 是Apple 公司開發(fā)的一種聲音文件格式， 被Macintosh平臺及其應用程序所支持， Netscape Navigator瀏覽器

27、中的LiveAudio也支持AIFF格式， SGI及其他專業(yè)音頻軟件包也同樣支持這種格式。 AIFF支持ACE2、 ACE8、 MAC3和MAC6壓縮標準， 支持16位44.1 kHz立體聲。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 9. 模塊文件格式（*.MOD/*.S3M/*.XM/*.MTM/*.FAR/*.KAR/*.IT） 這些文件格式其實互不相同， 但又都屬于一個大類： Module（模塊）。 模塊格式是一種已經存在了很長時間的聲音記錄方式， 它同時具有MIDI與數字音頻的共同特性。 模塊文件中既包括如何演奏樂器的指令， 又保存了數字聲音信號的采樣數據

28、， 為此， 其聲音回放質量對音頻硬件的依賴性較小， 也就是說， 在不同的機器上可以獲得基本相似的聲音回放質量。 模塊文件根據不同的編碼方法有MOD、 S3M、 XM、 MTM、 FAR、 KAR、 IT等多種不同格式。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 5.3 流流 媒媒 體體 技技 術術 5.3.1 流媒體定義 在網絡上傳輸音視頻(AV)等多媒體信息， 目前主要有下載和流式傳輸兩種方式。 如果采用下載方式下載一個AV文件， 常常要花數分鐘甚至數小時。 這主要是由于AV文件一般都較大， 所需的存儲容量也較大； 再加上網絡帶寬的限制， 所以這種方法延遲很大。

29、流式傳輸則把聲音、 影像或動畫等時基媒體通過音視頻服務器向用戶終端連續(xù)、 實時地傳送。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 采用這種方式時， 用戶不必等到整個文件全部下載完畢， 而只需經過幾秒或幾十秒的啟動延時即可進行播放和觀看。 此時多媒體文件的剩余部分將在后臺從服務器內繼續(xù)下載。 與下載方式相比， 流式傳輸大大地縮短了啟動延時， 同時也降低了對緩存容量的 需求。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 5.3.2 流媒體通信原理 由于目前的網絡帶寬還不能完全滿足巨大的AV、 3D等多媒體數據流量的要求， 所以在流媒體通信技術中

30、， 應首先對AV、 3D等多媒體文件數據進行預處理后才能進行流式傳輸。 它主要包括降低質量和采用先進、 高效的壓縮算法兩個方面。 其次， 與下載方式相比， 盡管流式傳輸大大降低了對系統(tǒng)緩存容量的要求， 但它的實現仍需要緩存， 這是因為Internet是以包傳輸為基礎進行斷續(xù)的異步傳輸的。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 數據在傳輸中要被分解為許多包， 但網絡又是動態(tài)變化的， 各個包選擇的路由可能不盡相同， 故到達用戶計算機的時間延遲也就不同。 所以， 使用緩存系統(tǒng)來彌補延時和抖動的影響， 并保證數據包傳輸順序的正確， 使媒體數據能連續(xù)輸出， 不會因網絡暫時

31、擁堵而出現播放停頓。 在整個的傳輸和控制過程中， 必須采用一定的網絡協(xié)議來實現流式傳輸， 為用戶提供可靠服務質量保證。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 媒體流傳輸過程如圖5.3-1所示。 用戶（Web瀏覽器）通過HTTP/TCP與Web服務器(Web Server)交換信息， 獲取流媒體服務清單， 根據獲得的流媒體服務清單向媒體服務器(A/V Server)請求相關服務； 然后客戶機的Web瀏覽器啟動相應的媒體播放器(A/V Player)， 通過RTP/UDP從媒體服務器中獲取流媒體數據， 實時播放。 在播放過程中， 客戶機的媒體播放器需要實時通過RTC

32、P/UDP與媒體服務器交換控制信息， 媒體服務器根據客戶機反饋的流媒體接收情況智能調整向客戶機傳送的媒體數據流， 從而在客戶端達到最優(yōu)的接收效果。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 實現流式傳輸有兩種方法： 實時流式(Realtime Streaming)傳輸和順序流式（Progressive Streaming）傳輸。 一般說來， 如果視頻為實時廣播， 或使用流式傳輸媒體服務器， 或應用如RTSP的實時協(xié)議， 則流式傳輸為實時流式傳輸。 如果使用HTTP服務器， 文件即通過順序流發(fā)送， 這種傳輸方式就稱為順序流式傳輸。 流式文件在播放前可完全下載到硬 盤上

33、。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 圖5.3-1 流式傳輸基本原理 HTTP/TCPWeb瀏覽器控制信息RTSP/TCP(UDP)數據信息RTP/UDP元文件定 位A/V播放器Web服務器A/V服務器第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 1. 順序流式傳輸 順序流式傳輸是順序下載， 在下載文件的同時用戶可觀看在線媒體， 在給定時刻， 用戶只能觀看已下載的那部分， 而不能跳到還未下載的后續(xù)部分。 順序流式傳輸不像實時流式傳輸那樣， 可在傳輸期間根據用戶連接的速度做調整。 由于標準的HTTP服務器可發(fā)送這種形式的文件， 因而不需

34、要其他特殊協(xié)議， 它經常被稱作HTTP流式傳輸。 順序流式傳輸比較適合高質量的短片段， 如片頭、 片尾和廣告， 由于該文件在播放前觀看的部分是無損下載的， 這種方法保證電影播放的最終質量。 這意味著用戶在觀看前必須經歷延遲， 對較慢的連接尤其如此。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 對通過調制解調器發(fā)布短片段時， 順序流式傳輸顯得很實用， 它允許用比調制解調器更高的數據速率創(chuàng)建視頻片段。 盡管有延遲， 但畢竟可以發(fā)布較高質量的視頻片段。 順序流式文件是放在標準HTTP 或 FTP服務器上的， 這種文件易于管理， 基本上與防火墻無關。 順序流式傳輸不適合長片段

35、和有隨機訪問要求的視頻， 如講座、 演說與演示。 它也不支持現場廣播， 嚴格說來， 它是一種點播技術。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 2 實時流式傳輸 實時流式傳輸保證媒體信號帶寬與網絡連接匹配， 使媒體可被實時觀看到。 實時流式傳輸與HTTP流式傳輸不同， 它需要專用的流媒體服務器與傳輸協(xié)議。 實時流式傳輸總是實時傳送， 特別適合現場事件， 也支持隨機訪問， 用戶可快進或后退以觀看前面或后面的內容。 理論上， 實時流一經播放就不可停止， 但實際上可能發(fā)生周期性暫?，F象。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 實時流式傳輸

36、必須匹配連接帶寬， 這意味著在以調制解調器速度連接時圖像質量較差， 而且， 由于出錯丟失的信息被忽略掉， 網絡擁擠或出現問題時視頻質量很差。 如欲保證視頻質量， 采用順序流式傳輸也許更好。 實時流式傳輸需要特定服務器， 如QuickTime Streaming Server、 RealServer與Windows Media Server。 這些服務器允許你對媒體發(fā)送進行更多級別的控制， 因而系統(tǒng)設置、 管理比標準HTTP服務器更復雜。 實時流式傳輸還需要特殊網絡協(xié)議， 如RTSP (Realtime Streaming Protocol)或MMS (Microsoft Media Serve

37、r)。 這些協(xié)議在有防火墻時有時會出現問題， 導致用戶不能看到一些地點的實時 內容。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 5.3.3 流媒體實現原理 流媒體實現原理簡單地說就是首先通過采用高效的壓縮算法， 在降低文件大小的同時伴隨質量的損失， 讓原有的龐大的多媒體數據適合流式傳輸， 然后通過架設流媒體服務器， 修改MIME標識。 通過各種實時協(xié)議傳輸流數據。 其原理框圖如圖5.3-2所示。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 圖5.3-2 流媒體實現原理 編 碼 器(預 處 理 )原始媒體流式傳輸流 媒 體服 務 器流式傳輸流

38、 媒 體播 放 器第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 1. 預處理 多媒體數據必須進行預處理才能適合流式傳輸， 這是因為目前的網絡帶寬相對多媒體巨大的數據流量來說還顯得遠遠不夠。 預處理主要包括兩方面： 一是采用先進高效的壓縮算法； 二是加入一些附加信息把壓縮媒體轉為適合流式傳輸的文件格式。 其技巧在于壓縮原始的A/V內容， 使其能夠在窄帶或寬帶通道上以流的方式傳給用戶。 預處理在編碼器內完成。 編碼方式的選擇可以是多種多樣的。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 Microsoft、 RealNetworks、 Apple

39、Computer以及其他各方均提供關于編碼、 流式傳送以及客戶觀看等方面的、 享有專用權的方案。 常規(guī)視頻編碼速度的范圍從20 kb/s到目前的300 kb/s， 并且有望達到1 Mb/s及以上的速度。 音、 視頻編碼器在功能上有相當大的差別。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 最終的編碼資料可以利用文本、 圖形、 腳本形式進行多路傳輸， 并且放在能夠實現流的方式的文件結構中。 也就是意味著該文件有時間標記以及其他易于實現流的方式的特點， 然后再在客戶端進行解碼。 編碼過程應該綜合考慮不同編碼速度的定制性能、 包損失的容錯性與網絡的帶寬波動、 最低速度下好的

40、A/V品質、 編碼流式傳送的成本、 流的控制以及其他方面。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 2. 支持流媒體傳輸的網絡協(xié)議 （1） 實時傳輸協(xié)議(RTP， Real-time Transport Protocol)： 在Internet上針對多媒體數據流的一種傳輸協(xié)議。 （2） 實時傳輸控制協(xié)議(RTCP， Real-time Transport Control Protocol)： 和RTP一起提供流量控制和擁塞控制的服務。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 （3） 實時流協(xié)議(RTSP， Real-time Stre

41、aming Protocol)： 定義了一對多的應用程序如何有效地通過IP網絡傳送多媒體數據。 （4） 資源預訂協(xié)議(RSVP， Resource Reserve Protocol)： Internet上的資源預訂協(xié)議。 為多媒體數據流傳輸預留一部分網絡資源（即帶寬）， 在一定程度上為流媒體的傳輸提 供QoS。 有關這些協(xié)議的詳細知識我們放在下一章結合多媒體通信網絡技術來介紹。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 3 識別流媒體類型的途徑 MIME Web服務器和Web瀏覽器可通過MIME來識別流媒體并對其進行相應的處理。 MIME是Multipurpose

42、Internet Mail Extensions（通用因特網郵件擴展）的縮略詞。 它不僅用于電子郵件， 還能用來標記在Internet上傳輸的任何文件類型。 Web服務器和Web瀏覽器都基于HTTP， 而HTTP都內建有MIME。 HTTP正是通過MIME來標記Web上繁多的多媒體文件格式。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 5.3.4 流媒體播放方式 1. 單播 在客戶端與媒體服務器之間需要建立一個單獨的數據通道， 從一臺服務器送出的每個數據包只能傳送給一個客戶機， 這種傳送方式稱為單播。 每個用戶必須分別對媒體服務器發(fā)送單獨的查詢， 而媒體服務器必須向每

43、個用戶發(fā)送所申請的數據包拷貝。 這種巨大冗余會造成服務器的負擔沉重， 響應的時間過長， 甚至停止播放； 管理人員為保證一定的服務質量， 必須配置合適的硬件和帶寬。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 2. 組播 IP組播技術構建一種具有組播能力的網絡， 允許路由器一次將數據包復制到多個通道上。 采用組播方式， 單臺服務器能夠對幾十萬臺客戶機同時發(fā)送連續(xù)數據流而無延時。 媒體服務器只需要發(fā)送一個信息包， 而不是多個， 所有發(fā)出請求的客戶端共享同一信息包。 信息可以發(fā)送到任意地址的客戶機上， 減少網絡上傳輸信息包的總量。 網絡利用效率大大提高， 成本大為下降。 第

44、第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 3. 點播與廣播 點播連接是客戶端與服務器之間的主動連接。 在點播連接中， 用戶通過選擇內容項目來初始化客戶端連接。 用戶可以開始、 停止、 后退、 快進或暫停流。 點播連接提供了對流的最大控制， 但這種方式由于每個客戶端都各自連接服務器， 因而會迅速用完網絡帶寬。 廣播指的是用戶被動接收流。 在廣播過程中， 客戶端接收流， 但不能控制流。 例如， 用戶不能暫停、 快進或后退流。 廣播方式中數據包的單獨一個拷貝將發(fā)送給網絡上的所有用戶。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 使用單播發(fā)送時， 需

45、要將數據包復制多個拷貝， 以多個點對點的方式分別發(fā)送到需要它的那些用戶， 而使用廣播方式發(fā)送， 數據包的單獨一個拷貝將發(fā)送給網絡上的所有用戶， 而不管用戶是否需要， 上述兩種傳輸方式會非常浪費網絡帶寬。 組播吸收了上述兩種發(fā)送方式的長處， 克服了上述兩種發(fā)送方式的弱點， 將數據包的單獨一個拷貝發(fā)送給需要的那些客戶。 組播不會復制數據包的多個拷貝傳輸到網絡上， 也不會將數據包發(fā)送給不需要它的那些客戶， 保證了網絡上多媒體應用占用網絡的最小帶寬。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 5.3.5 流媒體文件格式 流媒體系統(tǒng)中處理的主要是一些實時性要求比較高的媒體信息

46、， 如聲音、 視頻、 動畫。 這些媒體的數據量很大， 總是要經過一定的壓縮。 多媒體信息需要進行壓縮生成一定格式的文件后再進行存儲， 如我們熟知的*.mpg、 *.mov、 *.avi、 *.mp3等， 這就是媒體壓縮格式。 而要將這些媒體在IP網上進行實時傳輸， 需要將這些壓縮文件進行必要的處理， 分割成很多小塊， 以方便傳輸， 這就是媒體流格式， 如現在Internet上廣泛流行的*.rm、 *.asf等。 要在IP網上傳播， 還需要將一定的格式告訴用戶， 這就是媒體的發(fā)布格式。 下面對這些文件格式分別加以介紹。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 1.

47、壓縮媒體文件格式 由于實時媒體的原始數據量都非常大， 若要將它們直接傳送給用戶， 一是會占用大量的存儲空間， 二是需要的傳輸帶寬很高， 因此壓縮就變得非常重要。 媒體文件壓縮格式盡量保留了或完全保留了原始媒體的信息， 通過去掉大量的冗余信息， 使得生成的壓縮文件比原始文件減小很多， 這樣方便于存儲和傳輸。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 壓縮編碼是基于一定的壓縮算法， 如Real Video是基于小波變換算法， Windows Media則是基于MPEG-4的壓縮算法。 經過壓縮編碼后形成的媒體文件， 稱為壓縮媒體文件， 有時簡稱為壓縮文件。 為了區(qū)分壓縮

48、算法、 壓縮對象和廠商系統(tǒng)， 一般以文件的擴展名區(qū)分壓縮媒體文件格式， 簡稱壓縮文件格式。 由于我們在上一章和這章的前兩節(jié)介紹了視頻和音頻的壓縮算法以及相應的文件格式， 這里就不再贅述。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 2 流式文件格式 通過文件共享的方式播放標準的媒體壓縮文件也可以實現網上的共享， 但是這只適合局域網的環(huán)境， 對于Internet往往還是用文件傳送的方式。 為了減小用戶的播放延時和存儲空間， 實現邊下載邊播放， 并保證一定的播放質量， 就需要對壓縮文件進行特殊的處理， 添加一些附屬信息， 如計時、 壓縮和版權信息， 這就是流式文件格式。

49、提供流媒體的播放需要專門的媒體服務器， 如Real Server、 Windows Media Server等， 當然這些文件不僅可以實時播放， 存放在本地播放也是沒有問題的。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 1） RealMedia RealMedia是目前Internet上最流行的跨平臺的客戶/服務器結構多媒體應用規(guī)范， 它采用音頻/視頻流和同步回放技術實現了網上全帶寬的多媒體回放。 在RealMedia規(guī)范中主要包括三類文件： RealAudio（用以傳輸接近CD音質的音頻數據）、 RealVideo（用來傳輸連續(xù)視頻數據）和RealFlash （R

50、ealNetworks公司與Macromedia公司合作推出的高壓縮比動畫格式）。 而RealPlayer就是在網上收聽收看這些實時音頻、 視頻和Flash的最佳工具之一。 只要用戶的線路允許， 使用RealPlayer可以不必下載音頻/視頻內容就能實現網絡在線播放， 上網查找和收聽、 收看各種廣播、 電視。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 RealVideo主要用來在低速率的廣域網上實時傳輸活動視頻影像， 可以根據網絡數據傳輸速率的不同而采用不同的壓縮比率， 從而實現影像數據的實時傳送和實時播放。 它可以用 56 K MODEM 撥號上網的條件實現不間斷

51、的視頻播放， 當然， 其圖像質量是不能和 MPEG2、 DIVX 等相比。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 RA格式是一種流式音頻 Real Audio文件格式， 用以傳輸接近CD音質的音頻數據。 RV格式則是流式視頻 Real Video文件格式， 主要用來在低速率的網絡上實時傳輸活動視頻影像。 這里有必要一提的是智能流（Sure Stream）技術， 這種技術將不同壓縮比率的數據存儲在一個文件中， 用戶發(fā)出請求的同時會將其帶寬容量傳送給服務器， 服務器會根據此參數將流文件中的相應部分傳送給用戶， 從而實現一個文件適合不同網絡帶寬的情況， 滿足不同性質的

52、用戶請求。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 RP（RealPix）格式是RealMedia文件格式的一部分， 它允許直接將圖片文件通過Internet流式傳輸到客戶端。 通過將其他媒體(如音頻、 文本)捆綁到圖片上可以制作出各種用途的多媒體文件。 用戶只需要懂簡單的標志性文件就可以用文本編輯器制作出*.rp文件。 RealPix文件可以用RealServer發(fā)送到RealPlayer上直接播放， 但是由于RealPix是新的媒體標準格式， 所以以前的版本(如 RealPlayer 4.05.0)是不能播放的。 第第5 5章章 多媒體數據格式及流媒體技術多媒

53、體數據格式及流媒體技術 RT（RealText）格式也是RealMedia文件格式的一部分， 這種格式可使讓文本從文件或者直播源流式發(fā)放到客戶端。 RealText文件既可以是單獨的文本也可以是在文本的基礎上加上其他媒體， 采用何種形式完全由需要決定。 由于 RealText文件也是由標志性語言定義的， 所以用簡單的文本編輯器就可以制作。 RealText文件也可以用RealPlayer流式 播放。 RealMedia是目前 Internet上最流行的跨平臺的客戶服務器結構多媒體應用標準， 它采用音頻視頻流和同步回放技術實現了網上全帶寬的多媒體回放。 第第5 5章章 多媒體數據格式及流媒體技術

54、多媒體數據格式及流媒體技術 2） ASF ASF（Advanced Streaming Format）文件是Microsoft為了和現在的RealPlayer競爭而發(fā)展起來的一種可以直接在網上觀看視頻節(jié)目的文件壓縮格式。 由于它是用MPEG-4的壓縮算法， 所以它的壓縮質量如果不考慮文件大小的話， 完全可以和VCD媲美， 比同是視頻格式的*.rm好很多。 關于這種格式， Microsoft有明確說明： “ASF是一種支持在各類網絡和協(xié)議下進行數據傳遞的公開標準。 ASF用于排列、 組織、 同步多媒體數據以通過網絡傳輸。 ASF是一種數據格式， 然而， 它也可用于指定實況演示的格式。 第第5 5

55、章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 ASF不但最適于通過網絡發(fā)送多媒體流， 也同樣適于在本地播放。 任何壓縮解壓縮運算法則（編解碼器）都可以用編解碼ASF流。 在ASF流中存儲的信息可用于幫助客戶決定應使用何種編解碼器解壓縮流。 另外， ASF流可接任何基礎網絡傳輸協(xié)議傳輸。 ”第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 3） MOV QuickTime是Apple計算機公司開發(fā)的一種音頻、 視頻文件格式， 用于保存音頻和視頻信息， 具有先進的視頻和音頻功能， 被包括Apple Mac OS、 Microsoft Windows在內的所有主流操

56、作平臺支持。 QuickTime制定了其稱作QuickTime Movie的多媒體文件格式。 此文件格式是極具彈性的存儲格式。 雖然， QuickTime并沒強制要求用戶將媒體資料存成 QuickTime Movie文件， 但大部分的用戶會發(fā)現， QuickTime Movie檔案格式是一種方便而強大的多媒體文件格式， 它要比微軟早期推出的AVI文件格式強。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 此外， QuickTime Movie文件格式不受系統(tǒng)平臺、 系統(tǒng)開放性、 可延伸性的約束， 所以用它作為分散式多媒體系統(tǒng)是比較理想的環(huán)境。 以上這些特色已經促使許多主

57、要的Web廠商改用QuickTime Movie格式。 QuickTime Movie在 Windows系統(tǒng)平臺上也受到良好的支持。 Apple、 Microsoft、 Macromedia、 Netscape、 Adobe等著名廠商和大量其他的軟件開發(fā)人員都開始使用 QuickTime Movie格式。 由于QuickTime能在眾多電腦平臺上使用， 所以 QuickTime的跨平臺能力是毋庸置疑的， 目前QuickTime Movie格式正日趨普及。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 QuickTime文件格式支持25位彩色， 支持RLE、 JPEG等領

58、先的集成壓縮技術， 提供150多種視頻效果， 并配有提供了200多種MIDI兼容音響和設備的聲音裝置。 新版的QuickTime進一步擴展了原有功能， 包含了基于Internet應用的關鍵特性， 能夠通過 Internet提供實時的數字化信息流、 工作流與文件回放功能， 此外， QuickTime還采用了一種稱為QuickTime VR (QTVR)技術的虛擬現實(Virtual Reality， VR)技術， 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 用戶通過鼠標或鍵盤的交互式控制， 可以觀察某一地點周圍360的景象， 或者從空間任何角度觀察某一物體。 Quick

59、Time以其領先的多媒體技術和跨平臺特性、 較小的存儲空間要求、 技術細節(jié)的獨立性以及系統(tǒng)的高度開放性， 得到業(yè)界的廣泛認可， 目前已成為數字媒體軟件技術領域的工業(yè)標準。 國際標準化組織(ISO)最近選擇QuickTime文件格式作為開發(fā) MPEG-4規(guī)范的統(tǒng)一數字媒體存儲格式。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 4） SWF SWF（Shock Wave Flash）是 Micromedia公司推出的一種動畫格式， 它采用矢量圖形方法存儲動畫， 使得生成的文件很小， 但質量卻絲毫不變， 已播放的質量不隨畫面的放大而變差（這是一般VCD的缺點）， 因而得到了

60、廣泛應用。 如今它與Real Network公司進行合作， 一同推進流媒體的服務。 Flash的一個最大的優(yōu)點是制作簡單， 發(fā)布方便。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 3 媒體發(fā)布格式 媒體發(fā)布格式不是壓縮格式， 也不是傳輸協(xié)議， 其本身并不描述視聽數據， 也不提供碼方法。 更通俗一點可以把它理解為播放列表。 播放列表是你想觀看或聆聽的文件的自定義列表。 播放列表可使不同媒體內容集中在一起， 按所指定的任意順序播放。 第第5 5章章 多媒體數據格式及流媒體技術多媒體數據格式及流媒體技術 Real和Microsoft各自定義了自己的播放列表格式。 媒體發(fā)布格