第一章流媒體

多媒體網絡和流媒體技術

MultimediaNetworkandStreamingMediaTechnology海南大學信息信息學院參考資料《流媒體技術寶典》SteveMack著，電子工業(yè)出版社《流媒體技術與應用完全手冊》肖磊等著，清華大學出版社《多媒體通信技術》李小平等著，北京航空航天大學出版社內容介紹1.流媒體技術概述2.流媒體技術的主流產品3.適應流式應用的多媒體編碼解碼技術

4.流式文本文件的制作5.同步多媒體集成語言SMIL6.流媒體的網絡傳輸與控制協(xié)議7.流媒體的平臺搭建8.流媒體的制作和發(fā)布9.移動流媒體技術概述10.流媒體相關硬件與產品實驗內容1.各種流媒體文件格式的熟悉2.流媒體節(jié)目的制作3.流媒體的轉換4.SMIL的編程5.流媒體服務器的安裝和運行6.流媒體的嵌入Chapter1流媒體綜述1.多媒體技術利用計算機技術把文本、圖形、圖像、動畫、音頻及視頻等多種媒體綜合一體化，使之建立起邏輯上的聯(lián)系，并能夠對它們進行獲取、編碼、編輯、處理、存儲、傳輸和再現(xiàn)。1.1流媒體的概念1.1.1多媒體2.多媒體技術的基本特征信息載體的多樣性（采集、傳輸、存儲、處理、呈現(xiàn)）集成性（如文本、圖形、圖像、視頻、音頻）交互性協(xié)同性和實時性3.多媒體關鍵技術：視頻/音頻數據的壓縮和解壓縮技術多媒體數據存儲技術多媒體數據庫技術超文本與超媒體技術基于內容的多媒體信息檢索多媒體通信網絡技術虛擬現(xiàn)實技術（涉及三維實時圖形顯示、三維定位跟蹤、觸覺及傳感技術、人工智能等）

多媒體計算機的軟、硬平臺4.多媒體傳播途徑信息存儲媒體網絡5.多媒體信息特征數據量龐大：碼率可變、突發(fā)性強復合性信息多，同步性、實時性要求高1.1.2流媒體概念流媒體：指在Internet/Intranet網絡中使用流式傳輸技術的連續(xù)時基媒體，如音頻、視頻或多媒體文件。簡單來說，應用流技術在網絡上傳輸的多媒體文件。流媒體技術：一種可以使音頻、視頻和其他多媒體文件能在Internet及Intranet上以實時的、無需下載等待的方式進行播放的技術。1.1.3流媒體的發(fā)展歷史(1)

1994年美國公司RealNetworks成立后，流媒體開始在互聯(lián)網上應用。1997年該公司相繼發(fā)布了多款應用非常廣泛的流媒體播放器---realplayer,之后微軟也推出了自己全新格式的流媒體產品WindowsMedia,并開始了和RealNetworks的競爭。

隨著市場激烈的競爭，微軟不斷進行技術改進，將WindowsMedia9series捆綁到2003年發(fā)布的Wserves,在編碼和解碼方面都做了不小的改進。

1.1.3流媒體的發(fā)展歷史(2)

目前，流媒體技術在國內逐步擴大應用，諸如中央電視臺采用RealNetworks公司的流媒體技術實現(xiàn)了在線視聽、網上現(xiàn)場直播；湖南衛(wèi)視、中國大飯店、望京地區(qū)等采用Oracle公司的系統(tǒng)實現(xiàn)視頻點播；流媒體技術在電子商務、產品發(fā)布、信息廣播、遠程教育、遠程醫(yī)療、遠程監(jiān)控等方面都有很成功的應用實例媒體系統(tǒng)結構現(xiàn)存流媒體解決方案采用的技術是多樣的，但其體系結構的本質是相近的。流媒體的體系構成：①編碼工具：用于創(chuàng)建、捕捉和編輯多媒體數據，形成流媒體格式；②流媒體數據；③服務器：存放和控制流媒體的數據；④網絡：適合多媒體傳輸協(xié)議甚至實時傳輸協(xié)議的網絡；⑤播放器：供客戶端瀏覽流媒體文件（通常是獨立的播放器和ActiveX方式的插件）。1.1.4流媒體體系結構RealPlayer播放器1.1.5流媒體的播放器（常見）WindowsMedia媒體播放器Apple公司的QuickTime播放軟件（1）采用視頻捕獲裝置對事件進行錄制；（2）對獲取的內容進行編輯，然后利用視頻編輯硬件和軟件對它進行數字化處理；（3）經數字化的視頻和音頻內容被編碼為流媒體（如.rm）格式。（4）媒體文件或實況數據流被保存在安裝了流媒體服務器軟件的宿主計算機上；（5）用戶點擊網頁請求視頻流或訪問流內容的數據庫；（6）宿主服務器通過網絡向最終用戶提交數字化內容；（7）最終用戶利用桌面或移動終端上的顯示媒體內容的播放程序（如Realplayer）進行回放和觀看。1.1.6流媒體技術的實現(xiàn)過程1.2流式傳輸的基礎主要指通過網絡傳送媒體（如音頻、視頻）的技術總稱。其特定含義為通過Internet將影視節(jié)目傳送到PC機。1.2.1流式傳輸的定義1.2.2支持流媒體傳輸的網絡協(xié)議實時傳輸協(xié)議RTP實時傳輸控制協(xié)議RTCP實時流協(xié)議RTSP資源預留協(xié)議RSVP多用途Internet郵件擴展協(xié)議MIME(MultipurposeInternetMailExtensions)——識別流媒體類型的途徑1.2.3流式傳輸的方式1.順序流式傳輸順序下載，并在下載文件的同時播放在線媒體；在給定時刻，用戶只能播放已下載的部分，而不能跳到還未下載的部分HTTP流式傳輸文件播放的部分是無損下載點播技術2.實時流式傳輸實時傳送，特別適合現(xiàn)場事件；支持隨機訪問，用戶可快進或后退，以觀看前面或后面的內容需要專用的流媒體服務器與傳輸協(xié)議匹配連接寬帶實時流式傳輸：視頻為實時廣播，或使用流式傳輸媒體服務器，或應用如RTSP的實時協(xié)議順序流式傳輸：使用HTTP服務器1.3流媒體工作原理

由于目前的存儲容量和網絡帶寬還不能完全滿足巨大的A/V，3D等多媒體數據流量的要求，所以對A/V，3D等多媒體數據一般要進行預處理后才能進行存儲或傳輸。預處理主要包括采用先進高效的壓縮算法和降低質量（有損壓縮）兩個方面。同樣，在流媒體技術中，進行流式傳輸的多媒體數據應首先經過特殊的壓縮，然后分成一個個壓縮數據包，由服務器向用戶計算機連續(xù)、實時傳送。1.3.1流式傳輸典型結構WebBrowserWebServerA/VPlayerA/VServerRTSP(RTP)/TCP(UDP)HTTP/TCPMetaFileOrientation流程：（1）Web瀏覽器與Web服務器之間使用HTTP/TCP交換控制信息,以便把需要傳輸的實時數據從原始信息中檢索出來。（2）用HTTP從Web服務器檢索相關數據，A/V播放器進行初始化。（3）從Web服務器檢索出來的相關服務器的地址定位A/V服務器。（4）A/V播放器與A/V服務器之間交換A/V傳輸所需要的實時控制協(xié)議。（5）一旦A/V數據抵達客戶端,A/V播放器就可以播放了。1.3.2流媒體應用系統(tǒng)的關鍵技術1）音視頻壓縮編碼多速率編碼與碼流的切換可伸縮編碼（ScalableCoding或LayeredCoding)2)應用層Qos控制擁塞控制

*結合傳輸層TCP的擁塞控制*基于速率的擁塞控制*擁塞檢測*媒體流的速率調整差錯控制

*結合傳輸層差錯控制*編碼層差錯控制3）媒體同步技術流內同步（利用接受緩沖器同步）*緩存器容量的設計*自適應微調播放速率流間同步

*基于全局時鐘的時間戳法*基于反饋的主從同步法4）流服務器操作系統(tǒng)有關技術*任務調度*資源管理*磁盤調度存儲子系統(tǒng)有關技術*數據分布存儲方式*層次化存儲結構*其他5）內容分發(fā)服務在IP網絡上提供服務和傳輸媒體數據基于IP網構建內容分發(fā)網絡（CDN）1.4流媒體的網絡播放方式單播組播點播廣播客戶端與服務器之間的點到點連接，在客戶端與媒體服務器之間建立一個單獨的數據通道。通過啟用組播網絡傳遞內容流，網絡中的所有客戶端共享同一流。用戶被動接收流?？蛻舳伺c服務器之間的主動的連接。1.4流媒體的網絡播放方式（cont’d）點播單播廣播單播廣播組播客戶端連接到服務器以接收特定內容，該內容也只傳往一個客戶端?？蛻舳送ㄟ^發(fā)布點上的別名訪問流。被動的用戶通過監(jiān)視特定的IP地址接收組播ASF流。1.5流式技術的主要解決方案組成：RealProducer,RealServer,ClientSoftware流媒體文件：RealAudio,RealVideo,RealPresentation,RealFlashSureStream技術：自動地并持續(xù)地調整數據流的流量以適應實際應用中的各種不同網絡帶寬需求；在網上實現(xiàn)音頻、視頻和三維動畫的回放1.5.1RealSystem1.5.2WindowsMediaTechnologyASF是一種數據格式，音頻、視頻、圖像以及控制命令腳本等多媒體信息通過這種格式，以網絡數據包的形式傳輸，實現(xiàn)流式多媒體內容發(fā)布。組成：MediaTools,MediaServer,MediaPlayer保證文件的保密性，不被未授權下載，使每個使用者都能以最佳的影片品質瀏覽網頁，具有多種文件發(fā)布形式和監(jiān)控管理功能。提供流信息的播放功能1.5.3QuickTime組成：QuickTimeStreamingServer,QuickTimePlayer,QuickTimePro,PictureViewer,QuickTimePlug-inUnit支持流類型：實時流和快速啟動流RTP傳輸數據HTTP/FTP傳輸數據Macromedia的Shockwave技術在Web頁面中加入圖像、動畫以及交互式界面等操作產品：Flash,ShockwaveforAuthorware,ShockwaveforDirectorMeataCreation的MetaStream技術在網上創(chuàng)建、發(fā)布及瀏覽被縮放的3D圖形eg.游戲開發(fā)廠商、頁面設計者、電子商務補：1.5.4FMS（AdobeFlashMediaServer）Adobe的FMS是一個多媒體應用平臺，在這個平臺上，可以實現(xiàn)多媒體流的點播、直播、交互等多種應用，由于Adobe公司在網絡多媒體應用上的雄厚實力，以及AdobeFlashPlayer在網絡上應用的廣泛性，因此，F(xiàn)MS成為諸多多媒體應用的服務器端主要應用平臺。如Youtube、tudou等。FMS是一個應用平臺，同時更是一個二次開發(fā)平臺，在這個平臺上，可以實現(xiàn)多種網絡多媒體內容的傳播和交互應用。MacromediaFlashMediaServer與傳統(tǒng)的媒體平臺相比有哪些優(yōu)勢?通過Flash平臺并借助FlashMediaServer交付音頻和視頻能使發(fā)布者創(chuàng)建各種體驗。通過無所不在的FlashPlayer實現(xiàn)跨平臺和瀏覽器的一致性。無縫集成到播放器中的網站上,并保留該網站的外觀和品牌。進行深入的交互式體驗。有哪些可用的應用?已構建了各種富媒體應用,包括視頻點播、網上直播、音頻/視頻消息、音頻/視頻博客、實時音頻/視頻、文本聊天室、實時數據廣播、多用戶游戲以及更多應用。1.6流媒體文件格式1.6.1壓縮媒體文件格式常用視頻、音頻壓縮文件類型文件壓縮過程1.6.2流式文件格式常用流式文件格式流式文件編碼過程1.6.3媒體發(fā)布格式常用媒體發(fā)布格式1.7流媒體系統(tǒng)的構成包括媒體采集與編碼轉檔/轉碼軟件：可將普通格式的音頻、視頻或動畫媒體文件通過壓縮轉換為流服務器進行流式傳輸的流格式文件。（RealProducer,WindowsMediaEncoder）流媒體編輯軟件：對流媒體文件進行編輯，常與轉檔/轉碼軟件捆綁在一起。合成軟件：可將各類圖片、聲音、文字、視頻、幻燈片或網頁同步，并合成為一個流媒體文件。（RealSlideShow,RealPresenter,WindowsMediaAuthor）編程軟件：可開發(fā)流式傳輸的新數據類型，創(chuàng)建客戶端應用，自定義流媒體系統(tǒng)。（SDK）1.7.1媒體內容制作1.7.2媒體內容管理包括流媒體文件的存儲、查詢及節(jié)目管理、創(chuàng)建和發(fā)布。視頻業(yè)務管理媒體發(fā)布系統(tǒng)：包括廣播和點播的管理，節(jié)目管理，創(chuàng)建、發(fā)布及計費認證服務，提供定時按需錄制、直播、傳送節(jié)目的解決方案，管理用戶訪問及多服務器系統(tǒng)負載均衡調度的服務。媒體存儲系統(tǒng)：必須配備大容量的磁盤陣列，具有高性能的數據讀寫能力，訪問共享數據，高速傳輸外界請求數據，并具有高度的可擴展性、兼容性，支持標準的接口。媒體內容自動索引檢索系統(tǒng)：對媒體源進行標記，捕捉音頻、視頻文件并建立索引，建立高分辨率媒體的低分辨率代理文件。1.7.3用戶管理涉及用戶的登記、授權、計費和認證用戶身份驗證：限制非法用戶使用系統(tǒng)計費系統(tǒng)：根據用戶訪問的內容或時間進行相應的費用統(tǒng)計媒體數字版權加密系統(tǒng)（DRM）：允許內容提供商在其發(fā)布的媒體或節(jié)目中對指定的時間段、觀看次數及其內容進行加密和保護。1.7.4視頻服務器網絡視頻的核心采用時間片調度算法存儲量大，數據率高，具備接納控制、請求處理、數據檢索、按流傳送等功能存儲設備多采用SCSI接口，以確保高速、并行、多重I/O總線能力流媒體系統(tǒng)通常支持多服務器協(xié)同工作，服務器之間能自動進行負載均衡1.7.5客戶端系統(tǒng)支持實時音頻、視頻直播和點播可嵌入到流行的瀏覽器中可播放多種流行的媒體格式支持流媒體中的多種媒