移動流媒體技術及其應用發(fā)展方向

1、移動流媒體技術及其應用發(fā)展方向(2005.06.09) 來自：CSDN 劉雄武 一、 現(xiàn)狀分析在手機增值業(yè)務市場，短信、彩信、彩e等雖然有了交互、24小時不間斷等不同于傳統(tǒng)媒體的特點，但傳輸?shù)闹饕庆o態(tài)為主的圖像和文字內(nèi)容，影響了其媒體作用的充分發(fā)揮。隨著最終用戶需求的提升，如何更好地融合聲音、文字、圖像，支持多媒體功能，既發(fā)揮短信方便、快捷的優(yōu)點，又可以彌補短信形式單調(diào)的不足，真正使移動用戶振聾發(fā)聵，進入一個有聲有色、逼真形象的美麗世界成為移動運營商普遍關心的話題。 流媒體（Streaming Media）的出現(xiàn)改變了這種狀況。它不需要下載整個文件就可以在向播放器傳輸?shù)倪^程中一邊下載一邊播放

2、，實現(xiàn)了在網(wǎng)上點播或觀看電影、電視的夢想?，F(xiàn)在，以流的形式進行數(shù)字媒體的傳送，使人們一定的帶寬環(huán)境下就可以在線欣賞到連續(xù)不斷的高品質音頻和視頻節(jié)目。在互聯(lián)網(wǎng)大發(fā)展的時代，流媒體技術的產(chǎn)生和發(fā)展必然會給我們的日常生活和工作帶來深遠的影響。專家預言，流媒體將成為未來因特網(wǎng)上應用的主流，實現(xiàn)溝通和傳播的多向性使傳播不再受時間和空間的限制。 所謂流媒體是指用戶通過網(wǎng)絡或者特定數(shù)字信道邊下載邊播放多媒體數(shù)據(jù)的一種工作方式。流媒體應用的一個最大的好處是用戶不需要花費很長時間將多媒體數(shù)據(jù)全部下載到本地后才能播放，而僅需將起始幾秒的數(shù)據(jù)先下載到本地的緩沖區(qū)中就可以開始播放，后面收到的數(shù)據(jù)會源源不斷輸入到該緩沖

3、區(qū)，從而維持播放的連續(xù)性，因此流媒體播放器通常只是在開始時有一些時延。流媒體系統(tǒng)要比下載播放系統(tǒng)復雜得多，所以需要將多媒體的編解碼和傳輸技術很好地結合在一起，才能確保用戶在復雜的網(wǎng)絡環(huán)境下也能得到較穩(wěn)定的播放質量。 多媒體數(shù)據(jù)在傳輸前必須要先經(jīng)過編碼器有效地壓縮成碼流，以減少對網(wǎng)絡資源的占用率。目前常用的視頻編碼器有MPEG-2、MPEG-4、H.261、H.263、H.264、Window Media視頻編碼器和Real System視頻編碼器等；編碼器有MP3、MPEG AAC、Window Media 音頻編碼器和AMR等；圖像編碼器有JPEG和JPEG2000等。多媒體編碼器所生成的碼

4、流只包含了解碼該碼流所必需的信息，它不包含媒體間的同步、隨機訪問等系統(tǒng)信息，因此編碼后的多媒體數(shù)據(jù)還要被組織成為具有特定系統(tǒng)格式的多媒體文件用于流媒體傳輸或者是存入磁盤中，目前常用的文件格式有MPEG-2系統(tǒng)，MP4，微軟公司的ASF，Real的文件格式，QuickTime的文件格式以及用于3G無線服務的3GPP和3GPP2等等。 當流媒體在實時應用中（如現(xiàn)場流媒體廣播），根據(jù)當前的網(wǎng)絡狀況和用戶的終端參數(shù)，多媒體數(shù)據(jù)是一邊被編碼一邊被流媒體服務器傳輸給用戶。而在其他的非實時應用中，多媒體數(shù)據(jù)可以被事先編碼生成多媒體文件，存儲在磁盤陣列中。當提供多媒體服務時，流媒體服務器直接讀取這些文件傳輸給

5、用戶，這樣服務方式對設備的要求較低。目前許多流媒體服務屬于后一種方式，這樣就要求流媒體服務器具有一定的機制來適應網(wǎng)絡狀況和用戶設備。目前碼流自適應這一模塊主要采用的方法有：將多媒體文件中的視頻碼流轉換為一個特定碼率和圖像尺寸的碼流；或者把同一段視頻內(nèi)容編碼生成多個具有不同碼率和圖像尺寸的碼流，然后自適應選擇一個最合適的碼流傳輸給用戶。生成的碼流還需要進一步打包成為特定網(wǎng)絡傳輸協(xié)議的數(shù)據(jù)包用于網(wǎng)絡傳輸，由于現(xiàn)在許多網(wǎng)絡并不能保證傳輸?shù)臄?shù)據(jù)能夠及時并完全正確地被用戶收到，傳輸?shù)臄?shù)據(jù)包可能需要加前向糾錯編碼（FEC）來保護，經(jīng)過這些處理后多媒體數(shù)據(jù)就可以通過網(wǎng)絡傳輸給用戶，目前常用的傳輸協(xié)議有RTP

6、/RTCP、HTTP和MMS。 用戶收到傳輸?shù)臄?shù)據(jù)后，如果存在丟包或者是比特出錯，錯誤恢復處理會根據(jù)附加的糾錯數(shù)據(jù)來恢復傳輸錯誤。如果還不能恢復傳輸錯誤，用戶端可以向服務器發(fā)出重傳請求，在解碼開始前重新傳輸丟失的包。恢復后的多媒體數(shù)據(jù)將由解碼器解碼得到重構的多媒體數(shù)據(jù)，由于容錯保護和數(shù)據(jù)重傳可能不能恢復所有的錯誤數(shù)據(jù)，錯誤掩藏模塊可以利用重構的多媒體數(shù)據(jù)的相關性來掩蓋這些錯誤，最后這些數(shù)據(jù)就播放給用戶。通常流媒體系統(tǒng)中的服務器和用戶間并不是單向通信，如前面提到的重傳請求。事實上，用戶端會傳遞給服務器許多反饋信息，如終端設備的能力和網(wǎng)絡連接速度會傳給服務器的碼流自適應模塊來調(diào)整碼流，在實時應用中

7、這些信息還可能傳給編碼器；用戶端的丟包率、數(shù)據(jù)包收到的時間信息和用戶緩沖區(qū)狀態(tài)等信息也會傳遞給服務器來估計當前的網(wǎng)絡狀況，從而控制碼流的自適應和數(shù)據(jù)的發(fā)送策略。從上面的描述來看，實際上流媒體系統(tǒng)在多媒體信息處理中是一個非常復雜的系統(tǒng)，目前市面上主要的產(chǎn)品有微軟公司的Windows Media， Real公司的Real System和蘋果公司的QuickTime，其中Windows Media系統(tǒng)的市場占有率最大。 二、流媒體的關鍵技術 實現(xiàn)流媒體的關鍵技術是流式傳輸。流式傳輸?shù)亩x很廣泛，主要是指通過網(wǎng)絡傳送媒體（如視頻、音頻）的技術總稱。 流式傳輸分為順序流式傳輸和實時流式傳輸： 順序流式傳

8、輸采用順序下載方式，在下載文件的同時用戶可觀看在線節(jié)目，在給定時刻，用戶只能觀看已下載的那部分，而不能跳到還未下載的部分，這種方式不像實時流式傳輸那樣，可以在傳輸期間根據(jù)用戶連接的速度進行調(diào)整。順序流式傳輸不適合長片段和有隨機訪問要求的視頻節(jié)目，如講座、演說和演示等，它也不支持現(xiàn)場廣播。嚴格地說，它是一種點播技術。 實時流式傳輸可保證媒體信號帶寬與網(wǎng)絡連接匹配，可實時觀看節(jié)目。實時流與HTTP流式傳輸不同，它需要專用的流媒體服務器與傳輸協(xié)議。實時流式傳輸總是實時傳送，特別適合現(xiàn)場事件，也支持隨機訪問，用戶可對觀看內(nèi)容進行快進或后退。理論上，實時流一經(jīng)播放就不可停止，但可進行周期暫停。流式傳輸模

9、式一般會使用RTP/UDP、RTSP/TCP兩種通信協(xié)議與A/V（Audio/Video）Server建立聯(lián)系，將服務器的輸出重定向到一個運行A/V Player程序所在客戶機的目的地址。如圖1所示，流式傳輸系統(tǒng)一般都要配置一套專用的服務器和播放器。 圖1 流式傳輸基本原理移動流媒體的傳輸協(xié)議：圖2 流媒體傳輸協(xié)議 1、實時傳輸協(xié)議RTP、RTCP RTP（Real-time Transport Protocol）是在Internet上針對多媒體數(shù)據(jù)流的一種傳輸協(xié)議，工作于一對一或一對多的傳輸情況，可提供時間信息和實現(xiàn)流同步。RTP通常使用UDP來傳送數(shù)據(jù)，也可在TCP或ATM協(xié)議之上工作。當

10、應用程序開始一個RTP會話時，會使用到兩個端口，一個給RTP，一個給RTCP。RTP本身并不能為按順序傳送數(shù)據(jù)包提供可靠的傳送機制，也不提供流量控制或擁塞控制，而是依靠RTCP提供這些服務。通常RTP算法并不作為一個獨立的網(wǎng)絡層來實現(xiàn)，而是作為應用程序代碼的一部分。RTCP（Real-time Transport Control Protocol）與RTP共同提供流量控制和擁塞控制服務。在RTP會話期間，參與者周期性地傳送RTCP包，這些包中含有已發(fā)送數(shù)據(jù)包的數(shù)量、丟失數(shù)據(jù)包的數(shù)量等統(tǒng)計數(shù)據(jù)，服務器可根據(jù)這些信息動態(tài)地改變傳輸速率，甚至改變有效載荷類型。RTP與RTCP的配合使用可有效地進行反

11、饋，從而減小開銷，提高傳輸效率，非常適合傳送網(wǎng)上的實時數(shù)據(jù)。2、實時流協(xié)議RTSP 實時流協(xié)議RTSP（Real-time Streaming Protocol）是由RealNetworks、Netscape共同提出的一種協(xié)議，它定義了如何使一對多應用程序有效地通過IP網(wǎng)絡傳送多媒體數(shù)據(jù)。RTSP在體系結構上位于RTP、RTCP之上，它使用TCP或RTP完成數(shù)據(jù)傳輸。與HTTP相比，RTP傳送的是多媒體數(shù)據(jù)，而HTTP傳送HTML。在使用RTSP時，客戶機和服務器均可發(fā)出請求，也就是說RTSP可雙向服務，而HTTP的請求是由客戶機發(fā)出，服務器進行響應。3、資源預訂協(xié)議RSVP 音視頻數(shù)據(jù)流對網(wǎng)

12、絡的延時比數(shù)據(jù)業(yè)務更敏感，如何在網(wǎng)絡中傳輸高質量的音視頻信息，除了帶寬要求之外，還需其它條件。RSVP（Resource Reservation Protocol）是一種正在開發(fā)的Internet資源預訂協(xié)議，它通過采取預留一部分網(wǎng)絡資源（帶寬）的措施，在一定程度上為流媒體傳輸提供QoS。某些試驗性系統(tǒng)，如網(wǎng)絡視頻會議工具vic就集成了RSVP。3GPP UMTS視頻媒體編解碼技術規(guī)范是ITU-T H.263 profile 0 level 10，也是PSS必須使用的視頻解碼器。此外，PSS還應該支持H.263 Profile 3 Level 10解碼器和MPEG-4 Visual Simpl

13、e Profile Level 0解碼器，在實際應用中，兩個視頻解碼器可選。最近提出的H.264標準也引起了業(yè)界的廣泛興趣，3GPP PSS R6也在積極考慮將其納入規(guī)范。移動流媒體播放器：移動流媒體傳輸視頻數(shù)據(jù)都采用H264視頻壓縮算法進行壓縮，以適宜無線傳輸?shù)牡蛶捑幋a (15-25 kpbs) 可以傳輸更好質量的圖像，或者用更少的帶寬傳輸相同質量的視頻。至于移動終端的流媒體視頻播放器，有這些技術的大廠家，如微軟， REAL ，出于市場的原因，僅開發(fā)在特別視頻手機上的應用，所以對于應用開發(fā)商來說，需要將視頻播放器在各個移動終端上面做相應的移植工作。主要平臺有：Pocket PC平臺Dopo

14、d 686/696Lenovo ET180/560Daxian CU928/Eten P300BSymbian平臺Nokia 7650/6600/3650/7610/Nokia6260/6630/7610/6620/3620/3660/3600/3650/N-Gage/索愛 P802/P908Simens sx1/Sendo xPanasonic X700/Samsung SGH-D710Linux平臺Motorola A760Smartphone平臺Dopod515/535 Moto8380/8390三、移動流媒體的主要應用（1）信息服務 包括財經(jīng)信息、新聞和即時體育播報、天氣信息等服務。用

15、戶只須通過簡單的接入門戶站點即可獲取大量信息，也可以通過訂閱的方式使用信息推送服務。信息的內(nèi)容可以以流媒體的方式提供。 （2）娛樂服務 包括卡通、音頻、視頻以及電視節(jié)目的精彩片段下載播放和在線播放。還可以提供移動游戲、用手機看電視等服務。 （3）通信服務 包括含有流媒體內(nèi)容的彩信、視頻電話會議等，使人們的溝通更加方便，更為豐富多彩。 （4）監(jiān)控服務 主要包括交通監(jiān)控和家庭監(jiān)控。交通監(jiān)控使交通部門能夠實時察看高速公路和主要道路的交通狀況，可查看指定道路區(qū)間的路況，并可在途中通過定位服務來檢查各路段的交通情況。家庭監(jiān)控可以實時監(jiān)視家庭和辦公室的情況。只需安裝基于Web的數(shù)字視頻相機，并連接到Int

16、ernet上就可以通過移動終端或PC監(jiān)視家庭或辦公室。 （5）定位服務 可用來提供地圖和向導服務，并且可以預覽風景名勝、預定飯店和電影票等。未來幾年，移動流媒體業(yè)務將得到很大的發(fā)展，將會隨著網(wǎng)絡和終端的不斷發(fā)展而逐步實現(xiàn)。四、移動流媒體的發(fā)展與限制 移動流媒體業(yè)務的開展給移動增值服務帶來了新的希望，2.5G、3G以及超3G無線網(wǎng)絡的發(fā)展也使得流媒體技術可以被用到無線終端設備上，目前中國聯(lián)通公司提供CDMA 1x，用戶網(wǎng)絡帶寬最多可以達到100kbit/s，這已經(jīng)足夠提供QCIF大小的流媒體服務；而且隨著3G無線網(wǎng)絡的應用，用戶的網(wǎng)絡帶寬可以達到384kbit/s。另一方面，手機設備運算能力越來

17、越強，存儲空間越來越大，不用說SMART Phone和Pocket PC等高端手機，就是一般的中檔手機，如Nokia 6610，也能實現(xiàn)基本的H.264的軟件解碼。 面向無線網(wǎng)絡的流媒體應用對當前的編碼和傳輸技術提出了更大的挑戰(zhàn)，首先，相對于有線網(wǎng)絡而言，無線網(wǎng)絡狀況更不穩(wěn)定，除去網(wǎng)絡流量所造成的傳輸速率的波動外，手持設備的移動速度和所在位置也會嚴重地影響到傳輸速率，因此高效的可自適應的編碼技術至關重要。其次，無線信道的環(huán)境也要比有線信道惡劣的多，數(shù)據(jù)的誤碼率也要高許多，而高壓縮的碼流對傳輸錯誤非常敏感，還會造成錯誤向后面的圖像擴散，因此無線流媒體在信源和信道編碼上需要很好的容錯技術。在移動流

18、媒體業(yè)務的發(fā)展過程中，存在如下問題： （1） 無線網(wǎng)絡帶寬窄，干擾嚴重 CDMA1X與GPRS分別作為當前中國聯(lián)通與中國移動的主流2.5G無線網(wǎng)絡技術，網(wǎng)絡傳輸帶寬較之以前有了很大的提高,但仍然十分有限。CDMA1X在理論峰值情況下下載傳輸速率達到144kbps，但實際情況下，穩(wěn)定的傳輸速率通常在70kbps左右。GRPS在理論上可以達到115kbps，但實際情況下，穩(wěn)定的傳輸速率通常在20kbps左右。并且隨著使用用戶的增加，網(wǎng)絡的性能將會進一步下降。另外無線網(wǎng)絡的干擾嚴重，導致網(wǎng)絡傳輸?shù)恼`碼的可能性大大增加。（2） 移動終端處理能力低，內(nèi)存容量小 雖然目前國內(nèi)市場上基于ARM9或是與此同等能力的芯片的高端手機已經(jīng)越來越多，但由于手機中低端用戶基數(shù)龐大而帶來的巨大的市場商機，使得各個終端廠家對中低端用戶尤為重視。因此目前占市場份額最多的、主流的手機仍然采用的是ARM7系列的芯片，處理能力在幾十個MIPS左右。 目前移動終端的內(nèi)存容量通常也比較有限。市場上主流的BREW手機預留給應用程序的動態(tài)內(nèi)存通常在700KB左右；基于J2ME的手機預留給應用程序的動態(tài)分配的內(nèi)存通常在64KB或128KB；基于Symbian/Linux/Windows Mobile等高端手機預留給應用程序的動態(tài)分配的內(nèi)存在1-4MB左右。（3） 終端系統(tǒng)平臺、LCD多樣化 相對于PC的平臺而言，移動終