多媒體技術(shù)與多媒體網(wǎng)絡(luò)

多媒體基礎(chǔ)知識本章目標(biāo)多媒體和多媒體技術(shù)多媒體網(wǎng)絡(luò)音頻基礎(chǔ)視頻基礎(chǔ)流媒體技術(shù)基礎(chǔ)RTP協(xié)議概述對RTP協(xié)議進行封裝多媒體“多”是指多種媒體體現(xiàn)、多種感官作用、多種設(shè)備、多學(xué)科交匯和多領(lǐng)域應(yīng)用“媒”是指它可作為人與客觀事物的中介；“體”是指其能夠綜合、集成一體化多媒體技術(shù)多媒體技術(shù)是指把文字、音頻、視頻、圖形、圖像和動畫等多媒體信息通過計算機進行數(shù)字化采集、獲取、壓縮/解壓縮、編輯和存儲等加工處理，再以單獨或合成形式表現(xiàn)出來的一體話技術(shù)多媒體技術(shù)特性集成性－－采用了數(shù)字信號，可以綜合處理文字、聲音、圖形、動畫、圖像和視頻等多種信息。交互性－－可以方便地實現(xiàn)人機交互智能性－－提供了易于操作、十分友好的界面，使其更直觀、更方便、更親切和更人性化易擴展性－－可方便地與各種外部設(shè)備掛接，實現(xiàn)數(shù)據(jù)交換、監(jiān)視控制等多種功能。多媒體網(wǎng)絡(luò)把多媒體的概念與網(wǎng)絡(luò)相結(jié)合在網(wǎng)絡(luò)上展示多媒體，這是未來網(wǎng)絡(luò)發(fā)展的趨勢由多媒體終端、多媒體接入網(wǎng)絡(luò)、多媒體傳輸骨干網(wǎng)絡(luò)以及能夠滿足多媒體網(wǎng)絡(luò)化應(yīng)用的網(wǎng)絡(luò)軟件等部分組成多媒體網(wǎng)絡(luò)特性業(yè)務(wù)等級保證，多媒體網(wǎng)絡(luò)應(yīng)能根據(jù)不同的業(yè)務(wù)提供不同的質(zhì)量等級高帶寬，也就是網(wǎng)絡(luò)的寬帶化可靠性保證。實時性，這是多媒體通信網(wǎng)與傳統(tǒng)數(shù)據(jù)網(wǎng)的本質(zhì)區(qū)別主流音頻編碼（2－1）PCM編碼：PCM脈沖編碼調(diào)制是PulseCodeModulation的縮寫。PCM編碼最大的優(yōu)點就是音質(zhì)好，最大的缺點就是體積大WAV:是由微軟開發(fā)的音頻文件格式。WAV符合RIFF規(guī)范，MP3編碼：作為目前最為普及的音頻壓縮格式是MPEGAudioLayer-3的簡稱，是MPEG1的衍生編碼方案OGG編碼MPC編碼主流音頻編碼（2－2）MP3PRO編碼：是一種基于MP3編碼技術(shù)的改良方案WMA：是WindowsMediaAudio編碼后的文件格式RA：就是RealAudio格式，大部分音樂網(wǎng)站的在線試聽都是采用了RealAudio格式APE:是Monkey’sAudio提供的一種無損壓縮格式視頻基礎(chǔ)在Internet上傳輸視頻有許多困難，其根本的原因在于Internet的無連接每包轉(zhuǎn)發(fā)機制主要為突發(fā)性的數(shù)據(jù)傳輸設(shè)計，不適用于對連續(xù)媒體流的傳輸視頻傳輸編/解碼標(biāo)準國際電聯(lián)的H.261和H.263標(biāo)準M-JPEGMPEG系列標(biāo)準國際電聯(lián)的H.261和H.263標(biāo)準H.261:此算法為了優(yōu)化帶寬占用量，引進了在圖像質(zhì)量與運動幅度之間的平衡折中機制，也就是說，劇烈運動的圖像比相對靜止的圖像質(zhì)量要差H.263：是國際電聯(lián)ITU-T的一個標(biāo)準草案，是為低碼流通信而設(shè)計的M-JPEGM-JPEG即運動靜止圖像（或逐偵）壓縮技術(shù)，廣泛應(yīng)用于非線性編輯領(lǐng)域，可精確到偵編輯和多層圖像處理。M-JPEG的壓縮和解壓縮是對稱的，可由相同的硬件和軟件實現(xiàn)M-JPEG只對偵內(nèi)的空間冗余進行壓縮，不對偵間的時間冗余進行壓縮，故壓縮效率不高MPEG系列標(biāo)準（2－1）MPEG是活動圖像專家組的縮寫，MPEG組織目前已經(jīng)提出MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21標(biāo)準MPEG-1標(biāo)準：于1993年8月公布，用于傳輸1.5Mbit/s數(shù)據(jù)傳輸率的運動圖像及其伴音。該標(biāo)準包括5部分：第1部分說明了如何根據(jù)第二部分（視頻）以及第三部分（音頻）的規(guī)定，對音頻和視頻進行符合編碼；第4部分說明了檢驗解碼器或編碼器的輸出比特流符合前3部分規(guī)定的過程；第5部分是一個用完整的C語言實現(xiàn)的編碼和解碼器MPEG-2標(biāo)準：于1994年推出MPEG-2壓縮標(biāo)準，以實現(xiàn)視/音頻服務(wù)與應(yīng)用互操作的可能性。MPEG系列標(biāo)準（2－2）MPEG-4標(biāo)準：于1999年2月正式公布了MPEG-4標(biāo)準第1版本。同年年底MPEG-4第2版也確定，且于2000年年初正式成為國際標(biāo)準MPEG-7標(biāo)準：被稱為“多媒體內(nèi)容描述接口”，為各類多媒體信息提供一種標(biāo)準化的描述。流媒體概述（2－1）流媒體技術(shù)是一種新興的網(wǎng)絡(luò)傳輸技術(shù)，它能實現(xiàn)在互聯(lián)網(wǎng)上實時順序地傳輸和播放視/音頻等多媒體內(nèi)容。流媒體技術(shù)包括流媒體數(shù)據(jù)采集、視/音頻編解碼、存儲、傳輸和播放等領(lǐng)域流媒體概述（2－2）廣義上的流是使音頻和視頻形成穩(wěn)定和連續(xù)的傳輸流和回放流的一系列技術(shù)、協(xié)議和方法的總稱，習(xí)慣上稱為流媒體系統(tǒng)狹義上的流是相對于傳統(tǒng)的下載－回放方式而言的一種媒體格式，它能從Internet上獲取音頻和視頻等連續(xù)的多媒體流流媒體技術(shù)緩存技術(shù)： 可以使用緩存系統(tǒng)來彌補延遲和抖動的影響，并保證數(shù)據(jù)包的順序正確，從而使媒體數(shù)據(jù)能連續(xù)輸出，而不會出現(xiàn)因為網(wǎng)絡(luò)暫時擁塞使播放出現(xiàn)停頓的現(xiàn)象流媒體傳輸流程web瀏覽器與web服務(wù)器之間使用HTTP/TCP交換控制信息，以便把需要傳輸?shù)膶崟r數(shù)據(jù)從原始信息中檢索出來用HTTP從Web服務(wù)器檢索相關(guān)數(shù)據(jù)，播放器進行初始化從web服務(wù)器檢索出來的相關(guān)服務(wù)器的地址定位A/V服務(wù)器A/V播放器與A/V服務(wù)器之間交換A/V傳輸所需要的實時控制協(xié)議一旦A/V數(shù)據(jù)抵達客戶端，A/V播放器就可以播放了流媒體傳輸協(xié)議實時傳輸協(xié)議RTP和TRCP：RTP是用于Internet/Intranet針對多媒體數(shù)據(jù)流的一種傳輸協(xié)議。RTP被定義為在一對一或一對多傳輸?shù)那闆r下工作，其目的是提供時間信息和實現(xiàn)流同步。RTP通常使用UDP來傳送數(shù)據(jù)，但RTP也可以在TCP或ATM等其他協(xié)議上工作實時流協(xié)議RTSP實時流協(xié)議RTSP是由RealNetWorks和Netscape共同提出的，該協(xié)議定義了一對多應(yīng)用程序如何有效地通過IP網(wǎng)絡(luò)傳送多媒體數(shù)據(jù)。RTSP在體系結(jié)構(gòu)上位于RTP和RTCP之上，它使用TCP或RTP完成數(shù)據(jù)傳輸資源預(yù)定協(xié)議RSVP由于音頻和視頻數(shù)據(jù)流比傳統(tǒng)數(shù)據(jù)對網(wǎng)絡(luò)的延時更敏感，要在網(wǎng)絡(luò)中傳輸高質(zhì)量的音頻、視頻信息，除帶寬要求之外，還需要其他更多的條件。流媒體發(fā)展現(xiàn)狀I(lǐng)nternet/Intranet上使用較多的流媒體技術(shù)主要有RealNetworks公司的RealSystem,Microsoft公司的WindowsMediaTechnology和Apple公司的QuickTime,它們是流媒體傳輸系統(tǒng)的主流技術(shù)音頻編解碼類型G7231編解碼G729編解碼G7231編碼用法編碼初始化 Init_Coder()編碼函數(shù) Coder(short*,char*)G7231解碼用法解碼初始化 Init_Decod()解碼函數(shù) Decod(short*,char*,short)G729編碼G729編碼初始化 va_g729a_init_encoder();G729編碼 va_g729a_encoder(short*,(unsignedchar*)G729解碼解碼初始化 va_g729a_init_decoder()解碼函數(shù) va_g729a_decoder(unsignedchar*,short*,int)RTP協(xié)議RTP是一種提供端對端傳輸服務(wù)的實時傳輸協(xié)議，用來支持在單目標(biāo)廣播和多目標(biāo)廣播網(wǎng)絡(luò)服務(wù)中傳輸實時數(shù)據(jù)RTP是傳輸層上的協(xié)議RTP可以看成是傳輸層的子層。由多媒體應(yīng)用程序生成的聲音和電視數(shù)據(jù)塊被封裝在RTP信息包中，每個RTP信息包被封裝在UDP消息段中，然后再封裝在IP數(shù)據(jù)包中RTP和UDP之間的接口從應(yīng)用開發(fā)人員的角度來看，可把RTP執(zhí)行程序看成是應(yīng)用程序的一部分，因為開發(fā)人員必需把RTP集成到應(yīng)用程序中。在發(fā)送端，開發(fā)人員必需把執(zhí)行RTP協(xié)議的程序?qū)懭氲絼?chuàng)建RTP信息包的應(yīng)用程序中，然后應(yīng)用程序把RTP信息包發(fā)送到UDP的套接接口RTP頭RTP頭域（2－1）名稱說明版本(v)2位，標(biāo)識RTP版本填充標(biāo)識(P)1位，如設(shè)置填充位，在包尾將包含附加填充字，它不屬于有效載荷擴展(X)1位，如設(shè)置擴展位，固定頭后跟一個擴展頭CSRC計數(shù)（CC）4位，CSRC計數(shù)包括緊接在固定頭后CSRC標(biāo)識符個數(shù)標(biāo)識（M）1位，標(biāo)識解釋由設(shè)置定義，目的在于允許重要事件在包流中標(biāo)識出來，載荷類型（PT）7位，記錄后面資料使用哪種codec，接收端找出相應(yīng)的decoder解碼出來RTP頭域（2－2）名稱說明系列號16位，系列號隨每個RTP數(shù)據(jù)包而增加1，由接收者用來探測包損失，系列號初值是隨機的，使對加密的文本攻擊