（交通信息工程及控制專業(yè)論文）基于流媒體技術(shù)的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的研究與實現(xiàn).pdf

摘要 i 基于流媒體技術(shù)的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的研究與實現(xiàn) 摘要 基于流媒體技術(shù)的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的研究與實現(xiàn) 摘要 隨著網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的應(yīng)用越來越廣泛，但 其視頻數(shù)據(jù)流在網(wǎng)絡(luò)傳輸過程中的實時性和傳輸質(zhì)量得不到很好的保證。 流媒體技術(shù)的 興起較好的解決了這個問題， 將其應(yīng)用于網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中顯然是數(shù)字監(jiān)控領(lǐng)域的巨 大突破。但目前的很多監(jiān)控系統(tǒng)都跟具體的硬件相關(guān)，所以有必要開發(fā)一種具有通用性 的基于流媒體技術(shù)的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)。 本文通過采用流媒體技術(shù)及其開發(fā)工具 directshow 完成了一個用 usb 攝像頭作為 視頻采集設(shè)備，完全用軟件的方法實現(xiàn)的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)。directshow 是微軟公司開 發(fā)的一套基于 windows 平臺的軟件開發(fā)包，它為 windows 平臺上處理各種格式的媒體 文件播放、 音/視頻采集等高性能要求的多媒體應(yīng)用提供了完整的解決方案。 本文的研究 內(nèi)容和成果如下： 1、研究了流媒體技術(shù)的原理及流媒體傳輸協(xié)議 rtp/rtcp 的實現(xiàn)機(jī)制和應(yīng)用，以 及視音頻數(shù)據(jù)的壓縮、解碼標(biāo)準(zhǔn)； 2、選用了 visual c+6.0 作為開發(fā)平臺，運(yùn)用微軟的 directshow 技術(shù)進(jìn)行了視音頻 的采集、播放、編碼、解碼、回放等開發(fā)編程； 3、對流媒體網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的總體結(jié)構(gòu)和各功能模塊進(jìn)行了設(shè)計，并編程實現(xiàn) 了系統(tǒng)服務(wù)器端和客戶端軟件功能， 對網(wǎng)絡(luò)傳輸模塊的實現(xiàn)主要是建立了網(wǎng)絡(luò)發(fā)送和網(wǎng) 絡(luò)接收兩個過濾器，實現(xiàn)了視音頻由發(fā)送端過濾器發(fā)送到網(wǎng)絡(luò)，接收端可以順利地回放 視頻圖像和聲音； 最后對完成的系統(tǒng)進(jìn)行了相關(guān)的調(diào)試和實驗，驗證了系統(tǒng)方案的有效性，并對系統(tǒng) 的進(jìn)一步完善工作進(jìn)行了展望。本系統(tǒng)軟件原型具有較好的規(guī)范性和重用性，不僅可用 于遠(yuǎn)程監(jiān)控系統(tǒng)，還可用于多媒體遠(yuǎn)程教學(xué)、網(wǎng)絡(luò)視頻會議、視頻聊天等軟件系統(tǒng)，具 有較好的應(yīng)用前景 關(guān)鍵詞：關(guān)鍵詞：流媒體，視頻監(jiān)控系統(tǒng)，directshow，rtp/rtcp，filter abstract ii research and realization of network video monitor system based on streaming media technology research and realization of network video monitor system based on streaming media technology abstract with the development of network and multimedia technology, the application of the network video monitor system is more and more extensive. however, the network video monitor system often cannot adapt well to the high real-time requirement, and low-level efficiency of the video streaming transmission cannot satisfy the system requirement. the development of streaming media technology gives a chance to better solve this problem. obviously, it is a great breakthrough in digital monitoring field that streaming media technology used for network video monitor system.but many monitor system relevant to concrete hardware, so it is necessary to develop a kind of commonality network video monitor system based on streaming media technoloy. this paper completed a network monitor system using the usb camera as the video collecting equipment, which realized with pure software by adopting the streaming media technique and directshow.directshow is a software development kit, which microsoft corporation develops based on the windows platform software.it provides a whole solution for the windows platform to process the preview and the audio/video collection of the media document.the study contents and results in the paper are as follows: 1. researched the principle of streaming media technology, the implementation mechanism and application of transport protocol rtp/rtcp, and the video and audio data compression, decoding standards; 2. selected vc+6.0 and directshow tech as developing platform to make gathering, playing, encoding, decoding, replaying program; 3. designed the overall structure of the streaming media network monitor system and each functional module, and realized the software function of both the server-end and client-end by programming. the network transmission module has mainly realized by establishing the network send filter and network receive filter, which can send the audio/video datas to the network and the receiver can playback the video images and sound smoothly. at last, it has completed the relevant debugging and proved the effectiveness of the system , and the further improve work has been presented.with the quality of service and reusability as the design goals, the prototype can be applied not only in remote supervisory system but also in multimedia distanceeducation system, network video conference and so on. key words: : streaming media, video monitor system, directshow, rtp/rtcp, filter 獨(dú)創(chuàng)性聲明獨(dú)創(chuàng)性聲明 本人鄭重聲明：所呈交的學(xué)位論文是我個人在導(dǎo)師指導(dǎo)下進(jìn)行的研究 工作及取得的研究成果。盡我所知，除了文中特別加以標(biāo)注和致謝的地方 外，論文中不包含其他人已經(jīng)發(fā)表和撰寫的研究成果，也不包含為獲得華 東交通大學(xué)或其他教育機(jī)構(gòu)的學(xué)位或證書所使用過的材料。與我一同工作 的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示了謝 意。 本人簽名 日期 關(guān)于論文使用授權(quán)的說明關(guān)于論文使用授權(quán)的說明 本人完全了解華東交通大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，即：學(xué) 校有權(quán)保留送交論文的復(fù)印件，允許論文被查閱和借閱。學(xué)?？梢怨颊?文的全部或部分內(nèi)容，可以采用影印、縮印或其他復(fù)制手段保存論文。 保密的論文在解密后遵守此規(guī)定，本論文無保密內(nèi)容。保密的論文在解密后遵守此規(guī)定，本論文無保密內(nèi)容。 本人簽名 導(dǎo)師簽名 日期 第一章 緒論 1 第一章第一章 緒論緒論 1.1 視頻監(jiān)控系統(tǒng)的發(fā)展視頻監(jiān)控系統(tǒng)的發(fā)展 視頻監(jiān)控系統(tǒng)系統(tǒng)是安全防范系統(tǒng)的組成部分，它是一種防范能力較強(qiáng)的綜合系 統(tǒng)。隨著社會的發(fā)展和技術(shù)的進(jìn)步，人們對方便、快捷的視頻監(jiān)控的要求越來越高，涉 及的領(lǐng)域也越來越廣1。視頻監(jiān)控系統(tǒng)從最早的局限于金融業(yè)的應(yīng)用，逐漸遍布各行各 業(yè)，如：大型公共設(shè)施的安防、電力系統(tǒng)、交通領(lǐng)域、社區(qū)物業(yè)管理等。近年來，隨著 計算機(jī)、 網(wǎng)絡(luò)以及圖像處理、 傳輸技術(shù)的飛速發(fā)展， 視頻監(jiān)控技術(shù)也取得了長足的發(fā)展。 視頻監(jiān)控系統(tǒng)發(fā)展大概經(jīng)歷了三個發(fā)展階段：在 90 年代初以前，主要是以模擬設(shè) 備為主的閉路電視監(jiān)控系統(tǒng)，稱為第一代視頻監(jiān)控系統(tǒng)，即模擬視頻監(jiān)控系統(tǒng)；90 年代 中期，隨著計算機(jī)處理能力的提高和視頻技術(shù)的發(fā)展，人們利用計算機(jī)的高速數(shù)據(jù)處理 能力進(jìn)行視頻的采集和處理，從而大大提高了圖像質(zhì)量，增強(qiáng)了視頻監(jiān)控的功能。這種 基于多媒體計算機(jī)的系統(tǒng)稱為第二代視頻監(jiān)控系統(tǒng)，即模擬與數(shù)字混合監(jiān)控系統(tǒng)；90 年代末，隨著網(wǎng)絡(luò)帶寬、計算機(jī)處理能力和存儲容量的迅速提高，以及各種實用視頻信 息處理技術(shù)的出現(xiàn)，視頻監(jiān)控進(jìn)入了全數(shù)字化的網(wǎng)絡(luò)時代，稱為第三代視頻監(jiān)控系統(tǒng)， 即全數(shù)字視頻監(jiān)控系統(tǒng)或網(wǎng)絡(luò)數(shù)字視頻監(jiān)控系統(tǒng)2。 第三代視頻監(jiān)控系統(tǒng)以網(wǎng)絡(luò)為依托， 以數(shù)字視頻的壓縮、傳輸、存儲和播放為核心，以智能實用的圖像分析為特色，引發(fā)了 視頻監(jiān)控行業(yè)的技術(shù)革命。 1.1.1 模擬視頻監(jiān)控系統(tǒng) 1.1.1 模擬視頻監(jiān)控系統(tǒng) 模擬視頻監(jiān)控系統(tǒng)一般是以攝像機(jī)、 控制設(shè)備(云臺、 解碼器)和中心設(shè)備(視頻矩陣、 畫面分割器、磁帶錄像機(jī))為核心，采用模擬方式傳輸信號，通過手動方式對各個被控 站點的情況進(jìn)行切換顯示2。主要應(yīng)用于小范圍內(nèi)的控制，監(jiān)控圖像一般只能在監(jiān)控中 心查看。其基本結(jié)構(gòu)如圖 1-1 所示： 圖 1-1 模擬視頻監(jiān)控系統(tǒng)示意圖 fig.1-1 analog video monitor system diagram 第一章 緒論 2 1.1.2 數(shù)字視頻監(jiān)控系統(tǒng) 1.1.2 數(shù)字視頻監(jiān)控系統(tǒng) 數(shù)字視頻監(jiān)控系統(tǒng)一般是在監(jiān)控現(xiàn)場，設(shè)置若干臺攝像機(jī)、各種檢測、報警探頭與 數(shù)據(jù)設(shè)備，它們通過各自的傳輸線路，匯聚到控制單元上，進(jìn)行信號編碼壓縮，再以數(shù) 字的方式經(jīng)過傳輸系統(tǒng)到監(jiān)控中心，監(jiān)控中心通過信號解碼進(jìn)行實時監(jiān)控。其核心就是 將模擬的視頻、音頻和控制信號轉(zhuǎn)化成數(shù)字信號，形成實現(xiàn)某種功能的數(shù)據(jù)流，有效地 傳輸和控制2。由于需要建設(shè)大規(guī)模的傳輸系統(tǒng)，成本高，因此主要適用于近距離監(jiān)控 （如：大樓監(jiān)控等） 。其基本結(jié)構(gòu)如圖 1-2 所示： 圖 1-2 數(shù)字視頻監(jiān)控系統(tǒng)示意圖 fig.1-2 digital video monitor system diagram 1.1.3 ip 網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng) 1.1.3 ip 網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng) ip 網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)是在傳統(tǒng)視頻監(jiān)控的基礎(chǔ)上， 通過以太局域網(wǎng)、 pstn 電話網(wǎng)、 internet 等網(wǎng)絡(luò)完成數(shù)據(jù)傳輸，借助于數(shù)字光纖、數(shù)字微波、無線通信、atm、ddn、 isdn、衛(wèi)星通信等多種遠(yuǎn)程數(shù)字傳輸媒介，使用點對點、廣播、組播等多種傳輸方式， 使監(jiān)控的圖像在網(wǎng)絡(luò)上進(jìn)行傳輸，實現(xiàn)遠(yuǎn)程監(jiān)控，完全不受空間的局限3。其基本結(jié)構(gòu) 如圖 1-3 所示： 圖 1-3 網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)示意圖 fig.1-3 network video monitor system diagram 第一章 緒論 3 1.1.4 基于移動通信的視頻監(jiān)控系統(tǒng)基于移動通信的視頻監(jiān)控系統(tǒng) 基于移動通信的視頻監(jiān)控系統(tǒng)是指運(yùn)用現(xiàn)代移動通信技術(shù)（如：gprs、cdma） ， 采用無線 modem 將采集、編碼壓縮的視頻圖像通過通信網(wǎng)絡(luò)傳送到移動終端（手機(jī)、 移動 pc 等） ，從而實現(xiàn)無線遠(yuǎn)程實時監(jiān)控。其基本結(jié)構(gòu)如圖 1-4 所示4： 圖 1-4 基于移動通信的視頻監(jiān)控系統(tǒng)示意圖 fig.1-4 video monitor system based on mobile communication diagram 1.1.5 智能視頻監(jiān)控系統(tǒng)智能視頻監(jiān)控系統(tǒng) 智能視頻監(jiān)控以數(shù)字化、網(wǎng)絡(luò)化視頻監(jiān)控為基礎(chǔ)，但又有別于一般的網(wǎng)絡(luò)化視頻監(jiān) 控，是一種更高端的視頻監(jiān)控應(yīng)用，它區(qū)別于傳統(tǒng)意義上的監(jiān)控系統(tǒng)在于其智能性。智 能視頻監(jiān)控系統(tǒng)以計算機(jī)視覺分析技術(shù)為主，能夠識別不同的物體，發(fā)現(xiàn)監(jiān)控畫面中的 異常情況，并能夠以最快和最佳的方式發(fā)出警報和提供有用信息，從而能夠更加有效的 協(xié)助安全人員處理危機(jī)，并最大限度的降低誤報和漏報現(xiàn)象。簡單而言就是，不僅用攝 像機(jī)代替人眼，而且用計算機(jī)代替人、協(xié)助人，來完成監(jiān)視或控制任務(wù)，從而減輕人的 負(fù)擔(dān)。視覺監(jiān)控以其強(qiáng)大的功能、靈活的使用方式、廣泛的應(yīng)用前景及巨大的潛在經(jīng)濟(jì) 價值，從而激發(fā)了世界上廣大科研工作者及相關(guān)商家的濃厚興趣5。 在技術(shù)的不斷前進(jìn)發(fā)展中，視頻監(jiān)控系統(tǒng)必然沿著數(shù)字化、網(wǎng)絡(luò)化和智能化的方向 繼續(xù)迅速發(fā)展。系統(tǒng)功能綜合化、視頻數(shù)字化、監(jiān)控網(wǎng)絡(luò)化、系統(tǒng)集成開放及標(biāo)準(zhǔn)化是 視頻監(jiān)控系統(tǒng)發(fā)展的必然趨勢。 1.2 流媒體技術(shù)概述流媒體技術(shù)概述 1.2.1 流媒體的發(fā)展現(xiàn)狀流媒體的發(fā)展現(xiàn)狀 流媒體（streaming media）技術(shù)是從互聯(lián)網(wǎng)上發(fā)展起來的一種多媒體應(yīng)用技術(shù)。 所謂流媒體，是指在 internet/intranet 中使用流式傳輸技術(shù)的連續(xù)時基媒體，如：音 頻、視頻或多媒體文件6。流媒體不同于傳統(tǒng)的多媒體，它的主要特點就是運(yùn)用可變帶 寬技術(shù)，以流的形式進(jìn)行數(shù)字媒體的傳送。流媒體在播放前并不下載整個文件，數(shù)據(jù)流 隨時傳送隨時播放，只是在開始時有一些延遲，這樣可以使人們在線欣賞到連續(xù)不斷的 第一章 緒論 4 高品質(zhì)的音頻和視頻節(jié)目，避免了用戶必須等待整個文件全部從 internet 上下載才能 觀看的缺點。流媒體技術(shù)起源于窄帶互聯(lián)網(wǎng)時期，當(dāng)時互聯(lián)網(wǎng)的通信網(wǎng)絡(luò)還比較落后， 用戶僅能以非常低的連接速率，通過網(wǎng)絡(luò)獲得靜態(tài)的圖文。隨著技術(shù)的發(fā)展，流媒體的 定義已不再是單一的流式傳輸技術(shù)，它衍生出了適合流式傳輸?shù)木W(wǎng)絡(luò)通信技術(shù)、多媒體 數(shù)據(jù)采集技術(shù)、多媒體數(shù)據(jù)壓縮技術(shù)、多媒體數(shù)據(jù)存儲技術(shù)等更多的基礎(chǔ)技術(shù)。現(xiàn)在的 流媒體已經(jīng)發(fā)展成為一個產(chǎn)業(yè)?；ヂ?lián)網(wǎng)的發(fā)展更是決定了流媒體市場的廣闊前景。商業(yè) 網(wǎng)站利用流媒體播放新聞、音樂直播和點播，企業(yè)和一些機(jī)構(gòu)采用點播和流媒體進(jìn)行員 工培訓(xùn)、信息發(fā)布、公司介紹等，可提高效率，節(jié)約開支。這樣巨大的市場吸引越來越 多的企業(yè)參與競爭。一個全球化的媒體市場和競爭格局已經(jīng)初步形成，如何在這個市場 取得份額，成為當(dāng)前諸多企業(yè)關(guān)注的焦點。國內(nèi)外廠商的紛紛涌入，將使我國的流媒體 市場更加活躍，更加成熟，當(dāng)然競爭也將更加激烈7。 目前，internet 中最通用的流媒體系統(tǒng)包括 realnetworks，microsoft window media player，apple quicktime 等，realnetworks，window media player 流媒體播放器甚至已 成為 pc 標(biāo)準(zhǔn)配置6。 1.2.2 流媒體技術(shù)的應(yīng)用 1.2.2 流媒體技術(shù)的應(yīng)用 流媒體技術(shù)改變了傳統(tǒng)互聯(lián)網(wǎng)的呆板形象，豐富了互聯(lián)網(wǎng)的功能，使之成為一種有 強(qiáng)大吸引力的新媒體。流媒體技術(shù)正逐漸應(yīng)用到社會的各行各業(yè)中，現(xiàn)在流媒體技術(shù)廣 泛應(yīng)用在多媒體新聞發(fā)布、網(wǎng)絡(luò)直播、電子商務(wù)、視頻點播、視頻會議、視頻監(jiān)控、遠(yuǎn) 程教育、遠(yuǎn)程醫(yī)療等網(wǎng)絡(luò)信息服務(wù)的各個方面，為提供人們的生活品質(zhì)做出了巨大的貢 獻(xiàn)8。下面是幾個典型的應(yīng)用例子9： 在線直播(live video)：娛樂是流媒體的重要應(yīng)用場合。用攝像機(jī)或其它裝置獲得視 頻信號后，就可以通過站點進(jìn)行基于 internet 的現(xiàn)場直播，或者保存為流媒體格式的文 件，以供按需播放。需要在一臺較高配置的 pc 機(jī)或服務(wù)器上安裝上普通視頻采集卡和 聲卡， 然后通過視頻采集卡輸入視頻和通過聲卡輸入聲音信號就可以用實時編碼工具來 進(jìn)行直播或錄制成流媒體文件。在這種應(yīng)用中可加入一定的計費(fèi)手段，從而能夠提供有 償多媒體內(nèi)容服務(wù)。 遠(yuǎn)程教育(remote learning)：遠(yuǎn)程教學(xué)將為更多的人提供接受教育的機(jī)會。教學(xué)者 事先在 internet 上發(fā)出通知，聽眾在講座開始前訪問某個 url 地址，當(dāng)講座開始時，聽 眾可以看到演講者的演講畫面并聽到他的聲音。 整個講座也可以流媒體文件的形式記錄 下來，用于以后按需播放。教學(xué)者事先把流媒體文件傳給遠(yuǎn)程教學(xué)服務(wù)器，當(dāng)聽眾需要 聽講座時，同樣訪問相應(yīng)的 url 地址，請求獲取服務(wù)器中的流媒體內(nèi)容。媒體數(shù)據(jù)通 過流式傳輸下載到用戶的瀏覽器高速緩存中，由媒體播放器實時回放。 視頻會議(video conference)：視頻會議和遠(yuǎn)程教學(xué)有很多類似之處，但它對實時性 的要求更高。在一個視頻會議中，各個會議點用音視頻采集設(shè)備得到多媒體內(nèi)容信息， 第一章 緒論 5 經(jīng)過數(shù)字化后用某種壓縮方法進(jìn)行壓縮。 壓縮數(shù)據(jù)可以通過網(wǎng)絡(luò)直接在各個會議點之間 組播，或傳到多點處理器經(jīng)過合成或轉(zhuǎn)換后再向各與會點組播。但不管采用哪種方式， 都需要保證以盡量小的時延在各個點進(jìn)行回放，這正是流媒體技術(shù)發(fā)揮作用的地方。 遠(yuǎn)程監(jiān)控(remote surveillance)：流媒體技術(shù)也可以應(yīng)用于遠(yuǎn)程監(jiān)控。近年來，一 些公司已經(jīng)開發(fā)了一類所謂 web camera 的產(chǎn)品，基本上它就是把圖像采集、壓縮、web server 和 internet 接入集成在一個設(shè)備中，使得遠(yuǎn)程監(jiān)控可以通過 internet 完成，這與傳 統(tǒng)的遠(yuǎn)程監(jiān)控系統(tǒng)相比， 在可控制性、 監(jiān)控距離、 架設(shè)方便性等方面都有很強(qiáng)的競爭力。 1.2.3 流媒體技術(shù)的發(fā)展趨勢 1.2.3 流媒體技術(shù)的發(fā)展趨勢 正如幾年前的 ip 網(wǎng)絡(luò)和 web 技術(shù)，流媒體應(yīng)用正處于高速持續(xù)增長時期。流媒體 市場將呈現(xiàn)巨大的收入潛能，未來幾年里，流媒體將會呈現(xiàn)出以下幾個發(fā)展趨勢10： （1） mpeg-4 多媒體解碼標(biāo)準(zhǔn)的發(fā)展勢頭會越來越猛； （2） 通過電視觀看流媒體； （3） 拓展流媒體在通信領(lǐng)域內(nèi)應(yīng)用； （4） 流媒體標(biāo)準(zhǔn)之爭日漸白熱化； （5） 利用內(nèi)容分發(fā)網(wǎng)絡(luò)（cdn）來傳輸流媒體。 1.3 視頻監(jiān)控和流媒體技術(shù)結(jié)合 1.3 視頻監(jiān)控和流媒體技術(shù)結(jié)合 網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)在其發(fā)展過程中遇到了許多的技術(shù)難題， 最主要的就是視頻數(shù)據(jù) 流在網(wǎng)絡(luò)傳輸過程中的實時性和傳輸質(zhì)量不能得到很好的保證， 這主要是因為在現(xiàn)階段 存在著網(wǎng)絡(luò)帶寬不足、數(shù)據(jù)的傳輸效率低下、傳輸過程中丟包率較高等因素。 如何在現(xiàn)有的網(wǎng)絡(luò)帶寬條件上實現(xiàn)遠(yuǎn)程監(jiān)控， 并且在價格與圖像質(zhì)量上求得最佳的 平衡，成了目前迫切需要解決的問題。流媒體技術(shù)的興起和廣泛應(yīng)用，為這個問題的解 決提供了一個新的思路， 它根據(jù)自身特性將連續(xù)媒體流壓縮封裝后按照一定的時序要求 發(fā)給接收端，保證了接收端可以邊接收數(shù)據(jù)邊實時播放，從而提高了系統(tǒng)的實時性；同 時，它的流量控制和網(wǎng)絡(luò)擁塞控制機(jī)制也提高了網(wǎng)絡(luò)傳輸效率的穩(wěn)定性，進(jìn)而保證了接 收端的播放質(zhì)量。 而網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)則以數(shù)字視頻處理技術(shù)為核心， 綜合了網(wǎng)絡(luò)技術(shù)、 多媒體技術(shù)、圖像壓縮技術(shù)于一體，有效的克服了模擬監(jiān)控的缺點；提高了數(shù)據(jù)傳輸?shù)?實時性、系統(tǒng)的并行處理能力和系統(tǒng)存儲容量，并支持多種有線、無線傳輸介質(zhì)，集視 頻切換、智能控制、遠(yuǎn)程傳輸?shù)裙δ苡谝簧?。流媒體技術(shù)應(yīng)用于網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)顯然 是數(shù)字監(jiān)控領(lǐng)域的巨大突破，能有效克服其他傳輸方式存在的局限性。 無論從技術(shù)角度還是市場角度來說， 流媒體技術(shù)應(yīng)用于網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)都有其他 技術(shù)無可比擬的優(yōu)越性。特別對窄帶遠(yuǎn)程監(jiān)控尤為顯著，用戶不必等遠(yuǎn)端監(jiān)控信息傳輸 完畢即可實時、連續(xù)播放，有效克服其它方式播放的等待問題，且實時性較好。雖然， 第一章 緒論 6 該方式可能影響視頻圖像質(zhì)量，但是，隨著數(shù)字視頻技術(shù)的發(fā)展、圖像壓縮質(zhì)量的提高 以及網(wǎng)絡(luò)帶寬的增大，流媒體技術(shù)的應(yīng)用完全可以滿足視頻圖像監(jiān)控和記錄的需求。因 此，流媒體技術(shù)和視頻監(jiān)控技術(shù)的融合應(yīng)用是它們發(fā)展的必然趨勢，它們的綜合應(yīng)用在 將來也必然越來越廣泛。 1.4 論文研究內(nèi)容及章節(jié)安排 1.4.1 課題相關(guān)領(lǐng)域的現(xiàn)狀及發(fā)展趨勢 1.4 論文研究內(nèi)容及章節(jié)安排 1.4.1 課題相關(guān)領(lǐng)域的現(xiàn)狀及發(fā)展趨勢 在國內(nèi)外市場上，主要推出了數(shù)字控制的模擬視頻監(jiān)控和數(shù)字視頻監(jiān)控兩類產(chǎn)品。 前者技術(shù)發(fā)展已經(jīng)非常成熟、性能穩(wěn)定，在實際工程中得到廣泛應(yīng)用，特別是在大、中 型視頻監(jiān)控工程中的應(yīng)用尤為廣泛； 后者是新近崛起的以計算機(jī)技術(shù)及圖像視頻壓縮為 核心的新型視頻監(jiān)控系統(tǒng)， 該系統(tǒng)解決了模擬系統(tǒng)部分弊端， 但仍需進(jìn)一步完善和發(fā)展。 視頻監(jiān)控應(yīng)用具有巨大的市場前景，所以視頻監(jiān)控系統(tǒng)的研究和開發(fā)受到了學(xué)術(shù)界、產(chǎn) 業(yè)界和使用部門的高度重視，研究成果和開發(fā)的產(chǎn)品層出不窮。 流媒體技術(shù)發(fā)展也非常迅猛，目前 internet 上每周約有 45000 小時的廣播節(jié)目， 58 個美國電視臺提供 web 廣播，34 個電視臺提供點播服務(wù)。有近半數(shù)的跨國企業(yè)公司 在內(nèi)部使用流媒體實現(xiàn) web 廣播。 來自國際權(quán)威機(jī)構(gòu)的調(diào)查， 2000 年在網(wǎng)上訪問流媒體 的人數(shù)增加65%， 西方網(wǎng)絡(luò)發(fā)達(dá)國家訪問流媒體的人數(shù)已達(dá)到1.1億人， 約占網(wǎng)民的1/3， 在亞洲也迅速增加到 2500 萬人，約占網(wǎng)民的 1/9。與用戶增長相呼應(yīng)，去年 internet 上視頻流媒體技術(shù)應(yīng)用增長幅度達(dá) 251%。在美國己經(jīng)有三分之一的 internet 用戶使用 流媒體業(yè)務(wù)，有近百家的 isp 提供流媒體業(yè)務(wù)，在 2000 年己有 40 億左右的市場；在歐 洲、亞洲等地這樣的用戶也有一定的規(guī)模11。 在歐美等發(fā)達(dá)國家，視頻監(jiān)控的發(fā)展比較快，應(yīng)用也十分廣泛。但是他們的產(chǎn)品價 格較高、帶寬要求較大、培訓(xùn)和維護(hù)也很不方便，而且從國外引進(jìn)的產(chǎn)品本地化程度較 差，在功能、接口、使用環(huán)境等方面均或多或少地存在一些與我國國情及現(xiàn)場需要不太 吻合的地方。我國視頻監(jiān)控行業(yè)最初是由閉路電視監(jiān)控(cctv)逐漸發(fā)展起來的，已近二 十年的歷史，從簡單模擬視頻監(jiān)控到現(xiàn)在的純數(shù)字化網(wǎng)絡(luò)視頻監(jiān)控，監(jiān)控系統(tǒng)在國內(nèi)目 前應(yīng)用已經(jīng)相當(dāng)廣泛。國內(nèi)長城集團(tuán)、網(wǎng)通電子商務(wù)有限公司、北京微電子技術(shù)有限責(zé) 任公司等也自主開發(fā)了國產(chǎn)的數(shù)字視頻監(jiān)控系統(tǒng)。 國內(nèi)高校也在監(jiān)控系統(tǒng)的研發(fā)方而發(fā) 揮著重要的作用?？偟恼f來，流媒體服務(wù)以及流媒體技術(shù)應(yīng)用在視頻監(jiān)控系統(tǒng)中在我國 處于起步階段，也有一些關(guān)鍵技術(shù)性問題還待于解決和完善。 1.4.2 課題研究的目的及意義 1.4.2 課題研究的目的及意義 流媒體的應(yīng)用廣泛，如何充分應(yīng)用這種優(yōu)秀的新技術(shù)于傳統(tǒng)的監(jiān)控系統(tǒng)，讓監(jiān)控系 統(tǒng)的應(yīng)用范圍更加廣闊，并且滿足網(wǎng)絡(luò)化的需要，在現(xiàn)有的網(wǎng)絡(luò)帶寬條件上實現(xiàn)遠(yuǎn)程監(jiān) 第一章 緒論 7 控，并且在價格與圖像質(zhì)量上求得最佳的平衡，是本論文著眼研究的課題。通過對本課 題的關(guān)鍵技術(shù)的研究和應(yīng)用， 以達(dá)到能夠設(shè)計并實現(xiàn)一種具有通用性的基于流媒體技術(shù) 的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)， 并且該監(jiān)控系統(tǒng)不跟具體的硬件相關(guān)， 完全用軟件的方式來實現(xiàn)， 系統(tǒng)采用模塊化結(jié)構(gòu)設(shè)計，易于更新和擴(kuò)展，也可以有效降低系統(tǒng)集成的困難和成本， 在工程應(yīng)用中具有一定的實用價值。因此，本系統(tǒng)適應(yīng)了監(jiān)控系統(tǒng)數(shù)字化、網(wǎng)絡(luò)化、集 成化的發(fā)展趨勢，具有良好的發(fā)展前景。 1.4.3 課題的主要內(nèi)容及章節(jié)安排 1.4.3 課題的主要內(nèi)容及章節(jié)安排 本文的研究目標(biāo)是：探索如何利用流媒體技術(shù)，實現(xiàn)基于流媒體技術(shù)的網(wǎng)絡(luò)視頻監(jiān) 控系統(tǒng)。該方案將使用 visual c+ 6.0 為開發(fā)平臺，服務(wù)器端軟件采用 directshow 技 術(shù)實現(xiàn)對 ubs 攝像頭的視頻采集、預(yù)覽、mpeg-4 壓縮、錄像、回放等功能；客戶端軟件 采用 directshow 技術(shù)實現(xiàn)對視頻數(shù)據(jù)的解壓，預(yù)覽、錄像、回放等功能。網(wǎng)絡(luò)傳輸模 塊的重點是對網(wǎng)絡(luò)發(fā)送過濾器和網(wǎng)絡(luò)接收過濾器的設(shè)計和實現(xiàn)。采用 c/s 結(jié)構(gòu)，完整構(gòu) 架了一個基于流媒體技術(shù)的小型網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)。 根據(jù)本課題的研究思路和設(shè)計模塊 劃分，本論文共分為 7 章，各章安排如下： 第一章，緒論。闡述了課題研究背景，介紹了視頻監(jiān)控系統(tǒng)和流媒體技術(shù)的現(xiàn)狀及 發(fā)展、論文研究的內(nèi)容和完成的工作。 第二章，介紹了流媒體相關(guān)技術(shù)，包括流媒體傳輸技術(shù)、流媒體原理，rtp/rtcp 協(xié)議等。 第三章，深入剖析了 directshow 技術(shù)，從 directshow 的結(jié)構(gòu)，工作原理及內(nèi)部實 現(xiàn)機(jī)制等方面進(jìn)行了分析和闡述。 第四章，詳細(xì)闡述了系統(tǒng)的設(shè)計。首先，介紹了系統(tǒng)的整體設(shè)計思想，然后對服務(wù) 器端和客戶端各模塊的設(shè)計，其后闡述了開發(fā)網(wǎng)絡(luò)發(fā)送和接收過濾器的過程。 第五章，詳細(xì)介紹了各種技術(shù)實現(xiàn)系統(tǒng)功能的具體過程，包括服務(wù)器端和客戶端軟 件的各功能模塊的實現(xiàn)，及網(wǎng)絡(luò)模塊的網(wǎng)絡(luò)發(fā)送和接收過濾器的實現(xiàn)過程。 第六章，展示了系統(tǒng)的調(diào)試、運(yùn)行與測試結(jié)果，測試主要在局域網(wǎng)中進(jìn)行。 第七章，結(jié)束語。對本文的工作進(jìn)行總結(jié)和展望。 第二章 流媒體相關(guān)技術(shù)介紹 8 第二章 流媒體相關(guān)技術(shù)介紹 第二章 流媒體相關(guān)技術(shù)介紹 2.1 流式傳輸基礎(chǔ) 2.1 流式傳輸基礎(chǔ) 流媒體是指在 internet/intranet 中使用流式傳輸技術(shù)的連續(xù)時基媒體，如音頻、視頻 或多媒體文件。流式媒體在播放前并不下載整個文件，只將開始部分內(nèi)容存入內(nèi)存，流 式媒體的數(shù)據(jù)流隨時傳送隨時播放，只是在開始時有一些延遲。流媒體實現(xiàn)的關(guān)鍵技術(shù) 就是流式傳輸6。流式傳輸定義很廣泛，現(xiàn)在主要指通過網(wǎng)絡(luò)傳送媒體（如視頻、音頻） 的技術(shù)總稱。 實現(xiàn)流式傳輸有兩種方法： 實時流式(real-time streaming)傳輸和順序流式 (progressive streaming)傳輸。一般說來，如視頻為實時廣播，或使用流式傳輸媒體服務(wù) 器，或應(yīng)用如 rtsp 的實時協(xié)議，即為實時流式傳輸。如使用 http 服務(wù)器，文件即通 過順序流發(fā)送，這種傳輸方式就稱為順序流式傳輸。采用哪種傳輸方法依賴于用戶的具 體需求，當(dāng)然，流式文件也支持播放前完全下載到硬盤后再播放12。 2.1.1 順序流式傳輸 2.1.1 順序流式傳輸 順序流式傳輸是順序下載， 在下載文件的同時用戶可以觀看在線媒體。 在給定時刻， 用戶只能觀看已下載的那部分，而不能跳到還未下載的其他部分。順序流式傳輸不像實 時流式傳輸在傳輸期間根據(jù)用戶連接的速度做調(diào)整。 由于標(biāo)準(zhǔn)的 http 服務(wù)器可發(fā)送這 種形式的文件，也不需要其他特殊協(xié)議，它經(jīng)常被稱作 http 流式傳輸13。順序流式傳 輸比較適合高質(zhì)量的短片段，如片頭、片尾和廣告，由于該文件在播放前觀看部分是無 損下載的，所以這種方法能夠保證電影播放的最終質(zhì)量。但這就意味著用戶在觀看前， 必須經(jīng)歷延遲，對較慢的連接尤其如此。 對通過調(diào)制解調(diào)器發(fā)布短片段，順序流式傳輸顯得很實用，它允許用比調(diào)制解調(diào)器 更高的數(shù)據(jù)速率創(chuàng)建視頻片段。盡管有延遲，畢竟可發(fā)布較高質(zhì)量的視頻片段。 順序流式文件是放在標(biāo)準(zhǔn) http 或 ftp 服務(wù)器上， 易于管理， 基本上與防火墻無關(guān)。 順序流式傳輸小適合長片段和有隨機(jī)訪問要求的視頻，如：講座、演說與演示，它也不 支持現(xiàn)場廣播。嚴(yán)格說來，順序流式傳輸其實是一種點播技術(shù)。 2.1.2 實時流式傳輸 2.1.2 實時流式傳輸 實時流式傳輸是指保證媒體信號帶寬與網(wǎng)絡(luò)連接配匹，使媒體可被實時觀看到。實 時流與 http 流式傳輸不同，它需要專用的流媒體服務(wù)器與傳輸協(xié)議。實時流式傳輸總 是實時傳送，特別適合現(xiàn)場事件，也支持隨機(jī)訪問，用戶可快進(jìn)或后退以觀看前面或后 面的內(nèi)容。理論上，實時流一經(jīng)播放就可不停止，但實際上，可能發(fā)生周期暫停13。 實時流式傳輸必須配匹連接帶寬， 這意味著在以調(diào)制解調(diào)器速度連接時圖像質(zhì)量較 第二章 流媒體相關(guān)技術(shù)介紹 9 差。而且，由于出錯丟失的信息被忽略掉，網(wǎng)絡(luò)擁擠或出現(xiàn)問題時，視頻質(zhì)量很差。如 欲保證視頻質(zhì)量， 順序流式傳輸也許更好。 實時流式傳輸需要特定服務(wù)器， 如 quicktime streaming server ，real server 與 windows media server。這些服務(wù)器允許用戶對媒體發(fā) 送進(jìn)行更多級別的控制，因而系統(tǒng)設(shè)置、管理比標(biāo)準(zhǔn) http 服務(wù)器更復(fù)雜。實時流式傳 輸還需要特殊網(wǎng)絡(luò)協(xié)議，如：rtsp（real-time streaming protocol）或 mms（microsoft media server） 。這些協(xié)議在防火墻存在的情況下有時會出現(xiàn)問題，導(dǎo)致用戶不能看到一 些地點的實時內(nèi)容。 2.2 流媒體技術(shù)原理 2.2 流媒體技術(shù)原理 首先，流式傳輸?shù)膶崿F(xiàn)需要緩存。這是因為 internet 是以包傳輸為基礎(chǔ)進(jìn)行斷續(xù)的 異步傳輸。數(shù)據(jù)在傳輸中它們要被分解為許多包，由于網(wǎng)絡(luò)是動態(tài)變化的，各個包的選 擇路由可能不盡相同，故到達(dá)客戶端的時間延遲也就不等。為此，要使用緩存系統(tǒng)來彌 補(bǔ)延遲和抖動的影響，并保證數(shù)據(jù)包的順序正確，從而使媒體數(shù)據(jù)能連續(xù)輸出，而不會 因為網(wǎng)絡(luò)暫時擁塞使播放出現(xiàn)停頓。通常高速緩存所需容量并不大，因為高速緩存使用 環(huán)形鏈表結(jié)構(gòu)來存儲數(shù)據(jù)，通過丟棄已經(jīng)播放的內(nèi)容，流可以重新利用空出的高速緩存 空間來緩存后續(xù)尚未播放的內(nèi)容。 再次，流式傳輸?shù)膶崿F(xiàn)需要合適的傳輸協(xié)議。www 技術(shù)是以 http 為基礎(chǔ)的，而 http 又建立在 tcp 基礎(chǔ)之上。由于 tcp 需要較多的開銷，故不太適合傳輸實時數(shù)據(jù)。 在流式傳輸?shù)膶崿F(xiàn)方案中，一般采用 http/tcp 來傳輸控制信息，而用 rtp/ udp 來傳 輸實時視音頻數(shù)據(jù)。 流式傳輸?shù)倪^程一般是這樣的：用戶選擇某一流媒體服務(wù)后，web 瀏覽器與 web 服務(wù)器之間使用 http/tcp 交換控制信息， 以便把需要傳輸?shù)膶崟r數(shù)據(jù)從原始信息中檢 索出來；然后客戶機(jī)上的 web 瀏覽器啟動流媒體播放程序，使用 http 從 web 服務(wù)器 檢索相關(guān)參數(shù)對流媒體播放程序初始化。 這些參數(shù)可能包括目錄信息、 a/ v 數(shù)據(jù)的編碼 類型或與 a/ v 檢索相關(guān)的服務(wù)器地址。流式傳輸?shù)倪^程如圖 2-1 所示14。 web瀏覽器web服務(wù)器 播放器a/v服務(wù)器 http/tcp 源文件 控制信息rtsp/tcp (udp) 數(shù)據(jù)信息rtp/udp 圖 2-1 流式傳輸基本原理 fig.2-1 fundamental principle of stream transmission 第二章 流媒體相關(guān)技術(shù)介紹 10 流媒體播放程序及 a/v 服務(wù)器之間運(yùn)行實時流控制協(xié)議(rtsp)，以交換 a/v 傳輸 所需的控制信息。與 cd 播放機(jī)或錄像機(jī)所提供的功能相似，rtsp 提供了操縱播放、 快進(jìn)、快倒、暫停及錄制等命令的方法。a/v 服務(wù)器使用 rtp/ udp 協(xié)議將 a/v 數(shù)據(jù)傳 輸給 a/v 客戶程序(一般可認(rèn)為客戶程序等同于 helper 程序)，一旦 a/v 數(shù)據(jù)抵達(dá)客戶 端，流媒體播放程序即可播放輸出。 2.3 流媒體傳輸協(xié)議 2.3 流媒體傳輸協(xié)議 2.3.1 rtp/rtcp 協(xié)議介紹協(xié)議介紹 1996 年 ietf 的視頻/音頻工作組制訂了 rtp/rtcp 協(xié)議， 專門用于支持網(wǎng)絡(luò)實時傳 輸服務(wù)，提供數(shù)據(jù)實時傳輸?shù)臉?biāo)準(zhǔn)15。rtp/rtcp 是端對端的協(xié)議。在協(xié)議層次中， rtp/rtcp 雖然位于應(yīng)用層，但多數(shù)應(yīng)用還要在 rtp/rtcp 之上建立更符合應(yīng)用要求的 協(xié)議。在網(wǎng)絡(luò)傳輸過程中，rtp/rtcp 不處理連接建立工作，其下層網(wǎng)絡(luò)既可以是有連 接的，也可以是無連接的。如果傳輸流媒體，rtp/rtcp 一般基于組播協(xié)議；它并不要 求特定的地址格式，而僅要求下層提供相對好的分幀、合幀及分段、合段的工作；該協(xié) 議不提供可靠性保障，作為應(yīng)用層的一部分，該協(xié)議并不是操作系統(tǒng)的內(nèi)容。rfc1889 中定義 rtp/rtcp 協(xié)議族由兩個相關(guān)的協(xié)議構(gòu)成： 1)實時傳輸協(xié)議 rtp 用來傳輸具有實時特點的數(shù)據(jù)。 2)實時傳輸控制協(xié)議 rtcp 用于統(tǒng)計、管理和控制 rtp 傳輸。rtp 和 rtcp 協(xié)同工作 完成任務(wù)。 目前最新的版本是 2003 年公布的 rfc3550。rtp 是一個輕量級的網(wǎng)絡(luò)協(xié)議，它沒 有對下一層的傳輸協(xié)議做硬性規(guī)定，在 ip 網(wǎng)絡(luò)上，我們一般使用 udp 協(xié)議作為下一層 協(xié)議傳輸數(shù)據(jù)，圖 2-2 顯示了它在 tcp/ip 協(xié)議棧中的位置。 圖 2-2 rtp 在 tcp/ip 協(xié)議棧中的位置 fig.2-2 the position of rtp in tcp/ip protocol stack 第二章 流媒體相關(guān)技術(shù)介紹 11 2.3.2 rtp/rtcp 協(xié)議工作原理協(xié)議工作原理 rtp 和 rtcp 協(xié)作操作，完成數(shù)據(jù)的實時傳輸，為了控制會話，它還可能和其他的 網(wǎng)絡(luò)協(xié)議共同工作，比如在多媒體應(yīng)用中的實時流協(xié)議 rtsp（real-time streaming protocol） ，如圖 2-3 所示。 圖 2-3 rtp/rtcp 協(xié)作工作圖 fig.2-3 cooperation work chart of rtp/rtcp 在整個工作過程中它們各自完成自己的任務(wù)： 1）rtp 協(xié)議用來傳輸實時數(shù)據(jù)。在 rtp 包中包括數(shù)據(jù)包序列號、時間戳等信息。 2）rtcp 協(xié)議用來監(jiān)控數(shù)據(jù)傳輸質(zhì)量和統(tǒng)計參加在當(dāng)前會話中的成員的一些信息。 這些統(tǒng)計信息可能對那些“松散控制”的應(yīng)用是足夠的， 比如像免費(fèi)的網(wǎng)絡(luò)直播等對成 員沒有具體限制的應(yīng)用。 但對于一些特殊要求， 需要使用其他的非 rtp 手段來加以保證。 3）會話控制協(xié)議，比如 rtsp，用來傳輸和會話控制有關(guān)的數(shù)據(jù)，比如用戶的管理、 用戶數(shù)據(jù)的設(shè)置和媒體的操作。 2.3.3 rtp/rtcp 傳輸流程傳輸流程 rtp 與 rtcp 傳輸視頻流的工作流程如下：在視頻服務(wù)器端，流媒體視頻流按照 rtp 數(shù)據(jù)傳輸協(xié)議的數(shù)據(jù)包格式被裝入 rtp 數(shù)據(jù)包的數(shù)據(jù)載荷段，并配置 rtp 數(shù)據(jù)包 頭部的時間戳、同步信息、順序號等參數(shù)，即數(shù)據(jù)包被“流”化了；同時周期性地接收 rtcp 包，利用這些信息動態(tài)地改變自身參數(shù)設(shè)置?？蛻舳耸盏綌?shù)據(jù)包后先分析 rtp 包 頭，判斷版本、載荷類型等信息的有效性，更新緩沖區(qū)的 rtp 信息，如收到的字節(jié)數(shù)、 視頻幀數(shù)、包數(shù)、順序號等信息；按照 rtp 時間戳和順序號等進(jìn)行信源同步，整理 rtp 包順序，重構(gòu)視頻幀；最后根據(jù)載荷類型標(biāo)識進(jìn)行解碼，將數(shù)據(jù)放入緩存供解碼器解碼 輸出，同時客戶端根據(jù) rtp 包中的信息周期性回送包含服務(wù)質(zhì)量(qos)反饋控制信息的 rtcp 包(接收報告包 rr)到服務(wù)器以檢測發(fā)送端和接收端數(shù)據(jù)的一致性。圖 2-4 是基于 rtp/udp/ip 的傳輸系統(tǒng)結(jié)構(gòu)框圖，在 udp 協(xié)議的基礎(chǔ)上，使用 rtp 協(xié)議傳輸視頻流， 使用 rtcp 協(xié)議進(jìn)行傳輸控制。 第二章 流媒體相關(guān)技術(shù)介紹 12 udp rtprtcp 壓縮編碼qos反饋控制 udp rtcp rtp qos反饋控制 緩存 解碼 ipipinternet 視頻流 rrrr 圖 2-4 基于 rtp/udp/ip 的傳輸系統(tǒng)結(jié)構(gòu)框圖 fig.2-4 structure chart of transmission system based on rtp/udp/ip 2.3.3 rtp 協(xié)議協(xié)議 rtp 是英文 real-time transport protocol 的縮寫，中文名稱是實時傳輸協(xié)議，是一 種提供端對端傳輸服務(wù)的實時傳輸協(xié)議， 用來支持在單目標(biāo)廣播和多目標(biāo)廣播網(wǎng)絡(luò)服務(wù) 中傳輸實時數(shù)據(jù)， 而實時數(shù)據(jù)的傳輸則由rtcp協(xié)議來監(jiān)視和控制。 rtp定義在rfc1889 中15。其報文結(jié)構(gòu)包含廣泛用于多媒體的若干個域，包括聲音點播、影視點播、internet 電話和電視會議等。rtp 沒有對聲音和電視的壓縮格式制定標(biāo)準(zhǔn)，它可以被用來傳輸普 通格式的文件。rtp 協(xié)議與 tcp 協(xié)議十分相似，只是當(dāng)差錯造成分組丟失時，不要求 重發(fā)，同時 rtp 規(guī)范中還定義了實時傳輸控制協(xié)議 rtcp，用于提供 qos 監(jiān)視機(jī)制。 rtp 協(xié)議位于傳輸層之上， 它沒有連接的概念， 雖然它既可以建立在面向連接的協(xié)議上， 也可以建立在面向無連接的協(xié)議上，但是一般來說，rtp 作為實時數(shù)據(jù)傳輸而設(shè)計的， 而建立在 udp 協(xié)議之上，rtp/rtcp/udp 協(xié)議一起用于視頻音頻流的實時傳輸。rtp 用于 udp 數(shù)據(jù)封裝時的情景如圖 2-5 所示。 圖 2-5 rtp 數(shù)據(jù)包的封裝過程 fig.2-5 encapsulation process of rtp packet 第二章 流媒體相關(guān)技術(shù)介紹 13 rtp 協(xié)議對于實時多媒體數(shù)據(jù)的傳輸?shù)奶攸c有如下： 1）rtp 是一種輕型的傳輸協(xié)議，提供端到端的實時媒體傳輸功能，但并不提供機(jī) 制來確保實時傳輸和服務(wù)質(zhì)量。 協(xié)議本身相對輕型、 快捷， 常常與具體應(yīng)用結(jié)合在一起。 2）靈活性：rtp 協(xié)議將數(shù)據(jù)實時傳輸與控制策略分開。協(xié)議本身只提供實時傳輸 機(jī)制，不具體規(guī)定控制策略。開發(fā)者可以根據(jù)不同的應(yīng)用環(huán)境，選擇實現(xiàn)效率較高的算 法及控制策略。 3）獨(dú)立性：rtp 協(xié)議與下層協(xié)議無關(guān)，可以在 udp/ip、ipx、atm 的 aal 層上 實現(xiàn)。 4）良好的擴(kuò)展性：不僅支持單播，還支持組播。 rtp 協(xié)議的核心是其報文格式。報文是 rtp 對數(shù)據(jù)傳輸?shù)姆庋b單位，典型的報文 由報頭和負(fù)載組成，在協(xié)議中僅定義了報頭的數(shù)據(jù)結(jié)構(gòu)，而不限制負(fù)載的大小。rtp 報 頭由 16 個字節(jié)組成，其中最后 4 個字節(jié) csrc 域可選，格式如圖 2-6 所示。 v(2)p(1)x(1)cc(4)m(1)pt(7)seq number(16) timestamp(32) ssrc(32) csrc(32) 031 圖 2-6 rtp 報頭格式 fig.2-6 format of rtp packet header v：rtp 版本號，2 位； p：填充標(biāo)識，1 位，置”1”表示用戶數(shù)據(jù)最后有填充位，用戶數(shù)據(jù)中最后一個字節(jié) 是填充位計數(shù)，它表示一共加了多少個填充位。在兩種情況下可能要填充，一是某些加 密算法要求數(shù)據(jù)塊大小固定；二是在一個低層協(xié)議數(shù)據(jù)包中裝載多個 rtp 分組； x：擴(kuò)展位標(biāo)識，1 位，置“1”表示 rtp 報頭后緊隨一個擴(kuò)展報頭； cc：csrc 計數(shù)，4 位，表示在定長的 rtp 報頭后的 csrc 標(biāo)識符的數(shù)量； m：標(biāo)記，l 位，置“1”對于視頻標(biāo)識表示最后一幀；對于音頻表示談話開始。 pt(數(shù)據(jù)類型)：7 位，標(biāo)識 rtp 報文內(nèi)負(fù)載的數(shù)據(jù)類型； seqnumber(序列號)：2 字節(jié)，一個 rtp 傳輸會話中的所有 rtp 報文依次編號，其 中第 1 個 rtp 包的編號可為 0 或為一個隨機(jī)數(shù)。每發(fā)送一個 rtp 報文，序列號就加 1， 接收端可以用它來檢查報文是否有丟失并按順序處理報文。 timestamp(時間戳)：4 字節(jié)，標(biāo)識 rtp 報文內(nèi)負(fù)載的時間信息。它反映 rtp 數(shù)據(jù) 信息中第 1 個字節(jié)的采樣時刻(時間)。接收端可以利用這個時間戳去除由網(wǎng)絡(luò)引起的信 第二章 流媒體相關(guān)技術(shù)介紹 14 息包的抖動，并且在接收端為播放提供同步功能。 ssrc(同步源標(biāo)識)：4 字節(jié)，用于標(biāo)識數(shù)據(jù)源，該標(biāo)識符在一次會話中是唯一的， 如果有兩個參與者的 ssrc 相同，就會產(chǎn)生沖突。 csrc(混合器列表)：僅用于有混合器的情況下。可以有 0 到 15 項，每項 32 位，對 一個 rtp 混合器(mixer)產(chǎn)生的組合流有貢獻(xiàn)的 rtp 分組源。csrc 列表識別在此包中 負(fù)載的有貢獻(xiàn)源，識別符的數(shù)目在 cc 域中給定。若有貢獻(xiàn)源多于 15 個，僅識別 15 個。 rtp 協(xié)議本身包括兩部分：rtp 數(shù)據(jù)傳輸協(xié)議和 rtcp 傳輸控制協(xié)議。為了可靠、 高效地傳送實時數(shù)據(jù)，rtp 和 rtcp 必須配合使用，通常 rtcp 包的數(shù)量占所有傳輸量 的 5%。rtp 實時傳輸協(xié)議主要用于負(fù)載多媒體數(shù)據(jù)，并通過包頭時間參數(shù)的配置使其 具有實時的特征。rtp 本身并不能為按順序傳送數(shù)據(jù)包提供可靠的傳送機(jī)制，也不提供 流量控制或擁塞控制，它依靠 rtcp 傳輸控制協(xié)議提供這些服務(wù)。 2.3.4 rtcp 協(xié)議協(xié)議 rtcp 是英文 real-time transport control protocol 的縮寫，中文名稱是實時傳輸控 制協(xié)議，是一種用來傳輸控制數(shù)據(jù)的協(xié)議，它主要向會話中的所有參與者定期發(fā)送控制 數(shù)據(jù)報文，其發(fā)送的方式和 rtp 數(shù)據(jù)包相同16。rtcp 由多種不同的數(shù)據(jù)報文組成，每 種報文傳輸不同的信息。這些報文包括以下 5 類： 發(fā)送者報告（sr） ：用來發(fā)布數(shù)據(jù)發(fā)送者的傳輸信息； 接收者報告（rr） ：用來發(fā)布數(shù)據(jù)接收者的數(shù)據(jù)接收質(zhì)量統(tǒng)計信息，有時 rr 也包 括在數(shù)據(jù)發(fā)送者報告中； 描述信息（sdes） ：用來描述一個參與者； 離開報告（bye） ：用來通知會話中其他參與者自己要離開會話； 特殊應(yīng)用報告（app） ：用來傳輸應(yīng)用程序自定義的數(shù)據(jù)信息。 每個 rtcp 分組以一個固定首部開始，如圖 2-7 所示，分組中其它字段的格式取決 于分組首部中的類型字段。 verprcpt報文長度 031 數(shù)據(jù)區(qū) 12816 圖 2-7 rtcp 固定首部 fig.2-7 fixe