基于android的智能手機(jī)視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

1、基于android的手機(jī)視頻監(jiān)控系統(tǒng)的設(shè)計(jì)移動流媒體技術(shù)就是把連續(xù)的聲音影像信息經(jīng)過壓縮處理后傳送到網(wǎng)絡(luò)服務(wù)器上，讓終端用戶能夠在下載的同時觀看收聽，而不需要等到全部的多媒體文件下載完成就可以即時觀看的技術(shù)。移動流媒體技術(shù)的出現(xiàn)是伴隨這移動通信技術(shù)的發(fā)展和網(wǎng)絡(luò)音視頻技術(shù)的進(jìn)步，其只要是關(guān)于流媒體數(shù)據(jù)從采集到播放整個過程中所需要的核心技術(shù)。移動流媒體數(shù)據(jù)流具有三個特點(diǎn)：連續(xù)性、實(shí)時性、時序性。所以流媒體數(shù)據(jù)流具有嚴(yán)格的前后時序關(guān)系。流媒體傳輸技術(shù)實(shí)在FTP/TCP的基礎(chǔ)上發(fā)展而來的。服務(wù)器按照一定的順序?qū)⑽募指畛扇舾蓚€數(shù)據(jù)分段，然后封裝到分組中依次進(jìn)行傳輸，客戶端接收到分組后重新將其組裝起來，

2、最終形成一個與原來一樣的完整文件。流媒體播放技術(shù)有優(yōu)點(diǎn)也有缺點(diǎn)。優(yōu)點(diǎn)是能夠及時傳送隨時播放，雖然在開始階段需要一定的時間進(jìn)行緩沖，但依然能夠在實(shí)時性要求高的領(lǐng)域具有無可比擬的優(yōu)勢；缺點(diǎn)是由于網(wǎng)絡(luò)的速率不穩(wěn)定性，當(dāng)播放速率大于傳輸速率時，視頻播放將出現(xiàn)停滯，時斷時續(xù)的現(xiàn)象。 基于android的視頻監(jiān)控系統(tǒng)分為四個模塊：依次為采集模塊、編碼模塊、視頻傳輸模塊、解碼模塊、顯示模塊。如下圖所示：一 視頻采集模塊Android攝像頭采集的到的視頻格式為YUV420格式的視頻流。采集模塊的實(shí)現(xiàn)可以在android的應(yīng)用層中通過編寫代碼來實(shí)現(xiàn)。二 編碼模塊數(shù)字視頻編碼標(biāo)準(zhǔn)主要由兩個標(biāo)準(zhǔn)化組織制定。一個是由

3、國際標(biāo)準(zhǔn)化組織(ISO)和國際電工委員會(IEC)組建的活動圖像專家組(MPGE)，另一個是國際電信聯(lián)盟電信標(biāo)準(zhǔn)局(ITU-T)的視頻編碼專家組(VCEG)。MPEG制定的視頻編碼標(biāo)準(zhǔn)有MPEG-1，MPEG-2，MPEG-4。ITU一T制定的視頻編碼標(biāo)準(zhǔn)有H.261和H.263。為了促進(jìn)下一代多媒體通信的應(yīng)用， MPEG和VCEG共同成立了聯(lián)合視頻工作組(JVT)，共同開發(fā)了視頻編碼標(biāo)準(zhǔn)H.264。目前，H.264是最先進(jìn)的視頻編碼標(biāo)準(zhǔn)。H.264視頻編碼標(biāo)準(zhǔn)是目前最新的技術(shù)，雖然H.264遵循了原來壓縮標(biāo)準(zhǔn)的架構(gòu)，但是H.264具有一些新的特性，如可變塊大小運(yùn)動補(bǔ)償，幀內(nèi)預(yù)測編碼，多參考幀

4、技術(shù)等，所以在性能上有了不小的提升。H.264標(biāo)準(zhǔn)分兩層結(jié)構(gòu)，包含網(wǎng)絡(luò)抽象層(NAL)和視頻編碼層(VCL)。網(wǎng)絡(luò)抽象層用于數(shù)據(jù)打包和傳輸，編碼層負(fù)責(zé)視頻壓縮編碼，這種分層結(jié)構(gòu)，實(shí)現(xiàn)了傳輸和編碼的分離。由于H.264標(biāo)準(zhǔn)引入了數(shù)據(jù)分割等抗誤碼技術(shù)，實(shí)現(xiàn)了在復(fù)雜環(huán)境下的使用，可以適應(yīng)不同網(wǎng)絡(luò)的傳輸要求。由于采用高度復(fù)雜的實(shí)現(xiàn)算法，H.264是目前低碼率下壓縮率最高的編碼標(biāo)準(zhǔn)，在帶寬不穩(wěn)定的無線網(wǎng)絡(luò)上有著無法比擬的優(yōu)點(diǎn)。H.246技術(shù)介紹H.264并不是明確的規(guī)定一個編解碼器是如何實(shí)現(xiàn)的，而是規(guī)定了構(gòu)成編碼的比特流的語法、語法元素的語義以及語義元素的解碼過程，為不同制造商的編解碼器提供兼容性，各個

5、廠商的編碼器和解碼器在此框架下應(yīng)能互通，在實(shí)現(xiàn)上具有較大的靈活性，而且有利用相互競爭24,25。H.264編解碼的功能模塊跟一般的編解碼器大致相同，主要包括預(yù)測、變換、量化和熵編碼等功能模塊，H.264編解碼的重要變化主要體現(xiàn)在各個模塊的細(xì)節(jié)上。H.264是一個總的視頻壓縮標(biāo)準(zhǔn)，為了適應(yīng)不同場合的不同應(yīng)用，H.264規(guī)定了不同的檔次。其每一個檔次規(guī)定了不同的語法元素和句法，適合于不同的應(yīng)用場合。 基本檔次:利用I片P片支持幀內(nèi)預(yù)測和幀間預(yù)測編碼，支持利用基于上下文的自適應(yīng)的變長編碼進(jìn)行熵編碼(CAVLC)。只要用于會議電視、可視電話、無線通信等實(shí)時視頻通信。 主要檔次：支持隔行視頻，采用采用加

6、權(quán)預(yù)測的幀內(nèi)編碼和B片的幀間編碼；支持利用基于上下文的自適應(yīng)的算術(shù)編碼(CABAC)。主要用于數(shù)字廣播電視與數(shù)字視頻存儲等。 擴(kuò)展檔次：支持碼流之間的切換(SP片和SI片)，改進(jìn)誤碼性能(數(shù)據(jù)分割)、但是不支持隔行視頻和自適應(yīng)算術(shù)編碼(CABAC)。 高級檔次：2004年，視頻聯(lián)合小組又增加了一個高端檔次用于支持高精度拓展FRExt(Fidelity Range Extensions)，該拓展支持更高的像素精度。H.264的4個檔次具有不同的功能，每個檔次設(shè)定不同的參數(shù)(如采樣速率、編碼比特率、圖像尺寸等)，得到編解碼器不同性能的級。1.H.264編碼器同以往的編碼標(biāo)準(zhǔn)，H.264標(biāo)準(zhǔn)沒有明確

7、界定的編解碼(編碼器/解碼器的配對)，而是定義視頻流的編解碼方法。H.264仍采用圖像預(yù)測和變換編碼相結(jié)合的編碼結(jié)構(gòu)，其編碼器本結(jié)構(gòu)如下圖所示:編碼器采用的仍是變換和預(yù)測的混合編碼法。輸入的幀或場Fn以宏塊為單位被編碼器處理。首先，按幀內(nèi)或幀間預(yù)測編碼的方法進(jìn)行處理。如果采用幀內(nèi)預(yù)測編碼，其預(yù)測值PRED(圖中用P表示)是由當(dāng)前片中前面己編碼的參考圖像經(jīng)運(yùn)動補(bǔ)償(MC)后得出，其中參考圖像用Pn一l表示。為了提高預(yù)測精度，從而提高壓縮比，實(shí)際的參考圖像可在過去或未來(指顯示次序上)已編碼解碼重建和濾波的幀中進(jìn)行選擇。預(yù)測值PRED和當(dāng)前塊相減后，產(chǎn)生一個殘差塊Dn，經(jīng)塊變換、量化后產(chǎn)生一組量化

8、后的變換系數(shù)X，再經(jīng)嫡編碼，與解碼所需的一些邊信息(如預(yù)測模式量化參數(shù)、運(yùn)動矢量等)一起組成一個壓縮后的碼流，經(jīng)NAL(網(wǎng)絡(luò)自適應(yīng)層)供傳輸和存儲用。為了提供進(jìn)一步預(yù)測用的參考圖像，編碼器必須有重建圖像的功能。因此必須使殘差圖像經(jīng)反量化、反變換后得到的D'n。與預(yù)測值P相加，得到uF'n。(未經(jīng)濾波的幀)。為了去除編碼解碼環(huán)路中產(chǎn)生的噪聲，為了提高參考幀的圖像質(zhì)量，從而提高壓縮圖像性能，設(shè)置了一個環(huán)路濾波器，濾波后的輸出F'n。即重建圖像可用作參考圖像。2.H.264核心算法H.264標(biāo)準(zhǔn)的核心思想與現(xiàn)有的其它視頻編解碼標(biāo)準(zhǔn)一致，也是采用變換和預(yù)測的混合編碼方法。但是，

9、H.264在算法的實(shí)現(xiàn)細(xì)節(jié)上使用了不同于其他標(biāo)準(zhǔn)的新技術(shù)，使得H.264編碼性能遠(yuǎn)遠(yuǎn)優(yōu)于其他標(biāo)準(zhǔn)。H.264的核心算法主要包括幀內(nèi)預(yù)測模式、整數(shù)變換編碼、先進(jìn)的量化、熵編碼和高級運(yùn)動估計(jì)與補(bǔ)償?shù)?。H.264標(biāo)準(zhǔn)規(guī)定了符合H.264標(biāo)準(zhǔn)的檔次、級別與碼流范圍，但是并沒有規(guī)定具體的編解碼算法。H.264標(biāo)準(zhǔn)自2003年公布以后，世界各地的各個組織和研究機(jī)構(gòu)都研發(fā)出了自己的H.264編解碼器。這些開源代碼在支持H.264特性、解碼速度和開發(fā)難易度等方面不盡相同。目前流行的開源H.264解碼器主要有以下4種：1)JM：JM系列是H.264標(biāo)準(zhǔn)的官方測試源碼，由德國HHI(Heinrich HertzI

10、ntiut)研究所負(fù)責(zé)開發(fā)，它注重實(shí)現(xiàn)H.264標(biāo)準(zhǔn)豐富的功能，并沒有專門進(jìn)行優(yōu)化。因此該源代碼的特點(diǎn)是引入各種新特性提高編解碼性能，但是結(jié)構(gòu)冗長、復(fù)雜度高。適合進(jìn)行學(xué)術(shù)研究但是實(shí)用性差。2)X264：X264是由法國巴黎中心學(xué)校的中心研究所的一些學(xué)生在網(wǎng)上組織發(fā)起的，并由眾多視頻編解碼愛好者共同完成的。其目的是實(shí)現(xiàn)實(shí)用的H.264編解碼器。X264摒棄了一些耗時但是對編碼性能提高不是很大的一些功能模塊，因此其相比較JM系列而言，在程序結(jié)構(gòu)和算法性能方面有了提高。X264實(shí)現(xiàn)了H.264標(biāo)準(zhǔn)的基本檔次編碼器的基本功能和另外兩個檔次的部分功能。但是它還沒有實(shí)現(xiàn)真正的解碼功能。3)T264：T26

11、4是由中國視頻編碼自由組織聯(lián)合開發(fā)的H.264編解碼器。T264和X264在程序結(jié)構(gòu)和性能方面有些類似，也是注重實(shí)用性，吸收了JM、X264的優(yōu)點(diǎn)。T264編碼輸出標(biāo)準(zhǔn)的H.264碼流，但是其解碼只能解碼T264本身的碼流。4)FFmpeg：FFmpeg是一個集錄制、轉(zhuǎn)換、音/視頻編碼解碼功能為一體的完整的開源的音頻和視頻流解決方案。它支持各種音視頻標(biāo)準(zhǔn)編解碼，還支持各種文件格式(.avi,.mp4,.mkv等)的解析。FFmpeg被許多開源項(xiàng)目采用，比如ffmpeg2theora,VLC,MPlayer,HandBrake,Blender,Google Chrome等。另外，一些著名的播放軟

12、件，例如暴風(fēng)影音、QQ影音和KMPlayer等，里面也采用了FFmpeg的開源代碼。FFmpeg是一個非常好的音視頻編解碼庫，支持的標(biāo)準(zhǔn)非常全面，而且解碼速度也很快。比較以上幾個開源的解碼器可以發(fā)現(xiàn)：JM系列代碼結(jié)構(gòu)冗長，只考慮引進(jìn)新特性提高編解碼性能，忽視了效率，編碼復(fù)雜度極高，適合學(xué)術(shù)研究，沒有實(shí)際應(yīng)用價值。X264和JM相比，提高了編碼速度，但是其實(shí)際上只是一個編碼器，還沒有真正的解碼功能。T264的編解碼性能都有了很大提高，但是其職能解碼T264本身的碼流，具有一定得局限性，通用性不好。通過對以上解碼器的研究，針對程序開發(fā)上的難以程度、適用場合等做比較后，本次開發(fā)決定采用FFmpeg的

13、解碼器為原型，經(jīng)過適當(dāng)?shù)牟眉魞?yōu)化后進(jìn)行移植。FFmpeg是一個集錄制、轉(zhuǎn)換、音/視頻編碼解碼功能為一體的完整的開源的音頻和視頻流解決方案。FFmpeg是基于linux開發(fā)的，可以在但多數(shù)操作系統(tǒng)中編譯和使用。它支持MPEG、DivX、MPEG4、AC3、FLV等40多種編碼和AVI、MPEG、OGG、ASF等90多種解碼。FFmpeg被許多開源項(xiàng)目采用，比如ffmpeg2theora,VLC,MPlayer,HandBrake,Blender,Google Chrome等。還有DirectShow/VFW的ffdshow(external project)和QuickTime的Perian(e

14、xternal project)也采用了FFmpeg。FFmpeg的核心項(xiàng)目組成主要包括以下幾個部分： Libavcodec：包含了FFmpeg所需要的音視頻編解碼器(encoder/decoder)的庫，是FFmpeg的核心部分。為了保證高的可移植性和編解碼質(zhì)量，libavcodec里面好多codec都是從頭開發(fā)的。本文需要進(jìn)行移植的H.264解碼器就是libavcodec里面的一部分。 Libavformat：包含了各種音視頻格式的解析器(demuxer)和產(chǎn)生器(muxer)的庫。用于各種音視頻封裝格式的生成和解析，包括獲取解碼所需信息以生成解碼上下文結(jié)構(gòu)和讀取音視頻幀等功能。 liba

15、vutil：包含一些公共的工具函數(shù)。該庫實(shí)現(xiàn)了CRC校驗(yàn)碼的產(chǎn)生、最大公約數(shù)、整數(shù)開方、內(nèi)存分配、大端小端格式的轉(zhuǎn)換等功能。 libswscale：用于視頻場景比例縮放、色彩映射轉(zhuǎn)換等。 libpostproc：用于后期效果處理一般來說，F(xiàn)Fmpeg處理視頻的大體流程如下：1)從test.264文件中打開視頻流video.stream2)從視頻流中讀取包到幀中3)如果這個幀不完整，跳回到2)4)對完整幀進(jìn)行操作5)跳回到2)三 傳輸模塊流媒體傳輸和控制協(xié)議在應(yīng)用層主要涉及到HTTP，RTSP，RTP和RTCP協(xié)議，在傳輸層有TCP和UDP協(xié)議。HTTP是建立在傳輸控制協(xié)議(TCP)之上的超文本

16、傳輸協(xié)議。TCP/IP協(xié)議是專為數(shù)據(jù)傳輸而設(shè)計(jì)的，能夠保證傳輸?shù)目煽啃浴Ａ髅襟w的特征要求必須確保數(shù)據(jù)的實(shí)時性和同步性。ITU設(shè)計(jì)了實(shí)時傳輸(RTP)來解決數(shù)據(jù)傳輸?shù)膶?shí)時性問題。目前，流媒體解決方案主要采取RTP/UDP傳輸音視頻和HTTP/IP傳輸控制信息。RTP是在一對一或一對多的情況下針對流媒體數(shù)據(jù)流工作，不僅能夠提供時間信息而且可以保證數(shù)據(jù)流的同步。通常RTP建立在UDP之上，使用UDP傳輸數(shù)據(jù)。RTP本身沒有可靠的傳送機(jī)制，其流量控制和擁塞控制是由實(shí)時傳輸協(xié)議(RTCP)來提供的。RTCP是一個控制協(xié)議，負(fù)責(zé)管理數(shù)據(jù)傳輸質(zhì)量，提供當(dāng)前應(yīng)用進(jìn)程的控制信息和可靠的傳輸機(jī)制。RTP和RTCP

17、共同協(xié)作才能完成流媒體的傳輸和控制。實(shí)時流協(xié)議(RTCP)是應(yīng)用層協(xié)議，位于RTP和RTCP協(xié)議層之上，通過IP網(wǎng)絡(luò)傳輸多媒體數(shù)據(jù)，在傳輸機(jī)制上采用TCP和RTP完成數(shù)據(jù)傳輸。RTSP用于控制實(shí)時數(shù)據(jù)的發(fā)送，提供用于音視頻流的VCR遠(yuǎn)程控制功能和用于控制流媒體的播放，暫停，記錄等操作。會話描述協(xié)議SDP，SDP是用來描述RTSP，以便說明一個流媒體會話的基本屬性，如流媒體的類型，格式，傳輸帶寬，播放時間，緩存容量大小等。通常包含會話信息，媒體信息等。結(jié)合移動視頻監(jiān)控系統(tǒng)對通信實(shí)現(xiàn)的特點(diǎn)，本文采用RTP，RTSP，RTCP和HTTP 協(xié)議完成視頻監(jiān)控系統(tǒng)的通信和遠(yuǎn)程控制。一個最基本的流媒體系統(tǒng)包

18、括編碼器，流媒體服務(wù)器和客戶端播放器三個部分，如 圖2.3所示。各個模塊之間的數(shù)據(jù)通信交換都是按照特定的協(xié)議。編碼器用來將原始的 音視頻轉(zhuǎn)換成合適的流媒體格式文件，服務(wù)器用來接收和轉(zhuǎn)發(fā)編碼后的媒體流，客戶端 則是負(fù)責(zé)解碼和播放接收到的流媒體數(shù)據(jù)流媒體傳輸有2種方式，一種是順序流式傳輸，一種是實(shí)時流式傳輸。1） 順序流式傳輸順序流式傳輸就是順序下載。用順序流式傳輸方法基于標(biāo)準(zhǔn)HTTP或FTP服務(wù)器來傳輸文件，通常容易管理，方便用戶的使用。通常不需要特殊的協(xié)議。整個下載過程是無損的，能夠保證視頻的高質(zhì)量，但是用于網(wǎng)絡(luò)傳輸速率的問題，一般需要等待較久的時間。順序流式傳輸常用于對視頻質(zhì)量要求較高的場合

19、，對實(shí)時性，隨機(jī)訪問性要求較高的場合則不適用。2） 實(shí)時流式傳輸實(shí)時流式傳輸能夠保證信號帶寬與網(wǎng)絡(luò)連接的匹配，實(shí)現(xiàn)實(shí)時傳送，適合現(xiàn)場直播，支持隨機(jī)訪問，用戶可進(jìn)行快進(jìn)后退操作。實(shí)時流式傳輸需要傳輸網(wǎng)絡(luò)協(xié)議和專用的流媒體服務(wù)器。相關(guān)的流媒體服務(wù)器如QuickTime Streaming Server，Windows Media Server等，傳輸網(wǎng)絡(luò)協(xié)議有RTSP等。由于這些協(xié)議與防火墻有關(guān)，在使用時一需經(jīng)過配置。系統(tǒng)設(shè)置，管理比順序流式傳輸復(fù)雜。由于必須匹配連接帶寬，在低速連接設(shè)備時或者網(wǎng)絡(luò)擁塞時，會出現(xiàn)丟幀現(xiàn)象，導(dǎo)致視頻質(zhì)量下降。如圖2.4所示的實(shí)時傳輸過程，下面以實(shí)時流式傳輸為例簡要說明

20、流媒體傳輸?shù)幕驹怼?.當(dāng)某個流媒體服務(wù)被用戶選擇后，Web瀏覽器和服務(wù)器之間使用HTTP/TCP交換控制信息，從流媒體服務(wù)器中檢索出音視頻信息。2.Web服務(wù)器從流媒體服務(wù)器取出音視頻。3. 終端上的Web瀏覽器啟動客戶端程序，使用HTTP從Web服務(wù)器檢索到的相關(guān)數(shù)據(jù)對客戶端程序進(jìn)行初始化。4. 客戶端程序與流媒體服務(wù)器之間使用RTSP來交換傳輸音視頻數(shù)據(jù)的控制信息。RTSP實(shí)現(xiàn)對流媒體服務(wù)器的遠(yuǎn)程控制，如暫停，快進(jìn)，回放等5. 客戶端程序通過RTP/UDP協(xié)議從流媒體服務(wù)器接收到視頻流，此時，客戶端使用播放程序即可播放視頻流。通過使用RTP/UDP和RTSP壓CP兩種不同的通信協(xié)議，能

21、夠切換服務(wù)器和不同客 戶端之間的通信綁定。四 解碼模塊解碼從性質(zhì)來來講，其實(shí)是編碼過程的逆過程。編碼采用H.264進(jìn)行編碼，所以該模塊也采用H.264進(jìn)行解碼。H.264解碼器框圖如下所示：由圖可知，由解碼器的NAL輸出一個壓縮后的H.264壓縮比特流。經(jīng)熵解碼得到量化后的一組變換系數(shù)X，再經(jīng)反量化、反變換，得到殘差D'n。利用從該比特流中解碼出的頭信息，解碼器就產(chǎn)生一個預(yù)測塊PRED，它和編碼器中的原始PRED是相同的。當(dāng)該解碼器產(chǎn)生的PRED與殘差D，。相加后，就產(chǎn)生uF'n，再經(jīng)濾波后，最后就得到濾波后的F'n，這個F。就是最后的解碼輸出圖像。解碼器的整體設(shè)計(jì)：解碼器的整體設(shè)計(jì)可以分成兩部分，一部分是視頻數(shù)據(jù)的解碼部分，主要用C語言來實(shí)現(xiàn)，采用Android NDK+C的實(shí)現(xiàn)機(jī)制。另外一部分是視頻的顯示部分，主要采用Android提供的組件來實(shí)現(xiàn)，采用Android SDK+Java的實(shí)現(xiàn)機(jī)制。而這兩部分的集合，則是通過java提供的jni機(jī)制來實(shí)現(xiàn)Java和C語言之間的通信。1. 解碼流程整個解碼流程可分為三個功能模塊：前段碼流處理、H.264解碼和后段視頻顯示。 前段碼