基于webrtc的應(yīng)用及平臺技術(shù)開發(fā)與設(shè)計

鴻1， 松1， 鑫2， 斌（1.法國電信研發(fā)中心100190；2.中國電 100035）摘要：WebRTC具有開放標準、簡單易擴展、開源免費等特點。除了通過調(diào)用WebRTC提供的標準WebAPI方便快速開發(fā)Web應(yīng)用外，還可以利用WebRTC的實現(xiàn)庫開發(fā)高質(zhì)量的實時音通信移動客戶端應(yīng)用?？偨Y(jié)了WebRTC的主要技術(shù)特點，對設(shè)計和開發(fā)基于WebRTC技術(shù)的移動客戶端應(yīng)用和Web應(yīng)用進行技術(shù)分析，給出基于WebRTC技術(shù)的移動客戶端應(yīng)用、Web應(yīng)用和服務(wù)平臺的參考設(shè)計。：Web實時通信；移動客戶端；Web應(yīng)用；JavaScript會話建立協(xié)議；STUN；TURN:10.3969/j.issn.1000ResearchandDesignofandWebApplicationBasedonWebRTCTechnologyLinHong1,WangSong1,YangXin2,Fu（1. R&DBeijingCentre,Beijing100190,2.BeijingResearchInstituteofCo.,.,Beijing100035,:WebRTCtechnologyhassomegoodcharacteristicsofopenandstandardized,simpleandextendable,opensourcedand.TheWebapplicationscanbeeasilyandquicklydevelopedbycallingtheWebAPIwhichareprovidedbyWebRTCtechnologyandbeingstandardized.Besides,thesandapplicationsofrealtimeaudiovisualcommunicationswithhighqualitycanalsobedevelopedbyfullyexploitingtheWebRTCcoreimplementationlibrary.ThemaintechnicalfeaturesofWebRTCtechnologyweresummarized.Basedonthesummary,thetechnicalysiswasgivenabouthowtodesignanddevelopthe applicationandWebapplicationbasedonWebRTCtechnology.Thereferencedesignandtheimplementationofthesapplications,theWebapplicationandtheservicetformwhichsupportsthesetwokindsoftheapplicationswereprovided.:WebRTC,,Webapplication,JavaScriptsessionestablishmentprotocol,STUN,引WebRTC[1]（Webreal-timecommunication，Web實時通信）是一項在瀏覽器內(nèi)部進行實時和音頻數(shù)據(jù)通信的技術(shù)，是HTML5[2]標準之一。Web2.0在過去的幾年里將可編程性和交互性嵌入瀏覽器，而不只是顯示靜態(tài)內(nèi)容和格

式。但是，Web技術(shù)還不能夠應(yīng)付實時雙向的語音和通信需要。使用如Adobe的flash瀏覽器插件有明顯的靈活性和性能等方面的限制WebRTC技術(shù)可以開發(fā)具有實時音通信的Web應(yīng)用，利用其實現(xiàn)還可以開發(fā)出具有實時音通信的移動應(yīng)用。在這些基礎(chǔ)應(yīng)用上，結(jié)合其他的先進技術(shù)，可以開發(fā)出創(chuàng)新的Web和移動應(yīng)用WebRTC主要技術(shù)特點如圖1所示[1]，在WebRTC系統(tǒng)架構(gòu)中包括面向Web應(yīng)用開發(fā)者的WebAPI和庫。WebRTC庫包含語音引擎(voiceengine）、視頻引擎（engine）、傳輸層、會話管理（sessionmanagement）和C++API，它們都內(nèi)嵌在瀏覽器里Web應(yīng)用開發(fā)者可以調(diào)用標準的JavaScriptAPI開發(fā)基于WebRTC的應(yīng)用，主要包括：GetUserMediaAPI用于控制本地設(shè)備的接入，如設(shè)備上的頭和麥克風(fēng)，也叫MediaStreamAPI；PeerConnectionAPI用于管理在兩個瀏覽器之間雙向媒體流的發(fā)送和接收，通過JSEP（JavaScriptsessionestablishmentprotocol，JavaScript會話建立協(xié)議）[3]實現(xiàn)媒體參數(shù)的協(xié)商，這是WebRTC最典型的P2P應(yīng)用場景；DhannelsAPI用于瀏覽器之間發(fā)送和接體的數(shù)據(jù)流。在WebRTC庫中，語音引擎實現(xiàn)了從聲卡到網(wǎng)絡(luò)整個音頻鏈的技術(shù)框架，包括對語音的聲學(xué)處理以及iAC、iLBC和Opus音頻編解碼的實現(xiàn)。引擎實現(xiàn)從頭到網(wǎng)絡(luò)、從網(wǎng)絡(luò)到屏幕整個 鏈的技術(shù)框架，還包括圖像的處理和VP8編的實現(xiàn)。會話控制是為支持呼叫建立和管理的抽象會話層，應(yīng)用開發(fā)者決定如何實現(xiàn)具體協(xié)議。C++AI是瀏覽器廠商實現(xiàn)

WebAPI所需的函數(shù)集在傳輸層中，WebRTC利用ICE[4]/STUN[5]/TURN[6]機制來建立不同類型網(wǎng)絡(luò)間的呼叫連接，解決NAT穿越問題。WebRTC通過RTP傳輸音頻和 流，通過SCTP實現(xiàn)傳輸可靠數(shù)據(jù)流。90%左右NAT類型均可以利用STUN獲得對方的公網(wǎng)IP地址和端口，實現(xiàn)穿越，不需要媒體服務(wù)器進行中繼。只有10%左右NAT為對稱性NAT，可以采用在互聯(lián)網(wǎng)上部署TURN中繼服務(wù)器的方式實現(xiàn)NAT穿越?？梢?，WebRTC技術(shù)不同于傳統(tǒng)的SIP/IMS網(wǎng)絡(luò)部署，在不考慮等因素的情況下，大大降低了服務(wù)器的負載和部署成本。WebRTC技術(shù)主要優(yōu)點如下。開放的標準WebRTC是HTML5標準之一，也是由W3C和IETF標準組織共同定義的一個開放的標準。W3C的WebRTC工作組[7WebWebAPI[8]用于開發(fā)具有語音、和數(shù)據(jù)功能Web應(yīng)用。IETFRTCWeb工作組[9]定義了瀏覽器之間流交互的協(xié)議和規(guī)范，但沒有定義呼叫控制協(xié)議。3GPP也正在制定WebRTCIMS之間互聯(lián)需求（TR23.701[10]）的標準。簡單和易擴展性WebRTC提供了一個簡單可擴展的技術(shù)框架和方案選型，方便開發(fā)者通過互聯(lián)網(wǎng)提供語音、和數(shù)據(jù)等多種應(yīng)用和服務(wù)。WebRTC本身并不定義同用戶之間的交互方式、媒體流的路由方式、用戶認證、呼叫協(xié)議和控制以及同其他網(wǎng)絡(luò)的互聯(lián)方式等。這些課題由開發(fā)者和服務(wù)提供商根據(jù)不同的業(yè)務(wù)場景和技術(shù)需要進行靈活選擇和配置。來自的廣泛支WebRTC技術(shù)獲得來自的支持。除了瀏覽器廠商，如、Mozilla和Opera外，其他大公司在WebRTC上也表現(xiàn)積極，如運營商AT&T、efonica，設(shè)備商AlcaLucent、Ericsson、Cisco、Avaya、AcmePacket等以及來自從企業(yè)通信到游戲等領(lǐng)域的眾多開發(fā)者和初創(chuàng)公司。許多圍繞WebRTC技術(shù)的工作在、歐洲和亞洲，特別是在中國和韓國，都在積極進行之中。同運營商網(wǎng)絡(luò)的互聯(lián)互通WebRTC的一些應(yīng)用場景可以作為運營商既有和網(wǎng)絡(luò)的有效補充，比如通過WebRTC提供IMS服務(wù)、會議和呼叫中心的升級、企業(yè)統(tǒng)一通信業(yè)務(wù)的改進等以及一些垂直業(yè)務(wù)的擴充，如M2M、教育和醫(yī)療等。和其他技術(shù)的結(jié)合WebRTC技術(shù)容易和其他的先進技術(shù)，如虛擬現(xiàn)實、手勢控制、人臉識別等技術(shù)結(jié)合，實現(xiàn)Web應(yīng)用的快速mash-up開發(fā)?；赪ebRTC技術(shù)的移動客戶端和Web應(yīng)用的技術(shù)基于WebRTCWebAPI能夠比較容易開發(fā)支持實時語音通信及數(shù)據(jù)可靠通信的Web應(yīng)用以及基于這種基本能力的其他Web應(yīng)用。但是這種Web應(yīng)用還存在一些實際問題。比如，如何在瀏覽器中通知用戶來電問題，一般情況下，瀏覽器處理呼入總是比出站連接更難。這種情況在上更復(fù)雜，來電通知可能需要常規(guī)的鈴聲，而不是簡單的提示；如果用戶已經(jīng)處于一個CS或者VoIP通話，如何提示和區(qū)別這個WebRTC的來電是需要探討的問題。另外，用戶如果在呼叫中刷新了網(wǎng)這時JavaScript執(zhí)行的上下文發(fā)生重置，會話中間狀態(tài)會丟失。這些是Web應(yīng)用實現(xiàn)實時通信需要解決的問題。除了利用WebAPI開發(fā)Web應(yīng)用外，利用WebRTC核心庫也可以開發(fā)出具有實時通信功能的移動客戶端。WebRTC庫具有如下特點。支持多種開源音編音頻編中支持iSAC、iLBC、Opus等免費音頻編

碼和VP8視頻編解碼。iSAC是一種用于VoIP和流音頻的寬帶和超寬帶音頻編器。iLBC是用于VoIP和流音頻的窄帶語音編器。其標準由IETFRFC3951[11]和RFC3952[12]定義。Opus支持持續(xù)和可變碼流編。其標準由IETFRFC6716[13]定義。VP8基于WebM項目[]，非常適合低時延的通信。具有強大的音引WebRTC語音引擎支持自適應(yīng)抖動控制算法和語音分組丟失隱藏算法，用于緩解網(wǎng)絡(luò)抖動和分組丟失引起的影響，使其能夠快速且高解析度地適應(yīng)不斷變化的網(wǎng)絡(luò)環(huán)境，確保音質(zhì)優(yōu)美且緩沖時延最小，提高語音通話質(zhì)量；支持基于軟件的信號處理來消除回聲，實時地去除手麥克風(fēng)到的回聲；支持基于軟件的信號處理來抑制噪背景噪聲。動態(tài)抖動緩存和錯誤隱藏算法，用于緩解網(wǎng)絡(luò)抖動和分組丟失引起的負面影響。引擎支持動態(tài)抖動控制，緩解抖動和分組丟失引起的影響，有助于提升整個視頭抓取圖像的噪聲。支持多移動平臺WebRTC平Android、iOS、WindowsPhone等技術(shù)獲業(yè)界認可WebRTC語音引擎如GlobalIPSolutions公司[15]。許多大公司的產(chǎn)品，如Skype、QQ、WebEX、AOL等都曾采用該公司的IP語音引擎和相關(guān)產(chǎn)所以，通過增加用戶管理、會話協(xié)議控制和用戶交互界面等工作，結(jié)合這個WebRTC庫就可以開發(fā)跨平臺的實時音通信的移動互聯(lián)網(wǎng)應(yīng)用。美國上市公司Vonage，WebRTCAndroid和iOS移動平臺的客戶端應(yīng)用，減少對私有和付費技術(shù)方案的依賴?；赪ebRTC技術(shù)的移動客戶端和Web應(yīng)用的參考設(shè)計使用統(tǒng)一的支持移動客戶端和Web應(yīng)用。提供一組標準的客戶端API，方便移動客戶端和Web應(yīng)用調(diào)用，實現(xiàn)和前端應(yīng)用的松耦合。目前大部分基于WebRTC的服務(wù)都部署在GAE（Appengine）上，用戶之間P2P通道的建立以及呼叫信令的傳輸，都是通過GAE完成。但是GAE環(huán)境國內(nèi)不能。筆者基于開源軟件項目部署自己的應(yīng)用服務(wù)器，實現(xiàn)了基于WebRTC的服務(wù)。WebRTC沒有定義用戶呼叫管控制協(xié)議SIP、XMPP[16]、其他標準協(xié)議或者完全私有協(xié)議都可以用于呼叫控制協(xié)議SIP是最常用的VoIP，廣泛用于企業(yè)的IPPBX和運營IMS平臺XMPP/Jingle[17]用于呼叫控制，主要基于以下幾點考慮：XMPP本身SIP更簡單客戶端協(xié)議棧實現(xiàn)和JavaScript實現(xiàn)更輕量；XMPP后臺處理不需要安裝類似SBC網(wǎng)關(guān)做NAT穿越；沒有同IMS網(wǎng)絡(luò)互通的需求等。下面分別詳細描述基于WebRTC技術(shù)的移動客戶端Web應(yīng)用和支持它們的的設(shè)計及具體實現(xiàn)移動客戶端設(shè)計與實現(xiàn)基于WebRTC開發(fā)實現(xiàn)了移動客戶端微呼，這是一款支持好友之間進行免費語音、文字通信的創(chuàng)新應(yīng)用。通過調(diào)用提供的客戶端API和服務(wù)平臺交互，包括用戶注冊、登錄、訂閱用戶狀態(tài)、獲取用戶狀態(tài)等。通過XMPP實現(xiàn)用戶之間語音通信時的呼叫建立、信令協(xié)商、會話管理和SDP[18]協(xié)商；通過XMPP實現(xiàn)用戶之間的文字消息的傳遞；通過RTP傳送語音媒體流，RTCP媒體流傳送質(zhì)量；通過STUN和TURN協(xié)議來建立不同類型網(wǎng)絡(luò)間的媒體鏈接，實現(xiàn)P2P的流傳輸，減少中間媒體服務(wù)器的要求。WebRTC移動客戶端基AndroidSDK進行開發(fā)集成了libjingle和WebRTC兩個開源項目，其中l(wèi)ibjingle庫提供XMPP的處理和解析等功能，WebRTC庫提供了語音編碼和聲學(xué)處理等功能同時客戶端也集成了友盟SDK的統(tǒng)計功能和SDK的相關(guān)功能。軟件架構(gòu)如圖2所

圖 WebRTC移動客戶端的軟件架 com.orange.weihu.service：服務(wù)模塊 com.orange.weihu.util：通用輔助模塊WebRTC移動客戶端模塊間相互依賴關(guān)系如圖3所示。其中，activity包封裝了用戶交互相關(guān)的邏輯，包括認證登錄管理和瀏覽展現(xiàn)，用戶好友關(guān)系和WebRTC好友關(guān)系的、文本消息的收發(fā)和記錄管理、通話的發(fā)起和接收以及的管理。service包封裝底層通話相關(guān)庫的邏輯，包括共享庫的加載及生命周期管理、開機啟動和信息獲取等功能。data包封裝了需要持久化的核心邏輯，包括相關(guān)信息、好友關(guān)系相關(guān)信息、文本消息相關(guān)信息和相關(guān)信息。其中邏輯分層結(jié)構(gòu)如下packagecom.orange.weihu.activity用戶交互相關(guān)的邏輯模塊。 mon：通用數(shù)據(jù)輔助模塊packageco ponent：自定義相關(guān)視圖組件模塊。 com.orange.weihu.data：數(shù)據(jù)模塊packagecom.orange.weihu.jni：JNI(Javanative調(diào)用接口層 ：網(wǎng)絡(luò)處理模塊WebRTC客戶端中各個模塊調(diào)用的基本流程如圖4所示。用戶點擊呼叫按鈕，activity向service傳遞消息，service通過JNI調(diào)用libjingle，libjingle設(shè)置完成WebRTC相關(guān)功能，發(fā)起呼叫。用戶通過賬戶登錄，獲得好友信息及微博詳情，如果沒有在微呼服務(wù)器注冊過，則進行微呼賬戶建立。啟動相關(guān)服務(wù)，加載底層類庫，建立呼叫相關(guān)網(wǎng)絡(luò)連接，在線狀態(tài)。選擇在線好友， 服務(wù)器，獲得好友連接信息，建立通話連接。4WebRTC移動客戶端的模塊調(diào)用基本流程Web應(yīng)用設(shè)計與實現(xiàn)WebRTC的實時語音視頻通信Web應(yīng)用在無需任何插件的情況下，實現(xiàn)了瀏覽器之間P2P的音頻和通信，提供了Web用戶注冊、登錄、獲取好友在線狀態(tài)以及與好友進行實時語音和通話等功能。Web應(yīng)用部署在應(yīng)用服務(wù)器Openfire19上，通的方式連接并訪問Openfire服務(wù)器。Openfire服務(wù)器提供了HTTP綁定的功能，通過7070端口，接WebHTTP請求，Web

應(yīng)用基于開源JavaScript庫Strophe，是基于JavaScript的可擴展通信和表示協(xié)議（XMPP）客戶端庫主要功能包括用戶登錄和登出、并發(fā)送IM消息、服務(wù)器推送的presence更新信息、服務(wù)器轉(zhuǎn)發(fā)的IQ信息。Jingle協(xié)議是XMPP的擴展，用于規(guī)范兩個XMPP客戶端之間的信令協(xié)議。SDP信令流程和Jingle信令流程的不同之處在于P2P通道地址和端口的發(fā)送時間，Jingle信令在發(fā)起呼叫時，便會協(xié)商P2P通道地址和端口；而SDP信令將編解碼協(xié)商和P2P通道地址協(xié)商分為兩個信令發(fā)送，在發(fā)送發(fā)起呼叫信令后，便馬上發(fā)送P2P通道地址和端口。WebRTC中的信令是基于SDP格式的，而Openfire應(yīng)用服務(wù)器是基于XMPP的，信令格式基于Jingle協(xié)議，所以需要對信令格式進行轉(zhuǎn)換，包括SDP信令和Jingle信令的互換，需要JSEP中的SDP格式映射Jingle格式[20]。設(shè)計與實現(xiàn)基于XMPP，并以XML數(shù)據(jù)元流式來傳輸數(shù)據(jù)，為移動客戶端和PC客戶端提供基于WebIM傳輸、VoIP呼叫、信令傳輸、用戶管理和用戶關(guān)系維護、好友狀態(tài)presence信息推送以及日志統(tǒng)計等功能。的邏輯架構(gòu)如圖5XMPP服務(wù)器、STUN服務(wù)器和TURN服務(wù)器。其中XMPP服務(wù)器用于即時消息轉(zhuǎn)發(fā)和實時通信信令傳輸，STUN服務(wù)器用于NAT穿越，TURN服務(wù)器用于流的轉(zhuǎn)發(fā)。Openfire是基于XMPP、跨平臺的即時消息服務(wù)器，支持服務(wù)器到服務(wù)器的連接，用于部署多個Openfire服務(wù)器圖5的邏輯架進行擴展；支持部署多個連接管理器，用于整合到Openfire的客戶端連接，提高Openfire的在線用戶數(shù)提供了一系列的可用插件，并支持插件擴展，即開發(fā)者可通過部署新的plugin，進行功能的擴展。Openfire還作為VoIP通信信令服務(wù)器，提供端到端的Jingle信令的協(xié)商和傳輸。服務(wù)本平臺以plugin的方式，對Openfire進行了功能擴展，包括用戶管理和、獲取用戶狀態(tài)和通信日志統(tǒng)計等。采用不同的協(xié)議與客戶端進行交互：IM傳輸采用XMPP信令傳輸基于Jingle協(xié)議對所提供API的采用HTTP。基于STUNTURN的方式進行NAT穿越。STUN服務(wù)器檢測主機的NAT類型，并根據(jù)NAT類型，在客戶端進行打洞，以支持兩個客戶端之間的P2P通信。TURN服務(wù)器用于解決對稱型NAT的穿越問題。TURN服務(wù)器相當于中繼服務(wù)器，客戶端獲取TURN的公網(wǎng)IP地址，客戶端之間的通信均通過TURN服務(wù)器進行中轉(zhuǎn)，這對TURN服務(wù)器的性能提出了很高的要求。但基于TURN服務(wù)器是對STUN服務(wù)器的有效補充，可以滿足性能要求。Web應(yīng)用以HTTP綁定的方式登錄并Openfire服務(wù)器，但Web客戶端和Openfire服務(wù)器處于不同域，涉及瀏覽器JavaScript跨域問題。這就需要Web客戶端調(diào)用JavaScript80端口，并且是同一子域。使用Apache做反HTTP-bindXMPPHTTP-binding端口?；诎踩缘目紤]，服務(wù)平臺將Openfire服務(wù)器部署在內(nèi)網(wǎng)，并同時配置內(nèi)網(wǎng)IP地址和IP地址，使內(nèi)網(wǎng)用戶和外網(wǎng)用戶均可訪問。STUN服務(wù)器必須部署在公網(wǎng)，并且內(nèi)置兩個網(wǎng)卡，向外部提供兩個公網(wǎng)IP地址和兩個端口，進行NAT類型的檢測和打洞TURN服務(wù)器也部署在公網(wǎng)，向外部提供一個公網(wǎng)IP地址和端口Apache反向服務(wù)器與Openfire服務(wù)器部署在同一臺機器上。結(jié)束本文總結(jié)WebRTC的主要優(yōu)點和技術(shù)特點，對分別利用WebRTC技術(shù)提供的庫和WebAPI設(shè)計和開發(fā)具有實時音通信功能的移動客戶端應(yīng)用和Web應(yīng)用進行了技術(shù)可行性分析，并詳細描述了筆者基WebRTC技術(shù)開發(fā)移動客戶端應(yīng)用、Web應(yīng)用和的參考設(shè)計在不同的移動網(wǎng)絡(luò)環(huán)境（3G網(wǎng)絡(luò)和Wi-Fi網(wǎng)絡(luò)）和

同的Android智能上對所開發(fā)的WebRTC移動客戶端進試，發(fā)現(xiàn)WebRTC核心庫對網(wǎng)絡(luò)時延、噪音抑制和回聲消除都有較好的處理，能在不同網(wǎng)絡(luò)環(huán)境中獲得較好的語音質(zhì)量。在固定寬帶和PC上測試WebRTC的Web應(yīng)用，除了較好質(zhì)量，VP8也能很好地處理視頻信息。當然，還需要在更多環(huán)境和條件下對WebRTC技術(shù)進行測試，對進行系統(tǒng)客觀的分析，更好地評價WebRTC技術(shù)在音通信服務(wù)中的技術(shù)成熟度。WebRTC移動客戶端和Web應(yīng)用還有很大的改進空間。比如，客戶端可以根據(jù)不同的網(wǎng)絡(luò)環(huán)境動態(tài)調(diào)整編解碼，在iSAC、iLBC和Opus編中自動選擇適合當前網(wǎng)絡(luò)環(huán)境的最優(yōu)編和技術(shù)參數(shù)。編VP8和H.264在不同網(wǎng)絡(luò)環(huán)境下的性能對比也值得進一步的深入研究。WebRTC移動客戶端目前只支持Android移動平臺，可以將WebRTC庫移植到其他移動平臺上，客戶端可以支持的操作系統(tǒng)。也可以將WebRTC庫和移植部分封裝為SDK，供移動應(yīng)用開發(fā)者開發(fā)各種具有實時通信能力的移動客戶端。Web應(yīng)用同移動客戶端之間的互聯(lián)也值得進一步的研究。在WebRTC技術(shù)中，目前還沒有進一步挖掘的能力和對數(shù)據(jù)流的支持，包括WebAPI中的數(shù)據(jù)信道的使用和WebRTC核心庫中對應(yīng)但還未出現(xiàn)的數(shù)據(jù)流引擎。參考文獻WebRTC.W3CHTML5.IETFRTCWebJSEP.JavaScriptsessionestablishmentIETFRFC5245 ctiveConnectivityIETFRFC5389STUN.SessionTraversalUtilitiesforIETFRFC5766TURN.TraversalUsingRelaysaroundW3CWebRTCWorkgroup.W3CWebRTCAPI.IETFRTCWebWorkgroup.3GPPTR23.701.StudyontheSupportofWebRTCIMSAccesstoIMS，2013IETFRFC3951iLBC.InternetLowBitRateIETFRFC3592RTPiLBC.RTPPayloadFormatforInternetLowBitRateCodecSpeech,2004IETFRFC6716Opus.DefinitionoftheOpusAudioWebMproject.（下轉(zhuǎn)第36頁聯(lián)網(wǎng)發(fā)展的政策、規(guī)定、規(guī)劃和標準等，在新的技術(shù)高對可能出現(xiàn)之問題案，確保IPv6技術(shù)與應(yīng)用的持續(xù)、快速、健康、有序發(fā)國下一代互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)安全、穩(wěn)健地步入IPv6時代。

[作者簡