即時通訊優(yōu)化方案baidu

IM解決方案技術(shù)建議書即時通訊優(yōu)化方案

目錄前言 3第1章 當(dāng)前平臺IM技術(shù)介紹 4WebRTC簡介 4WebRTC優(yōu)劣 4第2章 當(dāng)前平臺IM的突破方向 52.1視音頻編解碼技術(shù) 52.2設(shè)備對惡劣網(wǎng)絡(luò)環(huán)境的適應(yīng)能力 62.3音頻處理技術(shù) 82.4IM主流應(yīng)用功能的開發(fā) 9研發(fā)風(fēng)險評估 9第3章 第三方IM方案分析 10使用第三方IM流程圖 10主流的第三方平臺 11使用第三方平臺的優(yōu)勢 11環(huán)信IM平臺 12第4章總結(jié) 14

前言本方案產(chǎn)生的背景是紡織服裝平臺已經(jīng)初步搭建即時通訊服務(wù)，實現(xiàn)Web視頻聊天功能，并經(jīng)過一段時間的使用測試，對所發(fā)現(xiàn)的用戶體驗問題、多客戶端互通問題和技術(shù)問題的描述，針對這些問題及對即時通訊功能后續(xù)發(fā)展規(guī)劃，做出此優(yōu)化方案。IM是(InstantMessaging)的英文縮寫，全稱為即時通訊技術(shù)，現(xiàn)在比較有名的產(chǎn)品有:騰訊QQ、MSN、微信、中國飛信等等產(chǎn)品，即時通訊是一整套解決方案，其中包括了IM后端服務(wù)、IM客戶端、硬件配置。后端的服務(wù)由眾多的業(yè)務(wù)系統(tǒng)組成，如：Session存儲、用戶信息系統(tǒng)、文件管理系統(tǒng)、實時音視頻服務(wù)、消息處理、推送系統(tǒng)等等構(gòu)成，是一套業(yè)務(wù)復(fù)雜、流程大的處理方案。

當(dāng)前平臺IM技術(shù)介紹當(dāng)前平臺的IM實現(xiàn)是基于WebRTC技術(shù)進行構(gòu)建的，與傳統(tǒng)的中心服務(wù)型IM技術(shù)有根本的不同。WebRTC簡介WebRTC是HTML5支持的重要特性之一，Web開發(fā)者能夠基于瀏覽器（Chrome\FireFox\...）輕易快捷開發(fā)出豐富的實時多媒體應(yīng)用，而無需下載安裝任何插件，Web開發(fā)者也無需關(guān)注多媒體的數(shù)字信號處理過程，只需編寫簡單的Javascript程序即可實現(xiàn)。終端用戶通過本機瀏覽器與信令服務(wù)器進行信令信息交換，在獲取到足夠的信息，自動與其他終端建立通訊鏈接，實現(xiàn)P2P視頻聊天。WebRTC優(yōu)劣WebRTC優(yōu)勢 WebRTC是HTML5的主要特性，是國際組織W3C制定的行業(yè)標(biāo)準(zhǔn)。目前WebRTC已經(jīng)得到谷歌、微軟、蘋果等公司的大力發(fā)展并且在普及推廣應(yīng)用。讓蘋果、安卓手機使用瀏覽器進行視頻會議成為可能。WebRTC使用的是P2P技術(shù)不占用服務(wù)器資源，節(jié)省了大筆服務(wù)器部署費用。WebRTC局限性1、由于WebRTC使用的是P2P技術(shù)不占用服務(wù)器資源，節(jié)省了大筆服務(wù)器部署費用。但是受限客戶端機器的性能及網(wǎng)絡(luò)帶寬，無法進行大規(guī)模的進行視頻會議聊天；2、WebRTC是Google提供的基于Chrome瀏覽器的開源項目。瀏覽器市場被幾大巨頭支配，Google、Microsoft、Apple，中國國內(nèi)有360、百度、QQ等。這些瀏覽器廠商出于利益考慮，會人為的制造技術(shù)壁壘。因此，基于WebRTC開發(fā)的項目，在瀏覽器適配，移動端適配上需要大量深度開發(fā)。3、對于一些服務(wù)器功能如視頻錄制、視頻監(jiān)控等WebRTC有著先天的缺陷，無法很好的完成。4、與傳統(tǒng)中心服務(wù)型即時通訊技術(shù)相比，WebRTC屬于新型的即時通訊技術(shù)，由于發(fā)展時間較短，其應(yīng)用技術(shù)和配套功能都處于初始階段，雖然實現(xiàn)了基本的即時通訊功能，但在用戶體驗與功能多樣化上，還有待開發(fā)。當(dāng)前平臺IM的突破方向2.1視音頻編解碼技術(shù)視音頻編碼技術(shù)是視頻會議系統(tǒng)的關(guān)鍵技術(shù)指標(biāo)，是影響會議效果的重要因素。目前視頻會議系統(tǒng)中用到的視頻編碼技術(shù)主要有H.261、H.263、H.264、MPEG-2、MPEG-4等，音頻編碼技術(shù)主要有G.711、G.722、G.728、G.729、MP3等。

其中，H.264和MPEG-4這兩種視頻編碼技術(shù)能夠在低帶寬下實現(xiàn)高清晰的動態(tài)圖像效果，而且編碼延時小，作為新一代視頻編解碼標(biāo)準(zhǔn)，其優(yōu)勢非常明顯。

H.264具有許多與舊標(biāo)準(zhǔn)不同的新功能，它們一起實現(xiàn)了編碼效率的提高。特別是在幀內(nèi)預(yù)測與編碼、幀間預(yù)測與編碼、可變矢量塊大小、四分之一像素運動估計、多參考幀預(yù)測、自適應(yīng)環(huán)路去塊濾波器、整數(shù)變換、量化與變換系數(shù)掃描、熵編碼、加權(quán)預(yù)測等實現(xiàn)上都有其獨特的考慮。

而在音頻編碼方面，MP3是一種高效的聲音壓縮\o"算法與數(shù)據(jù)結(jié)構(gòu)知識庫"算法，其頻響范圍在20Hz到20KHz之間，采樣頻率達到44.1KHz，而且支持雙聲道編碼，因此正在獲得越來越廣泛的應(yīng)用。2.2設(shè)備對惡劣網(wǎng)絡(luò)環(huán)境的適應(yīng)能力網(wǎng)絡(luò)的QoS可以在一定程度上保證視頻會議的傳輸效果，但其作用是很有限的，尤其是在一些較為惡劣的網(wǎng)絡(luò)環(huán)境下。視頻會議系統(tǒng)設(shè)備本身對惡劣網(wǎng)絡(luò)環(huán)境的適應(yīng)能力也將對會議效果產(chǎn)生較大的影響。這些適應(yīng)能力包括IP優(yōu)先權(quán)設(shè)置、IP包排序、IP包重復(fù)控制、IP包抖動控制、丟包重傳以及速率自動調(diào)整等。2.2.1IP優(yōu)先權(quán)（IPPrecedence）在網(wǎng)絡(luò)規(guī)劃差分服務(wù)方式的QoS技術(shù)時，可通過多種匹配手段對進入數(shù)據(jù)網(wǎng)的業(yè)務(wù)包進行分類，包括IP地址、IP優(yōu)先權(quán)（IPPrecedence）等。其中，利用IP包中的IP優(yōu)先權(quán)部分可以對音頻、視頻和RTCP（Multicast）數(shù)據(jù)流進行優(yōu)先級劃分。當(dāng)網(wǎng)絡(luò)采用IPPrecedence進行流量匹配時，可通過視頻設(shè)備發(fā)出的修改過IPPrecedence字段信息的視音頻包進行入隊列處理，以保證視頻會議碼流的優(yōu)先傳送。2.2.2IP包排序通常，網(wǎng)絡(luò)的盡力傳遞機制無法保證其轉(zhuǎn)發(fā)的數(shù)據(jù)包的正確次序。對于H.323視頻會議系統(tǒng)，如果視頻設(shè)備按次序接收IP包，將帶來錯序問題，數(shù)據(jù)包的丟失或延遲將導(dǎo)致視頻圖像的凍結(jié)或聲音的中斷或抖動?？赏ㄟ^視頻設(shè)備支持IP包排序功能解決該問題，當(dāng)IP包到達時，視頻設(shè)備將對其次序進行驗證，無序的包被退回，以維護發(fā)送給終端用戶的音頻和視頻流的連續(xù)性。2.2.3IP包重復(fù)控制一個IP包經(jīng)過承載網(wǎng)時可能會產(chǎn)生多個重復(fù)的副本，或為了適應(yīng)惡劣網(wǎng)絡(luò)環(huán)境系統(tǒng)可能采用重傳機制時也會產(chǎn)生多個重復(fù)的副本，這樣將引起視頻圖像的凍結(jié)或聲音中斷。支持IP包重復(fù)控制的視頻設(shè)備可通過該功能來糾正該錯誤，以維護發(fā)送給終端用戶的音頻和視頻流的連續(xù)性。2.2.4抖動控制當(dāng)音頻和視頻IP包離開發(fā)送端時，按照規(guī)則的間隔均勻的排列。在通過網(wǎng)絡(luò)之后，這一均勻的間隔因不同的延時大小而遭到破壞，從而產(chǎn)生抖動。抖動會導(dǎo)致目標(biāo)終端上音頻和視頻流的不連貫性。支持抖動控制的視頻設(shè)備可通過抖動緩存來實現(xiàn)抖動消除，以維護終端用戶接收到的音頻和視頻流的連貫性。2.2.5丟包重傳當(dāng)網(wǎng)絡(luò)擁塞嚴(yán)重時，網(wǎng)絡(luò)設(shè)備（如路由器）會根據(jù)緩存大小并配合相關(guān)處理機制丟掉一些視頻包，視頻會議系統(tǒng)中視頻包是采用UDP協(xié)議進行傳輸?shù)?，而UDP本身沒有重傳機制，因此會導(dǎo)致接收端出現(xiàn)圖像丟幀或馬賽克現(xiàn)象。支持丟包重傳的視頻設(shè)備可通過添加丟包檢測和重傳的機制來保證會議圖像的連貫性。2.2.6自動速率調(diào)整技術(shù)在一些惡劣的網(wǎng)絡(luò)環(huán)境下，降低會議碼率將有助于提高視音頻的連貫性和實際效果。如果視頻設(shè)備支持動態(tài)速率調(diào)整技術(shù)，可以使終端和MCU能通過檢測網(wǎng)絡(luò)上有利和不利的因素來自動適應(yīng)網(wǎng)絡(luò)的容量和性能，通過動態(tài)調(diào)整視頻會議的碼率，為終端用戶提供盡可能好的視頻質(zhì)量。視頻設(shè)備的自適應(yīng)帶寬調(diào)整功能主要是通過檢測數(shù)據(jù)包丟失率來實現(xiàn)的。如果終端檢測到數(shù)據(jù)包丟失率超過了指定的閥值，它將自動降低視頻會議碼率，同時通知其它參會終端做相同的動作，從而提供一個具有最優(yōu)視音頻效果的會議碼率。2.2.7唇音同步技術(shù)視頻會議系統(tǒng)中視頻信號和音頻信號是分別編碼、分別傳輸?shù)模捎贗P優(yōu)先級和視音頻包大小等因素的影響，會使視音頻的同步包到達順序不同，引起唇音不同步。影響唇音不同步主要有兩種因素：網(wǎng)絡(luò)傳輸時延和視音頻處理時延不同。當(dāng)音頻和視頻包離開發(fā)送端時，音頻包與對應(yīng)的視頻包保持同步。但是，在通過承載網(wǎng)時，各種隊列算法會對音頻資料包和視頻資料包進行不同的處理。這將打亂音頻資料包與相應(yīng)的視頻資料包的同步關(guān)系。最終的結(jié)果導(dǎo)致聲音與口型失去同步。支持唇音同步的視頻設(shè)備可通過使用IP包中的RTP時間戳信息來糾正這一問題。利用RTP時間戳，設(shè)備能夠確定哪一音頻包與哪一視頻包對應(yīng)。進一步重新調(diào)整相應(yīng)的視音頻包，以保證聲音與口型的同步。在發(fā)送端，處理音頻所花費的時間不同于處理視頻所花費的時間。影響這一問題的因素包括聲速與光速的不同、房間的大小和形狀、音頻和視頻編碼的算法的復(fù)雜性。為了避免時間差，支持唇音同步的設(shè)備可通過在音頻流的出發(fā)點增加一定的延遲，以獲得聲音與口型的同步；也可在接收端增加或減少音頻延遲，以糾正發(fā)送端不恰當(dāng)?shù)难舆t設(shè)置。這樣就保證遠(yuǎn)程會場在接收視頻會議聲音和圖像時，實現(xiàn)唇音同步。2.3音頻處理技術(shù)2.3.1自動回聲抑制召開多點視頻會議時，每一個會場的聲音編碼器都將音頻包向MCU傳輸，而MCU將發(fā)言會場的音頻包向所有其他會場廣播，當(dāng)視頻會議終端接收音頻包時，將解碼后的音頻流與本地輸入的音頻流進行電平比較，去掉相同的部分，這樣本地的聲音就不會在自己的會場揚聲器傳出，引起音頻的振蕩，從而避免回聲。2.3.2自動增益控制由于優(yōu)先視頻會議使全向式麥克風(fēng)，放置在會場的中心位置，這樣每一個發(fā)言人由于距離麥克風(fēng)的位置不同，麥克風(fēng)接受到的電平也不同。為了保證傳向遠(yuǎn)程的音頻電平的平穩(wěn)，在進行編碼時要進行音頻的增益處理，以保證一定范圍內(nèi)的發(fā)言人以同一個音調(diào)發(fā)言，這樣遠(yuǎn)程會場的聲音就不會忽高忽低。2.3.3背景噪音消除召開會議時不可避免地會有一些環(huán)境噪音，例如空調(diào)、風(fēng)扇、交流電等電器設(shè)備持續(xù)發(fā)出的環(huán)境噪音，這些聲音嚴(yán)重的影響了會議的音頻質(zhì)量。自動噪聲抑制系統(tǒng)會根據(jù)音頻的高低、持續(xù)情況，判斷是否為環(huán)境噪音，并且進行處理，以達到良好的聲音會議效果。2.4IM主流應(yīng)用功能的開發(fā)當(dāng)前主流的IM服務(wù)普遍可實現(xiàn)以下功能：單聊；群聊；富媒體消息（包含文字、表情、語音、地理位置、照片、視頻、名片、自定義消息等）；消息回執(zhí)；離線消息；離線消息推送；實時音頻；實時視頻；不同客戶端通訊（如Web和APP之間的通訊）；單用戶離線消息保存；群聊離線消息保存；敏感詞過濾；反垃圾服務(wù)；多端同步（用戶的在線消息在不同平臺如Web和APP之間實時同步）；多設(shè)備同步（用戶在同一平臺可同時登錄多個設(shè)備并且在線消息在這些設(shè)備之間實時同步）；消息優(yōu)先通道；紅包功能。研發(fā)風(fēng)險評估音視頻技術(shù)開發(fā)涉及面廣，開發(fā)周期長，從以上IM的突破方向看，無論是底層通訊技術(shù)研發(fā)，還是前端應(yīng)用功能研發(fā)，都需要大量的時間及人力。借鑒當(dāng)前主流IM開發(fā)公司的公開信息可以看出，其開發(fā)團隊規(guī)模在100-500人之間，開發(fā)周期2年以上（初版）。面對目前互聯(lián)網(wǎng)發(fā)展的步伐，IM技術(shù)也日新月異，在這個用戶為王的時代，功能和體驗無疑是IM能否吸引用戶使用的關(guān)鍵，從頭開發(fā)一套完整的IM方案，去追趕現(xiàn)有專注于IM的主流上市公司，技術(shù)研發(fā)壓力是巨大的。而現(xiàn)有提供一套用戶勉強可以使用的IM服務(wù)，無法與主流的IM應(yīng)用競爭，最終會導(dǎo)致用戶抗拒使用平臺的IM，甚至對平臺的IM功能產(chǎn)生不信任的印象，從而降低用戶對平臺的粘性，就算最終平臺自主IM技術(shù)突破成功，用戶的信任度也無法在短時間內(nèi)挽回。從我們服裝產(chǎn)業(yè)鏈平臺的使命上來看，我們的目的是為了將服裝產(chǎn)業(yè)鏈，從原料供應(yīng)到生產(chǎn)管控再到營銷推廣整體打通，我們的業(yè)務(wù)中心在于產(chǎn)業(yè)鏈平臺的連通性。IM作為一個溝通的工具，其作用在于實現(xiàn)通訊，而如何通訊，對于用戶和平臺業(yè)務(wù)來說，都是可以忽略的。如果通過資源整合，利用現(xiàn)有成熟的主流IM服務(wù)，可以為用戶提供體驗良好的IM功能，提高用戶的使用度，增強用戶的粘性。而開發(fā)團隊可以專注于產(chǎn)業(yè)鏈平臺業(yè)務(wù)流程的貫通，從而快速推進項目的前進。因此，建議在平臺建設(shè)的初始階段，讓成熟的第三方產(chǎn)品集成到我們的產(chǎn)品中，做到好用，省時，省力，省成本，為我們實現(xiàn)平臺的主體目標(biāo)創(chuàng)造更多時間和空間。只要考慮并做到第三方服務(wù)不損害到主體架構(gòu)，在這個核心的前提下，集成第三方IM服務(wù)不失為一個合理有效的方案。第三方IM方案分析使用第三方IM流程圖使用第三方IM可直接對第三方IM服務(wù)器所提供的API接口進行調(diào)度，客戶端與第三方IM服務(wù)器進行長鏈接，客戶端1要發(fā)送一個消息給客戶端2，可以直接將消息內(nèi)容通過第三方IM服務(wù)器中轉(zhuǎn)，服務(wù)器會回調(diào)給APP后臺進行處理，接著IM服務(wù)器將消息內(nèi)容轉(zhuǎn)發(fā)到客戶端2，即消息發(fā)送完成，其他功能同上。主流的第三方平臺從互聯(lián)網(wǎng)發(fā)展到現(xiàn)在，從最開始的簡單文字聊天，再到表情，圖片，文件傳輸，再到音視頻聊天，從最開始的網(wǎng)頁靜態(tài)到留言再到即時聊天，發(fā)展中一步步的更新迭代，硬件的升級，從奢侈的通訊工具到娛樂性質(zhì)轉(zhuǎn)變的同時，市場萌生了大量的需求，同時對平臺的要求也越來越高。所謂有需求就會有市場，互聯(lián)網(wǎng)涌現(xiàn)了一大批第三方IM平臺，他們想盡辦法滿足普通用戶，企業(yè)用戶，協(xié)助整合更多的娛樂性質(zhì)、非娛樂性質(zhì)的平臺，實現(xiàn)多元化的市場需求，為多樣化的互聯(lián)網(wǎng)貢獻了自己的一份力，那么主流的IM平臺有哪些呢，下面我們列舉出部分平臺，排名不分先后；（1）：融云，/（2）：環(huán)信，/（3）：榮聯(lián)，/（4）：網(wǎng)易云信,http://netease.im/（5）：友盟,（6）：騰訊IM,/具體的詳情可通過上述網(wǎng)址進入了解。使用第三方平臺的優(yōu)勢從這幅圖可以看出，使用第三方IM服務(wù)，只是將客戶端“握手”建立連接和信息轉(zhuǎn)發(fā)托管到第三方IM服務(wù)，而用戶信息以及業(yè)務(wù)的具體信息都不會暴露到第三方平臺上。同時市場上眾多的IM服務(wù)，我們可以按照需求挑選符合我們項目的一款I(lǐng)M服務(wù)，許多IM服務(wù)也做到了更多個性化的定制，從功能上確實能夠滿足我們的項目。從資源整合的角度來說，專業(yè)的事讓專業(yè)的人去做，而我們要做的就是把所有精力集中在我們的業(yè)務(wù)上，用最專業(yè)的眼光，最專業(yè)的態(tài)度打造一款讓人眼前一亮的產(chǎn)業(yè)鏈平臺。環(huán)信IM平臺截至2016年底，環(huán)信即時通訊云共服務(wù)了130176家APP客戶。現(xiàn)已覆蓋包括保險、證券、銀行、電商、教育、O2O等領(lǐng)域的眾多標(biāo)桿企業(yè)，包括快牙、汽車之家、獵聘、海豚瀏覽器、百合相親、跟誰學(xué)、貝聊、泰康在線、中意人壽、中信證券、國美在線、優(yōu)信二手車、新東方、新浪微博、鏈家、58到家、神州專車等典型用戶。環(huán)信IM平臺是一款使用量較高的IM平臺，市場反饋也是非常不錯的IM平臺，接下來將對該平臺的功能及特性進行一個全面的介紹。豐富的消息特性富媒體消息，讓用戶暢所欲言文字、表情、語音、圖片、位置、紅包、文件等消息回執(zhí)，實時掌握消息狀態(tài)，確保消息必達已發(fā)送，已接收，已閱讀三種消息狀態(tài)可擴展，個性應(yīng)用隨心所欲支持?jǐn)U展字段，可自定義消息類型，如節(jié)日祝福、定時提醒等單聊，還有群聊、聊天室默認(rèn)支持2000人群組，更大群組按需支持全面的群組權(quán)限管理，群組狀態(tài)管理完善的公開/私有群組管理支持群組中的私聊和@功能實時語音、實時視頻環(huán)信即時通訊云提供實時音視頻，你無需考慮復(fù)雜的音視頻技術(shù)了背景噪音消除，還原清晰語音自適應(yīng)抖動控制，語音對話更流