WebRTC音視頻實時互動技術(shù)：原理、實戰(zhàn)與源碼分析

WebRTC音視頻實時互動技術(shù)：原理、實戰(zhàn)與源碼分析讀書筆記模板01思維導(dǎo)圖讀書筆記作者介紹內(nèi)容摘要目錄分析精彩摘錄目錄0305020406思維導(dǎo)圖音視頻源碼第章通信技術(shù)內(nèi)容部分讀者小結(jié)音視頻視頻信令第章數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器使用客戶端渲染本書關(guān)鍵字分析思維導(dǎo)圖內(nèi)容摘要內(nèi)容摘要本書分為三部分，共13章。其中第1～3章為第一部分，主要介紹WebRTC的由來，為什么要選擇WebRTC，以及實時音視頻通信的本質(zhì)是什么。其中第3章最為關(guān)鍵，只有了解了音視頻實時通信的本質(zhì)，你才能知道音視頻實時通信要解決什么問題，然后才能知道如何解決這些問題，從而理解WebRTC為什么要這樣做。第二部分包括第4～10章，這部分的內(nèi)容比較多，我會循序漸進(jìn)地向你講解WebRTC的理論和實戰(zhàn)。其中第4章介紹了一個最簡單的WebRTC信令服務(wù)器該如何構(gòu)建，第5章介紹了如何通過瀏覽器實現(xiàn)一對一通信，通過這兩章你就可以搭建出一個WebRTC一對一實時通信系統(tǒng)了。第6章介紹了WebRTC底層是如何傳輸音視頻數(shù)據(jù)的，重點是如何進(jìn)行NAT穿越；第7章詳述了WebRTC媒體協(xié)商使用的SDP各字段的含義。需要說明的是，SDP中的每個字段你都需要牢記在心，這樣才能為后續(xù)閱讀WebRTC代碼掃清障礙。第8章介紹如何通過移動端（Android、iOS）Native的方式實現(xiàn)一對一通信，讀完本章內(nèi)容后，將能實現(xiàn)Web端與移動端的互聯(lián)互通；第9章介紹了WebRTC底層的傳輸協(xié)議RTP/RTCP，這部分內(nèi)容是每個從事實時通信工作的讀者必須掌握的；第10章介紹了WebRTC的兩種擁塞控制算法，詳細(xì)介紹了WebRTC為什么最終選擇Transport-CC作為默認(rèn)擁塞控制算法。第三部分包括第11～13章。其中第11章介紹了編譯WebRTC源碼庫的方法，對于大多數(shù)剛?cè)腴T的讀者來說，學(xué)習(xí)WebRTC的第一道門檻便是如何編譯WebRTC，通過對該章的學(xué)習(xí)，相信你一定可以順利地將WebRTC庫編譯出來；第12章對WebRTC的peerconnect_client例子做了深入剖析，這個例子可以說是我們學(xué)習(xí)WebRTC源碼的必經(jīng)之路，這一章你一定要多花些時間將其全部掌握；第13章是對WebRTC源碼的整體架構(gòu)和運(yùn)轉(zhuǎn)流程的詳細(xì)分析，也是本書最難的部分，將這章了解清楚后，你就知道WebRTC是如何運(yùn)轉(zhuǎn)的了。讀書筆記讀書筆記書中很多知識講解的非常詳細(xì)，對于像我這樣的初學(xué)者而言，起到了很大的幫助。難得的和專業(yè)掛鉤，但又很慚愧，從來都是浮于表面，沒有細(xì)細(xì)琢磨過它的底層原理到底是什么。入個門還可以的，相對比較系統(tǒng)。適合初學(xué)者的同學(xué)瀏覽，迅速建立起對webrtc的認(rèn)知，后續(xù)再針對性的閱讀更深入的資料。講得很細(xì)節(jié)，整體內(nèi)容感覺比較散，層次感不是太強(qiáng)，適合很初級的初學(xué)者。經(jīng)?？吹酵ㄟ^各種方式各個平臺推薦這本書，對于小白來說有點價值，但是絕對不值這個價格，有效的內(nèi)容減少，深度較低。這本書把webRTC的所有技術(shù)要點都闡述的十分清楚，非常適合初學(xué)者。關(guān)于WebRTC比較完整系統(tǒng)的介紹資料，讀起來要比那些翻譯資料更符合我們的語言習(xí)慣。目錄分析1.1音視頻的歷史1.2移動互聯(lián)網(wǎng)1.3音視頻直播的兩條技術(shù)路線1.4音視頻直播的現(xiàn)狀第1章音視頻直播的前世今生1.6小結(jié)1.5音視頻直播的未來第1章音視頻直播的前世今生2.1自研直播客戶端架構(gòu)2.3小結(jié)2.2WebRTC客戶端架構(gòu)第2章為什么要使用webRTC2.1自研直播客戶端架構(gòu)2.1.1拆分音視頻模塊2.1.2跨平臺2.1.3插件化管理2.1.4其他3.1兩種指標(biāo)3.3小結(jié)3.2實時通信的主要矛盾第3章音視頻實時通信的本質(zhì)3.1兩種指標(biāo)3.1.1實時通信延遲指標(biāo)3.1.2音視頻服務(wù)質(zhì)量指標(biāo)3.2實時通信的主要矛盾3.2.1增加帶寬3.2.2減少數(shù)據(jù)量3.2.3適當(dāng)增加時延3.2.4提高網(wǎng)絡(luò)質(zhì)量3.2.5快速準(zhǔn)確地評估帶寬4.1WebRTC一對一架構(gòu)4.2細(xì)化架構(gòu)4.3信令4.4構(gòu)建信令服務(wù)器4.5小結(jié)12345第4章構(gòu)建WebRTC一對一信令服務(wù)器4.3信令4.3.1信令定義4.3.2信令時序4.3.3信令傳輸協(xié)議的選擇4.4構(gòu)建信令服務(wù)器4.4.1信令服務(wù)器的實現(xiàn)方案4.4.2信令服務(wù)器的業(yè)務(wù)邏輯4.4.3信令服務(wù)器的實現(xiàn)4.4.4信令服務(wù)器的安裝與部署4.4.5信令服務(wù)器的完整代碼5.1瀏覽器對WebRTC的支持5.3采集音視頻數(shù)據(jù)5.2遍歷音視頻設(shè)備第5章WebRTC實現(xiàn)一對一通信5.4MediaStream與MediaStreamTrack5.5本地視頻預(yù)覽5.6信令狀態(tài)機(jī)5.7RTCPeerConnection5.8小結(jié)12345第5章WebRTC實現(xiàn)一對一通信5.7RTCPeerConnection5.7.1創(chuàng)建RTCPeerConnection對象5.7.2RTCPeerConnection與本地音視頻數(shù)據(jù)綁定5.7.3媒體協(xié)商5.7.4ICE5.7.5SDP與Candidate消息的交換5.7.6遠(yuǎn)端音視頻渲染5.7.7客戶端完整例子6.1Candidate種類與優(yōu)先級6.2ICE策略6.3P2P連接6.4網(wǎng)絡(luò)中繼6.5小結(jié)12345第6章WebRTC中的℃E實現(xiàn)6.3P2P連接6.3.1完全錐型NAT6.3.2IP限制錐型NAT6.3.3端口限制錐型NAT6.3.4對稱型NAT6.3.5NAT類型檢測6.3.6如何進(jìn)行NAT穿越6.4網(wǎng)絡(luò)中繼6.4.1TURN協(xié)議中轉(zhuǎn)數(shù)據(jù)6.4.2WebRTC使用TURN協(xié)議6.4.3STUN/TURN服務(wù)器的安裝與部署7.1SDP標(biāo)準(zhǔn)規(guī)范7.2WebRTC中SDP的整體結(jié)構(gòu)7.3媒體信息7.4PlanB與UnifiedPlan第7章WebRTC中的SDP7.5WebRTC如何保證數(shù)據(jù)安全7.6RTP擴(kuò)展頭7.7服務(wù)質(zhì)量7.8SDP詳解7.9ORTC7.10小結(jié)010302040506第7章WebRTC中的SDP7.3媒體信息7.3.1音頻媒體信息7.3.2視頻媒體信息7.3.3SSRC與CNAME8.1WebRTCNative的核心8.3iOS端的實現(xiàn)8.2Android端的實現(xiàn)第8章各端的互聯(lián)互通8.5小結(jié)8.4PC端與Mac端的實現(xiàn)第8章各端的互聯(lián)互通8.2Android端的實現(xiàn)8.2.1申請權(quán)限8.2.2引入WebRTC庫8.2.3構(gòu)造PeerConnectionFactory8.2.4創(chuàng)建音視頻源8.2.5視頻采集8.2.6視頻渲染8.2.7創(chuàng)建PeerConnection8.2.8建立信令系統(tǒng)8.3iOS端的實現(xiàn)8.3.1申請權(quán)限8.3.2引入WebRTC庫8.3.3構(gòu)造RTCPeerConnectionFactory8.3.4創(chuàng)建音視頻源8.3.5視頻采集8.3.6本地視頻預(yù)覽8.3.7建立信令系統(tǒng)8.3.8創(chuàng)建RTCPeerConnection8.3.9遠(yuǎn)端視頻渲染9.1如何選擇UDP與TCP9.2RTP9.3RTCP9.4小結(jié)第9章網(wǎng)絡(luò)傳輸協(xié)議RTP與RTCP9.2RTP9.2.1RTP協(xié)議頭9.2.2RTP的使用9.2.3RTP擴(kuò)展頭9.2.4RTP中的填充數(shù)據(jù)9.3RTCP9.3.1RTCP報文分類9.3.2RTCP協(xié)議頭9.3.3WebRTC的反饋報文10.1WebRTC的擁塞控制算法10.3小結(jié)10.2擁塞控制算法比較第10章webRTC擁塞控制10.1WebRTC的擁塞控制算法10.1.1GoogREMB10.1.2TransportCC10.1.3基于丟包的擁塞評估算法原理10.1.4WebRTC擁塞控制流程10.2擁塞控制算法比較10.2.1擁塞控制的準(zhǔn)確性10.2.2與TCP連接并存時的公平性10.2.3同種類型連接的公平性10.2.4擁塞控制算法在丟包情況下的表現(xiàn)11.1WebRTC源碼的選擇11.3國內(nèi)WebRTC鏡像11.2WebRTC開發(fā)環(huán)境的搭建第11章WebRTC源碼分析入門11.5小結(jié)11.4WebRTC目錄結(jié)構(gòu)第11章WebRTC源碼分析入門11.2WebRTC開發(fā)環(huán)境的搭建11.2.1配置軟硬件環(huán)境11.2.2安裝依賴工具包11.2.3獲取并編譯WebRTC代碼11.4WebRTC目錄結(jié)構(gòu)11.4.1WebRTC主目錄11.4.2modules目錄12.1信令服務(wù)器實現(xiàn)分析12.3小結(jié)12.2PeerConnection客戶端分析第12章分析WebRTC源碼的必經(jīng)之路12.1信令服務(wù)器實現(xiàn)分析12.1.1信令服務(wù)器的組成12.1.2信令服務(wù)器的工作流程12.2PeerConnection客戶端分析12.2.1運(yùn)行peerconnection_client12.2.2peerconnection_client的組成12.2.3界面的展示12.2.4視頻的渲染12.2.5WebRTC的使用12.2.6信令的處理13.1WebRTC的數(shù)據(jù)流13.2WebRTC線程模型13.3網(wǎng)絡(luò)傳輸13.4音視頻數(shù)據(jù)采集13.5音視頻編解碼13.6小結(jié)010302040506第13章WebRTC源碼分析13.2WebRTC線程模型13.2.1WebRTC線程的創(chuàng)建與使用13.2.2線程切換13.3網(wǎng)絡(luò)傳輸13.3.1網(wǎng)絡(luò)接收與分發(fā)模塊類關(guān)系圖13.3.2網(wǎng)絡(luò)連接的建立13.4音視