平臺轉直播將會帶來什么樣的技術挑戰(zhàn)

【計算機論文】平臺轉直播將會帶來什么樣的技術挑戰(zhàn)？

蘇元朋指出，用戶現在觀看視頻方式已經從點播方式到直播的轉化，即希望通過視頻進行交互，包括文字等方式。UCloud直播蘇元朋(溫馨提示：本文為速記初審稿，保證現場嘉賓原意，未經刪節(jié)，或存紕漏，敬請諒解。)以下為演講實錄：蘇元朋：大家好我是UCloud的蘇元朋，在UCloud負責視頻CDN存儲包括對象存儲塊存儲，KV存儲這些系統(tǒng)產品和技術相關的工作。后面這些系統(tǒng)的交流有什么問題可以多多交流。今天我在這個視頻直播垂直的領域。講之前我想做一個很簡單的調查我們的同學做技術的可以舉一下手嗎？(好像不是太多)我先分享一下我們了解到的移動互聯網視頻的現狀。同時，直播云平臺技術架構解析。最后。直播云海量運行之道。手機端用戶的增量，可以看到這是2014年的數據，移動端的用戶，食品用戶已經占到中國網民用戶將近60%，然后這個用戶數在今年會超過四億，手機端視頻用戶。這是我們做的市場調研，其實現在大家也已經看到了，用戶現在觀看視頻的方式已經從傳統(tǒng)的通過看互聯網，看一個點播的電視劇電影看直播和互動方面已經開始轉化了，并且希望在直播的過程中可能會有一些互動，包括可能是文字互動，或者說是一些視頻、語音方面的互動。人們更希望通過一些視頻做一些交互，這是用戶習慣的一個改變。這是現在的一個數字，200小時，一分鐘上傳視頻是200個小時，30億，是每一天臉書視頻的播放次數。300人，每一分鐘世界上新增的視頻用戶300人，60%，世界范圍內互聯網的流量超過了60%是來自于視頻?，F在隨著直播的增長，視頻在互聯網帶寬的占比會越來越高。大家可以看到，這是移動互聯網的視頻直播一個基本的架構，左邊就是視頻的采集端，相當于網紅直播的東西，右邊還有一些觀眾。這個時候在左邊可能會做一些像直播的錄制，錄制這個里面可能會涉及到像蘋果，安卓各個方面系統(tǒng)的兼容性，做完這些錄制可能會通過一些負載均衡的策略上載到一些推流的節(jié)點，右邊有相當于一些解碼器，中間相當于一個視頻整體的系統(tǒng)，這個里面包括像視頻的轉碼的需求，因為現在不同的用戶的接入的網絡是不一樣，有的可能是3G，有的可能是WIFI，有的可能家里帶寬是很多用戶共享，可能力看幾百K的視頻有點卡，這要做到一些視頻的轉碼。因為我們視頻現在是互聯網各式很多，我們不可能把這些視頻的格式給到大家，不同的終端不一樣，我們要把這些視頻的格式標準化及這是轉碼的一部分。還有截圖的處理，任何一個視頻都有一些封面，這個封面需要一些視頻的截圖，另外會有一些像視頻漸黃的處理。也是視頻截圖的東西。還有直播錄制，一個是把這個食品轉為點播文件，我們后面可以做內容運行的同學，可以從這個庫里面做一些精品的內容出來了，然后轉為點播的內容。政府監(jiān)管要求所有直播的內容在保存多長時間這是監(jiān)管的需要，可能需要一些直播的錄制。這個里面會用到一些其他的東西，包括像一些海量。隨著主播數的增加，這個用戶數的增加，這個里面要海量服務，剛才也有講了，之前嘉賓講過并發(fā)幾百萬服務區(qū)蕩掉了，這是對海量處理不是很好的場景。怎么樣在用戶突然爆發(fā)即便他超過我們承載能力我們也不至于蕩機。這是我們承載能力。剛才所說漸黃也是一種，還有內容安全，內容怎么樣不被別人盜取。還有可能還有一些加速存儲這些方面的東西。這是一個整體框架圖，后面會講我們一些的技術。這個可能就是我們對于從技術層面，然后對于一些這個直播技術的一些要求。第一，首屏打開數據要快，首屏秒開這是很多用戶關心，他也不知道這個內容是什么他可能點開一下實驗一下如果要等好幾秒鐘的時候這個時候用戶已經很崩潰了。食品的秒開可能涉及到很多的元素，大家知道視頻在真的的類型很多，視頻一般是每秒會有十幾楨，如果說一個用戶獲取他關鍵的楨，所以說不上這個首屏，用戶任何客戶端到服務器端的連接一定要下他最近的一個楨，這樣才能播放，這就是對他的一些秒開最基本的要求。包括還可能涉及到什么。像DCP的通訊，一個包可能有1K多一點，這樣有幾十個MT包，怎么樣讓它最快發(fā)到用戶手機里面這是一個重要的東西，包括TCP層面做一些東西。正常是一個包里面發(fā)，我們可以在TCP在操縱系統(tǒng)內核里面可以做一些東西，初始值把這個發(fā)包的數量增大類似這樣的一些策略，保證這個手中的表開。低卡頓率，播放的時候不卡。首先了解為什么會卡，隨便我們下載一個安裝包我們只關心這個安裝包停下來的下載速度，對于視頻不一樣了視頻保證每時每刻速度達到我碼率才能卡，這樣已經卡了。為什么下載速度低，我簽了寬待夠了，最終的服務器沒有什么平靜，互聯網來表現講的話可能就是丟包。我們判斷這個用戶網絡不好可以發(fā)一些軟報，丟包要快速沖出來，不用這個包丟了幾秒鐘才沖出來。我們可以搞成幾十毫秒做沉船。還有和視頻有關，你的客戶端里面可以做一些緩存，如果說你的緩存有一秒鐘你就可以抗到到一秒，如果下載速度在一秒內的話如果是有波動的話其實我是不會卡，如果有緩存意味著什么，可能我的延時會變大，這是一個博弈的東西。這其實是難做到曲折的。正常來講，假設我們都是中國互聯網直播的用戶，如果說我們在看一個網紅的美女直播，你能容忍的延尺是多少？因為我們之前做過一個市場大致的一個調查。如果說正常的一個延時，我們現在這種工作方式我們通過文字送花，交流，如果說有五秒以內的延時不是太敏感的，這種基礎上可以做一些一定的包袱，但是這個不夠。隨著丟包的增加，這個延時肯定是會持續(xù)下來的，因為你延時會越來越大，這種策略下怎么做，可以做跳楨，你已經離我最新的時候，你已經慢了超過一定數，你已經20表了這是不可接受的，可以在策略上做跳楨，來保證這個低延時。視頻現狀還有什么格式都有，包括直播也是一樣的。并且每個人的寬待也是不一樣的。多終端蘋果里面還好一點，但是安卓里面很多了。安卓里面操作系統(tǒng)很多，機型廠商都很多，硬件完全不一樣，這個時候對于我們解碼和編碼的邏輯這個要求會很高，這個時候要求一些比較高的適配性。如果說對于蘋果來講的話推介可以通過硬編，這樣是OK的，因為它的硬件是比較一致的。但是對于安卓里面來講是稍微復雜一點，如果說全硬件和硬編的話可能有一些設備是支撐不好。軟解的話，對CPO有一些消耗。所以這些做一些智能的判斷，根據這個硬件具體類型選擇怎么樣做，這是我們對于一些技術方面的要求。這是我們傳輸的一個視頻流的架構。用戶不管是上傳還有他要下載，觀看這個視頻還是要推流這個食品，其實還是連到服務器。具體連到什么樣的服務器上這是一個很關鍵的因素，決定他的踢跳好不好。第一，DNS的解析，通過我們域名解析，域名對應一個IP。這種方式可能會有一點點的一個問題，因為這個問題在哪里，大家可能用電腦或者手機可能會有一個本地DS，相當于一些代理很多人配制這個東西，配制這個東西其實通過域名解析就不準了，比如說配到八點八，這個很多地方不知道，他不知道你八點八點八屬于那里。針對這種情況我們后面做了兩種，一個是基于IP的調度，真實通過連接我們服務器，我就知道你真實的來源，IP抵制就知道的，知道你的物理信息，是河北還是海淀區(qū)一個小IP，這樣明確知道了，這樣可以調度到最新附近最近的服務器。里面的架構就是這樣，用戶推流，然后推流了之后比如說電線用戶來講如果一個連通用戶來觀看一個電信推流的話很傷，跨運營商的網絡丟包率是很高的，這個時候怎么搞？其實我們基本上見一些三通點。這個點的出口是有電信聯動移動的出口。還有一些小運營商，長款，北京一些歌華有友我們可以通過一些BGP廣播的路游，讓用戶可以通過這個做結束，做全網的這個分配和調度。保證到一些用戶的網絡質量。我們UCloud總部在上海，我是從上海來到北京。我來北京應該怎么過來？其實我有很多方式。我可以坐飛機，可以坐高鐵，可以坐火車也可以自駕過來，這些方式都有什么特點？飛機會快一點，高鐵可能稍微慢一點，但是火車差不多，自駕是單純一點。直接從家里開車直接來到會場最單純的方式。如果說最快的方式達到這個會場應該怎么做從我建立直接打個車然后去到上海浦東機場坐飛機來到我們首都機場，然后再來到會場這是最快的方式了。其實我們現在這個調度系統(tǒng)類似于我們現在要做的導航，然后我們其實是讓用戶最快獲取到這個信息。折合現在一個真實的環(huán)境現在用的電信和連通這個陸游，比如說我們在北京一個主播是在成都，我們去北京成都獲取這個視頻，走的是什么？便宜的路由方式了。就是從北京去成都用戶上場點獲取視頻。這是最便宜，但是不一定是最好的。最好的方式，說白的這個調度系統(tǒng)接了私有路由北京的機房就近接入，北京和成都之間建立了一些私有的網絡，這個網絡可能怎么樣，可能會通過濟南然后到西南到重慶讓用戶最快獲取到這個內容。我們怎么樣知道用戶的數據是怎么樣，所有服務器端都做了這樣一個外掛式的測試體系，只要任何一個用戶連接到我們服務器我們都可以知道他的速度怎么樣，他的丟包率多少，這是我們通過具體TCP的程序。通過這個ACK之間的東西我們認為它一個連接的耗時。這個東西的話，類似類似于ICP這是非常準，我們可以知道根據這個ICT所有用用戶到我們網絡哪些速度是好的，哪些速度是慢的，那些丟包率是慢的，我們可以到我們服務器一個網狀的一個數據信息。這樣的話我們做一些更好的一些調度方式。首先我們把這個慢啟動門限提高了，當它一丟包又重新開始了，但是我們現在就是說初始根據用戶真實的網絡做判斷。這個用戶歷史丟包率怎么樣。當他出現丟包的情況，會重新慢起動，這樣這個重新起動的這個閥值我也是可以預的。這次數據和歷史數據做評判，他要發(fā)多大的的數值做這樣的一個東西，不僅僅這樣，包括像一些我們的落網絡，還有一些用戶歷史數據可以做多個包，降低她的兌包率。視頻加速這些方面會有很多個機房，很多服務器，其實我們現在就做了一些自動故障處理的邏輯，用戶在一些服務器和機方出現一些問題或者進程出現問題的時候會做自動的鼓掌處理。我們之前做過一些視頻的管理，食品的管理會做視頻的錄制，包括視頻錄成點播，點播會存到我們的一些的對方存儲，和存儲系統(tǒng)的打通，包括像直播的封面以及直播的回看。會有一些直播鑒黃的服務也是互相學習做一些視頻的這個鑒黃的識別。我們現在做的一些數據分析，這個視頻的數據和數據分析系統(tǒng)做對接，可以讓用戶自助化做數據的分析，這是剛才講我們現在可以做到一些直播實時的轉碼，尤其推流的一般都是ITMP。像HR和H5會有一些HR的一些要求這是比較好的。所以選擇都是HPPTV，以及轉成什么格式都是可以做一些支持的。像視頻的剛才講過了，一些采集端和播放端，包括一些像錄制，包括像一些安卓、蘋果這些東西可能會涉及到很多的東西，包括之前所說的一些視頻的濾鏡以及美顏多信息度的支持，如果去一個地方播放不了怎么辦，可以去另外一個地方地址播放，可以做一些食貧的容錯。還有可以把所有用戶播放的流水統(tǒng)計出來有沒有卡過，加載時間多長，他的次數多少，他的延時多少。還有一些可以集成到一個IM，現在所有的直播可能都有聊天室，聊天室和IM的一個結合。最后一個講我們對于海量，怎么樣用戶突發(fā)的時候我們可以保證我們的機器不蕩機，怎么樣可以支撐那么多的東西。這是我們可以做一些我們海量服務的一些東西。做機械的同學都知道任何一個系統(tǒng)和服務其實都是系統(tǒng)瓶頸，CPO是平面，包括視頻的轉碼還有一些內存的瓶頸，還有一些是大并發(fā)包括IO，還有可能是帶寬。其實我們系統(tǒng)的瓶頸很難畢竟，買的設備這個東西就是這樣，物理條件就是這樣，你的瓶頸很難避免，怎么樣保證系統(tǒng)瓶頸的保證這個服務不垮掉，這是我們海量運行的一些道理。首先過載的時候把這個系統(tǒng)根據重量級和輕量級的東西做分開。比如說做直播可以把這個視頻APPCGR服務和視頻流的東西分開。還有量力而為，要知道我現在的容量多少，我們要做直播的云，支持在線并發(fā)的用戶數多少，比如說現在支持的是800萬，我們要有這個容量，當用戶達到，當大的容量已經達到60%的時候，我必須要做擴容了，60%是我的指標我就要做擴容這是我的容量管理。還有一個，及早拒絕。我的容量是800萬，但是一些用戶是不按照我的套路出牌可能瞬間隨便一個很好的活動可能直接把我打爆了。如果把這個東西打爆意味著什么？我的系統(tǒng)雪崩了，雪崩所有用戶都癱，這種東西做互聯網是不允許，極早拒絕。如果說系統(tǒng)八百萬的連接當我達到799萬的時候怎么辦，新來的連接不能讓他進來了，要拒絕，我要保證現有用戶的體驗，這是對新的東西就拒絕了，如果他進來整個系統(tǒng)崩盤，這是不行的。對于拒絕也有策略，誰不按照套路出派我們就想怎么樣拒絕他的策略。動態(tài)調節(jié)，比如說這個直播可能會有區(qū)域性，比如說北京的活動，大部分都是北京用戶來看，這個時候把我們的機房打滿了，可以動態(tài)調度，可以把這個東西調度到河北區(qū)，這些用戶雖然去河北可能他的卡單率上升，但是不能打死。要做柔性的服務。這是過載保護的理念。容載，做技術和基礎運維都有這樣情況。我們機房掉電了怎么辦？還有服務器故障的怎么辦，還有網絡環(huán)境比較惡劣，用戶的環(huán)境比較惡劣，這種情況下怎么辦。黑客被攻擊，我的程序蕩了，這些東西怎么辦，都是我們這些容載的東西。我們現在所有機房的都是需要有一些跨機房的東西，所有存儲都可以做到跨機房的東西。所有給到用戶可以給到用戶兩個機房，一個機房出現問題可以切換到另外一個。我們服務器做的一些VIP的機制，這個東西如果大家可以對一些交換機的協議了解的話，其實可以了解這些東西。TCP4層上做的附載均衡網絡環(huán)境我們可以做到究竟覆蓋，根據用戶一些測速，黑客攻擊還有一些安全手段之類的東西我們也在機方里面做這些方面的東西，程序扣我們所有的程序做好監(jiān)控。并且所有程序都是有調度，所有的程序都是有分層次的。附載均衡的方法我們也用了很多，輪詢均衡，群眾輪詢均衡，隨機均衡，權重隨機均衡，相應速度的均衡，最小連接數均衡，處理能力均衡。分享一些監(jiān)控層面如果做一個大的系統(tǒng)肯定要有完善監(jiān)控把這個監(jiān)控分成四層，一個是用戶層，一個是業(yè)務在線層，一個是應用層，一個是系從層，用戶層包括一些用戶的真實請求的測試，還有包括一些模擬用戶請求測試，模擬用戶請求各個地方布一些節(jié)點可以跟聽云做和睦，一些視頻檢測這是都是模擬視頻的測試。還有一些業(yè)務特性，業(yè)務邏輯有一些是要做轉碼，多碼率，每個用戶要求不一樣，有的要求360P、720P，1080P，都不一樣。還有應用程序，包括一些服務特性像流量包括進程的存在，還有一些系統(tǒng)，包括你的CPO利用率是不是馬拉，LO是不是被打死，3DG的網卡是不是滿了？網絡質量，剛才講的延時這些方面的監(jiān)控。監(jiān)控這個數子怎么用在系統(tǒng)優(yōu)化運行上也是很重要的東西。這是我們大家一塊討論和關注的一些東西。主持人：蘇元朋總分享在產品層給用戶以及品牌商家做保駕護航這個非常重要。下面提問的機會給到觀眾，大家可以舉手示意一下。提問：現階段需要考慮的一些癥結點在哪兒？表拍，延時的，那些是前期部署產品需要注意的？蘇元朋：從產品來講，還能秒拍。我們也服務于電商的客戶，也是可以看到就近的商家賣什么東西，商價可以送貨上門，看每個產品的介紹他只是在瀏覽，秒拍可以快速讓你了解介紹這個產品什么東西，對我有沒有用。提問：前一陣子花椒請到柳巖，大家感受到這個卡殼。直播云的角度來看是不是給初創(chuàng)企業(yè)的一些經驗避免它？蘇元朋：相當于你做系統(tǒng)做功能是OK，但是服務大量的用戶出現的問題，這是我剛才講的，說白了，海量用戶進來把它的系統(tǒng)打爆了，雪崩了。系統(tǒng)不可用。這種情況下最簡單的方式是兩種策略，一個是過載保護，你能承載多少，承載30萬的用戶就承載30萬的用戶超過就可以干掉，走一個再進來一個，這是一個方法論。一個是降級，比如說現在直播的是1080P的直播，那我降級是360P或者540P，對用戶做有損服務，不是追求完美。其實做任何的產品和技術，有一個很重要的方法，就是追求不完美。我們不是追求完美，我們是追求不完美。我們要根據我們架構和技術滿足客戶真實需求，有問題主動降級解決，要不然整個系統(tǒng)都雪崩掉。提問：很多企業(yè)如果想部署這個直播產品的時候是找傳統(tǒng)CDN廠商。直播云跟網速這類的企業(yè)有什么樣的區(qū)別，對于我們初創(chuàng)團隊或者說電商企業(yè)來講。有什么樣的優(yōu)勢？蘇元朋：做云來講，第一就是做云會對于一些中小客戶的支持更好一點。還有一些東西是做云的東西，這是一個整體的基礎服務。比如說可以做直播可以和你的主機做打通，可以和數據分析做結合，可以把你的文件電波轉到對方存儲，這是整個云產品的這一個生態(tài)，其實這樣是可以更多的幫助用戶解決它的，不僅僅只是考慮CDN，因為初創(chuàng)企業(yè)更關心系的是什么，我怎么樣快速把我產品做起來，這是它最關心的事情，怎么樣讓我的時間，因為初創(chuàng)企業(yè)最多是時間成本和人力成本。提問：比較關注成