實時計算平臺1_第1頁
實時計算平臺1_第2頁
實時計算平臺1_第3頁
實時計算平臺1_第4頁
已閱讀5頁，還剩10頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

1、實時計算平臺及相關業(yè)務實踐實時計算平臺及相關業(yè)務實踐Baidu.inf.dc ChaiHua大綱1. 我們現在的計算平臺2. 我們平臺上的業(yè)務3. 我們將來要做的工作大綱1. 我們現在的計算平臺2. 我們平臺上的業(yè)務3. 我們將來要做的工作實時計算平臺實時計算平臺1 支持毫秒級別至秒級別的計算延遲需求 高可靠性，高可伸縮性，高可擴展性 支持DAG描述的流式作業(yè) 支持已在線運行作業(yè)DAG修改與升級 Per-Record的計算模式與底層架構 Streaming模式支持多語言擴展實時計算平臺實時計算平臺1 機群規(guī)模：500+ - 1000 機群QPS：10M - 100M qps 延遲保證：99.9

2、% 50ms- 在線系統(tǒng) 統(tǒng)一平臺服務眾多（20+）業(yè)務方實時計算平臺實時計算平臺2 支持十秒級別至分鐘級別的計算延遲需求 高可靠性，高可擴展性 支持DAG描述的流式作業(yè)/Queue-Worker模型作業(yè) 具備Transaction屬性，保證計算數據的不重不丟 基于增量/小批量的計算模式與底層架構 Streaming模式支持多語言擴展實時計算平臺實時計算平臺2 機群規(guī)模：500+ - 1000 支持千級worker并發(fā)，百級業(yè)務流并發(fā) 多級Master架構設計 控制流與數據流分離 統(tǒng)一資源層大綱1. 我們現在的計算平臺2. 我們平臺上的業(yè)務3. 我們將來要做的工作實時計算平臺實時計算平臺1 廣

3、告計算平臺廣告計算平臺 主要需求： 真正的實時需求 ：百毫秒級別的延遲指標 靈活的拓撲變化：新增用戶數據業(yè)務流，支持各種策略實驗 高穩(wěn)定性：跨機房故障時，優(yōu)雅的服務降級實時計算平臺實時計算平臺1 檢索端更新數據流檢索端更新數據流 主要需求： 真正的在線需求 ：在線調整與升級，穩(wěn)定 靈活的拓撲變化：新增用戶數據業(yè)務流，支持各種策略實驗 數據流頻繁調整：分流，備份實時計算平臺實時計算平臺2 離線離線/ /在線云視頻轉碼需求在線云視頻轉碼需求 主要需求： 視頻分段并行轉碼； 潛在資源需求量大，短期無預算 上線規(guī)模：worker并發(fā)數k級別 業(yè)務收益：提升時效性，利用空閑資源實時計算平臺實時計算平臺2 業(yè)務日志后端計算業(yè)務日志后端計算 主要需求： 分析前端Server日志，計算統(tǒng)計報表，精確 計算步驟較多：流式join，filter，aggregation，入庫 業(yè)務收益：提升報表時效性（5hour+ - 30min-）大綱1. 我們現在的計算平臺2.

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論