神盾開(kāi)放通用推薦系統(tǒng)_第1頁(yè)
神盾開(kāi)放通用推薦系統(tǒng)_第2頁(yè)
神盾開(kāi)放通用推薦系統(tǒng)_第3頁(yè)
神盾開(kāi)放通用推薦系統(tǒng)_第4頁(yè)
神盾開(kāi)放通用推薦系統(tǒng)_第5頁(yè)
已閱讀5頁(yè),還剩30頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、神盾開(kāi)放通用系統(tǒng)emai騰訊 社交網(wǎng)絡(luò)事業(yè)群 數(shù)據(jù)中心個(gè)人團(tuán)隊(duì)介紹個(gè)人簡(jiǎn)介大數(shù)據(jù)團(tuán)隊(duì)系統(tǒng)/分布式計(jì)算團(tuán)隊(duì)簡(jiǎn)介的基礎(chǔ)數(shù)據(jù)挖掘系統(tǒng)產(chǎn)品應(yīng)用系統(tǒng)的研發(fā)和運(yùn)營(yíng)組組長(zhǎng)大數(shù)據(jù)解決方案神盾 ADS COW R2 LBS云其他-開(kāi)放通用系統(tǒng)數(shù)據(jù)集市解決方案(第29屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議)分布式流數(shù)據(jù)系統(tǒng)分布式實(shí)時(shí)計(jì)算系統(tǒng)(2014年全球互聯(lián)網(wǎng)大會(huì))提供的LBS云服務(wù)hadoop、storm、spark目錄1.2.背景介紹架構(gòu)介紹2.12.22.32.42.52.62.7架構(gòu)總覽分布式計(jì)算數(shù)據(jù)引擎 海量實(shí)時(shí)ABTEST通用開(kāi)放3.運(yùn)營(yíng)情況目錄1.2.背景介紹架構(gòu)介紹2.12.22.32.42.52.62.7架構(gòu)總

2、覽分布式計(jì)算數(shù)據(jù)引擎 海量實(shí)時(shí)ABTEST通用開(kāi)放3.運(yùn)營(yíng)情況1背景介紹(1) - 有哪些產(chǎn)品?關(guān)系鏈文本/音頻/APP1背景介紹(2) - 有哪些場(chǎng)景?企鵝FM音樂(lè)全民K歌相關(guān)LBS社會(huì)化1背景介紹(3) - 有哪些交互?空間騰訊課堂會(huì)員企鵝FM產(chǎn)品push交互式用戶(hù)瀏覽用戶(hù)反饋目錄1.2.背景介紹架構(gòu)介紹2.12.22.32.42.52.62.7架構(gòu)總覽分布式計(jì)算數(shù)據(jù)引擎 海量實(shí)時(shí)ABTEST通用開(kāi)放3.運(yùn)營(yíng)情況2.1架構(gòu)總覽 -系統(tǒng)要解決的題數(shù)據(jù)場(chǎng)景計(jì)算來(lái)源:千級(jí)場(chǎng)景:千級(jí)復(fù)雜度:百萬(wàn)規(guī)模:億萬(wàn)級(jí)延時(shí):50MS業(yè)務(wù)需求通用開(kāi)放2.1架構(gòu)總覽 架構(gòu)圖2.1架構(gòu)總覽 - 架構(gòu)特點(diǎn)A分布式計(jì)算

3、引擎B數(shù)據(jù)引擎C海量D實(shí)時(shí)ABTESTEF開(kāi)放通用2.2分布式計(jì)算引擎() 計(jì)算流獲取有效池子分人群等海選,行為等用戶(hù)屬性CF,熱傳導(dǎo)等識(shí)別某些CVR高,但是用戶(hù)不喜歡的badcase初選超過(guò)20%應(yīng)用寶LR/GBDT/CF等精排度特征衰減重排產(chǎn)品規(guī)則其他badcase2.2分布式計(jì)算引擎(2) 復(fù)雜計(jì)算要解決:復(fù)雜計(jì)算VS低延時(shí)要求以好友的抽象邏輯為例:常規(guī)計(jì)算分布式實(shí)時(shí)計(jì)算:sum(t1)+sum(t2)+sum(t3)+:max(t1)+max(t2)+max(t3)+2.2分布式計(jì)算引擎(3) why not storml面向服務(wù) 穩(wěn)定性 流量控制l性能 數(shù)據(jù)拷貝 資源l運(yùn)維 動(dòng)態(tài)負(fù)載

4、均衡 自動(dòng)擴(kuò)縮容l開(kāi)發(fā) 多線(xiàn)程調(diào)試2.2分布式計(jì)算引擎(4) 解決方案R2l解決 大計(jì)算量與低延遲 即時(shí)數(shù)據(jù)/處理/應(yīng)用l適用業(yè)務(wù) 計(jì)算量比較大 對(duì)低延遲要求較高 實(shí)時(shí)數(shù)據(jù)計(jì)算&處理l計(jì)算模式 類(lèi)map-reduce 實(shí)時(shí)化,多層化2.3數(shù)據(jù)引擎(1) 數(shù)據(jù)流2.3數(shù)據(jù)引擎(2) -賬號(hào)體系打通IDFAIMEIGUID2.3數(shù)據(jù)引擎(3) 行為數(shù)據(jù)cowplus 數(shù)據(jù)量:300T+ 時(shí)間維度淘汰 多索引查詢(xún) 簡(jiǎn)單計(jì)算量:百億級(jí) 多場(chǎng)景,度2.3數(shù)據(jù)引擎(4) 高速cache 每秒千萬(wàn)級(jí)讀寫(xiě)隨時(shí)更新,秒級(jí)生效數(shù)據(jù)一致性通用數(shù)據(jù)格式 Cnt按需拉取數(shù)據(jù)一致性 : MD5+ VER數(shù)據(jù)更新不影響服務(wù)

5、:主備切換2.3數(shù)據(jù)引擎(5) 多數(shù)據(jù)源優(yōu)化 多種系統(tǒng) 協(xié)程多數(shù)據(jù)源同步編碼,異步執(zhí)行通用接口同步編碼:開(kāi)發(fā)快,性能差異步編碼:性能高,開(kāi)發(fā)慢STEP1:同步編碼獲取數(shù)據(jù)源STEP2:異步并行拉取數(shù)據(jù)源2.4海量l10多億用戶(hù),幾十款產(chǎn)品l上千種維度l多準(zhǔn)確度評(píng)估2.5實(shí)時(shí)ABTEST(1) 整體架構(gòu)ll分鐘級(jí)別更新小時(shí)維度展示配置頁(yè)面效果展示頁(yè)面Web SERVER效果查詢(xún)CGI策略下發(fā)SERVERDB離線(xiàn)計(jì)算實(shí)時(shí)計(jì)算2.5實(shí)時(shí)ABTEST(2) 用戶(hù)配置l ABTEST策略配置l效果指標(biāo)配置2.5實(shí)時(shí)ABTEST(3) 效果展示l數(shù)據(jù)過(guò)濾l效果平滑處理l效果波動(dòng)告警2.6(1) 線(xiàn)上服務(wù)l

6、業(yè)務(wù)總體 請(qǐng)求量失敗量 平均延時(shí)。l重點(diǎn)函數(shù)調(diào)用次數(shù) 歷史對(duì)比 波動(dòng)告警2.6(2) 其他l計(jì)算過(guò)程重放l效果數(shù)據(jù)過(guò)濾 效果平滑處理 效果波動(dòng)告警l數(shù)據(jù) 數(shù)據(jù)依賴(lài) 失敗告警/重傳2.7通用開(kāi)放(1) 通用接入l接入系統(tǒng)接入API計(jì)算算法選擇 參數(shù)配置上報(bào)上報(bào)字段配置上報(bào)API效果效果展示字段設(shè)置 效果查看接入l計(jì)算l效果上報(bào)l2.7通用放(2) 訓(xùn)練放特征構(gòu)造算法選擇特征選擇訓(xùn)練2.7通用放(3) 算放l數(shù)據(jù)傳遞方式PU1PU2l計(jì)算邏輯用戶(hù)自定義custom pu邏輯CUSTOM PUPUPUPUPU PU2.7通用開(kāi)放(4) 自定義計(jì)算l說(shuō)明R2提供庫(kù)文件,由用戶(hù)用戶(hù)只用實(shí)現(xiàn)代碼邏輯函數(shù)proc即可。(其余功能由系統(tǒng)完成)l步驟step1繼承基類(lèi)PuPB,實(shí)現(xiàn)proc函數(shù)step2make目錄1.2.背景介紹架構(gòu)介紹2.12.22.32.42.52.62.7架構(gòu)總覽分布式計(jì)算數(shù)據(jù)引擎 海量實(shí)時(shí)ABTEST通用開(kāi)放3.運(yùn)營(yíng)情況3運(yùn)營(yíng)情況(1) 系統(tǒng)l海量 日調(diào)用:數(shù)十億 擴(kuò)散量:數(shù)百億l實(shí)時(shí) 90%以上請(qǐng)求在20MS之內(nèi) 所有請(qǐng)求處理延時(shí)50ms之內(nèi)l穩(wěn)定性 系統(tǒng)穩(wěn)定性99.95% 確保每個(gè)消息的可靠傳遞3運(yùn)營(yíng)情況(2)

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論