版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、神盾開(kāi)放通用系統(tǒng)emai騰訊 社交網(wǎng)絡(luò)事業(yè)群 數(shù)據(jù)中心個(gè)人團(tuán)隊(duì)介紹個(gè)人簡(jiǎn)介大數(shù)據(jù)團(tuán)隊(duì)系統(tǒng)/分布式計(jì)算團(tuán)隊(duì)簡(jiǎn)介的基礎(chǔ)數(shù)據(jù)挖掘系統(tǒng)產(chǎn)品應(yīng)用系統(tǒng)的研發(fā)和運(yùn)營(yíng)組組長(zhǎng)大數(shù)據(jù)解決方案神盾 ADS COW R2 LBS云其他-開(kāi)放通用系統(tǒng)數(shù)據(jù)集市解決方案(第29屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議)分布式流數(shù)據(jù)系統(tǒng)分布式實(shí)時(shí)計(jì)算系統(tǒng)(2014年全球互聯(lián)網(wǎng)大會(huì))提供的LBS云服務(wù)hadoop、storm、spark目錄1.2.背景介紹架構(gòu)介紹2.12.22.32.42.52.62.7架構(gòu)總覽分布式計(jì)算數(shù)據(jù)引擎 海量實(shí)時(shí)ABTEST通用開(kāi)放3.運(yùn)營(yíng)情況目錄1.2.背景介紹架構(gòu)介紹2.12.22.32.42.52.62.7架構(gòu)總
2、覽分布式計(jì)算數(shù)據(jù)引擎 海量實(shí)時(shí)ABTEST通用開(kāi)放3.運(yùn)營(yíng)情況1背景介紹(1) - 有哪些產(chǎn)品?關(guān)系鏈文本/音頻/APP1背景介紹(2) - 有哪些場(chǎng)景?企鵝FM音樂(lè)全民K歌相關(guān)LBS社會(huì)化1背景介紹(3) - 有哪些交互?空間騰訊課堂會(huì)員企鵝FM產(chǎn)品push交互式用戶(hù)瀏覽用戶(hù)反饋目錄1.2.背景介紹架構(gòu)介紹2.12.22.32.42.52.62.7架構(gòu)總覽分布式計(jì)算數(shù)據(jù)引擎 海量實(shí)時(shí)ABTEST通用開(kāi)放3.運(yùn)營(yíng)情況2.1架構(gòu)總覽 -系統(tǒng)要解決的題數(shù)據(jù)場(chǎng)景計(jì)算來(lái)源:千級(jí)場(chǎng)景:千級(jí)復(fù)雜度:百萬(wàn)規(guī)模:億萬(wàn)級(jí)延時(shí):50MS業(yè)務(wù)需求通用開(kāi)放2.1架構(gòu)總覽 架構(gòu)圖2.1架構(gòu)總覽 - 架構(gòu)特點(diǎn)A分布式計(jì)算
3、引擎B數(shù)據(jù)引擎C海量D實(shí)時(shí)ABTESTEF開(kāi)放通用2.2分布式計(jì)算引擎() 計(jì)算流獲取有效池子分人群等海選,行為等用戶(hù)屬性CF,熱傳導(dǎo)等識(shí)別某些CVR高,但是用戶(hù)不喜歡的badcase初選超過(guò)20%應(yīng)用寶LR/GBDT/CF等精排度特征衰減重排產(chǎn)品規(guī)則其他badcase2.2分布式計(jì)算引擎(2) 復(fù)雜計(jì)算要解決:復(fù)雜計(jì)算VS低延時(shí)要求以好友的抽象邏輯為例:常規(guī)計(jì)算分布式實(shí)時(shí)計(jì)算:sum(t1)+sum(t2)+sum(t3)+:max(t1)+max(t2)+max(t3)+2.2分布式計(jì)算引擎(3) why not storml面向服務(wù) 穩(wěn)定性 流量控制l性能 數(shù)據(jù)拷貝 資源l運(yùn)維 動(dòng)態(tài)負(fù)載
4、均衡 自動(dòng)擴(kuò)縮容l開(kāi)發(fā) 多線(xiàn)程調(diào)試2.2分布式計(jì)算引擎(4) 解決方案R2l解決 大計(jì)算量與低延遲 即時(shí)數(shù)據(jù)/處理/應(yīng)用l適用業(yè)務(wù) 計(jì)算量比較大 對(duì)低延遲要求較高 實(shí)時(shí)數(shù)據(jù)計(jì)算&處理l計(jì)算模式 類(lèi)map-reduce 實(shí)時(shí)化,多層化2.3數(shù)據(jù)引擎(1) 數(shù)據(jù)流2.3數(shù)據(jù)引擎(2) -賬號(hào)體系打通IDFAIMEIGUID2.3數(shù)據(jù)引擎(3) 行為數(shù)據(jù)cowplus 數(shù)據(jù)量:300T+ 時(shí)間維度淘汰 多索引查詢(xún) 簡(jiǎn)單計(jì)算量:百億級(jí) 多場(chǎng)景,度2.3數(shù)據(jù)引擎(4) 高速cache 每秒千萬(wàn)級(jí)讀寫(xiě)隨時(shí)更新,秒級(jí)生效數(shù)據(jù)一致性通用數(shù)據(jù)格式 Cnt按需拉取數(shù)據(jù)一致性 : MD5+ VER數(shù)據(jù)更新不影響服務(wù)
5、:主備切換2.3數(shù)據(jù)引擎(5) 多數(shù)據(jù)源優(yōu)化 多種系統(tǒng) 協(xié)程多數(shù)據(jù)源同步編碼,異步執(zhí)行通用接口同步編碼:開(kāi)發(fā)快,性能差異步編碼:性能高,開(kāi)發(fā)慢STEP1:同步編碼獲取數(shù)據(jù)源STEP2:異步并行拉取數(shù)據(jù)源2.4海量l10多億用戶(hù),幾十款產(chǎn)品l上千種維度l多準(zhǔn)確度評(píng)估2.5實(shí)時(shí)ABTEST(1) 整體架構(gòu)ll分鐘級(jí)別更新小時(shí)維度展示配置頁(yè)面效果展示頁(yè)面Web SERVER效果查詢(xún)CGI策略下發(fā)SERVERDB離線(xiàn)計(jì)算實(shí)時(shí)計(jì)算2.5實(shí)時(shí)ABTEST(2) 用戶(hù)配置l ABTEST策略配置l效果指標(biāo)配置2.5實(shí)時(shí)ABTEST(3) 效果展示l數(shù)據(jù)過(guò)濾l效果平滑處理l效果波動(dòng)告警2.6(1) 線(xiàn)上服務(wù)l
6、業(yè)務(wù)總體 請(qǐng)求量失敗量 平均延時(shí)。l重點(diǎn)函數(shù)調(diào)用次數(shù) 歷史對(duì)比 波動(dòng)告警2.6(2) 其他l計(jì)算過(guò)程重放l效果數(shù)據(jù)過(guò)濾 效果平滑處理 效果波動(dòng)告警l數(shù)據(jù) 數(shù)據(jù)依賴(lài) 失敗告警/重傳2.7通用開(kāi)放(1) 通用接入l接入系統(tǒng)接入API計(jì)算算法選擇 參數(shù)配置上報(bào)上報(bào)字段配置上報(bào)API效果效果展示字段設(shè)置 效果查看接入l計(jì)算l效果上報(bào)l2.7通用放(2) 訓(xùn)練放特征構(gòu)造算法選擇特征選擇訓(xùn)練2.7通用放(3) 算放l數(shù)據(jù)傳遞方式PU1PU2l計(jì)算邏輯用戶(hù)自定義custom pu邏輯CUSTOM PUPUPUPUPU PU2.7通用開(kāi)放(4) 自定義計(jì)算l說(shuō)明R2提供庫(kù)文件,由用戶(hù)用戶(hù)只用實(shí)現(xiàn)代碼邏輯函數(shù)proc即可。(其余功能由系統(tǒng)完成)l步驟step1繼承基類(lèi)PuPB,實(shí)現(xiàn)proc函數(shù)step2make目錄1.2.背景介紹架構(gòu)介紹2.12.22.32.42.52.62.7架構(gòu)總覽分布式計(jì)算數(shù)據(jù)引擎 海量實(shí)時(shí)ABTEST通用開(kāi)放3.運(yùn)營(yíng)情況3運(yùn)營(yíng)情況(1) 系統(tǒng)l海量 日調(diào)用:數(shù)十億 擴(kuò)散量:數(shù)百億l實(shí)時(shí) 90%以上請(qǐng)求在20MS之內(nèi) 所有請(qǐng)求處理延時(shí)50ms之內(nèi)l穩(wěn)定性 系統(tǒng)穩(wěn)定性99.95% 確保每個(gè)消息的可靠傳遞3運(yùn)營(yíng)情況(2)
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年度海洋工程設(shè)備安裝工程一切險(xiǎn)合同3篇
- 2025年度網(wǎng)絡(luò)寫(xiě)作兼職勞動(dòng)合同范本2篇
- 2024年研發(fā)成果轉(zhuǎn)化與合作生產(chǎn)合同
- 2024年設(shè)備租賃合同:廠(chǎng)房應(yīng)用版3篇
- 2025年中國(guó)男士襯衫行業(yè)市場(chǎng)全景評(píng)估及發(fā)展戰(zhàn)略規(guī)劃報(bào)告
- 2024年城市公用設(shè)施的綜合管理行業(yè)市場(chǎng)發(fā)展現(xiàn)狀及投資戰(zhàn)略咨詢(xún)報(bào)告
- 2019-2025年中國(guó)服裝零售行業(yè)發(fā)展?jié)摿Ψ治黾巴顿Y方向研究報(bào)告
- 2024沈陽(yáng)農(nóng)膜行業(yè)廣告宣傳與品牌推廣合同2篇
- 2024消防手續(xù)消防設(shè)施改造與驗(yàn)收服務(wù)合同范本3篇
- 2024年網(wǎng)絡(luò)云服務(wù)定制與維護(hù)合同
- 2024版房屋市政工程生產(chǎn)安全重大事故隱患判定標(biāo)準(zhǔn)內(nèi)容解讀
- 期末 (試題) -2024-2025學(xué)年人教PEP版(2024)英語(yǔ)三年級(jí)上冊(cè)
- 獨(dú)生子女證明(模板)
- 侵入性器械、操作相關(guān)感染防控制度
- 更換電表申請(qǐng)書(shū)3篇
- 2019年北京外國(guó)語(yǔ)大學(xué)博士生英語(yǔ)入學(xué)考試試題
- 肝膽外科出科考試試卷
- 塔吊運(yùn)行作業(yè)方案
- 重慶中考數(shù)學(xué)最新26題練習(xí)及答案
- 江蘇衛(wèi)視跨年演唱會(huì)電視轉(zhuǎn)播技術(shù)方案-209年精選文檔
- 水電工程施工機(jī)械臺(tái)時(shí)費(fèi)定額(2004年版)
評(píng)論
0/150
提交評(píng)論