美團實時計算平臺

1、美團實時計算實踐與應(yīng)用OutlineBackgroundArchitectureFeaturesCustomers & BenefitsLessons LearnedQ&AOutlineBackground美團數(shù)據(jù)倉庫業(yè)務(wù)場景多：2500+指標(biāo)數(shù)，600+分析師/運營/數(shù)據(jù)RD；業(yè)務(wù)變化快：40K 任務(wù)/天，500+ 報表，半年翻倍；數(shù)據(jù)量大：4P+總數(shù)據(jù)量，30T/天增量；實時計算技術(shù)以Kafka, Storm為代表的流式計算技術(shù)蓬勃發(fā)展，解決了大數(shù)據(jù)處理的時效性問題；OutlineArchitecture數(shù)據(jù)處理架構(gòu)實時計算架構(gòu)OutlineFeatures開發(fā)者困惑開發(fā)一個實時應(yīng)用，除了

2、寫業(yè)務(wù)邏輯外，我還要做什么？拓撲框架拓撲=應(yīng)用邏輯+可配置框架開發(fā)者困惑準(zhǔn)備開發(fā)前，我要怎樣引入數(shù)據(jù)流？程序中間狀態(tài)存在哪？結(jié)果存在哪？解決方案應(yīng)用拓撲=流+計算框架+Se+結(jié)果解決方案應(yīng)用拓撲=流+計算框架+Se+結(jié)果開發(fā)者困惑準(zhǔn)備開工啦！那我在哪開發(fā)？在哪測試？測試開發(fā)化Git整合、版本管理、開發(fā)測試，線上運維；開發(fā)者困惑拓撲終于上線啦！如何控制延遲？拓撲狀態(tài)？如何延遲統(tǒng)計日志流轉(zhuǎn)全流程的延遲延遲統(tǒng)計日志流轉(zhuǎn)全流程的延遲定制化服務(wù)用戶自定義Metrics的服務(wù)定制化服務(wù)用戶自定義Metrics的服務(wù)開發(fā)者困惑運行了一段時間，開始考慮：撲和別人的拓撲會不會搶資源？拓資源分組按等級/部門對資源

3、進行分組調(diào)度策略優(yōu)化機器獨占、拓撲獨占、拓撲共享開發(fā)者困惑是否有公共數(shù)據(jù)可以用？能否使用其它拓撲產(chǎn)出的結(jié)果？如何管理數(shù)據(jù)？拓撲依賴關(guān)系清晰展示拓撲和數(shù)據(jù)之間的關(guān)系功能特性拓撲框架；的解決方案；測試開發(fā)化；延遲統(tǒng)計服務(wù)；定制化服務(wù)；資源分組和調(diào)度策略優(yōu)化；拓撲依賴關(guān)系；OutlineCustomers & Benefits應(yīng)用領(lǐng)域風(fēng)控安全、反爬蟲機群指標(biāo)統(tǒng)計業(yè)務(wù)指標(biāo)統(tǒng)計（新客，銷售額等）100+個Topology；record/s的實時數(shù)據(jù)；期4GB/s，60萬收益節(jié)省開發(fā)時間：5Days-Hours；2W-1W；反爬蟲：獲得線性擴容能力；延遲從3小時降到十幾秒；在現(xiàn)有框架下增加新的封禁分析功能，幾個小時就完成從開發(fā)到上線觀察效果；安全：獲得實時性，完成異30s內(nèi)；別從3-4小時降到收益：準(zhǔn)實時反饋，CTR和訪購率5-10%;實時的用戶行為分析，2%；效果較大，點擊下單提高效果展示：實時看到策略的效果，查找問題從2天縮短到當(dāng)天，加快了算法迭代速度；風(fēng)控刷機項目：項目開發(fā)、測試、上線只用了不到2周，節(jié)省了分布式數(shù)據(jù)流和分布式計算框架的開發(fā)，只需要關(guān)注邏輯模塊的開發(fā)，節(jié)省了70%的工作量；OutlineLessons Learned經(jīng)驗教訓(xùn)擁抱開源：受益于開源，跟進社區(qū)發(fā)展，積極回饋社區(qū)；Storm管理系統(tǒng)嘗試開源；解決方案：輸入、輸出、狀態(tài)、警、延遲等，以開發(fā)者為中心；報貼近用戶做產(chǎn)