2019云棲大會一鍵

1、學習平臺的Kubernetes實踐DingpingYUAN新浪工程師01 微博WeiboContents 目錄02 機器學習平臺Machine Learning Platform03 深度學習Deep Learning04 在線學習Online LearningAI業(yè)務及趨勢Weibo AI business and trend01/用戶規(guī)模Weibo/DAU2.11億211M4.86億486M日活用戶DAU月活用戶MAU2019Q2財報2019Q2FinancialReports/業(yè)務Weibo/business eco關注/普通用戶優(yōu)質用戶AI內容理解內容組織優(yōu)質內容微博/AI場景 多媒體

2、內容理解Weibo/AI scene Multi-media Content Understand智能裁剪Smartcrop音頻分類Audioclassification圖片OCRImageOCR視頻盜鏈檢測Cheatinglinkdetection明星識別Starrecognition視頻LogoVideoLogo/AI場景 CTR任務Weibo/AI Scene CTR熱門推薦HotWeibo相關推薦Recommend關注排序Feed/AI發(fā)展趨勢Weibo/AI Trend平臺化Platform深度化Deep實時化lOnine 業(yè)務場景多,需求高度重復用戶短期不斷變化圖片與類內容增長迅速

3、 業(yè)務迭代速度慢， Duplicatescene與成本有限模型迭代速度慢，不能擬合實時分布 Usershortinterestvariety特征工程成本比較高ImageandcontentistaerFaiontsirirFaenoltrwMothanrealueneeringtimedistribution學習平臺Machine Learning Platform學習工作流Machine learning workflow02/學習工作流Weibo/Machine Learning workflowK8S應用環(huán)節(jié)模型數(shù)據(jù)傳輸模型部署模型訓練樣本生成特征處理模型訓練模型評估原始數(shù)據(jù)特征處理模型

4、業(yè)務評估微博/機器學習平臺Weibo/Machine Learning Platform一站式服務平臺，加快業(yè)務開發(fā)速度，縮減業(yè)務迭代周期irasnruoeitnptetoseinb，udepsOcesime 業(yè)務無須關注底層工程細節(jié)和資源分配，專注于算法和效果調優(yōu) Focusonalgorithmandbusinessresults在線學習數(shù)據(jù)倉庫集群實時計算集群阿里云計算集群高性能GPU集群深度學習KubernetesdockeryarnHDFS/ODPSPS/weipsspark/hadooptensorflow/caffestorm/flink基礎/IDE(WeiIDE)開發(fā)套件控制臺

5、控制中心算法/模型(WeiFlow)模型庫樣本庫模型服務推薦引擎模型訓練/評估樣本生成數(shù)據(jù)/特征(WeiData)數(shù)據(jù)/特征生成數(shù)據(jù)/特征庫數(shù)據(jù)/特征服務機器學習平臺內容生產圖像/視頻分類文本分類/檢測推薦流關注流業(yè)務應用深度學習深度學習框架 weilearn vs arenaDeep LearningDeep learning framework weilearn vs arena03深度學習訓練框架 - weilearnDeep learning framework - weilearn任務配置化，降低業(yè)務接入成本AljobconfigurizedResourcemanagementwit

6、heficiencyandrobust統(tǒng)一調度，提高任務效率與穩(wěn)定性，降低平臺管理成本樣本庫訓練框架調度計算模型庫CTR業(yè)務樣本處理CTR配置超參數(shù)DNNCTR樣本Arena/K8SWide&DeepNLPDeepFM自然語言樣本SparkRNNDeep Cross Network與圖像樣本圖像業(yè)務YARN算法圖片NLP業(yè)務inceptionresnet語音業(yè)務LSTMGRUVGGYoloArena 基于k8s的分布式解決方案Arena tool for data scientist開源 kubeflow opreator for tensorflowuena基于Kubernetes用戶無需掌

7、握k8s領域知識提供數(shù)據(jù)科學家最熟悉的使用體驗u 簡單 一分鐘內啟動深度學習任務；CPUHDFSGPUKubernetes / NVidia Docker RuntimeKubeFlow / tfjobs/mpijobsarena clitensorflow/caffe/horvod/pytorch學習學習工作流Online learning Online learning workflow and pipeline04學習/實時化Online learning/Real time特征實時化：更及時反饋用戶行為，更細粒度刻畫用戶Realtimefeature：Getlatestuserbeha

8、vior模型實時化：根據(jù)線上樣本實時訓練模型，及時地反映對象的線上變化Realtimem：Reflectlatestuserdistribution實時特征實時數(shù)據(jù)模型推理服務實時 模型訓練實時 參數(shù)更新實時樣本weiflow -學習工作流weiflow Online learning workflow排序服務模型服務參數(shù)服務請求online實時特征特征工程模型訓練：計算分散實時Real time實時樣本實時訓練實時日志實時參數(shù)服務模型更新：小時級/分鐘級/秒級更新/Delta模型K8S應用環(huán)節(jié)離線特征模型樣本：天級樣本延時模型訓練：計算集中模型更新：天級更新/Base模型離線ofline離線

9、日志離線樣本離線訓練離線參數(shù)服務模型樣本：小時級/分鐘級延時學習/實時樣本Online learning/real time sampleFlink/Storm行為日志KafkaK8S/yarnstatetimer閱讀行為日志HDFS樣本拼接周期生成點擊行為日志Kafka數(shù)據(jù)處理數(shù)據(jù)過濾互動行為日志樣本庫實時樣本拼接數(shù)據(jù)源學習/實時訓練Online learning/real time train 模型選擇LR : 基礎模型，對特征工程依賴較強FM：大規(guī)模稀疏數(shù)據(jù)下的特征組合問題DeepFM:引入高階特征組合模型訓練1. 支持回歸和分類2. 支持LR/FM/DeepFM等模型3. 支持SGD/

10、FTRL /Adagrad等優(yōu)化算法1.模型評估 優(yōu)化算法選擇2. 配置化3. UI展示SGD： 參數(shù)少，效率高，固定學習率Adagrad : 自適應學習率，突出低頻特征，實現(xiàn)簡單FTRL：自適應學習率，突出低頻特征，模型稀疏性 特征處理Hash：BKDRhash/CityHash,去ID編碼化動態(tài)特征刪減，動態(tài)調整模型規(guī)模增加ID類特征訓練預處理樣本生成和特征處理1.配置化1.2.選擇UDF2. 多3. 支持樣本HASH3. 樣本過濾4. 特征過濾模型評估學習/Flink on ACKOnline learning/Flink on ACKK8sMasterConfig MapAPI Ser

11、ver, Controller, SchedulerK8sPodK8sDeploymentFlink TaskMana gerFlinkMasterFlink ClientK8s ServiceSelector：-app-compone tDispa tche rK8sRes MngrK8sPodJobMas terFlink TaskMana gerDocker RegistryC K8s nliet學習/參數(shù)服務 weiPS on ACKOnline learning/Parameter server weiPS on ACK 參數(shù)規(guī)模支持百億特征維度，千億參數(shù) 模型版本多模型多版本：多組

12、實驗并行執(zhí)行，提高實驗迭代效率版本切換：基于ZK的版本感知機制，動態(tài)進行版本切換，實現(xiàn)BASE模型的熱更新，實時訓練與離線訓練周期模型融合模型結構訓練與推理兼容：PS與離線PS模型結構兼容，自動模型參數(shù)轉換 穩(wěn)定性優(yōu)化模型快照：基于ps-scheduler的周期模型版本探測與保存，模型稀疏化分片災：基于checkpoint機制(Local模式&Remote模式)，實現(xiàn)參數(shù)服務的高可用，支持基于模型的異構集群遷移，支持集群擴縮容 性能優(yōu)化通信優(yōu)化：數(shù)據(jù)請求(PULL&PUSH)聚合，同模型多矩陣并發(fā)，鎖粒度優(yōu)化，性能提升5-10倍緩存優(yōu)化：使用堆外內存與LRU過期機制，解決GC引起的性能損耗，性

13、能提升3-5倍分區(qū)優(yōu)化：支持多種分區(qū)策略（RANGE/HASH/MOD），解決數(shù)據(jù)傾斜導致的流量熱點瓶頸問題，性能提升2-5倍優(yōu)化：自定義90%方式(ByRow&ByKey)，基于row進行矩陣壓縮，參數(shù)內存占用減少學習/持續(xù)訓練持續(xù)部署 - CTCDOnline learning/CTCD 模型部署 模型評估模型路由deploymentzookeeper服務發(fā)現(xiàn)模型部署分鐘級olsubmit一鍵部署自動端口分配AUC/準確率/模型穩(wěn)定性一致性率驗證多模型實驗多版本切換Kubernetes/olsubmit服務模型路由模型部署模型評估模型庫模型訓練離線/分布式模型推理框架 weiserving

14、 on ACKDistributing inference framework weiserving on ACK業(yè)務應用排序模型服務多分析服務自然語言分析服務DNN/DeepFM/W&DLR/GBDT算法模型層數(shù)據(jù)處理Embedding特征模型服務框架統(tǒng)一版本管理/動態(tài)加載/批量化機制/多模型計算引擎架構層RPC服務框架/服務發(fā)現(xiàn)/zookeeperkubernetes/ol-submit集群調度層異構CPU集群異構GPU集群K8S在微博機器學習平臺的應用How kubernetes enhanced our platform總結微博機器學習平臺SummaryWeibo online learning plarform平臺化：為機器學習平臺提供統(tǒng)一可靠靈活的任務管理機制深度化：分布式深度學習訓練，一鍵集群任務創(chuàng)建，提高訓練與調度效率 深度化：分布式測服務，異構混合調度提高資源利用率，服務保障高可用 實時化：做為在線學習系統(tǒng)的底層支撐，打通整個在線機器學習流程實時化：持續(xù)