大規(guī)模機(jī)器學(xué)習(xí)在阿里的應(yīng)用

1、大規(guī)模機(jī)器學(xué)習(xí)在螞蟻+阿里的應(yīng)用主要內(nèi)容1設(shè)計(jì)理念2應(yīng)用場(chǎng)景3展望未來(lái)Big Data Era每天30億query, 300億served廣告，30萬(wàn)億indexed網(wǎng)頁(yè)全球超過(guò)14億用戶，每天分享43億內(nèi)容每天產(chǎn)生4.3億Tweets每天App下載量1億一年產(chǎn)生86億包裹，每天2356萬(wàn)個(gè)2015年雙十一當(dāng)天共產(chǎn)生7.1億筆支付Big Data Erahow to use data?用戶在不同場(chǎng)景下有不同的相應(yīng)，結(jié)合這些數(shù)據(jù)，通過(guò)機(jī)器學(xué)習(xí)得到 模型，然后進(jìn)行智能決策（個(gè)性化推薦、搜索個(gè)性化等）Big Data Big Model訓(xùn)練數(shù)據(jù)：1T1P特征：百億千億級(jí)別樣本：百億千億級(jí)別Sibyl

2、: A System for Large Scale Machine Learning at GoogleBig Model Distributed Learning System在大數(shù)據(jù)上，利用機(jī)器學(xué)習(xí)從中學(xué)習(xí)到知識(shí)，是人工智能取得突破的 主要手段，也是系統(tǒng)架構(gòu)師面臨的重要挑戰(zhàn)之一許多模型和抽象先后用于這一任務(wù)：早期的MPI，后來(lái)的MapReduce，當(dāng)前使用較多的Graph 、Spark等Distributed Learning SystemCombine the complexities of machine learning with system designDistributed

3、Learning System(Cont.)MapReduce：迭代式計(jì)算低效，節(jié)點(diǎn)之間通信效率不高M(jìn)PI：無(wú)法支撐大數(shù)據(jù)，任意節(jié)點(diǎn)掛掉，任務(wù)就失敗Graph：用圖來(lái)做抽象，類似深度學(xué)習(xí)無(wú)法高效求解，只能同步，不 支持異步Spark：通用框架，高維度 + 稀疏數(shù)據(jù)支持不夠綜合考慮Fault Tolerance、Straggler等因素，性價(jià)比高的選擇 Parameter Server大規(guī)模機(jī)器學(xué)習(xí)框架Parameter Server（參數(shù)服務(wù)器）機(jī)器學(xué)習(xí)的核心競(jìng)爭(zhēng)力和技術(shù)壁壘之一使用大數(shù)據(jù)（1T1P），快速訓(xùn)練，迭代優(yōu)化需要考慮failover、通信/計(jì)算效率、收斂速度等多個(gè)特性原有的MPI系

4、統(tǒng)(存在穩(wěn)定性、成功率等問(wèn)題)當(dāng)超過(guò)1000 Worker instances，成功率 千億級(jí)別樣本）、聚類算法等通用SDK，降低門檻，便于開發(fā)各類算法主要內(nèi)容1設(shè)計(jì)理念2應(yīng)用場(chǎng)景3展望未來(lái)典型應(yīng)用支付寶錢包刮刮卡螞蟻會(huì)員在：支付寶客戶端內(nèi)轉(zhuǎn)賬到卡、繳費(fèi)、余額寶轉(zhuǎn)入、信 用卡還款、手機(jī)充值以及外部商家支付寶付款等場(chǎng)景下，使用支 付寶支付，都能獲得一次刮獎(jiǎng)機(jī)會(huì)(每天三次封頂)通過(guò) 協(xié)同過(guò)濾 + 監(jiān)督學(xué)習(xí) + 特征迭代優(yōu)化 滿足用戶個(gè)性化需 求，提升用戶體驗(yàn)手機(jī)充值更多應(yīng)用支付寶錢包(Cont.)典型應(yīng)用阿里媽媽直通車搜索廣告計(jì)算廣告學(xué)核心問(wèn)題：給定的環(huán)境下，用戶與廣告的最佳匹配方法: 依賴機(jī)器學(xué)

5、習(xí)和歷史數(shù)據(jù)，做精準(zhǔn)CTR預(yù)估通過(guò)加大特征+樣本規(guī)模、算法+系統(tǒng)優(yōu)化、特征優(yōu)化等， 基于 大規(guī)模機(jī)器學(xué)習(xí)平臺(tái)，提升CTR典型應(yīng)用阿里媽媽直通車搜索廣告（Cont.）典型應(yīng)用2015年雙11在雙11主會(huì)場(chǎng)、雙11人群會(huì) 場(chǎng)、雙11行業(yè)會(huì)場(chǎng)等場(chǎng)景，使用在線學(xué)習(xí)，與業(yè)務(wù)方合力，UV點(diǎn)擊率大幅提升主要內(nèi)容1設(shè)計(jì)理念2應(yīng)用場(chǎng)景3展望未來(lái)未來(lái)展望不論是人工智能還是其他前沿技術(shù)，都離不開高質(zhì)量的數(shù)據(jù)、強(qiáng)大的 計(jì)算平臺(tái)和高效的算法平臺(tái)，需要三者協(xié)同提升支持更多通用模式：Graph？正確率跟效率的折衷：采樣？異步？簡(jiǎn)化算法？更加通用化的DataFlow，支持多種軟硬件平臺(tái)，降低大規(guī)模機(jī)器學(xué) 習(xí)的門檻：Tenso

6、rflow？參考文獻(xiàn)魯肅：人工智能驅(qū)動(dòng)的金融生活 at Strata + Hadoop 2016Sibyl: A System for Large Scale Machine Learning at Google/learn/data-never-sleeps-2icml14_sysml ：emerging systems for large-scale machine learningJeff Dean, et. al, “Large Scale Distributed Neural Networks,” (DistBelief), NIPS2012 (Downpouring ASGD an

7、d SoundBlaster LBFGS, model parallelism)Alex Smola and Shravan Narayanamurthy, “An Architecture for Parallel Topic Models,” VLDB2010 (Synchronous Worker-Server structure, no Coordinator)Mu Li, ODSI2014 and NIPS2014 Workshop papers (Sparse LR model, block based proximal, bounded delay asynchronous communication, KKT filter/significantly modified fi