多云統(tǒng)一數(shù)據(jù)加速-Alluxio在小紅書(shū)的實(shí)踐

Alluxio在小紅書(shū)的實(shí)踐張陽(yáng)小紅書(shū)數(shù)據(jù)引擎研發(fā)工程師目錄●多云場(chǎng)景面臨的挑戰(zhàn)●Alluxio在小紅書(shū)多云場(chǎng)景實(shí)踐案例●多云統(tǒng)一數(shù)據(jù)加速架構(gòu)介紹●未來(lái)規(guī)劃01多云場(chǎng)景面臨的挑戰(zhàn)特點(diǎn)搜廣推社區(qū)電商直播訓(xùn)練云廠商1社區(qū)電商直播 云廠商1云廠商1搜廣推·TB級(jí)索引文件分發(fā)慢，業(yè)務(wù)穩(wěn)定性差，磁盤(pán)存儲(chǔ)成本高02多云統(tǒng)一數(shù)據(jù)加速架構(gòu)社區(qū)搜索推薦廣告直播電商選型目標(biāo) 控制和節(jié)省華為云阿里云華為云阿里云·Alluxio集群下載下載Alluxio集群下載 小紅書(shū)小紅書(shū)AI/MLAI/ML框架分布式緩存全局?jǐn)?shù)據(jù)訪問(wèn)分布式緩存全局?jǐn)?shù)據(jù)訪問(wèn)數(shù)據(jù)管理企業(yè)安全與合規(guī)性能和可擴(kuò)展性DevOps能力通過(guò)專(zhuān)線(xiàn)傳輸一次，后續(xù)企業(yè)安全與合規(guī)性能和可擴(kuò)展性DevOps能力云多協(xié)議兼容下下03小紅書(shū)多云場(chǎng)景實(shí)踐案例 3~4小時(shí)，發(fā)布完4個(gè)機(jī)房需1天時(shí)間更新索引索引存儲(chǔ) 原因 本地磁盤(pán)索引服務(wù)讀取索引存儲(chǔ)圖示圖示--→指令--→指令搜推平臺(tái)消息隊(duì)列訂閱搜推平臺(tái)消息隊(duì)列訂閱索引存儲(chǔ)智能緩存管理·智能緩存管理服務(wù)索引存儲(chǔ)智能緩存管理探測(cè)探測(cè)探測(cè)Alluxio集群探針?lè)?wù)Alluxio集群探針?lè)?wù)讀取索引讀取索引索引拉取速度10倍+提升讀取索引讀取索引索引服務(wù)索引服務(wù)索引下發(fā)(含業(yè)務(wù)邏輯)速度3倍提升索引服務(wù)索引服務(wù)·需要根據(jù)模型大小選擇磁盤(pán)規(guī)格，且存在磁盤(pán)IO瓶頸·存在安全問(wèn)題原因 ·超時(shí)問(wèn)題，假設(shè)100Gbps專(zhuān)線(xiàn)帶寬，200GB的模型，20個(gè)Pod同時(shí)冷啟動(dòng)，至少需要320s。而專(zhuān)線(xiàn)資源昂貴，靠擴(kuò)專(zhuān)線(xiàn)提升下載性能空間不大·機(jī)型異構(gòu)問(wèn)題，部分小型卡沒(méi)有大容量本地盤(pán)，無(wú)法下載到磁盤(pán)。特殊的大的模型，需要專(zhuān)門(mén)搞label隔離都可以看到以及拷貝模型AI平臺(tái)模型存儲(chǔ)專(zhuān)線(xiàn)傳輸專(zhuān)線(xiàn)傳輸模型訓(xùn)練推理解法·GPU集群混部，充分利用業(yè)務(wù)集群資源>跨專(zhuān)線(xiàn)加載模型 ·模型下載速度提升：20min->1min內(nèi)·解決服務(wù)發(fā)布Pod啟動(dòng)超時(shí)問(wèn)題·異構(gòu)機(jī)型、集群分配率問(wèn)題模型發(fā)布模型發(fā)布服務(wù)發(fā)布智能緩存服務(wù)是否可發(fā)布業(yè)務(wù)Pod-n模型下載GPU機(jī)器-1業(yè)務(wù)Pod-1模型下載·業(yè)務(wù)平臺(tái)聯(lián)動(dòng)，保障10