多云統(tǒng)一數(shù)據(jù)加速-Alluxio在小紅書的實(shí)踐

Alluxio在小紅書的實(shí)踐張陽小紅書數(shù)據(jù)引擎研發(fā)工程師目錄●多云場(chǎng)景面臨的挑戰(zhàn)●Alluxio在小紅書多云場(chǎng)景實(shí)踐案例●多云統(tǒng)一數(shù)據(jù)加速架構(gòu)介紹●未來規(guī)劃01多云場(chǎng)景面臨的挑戰(zhàn)特點(diǎn)搜廣推社區(qū)電商直播訓(xùn)練云廠商1社區(qū)電商直播 云廠商1云廠商1搜廣推·TB級(jí)索引文件分發(fā)慢，業(yè)務(wù)穩(wěn)定性差，磁盤存儲(chǔ)成本高02多云統(tǒng)一數(shù)據(jù)加速架構(gòu)社區(qū)搜索推薦廣告直播電商選型目標(biāo) 控制和節(jié)省華為云阿里云華為云阿里云·Alluxio集群下載下載Alluxio集群下載 小紅書小紅書AI/MLAI/ML框架分布式緩存全局?jǐn)?shù)據(jù)訪問分布式緩存全局?jǐn)?shù)據(jù)訪問數(shù)據(jù)管理企業(yè)安全與合規(guī)性能和可擴(kuò)展性DevOps能力通過專線傳輸一次，后續(xù)企業(yè)安全與合規(guī)性能和可擴(kuò)展性DevOps能力云多協(xié)議兼容下下03小紅書多云場(chǎng)景實(shí)踐案例 3~4小時(shí)，發(fā)布完4個(gè)機(jī)房需1天時(shí)間更新索引索引存儲(chǔ) 原因 本地磁盤索引服務(wù)讀取索引存儲(chǔ)圖示圖示--→指令--→指令搜推平臺(tái)消息隊(duì)列訂閱搜推平臺(tái)消息隊(duì)列訂閱索引存儲(chǔ)智能緩存管理·智能緩存管理服務(wù)索引存儲(chǔ)智能緩存管理探測(cè)探測(cè)探測(cè)Alluxio集群探針服務(wù)Alluxio集群探針服務(wù)讀取索引讀取索引索引拉取速度10倍+提升讀取索引讀取索引索引服務(wù)索引服務(wù)索引下發(fā)(含業(yè)務(wù)邏輯)速度3倍提升索引服務(wù)索引服務(wù)·需要根據(jù)模型大小選擇磁盤規(guī)格，且存在磁盤IO瓶頸·存在安全問題原因 ·超時(shí)問題，假設(shè)100Gbps專線帶寬，200GB的模型，20個(gè)Pod同時(shí)冷啟動(dòng)，至少需要320s。而專線資源昂貴，靠擴(kuò)專線提升下載性能空間不大·機(jī)型異構(gòu)問題，部分小型卡沒有大容量本地盤，無法下載到磁盤。特殊的大的模型，需要專門搞label隔離都可以看到以及拷貝模型AI平臺(tái)模型存儲(chǔ)專線傳輸專線傳輸模型訓(xùn)練推理解法·GPU集群混部，充分利用業(yè)務(wù)集群資源>跨專線加載模型 ·模型下載速度提升：20min->1min內(nèi)·解決服務(wù)發(fā)布Pod啟動(dòng)超時(shí)問題·異構(gòu)機(jī)型、集群分配率問題模型發(fā)布模型發(fā)布服務(wù)發(fā)布智能緩存服務(wù)是否可發(fā)布業(yè)務(wù)Pod-n模型下載GPU機(jī)器-1業(yè)務(wù)Pod-1模型下載·業(yè)務(wù)平臺(tái)聯(lián)動(dòng)，保障10