智能彈性在虎牙降本增效上的探索與實踐

在虎牙降本增效上的探索與實踐-基于AI預測的日常彈性-基于容量模型的賽事彈性區(qū)域為算力冗余利用率低利用率低周期偏移適應差周期偏移適應差配置繁瑣健壯性差健壯性差配置復雜?標準的HPA是基于指標閾值進行伸縮的，常見的指標主要是CPU、內存。?但是基于指標的伸縮存在一定的時延，這個時延主要包含：采集時延+上報時延+伸縮時延。?當負載的峰值毛刺非常尖銳時，可能會由于HPA的時延造成副本數(shù)目無法及時變化，短時間內應用的整體負載飆高，響應時間變慢。max(預測指標，當前指標)擴容閾值？-擴容max(預測指標，當前指標)縮容閾值？-縮容?通過訓練和預測生成“AIHPA定時伸縮配置”預測算法：LightGBM支持分位數(shù)回歸不用處理缺失方便利用特征工程做一些處理成本：每個分組“取數(shù)據(jù)+訓練+預測“15s完成典型服務預測準確率：90+%我理解AI-HPA相對于HPA解決了彈性擴容滯后的問題，是一種成本換質量的方法，如何能利用這個節(jié)省成本呢？預測效果圖開啟彈性伸縮節(jié)省成本28%減少頻繁擴縮容避免副本數(shù)震蕩提前擴容對周期性流量突增，在突增之前提前擴容提前擴容對周期性流量突增，在突增之前提前擴容預測值和真實值相互兜底業(yè)務容量模型保障服務在賽事期間的質量穩(wěn)定賽事-游戲直播界的“雙十一”全球總決賽如何用最低的算力成本保障賽事期間質量的穩(wěn)定？PCU與使用核數(shù)的關系?很多核心服務的峰值核數(shù)和峰值PCU的線性相關性很強?應用發(fā)版等可能會導致資源使用發(fā)生變化（如右圖三）這意味著我們不能直接取長時間每天一個點的數(shù)據(jù)來回歸。一些應用一些應用每天的PCU峰值和使用核數(shù)峰值的散點圖應用在特定的PCU下需要多少資源？對總PCU做線性回歸，但只考慮賽事那一段使用核數(shù)使用核數(shù)?可解釋性：k意味著每觀眾PCU需要多使用多少核?是否賽事PCU相關賽事PCU相關應用：相關系數(shù)>0.9對與賽事PCU無關的的服務，k為0,b為高峰期使用核數(shù)每分鐘粒度的PCU和使用核數(shù)散點圖CPUPCU?更新周期：一周一次?準確率整體準確率為89.35%資源使用top100的應用準確率：90.43%基于容量模型的賽事彈性核心實踐3-基于容量模型的賽事彈性將容量模型植入AI-HPA,實現(xiàn)根據(jù)PCU擴容將預估PCU和實時PCU輸入容量模型，得到預測使用核數(shù)，進而得到預測CPU使用率,k8s比較預測CPU使用率和擴縮容閾值，決定是否要擴縮容?日常小賽事由實時PCU進行擴容（PCU>？賽事AI-HPA模式自動生效）?大賽事配置預估PCU，提前擴容?ax(周期預測，賽事預測，當前指標)?ax(周期預測，賽事預測，當前指標) 核心實踐3-基于容量模型的賽事彈性配置預估的PCU核心實踐3-基于容量模型的賽事彈性配置預估的PCU核心實踐3-基于容量模型的賽事彈性應對cpu的賽事突增&周期性突增的提前擴容效果應對大賽事時的提前預擴容√應對cpu周期性突增的提前擴容√應對普通賽事時的自動提前擴容×核心實踐3-基于容量模型的賽事彈性應對cpu的賽事突增&周期性突增的提前擴容效果應對大賽事時的提前預擴容×應對cpu周期性突增的提前擴容×應對普通賽事時的自動提前擴容√核心實踐3-基于容量模型的賽事彈性通過精準預估賽事高PCU時所需資源，可以看資源是否充足，且提前和云廠商報備核心實踐3-基于容量模型的賽事彈性核心實踐3-基于容量模型的賽事彈性核心實踐3-基于容量模型的賽事彈性?可視化調整模型?確保整體服務容量模型?反例：CPU副本數(shù)CPU副本數(shù)or（容量模型不準）導致擴容滯后成果展·示3-基于容量模型的賽事彈性紅色豎線處上線了賽事模式，整體的黃金指標質量開始變好可用率：晚高峰時所有黃金指標成功率的最小值的平均（分鐘粒度）黃金指標質量可用率賽事日期成果展·示3-基于容量模型的賽事彈性1.改變了賽事時中心機房部署架構增加SET模式->固定SET+AI-HPA賽事模式彈性成本收益：節(jié)省SET內非彈性應用的算力2.改變了日常時的應用架構日常SET數(shù)量縮小一倍邊緣算力智能彈性核心實踐4-邊緣算力智能彈性?邊緣算力特點：機器按天/月收費or按小時計費但手續(xù)費很高?虎牙部署在邊緣機房的業(yè)務：信令，音視頻相關服務（轉碼，P2P）等?信令，音視頻P2P是高觀眾PCU相關的業(yè)務，轉碼服務是高主播PCU業(yè)務?邊緣算力保持在一個比較高的水平，利用率低，浪費資源?面臨高PCU時資源預估不準核心實踐4-邊緣算力智能彈性彈性思想：?實時監(jiān)控