識(shí)貨云原生降本提效實(shí)踐

隹成木識(shí)貨質(zhì)量運(yùn)維總監(jiān)隹成木識(shí)貨質(zhì)量運(yùn)維總監(jiān)/IPSARIK云棲大會(huì)^Alibaba/IPSARIK^Alibaba/IPSARIK云棲大會(huì)^Alibaba/IPSARIK^Alibaba/IPSARIK云棲大會(huì)背景介紹02云原生降本提效■03總結(jié)和后續(xù)演進(jìn)Contents目錄01^Alibaba/IPSARIK^Alibaba/IPSARIK云棲大會(huì)識(shí)貨App整合全行業(yè)供給的優(yōu)勢，通過專業(yè)導(dǎo)購營銷服務(wù)，致力于為廣大年輕用戶提供專業(yè)的網(wǎng)購決策指導(dǎo)，幫助用戶便捷篩選全網(wǎng)正品低價(jià)商品。并帶來運(yùn)動(dòng)、潮流、生活、時(shí)尚等網(wǎng)購前沿資訊，在年輕用戶圈層中建立起強(qiáng)信賴與強(qiáng)引導(dǎo)，幫助品牌與商家挖掘電商平臺(tái)之外的用戶流量。-品質(zhì)與性價(jià)比消費(fèi)新體驗(yàn)正品識(shí)貨App整合全行業(yè)供給的優(yōu)勢，通過專業(yè)導(dǎo)購營銷服務(wù)，致力于為廣大年輕用戶提供專業(yè)的網(wǎng)購決策指導(dǎo)，幫助用戶便捷篩選全網(wǎng)正品低價(jià)商品。并帶來運(yùn)動(dòng)、潮流、生活、時(shí)尚等網(wǎng)購前沿資訊，在年輕用戶圈層中建立起強(qiáng)信賴與強(qiáng)引導(dǎo)，幫助品牌與商家挖掘電商平臺(tái)之外的用戶流量。-品質(zhì)與性價(jià)比消費(fèi)新體驗(yàn)正品?商品導(dǎo)購平臺(tái)識(shí)貨App年輕人的生活社區(qū)與消費(fèi)決策平臺(tái)vJ-新生代消費(fèi)群集散地?年輕用戶的消費(fèi)風(fēng)向標(biāo)和發(fā)聲陣地?品牌與用戶的溝通中樞?提供專業(yè)營銷服務(wù)激發(fā)年輕消費(fèi)力初心不變前100TOP1國內(nèi)App應(yīng)用排名國內(nèi)電商導(dǎo)購細(xì)分領(lǐng)域I服務(wù)上線雙11DAU破百萬商品庫服務(wù)上線識(shí)貨A海淘頻道上線拍照搜鞋功能上知幫助用戶簡化消費(fèi)流程新類目GMV占比超30%牽手鑒定國家隊(duì)，與中檢集團(tuán)奢侈品鑒定中心達(dá)成戰(zhàn)略合作持續(xù)拓展寵物、嬰、營養(yǎng)保健、玩等類目社區(qū)升級(jí)上線，為年輕人提供更專業(yè)的內(nèi)容服務(wù)與更具歸屬感的交流陣地上線AR虛擬試穿功能，科技感加速用戶決策?淘寶聯(lián)盟優(yōu)秀合匠心獨(dú)運(yùn)為滿足年輕用戶需求，拓展數(shù)碼、美妝、箱包、生活服務(wù)等類目作伙伴創(chuàng)新力獎(jiǎng)聯(lián)合上萬商家簽署「安心購」協(xié)議，嚴(yán)保正品?淘寶聯(lián)盟優(yōu)秀合作伙伴-戰(zhàn)功赫赫影響力獎(jiǎng)體育社區(qū)用戶對正品裝備討優(yōu)惠信丿?第九屆娛樂營銷論壇暨5S金獎(jiǎng)?lì)C獎(jiǎng)盛典活動(dòng)識(shí)貨十與中國年輕人共同成長20212020201920142012:網(wǎng)上線論度高，消費(fèi)需求旺盛 球鞋團(tuán)購頻道上線22018MAU破千萬F2!02；2j11續(xù)（數(shù)據(jù)來源：識(shí)貨市場部）業(yè)務(wù)特點(diǎn)電商業(yè)務(wù)，在線業(yè)務(wù)多為無狀態(tài)服務(wù)。，■■■流量呈現(xiàn)波峰波谷的特點(diǎn)，周期性變化。大促場景，每年有多次大促活動(dòng)節(jié)，流量/訂單為平時(shí)的10+倍。巔峰盛會(huì)不止是5折跨店鋪満399減100 満618減160満1599減400DoubleelevenshoppingCarnivalreferstotheonlinepromotionda.onwhichoriginatesfromtheonlinepromotionactivitiesbyTaobaoMall(tmall)onNovember11,2009.^2^2AlibabaIXIPSARIK云棲大會(huì)我們的思考和演進(jìn)XIPSARIK我們的思考和演進(jìn)XIPSARIK云棲大會(huì)混部&超賣彈性&治理智能&預(yù)測^Alibaba/IPSARIK^Alibaba/IPSARIK云棲大會(huì)^Alibaba/IPSARIK^Alibaba/IPSARIK云棲大會(huì)什么是混部混部的目標(biāo)混部和超賣什么是混部混部的目標(biāo)混部和超賣節(jié)點(diǎn)維度：多個(gè)類型（在線，離線）的容器部署在一個(gè)節(jié)點(diǎn)上運(yùn)行。集群維度：多種應(yīng)用在一個(gè)集群內(nèi)自動(dòng)部署，通過預(yù)測分析應(yīng)用特性，業(yè)務(wù)間錯(cuò)峰填谷。對數(shù)據(jù)中心資源利用效率的不懈追求。埃森哲報(bào)告顯示2021年公有云數(shù)據(jù)中心的機(jī)器利用率平均不到10%，意味著企業(yè)的資源成本極高。另一方面大數(shù)據(jù)技術(shù)的發(fā)展迅速，計(jì)算作業(yè)對資源的需求越來越大。集群管理作業(yè)類型批處理任務(wù)提升集群資源利用率，降低IT成本。簡化對集群資源的管理，可以實(shí)現(xiàn)對各類應(yīng)用的資源容量，分配量，使用量的清晰洞察。在線服務(wù)類型應(yīng)用容器混合部署時(shí)的互相干擾(noisyneighbor)單機(jī)的資源競應(yīng)用對資源的敏感程度不同，在資源調(diào)度和單機(jī)服務(wù)質(zhì)量上都需要精細(xì)化的管理策略。資源競爭引發(fā)應(yīng)用響應(yīng)時(shí)間出現(xiàn)抖動(dòng)毛刺的現(xiàn)象，產(chǎn)生長尾問題(taillatency)量化超賣資源：分級(jí)可靠的策略，滿足差異化的資源質(zhì)量需求。及時(shí)識(shí)別干擾源，避免影響LS應(yīng)用。ACKslo-manager提供了以下機(jī)制面向混部場景的資源優(yōu)先級(jí)和服務(wù)質(zhì)量模型穩(wěn)定可靠的資源超賣機(jī)制細(xì)粒度的容器資源編排和隔離機(jī)制針對多種類型工作負(fù)載的調(diào)度能力增強(qiáng)復(fù)雜類型工作負(fù)載的快速接入能力問題：公司成本壓力較大.Pod1reclaimed；usage用于超賣的

資源預(yù)留的buffer實(shí)際的資源/

使用量/

/Pod1reclaimedPod2reclaimed云原生降本提效-超賣 機(jī)器整體CPU使用率偏低Pod2reclaimedreclaimed/zbufferedusage已分配未使用資源，經(jīng)過

資源畫像之后，用于運(yùn)行

低優(yōu)的Podusage中心管控大數(shù)據(jù)/AI以外的服務(wù)均部署在ACK容器作業(yè)有部分后臺(tái)服務(wù)和一次性任務(wù)，延遲容忍度容忍度較高混部解決方案資源超賣-將申請而未使用的資源利用起來離線作業(yè)優(yōu)先調(diào)度到超賣節(jié)點(diǎn)在線作業(yè)只使用非超賣資源資源隔離：確保cpu和內(nèi)存的隔離，優(yōu)先保證在線作業(yè)

為應(yīng)用提供一鍵接入的能力，自動(dòng)注入相關(guān)優(yōu)先級(jí)、QoS配置部署情況總CPU核數(shù)的1/2部署為可超賣，實(shí)際超賣1/3總內(nèi)存的1/2資源部署為可超賣，實(shí)際超賣1/5混部實(shí)踐中,將大量的后臺(tái)服務(wù)和任務(wù)類的服務(wù)應(yīng)用到混部中，對CPU和MEM進(jìn)行超賣，目前署571核的業(yè)務(wù)pod,占整個(gè)集混部落地效群的1/4,整體集群的資源利用率由原來7%提升到20%節(jié)點(diǎn)內(nèi)存比例節(jié)點(diǎn)CPU比例27.5%19.8%48.6%77.2%74.5%節(jié)點(diǎn)內(nèi)存信息節(jié)點(diǎn)CPU核數(shù) （數(shù)據(jù)來自識(shí)貨業(yè)務(wù)場景實(shí)踐）（來自識(shí)貨業(yè)務(wù)場景實(shí)踐）^Alibaba/IPSARIK^Alibaba/IPSARIK云棲大會(huì)^Alibaba/IPSARIK^Alibaba/IPSARIK云棲大會(huì)基礎(chǔ)設(shè)施彈性ECSECSPODPODPODPODPOD平時(shí)業(yè)務(wù)使用通過指定調(diào)度策略定ECS承載。彈性業(yè)務(wù)使用ECI基礎(chǔ)設(shè)施彈性ECSECSPODPODPODPODPOD平時(shí)業(yè)務(wù)使用通過指定調(diào)度策略定ECS承載。彈性業(yè)務(wù)使用ECI承載，無需執(zhí)行彈性部分容量規(guī)劃自動(dòng)執(zhí)行，無需介入復(fù)雜調(diào)度邏輯。ECI ECI容器服務(wù)Kubernetes集群(ACK)ECI當(dāng)前應(yīng)用冷啟動(dòng)問題當(dāng)前應(yīng)用冷啟動(dòng)問題▲業(yè)務(wù)智能預(yù)測彈性4 通用彈性方案面臨的問題資源調(diào)度拉鏡像可用性差應(yīng)用實(shí)例數(shù)評估難,少了不夠,多了浪費(fèi)容器創(chuàng)建彈性現(xiàn)狀容器啟動(dòng)應(yīng)用啟動(dòng)穩(wěn)定性風(fēng)險(xiǎn),HPA彈性滯后,CronHPA配置固化易用性差,配置繁瑣,通用性差客戶意愿普遍彈性滯后目前手段及副作用利用率低成本—+健壯性差，配置復(fù)雜風(fēng)險(xiǎn)—+周期偏移適應(yīng)性差，配置繁瑣復(fù)雜資源提前預(yù)熱,實(shí)時(shí)調(diào)整容量資源提前預(yù)熱,實(shí)時(shí)調(diào)整容量按需彈性解決客戶彈性滯后冷啟動(dòng)的問題，通過彈性預(yù)測，提前預(yù)熱資源，做到按需彈性。智能彈性智能彈性無需人工干預(yù),自動(dòng)彈性規(guī)劃智能彈性無需人工干預(yù),自動(dòng)彈性規(guī)劃根據(jù)業(yè)務(wù)趨勢，自動(dòng)進(jìn)行彈性策略規(guī)劃，避免人工規(guī)劃導(dǎo)致預(yù)估不準(zhǔn)（過高導(dǎo)致資源浪費(fèi)，過低導(dǎo)致業(yè)務(wù)不穩(wěn)定）彈性降級(jí)保護(hù),快速兜底容錯(cuò)Metrics收集Pod生命周期周期檢測資源需求預(yù)測配置保護(hù)安全降級(jí)實(shí)例數(shù)實(shí)時(shí)生效彈性預(yù)測工作原理HPA彈性Pod數(shù)預(yù)測提前對POD擴(kuò)容的因素目標(biāo)CPU使用率(RT/QPS)根據(jù)POD生命周期計(jì)算POD冷啟動(dòng)時(shí)間^Alibaba/IPSARIK^Alibaba/IPSARIK云棲大會(huì)（數(shù)據(jù)來自識(shí)貨業(yè)務(wù)場景實(shí)踐）（數(shù)據(jù)來自識(shí)貨業(yè)務(wù)場景實(shí)踐）^Alibaba/IPSARIK^Alibaba/IPSARIK云棲大會(huì)（數(shù)據(jù)來自識(shí)貨業(yè)務(wù)場景實(shí)踐）（數(shù)據(jù)來自識(shí)貨業(yè)務(wù)場景實(shí)踐）彈性預(yù)測業(yè)務(wù)落地效果彈性預(yù)測業(yè)務(wù)落地效果三從商品庫基礎(chǔ)服務(wù)的預(yù)測pod數(shù)量的結(jié)果來看:預(yù)測的pod數(shù)量曲線和CPU趨勢保持一致,達(dá)到彈性效果3。個(gè)25個(gè)2。個(gè)15個(gè)1。個(gè)5個(gè)PredictPODObserver6am10am12pm2pm8pmlupm口實(shí)際POD數(shù)：-口預(yù)測住動(dòng)）POD數(shù)：-Time：-12am10/184am10/17/22口預(yù)測（主動(dòng)+被動(dòng)）POD數(shù)：-總結(jié)和后續(xù)演進(jìn)方向CPU使用率從7%上升到35%降本提效收益彈性計(jì)算成本節(jié)省約40%^2^2Alibaba /IPSARIK云棲大會(huì)（數(shù)據(jù)來自識(shí)貨業(yè)務(wù)場景實(shí)踐）（數(shù)據(jù)來自識(shí)貨業(yè)務(wù)場景實(shí)踐）^2^2Alibaba /IPSARIK云棲大會(huì)（數(shù)據(jù)來自識(shí)貨業(yè)務(wù)場景實(shí)踐）（數(shù)據(jù)來自識(shí)貨業(yè)務(wù)場景實(shí)踐）跆sh.devicemodelapl舀sh.adapiBsh.cIFentapIsh.behavloraplsh.goodsprlceapl詰sh.kbaplsh.merchantsuppller平均平均平均sh.outboundsh.outboundorderapl詰 sh.messagesh.venueapl舀sh.deviceapiBsh.questlonandansweraplsh.couponsapi開蛤日期 至 結(jié)束日期<-返回sh.goodsimageapi?業(yè)務(wù)高峰期：。依賴分析 鏈路拓?fù)?SQL指墳容器灰度發(fā)布指南使用指南數(shù)搪庫規(guī)范容器謂試文檔應(yīng)用故障排查指南歸檔數(shù)據(jù)查詢sh.suppllertagap］監(jiān)控工具平均|gsh.appllcationapl就戀：邛次核心服務(wù)平均平均平均平均平均平均|gsh.specialapl詰sh.appaplBsh.user船sh.goodsbackendaplsh.lifeservlceapl詰sh.suppllerllstaplsh.goodslmageapligsh.supplierapl】就花：平均平均平均平均平均平均平均平均［上游［上詭］詔sh.elanceapl醫(yī)sh.channeligsh.kunlunapl船sh.goodslnneraplsh.goodsapl狀毎：健康狀蠢濯康平均平均平均sh.collectcenter壯 sh.couponsadmlnsh.outboundadminsh.authcheckadmlris壯sh.suppllerextendadmlnB sh.supplleradmln*sh.merchantopen詔sh.devlceadmln［上游］狀態(tài)：健康［上游狀態(tài):健康平均平均平均平均平均平均［上游sh.behavloradmlnsh.hlstorysh.authcheck*sh.suppllerrelatlon壯sh.merchantadminsh.merchant狀態(tài):健康［上游］e狀悉:健康平均平均平均［下麝?duì)顟B(tài);健康［下游】狀戀;健康京sh.goodslmagejobsh.su叩lierextendjobB sh.outboundjob船sh.rulecenterjobJ,sh.suppllerllstsearchjobigsh.merchantjobsh.kunlunjobtask船sh.goodsprlcejob平均平均平均【詹容器■告誓中心狀戀：。［上游］狀蒞:健康上游狀蒞：健康［上海］狀態(tài):健康［上游］而狀態(tài):健康日志服務(wù)QZu3變更操作彳發(fā)布審批変更中間件系統(tǒng)程滴滴^Alibaba/IPSARIK^Alibaba/IPSARIK云棲大會(huì)（數(shù)據(jù)來自識(shí)貨業(yè)務(wù)場景實(shí)踐）（數(shù)據(jù)來自識(shí)貨業(yè)務(wù)場景實(shí)踐）^Alibaba/IPSARIK^Alibaba/IPSARIK云棲大會(huì)（