K8s超大規(guī)模技術實踐

1、 k8s 超大規(guī)模技術實踐阿里巴巴容器的發(fā)展歷程基于 k8s 云原生改造實踐k8s 規(guī)模及性能優(yōu)化實踐云原生應用管理演進路線主要內(nèi)容阿里巴巴容器的發(fā)展歷程2013初步探索使用容器的方式替換傳統(tǒng)使用 VM 部署應用的，基于 lxc 自研 了 t4 容器并構建了 AI 集團管理 系統(tǒng)2017統(tǒng)一資源池構建了 Sigma 調(diào)度系統(tǒng)，收斂了 眾多運維平臺之下的資源調(diào)度系 統(tǒng)，并構建了集團統(tǒng)一資源池， 在此基礎上發(fā)展出彈性、混部等 技術成果，大幅降低了數(shù)據(jù)中心 的資源成本2019全面擁抱云原生阿里業(yè)務全面上云，運維體系全 面擁抱云原生，基于 k8s 生態(tài)在 阿里內(nèi)部蓬勃發(fā)展。在 2019 雙11 中，k

2、8s 體系支撐了阿里史上 規(guī)模最大的集群，并提供了極速 的應用擴容體驗2015野蠻生長體驗到使用容器部署應用的優(yōu)勢 后，阿里內(nèi)部發(fā)展出眾多的運維 平臺，包括 AliSwarm，Zeus， Hippo 等，極大地降低了業(yè)務運 維的成本2018轉(zhuǎn)型 kubernetes從自研的 Sigma 調(diào)度轉(zhuǎn)型到 k8s 體系，初步嘗試面向終態(tài)的運維 體系，通過 k8s 的方式將 Sigma 調(diào)度能力提供給客戶為什么 k8s 在阿里能成功繁榮的社區(qū)和生態(tài)系統(tǒng)Available to customers on/under cloud, within/outside alibaba.申明式 APIMatching

3、 Alis design philosophy of the operation and maintenance system.模塊化、可擴展的架構設計Sufficient expansion capability to meet the needs of diverse application operations.阿里巴巴的 k8s 集群規(guī)模數(shù)十個集群數(shù)十萬的節(jié)點單集群規(guī)模 10,000 節(jié)點數(shù)萬個應用超百萬的容器Online ServiceAI JobFaaSMiddlewareResource management, Scheduling, Automated operation, e

4、tc.WorkloadsContainersCluster ManagementIDCServers Networking神龍裸金屬ECSECI基于 k8s 云原生改造實踐落地 k8s 面臨的兩大難題向全面云化演進集群規(guī)模龐大 多種工作負載業(yè)務形態(tài)多樣 運維鏈路復雜應用定義標準缺失落地 k8s 面臨的主要挑戰(zhàn)What we are moving toCloud Native:almost one hundred sitesmore than a hundred thousand applicationsnearly one million containers面向終態(tài)升級通過面向終態(tài)的應用管理

5、理 念提高應用運維的效率自愈能力升級統(tǒng)一容器與應用實例周期簡化 應用啟動流程不可變基礎設施分離基礎設施與應用容器簡化 應用運維復雜性面向終態(tài)升級過程式的運維有什么問題？例子：升級某服務的 3000 個實例容 器 平 臺運 維 平 臺容 器 平 臺運 維 平 臺Kubernetes200最大不可用數(shù)面向終態(tài)的應用管理支持終態(tài)副本數(shù)保持支持容器原地升級保持 IP、卷支持并發(fā)更新、容錯暫停支持鏡像預熱、按需下載鏡像格式面向終態(tài)的風險控制運維決策分散controllersoperatorsreschedulerkubeletAdmissionKube-apiserverControllersOpera

6、torsKubeletPouch cKounbtealienterCNICSIthrottling/circuit breakerthrottling/circuit breaker風險識別自愈能力升級傳統(tǒng)運維體系的效率問題應用啟動流程復雜決策鏈路較長狀態(tài)一致性風險容器平臺監(jiān)控VIP服務注冊配置中心運維平臺觀察者異常消費基礎設施異常來源統(tǒng)一容器與應用實例的生命周期下沉應用的冗余度信息容器即應用運維平臺監(jiān)控VIP服務注冊配置中心啟動完成應用實例的生命周期API ServerEviction ControllerKubernetes Platform沉淀公共運維能力Operator Platfor

7、mKubernetes API ServerOperator Managersidecar framework運維能力 operatorsidecar framework運維能力 operator運維平臺運維基礎 能力沉淀運維平臺運維能力 編程框架Kubernetes Platform不可變基礎設施base osdep2dep1configbinaryDockerK8s PodmainContainerlogtailsshdmonitor業(yè)務ssh日志監(jiān)控通過 Dockerfile 打包應用 鏡像，一次定義多次運行通過鏡像提供的組裝機制 打包應用鏡像，包含業(yè)務 及運維基礎設施進程更進一步組合多

8、個容器 為一個 Pod，Pod 一次 定義多次運行不可變基礎設施應用與運維基礎設施容器分離支持各自獨立升級SidecarSetOpenKruiseAdvancedStatefulSetSidecarSetBroadcastJobCloneSetUnitedDeployment (coming soon)https:/openkruise.iok8s 規(guī)模及性能優(yōu)化實踐性能優(yōu)化RT/QPS資源使用率鏈路RT/QPS服務異常隊列長度gRPC監(jiān)控長連接分布請求分布限流AuthorizationAuthenticatio n序列化壓縮版本轉(zhuǎn)換AdmissionCacheStorageFilter Ch

9、ainAPI存儲Kube-APIServerWebhookETCD數(shù)據(jù)構建壓測場景壓測環(huán)境壓測報告壓測平臺監(jiān)控&大盤APIServer & ETCD & WebhookLoad balanceETCDWebhookClientKubeletsAPIServerHttp2 - http1.1Upgrade Etcd client v3.3.15周期性重建連接slbslb直連設置maxSurge客戶端和服務端的同步機制List & Watch優(yōu)化 ETCDCachePod AV1Pod AV2Pod AV3ReflectorAPIServerWatch CacheList & WatchInfor

10、merReflectorStoreList & Watch網(wǎng)絡抖動造成informer重新List & WatchList & Watch優(yōu)化 CacheAPIServer591113Watch CacheInformerStoreKubeletsWatch (rv=3 node=x)Too old version errrv=3FIFO網(wǎng)絡抖動造成informer重新List & WatchList & Watch優(yōu)化 CacheAPIServer591113Watch CacheInformerStoreKubeletsWatch (rv=11 node=x)Too old version

11、 errrv=3Bookmarkrv=11List & Get的通訊機制Cache Read & IndexAPIServerClientList / GetETCDPage readrv=nilFilter by conditionAPIServer 緩存一致性讀索引支持動態(tài)新增Cache ReadyCache Read & IndexAPIServerClientlist/get t0ETCDrv=nil1. Get rvt0Cache2. Request NotifyIndexrvReflector3. Wait rv rvt0Add Indexs 1. nodename 2. Namespace 3. LabelsDescribe node5s0.3s穩(wěn)定性保證規(guī)?；萜髡{(diào)度穩(wěn)定資源競爭容災負載均衡CPU精細化分配 應用互斥/親和維度：應用、核心應用 拓撲：單機、AZ節(jié)點負載感知 資源利用率預測豐富的調(diào)度策略規(guī)?；萜髡{(diào)度APIServerSchedulerWebhook離線特征分析調(diào)度策略中心專家策略調(diào)度規(guī)則 CRUpdate if needcpu分配策略應用/單機打散策略應用互斥/親和策略 4. PodCPU精細化分配應用AZ/Node打散CPU敏感Pod打散節(jié)點CPU/Load感知Pod近期最大cpu利用率感知節(jié)