HULK集群調(diào)度系統(tǒng)技術(shù)演進

1、技術(shù)創(chuàng)新，變革未來HULK集群調(diào)度系統(tǒng)技術(shù)演進目錄HULK架構(gòu)演進調(diào)度系統(tǒng)痛點、解法彈性伸縮痛點、解法經(jīng)驗總結(jié)緣起：容器實踐：統(tǒng)一運行環(huán)境，提升交付效率。彈性調(diào)度：提升業(yè)務(wù)的資源利用率。命名由來：漫威里面的HULK在發(fā)怒的時候會 變成綠巨人，這點和我們?nèi)萜鞯摹皬椥陨炜s” 比較Match。HULK項目HULK的演進HULK 1.0基于OpenStack演進打通CMDB、服務(wù)治理、 發(fā)布平臺、監(jiān)控平臺等， 驗證容器的可行性HULK 2.0基于Kubernets演進打磨彈性策略、調(diào)度系統(tǒng) 建設(shè)容器運營平臺基礎(chǔ)系統(tǒng)軟件加強自研內(nèi)核，提升安全隔離線上9000+應(yīng)用，70000+容器HULK2.0架構(gòu)圖服

2、務(wù)治理發(fā)布平臺測試部署OPS容器彈性服務(wù)畫像鏡像管理DockerHULK agent容器運行時監(jiān) 控 管 理 平 臺安 全容器編排目錄HULK架構(gòu)演進調(diào)度系統(tǒng)痛點、解法彈性伸縮痛點、解法經(jīng)驗總結(jié)調(diào)度系統(tǒng)-業(yè)務(wù)擴縮容異常痛點：運維成本高解法：全鏈路監(jiān)控建設(shè)可視化平臺Hulk-Portal擴縮容組件策略配置中心K8s 組件Container-init進程Ip分配服務(wù)12345日 志 中 心日 志 中 心ESPortal管 理 平 臺成 效 ： 1.問題排查提效：多人聯(lián)合花大 半個小時到單人分鐘級搞定2.系統(tǒng)瓶頸可視化調(diào)度系統(tǒng)-業(yè)務(wù)定制化需求痛點：更改核心鏈路代碼，靈活性 不夠解法：建設(shè)一體化配置平

3、臺容器系統(tǒng)參數(shù)容器環(huán)境變量基本策略擴展策略（如指定宿主機、N+1容災(zāi)需求）分組策略實例定制化調(diào)度規(guī)則定制化基本策略擴展策略分組策略Manifest組裝容器運營平臺成效：邁向自動化配置，解放運維 人員。調(diào)度系統(tǒng)-調(diào)度器策略Predicates（預(yù)選）node1node2node3node4node5nodeNscore1score2score5scoreNPodFitsResourcesPodToleratesNodeTaintsPodFitsHostPortsHostName。Priorities（打分）node1node2node5nodeNnode1node2node5nodeNLeast

4、RequestedBalancedResourcesAllocationSelectorSpreadImageLocality。調(diào)度系統(tǒng)-調(diào)度器性能問題痛點：3000臺集群規(guī)模，一 次Pod調(diào)度耗時5s左右（k8s1.6版本）Cond1Cond2Cond3Cond4Cond5Cond6Cond1Cond2Cond3Cond4Cond5Cond6結(jié)束預(yù)選失敗中斷機制成效：生產(chǎn)環(huán)境驗證，提升 性能40%。（PR 56926，社 區(qū)1.10版本作為默認調(diào)度策 略）解法：預(yù)選失敗中斷機制調(diào)度系統(tǒng)-調(diào)度器性能問題node1node2node3node4node1000node1node3node789n

5、ode5。node100。預(yù)選出N個Node痛點：BestFit代價高解法：局部最優(yōu)成效：大大減少調(diào)度時間， 同時對調(diào)度結(jié)果未產(chǎn)生較大 影響。（和社區(qū)合作共同完 成，PR 66733/67555，社區(qū)1.12版本作為默認調(diào)度策 略）調(diào)度系統(tǒng)- kubelet的自決策問題痛點：容器重啟/遷移問題：容器和系統(tǒng)盤的信息丟 失。容器的IP也變更了。驅(qū)逐策略問題：Kubelet會自動殺死一些違 例容器，但是有可能這個業(yè) 務(wù)是非常核心的業(yè)務(wù)。解法：容器重啟/遷移新增Reuse策略，保留 原生重啟策略（Rebuild）。自研CNI插件，基于Pod標(biāo)識申請和復(fù)用IP。限制原生的驅(qū)逐策略調(diào)度系統(tǒng)-調(diào)度決策難題痛

6、點：資源最大化和SLA保障解法：服務(wù)畫像，供能于調(diào)度前決 策、調(diào)度后決策。成效： 40+基礎(chǔ)標(biāo)簽，N+聚合標(biāo) 簽，其中不少標(biāo)簽已經(jīng)成為調(diào)度決 策的重要因素。目錄HULK架構(gòu)演進調(diào)度系統(tǒng)痛點、解法彈性伸縮痛點、解法經(jīng)驗總結(jié)彈性伸縮平臺架構(gòu)圖服務(wù)治理平臺應(yīng)用監(jiān)控平臺系統(tǒng)監(jiān)控平臺數(shù)據(jù)源層數(shù)據(jù)聚合服務(wù)服務(wù)畫像流量預(yù)測服務(wù)數(shù)據(jù)應(yīng)用層在線策略服務(wù)彈性治理服務(wù)策略層容器運營平臺（管理員側(cè)）彈性伸縮管理平臺（用戶側(cè)）發(fā)布系統(tǒng)SOA系統(tǒng)展示層彈性伸縮痛點多策略 決策不一致線上代碼多版本擴縮不冪等資源 保障問題端到端時效問題實例隔離彈性伸縮痛點-多策略決策不一致新縮5臺新縮2臺新擴10臺調(diào)度系統(tǒng)QPS策略周期策略

7、CPU策略新縮5臺新縮2臺新擴10臺策略結(jié)果聚合QPS策略周期策略CPU策略調(diào)度系統(tǒng)新擴10臺解法彈性伸縮痛點-擴縮不冪等調(diào)度系統(tǒng)彈性伸縮平臺擴容8臺返回任務(wù)ID重發(fā)擴容8臺調(diào)度系統(tǒng)彈性伸縮平臺擴到20臺返回任務(wù)ID擴到20臺解法彈性伸縮痛點-線上代碼多版本5臺版本C（最新鏡像）20臺版本A5臺版本B應(yīng)用機器彈性伸縮平臺調(diào)度系統(tǒng)彈性伸縮平臺調(diào)度系統(tǒng)解法5臺版本C20臺版本A（穩(wěn)定鏡像）5臺版本B應(yīng)用機器彈性伸縮痛點-資源保障問題新擴20臺新擴15臺新擴30臺A服務(wù)C服務(wù) 新接入B服務(wù)調(diào)度系統(tǒng)資源池 剩50臺 無法同時滿足新擴20臺A服務(wù)C服務(wù) 新接入B服務(wù)調(diào)度系統(tǒng)資源池 剩50臺無法同時滿足新擴15臺新擴30臺存量水位檢測務(wù)資源審核服審核失敗、禁止接入解法彈性伸縮痛點-端到端時效調(diào)度系統(tǒng)彈性伸縮平臺新擴10臺，分鐘級監(jiān)控時延：70S+ 調(diào)度鏈路時延：30S+調(diào)度系統(tǒng)彈性伸縮平臺新擴10臺，秒級監(jiān)控+預(yù)測擴容解法彈性伸縮痛點-問題實例隔離彈性伸縮平臺實例A應(yīng)用機器實例B實例D實例E彈性伸縮平臺實例A實例B實例C實例D實例E實例F應(yīng)用機器受保護實例解法實例C實例F目錄HULK架構(gòu)演進調(diào)度系統(tǒng)痛點、解法彈性伸