阿基米德集群管理與調(diào)度系統(tǒng)介紹

1、京東商城集群管理與調(diào)度系統(tǒng)-阿基米德（Archimedes）目錄阿基米德容器生態(tài)1阿基米德調(diào)度系統(tǒng)實(shí)踐2阿基米德混合部署實(shí)踐329%31%10%30%7006005004003002001000 A B C DTEXT 1 TEXT 2Morbi fermeLnorem ipsum tum justo. dolor sit.TEXT 3 TEXT 4Morbi fermeLnorem ipsum tum justo. dolor sit.培養(yǎng)習(xí)慣.用戶最小學(xué)習(xí)成本遷移到容器跑平臺(tái).Container as VM支撐京東組件化.實(shí)現(xiàn)一鍵建站 組件倉(cāng)庫(kù).集群編排重構(gòu)整個(gè)數(shù)據(jù)中心基礎(chǔ)設(shè)施與基礎(chǔ)軟件.

2、實(shí)現(xiàn)基礎(chǔ)設(shè)施能力可編程 API化. All In Container構(gòu)建容器生態(tài)京東阿基米德調(diào)度項(xiàng)目.節(jié)省數(shù)據(jù)中心數(shù)億元采購(gòu)成本.資源調(diào)度京東集群技術(shù)發(fā)展之路Container Eco SystemGitCI/CDLog MonitorOpts ToolsContainerLBNodePodPodNodePodPodNodePodPodPodPodPodPodPodPoddockerdockerdockerNodePodPodPodPoddockerNodePodPodPodPoddockerNodePodPodPodPoddockerIDC Physical infrastructureCo

3、ntainerNetContainerFSContainerDNSContainerISDeveloperOperatorMasterMasterMasterAPIScheduler Controller EtcdKubernetes無(wú)論任何組件失效 已經(jīng)在運(yùn)行的容器不受任何影響Container Eco System 架構(gòu)圖目錄阿基米德容器生態(tài)1阿基米德調(diào)度系統(tǒng)實(shí)踐2阿基米德混合部署實(shí)踐3中間件 數(shù)據(jù)庫(kù)在線應(yīng)用智能存儲(chǔ)大數(shù)據(jù)計(jì)算任務(wù)阿基米德智能調(diào)度系統(tǒng)機(jī)器學(xué)習(xí) 任務(wù)CPU超分內(nèi)存超分容器IP不變親和與 反親和性分配率性能應(yīng)用畫像資源限制彈性伸縮混合部署模擬仿真監(jiān)控?cái)?shù)據(jù)應(yīng)用數(shù)據(jù)集群/系統(tǒng)/應(yīng)用

4、/機(jī)器/容器應(yīng)用畫像/資源賬單/應(yīng)用配額評(píng)價(jià)體系利用率調(diào)度算法均衡分布數(shù)據(jù)體系調(diào)度場(chǎng)景批量調(diào)度資源鎖定阿基米德智能調(diào)度系統(tǒng)阿基米德調(diào)度器架構(gòu)充分利用申請(qǐng)與實(shí)際使用差距來(lái)提升容器的部署密度監(jiān)控?cái)?shù)據(jù)統(tǒng)計(jì)&預(yù)測(cè)節(jié)點(diǎn)負(fù)載保護(hù)用秒級(jí)監(jiān)控?cái)?shù)據(jù)在線業(yè)務(wù)提升容器的部署密度挑戰(zhàn)1 內(nèi)存超分最近三年OSDI SOSP SIGCOMM NSDI相關(guān)調(diào)度論文沒(méi)有在生產(chǎn)環(huán)境對(duì)內(nèi)存調(diào)度風(fēng)險(xiǎn)無(wú)法徹底杜絕 調(diào)度算法+兜底方案挑戰(zhàn)2 調(diào)度的衡量指標(biāo)SLA在線業(yè)務(wù)CPU 47%63%離線計(jì)算CPU 80%調(diào)度結(jié)果平均資源使用率碎片率調(diào)度效率調(diào)度平均耗時(shí) 最大耗時(shí) 建議低于200ms挑戰(zhàn)3 使用大數(shù)據(jù)存量算力用于大促Archime

5、des-schedulerEventStreamJDOS-MasterEventRecorder事件校準(zhǔn)器MockletKube-liveGrafanaEvent存儲(chǔ)導(dǎo)入校準(zhǔn)校準(zhǔn)JDOS生產(chǎn)環(huán)境可視化Archimedes-metrics阿基米德調(diào)度仿真平臺(tái)Node上資源分配率通過(guò)統(tǒng)計(jì)各個(gè)節(jié)點(diǎn)上的cpu/內(nèi)存/磁盤分配情 況，確定集群的資源瓶 頸API請(qǐng)求統(tǒng)計(jì)統(tǒng)計(jì)各個(gè)請(qǐng)求、返回碼 以及響應(yīng)時(shí)間，反映apiserver集群的狀態(tài)調(diào)度用時(shí)通過(guò)展示每個(gè)容器調(diào)度 的平均用時(shí)，反映描述 調(diào)度器的性能集群狀態(tài)實(shí)時(shí)/歷史數(shù)據(jù)集群的節(jié)點(diǎn)/可用節(jié)點(diǎn)/可用資源數(shù) 量容器總數(shù)隨時(shí)間的變化各個(gè)節(jié)點(diǎn)的不同資源的分配率集群

6、組件性能數(shù)據(jù)API Server的請(qǐng)求數(shù)，返回碼，以 及響應(yīng)時(shí)間Scheduler調(diào)度容器的時(shí)間 Kubelet的拉取鏡像時(shí)間，容器創(chuàng) 建時(shí)間可視化目錄阿基米德容器生態(tài)1阿基米德調(diào)度系統(tǒng)實(shí)踐2阿基米德混合部署實(shí)踐390%75%60%45%30%15%0%申請(qǐng)資源實(shí)際使用資源阿基米德混合部署混合部署架構(gòu)YarnHDFS大數(shù)據(jù)存量計(jì)算阿基米德調(diào)度器NodeManagerNodeManagerLog Temp file離線計(jì)算利用在線業(yè)務(wù)資源0:003:006:000:0021:0018:0015:0012:009:00空閑資源充分供應(yīng)計(jì)算任務(wù)除應(yīng)用實(shí)際使用的資源和為任務(wù)預(yù) 留的資源buffer外，

7、其余空閑資源 盡可能提供給計(jì)算任務(wù)使用。大數(shù)據(jù)計(jì)算使用資源應(yīng)用實(shí)際使用資源 集群資源buffer 應(yīng)用臨時(shí)閑置資源空閑資源量動(dòng)態(tài)調(diào)整根據(jù)應(yīng)用在不同時(shí)段的資源實(shí)際使用量，空閑 資源量的界定也是動(dòng)態(tài)調(diào)整的。一般可以在夜 間達(dá)到峰值。混合部署邊界條件計(jì) 算 任 務(wù) 容 器 化安 全 的 數(shù) 據(jù) 訪 問(wèn)驅(qū) 逐 與 重 新 調(diào) 度彈 性 伸 縮計(jì)算任務(wù)容器化計(jì)算任務(wù)可以在容器內(nèi)執(zhí)行，并且可以 接受平臺(tái)分配給容器的資源上限值。安全的數(shù)據(jù)訪問(wèn)計(jì)算任務(wù)的容器可以安全的訪問(wèn)大數(shù)據(jù) 的數(shù)據(jù)存儲(chǔ)。驅(qū)逐與重新調(diào)度計(jì)算任務(wù)的容器能夠接受在特殊情況下， 平臺(tái)停止某些個(gè)計(jì)算任務(wù)的容器，并在 其他節(jié)點(diǎn)重建該計(jì)算任務(wù)的容器。彈性伸縮計(jì)算任務(wù)的容器可以橫向擴(kuò)容，新增的 計(jì)算任務(wù)容器可以分擔(dān)部分計(jì)算任務(wù)而 不是空轉(zhuǎn)。同時(shí)也需要接受計(jì)算任務(wù)的 容器的橫向縮容。03010204混部關(guān)鍵技術(shù)-資源隔離及限制2-XCpushareX-64CpusetX-4848-640-1Cpuset