移動DCOS平臺架構(gòu)介紹

1、移動DCOS平臺架構(gòu)介紹技術(shù)創(chuàng)新，變革未來DCOS的理解DCOS技術(shù)方案實踐與效果未來展望2“DCOS技術(shù)實踐”相關(guān)交流內(nèi)容云計算驅(qū)動企業(yè)IT架構(gòu)演進(jìn)“煙囪”式IT系統(tǒng)架構(gòu)打破豎井、應(yīng)用和平臺解耦 打破供應(yīng)商綁定加強企業(yè)自身核心能力掌控 敏捷建設(shè)、聚焦支撐業(yè)務(wù)統(tǒng)一管理建設(shè)運營，提升運維效率、提升資源利用率，降低TCO企 業(yè) IT架構(gòu) 演 進(jìn)資源池化、云化IT架構(gòu)3典型的云計算平臺阿里云/亞馬遜AWS：以虛擬化為基 礎(chǔ)，提供IaaS、PaaS及跨服務(wù)功能 層和服務(wù)訪問工具。Google云計算平臺：基于操作系統(tǒng) 層面輕量級隔離技術(shù)的數(shù)據(jù)中心操作 系統(tǒng)（Borg/Omega），在萬臺級PC服務(wù)器規(guī)模

2、上進(jìn)行集中的資源分 配和調(diào)度。4CMCC云計算發(fā)展階段的自我定位降低風(fēng)險降低資本支出提高敏捷性全面優(yōu)化簡化降低運營支出 對數(shù)據(jù)中心內(nèi) 部整體目標(biāo)架 構(gòu)沒有統(tǒng)一的 規(guī)劃設(shè)計標(biāo)準(zhǔn)化的硬件和 軟件體系業(yè)務(wù)基礎(chǔ)架構(gòu)建 設(shè)以月為單位 通過核心云構(gòu)件 實現(xiàn)進(jìn)程級資源 共享 業(yè)務(wù)基礎(chǔ)架構(gòu)建 設(shè)以分鐘為單位 實現(xiàn)數(shù)據(jù)中心級 彈性伸縮傳統(tǒng)孤島標(biāo)準(zhǔn)化IaaS 資源池化PaaS和應(yīng)用 資源池化DCOS化虛擬化服務(wù)化智能化孤島X86化通過服務(wù)化實現(xiàn) 共享的平臺架構(gòu)業(yè)務(wù)基礎(chǔ)架構(gòu)建 設(shè)以日為單位實現(xiàn)集群級彈性 伸縮通過虛擬化實現(xiàn) 共享的基礎(chǔ)架構(gòu)業(yè)務(wù)基礎(chǔ)架構(gòu)建 設(shè)以周為單位實現(xiàn)虛擬機級彈 性伸縮（ZMCC）（領(lǐng)先互聯(lián)網(wǎng)公司

3、） 靈活統(tǒng)一（運營商整體）高效5部署 效率應(yīng)用的快速部署開通受到極大制約：彈性 伸縮傳統(tǒng)虛擬化只能實現(xiàn)虛機級彈性伸縮，效果極其 有限：資源靜態(tài)部署，峰值申請?；贗aaS層的云化先天不足：靜態(tài)部署、只能大切小不能小聚大、不能維持應(yīng)用環(huán)境的自動化封裝.6存在的問題利用現(xiàn)有資源利用率非常低： CPU平均利用率（10-20%）率明顯低于互聯(lián)網(wǎng)公司 （50%以上）。TCO高，投資效益低下異地大二層？混合云部署？在線灰度發(fā)布？.8PaaS 1.0 Google AppEngine、SAE等 早期的PaaS概念，提供軟件開發(fā) 平臺和運行環(huán)境PaaS 2.0 Cloud Foundry、 OpenShift

4、等 允許用戶運行自己 的PaaS，將平臺 進(jìn)行標(biāo)準(zhǔn)化、服務(wù) 化。PaaS 3.0 以分布式集群資源 調(diào)度（Mesos、 Yarn）為基礎(chǔ)，結(jié) 合容器（Docker） 技術(shù)構(gòu)建 支持多種計算框架，具備敏捷開發(fā)、 快速部署和彈性伸 縮特性第三代PaaS的核心是DCOS（DataCenter Operating System）DCOS中的集群資源調(diào)度，業(yè)界主要有Apache Mesos 和Apache Hadoop YARN 兩種技術(shù)方案，有著各自的生態(tài)環(huán)境數(shù)據(jù)中心操作系統(tǒng)-第三代PaaS核心數(shù)據(jù)中心操作系統(tǒng)DCOS數(shù)據(jù)中心操作系統(tǒng)（DataCenter Operating System，簡稱DCO

5、S）是為整個數(shù)據(jù)中 心提供分布式調(diào)度與協(xié)調(diào)功能，實現(xiàn)數(shù)據(jù)中心級彈性伸縮能力的軟件堆棧，它將所有 數(shù)據(jù)中心的資源當(dāng)做一臺大型計算機來調(diào)度，可以視作這個大型主機的操作系統(tǒng)。（以Mesos為例）Linux OSDCOSResource ManagementLinux KernelMesosProcess ManagementLinux KernelDockerJob Schedulinginit.d, cronMarathon, ChronosInter-Process CommunicationPipe, SocketActiveMQ、RabbitMQFile System8ext4HDFS, C

6、eph數(shù)據(jù)中心操作系統(tǒng)的特征數(shù)據(jù)中心操作系統(tǒng)終極目標(biāo)是提供一個通用的標(biāo)準(zhǔn)化運維系統(tǒng)高效率可靠安全地 管理數(shù)據(jù)中心，同時簡化應(yīng)用程序的開發(fā)、部署難度，協(xié)調(diào)各類資源，確保各類資源 隨著應(yīng)用的需求動態(tài)調(diào)度DCOS特征彈性伸縮根據(jù)應(yīng)用的負(fù)載和容量情況自動 增加和刪除節(jié)點，支持細(xì)粒度資 源調(diào)度，多個計算框架或應(yīng)用程 序可共享資源和數(shù)據(jù)，高資源利 用率敏捷開發(fā)通過抽象，隱藏數(shù)據(jù)中心硬件 和軟件運行環(huán)境的復(fù)雜性，降 低應(yīng)用的開發(fā)難度快速部署傳統(tǒng)的部署模式為安裝(包管理工 具或者源碼包編譯)-配置-運 行，DCOS支持將數(shù)據(jù)中心應(yīng)用 和它的依賴進(jìn)行封裝，實際部署 時只需復(fù)制-運行9高可用根據(jù)某種負(fù)載策略把請求

7、分發(fā)到 集群中的每一個節(jié)點上，讓整個，集群來處理應(yīng)用的請求，自動為 宕機服務(wù)器上運行的節(jié)點重新分 配資源，保障業(yè)務(wù)不掉線DCOS解決方案10典型案例Google：Borg/OmegaTwitter、Apple、Netflix：Mesos解決方案Mesos ： Mesos由加州大學(xué)伯克利分校AMPLab開發(fā)，后在Twitter廣泛使用，成熟度 高。Mesosphere公司DCOS，以Mesos為核心，支持多領(lǐng)域的分布式集群調(diào)度框架：Marathon、Chronos和Hadoop、Spark等的集群調(diào)度框架，實現(xiàn)系統(tǒng)的資源彈性調(diào)度。 Apache Hadoop YARN：一種新的 Hadoop 資

8、源管理器，它是一個通用資源管理系統(tǒng)， 可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度 。 Kubernetes：是Google多年大規(guī)模容器管理技術(shù)的開源版本，面世以來就受到各大巨 頭及初創(chuàng)公司的青睞，社區(qū)活躍。Docker Machine + Compose + Swarm：Docker公司的容器編排工具。PaaS產(chǎn)品：CloudFoundry/OpenShift等PaaS解決方案。12前期已具備2015年已建建設(shè)成20后15續(xù)年建研設(shè)究云運維和運營運營門戶 資源管理 服務(wù)目錄 流程管理 監(jiān)控告警 部署自動化 容量管理 自助服務(wù) 安全管理 運維自動化業(yè)務(wù)支撐系統(tǒng)客戶服務(wù)系統(tǒng)經(jīng)營分析系統(tǒng)管理信息系統(tǒng)業(yè)務(wù)

9、 系統(tǒng)Pa a S分布式塊存儲（DBS）分布式文件存儲（DFS）Ia a S強一致性分布式內(nèi)存數(shù)據(jù)庫（CDMD）分布式協(xié)調(diào)服務(wù)（DCS）容器虛擬化（CVS）網(wǎng)絡(luò)設(shè)備虛擬化（NFV）分布式對象存儲（DOS）物理資源（服務(wù)器、磁盤陣列、交換機、路由器）實體服務(wù)總線（ESB）分布式消息隊列（DMQ）分布式緩存（DMC）虛擬服務(wù)總線（VSB）流程引擎（BPE）技術(shù)平臺服務(wù)（MPaaS)應(yīng)用容器（AC）數(shù)據(jù)平臺服務(wù)（DPaaS)關(guān)系型數(shù)據(jù)庫（RD）彈性計算平臺服務(wù)（分E布P式a調(diào)a度S服)務(wù)/（DDCDSO） S計算服務(wù)（CIaaS)計算虛擬化（VCS）網(wǎng)絡(luò)服務(wù)（NIaaS)網(wǎng)絡(luò)虛擬化（NV）存儲服務(wù)（

10、SIaaS)弱一致性非關(guān)系型數(shù)據(jù)庫（WCN）大數(shù)據(jù)平臺服務(wù)（BDPaaS)批處理（BP）流計算（SP）交互式數(shù)據(jù)處理（IDP） 強一致性數(shù)據(jù)分析（CDA） 強一致性數(shù)據(jù)挖掘（CDM）數(shù)據(jù)交換（DE）分布式內(nèi)存數(shù)據(jù)庫（DMD）分布式數(shù)據(jù)訪問層（DDAL）負(fù)載均衡（LB）讓開發(fā)聚焦于實現(xiàn)業(yè)務(wù)！剩下的交給云平臺（狹義）公司企業(yè)級私有云平臺藍(lán)圖公司DCOS建設(shè)歷程公司與合作伙伴共同深入研究Docker技術(shù)，開發(fā)數(shù)據(jù)中心操作系統(tǒng)，為IT私有云 發(fā)展和IT轉(zhuǎn)型工作的奠定了堅實的基礎(chǔ)開始關(guān)注Docker 容器化技術(shù)，并 啟動Docker應(yīng)用 的技術(shù)驗證將核心系統(tǒng)CRM的一個完 整集群組遷移到容器運行，Doc

11、ker投入生產(chǎn)在李正茂總的關(guān)心下， 集團技術(shù)部和浙江公 司提出數(shù)據(jù)中心操作 系統(tǒng)的設(shè)想，9月18 日集團技術(shù)部組織計 劃部、蘇州研發(fā)中心 及相關(guān)省公司專家在杭州召開中國移動數(shù)據(jù)中心操作系統(tǒng)測 試驗證啟動會移動手機營業(yè)廳 系統(tǒng)成功遷移至 DCOS平臺，用于重 點解決秒殺場景，浙 江公司乃至整個中國 移動有了首個運行在DCOS架構(gòu)下的生產(chǎn) 系統(tǒng)，也意味著浙江移動信息技術(shù)部承建 的IT私有云正式具備 了向整個企業(yè)內(nèi)部的 IT應(yīng)用系統(tǒng)提供資源 集中動態(tài)管理服務(wù)的 能力DCOS平臺順利通過 雙11手機營業(yè)廳充 值1折秒殺活動驗證12014年3-8月22014年11月42015年8-9月52015年11月

12、4日62015年11月11日移動提出 “云起浙里時， 新一代云平臺 建設(shè)”總體建 設(shè)規(guī)劃及可行 性技術(shù)論證32015年5月12技術(shù)架構(gòu)選型13MesosYarnKubernetesDocker M+C+SCF/OpenShift調(diào)度級別二級調(diào)度（Dominant ResourceFairness）二級調(diào)度（FIFO，Capacity Scheduler，F(xiàn)airScheduler）二級調(diào)度（基于Predicates和Priorities兩階段算法）一級調(diào)度 （提供 Strategy 和Filter 兩種調(diào)度策略）CF一級調(diào)度 （基于 Highest-scoring調(diào)度策略）/OpenShift

13、使用Kubernetes生態(tài)活躍活躍活躍非?；钴S活躍一般適用場景通用性高，混合場 景大數(shù)據(jù)生態(tài)場景目前較單一較單一較單一成熟度高高中低中應(yīng)用與平 臺耦合度低中中低高應(yīng)用案例 分析Twitter、Apple、Airbnb、Yelp、 Netflix、ebay、VerizonHadoop生態(tài)圈應(yīng)用目前快速發(fā)展中， 生產(chǎn)環(huán)境應(yīng)用較 少很少較少，PaaS整體解 決方案，應(yīng)用與平 臺的耦合度較高根據(jù)對適合構(gòu)建DCOS的各種技術(shù)架構(gòu)的評估，選擇以Mesos為基礎(chǔ)的方案。優(yōu) 點是成熟度高、兩級調(diào)度框架、適合多種應(yīng)用場景、混合部署、應(yīng)用與平臺耦合度低。 同時跟蹤Kubernetes的發(fā)展，考慮Kubernet

14、es作為Mesos的調(diào)度框架。關(guān)鍵技術(shù)選型-應(yīng)用封裝serverHost OSserverDocker EngineappBin/libsBin/libsHypervisorGuest OSBin/libsGuest OSBin/libsappapp容器虛擬機14Docker Engine可以自動化地部署應(yīng)用到可移植的的容器中， 這些容器獨立于硬件、語言、框架、打包系統(tǒng)。一個標(biāo)準(zhǔn)的Docker容器包含一個軟件組件及其所有的依賴，包括二進(jìn)制文件，庫，配置文件，腳本等， 實現(xiàn)持續(xù)集成與部署，快速 迭代應(yīng)用程序PaaS平臺作為云平臺的核心組成部分，為整個云平臺提供了服 務(wù)標(biāo)準(zhǔn)化和自動彈性擴展能力，D

15、ocker及相關(guān)生態(tài)圈系統(tǒng)天然具備服務(wù)發(fā)現(xiàn)和資源調(diào)度能力，為構(gòu)建具備彈性擴展能力的PaaS平臺提供有效的解決方案Docker容器可以封裝任何有效負(fù)載，幾乎可以在任何服務(wù)器之 間進(jìn)行一致性運行。開發(fā)者構(gòu)建的應(yīng)用只需一次構(gòu)建即可多平臺運行。運營人員只需配置他們的服務(wù)，即可運行所有應(yīng)用Docker為開源的應(yīng)用容器引擎，在標(biāo)準(zhǔn)的LXC之上融合AUFS分層鏡像管理機制，拋棄 傳統(tǒng)VM試圖模擬完整機器的思路，而是以應(yīng)用為單元進(jìn)行“集裝封箱”，是輕量級的 虛擬化技術(shù)Mesos Master負(fù)責(zé)將資源分配給各個框架，而各個框架的Scheduler進(jìn)一步將資源分配給 其內(nèi)部的各個應(yīng)用程序Mesos能和不同類型的

16、Framework或Application通信，每種Framework或Application由 相應(yīng)的應(yīng)用集群管理Mesos Slave的Executor具備調(diào)用Docker能力，也就是Executor接收到的Task時啟動Docker容器時，其可以調(diào)用Docker去啟動一個容器關(guān)鍵技術(shù)選型-資源調(diào)度15關(guān)鍵技術(shù)選型-任務(wù)調(diào)度Marathon是基于Mesos來做任務(wù)調(diào)度，Mesos僅負(fù)責(zé)布式集群資源分配， 不負(fù)責(zé)任務(wù)調(diào)度。 Mesos集群可以混合運行來自Marathon的 不同類型的任務(wù) Marathon基于Mesos的任務(wù)調(diào)度為動態(tài)調(diào) 度，即每個任務(wù)在執(zhí)行之前是不知道將在哪 一臺服務(wù)器上執(zhí)

17、行和綁定哪一個端口 9臺服務(wù)器（灰色）組成的Mesos集群上混 合運行各種Marathon調(diào)度的任務(wù)，其中一 臺服務(wù)器壞掉以后，這臺服務(wù)器上的任務(wù)就 受影響，Marathon可把任務(wù)遷移到其他服 務(wù)器上，實現(xiàn)容錯16關(guān)鍵技術(shù)選型-服務(wù)注冊與引流HAProxy提供高可用性、負(fù)載均衡的解決方案，Etcd是一個高可用的鍵值存儲系統(tǒng)， 主要用于共享配置和服務(wù)發(fā)現(xiàn)，提供了數(shù)據(jù)TTL失效、數(shù)據(jù)改變監(jiān)視、多值、目錄監(jiān)聽、 分布式鎖原子操作等功能，可以方便的跟蹤并管理集群節(jié)點的狀態(tài)。 Etcd與HAProxy 配合能夠?qū)崿F(xiàn)數(shù)據(jù)中心應(yīng)用的動態(tài)引流Mesos通過Executor啟動Docker容器進(jìn)行彈性擴縮容，

18、 在Docker啟動容器時通過在Docker run的啟動腳本中 添加“Curl etcd set”命令通知Etcd服務(wù)。Etcd服務(wù)知道某一個容器啟動，并將其信息注冊到Etcd鍵值庫中。Etcd通知Confd服務(wù)相關(guān)的服務(wù)變化，Confd就會根據(jù)變化的情況更新Haproxy的cfg配置文件并執(zhí)行重新 加載命令，使相關(guān)變化生效，同樣Etcd也會定時檢查 容器的運行狀態(tài)，當(dāng)容器停止時也會觸發(fā)Haproxy更 新cfg配置文件并重新加載，達(dá)到動態(tài)引流。17DCOS架構(gòu)圖結(jié)合行業(yè)主流技術(shù)方案，通過關(guān)鍵技術(shù)選型，確定浙江公司DCOS技術(shù)架構(gòu)，即以 容器為基礎(chǔ)封裝各類應(yīng)用和運行環(huán)境，以Mesos為核心實

19、現(xiàn)容器資源的分布式調(diào)度 與協(xié)調(diào)第一期能力支持長期運行服務(wù)，采用Mesos+Marathon+Docker+HAProxy等18DCOS功能框架EtcdEtcdEtcd服務(wù)注冊 服務(wù)引流應(yīng)用容器化 (Docker封裝)應(yīng)用（Docker）應(yīng)用（Docker）HAproxyHAproxyHAproxyMESOSMARATHONzookeeper資源調(diào)度 任務(wù)調(diào)度DCOS管理平臺監(jiān)控管理模塊彈性擴縮容調(diào)度模塊資源配置模塊統(tǒng)一日志中心鑒權(quán)模塊持續(xù)集成平臺Dashboard物理機或虛擬機節(jié)點節(jié)點節(jié)點節(jié)點19以開源技術(shù)Mesos 、Marathon 、Docker、HAProxy為引擎，在其上開發(fā)了DCO

20、S 控制臺、資源配置模塊、鑒權(quán)模塊、統(tǒng)一日志中心、彈性擴縮容調(diào)度模塊、監(jiān)控管理 模塊、持續(xù)集成平臺DCOS物理架構(gòu)MESOS-slaveZookeeperLoadbalanceStatechangesStatechangesETCD、CONFDHaproxyreloadDCOS平臺采用93個主機節(jié)點，其中平臺部分由5個節(jié)點構(gòu)成Mesos MasterCluster，8個節(jié)點構(gòu)成Haproxy Cluster，80個計算節(jié)點可承載1050個DockerContainer，平臺和計算節(jié)點均跨機房部署，該平臺可在1分鐘內(nèi)輕松實現(xiàn)擴展到1000 個以上Docker節(jié)點MESOS master、MARA

21、THON 、ZOOKEEPER 共采用5臺 X86虛擬機分布式部署（單臺6vCPU/20GB內(nèi)存/80GB硬盤）HAproxy 、ETCD和CONFD共采用8臺 X86虛擬機（單臺6vCPU/20GB內(nèi)存/80GB硬盤）Mesos slave節(jié)點采用80臺X86虛擬機（單臺6vCPU/20GB內(nèi)存/80GB硬盤）Docker封裝后 的應(yīng)用部署于 Mesos slave 節(jié)點21MarathonMESOS-mastertaskreloadreload22試點應(yīng)用的選擇面向互聯(lián)網(wǎng)訪問量集中，突發(fā)流量大業(yè)務(wù)活動更新快選取符合DCOS的特征分布式無狀態(tài)應(yīng)用系統(tǒng)，驗證DCOS在實際生產(chǎn)環(huán)境中 動態(tài)提供和

22、管理工作負(fù)載和基礎(chǔ)設(shè)施的可行性DCOS能夠自動化配置資源到可以最有效被利用的地方，實現(xiàn)資源彈性伸縮DCOS優(yōu)化開發(fā)、調(diào)測、部署操作，實現(xiàn)應(yīng)用程序敏捷開發(fā)，快速部署移動手機營業(yè)廳面向中國移動客戶提供快速便捷的查詢、辦 理和交費等自助服務(wù)的客戶端軟件及系統(tǒng)業(yè)務(wù)活動突發(fā)流量大，目前手機營業(yè)廳注冊用戶2500萬，日活躍用戶數(shù)300萬，日均PV 達(dá)到1.5億為應(yīng)對市場變化，活動內(nèi)容更新快，后臺支撐能力需同步快速上線當(dāng)前WEB層及APP層采用分布式技術(shù)實現(xiàn)，DB層未實現(xiàn)分布式架構(gòu)，暫不考慮動態(tài)調(diào)度在對DCOS平臺驗證網(wǎng)充分測試驗證后，移動信息技術(shù)部和電子渠道中心合作， 將手機營業(yè)廳系統(tǒng)容器化，遷移至DCO

23、S平臺DCOS的首次實踐-手機營業(yè)廳充值秒殺2015年10月16日，明確了以DCOS架構(gòu)為核心進(jìn)行系 統(tǒng)能力擴容的保障方案2015年11月4日23:08，手機營業(yè)廳系統(tǒng)成功 遷移至DCOS平臺，用于重點解決秒殺場景2015年11月5日完成手廳數(shù)據(jù)庫向一體機遷移割接，數(shù) 據(jù)庫連接數(shù)單節(jié)點訪問能力提高10倍，極大緩解了大并 發(fā)情況下連接數(shù)不足的問題；完成中間件的ESB能力擴 容，業(yè)務(wù)處理能力提升近3倍2015年11月8日完成手廳Memcache改造，將手廳用 戶在登錄、秒殺時常用的熱點數(shù)據(jù)放入分布式緩存中 用于高速查詢調(diào)用，具備每秒2萬次以上的熱點數(shù)據(jù) 訪問能力，有效降低數(shù)據(jù)庫接口的壓力2015年

24、11月11日20:00，手機營業(yè)廳充值1 折秒殺活動順利結(jié)束，DCOS平臺充分展現(xiàn)了其在應(yīng)對 業(yè)務(wù)高峰時的能力優(yōu)勢，順利通過雙11考驗12月10日，營業(yè)廳系統(tǒng)首個地市試點上線22DCOS的首次實踐-運行情況下圖為DCOS控制臺，手機營業(yè)廳WEB和APP兩個應(yīng)用模塊以容器的方式在DCOS資源 池中動態(tài)調(diào)度，容器數(shù)量的變化顯示了兩個應(yīng)用模塊的彈性擴縮容情況23DCOS的首次實踐-性能監(jiān)控24實施效果總結(jié)25 高性能高穩(wěn)定性雙十一期間，運行在DCOS架構(gòu)的移動手機營業(yè)廳系統(tǒng)承受的并發(fā)數(shù)最高峰值接近6 萬次/秒，后臺服務(wù)調(diào)用成功率均在99.95%以上，成為移動首個在單日實現(xiàn)10億級 PV的業(yè)務(wù)系統(tǒng)。 高資源利用率DCOS相較于虛擬機有