騰訊云數(shù)據(jù)中心操作系統(tǒng)Gaia介紹

1、騰訊云數(shù)據(jù)中心操作系統(tǒng)Gaia介紹大數(shù)據(jù)應(yīng)用堅(jiān)實(shí)基石海量用戶產(chǎn)生海量數(shù)據(jù)月活躍用戶8.3億，最高同時(shí)在線2.1億； 在線人際關(guān)系鏈超X000億；月活躍4.4億；日均消息量超X0億；月活躍用戶數(shù)6.5億；日均相冊上傳超過X億，日寫操作總數(shù)過X0億；騰訊游戲月活躍用戶超X億； 手機(jī)游戲月活躍用戶超X億；日均pv超X億，手機(jī)側(cè)近超X億； 日均uv超X千萬，手機(jī)側(cè)超X千萬；部分?jǐn)?shù)據(jù)來自騰訊2014第二季度綜合業(yè)績報(bào)告海量數(shù)據(jù)造就強(qiáng)大技術(shù)支撐99.999%可用性穩(wěn)定保障騰訊擁有業(yè)界頂級的分布式計(jì)算集群實(shí)時(shí)接入數(shù)據(jù)萬億條/天單集群規(guī)模最大6000臺，日均Job數(shù)120w+，支持多存儲引擎和多并行計(jì)算框架統(tǒng)

2、一資源管理和調(diào)度，磁盤、 CPU、網(wǎng)絡(luò)等利用率85%+騰訊數(shù)據(jù)平臺整體架構(gòu)Gaia as Cluster Operation SystemGaia 基亍Yarn的通用資源調(diào)度平臺，提供高并發(fā)任務(wù)調(diào)度和資源管理，實(shí)現(xiàn)集群資源共享，可伸縮性和 可靠性，丌仁可以為MR等離線業(yè)務(wù)提供服務(wù)，還可以支持實(shí)時(shí)計(jì)算，甚至在線service業(yè)務(wù)。Gaia（蓋婭）：希臘神話中的大地之神，是眾神之母，所有神 靈中德高望重的顯赫之神。Gaia以后可以承載各種編程框架、 各種應(yīng)用，是個(gè)統(tǒng)一的資源管理調(diào)度系統(tǒng)各種業(yè)務(wù)都植根 亍“大地”之上。為什么選擇Yarn可擴(kuò)展、高可用、低耦合、開放性Gaia自研調(diào)度器sfair sc

3、heduler挑戰(zhàn)一. 可擴(kuò)展性差挑戰(zhàn)二. 高作業(yè)并發(fā)量，但調(diào)度吞吐率低tdw集群要承擔(dān)公司各個(gè)業(yè)務(wù)線的數(shù)據(jù)任務(wù)，任務(wù)量并發(fā)高（4k），且持續(xù)增長中。挑戰(zhàn)三. HA考慮不周，影響可用性AM意外掛掉，整個(gè)application attempt失敗。挑戰(zhàn)四. 資源利用率低資源利用率低，提高了成本。挑戰(zhàn)五. Yarn不成熟，bug較多Gaia自研調(diào)度器sfair scheduler心跳處理過重，嚴(yán)重影響Scalability；調(diào)度吞吐率過低，無法保證高并發(fā)作業(yè)；調(diào)度沒有對集群整體的考慮，資源分配丌均衡；Gaia自研調(diào)度器sfair scheduler調(diào)度丌再由心跳觸發(fā)；引入單獨(dú)線程做周期性調(diào)度；心跳

4、中只做RM和NM的信息交互等輕量處理；調(diào)度效率對集群規(guī)模丌那么敏感Gaia自研調(diào)度器sfair scheduler解耦和后帶來的優(yōu)勢：心跳處理變得輕量，丌再是大規(guī)模集群可擴(kuò)展性的瓶頸: 10ms1ms調(diào)度丌被勱的等待心跳的到來，在調(diào)度周期內(nèi)執(zhí)行批量調(diào)度，提高了調(diào)度的吞吐。 解耦和后帶來的問題：調(diào)度周期內(nèi)會(huì)長期持有大鎖，造成eventDispatcher中其他事件處理耗時(shí)增加：3349ms329328 ms (add 1000 app)Gaia自研調(diào)度器sfair scheduler優(yōu)化多線程間同步優(yōu)化多線程同步：優(yōu)化attempt schedule中的鎖：sort是針對于copy之后app，而

5、sort 占用調(diào)度的時(shí)間又過久， 去掉sort過程的持鎖增加removed 標(biāo)記位329328 ms- 3926msGaia自研調(diào)度器sfair scheduler優(yōu)化隊(duì)列和作業(yè)排序方式K(n=1000)SortAndWalkHeapifyAndWalktimecomparetimecompare10001361235654643280100130123665242122410134123439201887521411236312118828其中：n:app/queue個(gè)數(shù)k:一次調(diào)度平均要遍歷的次數(shù)Gaia自研調(diào)度器sfair scheduler降低調(diào)度開銷增加對queue/app的資源需求

6、統(tǒng)計(jì)；執(zhí)行調(diào)度時(shí)，沒有資源需求的queue/app不參與調(diào)度。提升調(diào)度公平性對node也做全局考慮，不再依賴心跳的隨機(jī)性。減少不必要的對象創(chuàng)建避免每次比較兩個(gè)app時(shí)都要分配新對象，優(yōu)化后一次調(diào)度所花的時(shí)間大概減少了5%。另外，對GC的壓力減小了50%。優(yōu)化調(diào)度參數(shù)的計(jì)算將遍歷和累加，改為變量維護(hù)，需要時(shí)直接讀取。這類調(diào)度參數(shù)，每秒需要讀取千萬次。Gaia自研調(diào)度器sfair scheduler心跳處理與調(diào)度解耦和，提升可擴(kuò)展性現(xiàn)網(wǎng)：將單集群規(guī)模擴(kuò)展至6k（年底8800）個(gè)節(jié)點(diǎn)（業(yè)內(nèi)最大集群），作業(yè)最大并發(fā)已 達(dá)4k，日運(yùn)行作業(yè)數(shù)120w，task數(shù)7500w，調(diào)度1250個(gè)資源池；控制多線程

7、間的同步優(yōu)化線程間鎖，將調(diào)度線程持鎖時(shí)間減少70%；優(yōu)化隊(duì)列和作業(yè)排序方式取消全排序，采用堆排序,減少調(diào)度器80%的cpu時(shí)間；降低調(diào)度開銷統(tǒng)計(jì)app/queue的資源需求，對無資源需求的app/queue,禁止其參與調(diào)度，現(xiàn)網(wǎng)中降低了 近80%的調(diào)度開銷。Gaia自研調(diào)度器sfair scheduler優(yōu)化前經(jīng)過優(yōu)化，在大規(guī)模環(huán)境下，調(diào)度器的平均吞吐率從20提高到1000, 提高50倍。優(yōu)化后Gaia資源管理內(nèi)存1）系統(tǒng)不可控：周期性監(jiān)控可能觸發(fā)系統(tǒng)oom kill。2）資源浪費(fèi)：無法利用機(jī)器 的整體資源。3）資源利用率低：按照峰值 分配container。4）失敗率高：hardlimit導(dǎo)

8、致container容易被kill。5）資源需求不易評估Gaia資源管理內(nèi)存Elastic Memory Control（彈性內(nèi)存控制）1）不會(huì)觸發(fā)系統(tǒng)oom kill：使用了container機(jī)制，且task_cgroup是hardlimit。2）可以容納更多container：可按照平均值分配container。作業(yè)失敗率大大降低：container之間是softlimit機(jī)制。對用戶資源評估能力要求降低Gaia資源管理CPUtask_cgroupsRoot (1024)container 1（1024）container 2（1024）container n（1024）sshd、+ NM 進(jìn)程+DataNode進(jìn)程DataNode(1024 * 3)NM進(jìn)程(1024)網(wǎng)管a系gen統(tǒng)t等進(jìn)系統(tǒng)程進(jìn)程最終整個(gè)集群癱瘓1）cpu share + cpuset結(jié)合的 機(jī)制；2）為系統(tǒng)進(jìn)程留足資源；3）將NM與DataNode進(jìn)程納 入container管理；Gaia資源管理網(wǎng)絡(luò)出帶寬TC+cgroups相結(jié)合的方式 控制。container之間的網(wǎng)絡(luò)帶寬 可以相互borrow，可以充分 利用網(wǎng)絡(luò)資源。Future work易用經(jīng)濟(jì)可靠RM/NM HAAM Retain穩(wěn)定規(guī)模更大業(yè)務(wù)更多場景更加復(fù)雜