新浪微博數(shù)據(jù)庫資源調(diào)度平臺架構(gòu)實踐

1、技術(shù)創(chuàng)新，變革未來新浪微博數(shù)據(jù)庫資源調(diào)度平臺架構(gòu)實踐部門介紹微博數(shù)據(jù)庫平臺負(fù)責(zé)新浪微博所有業(yè)務(wù)的數(shù)據(jù)庫服務(wù)托管覆蓋主流關(guān)系數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫提供整體的OLTP和OLAP解決方案支撐微博平臺、微博主站、微博廣告、熱門微博和機器學(xué)習(xí)等公司核心業(yè)務(wù)推動公司數(shù)據(jù)庫技術(shù)創(chuàng)新和落地資源調(diào)度平臺shanks的產(chǎn)生背景微博當(dāng)前資源規(guī)模和dba配比其他亟需解決的痛點資源規(guī)模服務(wù)器近萬臺規(guī)模近10萬的數(shù)據(jù)庫實例數(shù)PB級關(guān)系數(shù)據(jù)存儲萬億級NoSQL訪問DBA人數(shù)個位數(shù)，人均管理實例近萬服務(wù)SLA 99.99%其他痛點數(shù)據(jù)庫資源多樣網(wǎng)絡(luò)環(huán)境復(fù)雜多云環(huán)境熱點事件帶來的極速峰值流量持續(xù)增長的資源訪問期待一個英雄的降

2、臨基于資源調(diào)度姿勢的考量主動被動主動和被動相結(jié)合基于資源調(diào)度姿勢的考量被動姿勢 Saltstack Ansible自動化運維平臺基于資源調(diào)度姿勢的考量主動姿勢 AIops (智能運維) SAAS (software as a service)基于資源調(diào)度姿勢的考量相對柔和和穩(wěn)定的方式：主動和被動相結(jié)合主動感知主動處理+ 被動處理節(jié)奏可控、規(guī)模可控統(tǒng)一資源調(diào)度平臺 shanks命名來自漫畫：海賊王四皇之一一個資源服務(wù)平臺(RAAS)萬物皆資源，資源即服務(wù)為所有支持的資源提供服務(wù)化的治理和全生命周期管理提升資源管理效率提升資源穩(wěn)定性與可靠性基于go開發(fā)高性能可擴展弱狀態(tài)Shanks架構(gòu)輕量agen

3、t元數(shù)據(jù)存儲基于LevelDB高效的內(nèi)存訪問支持萬臺規(guī)模支持機器和實例層面調(diào)度Shanks架構(gòu)Agent干啥metric采集和上報 login free無狀態(tài)最低功能原則：別的模塊能完成的功能一律不提供 0依賴原則: agent的啟動、運行不依賴任何第三方提供的服務(wù) 0配置原則: agent的啟動、運行不依賴任何靜態(tài)配置最小化暴露原則：不額外提供不需要的未知的功能Shanks架構(gòu)Server干啥接收并分析metrics，如果觸發(fā)閾值，生成報警事件監(jiān)控資源的運行狀態(tài)依據(jù)配置的策略進行報警，觸發(fā)不同的exception handler進行處理，生成 對應(yīng)的task list;接收resource

4、admin提交的任務(wù)；調(diào)度并執(zhí)行任務(wù)：尋找合適的agent，將任務(wù)轉(zhuǎn)換成相應(yīng)的command下發(fā) 給agent，完成任務(wù)的執(zhí)行提供通用API核心功能資源操作標(biāo)準(zhǔn)化自動注冊、服務(wù)發(fā)現(xiàn)多維度監(jiān)控與報警服務(wù)自愈彈性調(diào)度設(shè)計理念足夠簡潔、抽象：cs模式、界限清晰將redis、mc、mysql、HBase、mcq、qservice、DNS等統(tǒng)一描述成資源將資源的變更：包括擴容、縮容、DDL、備份、遷移等等抽象對資源的action，以task的 方式提交Agent安裝不依賴任何環(huán)境Agent只做metric上報和login free，Server只做metric分析統(tǒng)計和任務(wù)下發(fā)足夠健壯：應(yīng)對單點、網(wǎng)絡(luò)割

5、接、agent掛起足夠智能：自動恢復(fù)大比例覆蓋全網(wǎng)資源異常，降低人為干預(yù)足夠全面：將日常運維經(jīng)驗逐步反哺到shanks中，讓其發(fā)揮更大的作用足夠靈活：介于主動運維和被動運維之間資源標(biāo)準(zhǔn)化抽象資源類型和操作提供通用http api支持實例部署、升級、擴縮容和遷移方便和各種運維平臺整合批量操作成本更低自動注冊、服務(wù)發(fā)現(xiàn)服務(wù)器初始化后agent進程會自動啟動Agent會定期上報服務(wù)器上面所有服務(wù)的相關(guān)指標(biāo)agent和server定期通信，如果agent掛掉，server會感知，并會將其拉起上報的資源信息會和統(tǒng)一配置中心結(jié)合 供業(yè)務(wù)使用多維度監(jiān)控與報警agent上報的相關(guān)指標(biāo)會同步到監(jiān)控dashboa

6、rd和指標(biāo)決 策系統(tǒng)指標(biāo)決策系統(tǒng) 提供多維度的指標(biāo)聚合計算，生成資源健康 檢查報告和報警事件決策系統(tǒng)會對報警事件進行判斷，觸發(fā)不同的處理策略服務(wù)自愈支持常規(guī)實例資源故障自愈基于標(biāo)準(zhǔn)化api封裝自定義配置自愈策略支持多種資源類型故障切換和自動恢復(fù)機房級別網(wǎng)絡(luò)故障切換降低服務(wù)故障時間，降低人為干預(yù)成本彈性調(diào)度支持資源指標(biāo)維度的容量水位自動調(diào)度支持多種資源的彈性擴縮容基于資源池和產(chǎn)品線為基本調(diào)度單位支持分鐘級擴容百臺的規(guī)模典型應(yīng)用場景容量問題應(yīng)對微博熱點數(shù)據(jù)庫訪問質(zhì)量自動治理容量問題報警觸發(fā)業(yè)務(wù)風(fēng)險被動處理風(fēng)險前置重復(fù)工作巡檢自動化資源利用自動發(fā)現(xiàn)應(yīng)對微博熱點微博典型場景: 新聞熱點 明星事件等峰值

7、高資源有狀態(tài)如何快速擴容成本自動彈性擴容基于公有云的彈性快速擴容依靠云的彈性來提高資源冗余度降低成本進一步降低彈性擴容時間數(shù)據(jù)庫訪問質(zhì)量治理業(yè)務(wù)反饋訪問資源慢單一實例訪問超時但是資源基礎(chǔ)監(jiān)控正常數(shù)據(jù)庫訪問質(zhì)量治理實時的訪問質(zhì)量監(jiān)控資源耗時的同比環(huán)比報警異常實例自動處理和降級平臺收益資源管理效率提升資源穩(wěn)定性與可靠性提升自動恢復(fù)覆蓋全網(wǎng)60%以上資源異常減少資源故障定位和恢復(fù)時間DBA工作效率提升未來展望資源服務(wù)化、規(guī)格化、云化提升DB類快速擴縮容能力資源精細(xì)化管理、智能化管理資源服務(wù)化、規(guī)格化、云化進一步標(biāo)準(zhǔn)化統(tǒng)一資源使用姿勢減少和業(yè)務(wù)溝通成本，資源開箱即用最大化資源利用率，應(yīng)對各種復(fù)雜場景的資源調(diào)度資源和機房解耦提升DB類快速擴縮容能力數(shù)據(jù)量大 如何彈性？大DB拆小，DB規(guī)格化高效的數(shù)據(jù)備份恢復(fù)體系高效的數(shù)據(jù)傳輸體系高效