多級(jí)隊(duì)列調(diào)度算法可視化界面-【大數(shù)據(jù)篇】數(shù)據(jù)加工的開(kāi)源任務(wù)調(diào)度系統(tǒng)解決方案DolphinS

1、多級(jí)隊(duì)列調(diào)度算法可視化界_【數(shù)據(jù)篇】數(shù)據(jù)加的開(kāi)源任務(wù)調(diào)度系統(tǒng)解決案DolphinS。前數(shù)據(jù)從來(lái)不是獨(dú)存在的，對(duì)數(shù)據(jù)進(jìn)處理的過(guò)程為數(shù)據(jù)加，數(shù)據(jù)加流程之間是存在依賴(lài)關(guān)系的，為了解決定時(shí)和依賴(lài)問(wèn)題，我們引了任務(wù)調(diào)度系統(tǒng)。在數(shù)據(jù)平臺(tái)中，任務(wù)調(diào)度系統(tǒng)負(fù)責(zé)管理任務(wù)的啟動(dòng)時(shí)間，任務(wù)之間的依賴(lài)關(guān)系，保證數(shù)據(jù)加流程能正確運(yùn)。除了定時(shí)功能，任務(wù)調(diào)度系統(tǒng)對(duì)于任務(wù)之間的依賴(lài)處理使得調(diào)度更加靈活。同流程內(nèi)的任務(wù)可以通過(guò)連線實(shí)現(xiàn)依賴(lài)；不同流程之間可以通過(guò)設(shè)置流程間的依賴(lài)關(guān)系結(jié)合來(lái)實(shí)現(xiàn)依賴(lài)。Apache Dolphin Scheduler 是個(gè)分布式去中化，易擴(kuò)展的可視化DAG作流任務(wù)調(diào)度系統(tǒng)。致于解決數(shù)據(jù)處理流程中錯(cuò)綜復(fù)

2、雜的依賴(lài)關(guān)系，使調(diào)度系統(tǒng)在數(shù)據(jù)處理流程中開(kāi)箱即。DolphinScheduler 系統(tǒng)架構(gòu)Dolphin Scheduler 1.3.x 的系統(tǒng)架構(gòu)圖如下所：Dolphin Scheduler 1.3.x01 MasterServer的系統(tǒng)架構(gòu)由以下服務(wù)組成：MasterServer采分布式中設(shè)計(jì)理念，MasterServer主要負(fù)責(zé) DAG 任務(wù)切分、任務(wù)提交監(jiān)控，并同時(shí)監(jiān)聽(tīng)其它MasterServer和WorkerServer的健康狀態(tài)。MasterServer服務(wù)啟動(dòng)時(shí)向Zookeeper注冊(cè)臨時(shí)節(jié)點(diǎn)，通過(guò)監(jiān)聽(tīng)Zookeeper臨時(shí)節(jié)點(diǎn)變化來(lái)進(jìn)容錯(cuò)處理。MasterServer基于net

3、ty提供監(jiān)聽(tīng)服務(wù)該服務(wù)內(nèi)主要包含:Distributed Quartz分布式調(diào)度組件，主要負(fù)責(zé)定時(shí)任務(wù)的啟停操作，當(dāng)quartz調(diào)起任務(wù)后，Master內(nèi)部會(huì)有線程池具體負(fù)責(zé)處理任務(wù)的后續(xù)操作MasterSchedulerThread是個(gè)掃描線程，定時(shí)掃描數(shù)據(jù)庫(kù)中的 command 表，根據(jù)不同的命令類(lèi)型進(jìn)不同的業(yè)務(wù)操作MasterExecThread主要是負(fù)責(zé)DAG任務(wù)切分、任務(wù)提交監(jiān)控、各種不同命令類(lèi)型的邏輯處理MasterTaskExecThread主要負(fù)責(zé)任務(wù)的持久化02 WorkerServerWorkerServer也采分布式中設(shè)計(jì)理念，WorkerServer主要負(fù)責(zé)任務(wù)的執(zhí)和提

4、供志服務(wù)。WorkerServer服務(wù)啟動(dòng)時(shí)向Zookeeper注冊(cè)臨時(shí)節(jié)點(diǎn)，并維持跳。WorkerServer基于netty提供監(jiān)聽(tīng)服務(wù)該服務(wù)內(nèi)包含：FetchTaskThread主要負(fù)責(zé)不斷從Task Queue中領(lǐng)取任務(wù)，并根據(jù)不同任務(wù)類(lèi)型調(diào)TaskScheduleThread對(duì)應(yīng)執(zhí)器LoggerServer是個(gè)RPC服務(wù)，提供志分查看、刷新和下載等功能03 ZooKeeperZooKeeper服務(wù)，系統(tǒng)中的MasterServer和WorkerServer節(jié)點(diǎn)都通過(guò)ZooKeeper來(lái)進(jìn)集群管理和容錯(cuò)，另外系統(tǒng)還基于ZooKeeper進(jìn)事件監(jiān)聽(tīng)和分布式鎖04 Task Queue提供任

5、務(wù)隊(duì)列的操作，前隊(duì)列也是基于Zookeeper來(lái)實(shí)現(xiàn)05 Alert提供告警相關(guān)接，接主要包括告警兩種類(lèi)型的告警數(shù)據(jù)的存儲(chǔ)、查詢(xún)和通知功能。其中通知功能為郵件通知06 APIAPI接層，主要負(fù)責(zé)處理前端UI層的請(qǐng)求。該服務(wù)統(tǒng)提供RESTfulapi向外部提供請(qǐng)求服務(wù)。接包括作流的創(chuàng)建、定義、查詢(xún)、修改、發(fā)布、下線、啟動(dòng)、停、暫停、恢復(fù)、從該節(jié)點(diǎn)開(kāi)始執(zhí)等等07 UI系統(tǒng)的前端頁(yè)，提供系統(tǒng)的各種可視化操作界為什么選擇 DS相信不少都使過(guò) crontab 這個(gè) Linux 系統(tǒng)帶的調(diào)度具，crontab 配置簡(jiǎn)單、使便。crontab作為定時(shí)調(diào)度來(lái)啟動(dòng)些服務(wù)之類(lèi)的挺便的，但隨著調(diào)度任務(wù)的量級(jí)增加，相

6、互之間存在依賴(lài)關(guān)系也是較復(fù)雜，這時(shí)候crontab作為調(diào)度具就不能滿(mǎn)我們對(duì)數(shù)據(jù)我們?cè)谡蠑?shù)據(jù)加的過(guò)程中發(fā)現(xiàn)按照 crontab 調(diào)度來(lái)整合的話(huà)邏輯處理太復(fù)雜，作量太，不容易定位到問(wèn)題，后期維護(hù)起來(lái)也較困難。后來(lái)也查了好種解決案，最終選擇了Dolphin Scheduler，Apache Dolphin Scheduler是個(gè)分布式去中化，易擴(kuò)展的可視化DAG作流任務(wù)調(diào)度系統(tǒng)我們可以通過(guò)使 DS 完成帶調(diào)度的數(shù)據(jù)加01 DS的易性Dolphin Scheduler 具有圖形化界，通過(guò)圖形化操作界使開(kāi)發(fā)更簡(jiǎn)潔可以在畫(huà)布添加數(shù)據(jù)相關(guān)組件實(shí)現(xiàn)數(shù)據(jù)加，然后通過(guò)組件之間的連線確定任務(wù)依賴(lài)，在圖形界我們也可

7、以很直觀的看到樹(shù)形圖、特圖、任務(wù)狀態(tài)統(tǒng)計(jì)和流程狀態(tài)統(tǒng)計(jì)展，還可以通過(guò)單個(gè)流程狀態(tài)快速定位到問(wèn)題節(jié)點(diǎn)查看志解決問(wèn)題02 DS的可性Dolphin Scheduler 持集群 HA ，通過(guò)配置 ZooKeeper 實(shí)現(xiàn) Master 和 Worker 的去中化設(shè)計(jì)，通過(guò)提服務(wù)節(jié)點(diǎn)的容錯(cuò)能實(shí)現(xiàn)服務(wù)的可03 DS持多種任務(wù)類(lèi)型Dolphin Scheduler 持許多任務(wù)類(lèi)型：Shell，MR，Spark，F(xiàn)link，SQL（MySQL，Postgre SQL，hive，Spark SQL，Oracle等），DataX，Sqoop，Python，Sub_Process，Procedure等04 DS操

8、作類(lèi)型的多樣性我們可以通過(guò) Dolphin Scheduler 實(shí)現(xiàn)流程定時(shí)調(diào)度、依賴(lài)調(diào)度、動(dòng)調(diào)度、暫停/停/恢復(fù)，同時(shí)持失敗重試/告警功能，從節(jié)點(diǎn)恢復(fù)失敗、重跑等功能05 DS的參數(shù)設(shè)置Dolphin Scheduler持流程的全局參數(shù)設(shè)置和流程下的每個(gè)節(jié)點(diǎn)的定義參數(shù)設(shè)置06 DS的補(bǔ)數(shù)操作Dolphin Scheduler 持補(bǔ)數(shù)，包括串補(bǔ)數(shù)、并補(bǔ)數(shù)2種模式。串補(bǔ)數(shù)：指定時(shí)間范圍內(nèi)，從開(kāi)始期結(jié)束期依次執(zhí)補(bǔ)數(shù)，只成條流程實(shí)例；并補(bǔ)數(shù)：指定時(shí)間范圍內(nèi)，多天同時(shí)進(jìn)補(bǔ)數(shù)，成N條流程實(shí)例07 DS的社區(qū)活躍Dolphin Scheduler 作為款中國(guó)團(tuán)隊(duì)開(kāi)發(fā)的開(kāi)源架構(gòu)，他的社區(qū)是?；钴S的，我們可以直接在GitHub上提交的問(wèn)題，還可以在為微信群和眾多開(kāi)發(fā)者起討論問(wèn)題，社區(qū)活躍的優(yōu)點(diǎn)在于般你遇到的問(wèn)題別可能已經(jīng)遇到過(guò)了，只需要描述清楚你的問(wèn)題對(duì)號(hào)座基本上很快都能解決或定位到問(wèn)題這邊列2個(gè)在使DS過(guò)程中覺(jué)得常實(shí)的功能：1、依賴(lài)設(shè)置我們可以通過(guò) DEPENDENT 管理流程之間的運(yùn)關(guān)系，特別是在某些特殊情況下批次期為T(mén)-1的流程A依賴(lài)T-2、T-N或某個(gè)范圍