【海外案例】JobKeeper：可不間斷接受任務(wù)的大數(shù)據(jù)處理平臺

【海外案例】JobKeeper：可不間斷接受任務(wù)的大數(shù)據(jù)處理平臺

在沒有JobKeeper如此智能的調(diào)度平臺輔助時，大數(shù)據(jù)處理時很不方便，因?yàn)樵谔幚泶髷?shù)據(jù)時通常都會調(diào)用多個軟件組件，而多個工具的使用當(dāng)時只能依靠手動來調(diào)用，才能完成整個處理流程，這樣大大的增加了處理成本，也浪費(fèi)了很多時間、人工。針對這樣的情況，云創(chuàng)經(jīng)過多次針對性調(diào)研整理，研發(fā)出JobKeeper智能調(diào)度平臺，成功解決這一難題，通過JoKeeper調(diào)度平臺，在處理大數(shù)據(jù)時，可以很方便的按流程來自動調(diào)用所有的組件，除此之外，智能的JobKeeper應(yīng)用范圍很廣泛，不僅僅局限于大數(shù)據(jù)處理，而且各個方面都適用，并且可以對機(jī)器進(jìn)行性能監(jiān)控。JobKeeper產(chǎn)品簡介JobKeeper是南京云創(chuàng)存儲有限公司自主研發(fā)的分布式調(diào)度平臺(亦支持單機(jī))，具有超高的任務(wù)處理性能，而且具有超高的可靠性，可不間斷接受任務(wù)。JobKeeper是一種處理任務(wù)的超高性能分布式調(diào)度平臺，JobKeeper可不間斷接受從各臺計算機(jī)提交的任務(wù)，再按照當(dāng)前集群中所有機(jī)器的壓力，智能進(jìn)行分配任務(wù)，進(jìn)而達(dá)到集群負(fù)載均衡，使得整個集群的性能始終保持最優(yōu)。通過JobKeeper還可以對當(dāng)前分布式集群的所有機(jī)器的狀況進(jìn)行監(jiān)控，對集群中所有的任務(wù)進(jìn)行停止、刪除等功能。系統(tǒng)基本組成JobKeeper的系統(tǒng)架構(gòu)如圖1所示：圖1JobKeeper系統(tǒng)架構(gòu)圖虛擬化資源層將機(jī)器進(jìn)行虛擬化，形成更大范圍的服務(wù)集群。存儲層存儲數(shù)據(jù)的處理結(jié)果集或其他中間結(jié)果集的單元。數(shù)據(jù)處理層獨(dú)立的數(shù)據(jù)處理程序，是對不同需求數(shù)據(jù)的統(tǒng)一處理方案，由JobKeeper調(diào)度平臺進(jìn)行統(tǒng)一的配置管理。業(yè)務(wù)層對于應(yīng)用層的相關(guān)功能的業(yè)務(wù)化，數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進(jìn)行規(guī)則化劃分，形成統(tǒng)一的處理化模式。應(yīng)用層一組用于管理和結(jié)果反饋的顯示組件。是整個系統(tǒng)面向用戶和開發(fā)人員的基礎(chǔ)承載。JobKeeper的任務(wù)分發(fā)流程如圖2所示：圖2JobKeeper任務(wù)分發(fā)流程圖當(dāng)用戶在應(yīng)用層下發(fā)任務(wù)給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)調(diào)度機(jī)器采集機(jī)器節(jié)點(diǎn)的信息，根據(jù)具體的算法選取最優(yōu)節(jié)點(diǎn)并分發(fā)任務(wù)，接下來具體的處理節(jié)點(diǎn)接收到任務(wù)并處理同時將結(jié)果返回給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)整理匯總處理結(jié)果，而后返回給應(yīng)用層。服務(wù)器節(jié)點(diǎn)組負(fù)責(zé)對處理節(jié)點(diǎn)的系統(tǒng)信息以及任務(wù)處理信息進(jìn)行實(shí)時的跟蹤和保存，對應(yīng)的信息鏡像存儲在基于cStor或者NFS服務(wù)的存儲系統(tǒng)上。處理節(jié)點(diǎn)組通過RPC的遠(yuǎn)程調(diào)用獲取各自節(jié)點(diǎn)的任務(wù)處理目標(biāo)，并實(shí)時的和處理節(jié)點(diǎn)上的任務(wù)處理目標(biāo)進(jìn)行對比，控制程序的執(zhí)行和結(jié)束。處理節(jié)點(diǎn)組會在一個設(shè)定的心跳間隔內(nèi)主動的和管理節(jié)點(diǎn)組聯(lián)系一次，報告節(jié)點(diǎn)存活狀態(tài)。JobKeeper系統(tǒng)故障處理機(jī)制Jobkeeper的故障處理機(jī)制如圖3所示：圖3Jobkeeper故障處理機(jī)制圖首先是任務(wù)處理節(jié)點(diǎn)宕機(jī)或者該任務(wù)初始化后出現(xiàn)錯誤，那么該任務(wù)返還到任務(wù)調(diào)度層交給調(diào)度節(jié)點(diǎn)重新分配。如果任務(wù)處理節(jié)點(diǎn)宕機(jī)或者子任務(wù)出現(xiàn)未知錯誤，那么該任務(wù)將返回到任務(wù)處理節(jié)點(diǎn)上由任務(wù)節(jié)點(diǎn)機(jī)器重新分配該子任務(wù)。而所有的任務(wù)信息和處理節(jié)點(diǎn)信息都會定時寫入到磁盤文件所以不需要擔(dān)心做了一半的任務(wù)要從頭開始做。JobKeeper產(chǎn)品優(yōu)勢高可靠性平臺采用“多主多備，負(fù)載均衡”的管理節(jié)點(diǎn)設(shè)計模式，和“處理實(shí)時跟蹤”的處理節(jié)點(diǎn)設(shè)計模式，從而保證無論管理節(jié)點(diǎn)還是處理節(jié)點(diǎn)都不存在任何單點(diǎn)故障問題。低依賴性平臺采用模塊化設(shè)計思想，通過統(tǒng)一化配置和API接口的方式向用戶提供服務(wù)。無論用戶應(yīng)用是用何種語言開發(fā)，何種處理方式，都可以交由平臺進(jìn)行統(tǒng)一的調(diào)度管理。低干預(yù)性平臺采用