（計(jì)算機(jī)軟件與理論專業(yè)論文）基于集群技術(shù)的作業(yè)管理系統(tǒng)通訊機(jī)制的研究與實(shí)現(xiàn).pdf

西北工業(yè)大學(xué)碩 e 學(xué)位論文 摘要 作業(yè)管理系統(tǒng) j m s 是建立在操作系統(tǒng)之上的一類中間件軟件 它的主要用 途是強(qiáng)化操作系統(tǒng)的作業(yè)管理功能 形成有效的分布資源管理模式 建立大吞吐 量和高性能的分布式計(jì)算環(huán)境 本文詳細(xì)分析和論述了基于集群技術(shù)的作業(yè)管理系統(tǒng)的體系結(jié)構(gòu)和實(shí)現(xiàn)方 法 作業(yè)管理系統(tǒng)具有典型的客戶 n 務(wù)器模型結(jié)構(gòu) 由客戶 通訊代理a g e n t 服務(wù)器三層體系結(jié)構(gòu)實(shí)現(xiàn) 客戶端提供完全的g u i 用戶界面 完成用戶對(duì)作業(yè) 流的管理及對(duì)系統(tǒng)的管理功能 通訊代理采用t c p f l p 網(wǎng)絡(luò)通信協(xié)議以及與平臺(tái) 無關(guān)的數(shù)據(jù)通訊協(xié)議來實(shí)現(xiàn)客戶與服務(wù)器之間的完全通訊 服務(wù)器端提供對(duì)作業(yè) 流的全面支持 上層由作業(yè)流定義子系統(tǒng)和作業(yè)流引擎負(fù)責(zé)完成對(duì)作業(yè)流的定義 與執(zhí)行 底層使用網(wǎng)絡(luò)隊(duì)列系統(tǒng) n q s 來實(shí)現(xiàn)對(duì)作業(yè)的調(diào)度與執(zhí)行 使用戶能 夠最大限度地利用計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中的各種資源 以提高執(zhí)行效率 降低作業(yè)成 本 通訊代理方案使得通訊的效率得到大幅度的提高 同時(shí)此方案具有更好的專 用性 改進(jìn)了通訊代理對(duì)多碼制客戶端的自動(dòng)識(shí)別機(jī)制 使得服務(wù)器端對(duì)多碼制 客戶端的識(shí)別更加準(zhǔn)確 通訊更加穩(wěn)定 并且針對(duì)服務(wù)器與客戶端之間的大量數(shù) 據(jù)傳輸 提出了數(shù)據(jù)壓縮方案 采用l z 7 7 壓縮算法 減少傳輸數(shù)據(jù)量 提高系統(tǒng) 的工作效率 另外 對(duì)集群技術(shù)在作業(yè)管理系統(tǒng)中的應(yīng)用作了有效的探索 提出了相應(yīng)的 解決策略 建立了a r m a c t i v er e c o v e r ym a n a g e r 服務(wù)體系 提高了系統(tǒng)的可 靠性 可擴(kuò)充性和抗災(zāi)難性 關(guān)鍵詞 作業(yè)管理系統(tǒng) 作業(yè)流 數(shù)據(jù)壓縮 通訊代理 網(wǎng)絡(luò)隊(duì)列系統(tǒng) 集 群 a r m 西北工業(yè)人學(xué)碩 卜學(xué)位論文 a b s t r a c t j m si sak i n do fm i d d l e w a r es o f t w a r eb a s e do nt h eo p e r a t i o ns y s t e m t h em a j o r f u n c t i o no f t h a ti su s e dt oe n f o r c ea n de x t e n dt h e j o bm a n a g e m e n tf u n c t i o no f t h eo s b a s e do nc l u s t e rt e c h n o l o g y t h ea r c h i t e c t u r eo ft h ej m sa n dt h em e t h o do f i m p l e m e n t a t i o na r ea n a l y z e da n de x p o u n d e dd e t a i l e d l y t h ej o bm a n a g e m e n ts y s t e m i sp r o v i d e dw i t ht h et y p i c a lm o d e ls t r u c t u r eo fc s a n di ti sr e a l i z e db yt h r e e l a y e r a r c h i t e c t u r eo fc l i e n t c o m m u n i c a t i o na g e n ta n ds e r v e r c l i e n ts u p p l i e sc o m p l e t e g r a p h i c u s e ri n t e r f a c e a c c o m p l i s h i n gt h em a n a g e m e n to fj o b f l o wa n ds y s t e m c o m m u n i c a t i o na g e n ta c c o m p l i s h e sc o m p l e t ec o m m u n i c a t i o nb e t w e e nc l i e n ta n d s e r v e rb yt c p i pn e t w o r kc o m m u n i c a t i o np r o t o c o la n dp l a t f o r mi n d e p e n d e n td a t a c o m m u n i c a t i o np r o t o c 0 1 s e r v e rs u p p l i e sf u l ls u p p o r to fj o b f l o w i t ss u p e r s t r a t u mi s t h ej o b f l o wd e f i n i t i o ns u b s y s t e ma n dj n w e n g i n e w h i c hi sr e s p o n s i b l ef o rt h e d e f i n i t i o na n de x e c u t i o no fj o b f l o w a n di t su n d e r s t r a t u mi st h en e t w o r kq u e u e s y s t e m w h i c h r e a l i z e st h es c h e d u l ea n de x e c u t i o n o f j o b t h r o u g h t h en q s a l lk i n d s o fs o u r c e si nc o m p u t e rn e t w o r ks y s t e mc a l lb ef a r t h e s tu t i l i z e di no r d e rt oi m p r o v e e x e c u t i o ne f f i c i e n c ya n dr e d u c e j o b c o s t t h e p r o f e s s i o n a lc o m m u n i c a t i o na g e n th a si m p r o v e dc o m m u n i c a t i o ne f f i c i e n c y g r e a t l y o nt h eb a s i so fe n h a n c i n g t h eq u a l i t yo ft h ec o m m u n i c a t i o n t h em e c h a n i s m t h a tt h ec o m m u n i c a t i o na g e n ti d e n t i f i e sa u t o m a t i c a l l yt h ec l i e n t sw h i c hh a v em a n y d i f f e r e n tc h a r a c t e r s e ts c h e m ei s i m p r o v e da n ds p e c i f i cp r o j e c ti sd e s i g n e d a n d a i m i n g a tag r e a td e a lo fd a t at r a n s m i s s i o n w eb r i n gf o r w a r das c h e m eo fd a t ac o m p r e s s i o na n d a d o p tl z 7 7c o m p r e s s i o na l g o r i t h m t h r o u g ht h i s t h eq u a n t i t y o fd a t at r a n s m i s s i o nw i l lb e r e d u c e da n d w o r k i n ge f f i c i e n c yo f s y s t e m w i l lb ee n h a n c e d a d d i t i o n a l l y w ed oa ne f f e c t i v ee x p l o r a t i o na b o u tt h ea p p l i c a t i o no fd u s t e r t e c h n i q u ei nj m s a n da c o r r e s p o n d i n gp o l i c yi sb r o u g h tf o r w a r d t h ea r c h i t e c t u r eo f a r m a c t i v er e c o v e r ym a n a g e r i sc o n s t r u c t e d w h i c hp r o m o t e st h er e l i a b i l i t y e x p a n s i b i l i t ya n da n t i c a l a m i t y k e y w o r d s j o bm a n a g e m e n ts y s t e m j o bf l o w c o m m u n i c a t i o na g e n t d a t a c o m p r e s s n e t w o r kq u e u es y s t e m c l u s t e r a c t i v er e c o v e r ym a n a g e r 西北工業(yè)大學(xué)碩l 學(xué)位論文前言 1 研究背景 刖舀 作業(yè)管理系統(tǒng)是建立在操作系統(tǒng)之上的一種資源管理軟件 早期的作業(yè)管理 系統(tǒng) 是為了強(qiáng)化操作系統(tǒng)的批處理功能 隨著計(jì)算模式從主機(jī)為核心轉(zhuǎn)變到網(wǎng) 絡(luò)為核心 導(dǎo)致了集群系統(tǒng)的產(chǎn)生與廣泛應(yīng)用 于是產(chǎn)生了建立在集群基礎(chǔ)上的 現(xiàn)代作業(yè)管理系統(tǒng) 作業(yè)管理系統(tǒng)的發(fā)展經(jīng)歷了一段時(shí)期 已經(jīng)產(chǎn)生了許多公用的或商業(yè)化的作 業(yè)管理系統(tǒng) 公用的免費(fèi)系統(tǒng)如n q s p b s c o n d o r d q s 等是由美國(guó)的一 些大機(jī)構(gòu)或大學(xué)開發(fā)的 可以從i n t e m e t 上直接獲得它們的源代碼 商業(yè)化的系 統(tǒng)由一些軟件公司或硬件生產(chǎn)公司為自己的機(jī)器開發(fā) 如加拿大p l a t f o r m 公司的 l s f 德國(guó)g e n i a s 軟件公司的c o d i n e i b m 公司的l o a d l e v e l e r n e c 公司 的n e t s h e p h e r d 等 作業(yè)管理系統(tǒng)與并行計(jì)算 分布式密切相關(guān) 能夠完成對(duì)作 業(yè)的批處理調(diào)度 平衡網(wǎng)絡(luò)負(fù)載 提高對(duì)網(wǎng)絡(luò)空閑資源的利用率等 目前國(guó)內(nèi)對(duì)作業(yè)管理系統(tǒng)的研究很少 相關(guān)的產(chǎn)品也很少 由于作業(yè)管理系 統(tǒng)與并行計(jì)算 分布式計(jì)算和集群系統(tǒng)密切相關(guān) 國(guó)內(nèi)一些大學(xué)和研究機(jī)構(gòu)對(duì)作 業(yè)調(diào)度 網(wǎng)絡(luò)負(fù)載平衡等課題作過一些研究 但還沒有將作業(yè)管理系統(tǒng)作為一個(gè) 整體系統(tǒng)的研究與實(shí)現(xiàn) 針對(duì)這種現(xiàn)狀 作者對(duì)作業(yè)管理系統(tǒng) 尤其是作業(yè)定義 和作業(yè)調(diào)度功能進(jìn)行了研究 希望對(duì)開發(fā)新型的作業(yè)管理系統(tǒng)有一定的借鑒價(jià) 值 我們所研究開發(fā)的作業(yè)管理系統(tǒng)具有一般作業(yè)管理的特點(diǎn) 即異構(gòu)環(huán)境支 持 客戶i n 務(wù)器模型 資源共享 負(fù)載均衡 底層支持系統(tǒng)使用n q s 網(wǎng)絡(luò)隊(duì)列 系統(tǒng)等 并在此基礎(chǔ)上擴(kuò)展了作業(yè)依賴關(guān)系 提出了作業(yè)網(wǎng)絡(luò)的概念 便于用戶 從應(yīng)用的角度來定義與具體平臺(tái)無關(guān)的作業(yè)問相互依賴關(guān)系 同時(shí) 采用高可用 性集群技術(shù) 當(dāng)故障發(fā)生時(shí) 能夠進(jìn)行故障轉(zhuǎn)移 將作業(yè)管理系統(tǒng)遷移到另一臺(tái) 機(jī)器上運(yùn)行 一旦故障消失 可以將作業(yè)管理系統(tǒng)回復(fù)到原來的機(jī)器上繼續(xù)運(yùn)行 確保了作業(yè)管理系統(tǒng)的高可用性 這對(duì)關(guān)鍵計(jì)算任務(wù)是非常有用的 另外 在 n t 平臺(tái)上 域安全模型是系統(tǒng)安全性的基礎(chǔ) 作業(yè)管理系統(tǒng)的安全性是建立在 操作系統(tǒng)的安全性基礎(chǔ)上的 本作業(yè)管理系統(tǒng)提供對(duì)域安全模型的全面支持 大 大增強(qiáng)了企業(yè)級(jí)作業(yè)管理的安全性 作業(yè)網(wǎng)絡(luò) 高可用性和安全性是本作業(yè)管理 西北工業(yè)大學(xué)頌七學(xué)位論文 前言 系統(tǒng)的增強(qiáng)特性 這些增強(qiáng)特性極大的擴(kuò)展了原有的作業(yè)管理系統(tǒng)概念 建立了 一種基于集群系統(tǒng)的新一代作業(yè)管理系統(tǒng) 本文對(duì)基于集群技術(shù)的作業(yè)管理系統(tǒng)的體系結(jié)構(gòu)與實(shí)現(xiàn)方法進(jìn)行全面的分 析 從而能從整體上了解集群技術(shù)在作業(yè)管理系統(tǒng)的實(shí)現(xiàn)方法 為更深一步研究 作業(yè)管理系統(tǒng)做好準(zhǔn)備 2 研究?jī)?nèi)容 在碩士論文寫作期間 作者參與了j m s 系統(tǒng)的設(shè)計(jì)與開發(fā)工作 在此期間 作者對(duì)作業(yè)管理系統(tǒng)的整體架構(gòu) 通訊代理 集群系統(tǒng)進(jìn)行了一定的研究和分析 在此基礎(chǔ)之上完成了這篇論文 3 本文的組織結(jié)構(gòu) 全文的組織結(jié)構(gòu)如下 前言 綜述本文的研究背景 研究?jī)?nèi)容及組織結(jié)構(gòu) 第一章 作業(yè)管理系統(tǒng)綜述 對(duì)作業(yè)管理系統(tǒng)的發(fā)展 相關(guān)概念加以介紹 并采用層次開發(fā)的觀點(diǎn) 簡(jiǎn)要地介紹了j m s 系統(tǒng)各層的主要功能 通過本章的論述 達(dá)到對(duì)作業(yè)管理系統(tǒng)有一個(gè)初步的認(rèn)識(shí) 第二章 作業(yè)管理系統(tǒng)的通訊機(jī)制研究與設(shè)計(jì) 詳細(xì)分析了j m s 中的通訊 機(jī)制 討論了通訊代理的架構(gòu) 通信協(xié)議及碼制問題 第三章 通訊過程中數(shù)據(jù)壓縮問題的研究與實(shí)現(xiàn) j m s 系統(tǒng)客戶端與服務(wù) 器端之間存在著大量的數(shù)據(jù)傳輸過程 這就不可避免會(huì)出現(xiàn)工作時(shí) 間浪費(fèi)在數(shù)據(jù)傳輸上面 因此作者給出一種字典模型的數(shù)據(jù)壓縮算 法 l z 7 7 算法 對(duì)數(shù)據(jù)進(jìn)行壓縮 來減少數(shù)據(jù)傳輸量 提高工作 效率 第四章 j m s 中集群技術(shù)的研究與實(shí)現(xiàn) 首先介紹了集群的基本概念 討論 了集群技術(shù)的一些特點(diǎn)和應(yīng)用 隨后提出了我們的實(shí)現(xiàn)模型 并給 出了一個(gè)具體面向商業(yè)化的解決方案 a r m a c t i v er e c o v e r y m a n a g e r 對(duì)其中的一些重要技術(shù)進(jìn)行了較為詳細(xì)地說明 結(jié)束語 總結(jié)了論文的成果 指出了其中存在的不足 為后續(xù)工作給出了研 究方向 2 西北工業(yè)大學(xué)碩士學(xué)位論文 作業(yè)管理系統(tǒng)宗述 第一章作業(yè)管理系統(tǒng)綜述 本章主要介紹了作業(yè)管理系統(tǒng)的發(fā)展歷史和發(fā)展趨勢(shì) 并對(duì)目前常用的作業(yè) 管理系統(tǒng)給予簡(jiǎn)要評(píng)價(jià) 結(jié)合實(shí)際開發(fā)的作業(yè)管理系統(tǒng)產(chǎn)品 簡(jiǎn)要描述了作業(yè)管 理系統(tǒng)的基本概念 層次結(jié)構(gòu)和功能特點(diǎn) 并由此歸納出作業(yè)管理系統(tǒng)的增強(qiáng)特 性 為后面進(jìn)一步的討論作理論準(zhǔn)備 1 1 1 概述 1 1 作業(yè)管理系統(tǒng)概述 作業(yè)管理系統(tǒng)是建立在操作系統(tǒng)之上的一類系統(tǒng)軟件 最初的目的是為了強(qiáng) 化操作系統(tǒng)的作業(yè)管理功能 它的主要作用是增強(qiáng)操作系統(tǒng)的作業(yè)管理功能 提 供作業(yè)定義 提交 調(diào)度 執(zhí)行及控制的新機(jī)制 更加有效地利用系統(tǒng)資源 平 衡網(wǎng)絡(luò)負(fù)載 提高系統(tǒng)整體性能 作業(yè)管理系統(tǒng)最早在大型主機(jī)上使用 系統(tǒng)或用戶提交的作業(yè)在它的管理下 以批處理的方式運(yùn)行 隨著高性能工作站 集群系統(tǒng)的發(fā)展 作業(yè)管理系統(tǒng)也發(fā) 展到支持異構(gòu)的網(wǎng)絡(luò)環(huán)境 支持多平臺(tái) 支持并行應(yīng)用等新需求這樣一個(gè)階段 1 1 2 基本概念及術(shù)語 作業(yè)管理系統(tǒng)涉及多個(gè)概念 有些概念與操作系統(tǒng)中的含義相同 有些是它 所特有的 本節(jié)對(duì)這些概念加以定義 除非特別說明 本節(jié)所做定義將適合于本 論文的全部章節(jié) 作q k j o b 按p o s i x 的觀點(diǎn) 作業(yè)是一個(gè)會(huì)話組 一個(gè)會(huì)話組是一組進(jìn)程 會(huì)話組的成員進(jìn)程不能脫離會(huì)話組而存在1 在操作系統(tǒng)上作業(yè)是一個(gè)s h e l l 語言 程序 由系統(tǒng)的命令解釋器加載執(zhí)行 在作業(yè)管理系統(tǒng)中 作業(yè)是系統(tǒng)管理的基 本單位 它與普通s h e l l 語言程序的不同之處在于增加了作業(yè)屬性定義 任務(wù)e r a s k 在特定操作系統(tǒng)上的一個(gè)可執(zhí)行程序 作業(yè)由多個(gè)任務(wù)構(gòu)成 一個(gè)運(yùn)行的任務(wù)可以是操作系統(tǒng)中的一個(gè)進(jìn)程或多個(gè)進(jìn)程 西北工業(yè)大學(xué)碩l 學(xué)位論文作業(yè)管理系統(tǒng)宗述 交互式 i n t e r a c t i o n 用戶登錄到操作系統(tǒng) 在一定的用戶環(huán)境 如環(huán)境變量 當(dāng)前目錄等 中運(yùn)行作業(yè) 作業(yè)在執(zhí)行過程中 可能需要用戶提供控制臺(tái)輸入 用戶也可以即時(shí)查看控制臺(tái)的輸出 這種運(yùn)行作業(yè)的方式稱交互式 批處理 b a t c h b a t c hp r o c e s s i n g 由操作系統(tǒng)上的一個(gè)子系統(tǒng)而不是由用戶 使用交互式的會(huì)話過程運(yùn)行作業(yè)的方式 稱為批處理 這種子系統(tǒng)稱為批處理服 務(wù)器 批處理系統(tǒng) b a t c hs y s t e m 多臺(tái)安裝有批處理服務(wù)器的主機(jī) 通過網(wǎng)絡(luò)連 接共同完成網(wǎng)絡(luò)中的批處理作業(yè) 并被作為一個(gè)整體進(jìn)行配置 管理 就形成批 處理系統(tǒng) 作業(yè)管理系統(tǒng)就是一個(gè)復(fù)雜的批處理系統(tǒng) 它除了能以批處理的方式 運(yùn)行作業(yè)外 還能對(duì)作業(yè)調(diào)度 作業(yè)對(duì)資源的競(jìng)爭(zhēng) 系統(tǒng)的負(fù)載等迸行全面控制 結(jié)點(diǎn) n o d e 運(yùn)行一個(gè)操作系統(tǒng) 具有一個(gè)或幾個(gè)i p 地址的 臺(tái)計(jì)算機(jī)稱 為一個(gè)結(jié)點(diǎn) 多機(jī)系統(tǒng)由多個(gè)結(jié)點(diǎn)構(gòu)成 集群 c l u s t e r 由一個(gè)批處理系統(tǒng)管理的一組結(jié)點(diǎn)形成一個(gè)集群 集群中的 成員結(jié)點(diǎn)可以是同構(gòu)的 相同的機(jī)器硬件體系結(jié)構(gòu) 相同的操作系統(tǒng) 也可以是 異構(gòu)的 或者機(jī)器硬件體系結(jié)構(gòu)不同 或者操作系統(tǒng)不同 或是兩者的混合 一 個(gè)集群可以被看成一個(gè)并行機(jī) 在批處理系統(tǒng)的參與下 集群中的一個(gè)結(jié)點(diǎn)可以 運(yùn)行多個(gè)作業(yè) 也可以將一個(gè)作業(yè)分布在多個(gè)結(jié)點(diǎn)上運(yùn)行 隊(duì)歹u q u e u e 批處理系統(tǒng)中設(shè)置的一種基本的作業(yè)分類機(jī)制 它將不同屬 性的作業(yè)分成不同的集合 作業(yè)的屬性與所參加隊(duì)列的屬性要求不能矛盾 隊(duì)列 屬性有名稱 優(yōu)先級(jí) 資源限制 目標(biāo)機(jī)器和作業(yè)個(gè)數(shù)限制等 作業(yè)路 j o br o u t i n g 指批處理作業(yè)從一臺(tái)機(jī)器轉(zhuǎn)移到另一臺(tái)機(jī)器的過 程 作業(yè)路由的方法有p u s h 和p u l l 兩種 p u s h 方法指由持有作業(yè)的機(jī)器發(fā) 起 將作業(yè)轉(zhuǎn)移到另外的機(jī)器上 p u l l 方法指作業(yè)主要集中在一臺(tái)機(jī)器上 由 另外的機(jī)器發(fā)起 從這臺(tái)機(jī)器上獲取作業(yè) 負(fù)載 w o r k l o a d 對(duì)集群中的每個(gè)結(jié)點(diǎn) 選定一組作業(yè)使用的資源類別 如 占用c p u 時(shí)間 占用內(nèi)存等 作為統(tǒng)一指標(biāo) 將一個(gè)結(jié)點(diǎn)上全部作業(yè)占用的資源 按這一組指標(biāo)進(jìn)行測(cè)算 得到的值稱為結(jié)點(diǎn)的負(fù)載 由作業(yè)管理系統(tǒng)投入運(yùn)行的 作業(yè)產(chǎn)生的負(fù)載總和稱為作業(yè)管理系統(tǒng)的負(fù)載 負(fù)載平衡 l o a dl e v e l i n g 是指在 一個(gè)集群范圍內(nèi)通過合理的作業(yè)分配 保持各結(jié)點(diǎn)負(fù)載基本平衡 西北工業(yè)大學(xué)碩士學(xué)位論文 作業(yè)管理系統(tǒng)宗述 1 2 1 傳統(tǒng)階段 1 2 作業(yè)管理系統(tǒng)發(fā)展簡(jiǎn)史 在以大型主機(jī)系統(tǒng)為主的年代 人們使用批處理系統(tǒng) b a t c hp r o c e s s i n g s y s t e m 來提高系統(tǒng)資源利用效率 隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的產(chǎn)生和計(jì)算機(jī)系統(tǒng)的 小型化發(fā)展 資源共享的觀念深入人心 大型機(jī)上的計(jì)算任務(wù)被分散在多臺(tái)工作 站上執(zhí)行 人們使用自己桌面上的臺(tái)式機(jī)完成了更多的任務(wù) 但經(jīng)調(diào)查發(fā)現(xiàn) 工 作站的資源利用率卻很低 據(jù)美國(guó)l o sa l a m o s 國(guó)家實(shí)驗(yàn)室的一項(xiàng)調(diào)查表明 平均 利用率不到總資源的1 0 9 0 通常一臺(tái)工作站任務(wù)繁重 而另一臺(tái)工作站卻處于 閑置狀態(tài) 另外 從系統(tǒng)運(yùn)行時(shí)間看 一個(gè)工作周1 6 8 個(gè)小時(shí)中正常的工作時(shí)間 只有4 0 多個(gè)小時(shí) 造成了資源的嚴(yán)重浪費(fèi) 為了能夠更加有效的利用計(jì)算機(jī)網(wǎng) 絡(luò)和工作站系統(tǒng)的能力 人們擴(kuò)展了批處理系統(tǒng) 出現(xiàn)以網(wǎng)絡(luò)隊(duì)列系統(tǒng) n q s n e t w o r kq u e u i n gs y s t e m 為代表的傳統(tǒng)的作業(yè)管理系統(tǒng) 批處理隊(duì)列系 統(tǒng) b a t c hq u e u i n gs y s t e m n q s 的前身是美國(guó)軍方b a l l i s t i cr e s e a r c hl a b o r a t o r y 開發(fā)的批處理隊(duì)列系統(tǒng)m d q s m u l t i p l ed e v i c eq u e u i n gs y s t e m 但該系統(tǒng)不能 滿足n a s a a t i o n a la e r o n a u t i c sa n ds p a c ea d m i n i s t r a t i o n 對(duì)作業(yè)管理及設(shè)備管 理的高性價(jià)比需求 于是n a s a 與其他軟件公司在1 9 8 6 合作開發(fā)出了n q s 由 于該系統(tǒng)的廣泛使用 i e e e 已經(jīng)將n q s 確立為p o s i x 標(biāo)準(zhǔn)的一部分 即p o s i x 1 0 0 3 2 d b a t c hq u e u i n ge x t e n s i o n sf o rp o r t a b l eo p e r a t i n gs y s t e m 1 2 2 現(xiàn)代階段 到8 0 年代以后 計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)和分布式計(jì)算技術(shù)更為成熟 人們通過擴(kuò) 展n q s 系統(tǒng) 或者重新定義和設(shè)計(jì) 出現(xiàn)了多種現(xiàn)代作業(yè)管理系統(tǒng)的產(chǎn)品 由 n q s 系統(tǒng)發(fā)展起來的有c r a y 公司開發(fā)的n q e n e t w o r kq u e u i n ge n v i r o n m e n t 并且 n a s a 繼續(xù)在n q s 基礎(chǔ)上開發(fā) 與m i u 公司共同開發(fā)p b s p o r t a b l eb a t c h s y s t e m 目前p b s 的最新版本是p b sp r 0 5 0 另一個(gè)主要分支是c o n d o r 產(chǎn)品 i b m 公司著名的作業(yè)管理軟件l o a d l e v e l e r 就是在c o n d o r 的后繼u n i j e s 基礎(chǔ)上 發(fā)展起來的 德國(guó)g e n i a s 軟件公司的c o d i n e c o m p u t i n gi n d i s t r i b u t e d n e t w o r k e n v i r o n m e n t 是在c o n d o r 和d q s 基礎(chǔ)上推出的 目前己發(fā)布最新版資 源管理系統(tǒng)r m sc o d i n e 和補(bǔ)充的全局資源控制器g r d g l o b a lr e s o u r c e 西北工業(yè)大學(xué)碩士學(xué)位論文作業(yè)管理系統(tǒng)宗述 d i r e c t o r 另外 目前比較流行的網(wǎng)絡(luò)負(fù)載平衡產(chǎn)品l s f l o a ds h a r i n gf a c i l i t y 由加拿大p l a t f o r m 公司在u t o p i a 基礎(chǔ)上開發(fā)的 可以看出 在作業(yè)管理系統(tǒng)領(lǐng)域 在統(tǒng)一p o s i x 標(biāo)準(zhǔn)基礎(chǔ)上 各種產(chǎn)品層 出不窮 各具特色 這一方面說明了作業(yè)管理在整個(gè)計(jì)算機(jī)學(xué)科中的重要地位 另一方面表明作業(yè)管理系統(tǒng)不斷發(fā)展 充滿活力 是目前研究的一個(gè)熱點(diǎn) 圖1 1 作業(yè)管理系統(tǒng)歷史演變圖 1 2 3 發(fā)展趨勢(shì) 自作業(yè)管理系統(tǒng)推出以來 就是一個(gè)隨應(yīng)用需求推動(dòng)而不斷發(fā)展更新的系 統(tǒng) 隨著集群技術(shù)和網(wǎng)格計(jì)算的發(fā)展 關(guān)于集群技術(shù)請(qǐng)參閱第三章 作業(yè)管理 系統(tǒng)一方面提供更完善的功能 一方面也向資源管理系統(tǒng)r m s 演化 當(dāng)網(wǎng)格計(jì) 算技術(shù)成熟后 作業(yè)管理系統(tǒng)就進(jìn)化為網(wǎng)格管理系統(tǒng)g m s g r i dm a n a g e m e n t s y s t e m c o d i n e 系統(tǒng)已露出這種趨勢(shì)的端倪 目前 作業(yè)管理系統(tǒng)要改進(jìn)的 方向有如下幾點(diǎn) 1 開放接口 考慮到作業(yè)管理系統(tǒng)作為一種系統(tǒng)中間件 不可能將用戶所有的作業(yè)管理行 為都定制好 需要由作業(yè)管理系統(tǒng)提供應(yīng)用程序接口a p i 來支持第三方應(yīng)用程序 的開發(fā) 并提供接口讓用戶來制定作業(yè)管理策略 2 資源控制 f 如c o d i n e 系統(tǒng)能夠區(qū)分資源和用戶的優(yōu)先級(jí) 從而制定出合理的資源 西北工業(yè)大學(xué)碩士學(xué)位論文 作業(yè)管理系統(tǒng)宗述 控制策略 一般的作業(yè)管理系統(tǒng)只能做到與單個(gè)作業(yè)相關(guān)的資源控割 而對(duì)整個(gè) 系統(tǒng)的資源使用情況沒有處理 所以 以后的作業(yè)管理系統(tǒng)將會(huì)做到類似于大型 機(jī)操作系統(tǒng)對(duì)整個(gè)資源的全局控制 3 并行環(huán)境 目前對(duì)并行環(huán)境的處理的一種方法是將并行環(huán)境的啟動(dòng) 停止腳本交給作 業(yè)管理系統(tǒng)來運(yùn)行并行程序 這是一種松耦合方式 另一種方法是作業(yè)管理系統(tǒng) 支持并行環(huán)境接口 將并行程序運(yùn)行在作業(yè)管理系統(tǒng)的上下文環(huán)境中 這是一種 緊耦合方式 以后的作業(yè)管理系統(tǒng)繼續(xù)支持更多的并行環(huán)境 并透明地將并行環(huán) 境嵌入到作業(yè)管理系統(tǒng)中 從而得到一種更好的集成方式 4 數(shù)據(jù)庫(kù)支持 功能比較全面的作業(yè)管理系統(tǒng)提供與數(shù)據(jù)庫(kù)系統(tǒng)集成的接口 這樣就充分發(fā) 揮網(wǎng)絡(luò)負(fù)載平衡和數(shù)據(jù)庫(kù)信息處理的威力 為企業(yè)級(jí)的信息處理提供良好保證 5 廣域網(wǎng)支持 因特網(wǎng)的迅猛發(fā)展 需要作業(yè)管理系統(tǒng)能夠?qū)⒉煌貐^(qū)的資源整合起來給用 戶一個(gè)透明的訪問方式 而目前的作業(yè)管理系統(tǒng)局限于局域網(wǎng)計(jì)算環(huán)境 要支持 廣域網(wǎng) 就會(huì)產(chǎn)生安全性 遠(yuǎn)程文件系統(tǒng) 記帳信息和網(wǎng)絡(luò)帶寬問題 u n i c o r e 科研項(xiàng)目就著重解決這些問題 從而為支持廣域網(wǎng)探索道路 6 與操作系統(tǒng)集成 作業(yè)管理系統(tǒng)脫胎于操作系統(tǒng)的批處理子系統(tǒng) 作為操作系統(tǒng)之上的中間件 已經(jīng)有很多年了 在此期間 出現(xiàn)了各種各樣的作業(yè)管理系統(tǒng) 但這種局面一方 面給用戶帶來選擇的便利 但另一方面也帶來系統(tǒng)之間相互不兼容 現(xiàn)代操作系 統(tǒng)提供越來越多的作業(yè)管理功能 支持負(fù)載平衡和集群管理 作業(yè)管理系統(tǒng)的主 要功能正在向操作系統(tǒng)集成 以后 可能是這樣兩種趨勢(shì) 一方面常用的功能成 為操作系統(tǒng)的一部分 另一方面 作業(yè)管理系統(tǒng)仍然獨(dú)立發(fā)展 但會(huì)提供給用戶 更精確和更有效的作業(yè)和資源管理 1 3 作業(yè)管理系統(tǒng)體系結(jié)構(gòu) 1 3 1 作業(yè)管理系統(tǒng)的c s 結(jié)構(gòu) 基于作業(yè)流的作業(yè)管理系統(tǒng)采用典型的客戶 n 務(wù)器體系結(jié)構(gòu) 它是一種先 進(jìn)的網(wǎng)絡(luò)分布式模型 使用客戶 服務(wù)器模型構(gòu)造的應(yīng)用系統(tǒng) 將一個(gè)大任務(wù)分 西北工業(yè)大學(xué)碩士學(xué)位論文 作業(yè)管理系統(tǒng)宗述 成服務(wù)器與客戶機(jī)兩部分 由二者協(xié)作完成 這種分工協(xié)作可以充分地發(fā)揮服務(wù) 器的高性能和工作站的靈活 易用性 使兩者的效用都達(dá)到最高 使網(wǎng)絡(luò)帶寬資 源的利用更加合理 其次 它具有面向?qū)ο蟮奶攸c(diǎn) 由服務(wù)器統(tǒng)一管理一組對(duì)象 執(zhí)行施加在對(duì)象上的操作 客戶機(jī)要操作這些對(duì)象 只能通過向服務(wù)器發(fā)送消息 來實(shí)現(xiàn) 服務(wù)器執(zhí)行完適當(dāng)?shù)牟僮骱?將結(jié)果返回給客戶 基于作業(yè)流的作業(yè)管理系統(tǒng)采用c s 模型結(jié)構(gòu) 具有很多優(yōu)越性 主要體現(xiàn) 在以下幾個(gè)方面 滿足系統(tǒng)分布式的要求 c s 結(jié)構(gòu)是網(wǎng)絡(luò)分布式的一種實(shí)現(xiàn) 2 1 作業(yè)管理系統(tǒng)發(fā)展的初期 主旨是使 大型機(jī)的集中式計(jì)算資源得到更充分地利用 整個(gè)系統(tǒng)是集中式結(jié)構(gòu) 當(dāng)高性能 的工作站和高速網(wǎng)絡(luò)被普遍使用后 大型機(jī)上的計(jì)算任務(wù)被分散在多臺(tái)工作站上 執(zhí)行 人們使用自己桌面上的臺(tái)式機(jī)完成了更多的任務(wù) 但經(jīng)調(diào)查發(fā)現(xiàn) 工作站 的資源利用率卻很低 據(jù)美國(guó)l o sa l a m o s 國(guó)家實(shí)驗(yàn)室的一項(xiàng)調(diào)查表明 平均利 用率不到總資源的1 0 通常一臺(tái)工作站任務(wù)繁重 而另一臺(tái)工作站卻處于閑 置狀態(tài) 另外 從系統(tǒng)運(yùn)行時(shí)間看 一個(gè)工作周1 6 8 個(gè)小時(shí)中正常的工作時(shí)間只 有4 0 多個(gè)小時(shí) 這對(duì)任何一個(gè)單位而言 硬件的投入都沒有收到應(yīng)有的效益回 報(bào) 出于這種需要 分布式網(wǎng)絡(luò)環(huán)境更需要作業(yè)管理系統(tǒng)擔(dān)負(fù)起資源管理與作業(yè) 調(diào)度的職能 實(shí)際上 正是網(wǎng)絡(luò)計(jì)算成為主流的應(yīng)用模式后 才產(chǎn)生了對(duì)作業(yè)管 理系統(tǒng)的迫切需求 從這個(gè)時(shí)候起 作業(yè)管理系統(tǒng)以網(wǎng)絡(luò)上的資源管理 作業(yè)調(diào) 度為中心 采用i p c 或r p c 機(jī)制實(shí)現(xiàn)運(yùn)行在多個(gè)機(jī)器上的作業(yè)管理系統(tǒng)之間相 互通訊 受c s 計(jì)算模式影響 新出現(xiàn)的作業(yè)管理系統(tǒng)將運(yùn)行在不同機(jī)器上的模 塊也進(jìn)行了重新劃分 負(fù)責(zé)作業(yè)排隊(duì) 調(diào)度 執(zhí)行等功能的模塊運(yùn)行在服務(wù)器端 而負(fù)責(zé)提交作業(yè) 查詢狀態(tài)的模塊運(yùn)行在客戶端 形成了典型的c s 結(jié)構(gòu) 滿足系統(tǒng)異構(gòu)性的特點(diǎn) 以網(wǎng)絡(luò)為核心的系統(tǒng)有一個(gè)主要特點(diǎn) 那就是系統(tǒng)的異構(gòu)性 要用好這樣的 系統(tǒng) 應(yīng)用軟件必須具有各個(gè)系統(tǒng)間的互操作能力 在c s 模型中 服務(wù)器與客 戶機(jī)可以由不同體系的計(jì)算機(jī)構(gòu)成 根據(jù)處理能力的不同 服務(wù)器一般采用大型 機(jī) 并行機(jī)或小型機(jī) 多處理器硬件平臺(tái) 運(yùn)行u n i x 等大型操作系統(tǒng) 客戶機(jī) 采用工作站 高性能p c 或普通的臺(tái)式機(jī) 運(yùn)行u n i x 或w i n d o w s 等操作系統(tǒng) 服務(wù)器與客戶間采用成熟的1 p c 機(jī)制實(shí)現(xiàn)相互通訊 由此可見 c s 模型為異構(gòu) 系統(tǒng)的應(yīng)用提供了一個(gè)很好的解決方法 作為一個(gè)應(yīng)用實(shí)例 現(xiàn)在的作業(yè)管理系 西北工業(yè)大學(xué)碩士學(xué)位論文作業(yè)管理系統(tǒng)宗述 統(tǒng)都是以c s 模型為基本結(jié)構(gòu) 用戶可以通過本地p c 機(jī) 向網(wǎng)絡(luò)中一臺(tái)u n i x 主機(jī)提交作業(yè) 完全實(shí)現(xiàn)了使用統(tǒng)一的方式訪問不同的系統(tǒng) 滿足系統(tǒng)的開放性要求 c s 結(jié)構(gòu)是一個(gè)開放的體系結(jié)構(gòu) 以這種結(jié)構(gòu)建立的系統(tǒng) 運(yùn)行過程中可以 靈活地增加 減少或變更各組成部分 包括機(jī)器硬件和軟件模塊 作業(yè)管理系統(tǒng) 所運(yùn)行的網(wǎng)絡(luò)環(huán)境 會(huì)發(fā)生各種資源變更情況 如網(wǎng)絡(luò)規(guī)模的擴(kuò)大 需要作業(yè)管 理系統(tǒng)管理更多的機(jī)器結(jié)點(diǎn) 操作系統(tǒng)的升級(jí)需要作業(yè)管理系統(tǒng)支持新的作業(yè)運(yùn) 行方式等 因此作業(yè)管理系統(tǒng)的體系結(jié)構(gòu)必須是開放的 當(dāng)使用c s 模型實(shí)現(xiàn)作 業(yè)管理系統(tǒng)時(shí) 可以采用c s 模型的一個(gè)基本方法 將各項(xiàng)功能分層實(shí)現(xiàn) 這樣 當(dāng)某一層功能更新時(shí) 只要保持與其它層的數(shù)據(jù)交換格式不發(fā)生變化 就可以動(dòng) 態(tài)實(shí)現(xiàn)系統(tǒng)的擴(kuò)充或升級(jí) 便于集中式管理 c s 結(jié)構(gòu)提供了一種機(jī)制 可以通過一點(diǎn)了解整個(gè)網(wǎng)絡(luò)的情況 這使大型網(wǎng) 絡(luò)的集中化管理得以實(shí)現(xiàn) 作業(yè)管理系統(tǒng)的運(yùn)行環(huán)境是很復(fù)雜的 可能是一個(gè)小 型的局域網(wǎng) 也可能是一個(gè)大型的廣域網(wǎng) 要有效地維護(hù)整個(gè)系統(tǒng) 必須提供集 中化管理機(jī)制 使管理員從網(wǎng)絡(luò)中任意一臺(tái)工作站上就可完成對(duì)整個(gè)系統(tǒng)的全面 控制 這也是作業(yè)管理系統(tǒng)采用c s 結(jié)構(gòu)的一個(gè)基本原因 采用客戶 n 務(wù)器體系結(jié)構(gòu) 將整個(gè)作業(yè)管理系統(tǒng)劃分為客戶層 通訊代理 層 服務(wù)器層三部分 采用層次開發(fā)的觀點(diǎn) 將整個(gè)系統(tǒng)分為若干層 每層功能 相互獨(dú)立 但保證層與層接口相對(duì)穩(wěn)定 既有利于軟件開發(fā) 也可以做到很大的 靈活性 擴(kuò)展功能比較方便 實(shí)際上 該系統(tǒng)在經(jīng)歷了多個(gè)版本的研發(fā)之后 增 加了很多功能 但客戶 服務(wù)器的體系結(jié)構(gòu)并沒有改變 這說明該體系結(jié)構(gòu)具有 很強(qiáng)的生命力 1 3 2 作業(yè)管理系統(tǒng)的分層體系結(jié)構(gòu) 按照分層的觀點(diǎn) 可將作業(yè)管理系統(tǒng)的體系結(jié)構(gòu)分為客戶層 通訊代理層 和服務(wù)器層 作業(yè)管理系統(tǒng)的體系結(jié)構(gòu)組成見圖1 2 所示 9 兩北工業(yè)人學(xué)碩士學(xué)位論文 作業(yè)管理系統(tǒng)宗述 圖1 2 作業(yè)管理系統(tǒng)的分層體系結(jié)構(gòu)圖 1 3 2 1 客戶 客戶 c l i e n t 具體負(fù)責(zé)用戶界面和向服務(wù)器發(fā)出請(qǐng)求 客戶端軟件通過提 供良好的g u i 界面 幫助用戶完成對(duì)作業(yè)流管理的全過程 包括作業(yè)流的定義 提交 監(jiān)控及完善的系統(tǒng)管理等功能 用戶可以將定義好的作業(yè)流通過它發(fā)往服 務(wù)器 某些特權(quán)用戶還可以通過客戶端軟件對(duì)服務(wù)器進(jìn)行管理 創(chuàng)建 修改或刪 除服務(wù)器所管理的各類對(duì)象 客戶端軟件還提供監(jiān)控系統(tǒng)狀態(tài) 查詢相關(guān)系統(tǒng)信 息等功能 客戶端軟件運(yùn)行在所有用戶機(jī)上 它是用戶和作業(yè)管理系統(tǒng)的接口 主要包括以下幾大功能 作業(yè)流管理功能 通過提供的g u i 界面來完成作業(yè)流圖的繪制 可對(duì)作 業(yè)流進(jìn)行刪除 更名 復(fù)制 屬性定義等操作 以及對(duì)作業(yè)流的投入及 監(jiān)控操作 監(jiān)查作業(yè)流的執(zhí)行狀況 跟蹤作業(yè)流的執(zhí)行 獲得作業(yè)流當(dāng) 前的執(zhí)行點(diǎn) 查看作業(yè)流的執(zhí)行日志 對(duì)執(zhí)行作業(yè)流進(jìn)行各種控制 查 看單元作業(yè)的執(zhí)行結(jié)果 出錯(cuò)信息 詳細(xì)情報(bào)等 西北工業(yè)大學(xué)碩 一學(xué)位論艾 作業(yè)管理系統(tǒng)宗述 日歷調(diào)度功能 創(chuàng)建日歷及時(shí)刻表 設(shè)置工作日及休息日 設(shè)置作業(yè)流 的日歷調(diào)度規(guī)則 將調(diào)度規(guī)則聯(lián)接到具體的作業(yè)流上 使該作業(yè)流按照 所設(shè)定的調(diào)度規(guī)則進(jìn)行調(diào)度 機(jī)器管理功能 對(duì)機(jī)器進(jìn)行統(tǒng)一管理 可以形成作業(yè)管理系統(tǒng)的機(jī)器組 在機(jī)器組內(nèi) 可實(shí)現(xiàn)負(fù)載的分散功能 可追加或刪除一臺(tái)機(jī)器到機(jī)器組 中 統(tǒng)一管理站 對(duì)機(jī)器組中的所有隊(duì)列和請(qǐng)求進(jìn)行統(tǒng)一管理 可在機(jī)器組 中的任何機(jī)器上新建隊(duì)列 設(shè)定隊(duì)列的屬性 優(yōu)先級(jí)等 查看機(jī)器中的 隊(duì)列狀況 隊(duì)列中的請(qǐng)求狀況 用戶可指定負(fù)載的走向 系統(tǒng)信息查詢功能 用戶可以查詢自己使用作業(yè)管理系統(tǒng)的歷史記錄 將提交給系統(tǒng)的作業(yè)流 作業(yè)流的執(zhí)行結(jié)果記錄按照特定的檢索條件查 詢出來 根據(jù)用戶的訪問權(quán)限 系統(tǒng)還允許用戶查詢服務(wù)器狀態(tài) 隊(duì)列 狀態(tài)等信息 1 3 2 2 通訊代t n a g e n t 在客戶與服務(wù)器之間進(jìn)行數(shù)據(jù)通訊 要通過通訊代理來完成 由它負(fù)責(zé)將客 戶的命令發(fā)送到服務(wù)器端 并將服務(wù)器端的處理結(jié)果發(fā)回到客戶端 這樣 來 就形成了客戶 通訊代理 服務(wù)器的三層通訊結(jié)構(gòu) 從層次結(jié)構(gòu)上來看 通訊代 理a g e n t 位于作業(yè)管理系統(tǒng)的中間層 處理客戶 服務(wù)器模式下的信息交互 從 功能上來看 通訊代理a g e n t 將客戶和服務(wù)器從額外的數(shù)據(jù)傳輸負(fù)擔(dān)種解脫出 來 便于客戶朋酲務(wù)器之間通訊接口的擴(kuò)展和升級(jí) 從命令協(xié)議上來看 通訊代 理a g e n t 由t c p i p 網(wǎng)絡(luò)通信協(xié)議及與平臺(tái)無關(guān)的數(shù)據(jù)通訊協(xié)議構(gòu)成 主要包括 以下功能 將客戶發(fā)出的命令請(qǐng)求串行化 即將打包后的命令發(fā)給服務(wù)器 將服務(wù)器返回的結(jié)果數(shù)據(jù)反串行化 即將解包后的結(jié)果返回給客戶 數(shù)據(jù)的網(wǎng)絡(luò)傳輸功能 1 3 2 3 服務(wù)器 從外部功能看 作業(yè)管理系統(tǒng)的服務(wù)器是這樣一組程序的集合 它們運(yùn)行在 網(wǎng)絡(luò)中的一臺(tái)或多臺(tái)機(jī)器上 這些機(jī)器可以使用不同的操作系統(tǒng) 向網(wǎng)絡(luò)用戶提 供多種訪問途徑 響應(yīng)用戶的請(qǐng)求 支持對(duì)作業(yè)流的描述 按照作業(yè)流所定制的 作業(yè)關(guān)系來執(zhí)行作業(yè)流 對(duì)作業(yè)流中的可執(zhí)行的單元作業(yè)進(jìn)行排隊(duì)處理 按照一 定的調(diào)度原則選擇運(yùn)行作業(yè)請(qǐng)求 對(duì)系統(tǒng)資源和作業(yè)流的執(zhí)行過程進(jìn)行監(jiān)控 西北工業(yè)大學(xué)碩l 學(xué)位論文 作業(yè)管理系統(tǒng)宗述 從內(nèi)部實(shí)現(xiàn)方法看 作業(yè)管理系統(tǒng)的服務(wù)器管理多種類型的對(duì)象 包括作業(yè) 流對(duì)象 作業(yè)對(duì)象 隊(duì)列對(duì)象 請(qǐng)求對(duì)象 服務(wù)器對(duì)象等 它所完成的功能主要 集中在對(duì)這些對(duì)象進(jìn)行操作 代表用戶完成創(chuàng)建 修改 查詢或刪除這些對(duì)象 服務(wù)器為每個(gè)對(duì)象設(shè)置不同的安全屬性 在執(zhí)行操作時(shí)要檢查用戶的訪問權(quán)限 任何超越安全控制的訪問都會(huì)被服務(wù)器拒絕 從組成結(jié)構(gòu)看 作業(yè)管理系統(tǒng)的服務(wù)器由作業(yè)流定義子系統(tǒng) 作業(yè)流引擎 作業(yè)執(zhí)行子系統(tǒng)構(gòu)成 在基于作業(yè)流的作業(yè)管理系統(tǒng)中 要求服務(wù)器端的這三個(gè) 子系統(tǒng)同時(shí)安裝在一臺(tái)主機(jī)上 實(shí)現(xiàn)對(duì)作業(yè)流和作業(yè)的管理功能 在一些較新的 系統(tǒng)中 允許將服務(wù)器的不同部分安裝在不同的主機(jī)上 例如某一臺(tái)主機(jī)只安裝 執(zhí)行子系統(tǒng) 那么它只能充當(dāng)網(wǎng)絡(luò)中的一個(gè)執(zhí)行作業(yè)的結(jié)點(diǎn) 這種將服務(wù)器各部 分獨(dú)立安裝在不同機(jī)器上的做法是作業(yè)管理系統(tǒng)發(fā)展的趨勢(shì) 1 3 2 3 1 作業(yè)流定義子系統(tǒng) 作業(yè)流的定義子系統(tǒng)位于服務(wù)器系統(tǒng)的最上層 負(fù)責(zé)接收用戶對(duì)作業(yè)流的操 作命令 完成作業(yè)流的創(chuàng)建與刪除 定義與描述等功能 主要的功能包括 采用作業(yè)流描述語言來描述用戶作業(yè)流 將描述的數(shù)據(jù)文件保存在服務(wù) 器端 設(shè)置作業(yè)流的各種屬性 保存到作業(yè)流的屬性文件中 解析作業(yè)流的描述文件 檢查作業(yè)流的合法性 提供對(duì)作業(yè)流進(jìn)行重命名 改變流程 刪除等操作 1 3 2 3 2 作業(yè)流引擎 作業(yè)流引擎是作業(yè)管理系統(tǒng)中對(duì)作業(yè)流進(jìn)行調(diào)度和執(zhí)行的中心產(chǎn)品 作業(yè)流 引擎負(fù)責(zé)接收提交的作業(yè)流 對(duì)作業(yè)流中各個(gè)作業(yè)之間的關(guān)系進(jìn)行解釋 按照作 業(yè)流所定制的依賴關(guān)系來調(diào)度每個(gè)可執(zhí)行的作業(yè) 逐個(gè)將這些作業(yè)提交給作業(yè)執(zhí) 行子系統(tǒng) 同時(shí)產(chǎn)生作業(yè)流的執(zhí)行狀態(tài)文件 為執(zhí)行你所定義的作業(yè)流提供一個(gè) 調(diào)度機(jī) 作業(yè)流引擎的主要功能包括 作業(yè)流的實(shí)例化 作業(yè)流可以看成是作業(yè)依賴的一個(gè)擴(kuò)展 包括順序 并行 分枝 等待事件等多種依賴關(guān)系 用戶可以建立復(fù)雜的作業(yè)流 然后把作業(yè)流實(shí)例化 形成作業(yè)流的動(dòng)態(tài)執(zhí)行鏈 于是就可以像操縱一 個(gè)單元作業(yè)一樣操縱作業(yè)流 兩北t 業(yè)大學(xué)碩士學(xué)位論文 作業(yè)管理系統(tǒng)宗述 動(dòng)態(tài)調(diào)度作業(yè)流 作業(yè)流在六個(gè)調(diào)度隊(duì)列之間進(jìn)行遷移 完成對(duì)作業(yè)流 的調(diào)度和執(zhí)行 控制作業(yè)流 完成對(duì)作業(yè)流的狀態(tài)遷移 提供對(duì)作業(yè)流執(zhí)行狀態(tài)文件的查詢 以及作業(yè)流執(zhí)行的日志自動(dòng)歸檔功 能 1 3 2 3 3 作業(yè)執(zhí)行子系統(tǒng) 作業(yè)執(zhí)行子系統(tǒng)即網(wǎng)絡(luò)隊(duì)列系統(tǒng) 負(fù)責(zé)接收作業(yè)流引擎提交到隊(duì)列中的作業(yè) 請(qǐng)求 并對(duì)請(qǐng)求進(jìn)行調(diào)度和執(zhí)行 從而更加有效地利用系統(tǒng)資源 平衡網(wǎng)絡(luò)負(fù)載 提高系統(tǒng)整體性能 網(wǎng)絡(luò)隊(duì)列系統(tǒng)提供的功能支持有 提供對(duì)批處理請(qǐng)求和設(shè)備請(qǐng)求的全面支持 批處理請(qǐng)求是一個(gè)s h e l l 腳 本 可通過直接調(diào)用合適的命令解釋器來執(zhí)行 相反 設(shè)備請(qǐng)求中的命 令需要特殊硬件設(shè)備的直接服務(wù) 支持操作系統(tǒng)核心所實(shí)現(xiàn)的資源限制功能 并將資源限制與批處理請(qǐng)求 和批處理隊(duì)列相關(guān)聯(lián) 支持遠(yuǎn)程排隊(duì)和路由 能夠在運(yùn)行網(wǎng)絡(luò)隊(duì)列系統(tǒng)的機(jī)器間傳送批處理請(qǐng) 求和設(shè)備請(qǐng)求 提供了一種可靠的傳輸機(jī)制 即使參加傳送的兩臺(tái)機(jī)器 中有一臺(tái)或兩臺(tái)都崩潰 仍能保證可靠傳送請(qǐng)求 將所有的作業(yè)調(diào)度算法模塊化 以便于作業(yè)調(diào)度器可以很容易地修改 能夠控制系統(tǒng)資源的平衡以使系統(tǒng)資源更加有效 它是對(duì)批處理系統(tǒng)的 擴(kuò)展 1 4 小結(jié) 本章主要對(duì)作業(yè)管理系統(tǒng)的基本概念 發(fā)展過程 體系結(jié)構(gòu)等進(jìn)行了介紹 從總體上介紹了一個(gè)作業(yè)管理系統(tǒng)的大致框架 采用層次開發(fā)的觀點(diǎn) 簡(jiǎn)要地介 紹了j m s 系統(tǒng)各層的主要功能 在此基礎(chǔ)上 介紹了該系統(tǒng)的主要特點(diǎn)和優(yōu)點(diǎn) 為后面幾章的討論奠定了基礎(chǔ) 西北工業(yè)大學(xué)碩 l 學(xué)位論文 作業(yè)管理系統(tǒng)的通訊機(jī)制研究與設(shè)計(jì) 第二章作業(yè)管理系統(tǒng)的通訊機(jī)制研究與設(shè)計(jì) 通訊的構(gòu)筑方式是作業(yè)管理系統(tǒng) j o bm a n a g es y s t e m 以下簡(jiǎn)稱j m s 實(shí) 現(xiàn)的基石 它將直接影響到作業(yè)管理系統(tǒng)的效率 安全性 可擴(kuò)展性等等 本章 主要研究了作業(yè)管理系統(tǒng)中客戶端與服務(wù)器之間的通訊方式 采用的通訊協(xié)議以 及服務(wù)器對(duì)多碼制客戶端的自適應(yīng)識(shí)別機(jī)制 2 1 跨平臺(tái)的通訊代理設(shè)計(jì)與實(shí)現(xiàn) 2 1 1 通訊代理的設(shè)計(jì)必要性 我們開發(fā)的j m s 采用客戶 服務(wù)器結(jié)構(gòu) 般來說 瘦客戶 胖服務(wù) 是 比較理想的 但是僅僅兩層的結(jié)構(gòu)仍然避免不了服務(wù)器端的任務(wù)向客戶端流動(dòng) 并且如果客戶端與服務(wù)器端之間存在著大量的數(shù)據(jù)傳輸過程 采用c s 兩層結(jié)構(gòu) 無論是對(duì)于客戶端還是對(duì)于服務(wù)器端都會(huì)增加額外的傳輸處理負(fù)擔(dān) 并且也非常 不利于傳輸過程的維護(hù)與擴(kuò)展 另外我們所研究的j m s 是一個(gè)支持異構(gòu)系統(tǒng)的 作業(yè)管理系統(tǒng) 需要實(shí)現(xiàn)很好的支持跨平臺(tái)之間的通訊事務(wù) 實(shí)現(xiàn)作業(yè)投交的透 明性 由于傳統(tǒng)通訊方式的效率并不高 大多數(shù)基于局域網(wǎng)的分布式系統(tǒng) 并不完 全使用分層協(xié)議 而僅是使用它的一個(gè)子集 基于這方面的考慮 以及對(duì)于我們 開發(fā)的作業(yè)管理系統(tǒng)的安全性 擴(kuò)展性等性能方面的考慮 在系統(tǒng)中引入了通訊 代理作為我們系統(tǒng)的通訊機(jī)制 并使用串行化來實(shí)現(xiàn)異構(gòu)系統(tǒng)的數(shù)據(jù)共享和傳 輸 系統(tǒng)中采用客戶 c l i e n t 通訊代理 a g e n t 服務(wù)器 s e r v e r 的三層 結(jié)構(gòu) 這樣一來 不但可以將客戶與服務(wù)器從繁重的數(shù)據(jù)傳輸處理中解脫出來 交由通訊代理 a g e n t 來全權(quán)處理通信過程 而且對(duì)于通信接口的擴(kuò)展與維護(hù) 也變得非常的容易和方便 同時(shí)可以很容易實(shí)現(xiàn)跨平臺(tái)的數(shù)據(jù)通訊 采用通訊代理a g e n t 來處理客戶 服務(wù)器模式環(huán)境下的信息交互 從層次上 看 它處于系統(tǒng)的中間層 從功能上看 向上它可以傳遞和處理上層用戶的各種 請(qǐng)求 向下它可以屏蔽下層的實(shí)現(xiàn)細(xì)節(jié) 提供各種增值服務(wù) 這樣做好處是很多 的 首先 通訊代理a g e n t 根據(jù)客戶方的請(qǐng)求 選擇一個(gè)或若干個(gè)服務(wù)器進(jìn)行處 西北工業(yè)大學(xué)碩士學(xué)位論文 作業(yè)管理系統(tǒng)的通訊機(jī)制研究與設(shè)計(jì) 理 使客戶方無需考慮服務(wù)器方的處理細(xì)節(jié) 只需最后把服務(wù)器處理的結(jié)果作為 對(duì)客戶方請(qǐng)求的響應(yīng)通知客戶 其次 所實(shí)現(xiàn)的客戶方程序與服務(wù)器方程序的完全分離 使得軟件易于修改 移植和維護(hù)與擴(kuò)展 客戶將不再同服務(wù)器發(fā)生直接的聯(lián)系 而僅僅需要同代理進(jìn) 行交互 客戶與服務(wù)器之間就可以有更加靈活的關(guān)系存在 在調(diào)用方式保持不變 的前提下 服務(wù)器可以自由地修改或者升級(jí) 客戶方程序也可以自由地按照要求 進(jìn)行更改 而無需通知對(duì)方 再次 將分布計(jì)算同面向?qū)ο蟮母拍钕嗷ソY(jié)合 這樣一來 可以提高軟件重 用率 控制冗余度等 由此帶來諸多好處 最后 實(shí)現(xiàn)了異構(gòu)的機(jī)器上互相傳輸數(shù)據(jù)的功能 能夠?qū)⒉煌脚_(tái)上的各種 數(shù)據(jù)準(zhǔn)確地傳輸?shù)搅硪粋€(gè)異構(gòu)結(jié)點(diǎn) 而且是相同的數(shù)據(jù)格式 滿足了異構(gòu)平臺(tái)數(shù) 據(jù)傳輸?shù)男阅芤?因此我們使用通訊代理機(jī)制 c o m m u n i c a t i o na g e n t 以下簡(jiǎn)稱c o m a g e n t 來對(duì)j m s 中的網(wǎng)絡(luò)通訊進(jìn)行全面的代理 c o r n a g e n t 的原理如圖2 1 所示 在 我們引入了c o m a g e n t 后 j m s 系統(tǒng)將具有了以下幾個(gè)特點(diǎn) 引入了代理 a g e n t 的概念 一個(gè)代理至少可以有三個(gè)方面的作用 完 成對(duì)客戶方提出的抽象服務(wù)請(qǐng)求的映射 自動(dòng)發(fā)現(xiàn)和尋找服務(wù)器 自動(dòng) 設(shè)定路由 實(shí)現(xiàn)到服務(wù)器方的執(zhí)行 這樣 用戶在編制客戶方程序時(shí)就 可以避免了解過多的細(xì)節(jié) 而只要完整地定義和說明客戶需要完成的任 務(wù)和目標(biāo) 用代理來處理客戶 服務(wù)器模式環(huán)境下應(yīng)用或者應(yīng)用系統(tǒng)之間 交互的信息 稱為請(qǐng)求 r e q u e s t 和響應(yīng) r e s p o n s e 代理根據(jù)客戶 方的請(qǐng)求 選擇 個(gè)或若干個(gè)服務(wù)器進(jìn)行處理 使客戶方無需考慮服務(wù) 器方的處理細(xì)節(jié) 只需最后把服務(wù)器處理的結(jié)果作為對(duì)客戶方請(qǐng)求的響 應(yīng)通知客戶 客戶方和服務(wù)器方相互獨(dú)立無關(guān) 使得軟件易于修改 移 植和維護(hù) 所實(shí)現(xiàn)的客戶方程序與服務(wù)器方程序的完全分離 這與以面向過程調(diào)用 機(jī)制為基礎(chǔ)的客戶 服務(wù)器模式存在著很大的不同 客戶將不再同服務(wù)器 發(fā)生直接的聯(lián)系 而僅僅需要同代理進(jìn)行交互 客戶與服務(wù)器之間就可 以有更加靈活的關(guān)系存在 在調(diào)用方式保持不變的前提下 服務(wù)器可以 自由地修改或者升級(jí) 客戶方程序也可以自由地按照要求進(jìn)行更改 而 無需通知對(duì)方 西北工業(yè)丈學(xué)碩l 學(xué)位論文 作業(yè)管理系統(tǒng)的通訊機(jī)制研究與設(shè)計(jì) 將分布計(jì)算同面向?qū)ο蟮母拍钕嗷ソY(jié)合 這樣 可以提高軟件重用率 控制冗余度等 由此帶來諸多好處 如易維護(hù)性 易擴(kuò)展性等 將所有消息傳遞的細(xì)節(jié)都隱藏起來 可以像調(diào)用本地服務(wù)進(jìn)程一樣方便 的調(diào)用遠(yuǎn)程服務(wù)進(jìn)程 實(shí)現(xiàn)了異構(gòu)的機(jī)器上互相傳輸數(shù)據(jù)的功能 能夠?qū)⒉煌脚_(tái)上的各種數(shù) 據(jù)準(zhǔn)確地傳輸?shù)搅硪粋€(gè)異構(gòu)結(jié)點(diǎn) 而且是相同的數(shù)據(jù)格式 c o m a g e n t 通訊 通訊客 由 將 執(zhí) 客戶 數(shù) 據(jù) 行 轉(zhuǎn) 客 客 義 戶 服 端 通訊服 務(wù) 端 命 戶 x 務(wù)認(rèn) 令 程 通訊 序 服務(wù) 識(shí) 的 編 碼 一 圖2 1c o m a g e n t 通訊原理幽 從圖2 1 中我們可以了解到整個(gè)j m s 通訊的大致過程 首先 客戶機(jī)通過c o m a g e n t 發(fā)送消息后 就堵塞等待服務(wù)器端的執(zhí)行結(jié) 果 當(dāng)消息到達(dá)服務(wù)器后 由服務(wù)器端的通訊服務(wù)器對(duì)信包進(jìn)行解析 得到客戶 命令以及參數(shù) 然后將其傳送給與實(shí)際服務(wù)器進(jìn)程相捆綁的執(zhí)行服務(wù)器 即作業(yè) 管理系統(tǒng)中的事件分發(fā)中心 作業(yè)引擎 進(jìn)行作業(yè)分發(fā)和執(zhí)行 如果發(fā)生異常 則由通訊代理的異常捕捉對(duì)象將其捕獲 并進(jìn)行異常