一種面向分布式資源的工作流系統(tǒng)--Pegasus.doc

精品論文一種面向分布式資源的工作流系統(tǒng)-pegasus余陶然 北京郵電大學(xué)信息與通信工程學(xué)院，北京 (100876) e-mail：摘要：pegasus 是由美國(guó)南加州大學(xué)網(wǎng)格技術(shù)中心開發(fā)出的一個(gè)開源的工作流映射引擎， 它的主要功能是將復(fù)雜抽象的科學(xué)工作流映射到分布式資源上，它使用戶從實(shí)際的運(yùn)行環(huán)境中解放出來，而只需要考慮抽象層面上的工作流表示問題。pegasus 在工作的過程中，首先 通過查閱 sc 目錄查找當(dāng)前可用的并且能通過驗(yàn)證的資源，接著利用 rc 目錄中的中間資源信息對(duì)工作流進(jìn)行化簡(jiǎn)，在得到最簡(jiǎn)的抽象工作流之后，根據(jù)用戶所選擇的調(diào)度算法進(jìn)行站 點(diǎn)的選擇，然后將運(yùn)行時(shí)所需要的數(shù)據(jù)和可執(zhí)行程序?qū)氲较鄳?yīng)的站點(diǎn)，最后在各個(gè)站點(diǎn)運(yùn)行完相應(yīng)的任務(wù)后，將運(yùn)行后的結(jié)果進(jìn)行分析整合再傳送給用戶端。本文的結(jié)構(gòu)安排如下： 首先介紹常見類型的工作流，接著分析 pegasus 的整體框架、目錄結(jié)構(gòu)以及實(shí)際運(yùn)行時(shí)的環(huán)境和工作流程，最后基于上述研究結(jié)果，提出 pegasus 目前存在的不足與未來發(fā)展方向。 關(guān)鍵詞：pegasus；科學(xué)工作流；網(wǎng)格1引言現(xiàn)今許多科學(xué)實(shí)驗(yàn)都需要對(duì)海量的數(shù)據(jù)進(jìn)行分析計(jì)算，分析計(jì)算過程可能非常復(fù)雜并且 需要使用大量的資源，而這些資源可能分散在不同的地理位置，歸屬于不同的組織，同時(shí)參 與實(shí)驗(yàn)的科研人員也可能來自不同的組織1。在這樣的研發(fā)環(huán)境下，開發(fā)大規(guī)模的應(yīng)用程序 對(duì)協(xié)作性有很高的要求，并且在具體的研發(fā)過程中會(huì)面臨多方面的挑戰(zhàn)，比如對(duì)應(yīng)用程序的 各個(gè)組成部分以及大量數(shù)據(jù)的管理，如何在分布式的資源上成功并且高效的運(yùn)行等問題。在研發(fā)過程中，我們習(xí)慣將應(yīng)用程序的開發(fā)和實(shí)際的運(yùn)行分開考慮。進(jìn)行應(yīng)用程序開發(fā) 時(shí)，只專注于如何在該科研領(lǐng)域?qū)崿F(xiàn)某個(gè)想法和創(chuàng)意，而不去過多關(guān)注實(shí)際運(yùn)行時(shí)所使用的 資源等問題；而在實(shí)際的運(yùn)行過程中，我們則著重關(guān)注使用哪些資源，這些資源位于什么地 理位置，如何高效地使用這些資源等問題2。本文中將要介紹的 pegasus 工作流系統(tǒng)是一個(gè)把在應(yīng)用程序開發(fā)過程中創(chuàng)建的工作流實(shí) 例轉(zhuǎn)化為在實(shí)際的環(huán)境中的可運(yùn)行的可執(zhí)行工作流的開源軟件。pegasus 使得科研人員在開 發(fā)時(shí)無需考慮實(shí)際的運(yùn)行環(huán)境是網(wǎng)格，是 condor 池，還是某臺(tái)主機(jī)，而只需在應(yīng)用層上設(shè) 計(jì)工作流。并且 pegasus 具有靈活的框架結(jié)構(gòu)，可以適用于眾多的科研領(lǐng)域和各種復(fù)雜的運(yùn) 行環(huán)境。2工作流的類型 本小節(jié)將介紹工作流的三種常見形式：模板、實(shí)例和可執(zhí)行工作流。 模板：同編程語(yǔ)言中的模板概念類似，模板為各個(gè)科學(xué)領(lǐng)域提供一些基本模塊和模塊間的聯(lián)系，但不包含具體應(yīng)用所涉及到的數(shù)據(jù)和資源。模板可以由許多科研人員共同協(xié)商制定， 一旦定制好了，可以添加進(jìn)庫(kù)中供將來使用。實(shí)例：在模板的基礎(chǔ)上添加進(jìn)具體應(yīng)用涉及的數(shù)據(jù)，也可稱作抽象工作流。工作流實(shí)例 可以唯一的標(biāo)識(shí)某一科學(xué)領(lǐng)域的某個(gè)具體應(yīng)用，但不包含具體運(yùn)行時(shí)使用的相關(guān)資源信息。工作流實(shí)例靈活性較強(qiáng)，可以映射到不同的運(yùn)行環(huán)境中。 可執(zhí)行工作流：在實(shí)例的基礎(chǔ)上添加進(jìn)相關(guān)資源信息，也稱作具體工作流?？蓤?zhí)行工作流將定義每個(gè)具體應(yīng)用中將使用的資源，提供和數(shù)據(jù)有關(guān)的導(dǎo)入、導(dǎo)出、數(shù)據(jù)注冊(cè)或在遠(yuǎn)端 運(yùn)行環(huán)境中創(chuàng)建工作文件夾等功能。- 7 -圖 1 是抽象工作流的一個(gè)例子，由四個(gè)任務(wù)組成，ti 代表一個(gè)任務(wù)，fi 代表一個(gè)邏輯文件名。輸入文件 f1 經(jīng)由任務(wù) t1 處理后，生成 2 個(gè) f2 文件。這兩個(gè)文件由 t2 和 t3 處理 分別生成文件 f3 和 f4。然后將文件 f3 和 f4 同時(shí)交給任務(wù) t4 處理得到最終想要得 f5 文 件。這就是一個(gè)工作流實(shí)例。圖 1 工作流實(shí)例的一個(gè)例子產(chǎn)生工作流實(shí)例的方法通常有三種。1.根據(jù)預(yù)先定義的規(guī)則直接創(chuàng)建工作流實(shí)例，該方法比較適合那些具有工作流概念并 且有設(shè)計(jì)可執(zhí)行工作流經(jīng)驗(yàn)的科研人員。2.根據(jù)用戶提供的使用 vdl 語(yǔ)言（virtual data language）描述的部分邏輯工作流，使 用 chimera 創(chuàng)建工作流實(shí)例3.借助 composition analysis tool(cat)之類的智能化工作流編輯器來創(chuàng)建抽象工作 流。不管是用哪種方法產(chǎn)生的工作流實(shí)例，最終都需要映射到實(shí)際環(huán)境中的資源上去執(zhí)行。 而工作流映射問題通?？紤]的是如何使工作流的整體執(zhí)行時(shí)間最短，該時(shí)間是任務(wù)在遠(yuǎn)端主 機(jī)上的運(yùn)行時(shí)間和將數(shù)據(jù)傳輸?shù)竭h(yuǎn)端主機(jī)導(dǎo)入、導(dǎo)出耗費(fèi)時(shí)間的總和。3pegasus的設(shè)計(jì)3.1 pegasus 的體系結(jié)構(gòu)pegasus（planning for execution in grids）是國(guó)外的一個(gè)開源工作流映射引擎3。從圖 2 中可以看出，pegasus 通過自動(dòng)地把抽象的工作流描述映射到分布式的執(zhí)行環(huán)境上，將各個(gè) 科學(xué)領(lǐng)域和實(shí)際運(yùn)行環(huán)境聯(lián)系起來。簡(jiǎn)單來說就是把輸入的工作流實(shí)例轉(zhuǎn)化為相應(yīng)的可執(zhí)行 工作流的開源軟件。圖 2 pegasus 的體系結(jié)構(gòu)通常 pegasus 和 chimera 以及 dagman 一起構(gòu)成的 griphyn 虛擬數(shù)據(jù)系統(tǒng)45，該系統(tǒng) 已經(jīng)成功的執(zhí)行了很多由數(shù)量眾多的短期小工作組成的大型工作流，和由少數(shù)幾個(gè)長(zhǎng)期的大 工作組成的工作流。圖 3 描述了工作流的產(chǎn)生、映射和執(zhí)行過程。用戶通過 vdl 語(yǔ)言自定 義數(shù)據(jù)，chimera 建立相應(yīng)的抽象工作流表示，pegasus 將該抽象工作流映射成可執(zhí)行的工作流，然后由 dagman 來具體執(zhí)行這些工作流。圖 3 典型的工作流管理系統(tǒng)3.2 pegasus 目錄結(jié)構(gòu)pegasus 中主要使用三個(gè)目錄，用于發(fā)現(xiàn)數(shù)據(jù)的地理位置、執(zhí)行任務(wù)的主機(jī)、可用的資 源和它們的特性。本小節(jié)將逐一介紹這三個(gè)目錄。（1） rc（replica catalog,備份目錄） 備份目錄用于動(dòng)態(tài)的收集工作流運(yùn)行所需數(shù)據(jù)的地理位置信息。輸入數(shù)據(jù)是在工作流執(zhí)行前就必須具備的數(shù)據(jù)源，已經(jīng)存在的中間數(shù)據(jù)的目錄信息能夠幫助數(shù)據(jù)重復(fù)利用并且在一 定程度上化簡(jiǎn)了工作流。備份目錄存儲(chǔ)了從邏輯文件到物理文件的映射，比如物理文件的所 在站點(diǎn)。我們借助 globus 的 rls（replica location service）來實(shí)現(xiàn)備份目錄。rls 是由包 含邏輯文件名到物理文件名映射信息以及概括本地目錄內(nèi)容的分布式索引信息的本地目錄 組成分布式備份管理系統(tǒng)。（2） tc（transformation catalog）該目錄用于收集網(wǎng)格中 transformations 在什么地方安裝的相關(guān)信息。transformations 是 和工作流實(shí)例中的任務(wù)相對(duì)應(yīng)的可執(zhí)行程序。和備份目錄類似，tc 目錄存儲(chǔ)從邏輯文件到 物理文件的映射。除了安裝的可執(zhí)行文件信息，該目錄也存儲(chǔ)靜態(tài)鏈接的可執(zhí)行程序的位置信息作為物理 映射的一部分。該靜態(tài)鏈接可以被導(dǎo)入到遠(yuǎn)端主機(jī)，作為工作流的一部分。該目錄同時(shí)也存 儲(chǔ)可執(zhí)行程序的諸如運(yùn)行的操作系統(tǒng)、使用什么編譯器、需要多少內(nèi)存等相關(guān)屬性。默認(rèn)的 tc 目錄的實(shí)現(xiàn)是一個(gè)遵從預(yù)先定義的規(guī)則的數(shù)據(jù)庫(kù)。（3） sc（site catalog） 該目錄用于收集關(guān)于遠(yuǎn)端站點(diǎn)的位置信息。它同時(shí)存儲(chǔ)靜態(tài)和動(dòng)態(tài)信息。靜態(tài)信息包括如下信息：zgridftp 的服務(wù)器端，可以將數(shù)據(jù)從站點(diǎn)上導(dǎo)入和導(dǎo)出。zgram jobmanager，用于提交任務(wù)給網(wǎng)格站點(diǎn)上的本地調(diào)度器。z數(shù)據(jù)可以導(dǎo)入并作為運(yùn)行工作流的一部分的臨時(shí)目錄 z最終的數(shù)據(jù)可以導(dǎo)出的存儲(chǔ)目錄 動(dòng)態(tài)信息包括如下信息：z可利用的處理器數(shù)目z可利用的內(nèi)存大小z可利用的磁盤空間大小site catalog 可用 mds(monitoring and discovery service)提供的數(shù)據(jù)和用戶或站點(diǎn)管理 員提供的附加信息構(gòu)成，或者由 grid 特定的目錄（像是 gridcat）構(gòu)成。3.3 實(shí)際運(yùn)行環(huán)境實(shí)際的運(yùn)行環(huán)境中包含的主機(jī)可能有單處理器的普通主機(jī)、多處理器的集群系統(tǒng)和高性 能的并行系統(tǒng)，這些具有各異性的主機(jī)由網(wǎng)絡(luò)連接成一個(gè)整體。圖 3 工作流的典型運(yùn)行環(huán)境圖 3 描述了一個(gè)典型的運(yùn)行環(huán)境。每個(gè)資源都包括一個(gè)對(duì)網(wǎng)絡(luò)可見的頭節(jié)點(diǎn)。為了能夠遠(yuǎn)程調(diào)度任務(wù)，資源必須提供一些相關(guān)的服務(wù)和存儲(chǔ)單元，在該環(huán)境中，使用的是 globustoolkit 提供的一些服務(wù)：z遠(yuǎn)程任務(wù)的提交和管理（由 globus 中 gram 的 jobmanager 來負(fù)責(zé)）z遠(yuǎn)程數(shù)據(jù)導(dǎo)入和導(dǎo)出（由 gridftp 來實(shí)現(xiàn)）z資源的狀態(tài)信息（由 mds(monitoring and discovery service)來負(fù)責(zé)），mds 提供可 用資源的數(shù)量和類型，以及資源的靜態(tài)特性(如 cpu 數(shù)目)和動(dòng)態(tài)特性（如當(dāng)前空 閑內(nèi)存大?。﹝資源上的可用數(shù)據(jù)信息（通過 rls(replica location services)的 lrc(local replica catalog)來提供），rls 是由包含邏輯文件名到物理文件名映射信息以及概括本地目 錄內(nèi)容的分布式索引信息的本地目錄組成分布式備份管理系統(tǒng)。為了在這樣的環(huán)境中運(yùn)行 pegasus，必須有一個(gè)資源端安裝并提供 pegasus、dagman 和 condor-g 軟件6。后兩個(gè)軟件提供了工作流運(yùn)行引擎和在各種基于 globus 的資源上遠(yuǎn)程 提交任務(wù)的能力。我們稱這個(gè)資源端為任務(wù)提交主機(jī)。該主機(jī)還得維護(hù)在網(wǎng)格資源上安裝的 應(yīng)用軟件的相關(guān)信息（保存在 tc 目錄中），以及用戶關(guān)于運(yùn)行環(huán)境的某些要求（保存在 st目錄中）。任務(wù)提交主機(jī)也可以作為一些小工作流的本地運(yùn)行平臺(tái)。3.4 pegasus 工作流程pegasus 是一個(gè)將工作流實(shí)例通過一系列的轉(zhuǎn)化最終變?yōu)榭蓤?zhí)行工作流的軟件。工作流 實(shí)例（如圖 1）由一些用邏輯轉(zhuǎn)化、邏輯輸入和輸出文件名描述的任務(wù)組成的，與資源無關(guān)。 pegasus 的目的就是在任務(wù)和可利用資源之間找到一個(gè)最佳的映射78。圖 4 pegasus 的工作流程z定義可利用的并且有使用權(quán)限的資源集合pegasus 將查閱 sc 目錄找到當(dāng)前可利用的 資源，同時(shí)試著通過這些資源的驗(yàn)證以確定是否具有足夠的權(quán)限使用這些資源。z工作流化簡(jiǎn) pegasus 將查閱 rc 目錄確定有哪些可利用的中間數(shù)據(jù)，并以此為依據(jù)對(duì)工 作流進(jìn)行化簡(jiǎn)。最極端的情況是，最終所需的數(shù)據(jù)已經(jīng)存在，則除了將數(shù)據(jù)傳輸?shù)接脩?指定的地點(diǎn)外不需要再執(zhí)行其它任務(wù)了。以圖 1 中的工作流實(shí)例為例，如果在 rc 目錄 中查到文件 f3 和 f4 已經(jīng)存在并可用，則將工作流化簡(jiǎn)為只剩下任務(wù) t4。工作流化簡(jiǎn) 是基于直接獲取已有數(shù)據(jù)比重新計(jì)算這些數(shù)據(jù)更為高效的假設(shè)之上的。此時(shí)就任務(wù)數(shù)量 來說，抽象工作流已經(jīng)是最簡(jiǎn)了。z站點(diǎn)選擇得到最簡(jiǎn)抽象工作流后，下一步工作是進(jìn)行站點(diǎn)選擇。該選擇參考可利用資 源的情況和所需的輸入數(shù)據(jù)的地理位置等因素。站點(diǎn)選擇的算法可以由用戶來設(shè)定，然 后作為 pegasus 的一個(gè)插件來運(yùn)行。目前 pegasus 提供的選擇算法有：隨機(jī)算法、循環(huán)（round robin）算法、基于組的調(diào)度算法和 min min 調(diào)度算法。這些調(diào)度算法將利用 sc 目錄中的資源相關(guān)信息、tc 目錄中應(yīng)用軟件的位置信息和 rc 目錄中備份數(shù)據(jù)的位置 信息，以及 pegasus 插件中其他信息服務(wù)提供的信息。z任務(wù)集群pegasus 提供將一些使用相同計(jì)算資源的小任務(wù)合并在一塊的功能。z可執(zhí)行文件的導(dǎo)入當(dāng)遠(yuǎn)端網(wǎng)格站點(diǎn)上缺少某個(gè)可執(zhí)行文件或是該站點(diǎn)上的可執(zhí)行文 件已經(jīng)過期時(shí)，pegasus 可以提供將可執(zhí)行文件導(dǎo)入到該站點(diǎn)的服務(wù)。目前還只能導(dǎo)入 靜態(tài)鏈接的可執(zhí)行文件，并且該可執(zhí)行文件作為輸入文件來處理。z添加數(shù)據(jù)導(dǎo)入導(dǎo)出和注冊(cè)任務(wù)繼續(xù)圖 1 的例子，當(dāng)工作流化簡(jiǎn)為只剩下任務(wù) t4 時(shí)， 得出的可執(zhí)行工作流描述如圖 5 所示，包括 3 個(gè)導(dǎo)入任務(wù)：其中 2 個(gè)是將輸入文件導(dǎo)入 到站點(diǎn) r(pegasus 所選擇的)，1 個(gè)是將可執(zhí)行文件 t4 導(dǎo)入到站點(diǎn) r。之后將在站點(diǎn) r 上運(yùn)行任務(wù) t4，并將生成的輸出文件 f5 導(dǎo)出到用戶指定的站點(diǎn) u，并在 rls 中注冊(cè)f5。需要指出的是圖中可執(zhí)行工作流只是一個(gè)“計(jì)劃”，需要由實(shí)際的工作流運(yùn)行引擎來執(zhí)行。z提交生成的文件此時(shí)的工作流包括計(jì)算、數(shù)據(jù)傳輸和注冊(cè)，并且已經(jīng)具有和實(shí)際執(zhí)行 環(huán)境相對(duì)應(yīng)的結(jié)構(gòu)。最后我們需要將該工作流寫成能被實(shí)際的工作流執(zhí)行引擎（如 dagman）識(shí)別的文件。 該文件將被遞交給 dagman 和 condor-g 去執(zhí)行，dagman 根據(jù)工作流之間的聯(lián)系將任務(wù)提交給 condor-g，由 condor-g 將任務(wù)指派給目標(biāo)資源運(yùn) 行。4總結(jié)圖 5 對(duì)應(yīng)化簡(jiǎn)后的抽象工作流（圖 1 例子）的可執(zhí)行工作流隨著對(duì)網(wǎng)格研究的不斷深入，網(wǎng)格工作流已經(jīng)成為該領(lǐng)域的一個(gè)重要的研究方向。pegasus 作為出色的網(wǎng)格工作流引擎，已經(jīng)廣泛的應(yīng)用于天文、高能物理、生物醫(yī)學(xué)等各個(gè) 領(lǐng)域91011，但是由于網(wǎng)格的動(dòng)態(tài)性、分布性、異構(gòu)性以及自治性的特點(diǎn)，和人們對(duì)網(wǎng)格應(yīng) 用的要求越來越高，pegasus 還有很多方面亟待改進(jìn)。例如它的建模過程缺乏動(dòng)態(tài)性的考慮， 不能根據(jù)工作流的運(yùn)行情況實(shí)時(shí)地進(jìn)行調(diào)整，一定程度上造成網(wǎng)格資源的浪費(fèi)；另一方面它 采用盡力而為的調(diào)度策略，沒有很好的支持用戶的 sla 保證，同時(shí)資源發(fā)現(xiàn)功能也不是很 完善。所以考慮如何引入優(yōu)化的調(diào)度算法，以及將 pegasus 擴(kuò)展成基于策略的自適應(yīng)工作流 引擎具有十分重要的意義，需要我們進(jìn)一步的探索和研究。參考文獻(xiàn)1 ewa deelman, gaurang mehta, gurmeet singh, et alworkflows for e-sciencemheidelbergspringerberlin20072 daniel s. katz, joseph c. jacob, g.bruce berriman, et alcomparison of two methods for buildingastronomical image mosaics on a gridaparallel processing icpp 2005 workshopscusa:ieee computersociety2005:85-943 /index.php4 ewa deelman, james blythe, yolanda gil, et alworkflow management in griphynagrid resourcemanagement: state of the art and future trendscusa: kluwer academic publishers2004: 99 -1165 p avery, i fosterthe griphyn project: towards petascale virtual data gridsrgriphyn report2000-1usansf information and technology research program20006 /condor/7 ewa deelman, james blythe, yolanda gil, et alpegasus: mapping scientific workflows onto the gridmheidelbergspringer berlin2004.8 ewa deelman, gurmeet singh, mei-hui su, et alpegasus: a framework for mapping complex scientific workflows onto distributed systems jscientific programming2005volume 12 number 3: 219-2379 gurmeet singh, ewa deelmanmontage on the gridrnvo technical report2003.10 ewa deelman, scott callaghan, edward field, et almanaging large-scale workflow execution from resource provisioning to provenance tracking: the cyber shake exampleme-science 2006amsterdam2006 11 gideonjuve,ewadeelman resourceprovisioningoptionsforlarge-scalescientific workflowsz indianaworkshop on scientific workflows and business workflow standards in e-science(swbes)2008.a workflow system based on distributed resources- pegasusyu taoranschool of information and communications engineering, beijing university of posts andtelecommunications, beijing (100876)abstractpegasus is an open source workflow system developed by the center for grid technologies atuniversity of southern california. it can map the complex scientific workflow onto distributed resources. it enables users to concentrate on their fields and to build only abstract workflow