科學(xué)工作流系統(tǒng)Kepler及其應(yīng)用-發(fā)展數(shù)據(jù)資源提升服ppt課件

1、科學(xué)任務(wù)流kepler及其運用 周園春、林小光、程潔黃剛、王鵬飛、屈俠 2021-10-28背景任務(wù)流概述科學(xué)任務(wù)流系統(tǒng)簡介Kepler系統(tǒng)及其運用基于Web的科學(xué)任務(wù)流目錄背景海量科學(xué)數(shù)據(jù)數(shù)字化技術(shù)和無處不在的網(wǎng)絡(luò)開展推進了數(shù)據(jù)的搜集、產(chǎn)生、共享、與分析?？茖W(xué)數(shù)據(jù)規(guī)模越來越龐大，科學(xué)實驗過程也越來越復(fù)雜?？茖W(xué)與工程研討日益成為數(shù)據(jù)密集型的任務(wù)。 背景超級計算環(huán)境與察看實驗、實際分析鼎足而立的科學(xué)計算已成為e-Science的中心?，F(xiàn)今很多交叉和前沿學(xué)科的研討越來越需求高性能計算，如大氣科學(xué)計算、生命科學(xué)計算、湍流計算、分子模擬等。由于這些研討所需的數(shù)據(jù)資源和計算資源非常龐大，目前各研討機構(gòu)很

2、難為這些科研需求提供足夠的資源，導(dǎo)致了很多研討無法往前推進。 背景科學(xué)密集型實驗迭代的科學(xué)數(shù)據(jù)處置流程源數(shù)據(jù)獲取Web效力、SRB、FTP、數(shù)據(jù)輸入數(shù)據(jù)預(yù)處置數(shù)據(jù)運算數(shù)據(jù)分析數(shù)據(jù)發(fā)掘結(jié)果輸出結(jié)果數(shù)據(jù)集可視化圖片等背景動態(tài)的科學(xué)邏輯處置過程雖然數(shù)據(jù)密集型科學(xué)問題的求解過程也遵照一定的根本流程，但是整個過程中的諸多細(xì)節(jié)卻是動態(tài)的、不確定的，科學(xué)實驗流程的定義往往是不完好的，在執(zhí)行過程中也需求根據(jù)實驗流程的運轉(zhuǎn)態(tài)勢做出動態(tài)修正。任務(wù)流概述商業(yè)任務(wù)流任務(wù)流的概念來源于辦公自動化領(lǐng)域。它所關(guān)注的問題是處置過程的自動化，它根據(jù)一系列定義的規(guī)那么，把文檔、信息或義務(wù)在參與者之間傳送，以到達(dá)某種目的。 任務(wù)流

3、管理聯(lián)盟WfMC對任務(wù)流的定義：一類可以完全或者部分自動執(zhí)行的運營過程，根據(jù)一系列過程規(guī)那么、文檔、信息或義務(wù)可以在不同的執(zhí)行者之間傳送、執(zhí)行。任務(wù)流概述商業(yè)任務(wù)流運營過程的一個計算機實現(xiàn)。任務(wù)流管理軟件WfMS是一個軟件系統(tǒng)。用以完成任務(wù)流的定義和管理，并按照在計算機中預(yù)先定義好的任務(wù)流邏輯推進任務(wù)流實例的執(zhí)行。運轉(zhuǎn)在一個或多個任務(wù)流引擎上。與任務(wù)流執(zhí)行者交互，推進任務(wù)流實例的執(zhí)行，并監(jiān)控任務(wù)流的運轉(zhuǎn)形狀。任務(wù)流概述科學(xué)任務(wù)流2O世紀(jì)9O年代，隨著問題求解環(huán)境(PSE)在科學(xué)研討活動中的運用，科學(xué)任務(wù)流和科學(xué)任務(wù)流管理被引入到科學(xué)問題求解環(huán)境中。科學(xué)任務(wù)流就是采用任務(wù)流的思想，用來描畫和控制

4、科學(xué)實驗和過程的執(zhí)行，它是面向e-Science，效力于科學(xué)家，使得科學(xué)家可以更容易的分析和管文科學(xué)數(shù)據(jù)。任務(wù)流概述科學(xué)任務(wù)流科學(xué)任務(wù)流是獲取科學(xué)數(shù)據(jù)包括傳感器數(shù)據(jù)、醫(yī)學(xué)影像、衛(wèi)星圖像、仿真輸出、各類觀測數(shù)據(jù)等等，并對所獲取到的數(shù)據(jù)執(zhí)行復(fù)雜分析的靈敏的工具。 目的在于組合一個寬廣領(lǐng)域的運用程序，從實驗的設(shè)計、執(zhí)行、監(jiān)控到歸檔，以及使得實驗數(shù)據(jù)重用等的管理和分析流水線化。 任務(wù)流概述科學(xué)任務(wù)流Streaming/pipelined executionHighly data-centricCompute-intensiveAnalysis-intensive Visualization-inten

5、siveInterconnection between multiple tools任務(wù)流概述商業(yè)任務(wù)流 VS. 科學(xué)任務(wù)流科學(xué)任務(wù)流面向數(shù)據(jù)量，以數(shù)據(jù)驅(qū)動商業(yè)任務(wù)流面向控制流，事務(wù)驅(qū)動actor namedata (state)portsInput dataparameters Output dataWhat flows through an object is streams of datacallreturnclass namedatamethodsWhat flows through an object is sequential control科學(xué)任務(wù)流系統(tǒng)引見國際上比較成熟的科學(xué)任

6、務(wù)流系統(tǒng)：學(xué)術(shù)領(lǐng)域的：KeplerTavernaTriana商業(yè)性質(zhì)的：DiscoveryNetPipeline-PilotLabView科學(xué)任務(wù)流系統(tǒng)引見KeplerOpen-Source，Java圣地亞哥超算中心地學(xué)、生物信息學(xué)、化學(xué)等科學(xué)任務(wù)流系統(tǒng)引見TavernaOpen-source，JavaOMII-UK 生物信息學(xué)科學(xué)任務(wù)流系統(tǒng)引見TrianaOpen-Source，JavaCardiff University, UK信號、文本、圖片處置科學(xué)任務(wù)流系統(tǒng)引見商業(yè)性質(zhì)科學(xué)任務(wù)流科學(xué)任務(wù)流系統(tǒng)引見國內(nèi)相關(guān)研討現(xiàn)狀目前，國內(nèi)在科學(xué)任務(wù)流領(lǐng)域的研討尚處于起步階段。許多詳細(xì)領(lǐng)域的研討機構(gòu)曾經(jīng)

7、開場著手運用國際上成熟的科學(xué)任務(wù)流系統(tǒng)如Kepler等進展涉及科學(xué)數(shù)據(jù)處置的大規(guī)模復(fù)雜科學(xué)實驗。一些大學(xué)及研討所也開場對科學(xué)任務(wù)流系統(tǒng)進展了針對性研討，比如武漢大學(xué)軟件工程國家重點實驗室、南京大學(xué)計算機軟件新技術(shù)國家重點實驗室等。Kepler系統(tǒng)Kepler允許科學(xué)家設(shè)計科學(xué)任務(wù)流，并運用基于網(wǎng)格的分布式計算方法執(zhí)行這些任務(wù)流。Kepler是用于科學(xué)數(shù)據(jù)分析與建模的軟件運用程序。Kepler運用一個可視化展現(xiàn)科學(xué)任務(wù)流模型，用以展現(xiàn)離散分析和建模組件之間的數(shù)據(jù)流，使得創(chuàng)建可執(zhí)行模型的過程簡單化。 Kepler系統(tǒng)Kepler用戶即使沒有計算機科學(xué)背景，也可以運用規(guī)范組件來生成任務(wù)流，或者修正現(xiàn)

8、有的任務(wù)流模型以滿足需求。Kepler集成了一些通用數(shù)據(jù)分析及可視化軟件，如Matlab、R等，為領(lǐng)域科學(xué)家提供了方便。高級用戶也能從Kepler提供的大量優(yōu)良特性獲益，特別是當(dāng)運用一個方便了解地以及容易分享的方式呈現(xiàn)一個復(fù)雜程序和分析。 Kepler系統(tǒng)Kepler構(gòu)建于另一個開源可視化建模系統(tǒng)PtolemyII之上，為科學(xué)家提供了一個方便易用的任務(wù)平臺。Kepler是一個用戶友好的程序，允許科學(xué)家經(jīng)過簡單地遷延、銜接一些特定的組件，建立滿足條件的科學(xué)任務(wù)流，而不用手工整合大量的軟件程序，也不用借助于計算機程序員的協(xié)助。 Kepler系統(tǒng)Ptolemy系統(tǒng)由UC Berkeley大學(xué)開發(fā)，用

9、于研討并發(fā)、實時以及嵌入式系統(tǒng)的建模、仿真和設(shè)計。Kepler系統(tǒng)很好地承繼和開展了Ptolemy面向角色建模的特性，并參與了大量新特性，用于支持科學(xué)任務(wù)流。主要表達(dá)在對科學(xué)數(shù)據(jù)的獲取、處置。Kepler系統(tǒng)術(shù)語角色actor：執(zhí)行一系列復(fù)雜操作的組件，是SWF中處置科學(xué)數(shù)據(jù)的實體。參數(shù)parameter：角色可配置的值。端口port：角色間供相互銜接的通道，有輸入端口和輸出端口。銜接relation：用于銜接角色的端口，是數(shù)據(jù)傳送的通道。Kepler系統(tǒng)DirectorActorActorActorPortPortThe Director controls the sequence of a

10、ctorexecution. Each actor takes data on itsinput ports, processes that data, and sendresults its output ports.Component TabWorkflow Display PanelSearchable Component ListAn actor fires, placing the resulting data in acontainer called a token. The data token thenflows from the output port to the inpu

11、t port of connected actors.Data TokenData TokenBegin workflowexecution buttonActors transform input tokens into output datatokens which then get passed to the next actorunder control of the director.Kepler系統(tǒng)在用Kepler/PtolemyII構(gòu)建的科學(xué)任務(wù)流中，獨立處置詳細(xì)義務(wù)的組件實體被稱為“actor。“actor之間通訊的接口是“port，有input port和output por

12、t兩種。actor運用“parameter來配置和定制相關(guān)的行為。actor之間經(jīng)過“channel相互銜接。Kepler系統(tǒng)類型定義良好的面向角色任務(wù)流模型Define a workflow: W = A: a set of ActorsD: a set of connections: i/o-signature of WM: a director (model of computation): a set of constraintsKepler系統(tǒng)“director指定了模型執(zhí)行的語義，定義了actor如何執(zhí)行，以及相互之間如何通訊。用戶定制好的任務(wù)流模型，包括一個特定領(lǐng)域的“direc

13、tor，以及至少一個“actor。任務(wù)流執(zhí)行的時候，“director控制數(shù)據(jù)在“actor中的流動，按照定制好的流程，調(diào)度部署每個“actor的迭代執(zhí)行。Kepler系統(tǒng)在Kepler/PtolemyII系統(tǒng)中，定制好的科學(xué)任務(wù)流模型以XML文件方式存儲，該XML文件滿足MoMLModeling Markup LanguageXML方式要求。MoML運用DTD文檔類型定義定義。 Kepler系統(tǒng)Contributors for Kepler基于web的科學(xué)任務(wù)流系統(tǒng)該系統(tǒng)擬提供應(yīng)用戶詳細(xì)領(lǐng)域研討人員一個基于web的簡單易用的工具，用于對數(shù)據(jù)密集型科學(xué)實驗的全過程。該方案運用Web效力、SRB

14、、FTP等多種方式獲取研討所需求的科學(xué)數(shù)據(jù)，并經(jīng)過實如今web閱讀器上的VML/SVG可視化操作界面，定制滿足需求的任務(wù)流實例，提交給后臺Kepler/PtolemyII任務(wù)流引擎效力器，經(jīng)過對所獲取的數(shù)據(jù)調(diào)用科學(xué)數(shù)據(jù)專有的處置軟件包括NCL、Matlab、CDO等進展分析計算，最終得到所需求的可視化結(jié)果或是將結(jié)果數(shù)據(jù)反響給用戶。 基于任務(wù)流的科學(xué)數(shù)據(jù)分析平臺分布式數(shù)據(jù)分布式數(shù)據(jù)算法模型個性化的Web空間1)數(shù)據(jù)分析流程可視化定制2)數(shù)據(jù)和算法的管理 模型選擇數(shù)據(jù)資源定位任務(wù)流的計算數(shù)據(jù)和模型的結(jié)合計算結(jié)果前往運用結(jié)果流程定制模型和數(shù)據(jù)管理根據(jù)結(jié)果評價不斷迭代科研人員模型管理數(shù)據(jù)管理基于web

15、的科學(xué)任務(wù)流系統(tǒng)體系架構(gòu)圖數(shù)據(jù)資源層完成對物理資源及分布式資源大規(guī)模科學(xué)數(shù)據(jù)，如IPCC、NCAR等的存取。算法模型庫簡單算法：加、減、乘、除等復(fù)雜操作：統(tǒng)計、聚類分析等 高性能計算環(huán)境基于web的科學(xué)任務(wù)流系統(tǒng)任務(wù)流引擎及中間件層提供一個穩(wěn)定的任務(wù)流引擎 ，并支持資源、引擎、web等之間的通訊。運用Kepler：管理actor的分類信息；處置任務(wù)流實例的運轉(zhuǎn)；動態(tài)添加算法模型actor。 基于web的科學(xué)任務(wù)流系統(tǒng)Web接口層提供應(yīng)用戶一個設(shè)計良好、方便易用的接口，以組裝、查看、執(zhí)行、管理任務(wù)流實例。提供應(yīng)用于一個一站式效力的web環(huán)境，從數(shù)據(jù)資源獲取、結(jié)果數(shù)據(jù)反響、用戶信息管理、及其它效力。運用Ajax等web技術(shù)開發(fā)?；趙eb的科學(xué)任務(wù)流系統(tǒng)數(shù)據(jù)Data mana