分布式集群系統(tǒng)的調研分析.ppt

分布式集群系統(tǒng) 調研分析,By 吳文泰,2,分布式系統(tǒng)/平臺,proActive Parallel Suite Cluster Virtual Machine for Java（cJVM) Parallel Virtual Machine (PVM) Apache Hadoop (這里不做介紹） Apache Mesos,3,ProActive Parallel Suite,1 ProActive Parallel Suite,4,ProActive Parallel Suite,Brief Intro: 通過ProActive 平臺, 用戶可以立刻對（企業(yè)級）應用進行業(yè)務優(yōu)化和加速，同時可以對企業(yè)云進行管理。 Keys: 可并行、分布式、業(yè)務流程優(yōu)化加速、可以集成高效的云管理。 平臺關鍵組成：3個： Workflow & Parallelization - 各種業(yè)務的并行化 Orchestration & Scheduling - 多應用、多接口支持 Clouds & Grids IaaS - 設施上的異構資源管理,5,ProActive Parallel Suite,Workflow & Parallelization,支持多種技術來優(yōu)化業(yè)務性能：方便應用編程,本地并行化： 支持消息傳遞接口（MPI），OpenMP編程，多線程技術等,分布式+并行： 支持用于并行分布式編程的Java API，REST，以及MapReduce等,核心技術：JAVA Active Objects , IC2D,6,ProActive Parallel Suite,Orchestration & Scheduling,支持多種平臺上的應用：作為調度者,區(qū)別于Workflow & Parallelization： Workflow & Parallelization為客戶端提供一系列接口 Orchestration & Scheduling為管理員管理不同業(yè)務提供特殊的服務器和工具支持,核心：Orchestration & Scheduling Server,7,ProActive Parallel Suite,Clouds & Grids IaaS,管理異構資源（基礎設施）,核心：Clouds & Grids IaaS Server,譬如：跑Linux的VM和Windows的VM,8,ProActive Parallel Suite,可用狀況: Open-sourced 組件：Studio 1.4 Java Active Objects 5.4 Scheduler 3.4 Scheduler Web Portal 1.4 Resource Manager 3.4 Cloud & Grid IaaS Web Portal 1.4 Matlab Connector 1.2 Scilab Connector 1.2,9,ProActive Parallel Suite,組件下載：支持windows32+64, linux32+64以及MacOS,注冊信息,壓縮包,包含項目文件和exe，是一個IDE，對應Workflow & Parallelization,對應Orchestration & Scheduling server,對應Clouds & Grids IaaS中的計算單元,10,支持的編程方法：在proActive studio中，采用圖形化方式設計workflows來定義并行化調度。 集群搭建的難易程度：一般，除了安裝IDE外，還要配置好另外兩個組件(server和agent)；但網站資料很完整。 支持的語言：JAVA, REST,CLI(命令行）,ProActive Parallel Suite,Orchestration & Scheduling 和 Cloud & Grid Iaas也可以在這一IDE中進行管理,11,Cluster Virtual Machine for Java,2 Cluster Virtual Machine for Java (cJVM),12,Brief Intro: 通過對一個集群進行虛擬化使得對應用可見的僅是單個系統(tǒng)；而實際上對象和線程是存在和運行于多臺虛擬機上的。 優(yōu)點：應用編程方便，高可擴展性,Transparent 對App透明,Cluster Virtual Machine for Java,13,核心：Java Server Applications (JSAs),Cluster Virtual Machine for Java,JSAs的運行環(huán)境Cluster VM (for java),擴展性：“throwing more hardware at the problem.“ 要擴展服務器上App的性能，就投入更多的硬件（VM）到中間這層,14,支持編程語言: Java 可用情況：“NOTE: This project is no longer active since 2000! ” 還沒有找到可用資源,Cluster Virtual Machine for Java,15,Parallel Virtual Machine,3 Parallel Virtual Machine (PVM),16,Brief Intro: 使用網絡連接各種異構系統(tǒng)（如Windows, Unix），使之看起來就像一個大型“并行計算機”。,Parallel Virtual Machine,Keys: 模擬并行計算機，從而App可以使用并行編程技術,Supported Language: C, C+, Fortran,17,代碼示例：,Parallel Virtual Machine,Pvm3.h庫,并行編程的風格,18,可用情況：Open-Sourced，提供lib還有PVM安裝程序，還有詳細安裝/配置的說明文檔；,Parallel Virtual Machine,里面是exe文件,Lib,19,Parallel Virtual Machine,安裝PVM最好先裝installshield（微軟開發(fā)的一個軟件），否則就要按如下步驟人工配置,1999年編寫的文檔，所以只提到了Windows NT和95/98系統(tǒng)；要試一下才知道是否支持2000以上的系統(tǒng)。（PVM項目到2011年都有更新）,20,支持語言： C, C+, Fortran 算法接口: 基本上是并行編程用到的基本算法，主要包含在pvm3.h中 支持環(huán)境：Windows (only NT ,95/98?) 搭建難易程度： 難，因為說明文檔比較舊； 使用方式：安裝installshield版本的PVM，使用源碼庫,Parallel Virtual Machine,21,Apache Mesos,4 Apache Mesos,22,Mesos,Mesos計算框架一個集群管理器，提供了有效的、跨分布式應用或框架的資源隔離和共享，可以運行Hadoop、MPI、Hypertable、Spark 結構：Master/Slave結構,資源申請，內部調度,單例，管理整個集群，負責資源分配+調度,運行于Slave服務器上，負責執(zhí)行tasks,23,可用性：開源（代碼也可在github上下載）,Mesos,官方最新版本：0.19.0,24,支持環(huán)境： Linux (64 Bit) and MacOSX (64 Bit) （可能因為是一個很新的項目） 配置難易程度：一般（官網配置介紹是以Ubuntu 12.04 64位為例，詳見： /gettingstarted/ 支持語言：C+,Java,Python 執(zhí)行task前要運行對應的框架：,Mesos,C+,Java,Python,25