計算機(jī)系統(tǒng)結(jié)構(gòu)-集群、網(wǎng)格和云計算

集群、網(wǎng)格和云計算6.1集群概述6.2集群系統(tǒng)的軟硬件組成

6.3集群系統(tǒng)的設(shè)計和維護(hù)目錄CONTENT6.4集群系統(tǒng)的性能測試6.5超級流水處理機(jī)6.6

網(wǎng)格6.7

云計算6.8

大數(shù)據(jù)6.1集群概述集群計算機(jī)系統(tǒng)能夠以較短的研制周期、集成最新技術(shù)、匯集多臺計算機(jī)的力量，達(dá)到較高的性能價格比，其技術(shù)發(fā)展在國際上受到重視。它通過高速互連網(wǎng)絡(luò)把通用計算機(jī)（如高檔計算機(jī)、工作站或PC）連接起來，采用消息傳遞機(jī)制（MPI，PVM等），向最終用戶提供單一并行編程環(huán)境和計算資源，因此它通常也稱為“計算機(jī)群”、“工作站群”、“工作站網(wǎng)絡(luò)”或“網(wǎng)絡(luò)并行計算”等。6.1集群概述集群計算機(jī)根據(jù)研制理念的不同，可以分為：NOW類型集群：追求高速通信，進(jìn)行全局資源管理，采用時鐘周期“竊取”技術(shù)來利用空閑計算機(jī)的資源；Beowulf類型集群：盡可能使用現(xiàn)成的硬件、免費(fèi)系統(tǒng)軟件、基于TCP/IP建立通信庫、不考慮“竊取”時鐘周期。廣義地講，由SMP節(jié)點(diǎn)構(gòu)成的集群（稱為CLUMPS或Constellations）。6.1集群概述

集群計算機(jī)系統(tǒng)的應(yīng)用面非常廣，除了科學(xué)計算外，還可以用于事務(wù)處理，如用作Web服務(wù)器、網(wǎng)絡(luò)文件服務(wù)器、超級Mail服務(wù)器以及海量廉價存儲系統(tǒng)等。集群計算機(jī)的基本結(jié)構(gòu)如右圖所示，包含負(fù)責(zé)對集群進(jìn)行監(jiān)控和管理等工作的管理節(jié)點(diǎn)、負(fù)責(zé)完成計算任務(wù)的計算節(jié)點(diǎn)、負(fù)責(zé)存儲數(shù)據(jù)的集群存儲、負(fù)責(zé)節(jié)點(diǎn)間互聯(lián)的高速網(wǎng)絡(luò)。6.1集群概述集群根據(jù)性能特性，集群計算機(jī)可以分為三類：6.1集群概述高可用性（HighAvailability）集群簡稱HA集群。這類集群致力于提供高度可靠的服務(wù)—利用集群系統(tǒng)的容錯性對外提供7×24小時的不間斷服務(wù)，如高可用的文件服務(wù)器、數(shù)據(jù)庫服務(wù)等關(guān)鍵應(yīng)用。負(fù)載均衡（LoadBalance）集群這類集群可以使任務(wù)在集群中盡可能平均地分?jǐn)偟讲煌挠嬎愎?jié)點(diǎn)處理，充分利用集群的處理能力，提高對任務(wù)的處理效率，如LVS（LinuxVirtualServer，Linux虛擬服務(wù)器）高性能計算（HighPerformanceComputing）集群簡稱HPC集群。這種集群上運(yùn)行的是專門開發(fā)的并行應(yīng)用程序（如MPI、Hadoop、Spark等），它可以把一個問題的計算任務(wù)分配到多個計算節(jié)點(diǎn)上，利用這些計算節(jié)點(diǎn)的資源來完成任務(wù)，從而完成單機(jī)不能勝任的工作（如果問題規(guī)模太大，單機(jī)計算速度太慢）。這類集群致力于提供單個計算機(jī)所不能提供的強(qiáng)大的計算能力，如天氣預(yù)報、石油勘探與油藏模擬、分子模擬、生物計算等。

集群我國在研制高性能計算機(jī)方面，已經(jīng)取得很多成就。這些高性能計算機(jī)主要分為如下三大類：①PVP向量型超級計算機(jī)，如國防科技大學(xué)1983年研制的銀河Ⅰ（1億次/秒）、1994年研制的銀河Ⅱ（10億次/秒）。②MPP大規(guī)模并行處理超級計算機(jī)，如中國科學(xué)院計算技術(shù)研究所1995年研制的曙光1000（25億次/秒）、國防科技大學(xué)1997年研制的銀河Ⅲ（130億次/秒）和2009年研制的天河一號（4701萬億次/秒）、中國國家并行計算機(jī)工程技術(shù)研究中心2016年研制的神威太湖之光（12.5億億次/秒）。③集群計算機(jī)，清華大學(xué)1999年研制的THNPSC-1（320億次/秒）、中國科學(xué)院計算技術(shù)研究所1999年研制的曙光2000-Ⅱ（1117億次/秒）、上海大學(xué)2000年研制的自強(qiáng)2000（4500億次/秒）、國防科學(xué)技術(shù)大學(xué)2013年研制的天河二號（10.07億億次/秒）。6.1集群概述6.2集群系統(tǒng)的軟硬件組成

計算節(jié)點(diǎn)是集群系統(tǒng)中數(shù)量最多的節(jié)點(diǎn)，是用來完成用戶提交的計算任務(wù)。集群的性能取決于所有計算節(jié)點(diǎn)的性能及其發(fā)揮情況。因此計算節(jié)點(diǎn)需要有強(qiáng)大的性能，計算機(jī)的性能不是僅僅取決于計算性能、還取決于存儲性能和通信性能，是一個系統(tǒng)整體的綜合表現(xiàn)。集群系統(tǒng)的軟硬件組成計算節(jié)點(diǎn)

計算節(jié)點(diǎn)是集群系統(tǒng)中數(shù)量最多的節(jié)點(diǎn)，用來完成用戶提交的計算任務(wù)。集群的性能取決于所有計算節(jié)點(diǎn)的性能及其發(fā)揮情況。因此，計算節(jié)點(diǎn)需要有強(qiáng)大的性能。計算節(jié)點(diǎn)的性能不僅取決于計算性能，還取決于存儲性能和通信性能，是一個系統(tǒng)整體的綜合表現(xiàn)。

不同應(yīng)用對于系統(tǒng)的計算、存儲和通信的需求不同，性能的發(fā)揮也受到計算節(jié)點(diǎn)內(nèi)存大小、計算部件性能以及網(wǎng)卡性能等因素的限制。隨著各種加速部件（特別是GPU）的發(fā)展，在計算節(jié)點(diǎn)上配置多塊GPU或者其他加速部件來提高浮點(diǎn)計算性能等成了大勢所趨。6.2.1計算節(jié)點(diǎn)6.2.2網(wǎng)絡(luò)集群系統(tǒng)一般有三套網(wǎng)絡(luò)，一套IPMI網(wǎng)絡(luò)用作底層硬件管理；一套高速互聯(lián)網(wǎng)絡(luò)用作操作系統(tǒng)管理；一套高速計算互聯(lián)網(wǎng)絡(luò)，主要負(fù)責(zé)計算軟件在計算時集群節(jié)點(diǎn)之間的數(shù)據(jù)通信。除了計算網(wǎng)絡(luò)，另2套網(wǎng)絡(luò)對網(wǎng)絡(luò)性能要求不高，一般使用性價比高的以太網(wǎng)。三套網(wǎng)絡(luò)中的計算網(wǎng)絡(luò)是十分重要的，因?yàn)榧合到y(tǒng)的節(jié)點(diǎn)比較多，使得數(shù)據(jù)在兩個節(jié)點(diǎn)之間流動需要經(jīng)過多個交換機(jī)。這導(dǎo)致計算網(wǎng)絡(luò)延遲高，網(wǎng)絡(luò)的高延遲在需要頻繁通信的應(yīng)用中會形成性能瓶頸。6.2.2網(wǎng)絡(luò)

三套網(wǎng)絡(luò)中的計算網(wǎng)絡(luò)是十分重要的。如下圖所示的胖樹等網(wǎng)絡(luò)，這些網(wǎng)絡(luò)復(fù)雜的拓?fù)浣Y(jié)構(gòu)會帶來線路、設(shè)備的可靠性、安全性問題，這些問題都需要由通信協(xié)議及其實(shí)現(xiàn)的通信軟件和網(wǎng)絡(luò)服務(wù)來解決。高性能的集群計算機(jī)中，往往使用輕量級通信協(xié)議(如RDMA)。有三類RDMA網(wǎng)絡(luò)，分別是Infiniband、RoCE、iWARP。其中Infiniband(簡稱IB)是一種專為RDMA設(shè)計的網(wǎng)絡(luò)，性能上Infiniband網(wǎng)絡(luò)最好，但就性價比而言還是RoCE和iWARP比較高。下圖是128節(jié)點(diǎn)InfiniBand網(wǎng)絡(luò)拓?fù)洹?.2.2網(wǎng)絡(luò)6.2.3存儲節(jié)點(diǎn)

存儲是集群計算機(jī)系統(tǒng)的一個重要組成，負(fù)責(zé)保存數(shù)據(jù)。在集群系統(tǒng)中把數(shù)據(jù)集中起來通過一個存儲系統(tǒng)提供數(shù)據(jù)管理和讀寫服務(wù)。存儲系統(tǒng)由文件系統(tǒng)和存儲硬件組成。文件系統(tǒng)可以采用NFS(NetworkFileSystem)或者并行文件系統(tǒng)。采用NFS存儲的集群右圖所示的是采用NFS的集群。NFS即網(wǎng)絡(luò)文件系統(tǒng)，是文件系統(tǒng)之上的一個網(wǎng)絡(luò)抽象，它允許網(wǎng)絡(luò)中的計算機(jī)之間共享資源。本地NFS的客戶端應(yīng)用可以透明地讀寫位于遠(yuǎn)端NFS服務(wù)器上的文件?？梢栽诩褐羞x擇一個配置較好且支持配置大量硬盤的服務(wù)器作為I/O節(jié)點(diǎn)，這種方式簡單、價格低廉，但是存儲性能低。6.2.3存儲節(jié)點(diǎn)并行存儲系統(tǒng)由并行文件系統(tǒng)和并行存儲硬件組成。并行存儲系統(tǒng)需要使用并行文件系統(tǒng)才能充分發(fā)揮大量存儲設(shè)備的性能。并行文件系統(tǒng)有開源的Lustre、商用的GPFS、ParaStor等。這些并行文件系統(tǒng)一般包括索引模塊和數(shù)據(jù)管理模塊，將這些模塊部署在多個通用服務(wù)器上，配置成相應(yīng)的I/O節(jié)點(diǎn)，實(shí)現(xiàn)并行存儲統(tǒng)一管理和通過多個I/O節(jié)點(diǎn)對后端存儲節(jié)點(diǎn)的并行訪問。并行存儲系統(tǒng)的性能和I/O節(jié)點(diǎn)的數(shù)量等有關(guān)。采用并行存儲的集群6.2.4管理節(jié)點(diǎn)

管理節(jié)點(diǎn)的主要功能是通過各種軟件對集群系統(tǒng)進(jìn)行安裝、維護(hù)、運(yùn)行狀態(tài)監(jiān)控、資源管理和作業(yè)管理等。

集群系統(tǒng)一般都由大量的功能不同的計算機(jī)構(gòu)成，管理工作量隨著計算機(jī)數(shù)量的增多而大大增加，需要管理系統(tǒng)來提高系統(tǒng)的管理和維護(hù)效率。用于集群性能監(jiān)控的軟件有很多，如早期比較著名的開源軟件ganglia。監(jiān)控軟件一般可以對所有服務(wù)器的進(jìn)程、CPU、GPU、內(nèi)存、網(wǎng)絡(luò)、磁盤使用情況等信息進(jìn)行抓取和顯示。集群系統(tǒng)的管理和監(jiān)控系統(tǒng)集群系統(tǒng)的管理和監(jiān)控系統(tǒng)6.2.4管理節(jié)點(diǎn)

主要功能是作業(yè)提交、資源監(jiān)控、調(diào)度規(guī)則設(shè)置、計算節(jié)點(diǎn)設(shè)置、任務(wù)調(diào)度、結(jié)果返回等。它由三部分組成：用戶服務(wù)器、作業(yè)調(diào)度器和資源管理器。常用的作業(yè)管理系統(tǒng)有PBS，LSF等。PBS的目前包括OpenPBS，PBS?Pro和Torque三個主要分支。其中OpenPBS是最早的作業(yè)管理系統(tǒng)之一。下圖是OpenPBS安裝示意圖。集群系統(tǒng)的管理和監(jiān)控系統(tǒng)集群的作業(yè)管理系統(tǒng)6.2.5MPI并行編程

MPI（MessagePassingInterface，消息傳遞接口）是一種消息傳遞接口，用于實(shí)現(xiàn)基于多進(jìn)程的并行編程。MPI是基于FORTRAN或者C/C++的一個實(shí)現(xiàn)進(jìn)程間通信的庫，而不是一門新編程語言。最基本的MPI函數(shù)：(1) MPI_Init();

初始化MPI環(huán)境(2) MPI_Comm_size();

獲取進(jìn)程數(shù)量(3) MPI_Comm_rank();

獲取本進(jìn)程進(jìn)程號(4) MPI_Finalize(); 退出MPI環(huán)境(5) MPI_Send();

點(diǎn)對點(diǎn)發(fā)送信息(6) MPI_Recv();

點(diǎn)對點(diǎn)接收信息(7) MPI_Bcast()；廣播(8) MPI_Reduce()；規(guī)約(9) MPI_Gather()；收集(10) MPI_Scatter()；散發(fā)(11) MPI_Barrier()；同步（1）MPI_Init(int*argc,char**argv[])初始化并行環(huán)境。（2）MPI_Comm_size(MPI_Commcomm,int*size)獲得通信域comm中規(guī)定的group包含的進(jìn)程的數(shù)量。（3）MPI_Comm_rank(MPI_Commcomm,int*rank)得到本進(jìn)程在通信空間中的rank值，即在組中的邏輯編號（該rank值為0到進(jìn)程總數(shù)-1間的整數(shù)，相當(dāng)于并行進(jìn)程的ID）。MPI編程時主要通過這個編號對進(jìn)程進(jìn)行區(qū)分和任務(wù)分配。（4）MPI_Finalize(void)該函數(shù)的作用是退出MPI系統(tǒng)，釋放占用的資源。6.2.5MPI并行編程（5）MPI_Send(buf,count,datatype,dest,tag,comm)該函數(shù)的作用是將從buf開始的count個數(shù)據(jù)發(fā)送給進(jìn)程編號為dest的進(jìn)程。buf：需要發(fā)送的數(shù)據(jù)的地址。count：需要發(fā)送的數(shù)據(jù)的個數(shù)（注意，不是長度。例如要發(fā)送一個int整數(shù)，這里就填寫1；如要是發(fā)送“China”字符串，這里就填寫6。C語言中字符串末有一個結(jié)束符，需要多一位）。datatype：需要發(fā)送的MPI_Datatype數(shù)據(jù)類型。MPI_Datatype是MPI定義的數(shù)據(jù)類型，可在MPI文檔內(nèi)找到常用數(shù)據(jù)類型和MPI定義的數(shù)據(jù)類型對應(yīng)表。dest：目標(biāo)進(jìn)程號。需要發(fā)送給哪個進(jìn)程，就填寫目標(biāo)進(jìn)程號。tag：數(shù)據(jù)標(biāo)簽。接收方需要有相同的消息標(biāo)簽才能接收該數(shù)據(jù)。comm：通信域。表示需要向哪個組發(fā)送數(shù)據(jù)。6.2.5MPI并行編程（6）MPI_Recv(buf,count,datatype,source,tag,comm,status)該函數(shù)的作用是將接收到的數(shù)據(jù)保存在buf里。buf：保存接收到的數(shù)據(jù)的地址。count：接收數(shù)據(jù)的個數(shù)。它是接收數(shù)據(jù)長度的上界，具體接收到的數(shù)據(jù)長度可通過調(diào)用MPI_Get_count函數(shù)得到。需要注意的是，MPI中發(fā)送和接收的數(shù)據(jù)數(shù)量可以不等，發(fā)送數(shù)據(jù)數(shù)量可以大于等于接收數(shù)量，但是如果準(zhǔn)備接收數(shù)據(jù)的數(shù)量大于發(fā)送數(shù)據(jù)數(shù)量會造成死鎖。datatype：要接收的MPI_Datatype數(shù)據(jù)類型。tag：數(shù)據(jù)標(biāo)簽，需要與發(fā)送方的tag值相同的數(shù)據(jù)標(biāo)簽才能接收該數(shù)據(jù)。comm：通信域。status：MPI_Status數(shù)據(jù)狀態(tài)。接收函數(shù)返回時，將在這個參數(shù)指示的變量中存放實(shí)際接收數(shù)據(jù)的狀態(tài)信息，包括數(shù)據(jù)的源進(jìn)程標(biāo)識、數(shù)據(jù)標(biāo)簽等。6.2.5MPI并行編程（7）MPI_Bcast(buf,count,datatype,rank,comm)該函數(shù)的作用是由進(jìn)程rank向所有進(jìn)程發(fā)送數(shù)據(jù)類型為datatype、從buf開始的count個數(shù)據(jù)。（8）MPI_Reduce(sendbuf,recvbuf,count,datatype,op,rank,comm)該函數(shù)的作用是所有進(jìn)程對從sendbuf開始的count個元素做op運(yùn)算，并依次存放在進(jìn)程rank上recvbuf開始的緩沖區(qū)。其中，op運(yùn)算如下：種類操作MPI_MAX 最大值MPI_MIN 最小值MPI_SUM 求和MPI_PROD 求積MPI_LAND 邏輯與MPI_BAND 按位與

種類操作MPI_LOR 邏輯或MPI_BOR 按位或MPI_LXOR 邏輯異或MPI_BXOR 按位異或MPI_MAXLOC 最大值且相應(yīng)位置MPI_MINLOC 最小值且相應(yīng)位置6.2.5MPI并行編程（9）MPI_Gather(sendbuf,sendcount,sendtype,recvbuf,recvcount,recvtype,rank,comm)該函數(shù)的作用是進(jìn)程rank向所有進(jìn)程（包括自己）收集數(shù)據(jù)，每個進(jìn)程從地址sendbuf開始向進(jìn)程rank發(fā)送sendcount個數(shù)據(jù)。進(jìn)程rank將接收的數(shù)據(jù)按進(jìn)程號存放到從地址recvbuf開始的緩沖區(qū)，對應(yīng)每個進(jìn)程接收緩沖區(qū)的大小為recvcount。（10）MPI_Scatter(sendbuf,sendcount,sendtype,recvbuf,recvcount,recvtype,rank,comm)該函數(shù)的作用是從進(jìn)程rank上將數(shù)據(jù)散發(fā)給所有進(jìn)程（包括自己）。sendbuf和recvbuf分別是發(fā)送和接收地址。sendcount是每個進(jìn)程收到的數(shù)據(jù)個數(shù)，因此sendbuf至少需要sendcount×numprocs個數(shù)據(jù)，否則一些進(jìn)程將收到一些隨機(jī)數(shù)據(jù)。6.2.5MPI并行編程（11）MPI_Barrier(comm)該函數(shù)的作用是同步所有進(jìn)程。該函數(shù)會阻塞通信域中所有調(diào)用了本函數(shù)的進(jìn)程，直到所有的調(diào)用者都調(diào)用了它，進(jìn)程中的調(diào)用才可以返回。MPI有很多功能強(qiáng)大的函數(shù)，初學(xué)者只要掌握上述函數(shù)就能進(jìn)行MPI并行編程。這些函數(shù)的效率也很高，其中5和6是點(diǎn)對點(diǎn)通信，7～10是組通信。注意，組通信函數(shù)是一個組的進(jìn)程都需要執(zhí)行的。6.2.5MPI并行編程6.2.5MPI并行編程

在初學(xué)MPI編程時Send和Recv要一一對應(yīng)，收發(fā)數(shù)據(jù)的長度相同。如下圖是啟動4個進(jìn)程時程序運(yùn)行過程示意圖?？梢钥吹?，當(dāng)開啟四進(jìn)程運(yùn)行時，1-3號進(jìn)程發(fā)送消息，0號進(jìn)程接收到消息并打印。程序運(yùn)行過程示意圖6.3集群系統(tǒng)的設(shè)計和維護(hù)集群計算系統(tǒng)的設(shè)計主要涉及計算機(jī)、存儲系統(tǒng)、網(wǎng)絡(luò)三部分：計算機(jī)：集群系統(tǒng)由一個個獨(dú)立的商用服務(wù)器節(jié)點(diǎn)組成，這些節(jié)點(diǎn)提供了強(qiáng)大的計算能力和對集群的管理等功能。存儲系統(tǒng)：需要事先考查應(yīng)用的特點(diǎn)，估算集群運(yùn)行可能的帶寬、延遲、存儲容量等，并考慮以后的擴(kuò)展，對參數(shù)進(jìn)行一定的放大后根據(jù)經(jīng)費(fèi)情況進(jìn)行存儲設(shè)備選型。網(wǎng)絡(luò)：集群一般有三套網(wǎng)絡(luò)：計算網(wǎng)絡(luò)、管理網(wǎng)絡(luò)、IPMI網(wǎng)絡(luò)。6.3.1集群系統(tǒng)的設(shè)計

集群的設(shè)計有較高的技術(shù)門檻，包括集群計算系統(tǒng)的設(shè)計和機(jī)房設(shè)計。一般由客戶提出需求，并考慮以后需求變化導(dǎo)致系統(tǒng)的擴(kuò)展，然后和廠商或者集成商進(jìn)行測算得出集群系統(tǒng)的相關(guān)指標(biāo)如計算、網(wǎng)絡(luò)和存儲性能等。集群計算系統(tǒng)的設(shè)計集群機(jī)房設(shè)計需要考慮的事情很瑣碎，包括機(jī)房選址、電力系統(tǒng)、空調(diào)、機(jī)柜、機(jī)房布局設(shè)計、承重、機(jī)房監(jiān)控、消防、防塵等。機(jī)房是集群最重要的基礎(chǔ)設(shè)施，機(jī)房設(shè)計不好，輕則可能造成系統(tǒng)不穩(wěn)定，重則可能導(dǎo)致重大事故。機(jī)房設(shè)計6.3.1集群系統(tǒng)的設(shè)計1.集群計算系統(tǒng)的設(shè)計（1）計算機(jī)一般包含計算節(jié)點(diǎn)、登錄節(jié)點(diǎn)、管理節(jié)點(diǎn)、調(diào)度節(jié)點(diǎn)、I/O節(jié)點(diǎn)等。設(shè)計時通常需要考慮的：①節(jié)點(diǎn)數(shù)量。②CPU種類、核數(shù)和主頻。如Intel、AMD、ARM等。③加速部件。GPU、DCU、FPGA。④內(nèi)存大小和訪存速度。通常結(jié)合CPU內(nèi)存通道數(shù)配置內(nèi)存。⑤刀片/機(jī)架式/高密度機(jī)型。⑥網(wǎng)卡。IB、以太網(wǎng)光纖。此外還要考慮主板（一定要支持IPMI遠(yuǎn)程管理）、電源等。6.3.1集群系統(tǒng)的設(shè)計（2）存儲系統(tǒng)NFS。配置簡單，不需要額外軟硬件。但是速度和容量受限并行文件系統(tǒng)。需要配置并行文件系統(tǒng)（例如：開源的Lasture或者商用的GPFS）和專用存儲陣列。速度快，容量高，價格貴。并行文件系統(tǒng)+通用服務(wù)器構(gòu)建存儲系統(tǒng)。價格便宜、速度快。6.3.1集群系統(tǒng)的設(shè)計（3）網(wǎng)絡(luò)計算網(wǎng)絡(luò)管理網(wǎng)絡(luò)IPMI網(wǎng)絡(luò)。防火墻和路由器6.3.1集群系統(tǒng)的設(shè)計①雙路供電，機(jī)房供電充足。②電力系統(tǒng)設(shè)計。③UPS和電池設(shè)計。④強(qiáng)弱配線架設(shè)計。⑤機(jī)房空調(diào)設(shè)計。⑥機(jī)房布局設(shè)計。⑦承重設(shè)計。⑧放塵設(shè)計。⑨機(jī)房監(jiān)控設(shè)計。⑩氣體消防系統(tǒng)設(shè)計。 系統(tǒng)支撐軟硬件主要包括節(jié)點(diǎn)機(jī)、存儲系統(tǒng)、網(wǎng)絡(luò)設(shè)備、集群管理軟件及數(shù)據(jù)庫等基礎(chǔ)軟硬件設(shè)施。節(jié)點(diǎn)機(jī)的維護(hù)：節(jié)點(diǎn)機(jī)是指計算節(jié)點(diǎn)、管理節(jié)點(diǎn)、I/O節(jié)點(diǎn)等集群內(nèi)部所有的服務(wù)器。系統(tǒng)鏡像備份、批量鏡像還原，批量軟件安裝、更新和卸載等。存儲系統(tǒng)的維護(hù)：存儲系統(tǒng)主要包括并行文件系統(tǒng)、磁盤陣列等。網(wǎng)絡(luò)設(shè)備的維護(hù)：網(wǎng)絡(luò)設(shè)備維護(hù)的目標(biāo)是：通過網(wǎng)絡(luò)、安全系統(tǒng)管理服務(wù)，降低網(wǎng)絡(luò)設(shè)備故障率，提高網(wǎng)絡(luò)設(shè)備的運(yùn)行性能，為集群提供穩(wěn)定可靠的內(nèi)部網(wǎng)絡(luò)和安全的對外端口。集群管理軟件及其數(shù)據(jù)庫的維護(hù)：集群管理軟件包括集群管理的軟件、腳本以及保存各種日志數(shù)據(jù)的數(shù)據(jù)庫。6.3.2集群系統(tǒng)的維護(hù)

集群系統(tǒng)的維護(hù)很重要，是集群提供持續(xù)計算服務(wù)的基本保障。集群的維護(hù)工作包括對集群運(yùn)行環(huán)境的維護(hù)和對集群計算系統(tǒng)的軟硬件維護(hù)。系統(tǒng)支撐軟硬件的日常維護(hù)通過對應(yīng)用系統(tǒng)的維護(hù)，分析用戶不斷更新的需求，分析應(yīng)用系統(tǒng)對服務(wù)平臺性能的要求，提出系統(tǒng)優(yōu)化或者擴(kuò)容解決方案，保障應(yīng)用系統(tǒng)的處理服務(wù)性能。主要包括：①對集群的軟件進(jìn)行定期的更新、維護(hù)，對防病毒軟件的防護(hù)狀態(tài)與更新情況進(jìn)行每天檢查。②業(yè)務(wù)數(shù)據(jù)維護(hù)和備份。③業(yè)務(wù)系統(tǒng)日常維護(hù)。④對業(yè)務(wù)管理系統(tǒng)健康狀態(tài)進(jìn)行檢查與分析。⑤對系統(tǒng)用戶信息進(jìn)行維護(hù)和修改，添加系統(tǒng)用戶，更改系統(tǒng)用戶信息、權(quán)限，調(diào)整系統(tǒng)的管理人員、操作人員、監(jiān)督人員以及同步數(shù)據(jù)。6.3.2集群系統(tǒng)的維護(hù)應(yīng)用系統(tǒng)的日常維護(hù)機(jī)房環(huán)境的日常維護(hù)主要包括對電源和線路、空調(diào)、UPS等的維護(hù)。機(jī)房環(huán)境的日常維護(hù)6.4集群系統(tǒng)的性能測試只有對計算機(jī)系統(tǒng)的硬件、軟件等各個方面進(jìn)行更為準(zhǔn)確的評價，才能全面反映計算機(jī)系統(tǒng)的性能。計算機(jī)速度是衡量計算機(jī)系統(tǒng)性能最直接和最主要的指標(biāo)之一。6.4.1性能評價和測量

計算機(jī)性能評價是指采用測量、模擬、分析等方法和工具對計算機(jī)系統(tǒng)性能進(jìn)行量化分析，計算機(jī)性能測量是指采用基準(zhǔn)測試程序包來度量計算機(jī)系統(tǒng)的性能。1.性能評價的指標(biāo)計算機(jī)系統(tǒng)的性能主要反映了一個系統(tǒng)的使用價值，即性能價格比。廣泛的性能含義包括系統(tǒng)處理能力、響應(yīng)速度、工作效率、可靠性、可使用性、可維護(hù)性等。2.性能的描述6.4.1性能評價和測量性能評價的對象是整個計算機(jī)系統(tǒng)，但計算機(jī)系統(tǒng)包括硬件、軟件等復(fù)雜的系統(tǒng)，又與工作環(huán)境、工作方式、應(yīng)用對象等有密切的關(guān)聯(lián)，所以要明確地劃清計算機(jī)系統(tǒng)的環(huán)境（邊界環(huán)境），其中最主要的是工作負(fù)載。3.性能評價的對象性能評價的手段主要有測量技術(shù)（有實(shí)際系統(tǒng)存在并可從系統(tǒng)直接測得數(shù)據(jù)）和模型技術(shù)（只能從模型測得數(shù)據(jù)）。4.性能評價的手段一般來說，系統(tǒng)結(jié)構(gòu)的執(zhí)行速度是用戶最關(guān)心的，因此產(chǎn)生了很多針對不同目的的基準(zhǔn)測試程序（Benchmark），但性能評價是隨著需求和軟硬件的變化而發(fā)展變化的，一個能滿足所有需求的性能評價方法是不存在的。5.性能的評價6.4.2Linpack測試

Linpack全稱為LinearEquationsPackage，是一種較為常用的計算機(jī)系統(tǒng)性能測試線性方程程序包，其中包括求解稠密矩陣運(yùn)算、帶狀的線性方程、求解最小平方問題以及其他各種矩陣運(yùn)算。HPL（HighPerformanceLinpack，高性能Linpack）是針對現(xiàn)代并行計算機(jī)提出的測試方式，用戶在不修改任何測試程序的基礎(chǔ)上，可以通過調(diào)節(jié)問題規(guī)模大小N（矩陣大?。⑦M(jìn)程數(shù)等測試參數(shù)，使用各種優(yōu)化方法來執(zhí)行該測試程序，以獲取最佳的性能。HPL測試結(jié)果是TOP500排名的重要依據(jù)。6.5高性能集群計算機(jī)系統(tǒng)實(shí)例“自強(qiáng)2000”集群機(jī)“自強(qiáng)3000”集群機(jī)“自強(qiáng)4000”集群機(jī)高性能集群計算機(jī)系統(tǒng)實(shí)例

上海大學(xué)高性能計算中心成立于2007年9月。2000年自主研制的第一代集群式高性能計算機(jī)“自強(qiáng)2000”共有218個CPU；2004年上海大學(xué)與HP合作研制建設(shè)完成的第二代集群式高性能計算機(jī)“自強(qiáng)3000”共有192個節(jié)點(diǎn)機(jī)；2013年已經(jīng)建成的第三代集群式高性能計算機(jī)“自強(qiáng)4000”共有162個節(jié)點(diǎn)機(jī)。6.6網(wǎng)格6.6.1網(wǎng)格概述

網(wǎng)格（Grid）技術(shù)，是20世紀(jì)90年代中期隨著計算機(jī)網(wǎng)絡(luò)技術(shù)和分布式計算技術(shù)的不斷發(fā)展而誕生的一種全新技術(shù)。它以高速網(wǎng)絡(luò)為依托，借助于一套完善的網(wǎng)格中間件的支持，將分布于網(wǎng)絡(luò)上的各種資源加以整合，為使用者提供一套完善、使用方便的支持環(huán)境。在此基礎(chǔ)上，網(wǎng)格使用者可以方便地對網(wǎng)格中的各種資源加以動態(tài)的有效利用，解決各個不同領(lǐng)域中的科學(xué)、工程、商業(yè)等問題。自從網(wǎng)格技術(shù)出現(xiàn)以后，網(wǎng)格相關(guān)的各種研究在全世界范圍內(nèi)得到了廣泛的重視。網(wǎng)格技術(shù)已經(jīng)成為對國家科技進(jìn)步、國民經(jīng)濟(jì)發(fā)展、綜合國力提高和國家安全具有重要意義的關(guān)鍵技術(shù)。在這種形勢下，我國也認(rèn)識到了網(wǎng)格的巨大作用。863高科技計劃啟動了網(wǎng)格專項(xiàng)研究，在網(wǎng)格節(jié)點(diǎn)建設(shè)、網(wǎng)格應(yīng)用等方面開展研究。同時，國家自然科學(xué)基金等國家、社會基金也開始對網(wǎng)格的相關(guān)研究加以支持網(wǎng)格體系結(jié)構(gòu)研究是研究網(wǎng)格技術(shù)和構(gòu)建網(wǎng)格系統(tǒng)的關(guān)鍵。網(wǎng)格體系結(jié)構(gòu)由三部分構(gòu)成：網(wǎng)格分層、各層所提供的網(wǎng)格服務(wù)和為了提供這些網(wǎng)格服務(wù)所必須遵循的網(wǎng)格協(xié)議。6.6.2網(wǎng)格技術(shù)簡介

網(wǎng)格技術(shù)是一種通過高速網(wǎng)絡(luò)來統(tǒng)一管理各類不同物理位置的資源（超級計算機(jī)、大型數(shù)據(jù)庫、存儲設(shè)備、各種儀器設(shè)備、知識庫等）并運(yùn)用系統(tǒng)軟件、工具和應(yīng)用環(huán)境使其成為互相協(xié)調(diào)的先進(jìn)計算設(shè)施的技術(shù)。①網(wǎng)格體系結(jié)構(gòu)研究網(wǎng)格系統(tǒng)是建立在各種各樣不同類型、不同平臺、不同用途的資源基礎(chǔ)之上的，這些資源需要以不同的手段、遵循不同的協(xié)議來訪問。②網(wǎng)格資源訪問規(guī)范網(wǎng)格資源索引系統(tǒng)為網(wǎng)格的用戶提供資源索引服務(wù)，是網(wǎng)格能夠作為一個整體加以運(yùn)行的關(guān)鍵，資源的分類與描述是資源索引的基礎(chǔ)。③網(wǎng)格資源索引機(jī)制在網(wǎng)格系統(tǒng)中存在大量的數(shù)據(jù)服務(wù)，網(wǎng)格系統(tǒng)需要提供可靠的、高效的數(shù)據(jù)管理機(jī)制，在網(wǎng)格用戶和網(wǎng)格資源之間提供一個可靠、高效的數(shù)據(jù)通道。6.6.2網(wǎng)格技術(shù)簡介④網(wǎng)格數(shù)據(jù)管理規(guī)范描述網(wǎng)格服務(wù)質(zhì)量就是對一個資源進(jìn)行評價與計量，包括資源的質(zhì)量如何、資源的數(shù)量如何體現(xiàn)等，建立一個通用的網(wǎng)格資源評價與計量體系是很困難的。⑤網(wǎng)格服務(wù)質(zhì)量網(wǎng)格安全包括數(shù)據(jù)存儲和傳輸?shù)陌踩?、資源訪問的安全、各種應(yīng)用和相關(guān)數(shù)據(jù)的安全、用戶信息的安全等；網(wǎng)格用戶管理技術(shù)要實(shí)現(xiàn)網(wǎng)格用戶的認(rèn)證與授權(quán)等功能。⑥網(wǎng)格安全與網(wǎng)格用戶管理機(jī)制網(wǎng)格應(yīng)用支持工具與開發(fā)環(huán)境為網(wǎng)格系統(tǒng)的用戶提供一套能夠比較簡單、有效地使用網(wǎng)格系統(tǒng)的各種資源來完成應(yīng)用開發(fā)的工具與編程環(huán)境。6.6.2網(wǎng)格技術(shù)簡介⑦網(wǎng)格應(yīng)用支持工具與開發(fā)環(huán)境以網(wǎng)格的方式來解決應(yīng)用系統(tǒng)的問題，必須解決應(yīng)用過程中需要面對的各種理論、模型、方法和算法問題，必須研究在網(wǎng)格條件下用于解決資源優(yōu)化和安全保證等問題的各種理論和模型，并在此基礎(chǔ)上研究新的方法和算法。⑧應(yīng)用網(wǎng)格中的理論、模型、方法和算法研究6.7云計算云計算

“云計算”成為計算機(jī)技術(shù)發(fā)展中最響亮的名詞之一已經(jīng)是不爭的事實(shí)，云計算已經(jīng)到來，并正在不斷地改變大家的生活。云計算可以理解為一種基于互聯(lián)網(wǎng)的計算模式，是一種來自網(wǎng)絡(luò)的資源，使用者可以隨時按需申請并獲取“云”上的資源，并且可以按需擴(kuò)展，只要按使用量付費(fèi)即可?！霸啤本拖褡詠硭畯S一樣：我們可以隨時取用，并且不限量，按照自己家的用水量付費(fèi)給自來水廠就可以了。6.7.1云計算概述

云計算有許多定義，其中中國云計算專家委員會對云計算做了定義：云計算是一種基于互聯(lián)網(wǎng)的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需提供計算機(jī)和其他設(shè)備。在云計算模式中，用戶所需的應(yīng)用程序并不運(yùn)行在用戶的個人電腦、手機(jī)等終端設(shè)備上，而是運(yùn)行在互聯(lián)網(wǎng)上大規(guī)模的服務(wù)器集群中。用戶所處理的數(shù)據(jù)也并不存儲在本地，而是保存在互聯(lián)網(wǎng)上的數(shù)據(jù)中心里。云計算得到廣泛應(yīng)用，與傳統(tǒng)的網(wǎng)絡(luò)應(yīng)用模式相比，具有如下特點(diǎn)：超大規(guī)模及廉價性：各互聯(lián)網(wǎng)巨頭的“云”均有數(shù)以萬計的服務(wù)器，并通過高效的建設(shè)、管理方法降低“云”的成本；虛擬化：“云”將多種資源進(jìn)行虛擬化和池化共享；高可靠性：云計算使用數(shù)據(jù)多副本容錯、計算節(jié)點(diǎn)同構(gòu)可互換等措施來保障服務(wù)的高可靠性；通用性：同一個“云”可以同時支撐不同的應(yīng)用運(yùn)行；高擴(kuò)展性：“云”的規(guī)?？梢詣討B(tài)伸縮；按需服務(wù)：云計算平臺能夠根據(jù)用戶的需求快速部署軟件，配備計算能力及資源。6.7.1云計算概述

云計算的系統(tǒng)結(jié)構(gòu)分為四層：物理資源層、資源池層、管理中間件層和SOA（面向服務(wù)的系統(tǒng)結(jié)構(gòu)）構(gòu)建層。云計算服務(wù)分為以下三類：（1）IaaS（InfrastructureasaService，基礎(chǔ)設(shè)施即服務(wù)）：IaaS是把硬件設(shè)備等資源封裝成服務(wù)通過網(wǎng)絡(luò)對外提供，并根據(jù)用戶對資源的實(shí)際使用量或占用量進(jìn)行計費(fèi)的一種服務(wù)模式。（2）PaaS（PlatformasaService，平臺即服務(wù)）：PaaS對資源的抽象層次更進(jìn)了一步，它提供用戶應(yīng)用程序的運(yùn)行環(huán)境。（3）SaaS（SoftwareasaService，軟件即服務(wù)）：SaaS平臺供應(yīng)商將某些特定應(yīng)用軟件功能封裝成服務(wù)，統(tǒng)一部署在自己的服務(wù)器上，客戶可以根據(jù)實(shí)際需求，通過互聯(lián)網(wǎng)向其訂購所需的應(yīng)用軟件服務(wù)，按訂購的服務(wù)數(shù)量和時長向其支付費(fèi)用。6.7.1云計算概述圖6-11云計算服務(wù)模式圖圖6-11顯示了云計算服務(wù)模式。傳統(tǒng)模式下，用戶需從購買硬件開始構(gòu)建系統(tǒng)；IaaS、PaaS、SaaS分別從硬件層、操作系統(tǒng)層、應(yīng)用層提供不同層次的云服務(wù)。這三種云計算服務(wù)有時稱為云計算堆棧，因?yàn)樗鼈兿穸褩Ｒ粯樱挥诒舜酥?。重要的核心技術(shù)之一，它為云計算服務(wù)提供基礎(chǔ)架構(gòu)層面的支撐；虛擬化技術(shù)是利用軟件或者固件管理程序構(gòu)成虛擬化層，把物理資源映射為虛擬資源，以虛擬資源為用戶提供服務(wù)的計算形式，旨在聚合計算資源并在此基礎(chǔ)上合理調(diào)配計算機(jī)資源，使其更高效地提供服務(wù)。6.7.2云計算的關(guān)鍵技術(shù)云計算得到迅速發(fā)展得益于一些關(guān)鍵技術(shù)的發(fā)展，具體如下：①虛擬化技術(shù)云計算平臺常用的虛擬化技術(shù)有虛擬機(jī)（VirtualMachine）和容器（Container）兩種：虛擬機(jī)技術(shù)：指通過軟件模擬的具有完整硬件系統(tǒng)功能的運(yùn)行在一個完全隔離環(huán)境中的完整計算機(jī)系統(tǒng)；容器技術(shù)：是更輕量級的虛擬化技術(shù)，其原理是在原有系統(tǒng)基礎(chǔ)上實(shí)現(xiàn)進(jìn)程隔離，目的是為進(jìn)程提供獨(dú)立的運(yùn)行環(huán)境，使其無法訪問容器外的其他資源。容器和虛擬機(jī)之間的主要區(qū)別在于虛擬化層的位置和操作系統(tǒng)資源的使用方式。分布式存儲圖云計算采用分布式存儲技術(shù)，將數(shù)據(jù)存儲在大量的計算節(jié)點(diǎn)中。這種模式不僅擺脫了硬件設(shè)備的限制，同時擴(kuò)展性更好，能夠快速響應(yīng)用戶需求的變化。6.7.2云計算的關(guān)鍵技術(shù)②分布式存儲技術(shù)分布式存儲與傳統(tǒng)的集中式存儲不同。集中式存儲系統(tǒng)是在一套由一個或多個節(jié)點(diǎn)組成的存儲系統(tǒng)中存儲所有數(shù)據(jù)，系統(tǒng)所有的功能均由這些節(jié)點(diǎn)集中處理。集中式存儲強(qiáng)調(diào)將存儲集中部署和集中管理。集中式存儲雖然有技術(shù)成熟、可用性高等優(yōu)點(diǎn)，但面對海量數(shù)據(jù)，其缺點(diǎn)也越來越明顯，如擴(kuò)展性差、成本高等。在云計算項(xiàng)目中，分布式并行編程模式被廣泛采用。分布式并行編程模式創(chuàng)立的初衷是更高效地利用軟、硬件資源，讓用戶快速、便捷地使用應(yīng)用或服務(wù)。在分布式并行編程模式中，后臺復(fù)雜的任務(wù)處理和資源調(diào)度對用戶來說是透明的，這大大提升了用戶體驗(yàn)。6.7.2云計算的關(guān)鍵技術(shù)③分布式并行編程模式

分布式計算框架MapReduce是當(dāng)前云計算的主流并行編程模式之一，用于大規(guī)模數(shù)據(jù)集的數(shù)據(jù)并行計算。

MapReduce的主要思想就是分而治之，把一個復(fù)雜的任務(wù)（大量數(shù)據(jù)）劃分為大量簡單的任務(wù)（大量數(shù)據(jù)塊），然后將這些任務(wù)盡量調(diào)度到存儲了該數(shù)據(jù)塊的主機(jī)上進(jìn)行并行處理。MapReduce框架將任務(wù)自動分成大量子任務(wù)，通過Map和Reduce兩步實(shí)現(xiàn)任務(wù)在大規(guī)模計算節(jié)點(diǎn)中的自動分配。云計算不僅要保證數(shù)據(jù)的存儲和訪問，還要能夠?qū)Ａ繑?shù)據(jù)進(jìn)行特定的檢索和分析。由于云計算需要對海量的分布式數(shù)據(jù)進(jìn)行處理、分析，因此數(shù)據(jù)管理技術(shù)必須能夠高效地管理大量的數(shù)據(jù)。6.7.2云計算的關(guān)鍵技術(shù)④大規(guī)模數(shù)據(jù)管理云計算系統(tǒng)的平臺管理技術(shù)，需要高效調(diào)度大量服務(wù)器等資源，使其更好地協(xié)同工作。同時，云計算平臺管理方案要更多地考慮到定制化需求以滿足不同場景的應(yīng)用需求，也需要一個高效靈活的收費(fèi)系統(tǒng)支持各種動態(tài)收費(fèi)業(yè)務(wù)。⑤云計算平臺管理、調(diào)度和計費(fèi)在云計算體系中，安全涉及很多層面，包括網(wǎng)絡(luò)安全、服務(wù)器安全