第20講 并行計(jì)算

并行計(jì)算1并行計(jì)算介紹

什么是并行計(jì)算基本概念并行計(jì)算機(jī)的發(fā)展我國(guó)并行計(jì)算機(jī)的發(fā)展情況當(dāng)前最快的超級(jí)計(jì)算機(jī)并行計(jì)算機(jī)體系結(jié)構(gòu)并行算法2并行計(jì)算傳統(tǒng)的軟件是為串行計(jì)算機(jī)而編寫的:在只有一個(gè)處理器的單臺(tái)計(jì)算機(jī)上運(yùn)行

把一個(gè)問題分解成離散的指令序列

指令被一條條的順序執(zhí)行任何時(shí)候只有一條指令在執(zhí)行3并行計(jì)算的應(yīng)用需求

數(shù)值天氣預(yù)報(bào)全球氣象中期天氣預(yù)報(bào)要求在24

小時(shí)內(nèi)完成48

小時(shí)天氣預(yù)測(cè)數(shù)值模擬，至少需635

萬(wàn)個(gè)網(wǎng)格點(diǎn)，內(nèi)存需求大于1T，計(jì)算性能高達(dá)25

萬(wàn)億次/秒.

核武器數(shù)值模擬美國(guó)1996年實(shí)施的ASCI計(jì)劃，分四個(gè)階段實(shí)現(xiàn)萬(wàn)億次、十萬(wàn)億次、30萬(wàn)億次和100萬(wàn)億次大規(guī)模并行數(shù)值模擬，實(shí)現(xiàn)全三維、全物理過程、高分辨率的核武器數(shù)值模擬.并行計(jì)算能力已成為衡量一個(gè)國(guó)家綜合實(shí)力的重要標(biāo)志之一！4并行計(jì)算機(jī)系統(tǒng)的應(yīng)用領(lǐng)域數(shù)學(xué)基因信息氣象預(yù)報(bào)生物物理石油勘探信息服務(wù)汽車制造船舶制造5并行計(jì)算并行計(jì)算（高性能計(jì)算、超級(jí)計(jì)算）大任務(wù)分解多個(gè)子任務(wù)不同處理單元分

給快速求解協(xié)同合作基本條件：

硬件（并行機(jī)）、并行算法設(shè)計(jì)、并行編程環(huán)境主要目標(biāo)：提高求解速度，擴(kuò)大問題規(guī)模6串行計(jì)算與并行計(jì)算78組成并行計(jì)算機(jī)的各個(gè)部分：節(jié)點(diǎn)（node）互聯(lián)網(wǎng)絡(luò)（interconnectnetwork）內(nèi)存（memory）內(nèi)存模塊與節(jié)點(diǎn)分離內(nèi)存模塊位于節(jié)點(diǎn)內(nèi)部并行計(jì)算8并行計(jì)算介紹什么是并行計(jì)算基本概念并行計(jì)算機(jī)的發(fā)展我國(guó)并行計(jì)算機(jī)的發(fā)展情況當(dāng)前最快的超級(jí)計(jì)算機(jī)弗林經(jīng)典分類并行計(jì)算機(jī)體系結(jié)構(gòu)并行算法9弗林根據(jù)指令和數(shù)據(jù)這兩個(gè)獨(dú)立維度的情況，對(duì)多處理器計(jì)算機(jī)結(jié)構(gòu)進(jìn)行了如下分類SISD單指令流單數(shù)據(jù)流SIMD單指令流多數(shù)據(jù)流MISD多指令流單數(shù)據(jù)流MIMD多指令流多數(shù)據(jù)流基本概念10單指令流單數(shù)據(jù)流(SISD)一個(gè)串行(非并行)計(jì)算機(jī)

單指令流:在任何一個(gè)時(shí)鐘周期，CPU中只有一個(gè)指令流在活動(dòng)。單數(shù)據(jù)流:在任何一個(gè)時(shí)鐘周期，只有一個(gè)數(shù)據(jù)流作為輸入在被使用。執(zhí)行結(jié)果是確定的。從很早一直到現(xiàn)在，這都是計(jì)算機(jī)的最主要的形式。基本概念11單指令流多數(shù)據(jù)流(SIMD)并行計(jì)算機(jī)的一種

。單指令流:在任何一個(gè)時(shí)鐘周期，CPU中只有一個(gè)指令流在活動(dòng)。多數(shù)據(jù)流:每個(gè)處理單元能在不同的數(shù)據(jù)元素上進(jìn)行操作。最適合具有高度規(guī)律性的特殊的問題，比如圖像處理。同步（步調(diào)一致）和確定的執(zhí)行兩種類型:處理器陣列和向量流水線基本概念12多指令流單數(shù)據(jù)流(MISD)單一的數(shù)據(jù)流流入多個(gè)處理器單元去處理每個(gè)處理器單元通過獨(dú)立的指令流對(duì)數(shù)據(jù)進(jìn)行處理這種類型的并行計(jì)算機(jī)很少有存在的例子，有一個(gè)實(shí)驗(yàn)室的產(chǎn)品是卡內(nèi)基梅隴大學(xué)的C.mmp計(jì)算機(jī)(1971)。

一些想象中的可能應(yīng)用：

多種頻率的濾波器處理同一個(gè)信號(hào)流用多個(gè)密碼算法嘗試解開一個(gè)編碼信息。基本概念13多指令流多數(shù)據(jù)流(MIMD)目前最常用的并行計(jì)算機(jī)。大多數(shù)現(xiàn)代計(jì)算機(jī)屬于這一類多指令流:每個(gè)處理器可以執(zhí)行不同的指令流多數(shù)據(jù)流:每個(gè)處理器可以工作在不同的數(shù)據(jù)流上執(zhí)行可以是同步的或者異步的，確定的或者不確定的舉例:很多目前的巨型計(jì)算機(jī)、網(wǎng)絡(luò)并行計(jì)算機(jī)“網(wǎng)格”、多處理器SMP計(jì)算機(jī)以及多核處理器。基本概念14基本概念15并行計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)多級(jí)存儲(chǔ)體系結(jié)構(gòu)為了解決存儲(chǔ)墻（memorywall）性能瓶頸問題。在節(jié)點(diǎn)內(nèi)部的cache稱為二級(jí)cache（L2cache）。在處理器內(nèi)部更小的cache成為一級(jí)cache(L1cache)L1cache連接CPU寄存器和L2cache，負(fù)責(zé)緩存L2cache中的數(shù)據(jù)到寄存器中。1616微處理器的多級(jí)存儲(chǔ)結(jié)構(gòu)

微機(jī)機(jī)群的一次消息傳遞延遲相當(dāng)于

50000次峰值浮點(diǎn)運(yùn)算17微處理器的多級(jí)存儲(chǔ)結(jié)構(gòu)

微處理器主頻越來越高，內(nèi)存容量越來越大，

但內(nèi)存訪問速度的增長(zhǎng)較慢

緩解內(nèi)存墻性能瓶頸：Cache高速緩存18并行計(jì)算機(jī)體系結(jié)構(gòu)并行計(jì)算機(jī)體系

結(jié)構(gòu)示意圖

內(nèi)存模塊與結(jié)點(diǎn)分離并行計(jì)算機(jī)體系

結(jié)構(gòu)示意圖

內(nèi)存模塊位于

結(jié)點(diǎn)內(nèi)部19并行計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)多級(jí)存儲(chǔ)體系結(jié)構(gòu)Cache的映射策略指的是內(nèi)存塊和cache行之間如何建立相互映射關(guān)系。直接映射策略（directmappingstrategy）每個(gè)內(nèi)存塊只能被唯一的映射到一條cache行中K－路組相聯(lián)映射策略（K-waysetassociationmappingstrategy）Cache被分解為V個(gè)組，每個(gè)組由K個(gè)cache行組成，內(nèi)存塊按直接映射策略映射到某個(gè)組，但在該組中，內(nèi)存塊可以被映射到任意一個(gè)cache行。全相聯(lián)映射策略（fullassociationmappingstrategy）內(nèi)存塊可以被映射到cache中的任意一個(gè)cache行。20并行計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)分布式存儲(chǔ)MEMORYNODEMEMORYNODEMEMORYNODEMEMORYNODEnetworkNODE（節(jié)點(diǎn)）=單處理器或多處理器21并行計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)分布式存儲(chǔ)-NORMA(No-RemoteMemoryAccess)節(jié)點(diǎn)有它們自己的局部存儲(chǔ)器。一個(gè)節(jié)點(diǎn)內(nèi)的存儲(chǔ)器地址不會(huì)映射到其他節(jié)點(diǎn)上，所以在全部節(jié)點(diǎn)中沒有全局地址空間的概念。因?yàn)槊恳粋€(gè)節(jié)點(diǎn)有它自己局部存儲(chǔ)器它們獨(dú)立地操作。因此Cache一致性的概念不存在。當(dāng)一個(gè)節(jié)點(diǎn)需要存取另一個(gè)節(jié)點(diǎn)的數(shù)據(jù)（很少見），通常要程序員明確提供如何以及何時(shí)數(shù)據(jù)被傳送的信息。22并行計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)分布式存儲(chǔ)優(yōu)點(diǎn)增加節(jié)點(diǎn)數(shù)，就自然成比例地增加了存儲(chǔ)容量.每個(gè)節(jié)點(diǎn)能快速地存取它自己的存儲(chǔ)器而無(wú)需干涉也沒有試圖保持Cache一致性的開銷。成本效率:可以用商業(yè)化的，現(xiàn)成的處理器和網(wǎng)絡(luò)。缺點(diǎn)

如果數(shù)據(jù)在兩個(gè)節(jié)點(diǎn)間傳送，就要求程序員提供很多有關(guān)數(shù)據(jù)傳送的細(xì)節(jié)。很難將現(xiàn)在基于全局存儲(chǔ)的已有數(shù)據(jù)結(jié)構(gòu)映射到這種存儲(chǔ)組織中。非均勻內(nèi)存訪問(NUMA)時(shí)間

23并行計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)共享存儲(chǔ)NODEMEMORYNODE（節(jié)點(diǎn)）=單處理器或多處理器NODENODENODE24并行計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)共享存儲(chǔ)共享存儲(chǔ)的并行計(jì)算機(jī)千差萬(wàn)別，但都能夠使所有的節(jié)點(diǎn)以全局地址空間的形式訪問全部的存儲(chǔ)器空間。多個(gè)節(jié)點(diǎn)可以獨(dú)立操作但又可共享相同的存儲(chǔ)資源。在一個(gè)節(jié)點(diǎn)上改變一個(gè)存儲(chǔ)位置的值對(duì)其他節(jié)點(diǎn)來說也是可見和可用的。25并行計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)共享存儲(chǔ)均勻存儲(chǔ)訪問(UMA):存儲(chǔ)器和節(jié)點(diǎn)分離物理存儲(chǔ)器能夠通過互聯(lián)網(wǎng)絡(luò)被所有節(jié)點(diǎn)共享。發(fā)生訪存競(jìng)爭(zhēng)時(shí)，仲裁策略平等對(duì)待每個(gè)節(jié)點(diǎn)，即每個(gè)節(jié)點(diǎn)機(jī)會(huì)均等；外圍I/O設(shè)備也可以共享，且每個(gè)節(jié)點(diǎn)有平等的訪問權(quán)利。最常見的代表是當(dāng)前的對(duì)稱多處理器機(jī)器(SMP)26并行計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)共享存儲(chǔ)均勻存儲(chǔ)訪問(UMA):所有節(jié)點(diǎn)訪問任意存儲(chǔ)單元的時(shí)間相同；各節(jié)點(diǎn)的CPU可帶有局部私有高速緩存；互聯(lián)網(wǎng)絡(luò)可以是單總線、多總線或者交叉開關(guān)。

有時(shí)候稱為CC-UMA–Cache一致性UMA.Cache一致性意味著如果一個(gè)處理器修改了共享存儲(chǔ)器中的某個(gè)位置的數(shù)，其他的所有處理器都知道這個(gè)改變。Cache的一致性在硬件一級(jí)完成。27network并行計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)分布式共享存儲(chǔ)器(DSM)NODENODEMEMORYNODENODENODENODEMEMORYNODENODENODENODEMEMORYNODENODENODENODEMEMORYNODENODENODE（節(jié)點(diǎn)）=單處理器或多處理器28并行計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)分布式共享存儲(chǔ)器(DSM)共享存儲(chǔ)器部分通常是一個(gè)Cache一致性的SMP機(jī)器。在給定的SMP中的處理器，能夠以全局方式尋址這個(gè)機(jī)器的存儲(chǔ)器。分布式存儲(chǔ)部分是多個(gè)SMP聯(lián)網(wǎng)。SMP只知道它們自己的存儲(chǔ)器-不是在其他SMP上的存儲(chǔ)器。因此，需要網(wǎng)絡(luò)通信來將數(shù)據(jù)從一個(gè)SMP移動(dòng)到另一個(gè)。目前的趨勢(shì)似乎表明這種類型的存儲(chǔ)結(jié)構(gòu)將繼續(xù)盛行，并將在高端計(jì)算機(jī)上得到增強(qiáng)。29并行計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)分布式共享存儲(chǔ)器(DSM)非均勻存儲(chǔ)訪問(NUMA)每個(gè)節(jié)點(diǎn)都有共享存儲(chǔ)的一部分（局部存儲(chǔ)器）存儲(chǔ)器只有一個(gè)地址空間任何節(jié)點(diǎn)都可以實(shí)際地址直接訪問任何存儲(chǔ)器每個(gè)節(jié)點(diǎn)都可以有局部Cache不是所有的節(jié)點(diǎn)能夠以相同的時(shí)間訪問所有的存儲(chǔ)器，訪問時(shí)間與該存儲(chǔ)器到該節(jié)點(diǎn)的距離有關(guān)。跨鏈接的存儲(chǔ)訪問比較慢如果保持Cache一致性，它也可以稱為CC-NUMA–Cache一致性NUMA3031并行計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)分布式共享存儲(chǔ)器全高速緩存存儲(chǔ)訪問(COMA):每個(gè)節(jié)點(diǎn)擁有共享存儲(chǔ)的一部分。然而，這次共享存儲(chǔ)器是由Cache組成的。沒有層次性存儲(chǔ)，地址空間是針對(duì)Cache的。有一個(gè)Cache目錄來幫助遠(yuǎn)程Cache訪問。需要將數(shù)據(jù)轉(zhuǎn)移到需要它的節(jié)點(diǎn)上。3132并行計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)分布式共享存儲(chǔ)器優(yōu)點(diǎn)全局地址空間提供一個(gè)用戶友好的訪存編程方式。由于節(jié)點(diǎn)與內(nèi)存接近，任務(wù)間的數(shù)據(jù)共享快速統(tǒng)一缺點(diǎn)

增加一些節(jié)點(diǎn)會(huì)使得存儲(chǔ)器到節(jié)點(diǎn)的路徑的擁擠程度成幾何增大。對(duì)于cache一致性系統(tǒng)，增加更多的節(jié)點(diǎn)會(huì)使得與cache/存儲(chǔ)器管理相關(guān)聯(lián)的沖突成幾何增長(zhǎng)。程序員的責(zé)任就是能確保全局存儲(chǔ)的正確訪問的同步結(jié)構(gòu)。32并行計(jì)算機(jī)系統(tǒng)架構(gòu)33以動(dòng)物的食物鏈為例并行計(jì)算機(jī)系統(tǒng)架構(gòu)34并行計(jì)算機(jī)系統(tǒng)架構(gòu)35對(duì)稱多處理機(jī)系統(tǒng)(SMP)SMP對(duì)稱式共享存儲(chǔ):任意處理器可直接訪問任意內(nèi)存地址,且訪問延遲、帶寬、機(jī)率都是等價(jià)的;系統(tǒng)是對(duì)稱的；微處理器:一般少于64個(gè);處理器不能太多,總線和交叉開關(guān)的一旦作成難于擴(kuò)展；例子:IBMR50,SGIPowerChallenge,SUNEnterprise,36分布式共享存儲(chǔ)系統(tǒng)(DSM)DSM分布共享存儲(chǔ):內(nèi)存模塊物理上局部于各個(gè)處理器內(nèi)部,但邏輯上(用戶)是共享存儲(chǔ)的;這種結(jié)構(gòu)也稱為基于Cache目錄的非一致內(nèi)存訪問(CC-NUMA)結(jié)構(gòu);局部與遠(yuǎn)程內(nèi)存訪問的延遲和帶寬不一致;與SMP的主要區(qū)別：DSM在物理上有分布在各個(gè)節(jié)點(diǎn)的局部?jī)?nèi)存從而形成一個(gè)共享的存儲(chǔ)器；微處理器:16-128個(gè);代表:SGIOrigin2000,CrayT3D;37大規(guī)模并行計(jì)算機(jī)系統(tǒng)(MPP)MPP物理和邏輯上均是分布內(nèi)存能擴(kuò)展至成百上千個(gè)處理器(微處理器或向量處理器)采用高通信帶寬和低延遲的互聯(lián)網(wǎng)絡(luò)(專門設(shè)計(jì)和定制的)一種異步的MIMD機(jī)器；程序系由多個(gè)進(jìn)程組成，每個(gè)都有其私有地址空間，進(jìn)程間采用傳遞消息相互作用；代表:CRAYT3E(2048),ASCIRed(3072),IBMSP238機(jī)群系統(tǒng)(Cluster)Cluster每個(gè)節(jié)點(diǎn)都是一個(gè)完整的計(jì)算機(jī)各個(gè)節(jié)點(diǎn)通過高性能網(wǎng)絡(luò)相互連接網(wǎng)絡(luò)接口和I/O總線松耦合連接每個(gè)節(jié)點(diǎn)有完整的操作系統(tǒng)曙光2000、3000、4000,ASCIBlueMountain39并行計(jì)算機(jī)的發(fā)展始于70年代

1946年第一臺(tái)計(jì)算機(jī)ENIAC

（ElectronicNumericalIntegratorAndComputer）占地170平方重約30噸

5000次加法/秒

或500次乘法/秒

15分鐘換一個(gè)零件主要用于彈道計(jì)算

和氫彈研制40并行計(jì)算機(jī)的發(fā)展始于70年代

1972年第一臺(tái)并行計(jì)算機(jī)ILLIACIV（伊利諾依大學(xué)）60年代末開始建造

72年建成,74年運(yùn)行

第一個(gè)完整程序,

76年

運(yùn)行第一個(gè)應(yīng)用程序

64個(gè)處理器，是當(dāng)時(shí)

性能最高的CDC7600

機(jī)器的2-6倍公認(rèn)的1981年前最快1982年退役可擴(kuò)展性好，

但可編程性差41并行計(jì)算機(jī)的發(fā)展始于70年代向量機(jī)Cray-1

一般將Cray-1投入

運(yùn)行的1976年稱為

“超級(jí)計(jì)算元年”編程方便，

但可擴(kuò)展性差以Cray為代表的

向量機(jī)稱雄超級(jí)

計(jì)算機(jī)界十幾載收藏于DeutschesMuseum德意志

博物館的Cray-1原型42并行計(jì)算機(jī)的發(fā)展

80年代百家爭(zhēng)鳴早期：以MIMD并行計(jì)算機(jī)的研制為主

DenelcorHEP

（1982年）第一臺(tái)商用MIMD并行計(jì)算機(jī)

CrayX-MP

Cray研究公司第一臺(tái)MIMD并行計(jì)算機(jī)

IBM309080

年代普遍為銀行所采用西摩?克雷SeymourCray(1925-1996)，

電子工程學(xué)學(xué)士，應(yīng)用數(shù)學(xué)碩士，

超級(jí)計(jì)算機(jī)之父，Cray研究公司的創(chuàng)始人，

親手設(shè)計(jì)了Cray機(jī)型的全部硬件與操作系統(tǒng)，

作業(yè)系統(tǒng)由他用機(jī)器碼編寫完成。1984年時(shí)，

公司占據(jù)了超級(jí)計(jì)算機(jī)市場(chǎng)70%的份額。

1996年Cray研究公司被SGI收購(gòu)，2000年被

出售給Tera計(jì)算機(jī)公司，成立Cray公司。43并行計(jì)算機(jī)的發(fā)展

80年代百家爭(zhēng)鳴中期：共享存儲(chǔ)多處理機(jī)Shared-MemoryMultiProcessor

SMP

(SymmetricalMulti-Processing)：在一個(gè)計(jì)算機(jī)上匯集一組處理器，各處理器對(duì)稱共享內(nèi)存及計(jì)算機(jī)的其他資源，由單一操作系統(tǒng)管理，極大提高整個(gè)系統(tǒng)的數(shù)據(jù)處理能力。

擴(kuò)展性較差可靠性較差內(nèi)存訪問瓶頸44并行計(jì)算機(jī)的發(fā)展

80年代百家爭(zhēng)鳴后期：具有強(qiáng)大計(jì)算能力的并行機(jī)

通過二維Mesh連接的Meiko（Sun）系統(tǒng)

超立方體連接的MIMD并行機(jī)：nCUBE-2、iPSC/80共享存儲(chǔ)向量多處理機(jī)CrayY-MP

······45并行計(jì)算機(jī)的發(fā)展

90年代：體系結(jié)構(gòu)框架趨于統(tǒng)一(DSM、MPP、NOW)

DSM（DistributedSharedMemory）分布式共享存儲(chǔ)以結(jié)點(diǎn)為單位，每個(gè)結(jié)點(diǎn)有一個(gè)或多個(gè)CPU專用的高性能互聯(lián)網(wǎng)絡(luò)連接（Myrinet,Infiniband,…）分布式存儲(chǔ)：內(nèi)存模塊局部在每個(gè)結(jié)點(diǎn)中單一的操作系統(tǒng)單一的內(nèi)存地址空間：所有內(nèi)存模塊都由硬件進(jìn)行了統(tǒng)一的編址，各個(gè)結(jié)點(diǎn)既可以直接訪問局部?jī)?nèi)存單元，又可以直接訪問其他結(jié)點(diǎn)的局部?jī)?nèi)存單元可擴(kuò)展到上百個(gè)結(jié)點(diǎn)支持消息傳遞、共享存儲(chǔ)并行程序設(shè)計(jì)46并行計(jì)算機(jī)的發(fā)展

90年代：體系結(jié)構(gòu)框架趨于統(tǒng)一

DSM（DistributedSharedMemory）分布式共享存儲(chǔ)47并行計(jì)算機(jī)的發(fā)展

90年代：體系結(jié)構(gòu)框架趨于統(tǒng)一

MPP（MassivelyParallelProcessing）大規(guī)模并行處理結(jié)構(gòu)

每個(gè)結(jié)點(diǎn)相對(duì)獨(dú)立，有一個(gè)或多個(gè)微處理器每個(gè)結(jié)點(diǎn)均有自己的操作系統(tǒng)各個(gè)結(jié)點(diǎn)自己獨(dú)立的內(nèi)存，避免內(nèi)存訪問瓶頸各個(gè)結(jié)點(diǎn)只能訪問自己的內(nèi)存模塊擴(kuò)展性較好

DM-MPP分布式存儲(chǔ)MPP：每個(gè)結(jié)點(diǎn)僅包含一個(gè)微處理器

SMP-MPP：每個(gè)結(jié)點(diǎn)是一臺(tái)SMP并行機(jī)

DSM-MPP：每個(gè)結(jié)點(diǎn)是一臺(tái)DSM并行機(jī)48并行計(jì)算機(jī)的發(fā)展

MPP體系結(jié)構(gòu)示意圖

90年代：體系結(jié)構(gòu)框架趨于統(tǒng)一49并行計(jì)算機(jī)的發(fā)展

90年代：體系結(jié)構(gòu)框架趨于統(tǒng)一

NOW（NetworkofWorkstations）工作站機(jī)群投資風(fēng)險(xiǎn)小、結(jié)構(gòu)靈活、可擴(kuò)展性強(qiáng)、通用性好、異構(gòu)能力強(qiáng)，被大量中小型計(jì)算用戶和科研院校所采用每個(gè)結(jié)點(diǎn)安裝消息傳遞并行程序設(shè)計(jì)軟件，實(shí)現(xiàn)通信、負(fù)載平衡等每個(gè)結(jié)點(diǎn)都是一個(gè)完整的工作站，有獨(dú)立的硬盤與UNIX系統(tǒng)結(jié)點(diǎn)間通過低成本的網(wǎng)絡(luò)（如千兆以太網(wǎng)）連接也稱為COW（ClusterofWorkstations）

NOW（COW）與MPP之間的界線越來越模糊50并行計(jì)算機(jī)的發(fā)展

NOW的典型代表：Beowulfcluster微機(jī)機(jī)群性能價(jià)格比極高

90年代：體系結(jié)構(gòu)框架趨于統(tǒng)一51并行計(jì)算機(jī)的發(fā)展第一臺(tái)Beowulf機(jī)群52并行計(jì)算機(jī)的發(fā)展

2000年至今：前所未有大踏步發(fā)展

Cluster機(jī)群

Constellation星群每個(gè)結(jié)點(diǎn)含多個(gè)商用處理器，結(jié)點(diǎn)內(nèi)部共享存儲(chǔ)

采用商用機(jī)群交換機(jī)通過前端總線連接結(jié)點(diǎn)，結(jié)點(diǎn)分布存儲(chǔ)各個(gè)結(jié)點(diǎn)采用Linux操作系統(tǒng)、GNU編譯系統(tǒng)和作業(yè)管理系統(tǒng)每個(gè)結(jié)點(diǎn)是一臺(tái)子并行機(jī)采用商用機(jī)群交換機(jī)通過前端總線連接結(jié)點(diǎn)，結(jié)點(diǎn)分布存儲(chǔ)各個(gè)結(jié)點(diǎn)運(yùn)行專用的結(jié)點(diǎn)操作系統(tǒng)、編譯系統(tǒng)和作業(yè)管理系統(tǒng)

MPP專用高性能網(wǎng)絡(luò)，大多為政府直接支持53并行計(jì)算機(jī)的發(fā)展并行計(jì)算機(jī)發(fā)展趨勢(shì)由于向量機(jī)和MPP

受研制費(fèi)用高、售價(jià)高等因素的影響，其市場(chǎng)受到一定的限制

SMP

由于共享結(jié)構(gòu)的限制，系統(tǒng)的規(guī)模不可能很大由于機(jī)群系統(tǒng)具有投資風(fēng)險(xiǎn)小、可擴(kuò)展性好、可繼承現(xiàn)有軟硬件資源和開發(fā)周期短、可編程性好等特點(diǎn)，目前已成為并行處理的熱點(diǎn)和主流54并行計(jì)算介紹什么是并行計(jì)算并行計(jì)算機(jī)的發(fā)展我國(guó)并行計(jì)算機(jī)的發(fā)展情況當(dāng)前最快的超級(jí)計(jì)算機(jī)并行計(jì)算機(jī)體系結(jié)構(gòu)操作系統(tǒng)與并行計(jì)算編程環(huán)境并行算法55我國(guó)高性能計(jì)算機(jī)的發(fā)展

1958年第一臺(tái)國(guó)產(chǎn)計(jì)算機(jī)

－－103型計(jì)算機(jī)運(yùn)行速度每秒1500次第一臺(tái)計(jì)算機(jī)56我國(guó)高性能計(jì)算機(jī)的發(fā)展

1983年12月，我國(guó)第一臺(tái)每秒鐘運(yùn)算達(dá)1億次以上的計(jì)算機(jī)“銀河I”問世

1992年“銀河-II”問世，每秒運(yùn)算達(dá)10億次

1997年成功研制百億次并行機(jī)“銀河-III”，由130多個(gè)處理結(jié)點(diǎn)組成超級(jí)計(jì)算機(jī)曙光（曙光信息產(chǎn)業(yè)有限公司

）深騰（聯(lián)想集團(tuán)）銀河神威軍事部門57我國(guó)高性能計(jì)算機(jī)的發(fā)展

1999年9月，由國(guó)家并行計(jì)算機(jī)工程技術(shù)研究中心牽頭研制成功的“神威”計(jì)算機(jī)系統(tǒng)投入運(yùn)行。2000年，“神威I”面向社會(huì)開放使用。“神威I”的峰值速度為每秒3840億次浮點(diǎn)運(yùn)算神威

I58我國(guó)高性能計(jì)算機(jī)的發(fā)展

1993年10月研制成功“曙光一號(hào)”SMP多處理機(jī)

2000年推出每秒3000億次的曙光3000超級(jí)服務(wù)器

2004年6月，推出11萬(wàn)億次的曙光4000A超級(jí)計(jì)算機(jī)，落戶上海超算中心，進(jìn)入全球前十名，從而使中國(guó)成為繼美國(guó)和日本之后，第三個(gè)能研制10萬(wàn)億次高性能計(jì)算機(jī)的國(guó)家

2008年6月，曙光5000A發(fā)布，實(shí)際運(yùn)算速度超過每秒160萬(wàn)億次，排名世界第十曙光5000A59我國(guó)高性能計(jì)算機(jī)的發(fā)展

2002年，聯(lián)想發(fā)布深騰1800計(jì)算機(jī)，排名全球第43位，成為首家正式進(jìn)入排行榜前100的中國(guó)企業(yè)

2003年，深騰6800計(jì)算機(jī)發(fā)布，列全世界TOP500第14位，其78.5%的整機(jī)效率列世界通用高端計(jì)算機(jī)第一名

2008年12月，聯(lián)想發(fā)布百萬(wàn)億次超級(jí)計(jì)算機(jī)深騰7000深騰700060并行計(jì)算介紹什么是并行計(jì)算并行計(jì)算機(jī)的發(fā)展我國(guó)并行計(jì)算機(jī)的發(fā)展情況當(dāng)前最快的超級(jí)計(jì)算機(jī)并行計(jì)算機(jī)體系結(jié)構(gòu)操作系統(tǒng)與并行計(jì)算編程環(huán)境并行算法61當(dāng)前高性能計(jì)算機(jī)

Top500：2007年11月排名第一的

IBMBlueGene/L由212992

個(gè)處理器構(gòu)成，內(nèi)存為73728G

理論峰值為596378

GFlops測(cè)試峰值478200

GFlops

2008年06月排名第二62當(dāng)前高性能計(jì)算機(jī)63當(dāng)前高性能計(jì)算機(jī)64當(dāng)前高性能計(jì)算機(jī)

并行機(jī)類型Architecturesharefor06/200965當(dāng)前高性能計(jì)算機(jī)

并行機(jī)采用的操作系統(tǒng)OperatingsystemFamilysharefor06/200966當(dāng)前高性能計(jì)算機(jī)

并行機(jī)采用的網(wǎng)絡(luò)鏈接67

并行計(jì)算機(jī)發(fā)展趨勢(shì)68國(guó)內(nèi)高性能計(jì)算機(jī)

Top100inChina：http:///曙光公司中國(guó)科學(xué)院計(jì)算技術(shù)研究所國(guó)家智能計(jì)算機(jī)研究開發(fā)中心國(guó)家高性能計(jì)算中心

合作伙伴：AMD、上海超級(jí)計(jì)算中心最新產(chǎn)品：曙光5000A（百萬(wàn)億次）聯(lián)想公司合作伙伴：Intel、中科院計(jì)算機(jī)網(wǎng)絡(luò)中心（超級(jí)計(jì)算中心）最新產(chǎn)品：深騰7000（百萬(wàn)億次）69國(guó)內(nèi)超級(jí)計(jì)算中心國(guó)家高性能計(jì)算中心

國(guó)家高性能計(jì)算中心（北京）

1995年5月成立，第一個(gè)高性能計(jì)算中心

國(guó)家高性能計(jì)算中心（合肥）：1995年9月，中科大

國(guó)家高性能計(jì)算中心（成都）：1997年11月，西南交大

國(guó)家高性能計(jì)算中心（武漢）：1997年12月，華中科技

國(guó)家高性能計(jì)算中心（上海）：1998年4月，復(fù)旦大學(xué)

國(guó)家高性能計(jì)算中心（杭州）：2001年4月，浙江大學(xué)

國(guó)家高性能計(jì)算中心（西安）：2002年4月，西安交大70并行計(jì)算介紹什么是并行計(jì)算并行計(jì)算機(jī)的發(fā)展我國(guó)并行計(jì)算機(jī)的發(fā)展情況當(dāng)前的超級(jí)計(jì)算機(jī)并行計(jì)算機(jī)體系結(jié)構(gòu)操作系統(tǒng)與并行計(jì)算編程環(huán)境并行算法71操作系統(tǒng)與編程語(yǔ)言并行計(jì)算機(jī)主流操作系統(tǒng)：UNIX/Linux

AIX（IBM）

HPUX（HP）

Solaris（SUN）

IRIX（SGI）

Linux編程語(yǔ)言

Fortran77/90/95

C/C++72進(jìn)程與線程進(jìn)程（process）運(yùn)行中的程序各個(gè)進(jìn)程擁有獨(dú)立的執(zhí)行環(huán)境進(jìn)程間通信同一臺(tái)處理機(jī)或不同處理機(jī)的多個(gè)進(jìn)程之間交流信息通信（消息傳遞）、同步、聚集線程（threads）降低系統(tǒng)管理開銷一個(gè)進(jìn)程可以含一個(gè)或多個(gè)線程73并行編程環(huán)境常見的并行編程環(huán)境消息傳遞、共享存儲(chǔ)、數(shù)據(jù)并行特征消息傳遞共享數(shù)據(jù)數(shù)據(jù)并行典型代表

可移植性

存儲(chǔ)方式

學(xué)習(xí)難度

可擴(kuò)展性MPI，PVM

所有流行并行機(jī)

分布式存儲(chǔ)

較難

好OpenMP

SMP，DSM

共享存儲(chǔ)

容易

較差HPF

SMP，DSM，MPP

共享存儲(chǔ)

偏易

一般三種并行編程環(huán)境主要特征一覽74并行計(jì)算介紹什么是并行計(jì)算并行計(jì)算機(jī)的發(fā)展我國(guó)并行計(jì)算機(jī)的發(fā)展情況當(dāng)前的超級(jí)計(jì)算機(jī)并行計(jì)算機(jī)體系結(jié)構(gòu)操作系統(tǒng)與并行計(jì)算編程環(huán)境并行算法75并行算法適合在并行機(jī)上實(shí)現(xiàn)的算法

好的并行算法應(yīng)充分發(fā)揮并行機(jī)計(jì)算機(jī)的潛在性能并行算法并行算法分類按運(yùn)算對(duì)象：數(shù)值并行算法、非數(shù)值并行算法

按并行進(jìn)程執(zhí)行順序：

同步并行算法、異步并行