并行計算概述

并行計算概述第1頁，共29頁，2023年，2月20日，星期四如何滿足不斷增長的計算力需求？用速度更快的硬件，也就是減少每一條指令所需時間優(yōu)化算法（或者優(yōu)化編譯）用多個處理機(器)同時解決一個問題并行計算2并行計算概述第2頁，共29頁，2023年，2月20日，星期四并行計算概述3并行:古老的思想!“...并行計算并不是什么新的思想,只是將它擴展應(yīng)用于計算機而已”.作者也不認(rèn)為這種擴展應(yīng)用會存在什么無法克服的困難.但也不要期待有效的并行編程方法與技術(shù)能夠在一夜之間誕生.期間還需要有許多的工作和實驗要做.畢竟,今天的編程技術(shù)(串行)是若干年來艱苦的探索才取得的.現(xiàn)在編程工作似乎成了一種令人單調(diào)乏味的工作,事實上,并行編程的出現(xiàn)將會使重新恢復(fù)編程工作者們的探索精神...”(Gill,S.(1958),“ParallelProgramming”

TheComputerJournal,vol.1,April,pp.2-10.)ParallelProgrammingwithMPIbyPeterPacheco(2000)第3頁，共29頁，2023年，2月20日，星期四并行計算--高性能計算并行計算(ParallelComputing）

高端計算(High-endParallelComputing)

高性能計算(HighPerformanceComputing)

超級計算(SuperComputing)

任何高性能計算和超級計算都離不開使用并行技術(shù)Thesimultaneoususeofmorethanonecomputertosolveaproblem.由由運行在多個部件上的小任務(wù)合作來求解一個規(guī)模很大的計算問題的一種方法4第4頁，共29頁，2023年，2月20日，星期四什么是高性能并行計算機由多個計算單元組成，運算速度快、存儲容量大、可靠性高的計算機系統(tǒng)。也稱為：巨型計算機、超級計算機目前任何高性能計算和超級計算都離不開使用并行技術(shù)，所以高性能計算機肯定是并行計算機。5第5頁，共29頁，2023年，2月20日，星期四并行計算的概念6第6頁，共29頁，2023年，2月20日，星期四串行計算與并行計算并行計算概述7第7頁，共29頁，2023年，2月20日，星期四為什么要做并行計算？

－－應(yīng)用需求8第8頁，共29頁，2023年，2月20日，星期四9第9頁，共29頁，2023年，2月20日，星期四計算科學(xué)與傳統(tǒng)的兩種科學(xué)，即理論科學(xué)和實驗科學(xué)，并列被認(rèn)為是人類認(rèn)識自然的三大支柱，他們彼此相輔相成地推動科學(xué)發(fā)展與社會進步。在許多情況下，或者是理論模型復(fù)雜甚至理論尚未建立，或者實驗費用昂貴甚至無法進行時，計算就成了求解問題的唯一或主要的手段。為什么要做并行計算？

－－應(yīng)用需求10第10頁，共29頁，2023年，2月20日，星期四為什么要做并行計算？人類對計算及性能的要求是無止境的從系統(tǒng)的角度：集成系統(tǒng)資源，以滿足不斷增長的對性能和功能的要求

從應(yīng)用的角度：適當(dāng)分解應(yīng)用，以實現(xiàn)更大規(guī)?；蚋?xì)致的計算11第11頁，共29頁，2023年，2月20日，星期四為什么要做并行計算？問題:科學(xué)和工程問題的數(shù)值模擬與仿真計算密集數(shù)據(jù)密集網(wǎng)絡(luò)密集三種混合要求:在合理的時限內(nèi)完成計算任務(wù)秒級 制造業(yè)分鐘級 短時天氣預(yù)報(當(dāng)天)小時級 中期天氣預(yù)報(3~10日)盡可能快 長期天氣預(yù)報(氣候)可計算 湍流模擬12第12頁，共29頁，2023年，2月20日，星期四13第13頁，共29頁，2023年，2月20日，星期四其發(fā)展歷程可以簡單的分為兩個時代專用時代

包括向量機，MPP系統(tǒng)，SGINUMA系統(tǒng)，SUN大型SMP系統(tǒng)，也包括我國的神威，銀河，曙光1000等。

之所以稱為“專用”，并不是說它們只能運行某種應(yīng)用，是指它們的組成部件是專門設(shè)計的，它們的CPU板，內(nèi)存板，I/O板，甚至操作系統(tǒng)，都是不能在其它系統(tǒng)中使用的。由于技術(shù)上桌面系統(tǒng)與高端系統(tǒng)的巨大差異，和用戶群窄小。普及時代

高性能計算機價格下降，應(yīng)用門檻降低，應(yīng)用開始普及。兩個技術(shù)趨勢起到重要作用。

商品化趨勢使得大量生產(chǎn)的商品部件接近了高性能計算機專有部件

標(biāo)準(zhǔn)化趨勢使得這些部件之間能夠集成一個系統(tǒng)中，其中X86處理器、以太網(wǎng)、內(nèi)存部件、Linux都起到?jīng)Q定性作用。

機群系統(tǒng)是高性能計算機的一種，它的技術(shù)基礎(chǔ)和工業(yè)基礎(chǔ)都是商品化和標(biāo)準(zhǔn)化。14第14頁，共29頁，2023年，2月20日，星期四Top500中的超級計算機地球模擬器ASCIQASCIWhite15第15頁，共29頁，2023年，2月20日，星期四EarthSimulatorEarthsimulatorcenterNecRmax:35.86Tflops8*8*640第16頁，共29頁，2023年，2月20日，星期四EarthSimulator第17頁，共29頁，2023年，2月20日，星期四EarthSimulator第18頁，共29頁，2023年，2月20日，星期四ASCIQ1024nodes8cpu/node10240Gflops7727Gflops第19頁，共29頁，2023年，2月20日，星期四ASCIwhiteLLNLIBMSPpower3Rmax7.22Tflops第20頁，共29頁，2023年，2月20日，星期四曙光1000曙光1000有36個結(jié)點機;峰值計算速度為浮點25.6億次/秒，實際達到15.8億次/秒；內(nèi)存容量為1024兆字節(jié)；基于Wormhole機制的二維Mesh通訊網(wǎng)，結(jié)點與網(wǎng)絡(luò)通訊總帶寬為2.88GB/秒；采用基于UNIX的并行操作系統(tǒng)和并行文件系統(tǒng)；第21頁，共29頁，2023年，2月20日，星期四并行計算機-CRAYSystemName Jaguar1059000GFlopsSystemFamily CrayXTOperatingSystemCNLInterconnect XT4InternalInterconnectProcessor AMDOpteronQuadCore2300MHz(9.2GFlops)第22頁，共29頁，2023年，2月20日，星期四并行計算機-IBMSystemName Roadrunner1105000GFlopsSystemFamily IBMClusterOperatingSystemLinuxInterconnect InfinibandProcessor PowerXCell8i3200MHz(12.8GFlops)第23頁，共29頁，2023年，2月20日，星期四并行計算機-DAWNINGSystemName Dawning5000A 180600GFlopsSystemFamily DawningClusterOperatingSystemWindowsHPCserver2008andSUSEInterconnect InfinibandDDRProcessor AMDOpteronQuadCore1900MHz(7.6GFlops)第24頁，共29頁，2023年，2月20日，星期四并行計算機所用的處理器AMDOpteronXeonNoconaIntelItaniumCompaqAlphaHPPA-RISCSunUltraSPARCIBMPOWER5+,POWER6IBMBlueGeneprocessorMIPSR10000龍芯第25頁，共29頁，2023年，2月20日，星期四最新TOP500cpu分布第26頁，共29頁，2023年，2月20日，星期四并行機處理器-AMDPERFORMANCE1-WAYPERFORMANCE2-WAYPERFORMANCE4-WAYAND8-WAYAMDOpteron?200Series&2000SeriesProcessorsDesignedfor2-wayServer/WorkstationsolutionsFirstnativex86dual-coresolutionfor2-waycomputingAMDOpteron?100Series&1000SeriesProcessorsDesignedfor1-wayServer/WorkstationsolutionsFirstnativex86dual-coresolutionfor1-waycomputingAMDOpteron?800Series&8000SeriesProcessorsDesignedfor4-wayand8-wayServersolutionsFirstnativex86dual-coresolutionfor4-way/8-waycomputingAMDOpteron?ProcessorsforServersandWorkstations第27頁，共29頁，2023年，2月20日，星期四并行機處理器-Intel數(shù)據(jù)要求苛刻雙核英特爾?

至強?7000系列處理器

最大限度提高性能、可靠性和可擴展性雙核英特爾?

安騰?

處理器9000大型機級服務(wù)器,具有頂級的靈活性和可靠性RISC與大型機