并行計(jì)算機(jī)系統(tǒng)及其結(jié)構(gòu)模型

0\中國(guó)科里三宅計(jì)舞譏科學(xué)與授才系

Bf^srsityofScience己門(mén)dTsckifiologyofChinei

DEPARTMEtITOFCOMPUTEHBCIEtICEAtIDTEDHHQUODf

并行計(jì)算

—結(jié)構(gòu)?算法?編程

中涉國(guó)霞科寓生i碑2多計(jì)真機(jī)科學(xué)與授才系

iBr^srsityofScisnceEindTschnologyolCriirici

DEPAWTMEtITOFCQMPUTEHBC1EMCEAt)0TEDHHOLOBf

弄和必寡修構(gòu)?第法?編程

■第一篇并行計(jì)算的基礎(chǔ)

'第一章并行計(jì)算機(jī)系統(tǒng)及其結(jié)構(gòu)模型

■第二章當(dāng)代并行機(jī)系統(tǒng)：SMP、MPP和Cluster

■第三章并行計(jì)算性能評(píng)測(cè)

■第二篇并行算法的設(shè)計(jì)

■第四章并行算法的設(shè)計(jì)基礎(chǔ)

■第五章并行算法的一般設(shè)計(jì)方法

■第六章并行算法的基本設(shè)計(jì)技術(shù)

■第七章并行算法的一般設(shè)計(jì)過(guò)程

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

2

、中國(guó)科里遇廣?計(jì)舞機(jī)科學(xué)與技才系

P^vsrsityofScience2口dTechnologyofChirici

DEPARTMEtITOFCOMPUTEHBCIEtICEAtIDTEDHHQUODf

畀行必察——修構(gòu)?賓法?編程

?第三篇并行數(shù)值算法

■第八章基本通信操作

■第九章稠密矩陣運(yùn)算

■第十章線性方程組的求解

■第H^一章快速傅里葉變換

■第四篇并行程序設(shè)計(jì)

■第十二章并行程序設(shè)計(jì)基礎(chǔ)

■第十三章并行程序設(shè)計(jì)模型和共享存儲(chǔ)系統(tǒng)編程

■第十四章分布存儲(chǔ)系統(tǒng)并行編程

■第十五章并行程序設(shè)計(jì)環(huán)境與工具

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

3

、曜中甘國(guó)科或里1則彳萬(wàn)計(jì)舞凱科學(xué)與技注系

IBrnvsrsityofScience己門(mén)dTsckinologyofChina

DEPARTMEtITDFCOMPUTET!BCIEtICEAtIDTEDHHQUODf

第一章畀竹計(jì)真機(jī)系統(tǒng)及秸構(gòu)模型

■L1并行計(jì)算

■1.1.1并行計(jì)算與計(jì)算科學(xué)

■1.1.2當(dāng)代科學(xué)與工程問(wèn)題的計(jì)算需求

■L2并行計(jì)算機(jī)系統(tǒng)互連

■1.2.1系統(tǒng)互連

■1.2.2靜態(tài)互聯(lián)網(wǎng)絡(luò)

■1.2.3動(dòng)態(tài)互連網(wǎng)絡(luò)

■L2.4標(biāo)準(zhǔn)互聯(lián)網(wǎng)絡(luò)

■L3并行計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)

■1.3.1并行計(jì)算機(jī)結(jié)構(gòu)模型

■1.3.2并行計(jì)算機(jī)訪存模型

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

4

中涉國(guó)霞科寓生i碑2多計(jì)真機(jī)科學(xué)與授才系

iBr^srsityofScisnceEindTschnologyolCriirici

DEPAWTNIEtITOFCQMPUTEriBC1EMCE)□TEDHHOi>OBf

并行計(jì)f

行機(jī)上所作的計(jì)算，又稱(chēng)高性能

■計(jì)算科學(xué)：計(jì)算物理、計(jì)算化學(xué)、計(jì)算生物等

科學(xué)與工程回鶻的責(zé)求：氣裹預(yù)強(qiáng)、迪擬、

核武器數(shù)值模擬、航天器設(shè)計(jì)、基因測(cè)序等。

'需求類(lèi)型：計(jì)算密集、數(shù)據(jù)密集、網(wǎng)絡(luò)密集。

■美國(guó)HPCC計(jì)劃：重大挑戰(zhàn)性課題，3丁性能

■美國(guó)Petaflops研究項(xiàng)目：Pflop/So

■美國(guó)AS"計(jì)劃：核武器數(shù)值模擬。

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

5

、曜中甘國(guó)科或里1曬pr計(jì)舞機(jī)科學(xué)與技注系

IBrnvsrsityofScience己門(mén)dTsckinologyofChina

DEpA.rrr./iEtITorCDMIPUTEFJSCIsrIDE4”口T三CH，I口L口Gr

由桃怩行耳機(jī)

■Intel(OptionRed)：

ITflops,1997,PentiumPro

■SG工(OptionBlueMountain)：

3Tflops/1998,AAIPS10000

■IBAA(OptionWhite)：

7Tflops/Top4/2001/Power3

■日本EarthSimulator：

35Tflops,Topi,2002,VP

■Hewlett-PackardASCIQ：

7Tflops,Top2,3,200),AlphaServer

■中國(guó)聯(lián)想：

lTflops/Top43/2002

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

6

中國(guó)科里劈，度計(jì)舞機(jī)科學(xué)與技才系

I嗝ofScisncs己門(mén)dTsckifiologyofChinei

DEPARTMEtITOFCOMPUTEHBCIEtICEAtIDTEDHHQUODf

系疣亙逡

■不同帶寬與距離的互連技術(shù):

中國(guó)科里劈，度計(jì)舞機(jī)科學(xué)與技才系

TsrsityofScienceEindTscrinologyofChiria

OFCOMPUTEHBCIEMCEAtIDTEaHHQLOBf

局部總裁、工/0總裁、SAN和LAN

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

8

中涉國(guó)霞科寓生i碑2多計(jì)真機(jī)科學(xué)與授才系

iBr^srsityofScisnceEindTschnologyolCriirici

DEPAWTNIEtITOFCQMPUTEriBC1EMCE)□TEDHHOLOBf

網(wǎng)珞促惚播標(biāo)

■節(jié)點(diǎn)度(NodeDegree)：射入或射出一個(gè)節(jié)點(diǎn)的邊

數(shù)。在單向網(wǎng)絡(luò)中，入射和出射邊之和稱(chēng)為節(jié)點(diǎn)度。

■網(wǎng)絡(luò)直徑(NetworkDiameter)：網(wǎng)絡(luò)中任何兩個(gè)

節(jié)點(diǎn)之間的最長(zhǎng)距離，即最大路徑數(shù)。

■對(duì)剖寬度(BisectionWidth)：對(duì)分網(wǎng)絡(luò)各半所必須

移去的最少邊數(shù)

■對(duì)剖帶寬(BisectionBandwidth):每秒鐘內(nèi)，在最小的對(duì)

剖平面上通過(guò)所有連線的最大信息位(或字節(jié))數(shù)

?如果從任一節(jié)點(diǎn)觀看網(wǎng)絡(luò)都一樣，則稱(chēng)網(wǎng)絡(luò)為對(duì)稱(chēng)的

(Symmetry)

國(guó)家高性能計(jì)算中心(合肥)2011-7-15

9

中國(guó)科生i噴，考計(jì)算譏科學(xué)與授才系

nlvsrsityofScience己ndTschnolog^ofChinci

DEPART?4￡HIDFCOMPUTERBcistIDE)DJTEaHNOkOVY

春忐互逡網(wǎng)絡(luò)與初態(tài)&it網(wǎng)絡(luò)

■靜態(tài)互連網(wǎng)絡(luò)：處理單元間有著固定連接的一類(lèi)網(wǎng)絡(luò)，

在程序執(zhí)行期間，這種點(diǎn)到點(diǎn)的鏈接保持不變；典型的

靜態(tài)網(wǎng)絡(luò)有一維線性陣列、二維網(wǎng)孔、樹(shù)連接、超立方

網(wǎng)絡(luò)、立方環(huán)、洗牌交換網(wǎng)、蝶形網(wǎng)絡(luò)等

?動(dòng)態(tài)網(wǎng)絡(luò)：用交換開(kāi)關(guān)構(gòu)成的，可按應(yīng)用程序的要求動(dòng)

態(tài)地改變連接組態(tài)；典型的動(dòng)態(tài)網(wǎng)絡(luò)包括總線、交叉開(kāi)

關(guān)和多級(jí)互連網(wǎng)絡(luò)等。

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

10

中涉國(guó)霞科寓生i碑2多計(jì)真機(jī)科學(xué)與授才系

iBr^srsityofScisnceEindTschnologyolCriirici

DEPAWTNIEtITOFCQMPUTEriBC1EMCE)□TEDHHOLOBf

靜態(tài)至逡網(wǎng)絡(luò)（1）

■一維線性陣列（1-DLinearArray）：

■并行機(jī)中最簡(jiǎn)單、最基本的互連方式，

-每個(gè)節(jié)點(diǎn)只與其左、右近鄰相連，也叫二近鄰連接，

■N個(gè)節(jié)點(diǎn)用N-1條邊串接之，內(nèi)節(jié)點(diǎn)度為2,直/另卜-1,對(duì)剖

寬度為1

■當(dāng)首、尾節(jié)點(diǎn)相連時(shí)可構(gòu)成循環(huán)移位器，在拓?fù)浣Y(jié)構(gòu)上等同于

環(huán)，環(huán)可以是單向的或雙向的，其節(jié)點(diǎn)度恒為2,直徑或?yàn)?/p>

（雙向環(huán)）或?yàn)镹-1（單向環(huán)），對(duì)剖寬度為2

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

11

中涉國(guó)霞科寓生i碑2多計(jì)真機(jī)科學(xué)與授才系

WrnvsrsityofScience51ndTechnologyofChinci

DERARTMEHTOFCOMPLUTKIt

靜態(tài)

■亞x屈二維網(wǎng)孔(2-DAAesh)：

■每個(gè)節(jié)點(diǎn)只與其上、下、左、右的近鄰相連(邊界節(jié)點(diǎn)除外)，

節(jié)點(diǎn)度為4,網(wǎng)絡(luò)直徑為2(W-1),對(duì)剖寬度為F

■在垂直方向上帶環(huán)繞，水平方向呈蛇狀，就變成工Iliac網(wǎng)孔了，

節(jié)點(diǎn)度恒為4,網(wǎng)絡(luò)直徑為折T,而對(duì)剖寬度為2后

■垂直和水平方向均帶環(huán)繞，則變成了2-D環(huán)繞(2-DTorus),

節(jié)點(diǎn)度恒為4,網(wǎng)絡(luò)直徑為2再/21，對(duì)剖寬度為2)

中國(guó)科里遇廣?計(jì)舞機(jī)科學(xué)與技才系

UrTIvsrsityofScience己ndTschnolog^ofChinci

DEPARTMEtlTDFCOMPUTER3ClErICE：>aJDTECH/IQLOWY4

靜態(tài)及透網(wǎng)絡(luò)（3）

■二叉樹(shù):

■除了根、葉節(jié)點(diǎn)，每個(gè)內(nèi)節(jié)點(diǎn)只與其父節(jié)點(diǎn)和兩個(gè)子節(jié)點(diǎn)相連。

■節(jié)點(diǎn)度為3,對(duì)剖寬度為1,而樹(shù)的直徑為2（「logN]-1）

■如果盡量增大節(jié)點(diǎn)度為，則直徑縮小為2,此時(shí)就變成了星形

網(wǎng)絡(luò)，其對(duì)剖寬度為卬/2」

"傳統(tǒng)二叉樹(shù)的主要問(wèn)題是根易成為通信瓶頸。胖樹(shù)節(jié)點(diǎn)間的通

路自葉向根逐漸變寬。

國(guó)家高性能計(jì)算中心（合肥）

13

中涉國(guó)霞科寓生i碑2多計(jì)真機(jī)科學(xué)與授才系

iBr^srsityofScisnceEindTschnologyolCriirici

DEPAWTMEtITOFCQMPUTEHBC1EMCEAt)0TEDHHOLOBf

靜態(tài)互逡網(wǎng)輅(4)

■超立方：

■一個(gè)n-立方由N=2"個(gè)頂點(diǎn)組成，3-立方如圖(a)所示；4-立

方如圖(b)所示，由兩個(gè)3-立方的對(duì)應(yīng)頂點(diǎn)連接而成。

■n-立方的節(jié)點(diǎn)度為n,網(wǎng)絡(luò)直徑也是n,而對(duì)剖寬度為N/2。

■如果將3-立方的每個(gè)頂點(diǎn)代之以一個(gè)環(huán)就構(gòu)成了如圖(d)所示

的3-立方環(huán)，此時(shí)每個(gè)頂點(diǎn)的度為3,而不像超立方那樣節(jié)點(diǎn)

(a)3-立方(b)4—立方

國(guó)家高性能計(jì)算中心

中涉國(guó)霞科寓生i碑2多計(jì)真機(jī)科學(xué)與授才系

iBr^srsityofScisnceEindTschnologyolCriirici

DEPAWTMEtITOFCQMPUTEHBC1EMCEAt)0TEDHHOLOBf

被人

■將網(wǎng)絡(luò)中的各節(jié)點(diǎn)映射到另一個(gè)網(wǎng)絡(luò)中去

■用膨脹（Dilation）系數(shù)來(lái)描述嵌入的質(zhì)量，它是指被

嵌入網(wǎng)絡(luò)中的一條鏈路在所要嵌入的網(wǎng)絡(luò)中對(duì)應(yīng)所需的

最大鏈路數(shù)

■如果該系數(shù)為1,則稱(chēng)為完美嵌入。

■環(huán)網(wǎng)可完美嵌入到2-D環(huán)繞網(wǎng)中

?超立方網(wǎng)可完美嵌入到2—D環(huán)繞網(wǎng)中

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

15

中國(guó)科里劈，度計(jì)舞機(jī)科學(xué)與技才系

I嗝ofScisncs己門(mén)dTsckifiologyofChinei

DEPARTMErITDFCOMPUTEDSCIEtICEAtIDTEOHtlQUODf

0000000110001001

國(guó)家高性能計(jì)算中心（合肥）2-7-15

16

、中國(guó)科里遇廣?計(jì)舞機(jī)科學(xué)與技才系

PTTversityofScienceEindTscnriologyofChina

DEPAnTMEtITDFCQMmjTERSCIErlCc：IDTECrlHOLOWY

靜態(tài)網(wǎng)絡(luò)將悔叱簌

網(wǎng)絡(luò)名稱(chēng)網(wǎng)絡(luò)規(guī)模節(jié)點(diǎn)度網(wǎng)絡(luò)直徑對(duì)剖寬度對(duì)稱(chēng)鏈路數(shù)

線性陣列21非

N-\

N-1

N

環(huán)形2（雙2是

[N/2」向）N

N

2-D網(wǎng)孑L42(VV-1)非

(WxVV)4N2(N-W)

Uliac網(wǎng)孔4非2N

(WxVV)5-1

2-D環(huán)繞4是

21W/2_|T2N

(WX4N)2VV

二叉樹(shù)31非

N2(flogN]-1)N-1

星形2非

NLN/2」N-1

N-1

超立方是

nnnN/2

N=2〃N/2

立方環(huán)3是

N=k.2k2k-\+\k12\N明

2011-7-1^

國(guó):高性能計(jì)算?『心(合肥)17

、曜中甘國(guó)科或里i曬pr計(jì)舞機(jī)科學(xué)與技注系

IBrnvsrsityofScience己門(mén)dTsckifiologyofChinci°

DEPA.rrr.dE.ITDF二口，」.值.■Jk>JL/4\

勁態(tài)JL邃網(wǎng)絡(luò)（1）

■總線：PCI>VME、Mu什ics、Sbus、MicroChannel

■多處理機(jī)總線系統(tǒng)的主要句題包括總線仲裁、中斷處理、協(xié)議轉(zhuǎn)換、

快速同步、高速緩存一致性協(xié)議、分事務(wù)、總線橋和層次總線擴(kuò)展等

本地夕卜圍設(shè)備

制中蓊國(guó)科睚生霹i號(hào)7N廿w譏科學(xué)與技才系

IBrnvsfskyofSciesnces2a1qTcdiT一echriolooyCHipa,人

DEPARTMEtITDFC劭態(tài)史遵網(wǎng)絡(luò)(2)

■交叉開(kāi)關(guān)（Crossbar）：

■單級(jí)交換網(wǎng)絡(luò)，可為每個(gè)端口提供更高的帶寬。象電話交換機(jī)

一樣，交叉點(diǎn)開(kāi)關(guān)可由程序控制動(dòng)態(tài)設(shè)置其處于“開(kāi)”或“關(guān)”

狀態(tài)，而能提供所有（源、目的）對(duì)之間的動(dòng)態(tài)連接。

■交叉開(kāi)關(guān)一般有兩種使用方式：一種是用于對(duì)稱(chēng)的多處理機(jī)或

多計(jì)算機(jī)機(jī)群中的處理器間的通信；另一種是用于SMP服務(wù)器

或向量超級(jí)計(jì)算機(jī)中處理器和存儲(chǔ)器之間的存取。

Inpur2isconnectedtoouput2,

input3isconnectedtooutput4,

input4isconnectedtooutput3.

Note:Connectionsbeweenfree

inputsandoutputsarealwayspossible

ASmallCrossbarSwitch

國(guó)家高性能計(jì)算中心（合肥）

2011-7-1519

iBravsrsityofScisncs己門(mén)dTsckifiologyofChinei

—三「口初茬JT寐網(wǎng)輅3)

■單級(jí)交叉開(kāi)關(guān)級(jí)聯(lián)起來(lái)形成多級(jí)互連網(wǎng)絡(luò)MIN

(MultistageInterconnectionNetwork)

(a)4種可能的開(kāi)關(guān)連接

輸入輸出

000000

001001

010010

011011

100100

101101

110110

111111

第0級(jí)第1級(jí)第2級(jí)

(b)一種8輸入的Omega網(wǎng)絡(luò)

國(guó)家高性能計(jì)算中心(合肥)2011-7-15

用中國(guó)手科的生照iTN計(jì)算.孔科學(xué)與法才系，

18忌ofScisncs田dTechnologyofChinaA

UEpm三“TorCJJAjjX//)

■交換開(kāi)關(guān)模塊：

■一個(gè)交換開(kāi)關(guān)模塊有n個(gè)輸入和n個(gè)輸出，每個(gè)輸入可連接到任

意輸出端口，但只允許一對(duì)一或一對(duì)多的映射，不允許多對(duì)一

的映射，因?yàn)檫@將發(fā)生輸出沖突

■級(jí)間互連(InterstageConnection)：

■均勻洗牌、蝶網(wǎng)、多路均勻洗牌、交叉開(kāi)關(guān)、立方連接

■n輸入的。網(wǎng)絡(luò)需要〃級(jí)2開(kāi)關(guān)，在工linois大學(xué)的

Cedar[2]多處理機(jī)系統(tǒng)中采用了。網(wǎng)絡(luò)

■Crayy/MP多級(jí)網(wǎng)絡(luò)，該網(wǎng)絡(luò)用來(lái)支持8個(gè)向量處理器和256

個(gè)存儲(chǔ)器模塊之間的數(shù)據(jù)傳輸。網(wǎng)絡(luò)能夠避免8個(gè)處理器同時(shí)

進(jìn)行存儲(chǔ)器存取時(shí)的沖突。

國(guó)家高性能計(jì)算中心(合肥)2011-7-15

21

、曜中甘國(guó)科或里1曬pr計(jì)舞機(jī)科學(xué)與技注系

IBrnvsrsityofScience己門(mén)dTsckinologyofChina

D￡P(guān)A.rrri<iEiITOFp^IJ_

動(dòng)態(tài)互連網(wǎng)絡(luò)的復(fù)雜度和帶寬性能一覽表

網(wǎng)絡(luò)特性總線系統(tǒng)多級(jí)互連網(wǎng)絡(luò)交叉開(kāi)關(guān)

硬件復(fù)雜度

O{n+w)0((〃log〃n)w)O(n2w)

每個(gè)處理器帶寬

（/n)。(叱f)W)。（必）

報(bào)道的聚集帶寬SunFire月艮務(wù)器IBMSP2中的Digital的千兆開(kāi)

中的Gigaplane512節(jié)點(diǎn)的HPS：關(guān)：3.4GB/S

總線：2.67GB/S10.24GB/S

■n,節(jié)點(diǎn)規(guī)模w,數(shù)據(jù)寬度

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

用中國(guó)手科的生照iTN計(jì)算.孔科學(xué)與法才系，

Ww2c^'jofScience<indTscnnologyofChina

DEP^.^TidEiITDr二匚n一1■'->JL/4.

標(biāo)率互聯(lián)網(wǎng)絡(luò)(1)

■AAyrinet：

■Myrinet是由Myricom公司設(shè)計(jì)的千兆位包交換網(wǎng)絡(luò)，其目的

是為了構(gòu)筑計(jì)算機(jī)機(jī)群，使系統(tǒng)互連成為一種商業(yè)產(chǎn)品。

■Myrinet是基于加州理工學(xué)院開(kāi)發(fā)的多計(jì)算機(jī)和VLSI技術(shù)以及

在南加州大學(xué)開(kāi)發(fā)的ATOM工C/LAN技術(shù)。Myrinet能假設(shè)任

意拓?fù)浣Y(jié)構(gòu)，不必限定為開(kāi)關(guān)網(wǎng)孔或任何規(guī)貝丁的結(jié)構(gòu)。

■Myrinet在數(shù)據(jù)鏈路層具有可變長(zhǎng)的包格式，對(duì)每條鏈路施行

流控制和錯(cuò)誤控制，并使用切通選路法以及定制的可編程的主

機(jī)接口。在物理層上，Myrinet網(wǎng)使用全雙工SAN鏈路，最長(zhǎng)

可達(dá)3米，峰值速率為（1.28+1.28）Gbps（目前有

2.56+2.56）

■Myrinet交換開(kāi)關(guān)：8,12,16端口

■Myrinet主機(jī)接口：32位的稱(chēng)作LANai芯片的用戶定制的VLSI

處理器，它帶有Myrinet接口、包接口、DMA引擎和快速靜態(tài)

隨機(jī)存取存儲(chǔ)器SRAM。

■140oftheNovember2002TOP500useMyrinet,

including15ofthetop100/

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

23

劈，度計(jì)舞機(jī)科學(xué)與技才系

rrivsfsityofScienceandTsckifiologyofChinei

2Mnd悵矍的％N/CIuster

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

24

,中國(guó)科登*77號(hào)計(jì)舞譏科學(xué)與費(fèi)才系

IBrnvsfsityofScience己門(mén)dTsckifiologyofChina

?TM￡tITOFC粽灌置邃兩造72）

?高性能并行接口（HiPPD

■LosAlamos國(guó)家實(shí)驗(yàn)室于1987年提出的一個(gè)標(biāo)準(zhǔn)，其目的是

試圖統(tǒng)一來(lái)自不同產(chǎn)商生產(chǎn)的所有大型機(jī)和超級(jí)計(jì)算機(jī)的接口。

在大型機(jī)和超級(jí)計(jì)算機(jī)工業(yè)界，HiPP工作為短距離的系統(tǒng)到系

統(tǒng)以及系統(tǒng)到外設(shè)連接的高速工/0通道。

■1993年，ANS工X3T9.3委員會(huì)認(rèn)可了HiPPI標(biāo)準(zhǔn)，它覆蓋了

物理和數(shù)據(jù)鏈路層，但在這兩層之上的任何規(guī)定卻取決于用戶。

■HiPP工是個(gè)單工的點(diǎn)到點(diǎn)的數(shù)據(jù)傳輸接口，其速率可達(dá)

800Mbps至口.6Gbps。

■開(kāi)發(fā)成功了一種能提供潛在的6.4Gbps速率，比HiPPI快8倍且

有很低時(shí)延的超級(jí)HiPPI技術(shù)，

■SG工公司和LosAlamos國(guó)家實(shí)驗(yàn)室都開(kāi)發(fā)了用來(lái)構(gòu)筑速率高達(dá)

25.6Gbps的HiPP工交換開(kāi)關(guān)的HiPP工技術(shù)。

■HiPP工通道和HiPP工交換開(kāi)關(guān)被用在SGIPowerChallenge服務(wù)

器、工BM390主機(jī)、CrayY/MP>C90和T3D/T3E等系統(tǒng)

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

25

中國(guó)科里劈，度計(jì)舞機(jī)科學(xué)與技才系

vsrsityofScience己ndTschnolog^/ofChina

、六T，，l三，ITCJ匚二口”上￡；?三Cl三，I匚三J-.iIUTSCir：/IQL.OCf

使用HiPP工通道和開(kāi)關(guān)構(gòu)筑的

LAN五年網(wǎng)

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

26

用中國(guó)手科的生照iTN計(jì)算.孔科學(xué)與法才系，

Ww2c^'jofScience<indTscnnologyofChina

DEPA.rrr^iEirrOFii口

■光纖通道FC(FiberChannel):

■通道和網(wǎng)絡(luò)標(biāo)準(zhǔn)的集成

■光纖通道既可以是共享介質(zhì)，也可以是一種交換技術(shù)

-光纖通道操作速度范圍可從100到133、200、400和

800MbpsoFCS工廠商也正在推出未來(lái)具有更高速度(1、2或

4Gbps)的光纖通道

■光纖通道的價(jià)值已被現(xiàn)在的某些千兆位局域網(wǎng)所證實(shí)，這些局

域網(wǎng)就是基于光纖通道技術(shù)的

■連網(wǎng)拓?fù)浣Y(jié)構(gòu)的靈活性是光纖通道的主要財(cái)富，它支持點(diǎn)到點(diǎn)、

仲裁環(huán)及交換光纖連接

■Fbbi：

■光纖分布式數(shù)據(jù)接口FDD工(FiberDisiributedData

Interface)

■FDD3：采用雙向光纖令牌環(huán)可提供100-200Mbps數(shù)據(jù)傳輸速率

■FDD3：具有互連大量設(shè)備的能力

■傳統(tǒng)的FDD工僅以異步方式操作一

國(guó)家高性能計(jì)算中心(合肥)2011-7-15

27

中國(guó)科里劈，度計(jì)舞機(jī)科學(xué)與技才系

TsrsityofScienceEindTscrinologyofChiria

OFCDMPUTEWBCIEMCEAMDTEaHHQLOBf

摳向FDD工環(huán)作為：干網(wǎng)

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

28

中涉國(guó)霞科寓生i碑2多計(jì)真機(jī)科學(xué)與授才系

WrnvsrsityofScience51ndTechnologyofChinci

DEPA.rrri/iEiITOF口*，）

■ATM(AsynchronousTransferMode):

■由成立于1991年的ATM論壇和rru標(biāo)準(zhǔn)定義。

■ATM是一種獨(dú)立于介質(zhì)的消息傳輸協(xié)議，它將消息段變成更

短的固定長(zhǎng)度為53字節(jié)的報(bào)元進(jìn)行傳輸。

■這種技術(shù)是基于報(bào)元交換機(jī)制。ATM的目的是將實(shí)時(shí)和突發(fā)

數(shù)據(jù)的傳輸合并成單一的網(wǎng)絡(luò)技術(shù)。

■ATM網(wǎng)絡(luò)支持從25到51、155和622Mbps不同的速率，其速

率越低ATM交換器和使用的鏈路價(jià)格越低。

國(guó)家高性能計(jì)算中心(合肥)2011-7-15

29

中國(guó)科里劈用〃計(jì)舞機(jī)科學(xué)與技才系

看港大#開(kāi)發(fā)的PearI機(jī)解

PC

和

WS

UltraSPARCSunSPARC

2/120020/HS14

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

30

中涉國(guó)霞科寓生i碑2多計(jì)真機(jī)科學(xué)與授才系

WrnvsrsityofScience51ndTechnologyofChinci

DEPARTMEtITDFCD標(biāo)落或邃網(wǎng)輅（5）

代另U以太網(wǎng)快速以太網(wǎng)千兆位以太網(wǎng)

類(lèi)型lOBaseTlOOBaseT1GB

引入年代198219941997

速度（帶寬）10Mb/s100Mb/sIGb/s

最UTR（非屏蔽雙扭對(duì)）100m100m25-100m

大

距STP（屏蔽雙扭對(duì)）500m100m25-100m

離同軸電纜

多模光纖2Km412m（半雙工）500m

2Km（全雙工）

單模光纖25Km20Km3Km

主要應(yīng)用領(lǐng)域文件共享，COW計(jì)算，大型圖像文件，

打印機(jī)共享C/S結(jié)構(gòu)，多媒體，

大型數(shù)據(jù)庫(kù)存取等因特網(wǎng)，

內(nèi)部網(wǎng)，

數(shù)據(jù)倉(cāng)庫(kù)等,

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

31

中國(guó)科里劈，度計(jì)舞機(jī)科學(xué)與技才系

DEPARTM!E.ITOF可中嘲*呻&秸系)J

VP

SM

(a)PVP(b)SMP

(c)MPP

(d)DSM

國(guó)家高性能計(jì)算中心(合肥)

中涉國(guó)霞科寓生i碑2多計(jì)真機(jī)科學(xué)與授才系

iBr^srsityofScisnceEindTschnologyolCriirici

DEPAWTMEtITOFCQMPUTEHBC1EMCEAt)0TEDHHOLOBf

并行計(jì)算機(jī)體系合一結(jié)構(gòu)

■SAAP>MPP、DSM和COW并行結(jié)構(gòu)漸趨一致。

■大量的節(jié)點(diǎn)通過(guò)高速網(wǎng)絡(luò)互連起來(lái)

■節(jié)點(diǎn)遵循Shell結(jié)構(gòu)：用專(zhuān)門(mén)定制的Shell電路將商用微處理器

和節(jié)點(diǎn)的其它部分（包括板級(jí)Cache、局存、N工C和DISK）

連接起來(lái)。優(yōu)點(diǎn)是CPU升級(jí)只需要更換Shell。

(ShellA(ShellA

ISJL0J

互連網(wǎng)絡(luò)

共享存儲(chǔ)器共享磁盤(pán)

（a）無(wú)共享

（C）共享存儲(chǔ)

⑹共享磁盤(pán)

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

33

中國(guó)科里劈，度計(jì)舞機(jī)科學(xué)與技才系

I嗝&rsityofScisncs己門(mén)dTsckifiologyofChinei

DEPARTMEtITOFCOMPUTEHBCIEtICEAtIDTEDHHQUODf

五種秸構(gòu)特犍一覽表

屬性PVPSMPMPPDSMCOW

結(jié)構(gòu)類(lèi)型MIMDMIMDMIMDMIMDMIMD

處理器類(lèi)型專(zhuān)用定制商用商用商用商用

互連網(wǎng)絡(luò)定制交叉開(kāi)關(guān)總線、交叉開(kāi)關(guān)定制網(wǎng)絡(luò)定制網(wǎng)絡(luò)商用網(wǎng)絡(luò)（以太

ATM）

通信機(jī)制共享變量共享變量消息傳遞共享變量消息傳遞

地址空間單地址空間單地址空間多地址空間單地址空間多地址空間

系統(tǒng)存儲(chǔ)器集中共享集中共享分布非共享分布共享分布非共享

訪存模型UMAUMANORMANUMANORMA

代表機(jī)器CrayC-90,IBMR50,IntelParagon,StanfordDASH,BerkeleyNOW,

CrayT-90,SGIPowerIBMSP2,曙光CrayT3DAlphaFarm

銀河1號(hào)Challenge,1000/2000

曙光1號(hào)

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

34

、曜中甘國(guó)科或里i曬pr計(jì)舞機(jī)科學(xué)與技注系

IBrnvsrsityofScience己門(mén)dTechnologyofChina

DEPARTMEtJ"⑴

■UMA(UniformMemoryAccess)模型是均勻存儲(chǔ)訪問(wèn)

模型的簡(jiǎn)稱(chēng)。其特點(diǎn)是：

■物理存儲(chǔ)器被所有處理器均勻共享；

■所有處理器訪問(wèn)任何存儲(chǔ)字取相同的時(shí)間；

■每臺(tái)處理器可帶私有高速緩存；

■外圍設(shè)備也可以一定形式共享。

處理器

系統(tǒng)互連

(總線，交叉開(kāi)關(guān)，多級(jí)網(wǎng)絡(luò))

同中密?chē)?guó)然科鼻生芍i等2計(jì)算機(jī)科學(xué)與授才系，

ofScisnceEindTechnologyolChina

開(kāi)行行耳機(jī)訪花模智(2)

■NUMA(NonunifbrmMemoryAccess)模型是非均勻存儲(chǔ)

訪問(wèn)模型的簡(jiǎn)稱(chēng)。特點(diǎn)是：

■被共享的存儲(chǔ)器在物理上是分布在所有的處理器中的，其所有

本地存儲(chǔ)器的集合就組成了全局地址空間；

■處理器訪問(wèn)存儲(chǔ)器的時(shí)間是不一樣的；訪問(wèn)本地存儲(chǔ)器LM或

群內(nèi)共享存儲(chǔ)器CSM較快，而訪問(wèn)外地的存儲(chǔ)器或全局共享存

儲(chǔ)器GSM較慢(此即非均勻存儲(chǔ)訪問(wèn)名稱(chēng)的由來(lái))；

■每臺(tái)處理器照例可帶私有高速緩存，外設(shè)也可以某種形式共享。

國(guó)家局性能計(jì)算中心(合肥%)共享本地存儲(chǔ)模型2011-7-15

(b)層次式機(jī)群模型36

用中國(guó)手科的生照iTN計(jì)算.孔科學(xué)與法才系，

llffiTsrsityofScienceEindTsc?>nologyofChina

DEPAkWTMEtITOFCQMPUTEriEiCIErlCEAtIDTEDHHOUOBf

并行計(jì)f機(jī)揚(yáng)花模型（3）一

■COMA（Cache-OnlyMemoryAccess）模型是全高速緩存

存儲(chǔ)訪問(wèn)的簡(jiǎn)稱(chēng)。其特點(diǎn)是：

■各處理器節(jié)點(diǎn)中沒(méi)有存儲(chǔ)層次結(jié)構(gòu)，全部高速緩存組成了全局

地址空間；

■利用分布的高速緩存目錄D進(jìn)行遠(yuǎn)程高速緩存的訪問(wèn)；

■COMA中的高速緩存容量一般都大于2級(jí)高速緩存容量；

■使用COMA時(shí)，數(shù)據(jù)開(kāi)始時(shí)可任意分配，因?yàn)樵谶\(yùn)行時(shí)它最終

會(huì)被遷移到要用到它們的地方。

國(guó)家高性能計(jì)算中心（合肥）2011-7-15

中國(guó)科遂召計(jì)舞譏科學(xué)與授京系

IBr^srsityofScienceEind”I^S^co!og?olChin

UEpm三"T二,，2i2」-TA去年

■CC-NUMA(Coherent-CacheNonunifbrmMemory

Access)模型是高速緩存一致性非均勻存儲(chǔ)訪問(wèn)模型的

簡(jiǎn)稱(chēng)。其特點(diǎn)是：

■大多數(shù)使用基于目錄的高速緩存一致性協(xié)議；

■保留SMP結(jié)構(gòu)易于編程的優(yōu)點(diǎn)，也改善常規(guī)SMP的可擴(kuò)放性；

■CC-NUMA實(shí)際上是一個(gè)分布共享存儲(chǔ)的DSM多處理機(jī)系統(tǒng)；

■它最顯著的優(yōu)點(diǎn)是程序員無(wú)需明確地在節(jié)點(diǎn)上分配數(shù)據(jù)，系統(tǒng)

的硬件和軟件開(kāi)始時(shí)自動(dòng)在各節(jié)點(diǎn)分配數(shù)據(jù)，在運(yùn)行期間，高

速緩存一致性硬件會(huì)自動(dòng)地將數(shù)據(jù)遷移至要用到它的地方。

、曜中甘國(guó)科或里1則彳萬(wàn)計(jì)舞凱科學(xué)與技注系

IBrnvsr