天河2號超級計算機計算機組成與結(jié)構(gòu)

9.4.5天河2號

2013年6月，“天河2號”首次登上TOP500排行榜榜首，成為世界上城快的超級計算機。大

河2號的性能達到33.86PFLOPS,接近當時排名第2的美國的泰坦（Titan）超級計算機的兩倍，

后者的性能為17.S9PFLCP*.到2015年II月.天河2號連續(xù)6期排名TOPXN）榜首,空理fTOPS（X）

排行榜自設(shè)立以來最長的“六連冠”。

天河2號使用IntelIvyBridge處理器和Imcl至強MIC加速器以及定制的互連網(wǎng)絡(luò)搭建而成。

它一共使用了32,000個InielIvyBridge處理器和48,000個至強MIC加速器，共有3,120,000個處理

器核，理論上的峰值性能達到54.9PFLOPS。

盡管天河2號使用了大量Iniel多核處理器和眾核協(xié)處理瑞，它也提出并實現(xiàn)了多項自主創(chuàng)新,

包括TH-Express2互連網(wǎng)絡(luò)、16核FT-I59O、以及OpcnMC編程模型。

?計算節(jié)點

天河2號的每個計算節(jié)點包括2個InSIvyBridge處理器和3個Iniel至強M?J［速器，如圖12.5

所示。該系統(tǒng)由16,000個節(jié)點組成，具體結(jié)構(gòu)如下：整個系統(tǒng)由125個機柜（rack）組成，每個機

柜上有4個機框（frame）,每個機框上叁16個刀片（blade）,每個刀片上有兩個節(jié)點。但在具體

灰現(xiàn)中，計算單元（即IntelIvyBridge處理器和MIC加速器）的布局并不足對稱的“如圖12.6所

示，每個計算刀片上有兩個節(jié)點，分為兩部分：一個CPM模塊和一個APU模塊。CPM模塊中含

有4個IvyBridge處理器、主存、以及一個至強MIC加速器，而APU模塊中含有其余的5個至強MIC

加速器。IvyBridge處理器通過PCI-E2.0總線與協(xié)處理器通信，每條總線有16個通道，每個通道

的帶寬為10Gbps.處理器還通過PCLE總線與NIC連接.

Digital批注（REI]:Wherewasthisfigureobtained?Doesit

requirepermission?Willitbere-drawninthestyleofthe

figuresinthemaintext?

圖12.5天河2號計算節(jié)點的邏輯結(jié)構(gòu)

批注［RE2］：Wherewasthisfigureobtained?Doesit

ComputeBlade

requirepermission?Willitbere-drawninthestyleofthe

figuresinthemaintext?

CPMModule

bnlalXoonMIC

APUModule

圖12.6天河2號計算刀片的邏輯結(jié)構(gòu)。天河2號的每個計算刀片包括一個CPM模塊，其中有4個

IntelIvyBridge處理器和一個Intel至強MIC加速器，以及一個APU模塊，其中有5個Inld至強

MIC-每個計算刀片的理論峰值性能為6.862TFLOPS。

IntelIvyBridge處理器的每個核每人時鐘周期可以完成8個浮點運算，因此每個處理器的理

論峰值性能為12核“8浮點運算/秒*2.2GHz=211.2GFLOPS,天河2號的每個節(jié)點帶有兩個Ivy

Bridge處理器，理論峰值性能為422.4GFLOPS.

天河2號的每個至強MIC加速淵有57個核。每個核可以同時執(zhí)行4個線程，因此每個核每個

周期最多可以完成16個雙粘度浮點運算，若MIC的主頻為LIGHz,其理論上的峰位性能為1.003

TI-LOPSP這樣，每個計算節(jié)點的峰值性能為2*0.2112TI-LOPS+3*1.003TFLOPS或3.43】

TFLOPSo天河2號共有16.000個節(jié)點，因此其理論上的峰值性能為54.9PFLOPS。

每個節(jié)點帶有64GB內(nèi)存，每個M1C加速器帶有8GB內(nèi)存，因此每個節(jié)點的內(nèi)存為

64+3*8=88GB.16,000個節(jié)點中，CPU部分的總內(nèi)存為16.000*64GB=I.024PB,MIC協(xié)處理器

的總內(nèi)存為16.000*24=0.384PB,因此，天河2號系統(tǒng)的內(nèi)存總量為I.404PB。

?前端處理器

除計算節(jié)點外，天河2號還有一個由4096個FT-I500處理器構(gòu)成的前端系統(tǒng)，如圖12.7所示。

FT-I500處理罌基于SpaeV9架構(gòu)，由國防科技大學設(shè)計，每個處理器中集成了16個核.它采用

40nm工藝生產(chǎn)，主頻L8GHz,性能為144GFLOPS,功耗為65瓦特。作為對比，IntelIvyBridge

處理器有12個核，采用22nm工藝，主頻2.2GHz,峰值性能為211GFLOPS。

批注［RE3J:Wherewasthisfigureobtained?Doesit

requirepermission?Willitbere-drawninthestyleofthe

figuresinthemaintext?

圖12.7FTJ5OO處理器。FTJ500由國防科技大學設(shè)計，是飛騰家族的第三弋處理器。

?互連

天河2號使用專門定制的互連網(wǎng)絡(luò)，THExprcss2,其拓撲結(jié)構(gòu)如圖12.8所示。THExprcss2

采用胖網(wǎng)結(jié)構(gòu)，使用了13個576端口的交換機，采用光電混合傳臨技術(shù)。單個NRC的吞吐率為2.56

Tbps。MPI廣播操作的帶寬為6.36GB/s,在12.000個節(jié)點中用1K數(shù)據(jù)進行測試時，延遲為9us。

Competenode批注［RE4］:Wherewasthisfigureobtained?Doesit

requirepermission?Willitbere-drawninthestyleofthe

□□□□□□□□□□□□□□□□figuresinthemaintext?

□□□□□□□□□□□□□□□□

Competenode

圖l2.8THExpress-2互連網(wǎng)絡(luò)。天河2號使用TH?Express2避免了通信瓶頸。TFbExpress2采用

胖樹結(jié)構(gòu)，雙向帶寬16GB/S。

?軟件棧

與天河1-A一樣，天河2號仍然使用靚麟（KylinLinux）作為操作系統(tǒng)。朝麟操作系統(tǒng)同樣

由國防科技大學開發(fā)。有關(guān)該系統(tǒng)更詰細的信息，可以參見/wiki/Kylin_

（operaiing_sysiem）。期麟與其他主流Linux操作系統(tǒng)兼容，支持不同結(jié)構(gòu)的微處理器或計算機。

其資源管理是基于SLURM實現(xiàn)的，支持功耗感知的資源分配并使用多個定制的調(diào)度策略。

它帶有Forlran、C、C++以及Java編譯器，支持OpenMP以及基JMPICHv3.0.4的MPI3.0,實現(xiàn)

了多通道消息數(shù)據(jù)傳遞、動態(tài)流控制，并支持卸載聚合操作。此外，還開發(fā)了一個叫做OpenMC

的基于指導(dǎo)語句（dircclivc）的節(jié)點內(nèi)編程模型，以替代OpenMP并與CUDA、OpcnACC或OpcnCL

結(jié)合使用。作為種新的抽象，OpenMC為包括CPU和MIC在內(nèi)的所TT計算設(shè)備提供了一個統(tǒng)■

的邏輯層，并且可以被擴展到擁有相同指令系統(tǒng)的架構(gòu)和異構(gòu)處理器上。OpcnMC提供的指導(dǎo)語

句可以指導(dǎo)高效的SIMD操作、數(shù)據(jù)局幫性開發(fā)和數(shù)據(jù)通信。

天河2號使用IntelICC3.0編譯器，并自帶一個基于InicIMKL11.0.0的數(shù)學庫，以及一個由

國防科技大學優(yōu)化的基f至強MIC的BLAS庫.

?HPL基準程序的測試結(jié)果

獲得圖12.9中的最高HPL性能僅使月了天河2號中90%的節(jié)點，使用更多的節(jié)點進行測試可

以進一步提升性能。用測量得到的HPL性能除以系統(tǒng)的總功耗I7.6MW,再除以老行基準程序時

所用節(jié)點數(shù)占總結(jié)點數(shù)的百分比，就可以得到系統(tǒng)的性能功耗比（單位：FLOPS/Watt）.以使

用14.336個節(jié)點進行測試為例，此時用到總結(jié)點數(shù)16.000的90%,獲得的性能為30.65PFLOS,因

此性能功耗比為30.65/17.6/0.9=1.935GKLOPS/Watto在2012年II月那期TOP500AF行榜中，排

名前5的機器的性能功耗比（R位為GFLOPS/Watl）分別是：泰坦（Titan）,2.143：紅衫（Sequoia）,

2.069；京（K）,0.830；米拉（Mira）,2.069；以及JUQUEEN,2.102,

jttii[RES]:Wherewasthisfigureobtained?Doesit