大學(xué)高性能運(yùn)算方案建議書(shū)

Ni

xxx大學(xué)高性能運(yùn)算方案建議書(shū)

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

ProposalInsert文檔說(shuō)明

本文內(nèi)容來(lái)源于IBM提供給某個(gè)實(shí)際客戶的方案建議書(shū)的部分章節(jié)，經(jīng)SalesTransaction

HubPCoETeam整理為可重復(fù)利用的方案建議書(shū)插件，供IBM內(nèi)部人員使用。

版本方案提供計(jì)劃更新

方案整理聯(lián)系方式完成日期名稱

號(hào)與確認(rèn)日期

ChangJie

XuKeJin-HaoChangJXXX大學(xué)高性能運(yùn)算方

1.0Hao/China/2010/9/302011/9/30

GCGPCoEie案建議書(shū)

IBM

描述：隨著“211工程”建設(shè)的進(jìn)?步深入，各高等院校教育信息化形成-定規(guī)模，教育形

式和學(xué)習(xí)方式都發(fā)生了前大變革。為了應(yīng)對(duì)H益擴(kuò)大的教育資源需求和滿足高校對(duì)學(xué)科研究的強(qiáng)

大計(jì)算需求，國(guó)內(nèi)許多高校紛紛建立了高性能計(jì)算系統(tǒng)平臺(tái)。

本文從高校的實(shí)際需求出發(fā)，為用戶設(shè)計(jì)了HPC解決方案：選用IBMiDataPlex服務(wù)器集群

方案搭建高性能計(jì)算中心平臺(tái)。詳細(xì)介紹了方案設(shè)計(jì)思路、方案構(gòu)成、特性及優(yōu)勢(shì)。

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司文檔說(shuō)明

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

請(qǐng)刪除此介紹性頁(yè)面

怎樣使用這些模板

模板中有［紅色字體］顯示的“提示文字”。請(qǐng)您確保在仔細(xì)通讀本文檔說(shuō)明后再刪除這些內(nèi)容。

［藍(lán)色字體］的章節(jié)標(biāo)題用于幫助您組織文檔。

■更新頂端藍(lán)色的標(biāo)題以反映項(xiàng)目或RFP標(biāo)題。

-雙擊“頁(yè)眉或頁(yè)腳”＞轉(zhuǎn)至“頁(yè)眉和頁(yè)腳”編輯狀態(tài)。

-要更新頁(yè)眉或頁(yè)腳中的文本，請(qǐng)選中要替換的文本，然后輸入正確的內(nèi)容。

-關(guān)閉頁(yè)眉和頁(yè)腳

■參照“提示"-您會(huì)發(fā)現(xiàn)在有些頁(yè)面中均有紅色的提示，它們將幫助您設(shè)計(jì)每個(gè)章節(jié)的內(nèi)

容。

■當(dāng)提案完成后，請(qǐng)更新目錄(TOC)中的頁(yè)碼和章節(jié)名：

-右鍵單擊“目錄”頁(yè)＞“更新域”〉更新整個(gè)目錄。

-這樣便可更新章節(jié)標(biāo)題和頁(yè)碼。

重要提示：請(qǐng)刪除所有介紹性頁(yè)面、指示信息、未使用的圖表和紅色的“提示”內(nèi)容。查看整個(gè)

文檔，以確保您沒(méi)有無(wú)意中遺留無(wú)關(guān)的信息。仔細(xì)檢查目錄，以確保頁(yè)碼、章節(jié)標(biāo)題和副標(biāo)題正

確無(wú)誤。

國(guó)際商業(yè)機(jī)器(中國(guó))有限公司文檔說(shuō)明

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

目錄

第1章摘要.............................................................1

1.1我們對(duì)您的目標(biāo)的理解.........................................................1

1.2我們?nèi)绾螏湍鷮?shí)現(xiàn)目標(biāo).........................................................2

1.1.1方案建設(shè)思路............................................................2

1.1.2方案產(chǎn)品選擇要點(diǎn)........................................................2

1.3方案簡(jiǎn)述.....................................................................3

第2章方案介紹........................................................5

2.1方案構(gòu)成組件..................................................................5

2.2方案結(jié)構(gòu)圖....................................................................6

2.3PC集群方案網(wǎng)絡(luò)設(shè)計(jì)..........................................................7

2.3.1硬件管理網(wǎng)絡(luò).............................................................8

2.3.2軟件分發(fā)網(wǎng)絡(luò).............................................................8

2.3.3數(shù)據(jù)管理網(wǎng)絡(luò).............................................................8

2.3.4高速計(jì)算網(wǎng)絡(luò).............................................................8

IBM4036高性能交換機(jī)簡(jiǎn)介................................................9

23.4.2UFM管理軟件...........................................................12

UFM核心特點(diǎn)...........................................................13

23.4.4UFM網(wǎng)絡(luò)狀況發(fā)現(xiàn)與控制.................................................13

網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)自動(dòng)發(fā)現(xiàn)，網(wǎng)絡(luò)瓶頸實(shí)時(shí)顯示.................................14

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司目錄

t?

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

23.4.6網(wǎng)絡(luò)分區(qū)優(yōu)化與路由通訊優(yōu)化...........................................15

全網(wǎng)絡(luò)通訊日志收集與保存..............................................16

UFM支持的InfiniBand網(wǎng)絡(luò)設(shè)備以及主機(jī)平臺(tái)..............................17

2.3.5顯示切換系統(tǒng)(KVM)......................................................................................................17

2.4PC集群之軟件環(huán)境............................................................18

2.4.1集群管理軟件CSM/xCAT簡(jiǎn)介............................................19

2.4.2IBM并行文件系統(tǒng)(GPFS)方案介紹.........................................21

2.4.3系統(tǒng)管理方案設(shè)計(jì)與實(shí)現(xiàn)介紹(IBMSystemsDirector)..................................................26

IBMSystemsDirector發(fā)現(xiàn)和資產(chǎn)管理器....................................26

IBMSystemsDirector狀態(tài)管理器和自動(dòng)任務(wù)................................29

IBMSystemsDirector配置管理器..........................................34

IBMSystemsDirector虛擬化管理器........................................38

IBMSystemsDirector更新管理器..........................................43

IBMSystemsDirector的擴(kuò)展插件..........................................47

2.5存儲(chǔ)系統(tǒng)方案建議............................................................50

2.6胖節(jié)點(diǎn)系統(tǒng)方案建議..........................................................51

2.7計(jì)算節(jié)點(diǎn)....................................................................53

2.8管理節(jié)點(diǎn)/登錄節(jié)點(diǎn)/調(diào)度節(jié)點(diǎn)和I/O節(jié)點(diǎn)........................................54

第3章IBM解決方案特點(diǎn)和優(yōu)勢(shì)..........................................55

3.1IBM【DATAPLEX集群技術(shù)的特點(diǎn)有優(yōu)勢(shì).........................................55

3.2IBM綠色解決方案優(yōu)勢(shì)........................................................57

國(guó)際商業(yè)機(jī)器(中國(guó))有限公司目錄

t?

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

3.3IBM智能系統(tǒng)管理優(yōu)勢(shì)........................................................61

3.4IBM豐富的系統(tǒng)管理工具......................................................62

第4章項(xiàng)目實(shí)施........................................................64

第5章產(chǎn)品配置及報(bào)價(jià)..................................................65

第6章為什么選擇IBM....................................................................................................66

6.1IBM豐富的高性能計(jì)算方面的經(jīng)驗(yàn).............................................66

6.2IBMPOWERSYSTEM高性能計(jì)算技術(shù)發(fā)展前景....................................66

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司目錄

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

第1章摘要

1.1我們對(duì)您的目標(biāo)的理解

為落實(shí)科教興國(guó)戰(zhàn)略、迎接世界新技術(shù)革命的挑戰(zhàn)而實(shí)施的“211工程”是我國(guó)推進(jìn)高等教育

發(fā)展所采取的重要舉措，這項(xiàng)旃世紀(jì)的戰(zhàn)略工程目前已進(jìn)入第三期建設(shè)階段。要實(shí)施科教興國(guó)，

就必須加強(qiáng)科技創(chuàng)新和教育創(chuàng)新。隨著信息技術(shù)的S速發(fā)展和“211工程”建設(shè)的進(jìn)步深入，各

高等院校教育信息化形成一定規(guī)模，教育形式和學(xué)習(xí)方式都發(fā)生了重大變革。

目前，為了應(yīng)對(duì)日益擴(kuò)大的教育資源需求和滿足高校對(duì)學(xué)科研究的強(qiáng)大計(jì)算需求，國(guó)內(nèi)許多

高校紛紛建立了高性能計(jì)算系統(tǒng)平臺(tái)。這樣，一方面可以滿足院校自身在科研、學(xué)科以及重要課

題研究等方面的計(jì)算資源需求，另一方面將能夠進(jìn)一步擴(kuò)大院校的科研水平和研究能力，提升院

校在教育行業(yè)的影響力和行業(yè)競(jìng)爭(zhēng)力。

XXX大學(xué)……請(qǐng)補(bǔ)充實(shí)際客戶的具體需求

我們認(rèn)為，新一代的高性能計(jì)算中心不應(yīng)該僅僅是提供傳統(tǒng)的高性能計(jì)算，更不是一個(gè)單純

的高性能計(jì)算設(shè)備方案。建設(shè)新一代的高性能計(jì)算中心，除了要考慮軟硬件設(shè)備選型，更需要全

面考慮中心運(yùn)作、應(yīng)用效率、技術(shù)合作與創(chuàng)新等多方面因素；需要增加資源管理，用戶管理，虛

擬化管理，動(dòng)態(tài)產(chǎn)生和回收資源等功能，即基于云計(jì)算模型的高性能計(jì)算中心。從而實(shí)現(xiàn)總體架

構(gòu)的合理性和資源管理的高效性，提供長(zhǎng)遠(yuǎn)的高性能運(yùn)算科研和供應(yīng)能力，確保高性能計(jì)算中心

能夠發(fā)揮更大的效益。

我們理解您需要一個(gè)運(yùn)行穩(wěn)定、技術(shù)先進(jìn)、性能優(yōu)異、易于擴(kuò)充和管理的高性能計(jì)算環(huán)境來(lái)

滿足計(jì)算需求。因此，所搭建的計(jì)算平臺(tái)應(yīng)該具備如下特性：

>先進(jìn)性：計(jì)算平臺(tái)不僅能夠滿足高性能計(jì)算中心目前業(yè)務(wù)的需要，還能適應(yīng)未來(lái)技術(shù)發(fā)

展的趨勢(shì)和需要。

>靈活性：優(yōu)化系統(tǒng)資源配置比例，實(shí)現(xiàn)最大的應(yīng)用靈活性，滿足在解決大問(wèn)題的同時(shí)運(yùn)

行多個(gè)中小型任務(wù)的綜合需求。

>可擴(kuò)展性：在設(shè)計(jì)上充分考慮到可擴(kuò)展性需求，提供具有最高可伸縮性的系統(tǒng)，并保護(hù)

現(xiàn)有的投資。

>穩(wěn)定性：能夠確保系統(tǒng)穩(wěn)定、高效、持續(xù)運(yùn)營(yíng)，支持全天24小時(shí)的連續(xù)運(yùn)行需求。

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司第1頁(yè)

z-H謊運(yùn)廳方案建議15

>開(kāi)放性：采用開(kāi)放標(biāo)準(zhǔn)、開(kāi)放結(jié)構(gòu)、開(kāi)放系統(tǒng)組件和開(kāi)放用戶接口。充分滿足用戶投資

保護(hù)和業(yè)務(wù)擴(kuò)展、系統(tǒng)維護(hù)等方面的需求。

>高管理性：對(duì)所有計(jì)算機(jī)系統(tǒng)資源集中進(jìn)行統(tǒng)?監(jiān)控與管理，建立統(tǒng)一高效的資源管理

系統(tǒng)，高效率、反應(yīng)靈敏的技術(shù)服務(wù)機(jī)制，標(biāo)準(zhǔn)化、自動(dòng)化的管理流程，達(dá)到提供優(yōu)質(zhì)

的資源管理服務(wù)，更好的為中心的業(yè)務(wù)發(fā)展服務(wù)。

>高能效：采用綠色節(jié)能設(shè)備和技術(shù)，使系統(tǒng)在保障正常運(yùn)行的情況下消耗較少的能源。

1.2我們?nèi)绾螏湍鷮?shí)現(xiàn)目標(biāo)

1.1.1方案建設(shè)思路

基于對(duì)您的目標(biāo)和需求的理解，我們推薦采用以下建設(shè)思路：

?應(yīng)用為先：根據(jù)調(diào)研結(jié)果和應(yīng)用的需求來(lái)選擇最合適的軟硬件平臺(tái)，讓?xiě)?yīng)用決定平臺(tái)，

而不是由平臺(tái)限制應(yīng)用。

依據(jù)高性能計(jì)算中心的服務(wù)內(nèi)容、最終用戶的應(yīng)用需求，我們的方案將確保其跨硬

件平臺(tái)、跨操作系統(tǒng)平臺(tái)，能夠滿足各種應(yīng)用的不同需求。

?創(chuàng)新為體：高性能計(jì)算技術(shù)發(fā)展日新月異，在架構(gòu)設(shè)計(jì)時(shí)，應(yīng)充分考慮技術(shù)發(fā)展趨勢(shì)，

采用先進(jìn)的產(chǎn)品和創(chuàng)新的思路，最大化利用現(xiàn)有投入，并考慮到今后擴(kuò)展的需求。

基于對(duì)高性能計(jì)算中心的平臺(tái)建設(shè)目標(biāo)的理解，我們認(rèn)為本次高性能計(jì)算中心的建

設(shè)，絕不僅僅是一個(gè)高性能設(shè)備的建設(shè)，而是一個(gè)多功能、多應(yīng)用、多客戶的服務(wù)

平臺(tái)，所以我們采用了目前最先進(jìn)的高性能計(jì)算技術(shù)架構(gòu)來(lái)滿足中心的建設(shè)需求。

?效率為要：不僅僅以峰值運(yùn)算能力或單一的Linpack測(cè)試指標(biāo)作為設(shè)備選型的依據(jù)，而

是充分考慮總體架構(gòu)的合理性和資源管理等要素，實(shí)現(xiàn)一個(gè)高效率計(jì)算(High

ProductivityComputing)的平臺(tái)。

在多用戶、多應(yīng)用的使用場(chǎng)景下，我們不單單要考慮到整體設(shè)備的高性能，還需要

考慮到系統(tǒng)在使用過(guò)程中，如何通過(guò)虛擬化、資源共享、自動(dòng)化等手段來(lái)協(xié)調(diào)整個(gè)

計(jì)算平臺(tái)的計(jì)算資源利用，提高整體利用率，實(shí)現(xiàn)一個(gè)綠色、高效的計(jì)算環(huán)境。

1.1.2方案產(chǎn)品選擇要點(diǎn)

■選用盡可能高性能的處理器作為計(jì)算資源的基礎(chǔ)

國(guó)際商'業(yè)機(jī)器(中國(guó))有限公司第2頁(yè)

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

高性能處理器是縮短任務(wù)完成周期的必要條件，尤其是當(dāng)前很多計(jì)算任務(wù)由于程序本身擴(kuò)展

性和數(shù)據(jù)規(guī)模的限制還不能做到在大量處理器上高效率地并行運(yùn)算，所以高性能處理器往往是唯

一能夠真正縮短作業(yè)運(yùn)行時(shí)間的技術(shù)手段。即便是能夠在較大數(shù)量處理器上運(yùn)行的應(yīng)用，在100

個(gè)高性能處理器和在100個(gè)低性能處理器上的運(yùn)行效率也是不可同日而語(yǔ)的。

■選擇提供更高能效的設(shè)備

根據(jù)IBM多年高性能計(jì)算中心建設(shè)和運(yùn)行的經(jīng)驗(yàn)，在大型高性能計(jì)算機(jī)中心的運(yùn)行中，能源

消耗將是最大的開(kāi)銷，因此我們不僅在方案中推薦選用功耗較低的硬件設(shè)備，而且配置先進(jìn)的管

理工具來(lái)合理的監(jiān)視和控制設(shè)備的使用情況，例如監(jiān)測(cè)CPU的溫度狀況，動(dòng)態(tài)控制風(fēng)扇轉(zhuǎn)速以減

少所需要的能量，從而降低能源的消耗。

■選擇具有更高散熱效率的設(shè)備

由于刀片服務(wù)器等高密度設(shè)備的部署，加上本高性能計(jì)算機(jī)系統(tǒng)的規(guī)模巨大，僅依靠空調(diào)制

冷的傳統(tǒng)方式容易導(dǎo)致機(jī)房“局部過(guò)熱”，產(chǎn)生熱點(diǎn)或熱區(qū)，影響設(shè)備的正常運(yùn)行和使用。因此

要著重考慮如何解決數(shù)據(jù)中心散熱問(wèn)題。

IBMiDataPlex服務(wù)器和機(jī)箱能夠憑借高能效的設(shè)計(jì)將能源要求最多降低40%k其次，可選

的水冷IBMRearDoorHeateXchanger安裝在機(jī)柜后端，能夠?qū)C(jī)柜內(nèi)部生成的熱量100%散

掉，令數(shù)據(jù)中心絲毫不受影響。事實(shí)上，它甚至能夠幫助冷卻數(shù)據(jù)中心，從而降低對(duì)計(jì)算機(jī)房空

調(diào)量（CRAC）的需求，還允許您進(jìn)一步拉近機(jī)柜之間的距離，切實(shí)避免了在一排滿配機(jī)柜之間建立

“熱通道”的需求。

iDataPlex服務(wù)器的設(shè)計(jì)使空氣從前到后全程只需穿行18英寸，而不是企業(yè)級(jí)服務(wù)器的30英

寸。路徑的縮短源于iDataPlex服務(wù)器超高的冷卻效力一距離越短、氣流效果越好。

1.3方案簡(jiǎn)述

IBMiDataPlex提供了更高的計(jì)算密度、更高效的數(shù)據(jù)中心空間利用以及更加可控制的電源和

散熱成本，最適合于高性能計(jì)算及Web2.0應(yīng)用。

40臺(tái)iDataPlex2U的兩路6核心iDataPlex可提供每秒大約10萬(wàn)億次的浮點(diǎn)計(jì)算能力，能夠

滿足各種用戶和應(yīng)用的計(jì)算需求。同時(shí)，配置IBMSystemStorageDS3500磁盤(pán)存儲(chǔ)來(lái)存放相關(guān)的

數(shù)據(jù)；配置通用并行文件系統(tǒng)GPFS,以便將數(shù)據(jù)共享給用戶使用。另外，為了解決數(shù)據(jù)中心高熱

密度問(wèn)題，我們建議采用IBM創(chuàng)新的后門(mén)熱交換器（水冷門(mén)），提高散熱效率、降低能源消耗，

達(dá)到節(jié)省電力成本的目的。水冷門(mén)安裝于機(jī)柜后門(mén)處，既不占用機(jī)房地板空間，對(duì)機(jī)房層高也無(wú)

額外要求。

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司第3頁(yè)

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

根據(jù)招標(biāo)文件要求的各項(xiàng)技術(shù)指標(biāo)，我們建議選用IBMiDataPlex服務(wù)器集群方案搭建高性能

計(jì)算中心平臺(tái)。

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司第4頁(yè)

\\\大學(xué)X。件能運(yùn)莫方案化議15

第2章方案介紹

2.1方案構(gòu)成組件

如前所述，我們建議選用IBMiDataPlex服務(wù)器集群方案搭建高性能計(jì)算中心平臺(tái)。鑒于PC

服務(wù)器芯片技術(shù)飛速發(fā)展，我們提供的iDataPlex集群系統(tǒng)的方案，充分考慮了未來(lái)的發(fā)展?fàn)顩r，

為將來(lái)系統(tǒng)的完善和擴(kuò)充留有足夠的接口。

配置80臺(tái)主頻為2.93GHZ的IBMDX360M3雙路刀片服務(wù)器為計(jì)算節(jié)點(diǎn)，其峰值處理能力大

于10萬(wàn)億次。本方案建議的iDataPlex集群系統(tǒng)中主要包含以下組成部分：

，硬件主要組成：

名稱組成數(shù)量

計(jì)算節(jié)點(diǎn)iDataPlexdx360M3server80

42U標(biāo)準(zhǔn)機(jī)柜IBM42UEnterpriseRack4

管理節(jié)點(diǎn)/登錄節(jié)點(diǎn)/調(diào)度節(jié)點(diǎn)x3650M34

存儲(chǔ)節(jié)點(diǎn)（I/O節(jié)點(diǎn)）x3650M36+2

核心Infiniband交換機(jī)IBMOEMInfiniBand交換機(jī)40366

千兆以太網(wǎng)交換機(jī)滿足整個(gè)集群系統(tǒng)需要1

>軟件主要組成:

功能組成配置簡(jiǎn)要說(shuō)明

操作系統(tǒng)滿足應(yīng)用需要的Linux版本集群操作系統(tǒng)

集群管理系統(tǒng)CSM/xCAT集群管理系統(tǒng)，集群上/下電，軟件安裝等

集群硬件監(jiān)控管IBMDirector硬件狀態(tài)監(jiān)控，信息收集

理系統(tǒng)

并行文件系統(tǒng)IBMGPFS集群并行文件系統(tǒng)，完成用戶應(yīng)用數(shù)據(jù)交換，存

儲(chǔ)。

作業(yè)調(diào)度系統(tǒng)MOAB用戶作業(yè)調(diào)度系統(tǒng)，包括用戶作業(yè)排隊(duì)，掛起，

查詢，斷點(diǎn)等功能

并行環(huán)境MPICH提供MPI并行庫(kù)

編譯環(huán)境Gnu或商用的C/C++及提供C/C++和Fortran語(yǔ)言的編譯

Fortran編譯器

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司第5頁(yè)

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

2.2方案結(jié)構(gòu)圖

刀片計(jì)算集群

80臺(tái)IDataPIx

（OPFS并行文件系統(tǒng)X3650M3）

6臺(tái)4XQDR40GBInfiniBand交換機(jī)

高性能運(yùn)算拓?fù)浣Y(jié)構(gòu)圖

IWIVCW*

?-?M>??*?（MMM）

機(jī)柜放置示意圖

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司笫6頁(yè)

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

2.3PC集群方案網(wǎng)絡(luò)設(shè)計(jì)

本方案共配置如下5套網(wǎng)絡(luò)：

>Infiniband網(wǎng)絡(luò)交換系統(tǒng)，作為計(jì)算網(wǎng)絡(luò)；

>硬件管理網(wǎng)絡(luò)(AMM)；

>軟件管理分發(fā)網(wǎng)絡(luò)(Softwarenetwork)；

，數(shù)據(jù)管理網(wǎng)絡(luò)(Datanetwork)；

>顯示切換系統(tǒng)(KVM)；

網(wǎng)絡(luò)配置簡(jiǎn)表

功能組成配置簡(jiǎn)要功能說(shuō)明數(shù)量

計(jì)算網(wǎng)絡(luò)Infiniband交換系統(tǒng)■計(jì)算網(wǎng)絡(luò)1

■6*36端口■數(shù)據(jù)傳輸網(wǎng)絡(luò)

Infinband交換機(jī)

硬件管理網(wǎng)絡(luò)以太網(wǎng)絡(luò)交換系統(tǒng)■PC服務(wù)器管理網(wǎng)絡(luò)1

■連接所有的刀片中心管理模塊

?連接所有服務(wù)器(含管理、登錄、

I/O節(jié)點(diǎn))

軟件分發(fā)管理網(wǎng)絡(luò)/以太網(wǎng)絡(luò)交換系統(tǒng)■集群管理網(wǎng)絡(luò)通道/GPFS數(shù)據(jù)管理1

數(shù)據(jù)管理網(wǎng)絡(luò)網(wǎng)絡(luò)通道

■連接到刀片中心的以太網(wǎng)絡(luò)模塊

■連接所有服務(wù)器

顯示切換系統(tǒng)IBMACT顯示切換系統(tǒng)?連接所有服務(wù)器，刀片中心的顯1

(KVM)(KVM)示，鍵盤(pán)和鼠標(biāo)。

國(guó)際商業(yè)機(jī)器(中國(guó))有限公司第7頁(yè)

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

卜表是集群硬件系統(tǒng)網(wǎng)絡(luò)連接的詳細(xì)說(shuō)明:

各PC服務(wù)器與網(wǎng)絡(luò)的關(guān)系表

軟件分發(fā)管

服晶ZKVMInfiniband硬件管理網(wǎng)絡(luò)數(shù)據(jù)管理網(wǎng)絡(luò)

理網(wǎng)絡(luò)

管理節(jié)點(diǎn)連接——連接連接連接

登錄節(jié)點(diǎn)連接—連接連接連接

存儲(chǔ)節(jié)點(diǎn)連接連接連接連接連接

計(jì)算節(jié)點(diǎn)連接連接連接連接連接

2.3.1硬件管理網(wǎng)絡(luò)

為了實(shí)現(xiàn)刀片服務(wù)器的管理，刀片中心的管理模塊通過(guò)AMM網(wǎng)絡(luò)互聯(lián)（iDataPlex節(jié)點(diǎn)，有一

個(gè)管理以太網(wǎng)口）。

2.3.2軟件分發(fā)網(wǎng)絡(luò)

軟件的分發(fā)和管理通過(guò)軟件管理分發(fā)網(wǎng)絡(luò)實(shí)現(xiàn)，在本方案中，軟件分發(fā)通過(guò)以太網(wǎng)絡(luò)進(jìn)行。

2.3.3數(shù)據(jù)管理網(wǎng)絡(luò)

通過(guò)千兆以太網(wǎng)，配合以IBM管理軟件實(shí)現(xiàn)。

2.3.4高速計(jì)算網(wǎng)絡(luò)

為了實(shí)現(xiàn)并行計(jì)算的高速數(shù)據(jù)交換，采用Infiniband網(wǎng)絡(luò)互聯(lián)所有的計(jì)算節(jié)點(diǎn)和I/O節(jié)點(diǎn)，本

方案共配置6臺(tái)36端口infiniband交換機(jī)做為核心交換系統(tǒng)，如下圖所示：

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司第8頁(yè)

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

IBMiDataPlex-80ServersInfiniBand架構(gòu)匡

IDataPtx80甘:

8臺(tái)凱架式管理、

I/O巧目*

6臺(tái)外置具有瞥

理功燒加惴口

InfhUBand文操

機(jī)?

-Voltaire

2036364X

QDRPORTS

INHRNALLY

8臺(tái)ITO*務(wù)等MANAGED.

DUALPS-24

FRU

4XODR40GBIB線貨

8條4XQDR40GBIB線纜

IBM4036高性能交換機(jī)簡(jiǎn)介

IBMOEMVoltaire4036交換機(jī)為高性能計(jì)算集群和網(wǎng)格提供了水平空前的性能和擴(kuò)展性。

Voltaire4036能使高性能應(yīng)用運(yùn)行在分布式的服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)資源上。對(duì)單個(gè)機(jī)箱中的36

個(gè)節(jié)點(diǎn)精心設(shè)計(jì)了10/20/40Gb自適應(yīng)全雙向帶寬，多臺(tái)Voltaire4036以及配合Voltaire更大

的交換機(jī)ISR2004/ISR2012/ISR4700也

可以互聯(lián)組成更大規(guī)模的集群。能夠配

置的節(jié)點(diǎn)范圍從十兒個(gè)到兒千個(gè)，優(yōu)良

的擴(kuò)展性能使你能隨所需節(jié)點(diǎn)。

無(wú)與倫比的的性能

Voltaire4036以最大的交換容量在InfiniBand業(yè)界處于領(lǐng)先地位。每個(gè)端口提供全雙向帶

寬。Voltaire4036支持36個(gè)InfiniBandQDR端口，單向速率達(dá)到40Gb/s,雙向速率達(dá)到

80Gb/s?線速無(wú)阻塞交換能力結(jié)合小于100納秒的低延時(shí)使Voltaire4036成為可用的性能最高

的交換機(jī)。

大型集群和網(wǎng)格成本效益高的解決方案

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司笫9頁(yè)

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

巨大的交換容量，使用臺(tái)或兒分即可組建大型集群，顯著地降低集群的總成本。Voltaire

4036的完整的組網(wǎng)能力和與存儲(chǔ)設(shè)備的連通性使得組網(wǎng)需要較少的設(shè)備，因此使集群的組建變得

簡(jiǎn)。

全面的管理

Voltaire4036內(nèi)置了硬件設(shè)備管理軟件以及SM子網(wǎng)管理器，提供了全面的和強(qiáng)大的管理能

力。管理軟件安裝在交換機(jī)上，不依賴任何外部管理軟件即可訪問(wèn)管理軟件?？梢蕴峁┱麄€(gè)網(wǎng)絡(luò)

的診斷、路由算法設(shè)定及調(diào)整、通訊流量監(jiān)控等功能。

高可用性

為了達(dá)到最高的可用性，Voltaire4036絕大多數(shù)部件都是可熱插拔的。電源模塊以及風(fēng)扇都

為系統(tǒng)提供了高可用性和易服務(wù)性。

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司第10頁(yè)

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

VoltaireGridDirector4036

可安裝于19”機(jī)架的機(jī)箱，高1U。

-數(shù)據(jù)吞吐量：2880Gbps(QDR),1440Gbps(DDR)

-端口到端口延遲：100納秒(最大值)

交換機(jī)技術(shù)規(guī)

-數(shù)據(jù)虛擬通道：8

格

-管理虛擬通道：1

-MTU:4096Bytes(最大值)

-36個(gè)QDR端口或36個(gè)4XDDR端口。

InfiniBand-互連選項(xiàng)：銅纜和/或光纖，支持介質(zhì)轉(zhuǎn)換器。

4X/12X-指示器：每端口的物理連通和邏輯連通LED指示燈，電源指示燈和信息指

主機(jī)連接模塊示燈

-所有端口都位于后面板上。

嵌入的管理套件包括：

-SM子網(wǎng)管理，機(jī)箱和設(shè)備管理。

-符合InfiniBand1.2標(biāo)準(zhǔn)

管理模塊支持的管理協(xié)議：SNMPv2c,Telnet,SSH,HTTP,FTP,IBTA,

SMI/GSI

-連接器：RS232DB9-M,I2CDB9-F

指示器：電源，子網(wǎng)管理器活動(dòng)，機(jī)箱管理器活動(dòng)，信息和熱插拔LED指

示器。

-連接器：EIA/TIA-232ConsoleDB-9,10/100EthernetRJ45

后部控制模塊

-管理/設(shè)備reset按鈕

1個(gè)或2個(gè)廠內(nèi)已安裝的電源模塊

供電需求

電源輸入：100-240VAC,50/60HZ自動(dòng)感知

可安裝在19”機(jī)架上

-尺寸(高x寬x深)：1.69in.(43mm)x16.93in.(430mm)x15.7

in.(400mm)

物理尺寸

-使用選項(xiàng)的支腳可安全的堆置

可選擇前面或后面安裝于機(jī)架

重量：171b(7.7Kg),包括機(jī)架安裝件

工作

環(huán)境要求-環(huán)境溫度：32oF-113oF(OoC-45oC)

-濕度：15%-80%,無(wú)凝結(jié)

國(guó)際商業(yè)機(jī)器(中國(guó))有限公司第11頁(yè)

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

-海拔高度：0-9843ft(3000m)

儲(chǔ)存

-環(huán)境溫度：T3oF-158oF(-25oC-70oC)

-濕度：5%-90%,無(wú)凝結(jié)

-海拔高度:0-15000ft(4570m)

安全

-UL60950

-CBIEC60950

-CSA-C22.2No.60950-00

認(rèn)證

電磁兼容

-47CFRFCCpart15

-EN55022:98/EN55024:98/EN61000-3-2:00/EN61000-3-3:95

-VCCI

2.3.4.ZUFM管理軟件

隨著科學(xué)計(jì)算在眾多領(lǐng)域的普及與發(fā)展，高性能計(jì)算系統(tǒng)正在被廣泛應(yīng)用于科研、制造、勘

探、氣象、金融、電信等諸多領(lǐng)域，CPU以及內(nèi)存技術(shù)的不斷進(jìn)步使得計(jì)算機(jī)個(gè)體的計(jì)算能力大

大提高，由此也帶來(lái)了并行計(jì)算系統(tǒng)環(huán)境中交換網(wǎng)絡(luò)通訊帶寬、延遲以及優(yōu)化管理的諸多迫切需

求。InfiniBand技術(shù)在10余年的發(fā)展過(guò)程中歷經(jīng)起伏，憑借其低延遲、高帶寬、開(kāi)放架構(gòu)的多種

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司第12頁(yè)

\\\人中/件能運(yùn)W方案建議「

優(yōu)勢(shì)逐步被用戶所接受并廣泛使用。在大規(guī)模集群系統(tǒng)的部署與管理過(guò)程中，對(duì)于InfiniBand網(wǎng)絡(luò)

的監(jiān)控與優(yōu)化的需求變得日益迫切。

針對(duì)廣大用戶的需求并結(jié)合Voltaire在InfiniBand領(lǐng)域多年來(lái)的技術(shù)沉淀于積累，Voltaire在

2009年7月正式發(fā)布了面向InfiniBand網(wǎng)絡(luò)的統(tǒng)一管理軟件一UnifiedFabricManager,Voltaire

UnifiedFabricManager（UFM）是-一個(gè)功能強(qiáng)大的網(wǎng)絡(luò)管理平臺(tái)，在針對(duì)Scale-Out（橫向擴(kuò)展）架

構(gòu)的集群計(jì)算環(huán)境中，借助VoltaireUFM管理軟件，InfiniBand網(wǎng)絡(luò)不再是個(gè)神秘的黑盒子，整個(gè)

網(wǎng)絡(luò)的監(jiān)控與管理將變得透明化、系統(tǒng)化。

UFM核心特點(diǎn)

?以應(yīng)用軟件為中心的網(wǎng)絡(luò)管理；

?無(wú)限可擴(kuò)展性提供對(duì)應(yīng)用軟件、數(shù)據(jù)庫(kù)以及存儲(chǔ)系統(tǒng)的無(wú)縫支持；

?直觀的展現(xiàn)網(wǎng)絡(luò)交通以及設(shè)備運(yùn)行狀況，確保用戶清晰并深度掌握網(wǎng)絡(luò)工作狀況；

?先進(jìn)的網(wǎng)絡(luò)阻塞狀況發(fā)現(xiàn)與分析優(yōu)化處理功能；

?基于應(yīng)用軟件工作流以及網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的通訊路由優(yōu)化功能；

?可設(shè)定與調(diào)節(jié)的故障預(yù)警機(jī)制，使用戶對(duì)網(wǎng)絡(luò)通訊狀況了如指掌；

?提供網(wǎng)絡(luò)分區(qū)以及多服務(wù)等級(jí)的分區(qū)功能，方便用戶設(shè)定與調(diào)整；

?提供在一個(gè)共享的網(wǎng)絡(luò)中實(shí)現(xiàn)多個(gè)基于應(yīng)用軟件的獨(dú)立通訊區(qū)域設(shè)定；

?集中化的InfiniBand網(wǎng)絡(luò)設(shè)備管理使得大型網(wǎng)絡(luò)中設(shè)備管理更為便捷：

?安全可靠的HA架構(gòu)設(shè)計(jì)確保UFM管理系統(tǒng)的高可用性：

?提供API接口，方便用戶將UFM管理納入現(xiàn)有的綜合管理系統(tǒng)中。

23.4.4UFM網(wǎng)絡(luò)狀況發(fā)現(xiàn)與控制

UFM集成了先進(jìn)的網(wǎng)絡(luò)監(jiān)控引擎，對(duì)InfiniBand網(wǎng)絡(luò)交換機(jī)以及連接到InfiniBand網(wǎng)絡(luò)的主

機(jī)提供實(shí)時(shí)的監(jiān)控。

UFM提供了一個(gè)可自行設(shè)定的公告牌界面，可以提供網(wǎng)絡(luò)健康狀況以及主機(jī)CPU、內(nèi)存、磁

盤(pán)等資源的使用狀況，通過(guò)公告牌界面，我們可以方便的看到服務(wù)器中網(wǎng)絡(luò)通訊帶寬開(kāi)銷最大的

ToplO（數(shù)量可以自行設(shè)定），網(wǎng)絡(luò)中阻塞最多的ToplO,網(wǎng)絡(luò)中故障報(bào)警的實(shí)時(shí)列表，網(wǎng)絡(luò)中阻

塞問(wèn)題的熱點(diǎn)出現(xiàn)在哪里等等。

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司第13頁(yè)

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)自動(dòng)發(fā)現(xiàn)，網(wǎng)絡(luò)瓶頸實(shí)時(shí)顯示

UFM能夠自動(dòng)監(jiān)測(cè)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)并自動(dòng)繪制出相應(yīng)的拓?fù)浣Y(jié)構(gòu)圖，同時(shí)，通過(guò)實(shí)時(shí)的通訊鏈

路監(jiān)控，UFM能夠自動(dòng)發(fā)現(xiàn)網(wǎng)路擁塞的熱點(diǎn)區(qū)域并通過(guò)圖表方式顯示給用戶，此功能可以幫助用

戶精確的定位網(wǎng)絡(luò)通訊的阻塞狀況，為下一步性能優(yōu)化提供參考數(shù)據(jù)。

CongestionMap

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司第14頁(yè)

t?

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

網(wǎng)絡(luò)分區(qū)優(yōu)化與路由通訊優(yōu)化

UFM提供先進(jìn)的網(wǎng)絡(luò)通訊優(yōu)化功能，針對(duì)不同需求的計(jì)算群組（低延遲、高帶寬等等）可以

創(chuàng)建相應(yīng)的邏輯計(jì)算機(jī)資源組，在同一個(gè)組內(nèi)的計(jì)算節(jié)點(diǎn)之間通訊會(huì)自動(dòng)根據(jù)所設(shè)定的網(wǎng)絡(luò)需求

類型進(jìn)行優(yōu)化，確保網(wǎng)絡(luò)通訊能夠分層進(jìn)行，大大提高網(wǎng)絡(luò)通訊效率；

HighThroughput

LowLatency

Network

Network

SL1(LowPriorityVL)

SLO(HighPriorityVL)

LowLatency

Application

(eg.MPI)

同時(shí)，UFM還提供了獨(dú)有的TrafficOptimizedRouting（TOR）路由算法，經(jīng)過(guò)優(yōu)化后，網(wǎng)絡(luò)中

的阻塞熱點(diǎn)會(huì)自動(dòng)被均衡再分配，大大降低網(wǎng)絡(luò)帶寬資源爭(zhēng)搶所造成的整體計(jì)算效率下降的問(wèn)

題。

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司第15頁(yè)

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

CongestionMapCongestionMap

Mn

■Avg

■Max

Mn

■Avg

■MDX

4中11T1.21Ti.3握中4

——fMlf—■?國(guó)

全網(wǎng)絡(luò)通訊日志收集與保存

UFM會(huì)自動(dòng)收集并保存整個(gè)網(wǎng)絡(luò)（包括交換機(jī)端、計(jì)算節(jié)點(diǎn)I/O節(jié)點(diǎn)端）的通訊II志，為系

統(tǒng)通訊狀況分析以及故障排查提供強(qiáng)有力的資源支持。

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司第16頁(yè)

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

Search6rven*tagflte

2.348UFM支持的InfiniBand網(wǎng)絡(luò)設(shè)備以及主機(jī)平臺(tái)

UFM支持的硬件交換機(jī)平分:

/VoltaireISR9024系列

VoltaireISR2004/2012系列

/Voltaire2036/4036系列

/Voltaire4700系列

VoltaireUFM支持的主機(jī)平臺(tái):

/Redhat5.1/5.2/5.3

/Centos5.1/5.2/5.3

/Windows

2.3.5顯示切換系統(tǒng)（KVM）

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司第17頁(yè)

t?

2大學(xué)而性能也算方案建議書(shū)

IBM先進(jìn)連接技術(shù)(ACT),采用小巧、靈活的CAT5線纜代替龐大、笨重的KVM線纜，可

以極大地簡(jiǎn)化集群系統(tǒng)的安裝，同時(shí)減少線纜數(shù)量，提高系統(tǒng)可靠性。CAT5轉(zhuǎn)換選件可以饋入到

用于本地管理(LCM)的便宜的CAT5控制臺(tái)交換機(jī)或面向大型配置或遠(yuǎn)程管理的遠(yuǎn)程控制臺(tái)管理

(RCM),并和傳統(tǒng)產(chǎn)品向后兼容，提供無(wú)限的可擴(kuò)展性，通過(guò)級(jí)聯(lián)能夠支持多達(dá)2048臺(tái)服務(wù)器端

口連接。如下圖所示：

2.4PC集群之軟件環(huán)境

本方案中，操作系統(tǒng)選擇適合應(yīng)用的Linux,集群管理軟件選擇CSM/xCAT,作業(yè)調(diào)度軟件

選擇IBMLoadLeveler或LSF或者M(jìn)OAB,并行文件系統(tǒng)選擇IBMGPFS,硬件監(jiān)控管理選擇

IBMDirector,編譯環(huán)境推薦采用Intel編譯環(huán)境，這些軟件在集群中的邏輯關(guān)系，見(jiàn)下圖。

國(guó)際商業(yè)機(jī)器(中國(guó))有限公司第18頁(yè)

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

下面詳細(xì)介紹這些軟件和實(shí)現(xiàn)方式。

2.4.1集群管理軟件CSM/xCAT簡(jiǎn)介

本系統(tǒng)集群管理軟件采用CSM/xCAT完成集群管理功能，本方案建議主管理節(jié)點(diǎn)作為

CSM/xCAT的管理節(jié)點(diǎn)，安裝CSM/xCAT服務(wù)器端軟件，CSM/xCAT服務(wù)器端軟件通過(guò)AMM網(wǎng)

絡(luò)和刀片中心的管理模塊通訊，得到刀片的狀態(tài)信息，抓去部署操作系統(tǒng)的刀片網(wǎng)卡MAC地址等

功能，通過(guò)軟件分發(fā)網(wǎng)絡(luò)，與存儲(chǔ)節(jié)點(diǎn)和登陸節(jié)點(diǎn)通訊進(jìn)行硬件管理；CSM/xCAT管理操作，可

以通過(guò)軟件分發(fā)網(wǎng)絡(luò)，與計(jì)算節(jié)點(diǎn)，存儲(chǔ)節(jié)點(diǎn)，登陸節(jié)點(diǎn)通訊。副管理節(jié)點(diǎn)做為主管理節(jié)點(diǎn)的備

份。CSM/xCAT工作邏輯如下圖所示：

國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司第19頁(yè)

t?

XXX大學(xué)高性能運(yùn)算方案建議書(shū)

CSM/XCAT

Managenodeprlm?r>

Chimistnswitch,onelink

‘RackedserverloNwitch

||CSM/xCATClient

IICSM/xCATSvrvui

IBM提供的跨平臺(tái)集群系統(tǒng)管理軟件CSM,允許通過(guò)一個(gè)單點(diǎn)控制和管理整個(gè)集群系統(tǒng)。它

來(lái)源于IBM多年來(lái)的PSSP技術(shù)，可以實(shí)現(xiàn)集群的組成，管理和控制。CSM軟件是一個(gè)客戶/服務(wù)

器模式的集群軟件。在服務(wù)節(jié)點(diǎn)上安裝CSMServer,在所有計(jì)算節(jié)點(diǎn)、I/O節(jié)點(diǎn)和登錄節(jié)點(diǎn)上安裝

CSMClient,經(jīng)過(guò)配置即可構(gòu)成集群?通過(guò)CSM可以完成節(jié)點(diǎn)軟件遠(yuǎn)程安裝和更新、集群內(nèi)所有

節(jié)點(diǎn)運(yùn)行狀態(tài)的持續(xù)監(jiān)控、節(jié)點(diǎn)故障偵測(cè)和自動(dòng)響應(yīng)、文件的單點(diǎn)修改和分發(fā)或同步、節(jié)點(diǎn)上電/

關(guān)機(jī)/重啟動(dòng)等功能。CSM的管理界面已經(jīng)與smit和WSM集成，管理員可以通過(guò)字符或圖形方式

使用CSM管理整個(gè)集群。

CSM同時(shí)支持運(yùn)行Linux的IBMxSeries服務(wù)器和運(yùn)行AIX的IBMpSeries服務(wù)器，為系統(tǒng)今

后擴(kuò)展打下了良好基礎(chǔ)。

e326withBMCprocessor