陜西雙友大業(yè)軟件公司仿真計算技術(shù)方案-一期

1、目錄 TOC o 1-5 h z 曙光HPC方案優(yōu)勢 76曙光公司簡介 76 HYPERLINK l bookmark5 o Current Document 市場占有率高 77 HYPERLINK l bookmark7 o Current Document SUMA標準的完美體現(xiàn) 78 HYPERLINK l bookmark9 o Current Document 產(chǎn)品技術(shù)優(yōu)勢78 HYPERLINK l bookmark11 o Current Document 成熟方案78 HYPERLINK l bookmark13 o Current Document 高級技術(shù)服務和用戶應用支持

2、 78 HYPERLINK l bookmark15 o Current Document 全面的用戶培訓 79曙光高性能計算中心典型案例 80技術(shù)方案85 HYPERLINK l bookmark30 o Current Document 系統(tǒng)配置清單 85需求分析87項目背景87高性能計算的現(xiàn)狀與發(fā)展 87 HYPERLINK l bookmark36 o Current Document 系統(tǒng)需求分析 94方案總體設(shè)計 95系統(tǒng)拓撲圖95 HYPERLINK l bookmark41 o Current Document 系統(tǒng)優(yōu)勢96 HYPERLINK l bookmark43 o C

3、urrent Document 系統(tǒng)方案說明96計算系統(tǒng)97計算系統(tǒng)需求分析97 HYPERLINK l bookmark48 o Current Document 刀片集群97 HYPERLINK l bookmark50 o Current Document 工作站節(jié)點99 HYPERLINK l bookmark52 o Current Document Intel E5-2600 v3 處理器性能優(yōu)勢 100 HYPERLINK l bookmark64 o Current Document 網(wǎng)絡系統(tǒng)101 HYPERLINK l bookmark66 o Current Docume

4、nt 千兆管理網(wǎng)絡102 HYPERLINK l bookmark68 o Current Document Infiniband 高速網(wǎng)102存儲系統(tǒng)103 HYPERLINK l bookmark72 o Current Document 高性能集群存儲的需求特點 103 HYPERLINK l bookmark75 o Current Document 并行文件系統(tǒng) 104管理調(diào)度系統(tǒng) 107管理/登陸節(jié)點107 HYPERLINK l bookmark82 o Current Document 曙光Gridview作業(yè)調(diào)度系統(tǒng)110集群基礎(chǔ)軟件環(huán)境 113編譯環(huán)境113 HYPERLI

5、NK l bookmark87 o Current Document 并行環(huán)境114 HYPERLINK l bookmark89 o Current Document 數(shù)學庫116 HYPERLINK l bookmark91 o Current Document 機柜配置及參數(shù)指標 1 18 HYPERLINK l bookmark93 o Current Document 機柜擺放要求 1 18 HYPERLINK l bookmark95 o Current Document 曙光標準機柜特點120 HYPERLINK l bookmark97 o Current Document 曙

6、光機柜配電系統(tǒng)121 HYPERLINK l bookmark99 o Current Document 供配電及制冷需求122機房環(huán)境要求123項目實施及驗收方案 124項目管理124項目計劃124項目跟蹤和匯報 125項目團隊125項目系統(tǒng)集成 126實施計劃和時間進度表 127安裝調(diào)試127硬件安裝127操作系統(tǒng)127存儲系統(tǒng)128集群網(wǎng)絡環(huán)境128系統(tǒng)管理軟件 128并行庫軟件128資源調(diào)度軟件128應用軟件集成128安裝后驗證129移交設(shè)備和技術(shù)材料129驗收方案129設(shè)備考核129功能性考核130穩(wěn)定性考核130技術(shù)材料項目交付 130方案報告 130測試報告、運行總結(jié)報告 130

7、產(chǎn)品使用手冊或維護操作指南 131出廠測試報告、產(chǎn)品合格證、保修卡 131產(chǎn)品權(quán)威性檢驗報告131交付清單131系統(tǒng)管理說明書，技術(shù)說明書 131制造、安裝標準（含技術(shù)規(guī)范）131驗收報告（包括驗收數(shù)據(jù)資料） 131人員培訓方案132培訓目標132?熟練使用操作系統(tǒng)； 133培訓方式、地點及對象 133培訓方式133培訓地點133培訓對象133高性能計算培訓課程內(nèi)容1 33售后服務方案135本項目售后服務 135售后服務承諾135保修服務內(nèi)容136服務流程和響應時間 136備件支持138曙光公司售后服務體系（戰(zhàn)略客戶） 138曙光公司服務部門架構(gòu) 138曙光專業(yè)服務團隊139戰(zhàn)略客戶服務流程1

8、41曙光公司服務網(wǎng)點 146曙光服務網(wǎng)點功能介紹 146曙光各級服務網(wǎng)點資源介紹 148曙光服務網(wǎng)點覆蓋能力 149曙光公司備件庫體系149遍布全國的四級響應能力庫房 150曙光公司備件庫優(yōu)勢 151陜西雙友大業(yè)軟件開發(fā)有限公司售后服務介紹 152相關(guān)投標產(chǎn)品說明 155曙光刀片服務器 TC5600H技術(shù)資料 155曙光天闊服務器 W560-G10 159曙光HPC方案優(yōu)勢曙光公司簡介曙光公司是在原國家科委和中國科學院支持下成立的高科技企業(yè)，于1995年6月正式成立，注冊基金 7500萬元，目前已經(jīng)增資到 1.5億元，我國著名計算機專家、中國工程院 院士、國家智能計算機研究開發(fā)中心主任李國杰出

9、任董事長兼總裁。曙光公司以中科院計算所、國家智能計算機研究開發(fā)中心和國家高性能計算機工程中心強大的技術(shù)和人才為后盾， 開發(fā)推出了三大系列 30多種型號的服務器，已經(jīng)實現(xiàn)了從巨型計算機和超級服務器的供應 商到全系列服務器產(chǎn)品供應商的角色轉(zhuǎn)變，向用戶提供了從PC服務器到RISC服務器、價格從一萬元到幾千萬元的全系列服務器產(chǎn)品，形成了以曙光天潮系統(tǒng)超級服務器、曙光天闊 PC服務器和曙光天演 UNIX系列服務器三大系列為主的30余款曙光全系列服務器產(chǎn)品。曙光天潮系列超級服務器以其卓越的性能在石油、教育、氣象、電信、生物基因、政府 部門等行業(yè)部門發(fā)揮著舉足輕重的作用，贏得了眾多用戶的贊譽。發(fā)展高技術(shù)，實

10、現(xiàn)產(chǎn)業(yè)化，是我國科技工作者和科學界一直在追求的目標。在這一目標指引下， 從1990年成立國家智能計算機研究開發(fā)中心，啟動研制曙光計算機，到曙光3000超級服務器，以李國杰院士為首的曙光人，從關(guān)起門來搞研究到走出“象牙塔”做市場，20年間，走出了一條有自身特色的產(chǎn)業(yè)化道路。公司從95年創(chuàng)辦至今，歷時15年，取得了驕人的業(yè)績，銷售額逐年、穩(wěn)步、快速增長，根據(jù)權(quán)威調(diào)研機構(gòu)CCID的報告表明，曙光已經(jīng)成為國產(chǎn)服務器前三甲。公司匯集了許多高學位、有計算機專業(yè)特長、工程經(jīng)驗和管理經(jīng)驗豐富的優(yōu)秀人才，其中博士后15人、博士50人、碩士180多人。公司許多員工獲得過中國科學院科技進步特等 獎、國家科技進步獎、

11、優(yōu)秀青年科學家獎、何梁何利獎等。許多專家承擔著863高技術(shù)計劃重點項目、973項目研究、“九五”攻關(guān)計劃等與國民經(jīng)濟息息相關(guān)的國家級高科技項目的 研究和開發(fā)。曙光公司先后推出有自主知識產(chǎn)權(quán)的曙光1號、曙光1000、曙光1000A、曙光2000、曙光2000-II和曙光3000等大規(guī)模并行計算機系統(tǒng)，曙光TC150。TC1700等一系列達到或接近世界先進水平的高技術(shù)產(chǎn)品，上述產(chǎn)品在國內(nèi)均處于領(lǐng)先地位。其中曙光1號曾被作為我們國家科技代表成就之一寫入1994年李鵬總理政府工作報告，并獲得中國科學院科技進步特等獎； 曙光3000超級服務器于2001年榮獲中國十大科技進展殊榮，并成功完成舉世矚目的水稻

12、基因組測序工作。1990年3月，建立國家智能計算機研究開發(fā)中心，她是在 863-306主題專家組的領(lǐng)導 下，為實現(xiàn)國家高技術(shù)計劃在計算機領(lǐng)域的關(guān)鍵目標而組建的研究開發(fā)實體，其宗旨是發(fā)展計算機高技術(shù)，實現(xiàn)高性能計算機產(chǎn)業(yè)化。的戰(zhàn)略高技術(shù)，關(guān)系到國家的戰(zhàn)略安全，高性能計算機是一項西方國家對我國仍實行禁運對國民經(jīng)濟和社會發(fā)展有重要作用，能廣泛應用于科學研究、信息服務和事務處理。 智能中心成立后，陸續(xù)向市場推出了 曙光并行機系列產(chǎn) 品，為促進我國高檔計算機產(chǎn)業(yè)化做出了重大貢獻。國家高性能計算中心（合肥）1996年7月建立并為用戶服務，時任國務委員兼國家科委主任的宋健院士指示，用曙光1000在全國建立一

13、批國家高性能計算中心，大力開展曙光1000的推廣應用。此后，在北京、成都、武漢和上海相繼成立了四個國家高性能計算中心，在全國形成了一個以曙光天潮系列為主服務器的第一個全國性的高性能計算網(wǎng)絡，大規(guī)模地對全國眾多行業(yè)領(lǐng)域進行高性能計算服務。國家高性能計算基金共支持了100多個國家自然科學基金、攀登計劃、國家攻關(guān)計劃、863計劃和各部委省市的重要課題在五個中心進行計算。此外，這些中心還支持了其他 150余個課題完成了計算任務，取得了一批在國內(nèi)外有重要影響的成果。市場占有率高TOP100國內(nèi)廠商第一名,TOP10睇一名。2009、 2010、 2011、曙光已近連續(xù)多年占有中國高性能計算 2012年連

14、續(xù)四年超過所有國內(nèi)國際廠商，榮登游光36%曙光乃4%2口 1 0年制做德機器數(shù)量份羽圖圖9.1曙光機器數(shù)量份額圖SUMA標準的完美體現(xiàn)曙光公司是國內(nèi)服務器“ SUMA標準的倡導者，產(chǎn)品的設(shè)計和方案的設(shè)計充分體現(xiàn)了：可擴展性；易使用性；易管理性；高可用性產(chǎn)品技術(shù)優(yōu)勢高性能、高密度第四代刀片服務器；曙光ClusKVM-OVER-IP系統(tǒng)，優(yōu)勢：連接方便，可擴展性強，可以通過Internet 遠程使用；曙光機群操作系統(tǒng)，為用戶使用維護機群提供了全面的工具。成熟方案專業(yè)的高性能計算機廠商；2009,2010,2011,2012 年連續(xù)4年在國內(nèi)高性能計算機排名（ TOP100排行榜） 中占據(jù)最大份額；

15、各行業(yè)（包括生物計算行業(yè)）有眾多的成功案例；曙光5000A、曙光4000A大型并行計算機的設(shè)計和使用維護經(jīng)驗；高級技術(shù)服務和用戶應用支持曙光公司實施服務超越戰(zhàn)略，把用戶服務提到了戰(zhàn)略的高度：全方位，立體化的服務。包括：售前售中售后尤其是售中和售后服務，是曙光服務的中心和重點。延長的售后服務年限無限期的應用支持。例如：用戶各種軟件的編譯，測試系統(tǒng)性能優(yōu)化幫助用戶解決使用中的難題幫助用戶分析系統(tǒng)瓶頸，尋找解決方法，如：和某地球物理公司的合作曙光公司對用戶提供的應用支持完全免費。全面的用戶培訓曙光公司將為用戶提供全面的培訓，為用戶培訓系統(tǒng)管理員， 并為用戶的應用提供技術(shù)培訓。曙光公司培訓聯(lián)合中科院計

16、算所進行，將為用戶提供定制化服務，曙光公司為用戶提供的服務完全免費。曙光高性能計算中心典型案例國家超級計算深圳中心一一曙光“星云”國家超級計算深圳中心（深圳云計算中心）曙光“星云”是在國家863計劃重大專項支持下，由曙光信息產(chǎn)業(yè)（北京）有限公司、 中國科學院計算技術(shù)研究所、國家超級計算深圳中心共同研制，由曙光集團天津產(chǎn)業(yè)基地制造的一款擁有自主知識產(chǎn)權(quán)的超千萬億次超級計算機；是國內(nèi)首臺實測性能超千萬億次的超級計算機，其每秒系統(tǒng)峰值達三千萬億次 （3PFlops），每秒實測Linpack值達1.271萬億次。 在2010年6月第35屆全球高性能計算機 Top 500排名中，“星云”位列世界第二，成

17、為世 界上第三臺實測性能超千萬億次的超級計算機。星云系統(tǒng)還是國內(nèi)最綠色的超級計算機，每網(wǎng)光星云高就能計草機都交 PAWNING NEBUW瓦能耗實測性能4.8億次。i ：ii IJi JUi歸咽 1 川 .SinWIJ r IQ*-flKk ri/i H l1i *EpnAii熟3* h.閨 LM - iUrf M hi E切門一 HlVIE. MH曙光“星云”作為中國第一臺面向未來“云計算”環(huán)境設(shè)計的超級計算機系統(tǒng)，強調(diào)系 統(tǒng)的均衡設(shè)計和資源動態(tài)調(diào)度能力，將成為我國新一代超級云計算中心建設(shè)的主力機種?！靶窃啤备咝阅苡嬎銠C系統(tǒng)已經(jīng)安裝在國家超級計算深圳中心，為我國華南、港澳乃至全國用戶提供計算

18、服務和信息服務。上海超級計算中心曙光“魔方”上海超級計算中心（Shanghai Supercomputer Center ）成立于2000年12月，是國內(nèi)第一個面向社會開放，資源共享、設(shè)施一流、功能齊全的高性能計算公共服務平臺，目前擁有曙光4000A （2004年世界排名第十）和“魔方”（曙光5000A, 2008年世界排名第十）等3臺超級計算機，同時配備豐富的科學和工程計算軟件，致力于為國家科技進步和企業(yè)創(chuàng)新 提供高端計算服務。由中科院計算所和曙光公司聯(lián)合研制的曙光5000A高效能超級計算機于 2008年成功推出，峰值性能達到 230Tflops ,實際Linpack測試性能為 180.6T

19、flops ,進入了世界前 10 名，成功部署于上海超級計算中心，代號“魔方”。曙光5000A的成功，極大縮小了國內(nèi)與美國在超級計算機領(lǐng)域的差距，并且在計算密度、系統(tǒng)效率、系統(tǒng)功耗等諸多方面達到當時的世界先進水平。曙光5000A實現(xiàn)了諸多創(chuàng)新，在體系結(jié)構(gòu)、多處理機芯片組、高性能節(jié)點操作系統(tǒng)、高 可擴展互連網(wǎng)絡、高吞吐率通信軟件、多線程分割全局地址空間編程模型及編譯器等核心技 術(shù)上實現(xiàn)了較大突破；并提供高效能計算機的高密度節(jié)點、可靠的系統(tǒng)結(jié)構(gòu)、虛擬化軟件、 高效能海量存儲、并行文件系統(tǒng)、大規(guī)模系統(tǒng)的管理軟件、系統(tǒng)級魯棒性技術(shù)、超大規(guī)模并 行算法等產(chǎn)品及技術(shù)。曙光5000A具有“四高兩低”的技術(shù)特

20、點，“四高”具體表現(xiàn)為高性能、高效能、高密度、高可靠；“兩低”表現(xiàn)為低價格、低功耗。曙光5000A是定位于高效能的計算機系統(tǒng)，高效能包含了高性能、可編程性、可移植性、穩(wěn)定性等多個方面的要求，高效能代表了高性 能計算機研究的新方向。曙光5000A是完全自主知識產(chǎn)權(quán)的國產(chǎn)超級計算機，在系統(tǒng)的研制過程中，曙光公司已 申請了 50項發(fā)明、實用新型及外觀專利，并申請了近16項軟件著作版權(quán)登記。在曙光5000A的基礎(chǔ)上，曙光公司推出了曙光5000系列計算機及其應用解決方案。北京市計算中心如京市H4中心IBeijing Computing Center北京市計算中心建立于一 九七三年，隸屬于北京市科學 技術(shù)

21、研究院。是國內(nèi)成立最早、最具影響力的從事計算機應用技術(shù)研究及推廣的機構(gòu)，服務對象涉及工業(yè)、商業(yè)、交通、能 源、環(huán)保金融、稅務、社會事務等多個領(lǐng)域。北京市計算中心匯集了許多高學位、計算機與 網(wǎng)絡通信、物理、化學等交叉學科領(lǐng)域優(yōu)秀人才，曾獲得過國家科技進步獎、北京科技進步 獎等殊榮，許多專家承擔著“ 863”高技術(shù)計劃重點項目、“937”項目、“九五”攻關(guān)計劃等與國民經(jīng)濟息息相關(guān)的國家級高科技項目的研究和開發(fā)。中心現(xiàn)有計算服務平臺一期項目于2009年1月建成，選用曙光5000系列國產(chǎn)高性能計算機，采用 CPU+GP的混合異構(gòu)集群系統(tǒng)架本總體性能超過30TFLOPS 2010年開始進行了二期擴容，繼

22、續(xù)購置了1套曙光6000系列高性能計算機，并進行了系統(tǒng)整合，目前系統(tǒng)總體計算能力已經(jīng)超過 100TFLOPS支撐著中心的工業(yè)云計算平臺和生物計算平臺，滿足氣 象預報、分子動力學、生物醫(yī)藥、CAE真以及動漫等眾多高性能計算領(lǐng)域計算需求，同時也作為信息化服務平臺和云計算技術(shù)研發(fā)平臺。曙光5000、6000高性能計算機為中心的高性能計算服務以及云計算服務提供了強有力的支撐和保障，不僅計算性能強勁，計算資源的種類也豐富多樣，配置靈活，符合中心多樣性和綜合性的業(yè)務特點，滿足多領(lǐng)域計算服務對計算資源的差異化需求。計算服務平臺投入使用以來，系統(tǒng)運行穩(wěn)定，已經(jīng)為全國眾多科研 機構(gòu)和企業(yè)提供了大量計算服務，支持

23、了多項重大科研項目，在眾多企業(yè)的關(guān)鍵產(chǎn)品研制過程中起到了關(guān)鍵作用。曙光公司不僅為北京市計算中心建設(shè)了計算服務基礎(chǔ)平臺，同時也與北京市計算中心在高性能計算技術(shù)和云計算技術(shù)研發(fā)方面建立了深入合作。2010年，北京市計算中心與曙光公司建立了 “北京市計算中心&曙光云計算聯(lián)合實驗室”，為企業(yè)提供軟件應用支持，提供高性能計算基礎(chǔ)平臺， 提供企業(yè)在成長中所需要的科技支持等，全面解決中小企業(yè)的云計算需求難題，促進中小企業(yè)的創(chuàng)新能力并壯大企業(yè)未來的發(fā)展。成都云計算中心由曙光集團下屬“成都超級計算中心有限公司”建設(shè)并于成都云計算中心2009年底開通運營，一期建設(shè)規(guī)模達到30萬億次每秒，并將于 2年內(nèi)擴展至200

24、萬億次每秒。中心依托中科院計算機技術(shù)研究所以及曙光集團的優(yōu)勢資源， 在國內(nèi)率先將超級計算技 術(shù)用于云計算服務提供，并創(chuàng)新性的采用了 “政府指導、企業(yè)投資建設(shè)和運營”的全新模式, 具有里程碑式意義，標志著超級計算（云計算）在國內(nèi)的發(fā)展進入一個新的階段。復旦大學高性能計算中心復旦大學是教育部直屬全國重點大學之一，名列985工程、211工程，是國內(nèi)技術(shù)實力強、影響力巨大的技術(shù)研究、高等教育機構(gòu)。作為一所綜合性研究型大學，伴隨校內(nèi)物理、 化學、環(huán)境、生物、地理等不同學科的不斷發(fā)展，對高性能計算的迫切需求變得日益突出。2011年建設(shè)的復旦大學高性能計算中心是一個面向校內(nèi)各學科的計算平臺，主要運行 物理、

25、化學、材料、流體、軟件、氣象開發(fā)相關(guān)領(lǐng)域的應用，其中物理、化學、材料為主要 應用。計算平臺應用軟件種類繁多，各種軟件的應用特點也各不相同，對計算資源的需求存在差別，方案的設(shè)計需要充分考慮到實際應用的特點。基于對復旦大學用戶應用需求分析，曙光提供了具有針對性的成熟穩(wěn)定、 高可靠、高性能的系統(tǒng)方案。全系統(tǒng)共計502臺計算節(jié) 點，理論峰值達到 64.3萬億次每秒，在 2011年中國高性能計算機性能 TOP100排名第37。作為全球一流的計算機公司和開放系統(tǒng)的領(lǐng)導者，曙光公司擁有完善的信息處理技術(shù)和豐富的行業(yè)應用經(jīng)驗。在本項目中，曙光提出了一套先進的高性能計算機系統(tǒng)設(shè)計方案，充分利用了計算機科學與網(wǎng)絡

26、技術(shù)的最新發(fā)展成果，考慮了系統(tǒng)的先進性、 高可靠性、高可用性、系統(tǒng)的靈活擴展能力、開放性以及高可管理性等原則對項目的具體需求提出了解決方案！ 曙光不僅限于提供高性能計算設(shè)備并保障其穩(wěn)定運行上，曙光技術(shù)支持專家也在計算物理、化學、材料、熱能、流體、氣象、海洋、環(huán)保等專業(yè)方面與復旦大學應用專家一起進行共同 研究與合作。2技術(shù)方案2.1系統(tǒng)配置清單類別產(chǎn)品型號技術(shù)規(guī)格單位數(shù)量1計算系統(tǒng)CPL#算節(jié)點曙光TC5600-H 整 機柜刀片平 臺TC5600-H整機和刀片半百，含 TC5600-H整機 柜刀片系統(tǒng)框架（44U）、雙輸入供電系統(tǒng)、直 流母排套件、1*RMCf理模塊、2*4U節(jié)點倉臺24U節(jié)點倉

27、,含節(jié)點機框、風扇模塊、背板等個122500W高效白金級（電源效率 93%電源模塊個24曙光SR60-T20 計 算刀片2*Xeon E5-2640v3 2.6G 20M 八核處理器 (2.6GHz);16GB DDR4 ECC REGW;2*300G 2.5寸SAS熱插拔硬盤；2*千兆以太網(wǎng)接口；1*56Gb FDR InfiniBand 接 口 ;片702網(wǎng)絡系統(tǒng)計算網(wǎng)絡InfiniBand交換機FDR 36端口舊交換機臺5InfiniBand線纜FDR Infiniband 線纜根145管理網(wǎng)絡以太網(wǎng)交換 模塊（千兆 帶萬兆上 聯(lián)）48端口千兆以太網(wǎng)（帶萬兆上聯(lián)）交換模塊，向下提供48*

28、1GE電口，向上提供 2*10GE SFP優(yōu) 口臺4視頻切換系 統(tǒng)Cluskvm100 菊花鏈KVM 主控端菊花鏈控制終端，每終端最大可支持 32個節(jié)點臺1Cluskvm100 CIM模塊節(jié)點USB模塊，每節(jié)點配置1個個10PDU機柜PDU每 PDIM 15 位 10A C13 插座 +12 位 16A C19 插座，3個32A單相空開，含 1個32A 3相5芯IEC60309工業(yè)連接器臺4PDM125A PDM 系 統(tǒng)（帶監(jiān)控）PDMK統(tǒng)作為集群配電分配模塊， 可提供最多4 個32A PDU勺統(tǒng)一配電管理，輸入采用125A三 相5芯IEC60309工業(yè)連接器，輸出為4個32A 三相5芯IEC

29、60309工業(yè)連接器個13存儲系統(tǒng)曙光ParaStor200 并行存儲系 統(tǒng)P200高性能64位處理器，64GB Cache, 2個管理網(wǎng) 絡接口，3.5 7.2krpm 4TB SATAX 15, 1 個 56Gb FDRInfiniband數(shù)據(jù)接口， 1+1冗余電源，內(nèi)嵌高性能數(shù)據(jù)存取引擎，用于并行處理所有客戶 端的數(shù)據(jù)訪問請求，內(nèi)嵌高性能數(shù)據(jù)恢復引擎， 支持節(jié)點間replication （多副本）/N+M （糾刪 碼）數(shù)據(jù)冗余方式套14軟件系統(tǒng)操作系統(tǒng)LinuxRedhat 64bit 企業(yè)級Linux操作系統(tǒng)套11集群管理調(diào) 度系統(tǒng)（可 選）曙光Gridview （商業(yè)版）標準版（標準

30、組件）：支持資源配置、組資源管 理、實時告警、閾值管理、集群狀態(tài)視圖、總 體性能視圖、對比性能視圖、配置管理、賬戶個1設(shè)置、預定義報表、自定義報表功能。應用開發(fā)環(huán) 境編譯器GNIBJ譯器，支持 C/C+/Fortran套一1Intel 編譯器，支持 C/C+/Fortran套1數(shù)學庫MKL BLAS LAPACK ScaLAPACK FFTW NCLGrads 等套1并行環(huán)境OpenM所行環(huán)境套一1OpenMP 1MPICH2 MVPAICH等 MPI 并行環(huán)境(支 持InfiniBand 和以太網(wǎng))套1GPLFF發(fā)環(huán) 境CUDA1動、編譯器、調(diào)t端1、工具包、SDK;CUDA FFT CUD

31、A BLA第；套1MIC開發(fā)環(huán)境MIC編譯環(huán)境；Intel(R) Manycore Platform Software Stack (MPSS);套1自動部署工 具軟件自動部署工 具軟件高性能計算軟件環(huán)境自動部署工具軟件套1三維設(shè)計系 統(tǒng)協(xié)同設(shè)計 軟件三維設(shè)計系 統(tǒng)協(xié)同設(shè)計 軟件三維設(shè)計系統(tǒng)協(xié)同設(shè)計軟件套15圖形工作站圖形工作站曙光W560-G10圖 形工作站塔式 /2*Xeon E5 2667v2 3.3G 25M 8C (主頻 3.3GHz,共 16 核)/32G DDR3ECCREG 內(nèi)存/2*1T 3.5 口寸 6GbSATA/NV QUADRO K620 2GBs卡 / 雙 千兆以太

32、網(wǎng)口 /DVD-RW/集成BMC片/單電源 /24寸寬屏黑色液晶顯示器套202.2需求分析 2.2.1項目背景上海衛(wèi)星工程研究所（簡稱 509所）成立于1969年，隸屬于第八研究院，是一家適應 多型號生產(chǎn)要求的衛(wèi)星總體研究所，屬科研生產(chǎn)事業(yè)單位，是我國氣象衛(wèi)星的搖籃和對地遙感、空間監(jiān)測、深空探測系列衛(wèi)星的主要研制基地。目前主要承擔了氣象、科學試驗、微波 遙感、電子等系列衛(wèi)星的研制工作。40余年來共成功研制并發(fā)射了風云系列，實踐系列、遙感系列等多顆衛(wèi)星，取得了100%勺發(fā)射成功率，在我國科學實驗、國土資源普查、農(nóng)作物估產(chǎn)及防災減災等領(lǐng)域發(fā)揮了積極作用。其中氣象衛(wèi)星使我國在中長期、多方位氣象觀測、

33、預報、研究領(lǐng)域取得了重大突破，也使我國成為少數(shù)幾個能同時研制、發(fā)射和管理靜止和極軌氣象衛(wèi)星，并由此形成氣象監(jiān)測應用系統(tǒng)的國家之一。近十年來共成功研制并發(fā)射了3顆風云二號氣象衛(wèi)星，1顆風云三號氣象衛(wèi)星，3顆實踐六號A空間環(huán)境探測及技術(shù)試驗衛(wèi) 星，1顆實踐七號科學技術(shù)試驗衛(wèi)星，2顆遙感一號衛(wèi)星和 1顆遙感六號等衛(wèi)星，取得了 100%成功率。2008年抗震減災、北京奧運會以及 2010年上海世博會等國家重大活動的氣象預報 中，遙感一號、風云三號等衛(wèi)星作出了突出的貢獻。隨著應用體量的增大，應用工作者人數(shù)的增加，高性能計算平臺的擴容迫在眉睫。為能使種類繁多的應用軟件，依照各自的應用特點，在一套完整、高效

34、、可靠、穩(wěn)定的平臺上成 熟運行，設(shè)計了一套成熟建議方案。2.2.2高性能計算的現(xiàn)狀與發(fā)展高性能計算的應用需求應用需求是高性能計算技術(shù)發(fā)展的根本動力。傳統(tǒng)的高性能計算應用領(lǐng)域包括：量子化學、分子模擬、氣象預報、天氣研究、油氣勘探、流體力學、結(jié)構(gòu)力學、核反應等。隨著經(jīng) 濟發(fā)展和社會進步，科學研究、經(jīng)濟建設(shè)、國防安全等領(lǐng)域?qū)Ω咝阅苡嬎阍O(shè)施及環(huán)境提出了 越來越高的需求，不僅高性能計算的應用需求急劇增大，而且應用范圍從傳統(tǒng)領(lǐng)域不斷擴大到資源環(huán)境、航空航天、新材料、新能源、醫(yī)療衛(wèi)生、金融、文化產(chǎn)業(yè)等經(jīng)濟和社會發(fā)展的 眾多領(lǐng)域。當前，世界和中國面臨諸多重大挑戰(zhàn)性問題。比如，全球氣候出現(xiàn)快速增溫的事實使“應對

35、氣候變化”成為各國政治、經(jīng)濟和社會發(fā)展的重大課題，為了進一步消減“溫室效應”和 減少碳排放，實現(xiàn)可持續(xù)發(fā)展的低碳經(jīng)濟，新材料的發(fā)現(xiàn)、設(shè)計與應用迫在眉睫；隨著化石能源的日益枯竭和環(huán)境的日趨惡化，新能源的開發(fā)勢在必行； 隨著科技的發(fā)展，人類邁向太空的腳步逐漸加快， 空間資源的爭奪和戰(zhàn)略性部署竟然愈發(fā)激烈，航空航天領(lǐng)域作為此項重大科研技術(shù)活動的基礎(chǔ)支撐，投入將持續(xù)擴大；為了攻克重大疾病、 進一步提高人口健康質(zhì)量，生命科學與新藥制造已成為技術(shù)發(fā)展和經(jīng)濟投入的重要增長點；在國際競爭的大環(huán)境下，基礎(chǔ)科研實力是高新技術(shù)發(fā)展的重要源泉，是未來科學和技術(shù)發(fā)展的內(nèi)在動力，也是實現(xiàn)國家經(jīng)濟、社會和環(huán)境可持續(xù)性發(fā)展的

36、重要途徑，基礎(chǔ)科學研究的投入也將持續(xù)增長。解決上述關(guān)系國家戰(zhàn)略和國計民生的重大挑戰(zhàn)性問題都離不開高性能計算的強力支撐，可以預見在戰(zhàn)略層面， 各國對高性能計算的投入會持續(xù)增長，而中國將更加發(fā)力； 在技術(shù)層面上，高性能計算的應用范圍將越來越廣，發(fā)過來應用需求也將催生高性能計算新技術(shù)的誕生與發(fā)展。Projectsd Pcirfoim biicq D eve I op me ntQ Ml則QSumttl Tiend Line一曲Q Trend Line一Sum TreiKl Line口得-我芯-9一將 S一行 zoe-2后 A京，二R ?看 rsR-S3 g-ss-旨將 二管 口息圖2-1全千HPC

37、TOP500統(tǒng)計數(shù)據(jù)顯示高性能計算能力呈指數(shù)型增長國內(nèi)高性能計算發(fā)展現(xiàn)狀“九五”以來，在國家及相關(guān)政府的持續(xù)支持和IT企業(yè)的積極參與下，我國高性能計算機有了長足的發(fā)展，研制隊伍不斷發(fā)展和壯大，主要的研制單位有：國家并行計算機工程 技術(shù)研究中心、中科院計算技術(shù)研究所國家智能中心、國防科技大學計算機學院、曙光公司等，是數(shù)十年積聚起來的我國高性能計算機技術(shù)研發(fā)的中堅力量?！笆晃濉逼陂g，在國家863計劃“高效能計算機及網(wǎng)格服務環(huán)境”重大項目的支持下，我國先后研制成功若干臺百萬億次和千萬億次高性能計算機系統(tǒng)。2008年，曙光公司研制成功“曙光5000”百萬億次計算機；2009年，國防科技大學研制成功“

38、天河一號”千萬億 次計算機，使我國成為繼美國之后世界上第二個研制成功千萬億次計算機的國家；2008年，曙光公司研制的“曙光 5000”百萬億次高性能計算機位列全球 TOP500第十，亞洲第一；2010年，曙光公司研制成功“星云”千萬億次計算機，性能列世界TOP500第二位；而升級后的“天河-1A”系統(tǒng)創(chuàng)造了中國高性能計算機全球排名第一的最好成績。中國高性能計算機在全球TOP500中的份額也在逐年增大，已經(jīng)成為僅次于美國的高性能計算大國。Couiitr1#w -雪y/t 的與物力|:MB9000300，圖2-2 TOP500系統(tǒng)國家分布歷史統(tǒng)計我國在高性能計算機系統(tǒng)相關(guān)的基礎(chǔ)性支撐技術(shù)方面也有了

39、很大進步。在處理器方面， 國內(nèi)自主研制的“龍芯”、“神威”、“飛騰”等系列的多核處理器方面已有所突破，相關(guān) 的生態(tài)環(huán)境正在逐步完善；在異構(gòu)協(xié)同與并行優(yōu)化方面，國內(nèi)在 CPU/GPU混合結(jié)構(gòu)的應用 研究，比如生命科學領(lǐng)域的基因比對、分子動力學、電鏡數(shù)據(jù)處理石油勘探領(lǐng)域的電子斷層三維重構(gòu)、疊前時間偏移等方面均取得突破。在系統(tǒng)軟件及環(huán)境方面，國內(nèi)在大規(guī)模異構(gòu)系統(tǒng)的管理和監(jiān)控、大規(guī)模系統(tǒng)的快速部署以及高效系統(tǒng)虛擬化等關(guān)鍵技術(shù)上也取得了很大進 展?！笆晃濉逼陂g，在國家863計劃“高效能計算機及網(wǎng)格服務環(huán)境”重大項目的支持下，成功開發(fā)具有自主知識產(chǎn)權(quán)的中國國家網(wǎng)格軟件GOS (Grid Operatin

40、g System ),突破了廣域資源共享和協(xié)同工作的關(guān)鍵技術(shù)，其功能和性能已達到并超越國際同類軟件水平。此外， 863計劃還先后重點支持了化學、天文、氣象、生物醫(yī)藥、流體、激光聚變、大飛機、石油 勘探地震成像等領(lǐng)域的高性能計算應用，形成了若干可利用上千以上的處理器核進行計算模擬的應用實例。高性能計算機關(guān)鍵技術(shù)發(fā)展現(xiàn)狀體系架構(gòu)作為高性能計算基礎(chǔ)設(shè)施的核心，現(xiàn)代高性能計算機的發(fā)展從20世紀70年代的向量計算機開始，也已經(jīng)有了幾十年的發(fā)展歷程。先后出現(xiàn)了向量機、多處理器并行向量機、MPP大規(guī)模并行處理機、SMP對稱多處理機、DSM分布式共享存儲計算機、Constellation星群系統(tǒng)、Cluste

41、r集群系統(tǒng)、混和系統(tǒng)等多種主體的體系架構(gòu)，并分別在不同的時期占據(jù)著應 用的主流。其中，計算機集群（簡稱集群、Cluster）是一種計算機系統(tǒng)，它通過一組松散集成的計算機軟件和/或硬件連接起來高度緊密地協(xié)作完成計算工作。在某種意義上，他們可以被看 作是一臺計算機。集群系統(tǒng)中的單個計算機通常稱為節(jié)點，通過內(nèi)部網(wǎng)絡連接。高性能計算集群采用將計算任務分配到集群的不同計算節(jié)點而提高計算能力。比較流行的高性能計算集群采用Linux操作系統(tǒng)和其它一些標準軟件來完成并行運算，這一集群配置通常被稱為 Beowulf集群。這類集群通常運行特定的程序以發(fā)揮高性能計算集群的并行能力，這類程序 一般使用特定的運行庫，比

42、如MPI等。相比于MPP等一些專有高性能計算系統(tǒng)，集群系統(tǒng)具有明顯的優(yōu)勢，包括： 集群的標準化程度高高性能計算集群一般都是采用工業(yè)標準的硬件和軟件系統(tǒng)，比如采用標準的x86架構(gòu)處理器；工業(yè)標準的互聯(lián)網(wǎng)絡，比如 InfiniBand、萬兆網(wǎng)絡等；通用的 Linux操作系統(tǒng)；通用 的并行編程標準和模型；通用的作業(yè)分發(fā)調(diào)度系統(tǒng)等。靈活性、可擴展性好集群是一個松散的架構(gòu)，由計算節(jié)點通過互聯(lián)網(wǎng)絡連接而成，一個集群可以方便地進行擴展；同樣的，一個集群也可以靈活的進行物理或邏輯上的拆分。MPP等一些專有定制系統(tǒng)就很難做到這樣的靈活可擴展性。 性能高集群單個計算節(jié)點性能在不斷提升、集群互聯(lián)網(wǎng)絡技術(shù)發(fā)展迅猛、集

43、群可擴展性也越來越好、集群的并行編程技術(shù)不斷進步，集群已經(jīng)成為高性能計算的代名詞。性價比高由于集群采用的是標準化的軟硬件系統(tǒng)，采用的是大規(guī)模工業(yè)生產(chǎn)的設(shè)備部件，可以極 大程度降低高性能計算系統(tǒng)的建設(shè)成本，相應的，集群的運維和維護成本也要小很多。投資風險小集群技術(shù)經(jīng)過多年的發(fā)展，其硬件和軟件技術(shù)已經(jīng)發(fā)展得非常成熟， 建設(shè)和維護需要的 設(shè)備器件有充足的市場保障； 絕大部分高性能計算應用在集群架構(gòu)上開發(fā)和調(diào)試， 應用支持 程度高，可以確保高性能計算平臺的建設(shè)成功。正是因為具有的這些優(yōu)勢， 集群在高性能計算領(lǐng)域發(fā)展迅猛， 目前已經(jīng)成為高性能計算 的主流機構(gòu)，在TOP500中占據(jù)了 80%的市場份額，在

44、中小規(guī)模高性能計算系統(tǒng)中更是占統(tǒng)治地位。amt.WeSIMD5i崢PtDC.IW1 3001 2OC3 JtXM 2CO5 ZxM* 7007 20W W( 20W 3011 2(U2圖 2-3 TOP500中體系架構(gòu)份額歷史統(tǒng)計.2處理器處理器是高性能計算機的計算核心，很大程度上決定了高性能計算機的計算性能。隨著x86處理器在PC消費級市場的繁榮，其觸角逐漸延伸到高性能計算領(lǐng)域。另一方面，也隨著開放式集群架構(gòu)在高性能計算領(lǐng)域的統(tǒng)治地位確立，市場占有率大、性價比高的x86處理器也成為自然合理的選擇。自 2000年開始，Intel和AMD的x86處理器在高性能計算市場 占有率迅速擴大，逐漸蠶食掉

45、了Alpha、MIPS、Power、SPARC、PA-RISC等RISC處理器的市場。40KProprietaryAlphaMIPSIBMHPJNTELAMDiw aniw iw moo emi moz 2M4 ms zom wot 婚力 xra* rav aou圖2-4 TOP500中處理器份額歷史統(tǒng)計此外,隨著GPU、Intel MIC等加速器/協(xié)處理器的出現(xiàn)，CPU不再是高性能計算領(lǐng)域計算單元的唯一選擇。相比于 CPU,這些協(xié)處理器的浮點運算能力更強、任務處理模式更簡單，非常適合部分高性能計算應用。使用協(xié)處理器可以大大提升高性能計算機的計算性能, 分擔CPU的處理負載。全球 HPC TO

46、P500中協(xié)處理器的使用越來越多，其中包括 2012年 11月TOP500全球第一的Titan , 2010年11月全球第一的天河-1A,以及2010年6月全球第二的曙光星云系統(tǒng)。在協(xié)處理器的市場份額中，Nvidia GPU占據(jù)主導，AMD ATI GPU 也 有一定市場，近一兩年 Intel MIC (Xeon Phi)也開始發(fā)力，在未來可能會有較好市場表現(xiàn)。7C2004口國呻CSX600tW7ionHVIDIA2O5Ou1411InttlXccnPItiNVIDIA 20?0NVIDIA 2090NVIDIA K2Q2CU圖2-5 TOP500中使用協(xié)處理器的系統(tǒng)越來越多.3互聯(lián)網(wǎng)絡高性能

47、計算集群是一個通過內(nèi)部互聯(lián)網(wǎng)絡將松散的計算節(jié)點有效整合起來的系統(tǒng)架構(gòu), 內(nèi)部互聯(lián)網(wǎng)絡是高性能計算集群的核心技術(shù)之一。集群系統(tǒng)內(nèi)部互聯(lián)網(wǎng)絡主要用于以MPI為代表的并行計算程序節(jié)點間的數(shù)據(jù)網(wǎng)絡通信,從類型看，有的即作為計算網(wǎng)絡使用。不同計算方法和計算程序的數(shù)據(jù)通信特征不盡相同,數(shù)據(jù)交換以小數(shù)據(jù)包為主，有的大數(shù)據(jù)包交換較多。小數(shù)據(jù)包交換較多時，計算性能和效率對計算網(wǎng)絡的延遲非常敏感，大數(shù)據(jù)包交換較多時,計算網(wǎng)絡的帶寬有關(guān)鍵性影響；從數(shù)據(jù)通信的頻率看，有的計算方法和程序數(shù)據(jù)通信不頻繁,對計算網(wǎng)絡的性能要求不高，有的數(shù)據(jù)通信密集，對計算網(wǎng)絡的性能要求很高?？偟膩碚f，高性能計算機計算網(wǎng)絡的性能對并行計算程

48、序的并行加速比和并行擴展性有重要的影響。計算網(wǎng)絡需要有高帶寬、低延遲的特點。與MPP等體系架構(gòu)一般使用高度定制化的私有內(nèi)部網(wǎng)絡不同，高性能計算集群系統(tǒng)一般采用標準通用的網(wǎng)絡技術(shù)和設(shè)備，比如以太網(wǎng)絡、Quadrics、Myrinet InfiniBand 。其中，千兆/萬兆以太網(wǎng)絡技術(shù)發(fā)展成熟、通用性好，目前仍占有一部分市場份額；Quadrics和Myrinet在與InfiniBand的競爭中敗下陣來，目前已基本在市場上消失，而 InfiniBand已經(jīng)成為通用高速網(wǎng)絡的代名詞，在高性能計算領(lǐng)域的市場份額逐年擴大，已經(jīng)成為市場主流，特別是在大型、高端計算系統(tǒng)，InfiniBand幾乎成為標配。i

49、ntFri ntiiixlshrtrp20i aoe* am imb seu miQu如 d.中 UtkcrK4b 域1 & FitMUM聞70%卜1+圖2-6 TOP500中互聯(lián)網(wǎng)絡份額歷史統(tǒng)計.4作業(yè)調(diào)度系統(tǒng)作業(yè)調(diào)度系統(tǒng)是高性能計算機核心軟件系統(tǒng)之一，主要負責系統(tǒng)資源的統(tǒng)一管理和調(diào)度。作業(yè)調(diào)度系統(tǒng)一方面對系統(tǒng)軟硬件資源進行監(jiān)控管理，另一方面負責對用戶提交任務進行隊列管理，通過不同的調(diào)度算法和調(diào)度策略將合適的計算資源分配給用戶計算任務。通過作業(yè)調(diào)度系統(tǒng)，可以整合系統(tǒng)軟硬件資源，實現(xiàn)“單一系統(tǒng)映像”，對資源和計算任務的統(tǒng)一管理避免的資源沖突，此外，作業(yè)調(diào)度系統(tǒng)還能對多用戶、多隊列、異構(gòu)計算資源

50、等進行不同的權(quán)限控制和精細管理,結(jié)合負責高效的調(diào)度算法，可以優(yōu)化高性能計算機的使用方式，提高資源的利用率。匚*-I-T L異* 1taBD JU 0mX T dOL、i_rlaiM. Brakrr圖2-7作業(yè)調(diào)度系統(tǒng)軟件的發(fā)展歷史作業(yè)調(diào)度系統(tǒng)的發(fā)展歷史比較悠久，目前使用廣泛的作業(yè)調(diào)度系統(tǒng)有Oracle Grid Engine（前身為 SGE： Sun Grid Engine ）、Portable Batch System （ PBS,包括開源的 OpenPBS、Torque 和商業(yè)版 PBS Pro）、IBM LoadLeveler、Condor、Simple Linux Utility fo

51、r Resource Management（SLURM）以及 EM Platform LSF等。在國內(nèi)，PBS系列的作業(yè)調(diào)度軟件具有最廣泛的用 戶群。2.2.3系統(tǒng)需求分析先進性需求目前，世界IT技術(shù)發(fā)展迅速，按照摩爾定律，每 18個月計算性能發(fā)展一倍，所以對于IT設(shè)備采購，保證系統(tǒng)的先進性非常重要，只有先進的系統(tǒng)才能保證用戶的IT投資具有更高的投入產(chǎn)出比，對于用戶的使用、總體擁有和擴展才能有所保證。（Wj可晶、tWj可用需求本系統(tǒng)建成后將面向全校，提供一個高性能公共計算平臺，系統(tǒng)的高可靠高可用是保證服務 質(zhì)量和好的用戶體驗的前提。適合用戶應用軟件需求正如應用需求分析中提到，系統(tǒng)建成后將提供數(shù)

52、十種高性能計算應用軟件，必須保證這些應用軟件在該平臺的高效運行，才能讓系統(tǒng)建設(shè)的效果真正發(fā)揮出來。易使用需求Linux操作系統(tǒng)有一定的使用難度，必須使用工具或方法，降低用戶的使用難度，才能保證系統(tǒng)有較高的使用率?？蓴U展性需求本次高性能計算為對原有系統(tǒng)進行擴展，同時，也要考慮到系統(tǒng)建成后的擴展性，這樣，當系統(tǒng)要更新時，不會造成投資的浪費。易管理維護需求系統(tǒng)規(guī)模大，節(jié)點眾多、應用復雜、用戶數(shù)量多，帶給管理員管理難度大、管理效率低，必須使用功能強大、易于操作的管理系統(tǒng)和提供培訓、實習等方式保證系統(tǒng)能夠高效管理運維。節(jié)能環(huán)保需求系統(tǒng)規(guī)模大，耗電量大，節(jié)能環(huán)保不但能夠大大降低用戶運維成本，同時也是在相應

53、國家節(jié)能減排、綠色低炭的號召。2.3方案總體設(shè)計2.3.1系統(tǒng)拓撲圖節(jié)防(2ft)IrvfimBanditff圖3-1系統(tǒng)拓撲圖2.3.2系統(tǒng)優(yōu)勢先進性本系統(tǒng)中，我們使用的刀片集群架構(gòu)，為目前高性能發(fā)展的先進趨勢。使用的最新一代Intel E5-2600 v3處理器，為目前性能最高的 X86處理器。使用的Infiniband 網(wǎng)絡，也為目前最為先進的網(wǎng)絡技術(shù)。高可靠、高可用需求關(guān)鍵節(jié)點設(shè)計高可用，系統(tǒng)采用刀片服務器，冗余電源，并行存儲系統(tǒng)采用多副本、 全冗余技術(shù)，故障對象可自動修復。同時，高效管理監(jiān)控系統(tǒng)也是保證系統(tǒng)高可靠、 高可用的保證。適合用戶應用軟件需求用戶應用軟件眾多， 用戶眾多，對計

54、算需求大，系統(tǒng)共配置104TFLOPS勺計算能力。針 對部分應用對節(jié)點間網(wǎng)絡需求高，配置了高帶寬，低延時的Infiniband 網(wǎng)。帶寬達到40Gbps,延時小于3us。同時，海量計算時的 IO并發(fā)讀寫量巨大，對存儲的容量和性 能需求驚人，系統(tǒng)配置了并行存儲系統(tǒng)，能夠?qū)崿F(xiàn)所有存儲的統(tǒng)一地址和并發(fā)讀寫。 可擴展性需求 集群的架構(gòu)可以保證計算系統(tǒng)的良好擴展，同時，并行存儲的架構(gòu)也實現(xiàn)對存儲系統(tǒng)的擴展。易管理維護需求配置高效管理系統(tǒng)，支持監(jiān)控、告警、管理、報表等多項功能，解決管理員的后顧之憂， 同時，對管理員的培訓和對系統(tǒng)的運維支持，也能有效提高系統(tǒng)的管理水平。 節(jié)能環(huán)保需求配置了刀片系統(tǒng)和高效節(jié)能

55、系統(tǒng)，支持空載節(jié)點的自動待機，能夠有效降低能耗， 幫助用戶節(jié)省運維成本。2.3.3系統(tǒng)方案說明計算系統(tǒng)CPU整體峰值性能達到 46.59萬億次；系統(tǒng)配置高性能、可擴展的并行存儲系統(tǒng)，可以擴展到PB級，能夠?qū)崿F(xiàn)全局文件的統(tǒng)一訪問和并發(fā)讀寫； 主要產(chǎn)品都采用了冗余設(shè)計（電源、風扇等），系統(tǒng)的可靠性有極高保證；提供曙光商用版高性能作業(yè)調(diào)度系統(tǒng)，可達到新舊資源整合、統(tǒng)一調(diào)度；曙光公司將為用戶提供完善的服務，包括安裝調(diào)試、系統(tǒng)優(yōu)化、用戶培訓等，這些都不 單獨收費，用戶不必考慮這些方面的費用；曙光公司是領(lǐng)先的專業(yè)高性能機算機及方案提供商，擁有較多的成功案例， 包括千萬億次超級機算機的成功案例，產(chǎn)品的可靠性

56、和穩(wěn)定性得到了充分驗證。計算系統(tǒng)計算系統(tǒng)需求分析.計算性能高高性能計算應用最為核心的需求仍然是計算能力，高性能計算機峰值計算能力代表著高性能計算機的整體處理能力， 而對于大部分的高性能計算應用， 對計算資源的海量需求仍然 是最為迫切和直接的需求。.適合高性能應用高性能計算機的最核心的需求仍然為適合高性能計算機的使用方的應用軟件，從而幫助科研及生產(chǎn)工作，所以高性能計算采用的部件及架構(gòu)要適合高性能計算軟件。如果應用軟件的擴展性不好，則在相同的預算下，盡量考慮高主頻、核心較少的方案。如果系統(tǒng)擴展性很 好，則盡量考慮總體計算峰值最高的方案。.每瓦性能高高效能代表著高性能計算的每瓦性能較高， 這是評價高

57、性能計算機架構(gòu)是否科學、 配置 是否合理的重要指標。能源的利用率對于降低總體擁有成本、 節(jié)能減排有著重要意義。GPU、 MIC等眾核方案具有較高的計算效能、 如果用戶的應用適合 GPU或MIC等眾核方案，可廣 泛采用。.總體功耗低高性能計算機是能耗大戶，一臺高性能計算滿負載運行，在他的生命周期內(nèi)所消耗的電力的預算幾乎和高性能計算機初期的預算一致，所以高性能計算機降低功耗非常有意義。降低功耗一般可以通過選購效率較高的IT設(shè)備、提高制冷及空氣調(diào)節(jié)效率、使用功耗控制軟件等幾個方面實施。.高密度較高密度能滿足用戶機房空間有限的需求，同時，較高的密度能夠有效節(jié)約空間， 降低運維成本，降低管理難度。刀片集

58、群系統(tǒng)共配置70片曙光SR60-T20計算刀片服務器，安裝在 2個曙光TC5600整機柜平 臺中。每個刀片服務器配置 2顆8核Intel Xeon E5-2640V3處理器，主頻2.6Ghz,刀片節(jié)點總雙精度峰值 46.592萬億次。每節(jié)點配置 64GB DDR4 2133MHz內(nèi)存。目前，開放的集群（Cluster）系統(tǒng)具有較多的優(yōu)勢，已經(jīng)占據(jù)了目前高性能計算機的主流 位置，在TOP500中占據(jù)了 80%以上的份額，在中小規(guī)模的高性能計算系統(tǒng)中更是占據(jù)統(tǒng)治 地位。刀片式集群系統(tǒng)在計算密度、功耗散熱、運營成本、維護成本、可靠性等方面，都明 顯優(yōu)于其它系統(tǒng)，且為系統(tǒng)的擴容升級提供了良好的基礎(chǔ)，刀

59、片系統(tǒng)的優(yōu)勢主要體現(xiàn)在以下幾個方面。計算密度更高提高計算密度是刀片服務器發(fā)展的主要動力之一。對于大規(guī)模并行計算機來說，提高計算密度尤其重要，刀片式集群系統(tǒng)有效提高了計算密度。機房要求降低大規(guī)模高性能計算機將對機房空間提出較高的要求，并且要為系統(tǒng)的擴容升級留下空間。刀片式集群系統(tǒng)實現(xiàn)了較高的計算密度， 并且有效降低了系統(tǒng)功耗，對系統(tǒng)空調(diào)等散熱系統(tǒng) 的要求也相對降低。功耗散熱降低刀片服務器的功耗部件較少。刀片柜中的電源將由多個刀片共享，所以會使用高效率電源，減小了系統(tǒng)功耗，同時產(chǎn)生的熱量減少，減少了冷卻系統(tǒng)的耗電量。節(jié)能的設(shè)計體現(xiàn)在曙光刀片服務器的各個層面：1）根據(jù)實時功耗確定工作電源個數(shù)，使電源

60、工作在最佳效率曲線上。2）修改計算刀片操作系統(tǒng)內(nèi)核，實現(xiàn)節(jié)能3）多計算刀片任務調(diào)整調(diào)度布線簡單在機架式服務器構(gòu)成的集群系統(tǒng)中，系統(tǒng)布線是一個很大的問題。系統(tǒng)的線纜可能包括高性能計算網(wǎng)絡（InfiniBand ,以太網(wǎng)等）、數(shù)據(jù)網(wǎng)絡、管理網(wǎng)絡、監(jiān)控網(wǎng)絡、電源網(wǎng)絡、KVM 網(wǎng)絡等，這些線纜需要連接到每一個計算單元。尤其是在高密度、計算單元數(shù)目又比較多的 情況下，系統(tǒng)布線是令設(shè)計人員頭疼的問題。多個刀片服務器可以共用冗余電源，內(nèi)刀片式集群系統(tǒng)可以大大減少系統(tǒng)布線的數(shù)量。 置的交換機將高速網(wǎng)絡(InfiniBand等)、數(shù)據(jù)網(wǎng)絡、管理網(wǎng)絡、 KVM網(wǎng)絡集成在一起，只 需要對刀片柜進行布線，刀片柜內(nèi)部的