高性能計算.doc

淺談高性能計算摘要：高性能計算是一個國家的綜合國力的體現(xiàn)，是支撐國家實力持續(xù)發(fā)展的關(guān)鍵技術(shù)之一，在國防安全、高科技發(fā)展和國民經(jīng)濟建設中占有重要的戰(zhàn)略地位。計算科學已經(jīng)和傳統(tǒng)的理論科學與實驗科學并列成為第三門科學，它們相輔相成地推動著人類科技發(fā)展和社會文明的進步。21世紀科學最重要和經(jīng)濟上最有前途的研究前沿，有可能通過熟練地掌握先進的計算技術(shù)和運用計算科學得到解決。本報告首先簡單地介紹一下高性能計算的含義、特點、應用需求、地位和作用；接著講述國際高性能計算機和我國高性能計算機的發(fā)展狀況；然后概略地談一下應用實例；最后對加速我國高性能計算及高性能計算機的發(fā)展發(fā)表幾點參考意見。Abstract: High performance computing is a reflection of a countrys comprehensive national strength, is one of the key technologies to support sustainable development of the strength of a country, in the national defense security, high-tech development and national economic construction has important strategic position. Computational science is science and experimental science and the traditional theory and became the third science, they complement each other to promote the human development of science and technology and social progress of civilization. 21st century science and the most important and most promising economic research front, likely by skillfully master advanced computing techniques and the use of computational science is resolved. This report firstly simply introduce the meaning and characteristics of high performance computing, application requirements, status and role; Then tell the international high performance computer and the development of high performance computer in our country; And then briefly discuss the applications; Finally, accelerate the development of high performance computing and some reference ideas on the development of high performance computer.關(guān)鍵詞：高性能計算、軟件科技前沿Keywords: high performance computing, software technology frontier1.高性能計算的意義1.1 高性能計算的含義高性能計算是計算機科學的一個分支，研究并行算法和開發(fā)相關(guān)軟件，致力于開發(fā)高性能計算機。隨著信息化社會的飛速發(fā)展，高性能計算已成為繼理論科學和實驗科學之后科學研究的第三大支柱。在一些新興的學科，如新材料技術(shù)和生物技術(shù)領(lǐng)域，高性能計算機已成為科學研究的必備工具。同時，高性能計算也越來越多地滲透到石油工業(yè)等一些傳統(tǒng)產(chǎn)業(yè)，以提高生產(chǎn)效率、降低生產(chǎn)成本。金融、政府信息化、教育、企業(yè)、網(wǎng)絡游戲等更廣泛的領(lǐng)域?qū)Ω咝阅苡嬎愕男枨笠惭该驮鲩L。1.2 高性能計算的應用需求2006年開始，超級計算中心結(jié)合中科院“1+10”創(chuàng)新基地和重點學科的部署，重點對過程工程、空間科學、計算化學、藥物設計、材料科學、地球科學、環(huán)境科學、生物信息、流體力學、高能物理等11個應用領(lǐng)域的相關(guān)用戶再次進行“十一五”期間的高性能計算需求調(diào)查。調(diào)查內(nèi)容包括用戶對計算能力(CPU、內(nèi)存、網(wǎng)絡)、存儲能力(對磁盤空間的需求)及應用軟件需求等幾個部分。在這次調(diào)查中，我院有22個科研單位的42個課題組對高性能計算提出了需求，這些課題的來源主要包括國家自然科學基金、大科學工程、“973”、“863”、中科院、上?？莆?、國家氣象局、北京市科委等。不同的用戶分別用計算所需CPU數(shù)與每年所需總機時來表述所需要計算能力，為便于統(tǒng)計，我們對每個用戶的計算需求統(tǒng)一換算為每年所需總機時數(shù)，并進一步轉(zhuǎn)換為計算性能(Gflops)來表示。據(jù)目前數(shù)據(jù)統(tǒng)計，以上所有學科領(lǐng)域總計算機時需求為129百萬CPU小時，以深騰6800為參照，所對應的計算能力約為78Tflops，約用15006多個處理器。同時對應用軟件以及可視化也有相當多的需求，這里不再贅述。1.3 高性能計算的戰(zhàn)略地位從戰(zhàn)略高度上講，高性能計算技術(shù)是一個國家綜合國力的體現(xiàn)，高性能高計算是支撐國家實力持續(xù)發(fā)展的關(guān)鍵技術(shù)之一 。高性能計算國防安全、高科技發(fā)展和國民經(jīng)濟建設中占有重要的戰(zhàn)略地位。 美國有關(guān)發(fā)展高性能計算的建議報告指出，從1982年到2005年，美國國防部、能源部、國家科學院、國家科學基金委以及美國總統(tǒng)信息技術(shù)顧問委員會、美國信息技術(shù)咨詢委員會、美國國家競爭力委員會等提出的有關(guān)信息技術(shù)和計算機的建議報告中，大都涉及到了高性能超級計算機的內(nèi)容。2006年2月，國務院發(fā)布國家中長期科學和技術(shù)發(fā)展規(guī)劃綱要（20062020年）指出加速發(fā)展高性能計算對提高我國國防建設與國家安全、國家經(jīng)濟建設、國家重大工程和基礎(chǔ)科學研究等尖端科技領(lǐng)域的核心支撐能力，具有十分重要的戰(zhàn)略意義。提出要全面提升我國的自主創(chuàng)新能力，以期將我國在2020年前建設成為一個創(chuàng)新型國家。2.高性能計算的發(fā)展與現(xiàn)狀2.1 高性能計算機的歷史20世紀70年代出現(xiàn)的向量計算機可看作是第一代HPC，通過在計算機中加入向量流水部件，大大提高了科學計算中向量運算的速度。其中較著名的有CDC系列、CRAY系列、NEC的SX系列和中國的銀河一號及中科院計算所的757計算機。80年代初期，隨著VLSI技術(shù)和微處理器技術(shù)的發(fā)展，向量機一統(tǒng)天下的格局逐漸被打破，“性/價比”而非單一性能成為衡量HPC系統(tǒng)的重要指標。90年代初期，大規(guī)模并行處理(MPP)系統(tǒng)已開始成為HPC發(fā)展的主流，MPP系統(tǒng)由多個微處理器通過高速互聯(lián)網(wǎng)絡構(gòu)成，每個處理器之間通過消息傳遞的方式進行通訊和協(xié)調(diào)。代表性系統(tǒng)有TMC的CM-5、Intel Paragon、中科院計算所的曙光1000等。較MPP早幾年問世的對稱多處理(SMP)系統(tǒng)由數(shù)目相對較少的微處理器共享物理內(nèi)存和I/O總線形成，早期的SMP和MPP相比擴展能力有限，不具有很強的計算能力，但單機系統(tǒng)兼容性好，所以90年代中后期的一種趨勢是將SMP的優(yōu)點和MPP的擴展能力結(jié)合，發(fā)展成后來的CC-NUMA結(jié)構(gòu)，即分布式共享內(nèi)存。其代表為Sequent NUMA-Q、SGI-Cray Origin、國內(nèi)的神威與銀河系列等。在發(fā)展CC-NUMA同時，機群系統(tǒng)(Cluster)也迅速發(fā)展起來。機群系統(tǒng)是由多個微處理器構(gòu)成的計算機節(jié)點通過高速網(wǎng)絡互連而成，節(jié)點一般是可以單獨運行的商品化計算機。機群系統(tǒng)比MPP具有更高的性價比，其代表是IBM SP2，國內(nèi)有曙光3000、4000，聯(lián)想深騰1800、6800等。2.2 高性能計算機的現(xiàn)狀每年6月和11月發(fā)布的TOP500一直是全球HPC領(lǐng)域的風向標，排行榜的變化折射出全球HPC在技術(shù)和應用方面的研究現(xiàn)狀和發(fā)展趨勢。第28屆全球TOP500 HPC排行榜于2006年11月14日在美國召開的SC06大會上正式對外發(fā)布，最新排行榜反映出如下一些新的變化。(1)總體性能趨勢。TOP500組織稱，最新全部500套系統(tǒng)的總體計算性能將達到3.53千萬億次每秒(Pflops)，而半年前只有2.79Pflops，一年前是2.30Pflops。能夠進入TOP500 HPC系統(tǒng)的Linpack性能已從半年前的2.026萬億次每秒(Tflops)上升到2.737Tflops。而進入前100位的系統(tǒng)Linpack性能則從半年前的4.713Tflops上升到6.619Tflops。(2)美國霸主地位牢不可破， TOP10美國占7套。美國仍然是HPC的最大用戶，在研發(fā)和應用領(lǐng)域都遙遙領(lǐng)先。此次TOP500排行榜中，一共有309套安裝在美國，美國在HPC領(lǐng)域的綜合發(fā)展水平依然是全球第一，其全球霸主地位仍然牢不可破。歐洲有所復蘇，共有92套系統(tǒng)，超過亞洲的79套，重回第二位。在歐洲，英國是最大用戶，擁有30套系統(tǒng)，其次是德國，擁有18套。亞洲最大的用戶是日本，擁有30套，而中國則從半年前的28套減少到18套。(3)廠商：IBM和HP是最大贏家。當前TOP500中各個性能檔次的大多數(shù)系統(tǒng)都來自IBM和HP。IBM仍然是TOP500的領(lǐng)導者，所占份額為47.2%。HP為第二大廠商，占31.6%，但HP此次未能進入TOP10。份額超過3%的其它制造商為：SGI(4.0%)、DELL(3.6%)、CRAY(3.0%)，這三大廠商都有系統(tǒng)入選TOP10。(4)體系結(jié)構(gòu)：Cluster大行其道，MPP不容忽視。工業(yè)標準化的機群系統(tǒng)Cluster仍占據(jù)TOP500 HPC排行榜的壟斷地位，361套系統(tǒng)，占72.2%。絕大部分的機群系統(tǒng)來自IBM和HP，主要面向工業(yè)和商業(yè)的低端應用領(lǐng)域。采用星群(Constellations)結(jié)構(gòu)的系統(tǒng)為31套，比半年前的38套有所減少。而108套面向高端市場的MPP結(jié)構(gòu)系統(tǒng)比半年前的98套有所回升。(5)處理器：AMD大獲增長，Inetl仍是最大贏家。目前，TOP500共有263套系統(tǒng)采用英特爾處理器，占52.6%，比一年前的333套(66.6%)有較大幅度下降。形成鮮明對比的是，AMD的皓龍系列處理器從一年前的56套(占11.20%)增加到現(xiàn)在的113套(占22.6%)，并首次超過IBM的Power，成為現(xiàn)在TOP500中應用最多的第二大處理器。另有91套系統(tǒng)采用IBM的Power處理器(占18.2%)，而一年前只有72套(占14.4%)。另外，雙核處理器也已獲廣泛應用。已有76套系統(tǒng)采用皓龍雙核CPU，31套采用了英特爾最新推出的Woodcrest雙核至強。(6)互連網(wǎng)絡：InfiniBand增長迅速。盡管半年前有256套系統(tǒng)采用千兆以太網(wǎng)，而現(xiàn)在只有213套，但千兆以太網(wǎng)仍然是用得最多的內(nèi)部系統(tǒng)連接技術(shù)。Myricom公司的Myrinet從87套減少到了79套。相反，InfiniBand技術(shù)獲得了迅猛增長，從半年前的36套增加到現(xiàn)在的78套。(7)操作系統(tǒng)：Linux成為首選。Linux目前已成為HPC的首選操作系統(tǒng)。當前TOP500排行榜中有376套系統(tǒng)使用了Linux操作系統(tǒng)，比重為75.2%，而2001年僅有39套；相比之下，此次只有86套使用Unix操作系統(tǒng)，而2001年是443套。短短幾年時間，TOP500 中操作系統(tǒng)的格局發(fā)生了翻天覆地的變化。網(wǎng)絡化將是HPC最重要的趨勢，網(wǎng)格(Gird)已成為高性能計算一個新的研究熱點。網(wǎng)格將分布于全國的計算機、數(shù)據(jù)、存儲設備、用戶、軟件等組織成一個邏輯整體，各行業(yè)可以在此基礎(chǔ)上運行各自的應用網(wǎng)格。2.3 高性能計算面臨的主要問題2.3.1Memory wall：存儲器訪問能力與處理部件計算能力的不平衡（1)處理器速度每年提高59%，高性能計算速度提高更快。（2）存儲器速度每年提高7%。（3）處理器性能與數(shù)據(jù)訪問帶寬和延遲之間的差距越來越大。（4）必須從系統(tǒng)存儲體系結(jié)構(gòu)上創(chuàng)新，改進時延機制，以提供更高的帶寬和更低的延遲。（5）目前對三類超級計算機（定制、混合與商業(yè)）的主要區(qū)別在于針對不同的存儲訪問模式所能提供的有效本地和全局存儲訪問帶寬。2.3.2Programming wall: 系統(tǒng)規(guī)模增大到10萬個以上處理器，系統(tǒng)結(jié)構(gòu)復雜（數(shù)據(jù)共享與消息通信模式交織），為超級計算機編寫高效健壯程序越來越復雜，越來越困難。（1）高性能機器上的程序設計語言、庫和應用開發(fā)環(huán)境的進展比廣泛應用的工業(yè)軟件差很多。（2）沒有廣泛應用的并行程序設計模型。（3）.軟件的研制周期大于硬件的研制周期。2.3.3Power wall：單個芯片的功耗急劇升高，導致整個系統(tǒng)的總功耗越來越高（1）占地均在數(shù)百數(shù)千平方米，功耗在數(shù)兆瓦。（2）綜合成本急劇增加，高達數(shù)億美元。3.高性能計算的應用3.1 高性能計算的應用領(lǐng)域回顧計算機問世半個多世紀的歷史，高性能計算應用與高性能計算技術(shù)的發(fā)展是密不可分的。一方面，計算機技術(shù)的發(fā)展為高性能計算應用提供了強大工具和物質(zhì)基礎(chǔ)，應用開發(fā)也推動了高性能計算技術(shù)本身的發(fā)展。高性能計算技術(shù)被廣泛地應用于核武器研究和核材料儲存仿真、生物信息技術(shù)、醫(yī)療和新藥研究、計算化學、天氣和災害預報、工業(yè)過程改進和環(huán)境保護等許多領(lǐng)域。值得注意的是游戲等娛樂領(lǐng)域近年來已逐步成為HPC新的用戶。 近年來高性能計算在工業(yè)和制造業(yè)領(lǐng)域的應用越來越普遍和廣泛。傳統(tǒng)飛行器設計方法試驗昂貴、費時，所獲信息有限，迫使人們用先進的計算機仿真手段指導設計，大量減少原型機試驗，縮短研發(fā)周期，節(jié)約研究經(jīng)費。目前在航空、航天、汽車等工業(yè)領(lǐng)域，利用CFD進行的反復設計、分析、優(yōu)化已成為標準的必經(jīng)步驟和手段。 國外的HPC應用已具有相當?shù)囊?guī)模，在各個領(lǐng)域都有比較成熟的應用實例。在政府部門大量使用HPC能有效提高政府對國民經(jīng)濟和社會發(fā)展的宏觀監(jiān)控和引導能力，包括打擊走私、增強稅收、進行金融監(jiān)控和風險預警、環(huán)境和資源的監(jiān)控和分析等。在發(fā)明創(chuàng)新領(lǐng)域，殼牌石油公司通過全球內(nèi)部網(wǎng)和高性能服務器收集員工的創(chuàng)新建議，加以集中處理。在設計領(lǐng)域，好利威爾公司和通用電氣公司用網(wǎng)絡將全球各地設計中心的服務器和貴重設備連于一體，以便于工程師和客戶共同設計產(chǎn)品，設計時間可縮短100倍。此外，制造、后勤運輸、市場調(diào)查等領(lǐng)域也都是HPC大顯身手的領(lǐng)域。3.2 高性能計算的應用進展 深騰6800的應用領(lǐng)域涉及氣象數(shù)值預報、地震預報、生物信息、藥物設計、環(huán)境科學、空間科學、材料科學、計算物理、計算化學、流體力學、地震三維成像、油藏數(shù)值模擬、天體星系模擬等，其中70%以上的課題得到國家級重點項目的資助，在院內(nèi)外的科學計算中發(fā)揮了重要作用，并作為國家網(wǎng)格項目北方區(qū)中心結(jié)點與上海超級計算中心及全國6個省市的大型計算機實現(xiàn)了異地互聯(lián)。以高性能計算環(huán)境為基礎(chǔ)，中科院超級計算中心積極與院內(nèi)外的多家單位合作，取得了一系列引人注目的應用成果。 與中科院力學所非線性力學國家重點實驗室(LNM)和中國地震局合作的應用課題“非均勻脆性介質(zhì)破壞的共性特征、前兆與地震預報”，在成功預測2004年和2005年中國大陸地震以及南亞地震方面取得了引人矚目的成果，并由超級計算中心幫助完成的并行化LURR地震預報程序已按國家地震局的要求移植到地震局的計算環(huán)境中，將在我國中長期地震預測預報中發(fā)揮重要作用；與中科院武漢測量與地球物理所合作的應用課題“地球重力場仿真系統(tǒng)研究”，其成果在2005年珠峰測高中發(fā)揮了重要作用；與中科院生態(tài)環(huán)境研究中心和中國氣象科學研究院合作的應用課題“大規(guī)模科學計算在生態(tài)環(huán)境研究中的應用”，其成果為北京市城市規(guī)劃提供了科學依據(jù)；與中科院空間科學與應用研究中心合作的應用課題“災害性空間天氣數(shù)值預報模式的初步應用開發(fā)”，參與了“雙星計劃”，為中國航天事業(yè)發(fā)展做出了貢獻；與中科院過程工程研究所合作的應用課題“大規(guī)模并行粒子模擬通用軟件平臺的開發(fā)與應用”，其成果已經(jīng)在工業(yè)應用中(如寶鋼)取得顯著成效。4.高性能計算的挑戰(zhàn)與機遇4.1 高性能計算發(fā)展的展望高性能計算的硬件發(fā)展令人嘆為觀止，但軟件方面的缺失仍是高性能計算應用效率提高的瓶頸,如何解決軟硬失衡問題，也是高性能計算方面的研究熱點。西方國家在硬件制造和軟件開發(fā)方面相對比較平衡，而我國高性能計算產(chǎn)業(yè)呈現(xiàn)的卻是機器大、應用少、軟硬失衡的格局。軟件開發(fā)和應用水平的提高,取決于多方面的因素,一是目前我們還缺乏對規(guī)模更大、精度更高的計算模型及算法的研究,它們在傳統(tǒng)高性能用戶如石油、氣象、航天等領(lǐng)域有巨大的需求；二是政府、軟件開發(fā)商對多核處理器的支持力度不夠,投入不足；三是我國專業(yè)軟件開發(fā)的人員少，隊伍還不夠固定。4.2 加速我國高性能計算發(fā)展的參考意見(1) 以用戶需求為導向，加強高性能計算環(huán)境建設。高性能計算環(huán)境建設不能盲目以追求計算機峰值為目的，而應以用戶需求為向?qū)?，以高性能計算的應用水平為依?jù)，與全院的規(guī)劃及創(chuàng)新基地建設密切結(jié)合，合理建設高性能計算環(huán)境。(2)加強內(nèi)地科學院合作，建立應用范圍廣泛的軟件平臺。高性能計算環(huán)境建設中，要實現(xiàn)軟件建設和硬件建設并重，加強國內(nèi)外單位的合作，加大自主軟件的開發(fā)和集成力度，使高性能計算環(huán)境真正發(fā)揮應有的作用。在高性能環(huán)境的軟件建設方面，我國的投入還需要增加，給其以持續(xù)不斷的支持。(3)強調(diào)計算機系統(tǒng)的實用效率、方便使用方面的研究。高性能計算機的問世給科學研究及工農(nóng)業(yè)生產(chǎn)等帶來了前所未有的發(fā)展，同時對使用計算機也提出了更高的要求，程序越來越復雜。因此，需要加強計算機系統(tǒng)研制的支持，開發(fā)易于使用的高性能計算機系統(tǒng)，為使用HPC的用戶提供方便。(4)注重人才培養(yǎng)，促進高性能應用的發(fā)展。加強自身人才培養(yǎng)，引進既懂專業(yè)知識又懂計算科學的復合型人才，提升服務水平，與我國的重大任務和創(chuàng)新基地建設相結(jié)合，選擇各學科有強烈需求的重要科學計算應用問題進行重點支持。加強國內(nèi)外的學述交流，邀請國際上的科學計算專家來華講學和選派重點學科的骨干到國外學習科學計算知識，促進我國科學計算研究的發(fā)展。(5)尋求國內(nèi)外合作，建設具有科學計算特色的網(wǎng)格系統(tǒng)。積極拓展多種形式的國內(nèi)外合作，開展多種資源的有效集成和共享，共同建成科學研究所需要的網(wǎng)格系統(tǒng)，為全國各行業(yè)更多的用戶提供高性能計算應用、信息查詢、知識教育與學習等服務，推進中國網(wǎng)格技術(shù)與應用發(fā)展。 目前我國的高性能計算硬件環(huán)境已可與國際上的先進研究機構(gòu)相比，但是應該看到在應用水平上還有相當?shù)牟罹?，提高應用水平是當務之急?.個人體會這學期學院開設的計算機科學前沿這門課程，任課老師徐寧向我們深入淺出的介紹了關(guān)于計算機前沿方面的知識，讓我受益匪淺。隨著信息技術(shù)的高速發(fā)展，計算機無時無刻在伴隨著我們，科學技術(shù)和信息技術(shù)已經(jīng)成為各行各業(yè)重要的信息通訊手段，在其帶動下，經(jīng)濟全球化的進程也逐步加快，企業(yè)面臨的競爭也越來越激烈，而計算機的前途也是在順應時代潮流，不斷向前發(fā)展。計算機技術(shù)的發(fā)展也給我們在學習和生活中增添了許多樂趣。通過這個學期的計算機前沿技術(shù)課，我了解到了計算機的發(fā)展史和其最基本的相關(guān)理論知識和工作原理，我們要想操作計算機，就先得要了解它的發(fā)展史、特點、功能、構(gòu)造、工作原理等等關(guān)于計算機的知識近年來，計算機領(lǐng)域的各個分支都呈現(xiàn)欣欣向榮的發(fā)展局面，而在學習了計算機科學前沿一課后，讓我對當代計算機科技的發(fā)展有了新的認識，也有了新的體會。由于課程時間短暫，老師不能具體的介紹大量的專業(yè)知識，并且考慮到我們本科生的專業(yè)知識水平有限，從大處著眼，為我們大概介紹了如今軟件科技發(fā)展的方向和內(nèi)容。同時還會簡單向我們介紹這些研究將來的實際意義，以及和我們軟件工程專業(yè)的聯(lián)系?？偟膩碚f，即使我們從書本上沒學到多少專業(yè)知識，但徐老師利用緊張的課堂時間，就基本將一個新的領(lǐng)域在我們的腦海中勾勒出來，讓我們這些連皮毛還沒學到的學生真正了解到與生活有直接聯(lián)系的科學研究知識。徐老師不僅在學術(shù)領(lǐng)域給我們打開了新的窗戶，使我們眼前一亮，也為我們介紹了他在工作學習中的切身體會和經(jīng)驗，提前向我們預警就業(yè)道路及工作生涯可能遇到的問題。計算機科技前沿這門課旨在幫助大家了解相關(guān)領(lǐng)域的學科前沿知識，更好地學習、思考。徐老師以自己的學識和閱歷向同學