低成本高能計(jì)算的實(shí)現(xiàn)與測(cè)試ppt課件

1、低本錢高性能計(jì)算的實(shí)現(xiàn)與測(cè)試 昆明理工大學(xué)云南省計(jì)算機(jī)技術(shù)運(yùn)用重點(diǎn)實(shí)驗(yàn)室譚偉良2020-11-27實(shí)驗(yàn)室引見 昆明理工大學(xué)云南省計(jì)算機(jī)技術(shù)運(yùn)用重點(diǎn)實(shí)驗(yàn)室是云南省在信息技術(shù)方向獨(dú)一的一所省級(jí)重點(diǎn)實(shí)驗(yàn)室。目前擁有教授級(jí)研討人員19人,中職21人,普通計(jì)算機(jī)人員80多名。多年來，在社會(huì)各界的鼎力支持下，云南省計(jì)算機(jī)技術(shù)運(yùn)用重點(diǎn)實(shí)驗(yàn)室在承當(dāng)、完成科研工程方面及實(shí)驗(yàn)室的開放運(yùn)轉(zhuǎn)、隊(duì)伍建立、培育人才、實(shí)驗(yàn)室管理等方面，都獲得了不少成果，其科研的規(guī)模和程度均已具備較強(qiáng)的實(shí)力。 研討所擁有一個(gè)由21臺(tái)曙光效力器構(gòu)成的實(shí)際峰值每秒超越1萬億次浮點(diǎn)運(yùn)算才干的高性能計(jì)算集群,2臺(tái)Sun的小型機(jī),4臺(tái)Sun效力器,4

2、臺(tái)Dell的效力器,6臺(tái)HP效力器,7臺(tái)IBM效力器,臺(tái)機(jī)40臺(tái)，筆記本15臺(tái),擁有四個(gè)網(wǎng)絡(luò)出口：校園網(wǎng)1G,網(wǎng)通150M,電信150M,聯(lián)通150M。概要相關(guān)引見環(huán)境搭建性能測(cè)試心得領(lǐng)會(huì)相關(guān)引見 目前，HPC的運(yùn)用范圍越來越廣，除了一些特殊的運(yùn)用需求高性能計(jì)算外，一些如：數(shù)據(jù)發(fā)掘運(yùn)用、圖像處置業(yè)務(wù)、基因測(cè)序比對(duì)處置等領(lǐng)域也越來越需求高性能計(jì)算。科學(xué)計(jì)算領(lǐng)域更快的速度更高的精度更大的范圍信息效力領(lǐng)域更好地整合、提高可管理性更高的吞吐率更高的可靠性面臨的問題 但是，想要得到一個(gè)高性能處置方案，往往意味著要投入大量的金錢。國(guó)內(nèi)：曙光4000A10萬億次運(yùn)算才干，市場(chǎng)價(jià)錢約為1億人民幣。 曙光500

3、0A 200萬億次運(yùn)算才干，市場(chǎng)價(jià)錢約為2億人民幣。國(guó)外能到達(dá)一樣計(jì)算規(guī)模的超級(jí)計(jì)算機(jī)，價(jià)錢大約是國(guó)內(nèi)的56倍。一個(gè)小規(guī)模的高性能處置方案，也需求花上百萬乃至上千萬的本錢投入。低本錢高性能計(jì)算的產(chǎn)生 一方面是有限的本錢投入，一方面是對(duì)高性能計(jì)算的迫切需求。怎樣在這兩者之間獲得一個(gè)平衡點(diǎn)？ 因此，構(gòu)建一個(gè)低本錢、高性能的處置方案由此產(chǎn)生。多種構(gòu)造的比較多種構(gòu)造的比較 構(gòu)造構(gòu)造特性特性SMPSMPDSMDSMMPPMPPClusterCluster可擴(kuò)展性可擴(kuò)展性最差最差差差強(qiáng)強(qiáng)很強(qiáng)很強(qiáng)易管理性易管理性很強(qiáng)很強(qiáng)很強(qiáng)很強(qiáng)一般一般較差較差網(wǎng)絡(luò)才干網(wǎng)絡(luò)才干無需網(wǎng)絡(luò)無需網(wǎng)絡(luò)無需網(wǎng)絡(luò)無需網(wǎng)絡(luò)很強(qiáng)很強(qiáng)強(qiáng)強(qiáng)并行

4、編程并行編程方式方式共享變量共享變量共享變量、共享變量、消息傳送消息傳送消息傳送消息傳送消息傳送消息傳送價(jià)格價(jià)格貴貴昂貴昂貴昂貴昂貴較低較低環(huán)境搭建n硬件環(huán)境搭建n軟件環(huán)境搭建n低本錢思索：n1從硬件上降低本錢n2從軟件上降低本錢n3從日常維護(hù)費(fèi)用上降低本錢n高性能思索：n1運(yùn)用高頻、多核CPUn2運(yùn)用優(yōu)化的數(shù)學(xué)庫(kù)n3優(yōu)化網(wǎng)絡(luò)環(huán)境硬件環(huán)境搭建n硬件選購(gòu)：n1計(jì)算節(jié)點(diǎn)：n 對(duì)大量集群環(huán)境配置的閱歷性研討顯示小型SMP平臺(tái)最適宜構(gòu)建HPC集群，并且如今的多核技術(shù)曾經(jīng)到達(dá)平民化的程度，因此運(yùn)用多路處置器的節(jié)點(diǎn)成為首選。選用AMD處置器 在很多領(lǐng)域中，需求對(duì)大量的數(shù)據(jù)進(jìn)展處置。 這種方式對(duì)每個(gè)節(jié)點(diǎn)上的

5、性能及I/O吞吐量提出了很高要求。AMD皓龍?zhí)幹闷鞯闹边B架構(gòu)和超傳輸總線HyperTransport技術(shù)，保證了低內(nèi)存延時(shí)和緩存的一致性，防止了系統(tǒng)擴(kuò)展帶來的性能瓶頸，可實(shí)現(xiàn)處置器中心之間的高速數(shù)據(jù)交換，提升節(jié)點(diǎn)性能，滿足了運(yùn)用的需求。以及其相對(duì)低廉的價(jià)錢，是搭建一個(gè)低本錢處置方案的重要要素。更適宜多核單節(jié)點(diǎn)的情況2網(wǎng)絡(luò) 普通在大中型集群中，往往會(huì)運(yùn)用InfiniBand，Myrinet等高速網(wǎng)絡(luò)。但是他們的價(jià)錢都不菲，針對(duì)于小型的集群搭建，運(yùn)用千兆網(wǎng)絡(luò)曾經(jīng)可以滿足小型集群的網(wǎng)絡(luò)通訊的需求。網(wǎng)絡(luò)比較硬件資料清單21臺(tái)曙光A620r-F效力器每臺(tái)效力器的主要參數(shù)： 2個(gè)AMD Opteron 2

6、352 2.1G CPU 4G內(nèi)存 250G SATA2硬盤 600W 2U單電源 曙光A系列雙路主板一臺(tái)華為千兆交換機(jī)假設(shè)干千兆網(wǎng)線與同配置的其它效力器對(duì)比與HP、SUN的效力器相比，運(yùn)用曙光效力器更具有價(jià)錢優(yōu)勢(shì)。比曙光效力器高至少一倍的價(jià)錢。網(wǎng)絡(luò)拓?fù)鋵?shí)踐運(yùn)轉(zhuǎn)中的機(jī)器軟件環(huán)境根本搭建盡能夠運(yùn)用開源軟件操作系統(tǒng)：RHEL4 U5并行環(huán)境：MPI 1.2.7作業(yè)管理：OpenPBS 2.3.16 監(jiān)控軟件：Ganglia 3.0.6數(shù)學(xué)庫(kù)：GotoBLAS、Atlas、ACML思索要素 思索到本錢與實(shí)踐環(huán)境的要素，我們運(yùn)用開源軟件對(duì)我們這個(gè)集群進(jìn)展管理和相關(guān)的運(yùn)用。 由于開源軟件本身的局限性，不

7、能夠提供很好的集群管理機(jī)制。因此在較大規(guī)模集群方案中，假設(shè)還是運(yùn)用開源的軟件去對(duì)集群進(jìn)展管理，日常的維護(hù)任務(wù)量就會(huì)明顯增多。建議運(yùn)用專門的集群管理軟件：CSMLinux、 SUN Cluster 3.0、 DCMM系統(tǒng)監(jiān)控DCMS集群管理 軟件 系統(tǒng)配置有規(guī)范的C、C+、Fortran和Java等主流編譯器，未來還要在這根底上安裝其它的并行編程環(huán)境，如PVM、HPF、OpenMP、串行程序自動(dòng)并行化工具、并行調(diào)試器、并行程序監(jiān)控工具和并行數(shù)學(xué)庫(kù)函數(shù)。還可以安裝一些針對(duì)與某些領(lǐng)域的運(yùn)用軟件，如Accelrys Material Studio資料計(jì)算軟件等。開發(fā)方式支持串行程序、音訊傳送程序、SM

8、P多線程程序、HPF數(shù)據(jù)并行程序、分布式共享虛存等多種編程模型。根據(jù)所提供的編程環(huán)境，可以很快的進(jìn)展并行程序的開發(fā)。適用于VO的函數(shù)庫(kù)以及軟件數(shù)學(xué)庫(kù)：MKL、ACML、GotoBLAS、Atlas、BLAS、FFTW、IMSL 、Lapack 等編程環(huán)境：MPICHMPI/PVM ，C、C+、Fortran77、Fortran90、 Fortran99等程序的編譯器可用軟件：MM5大規(guī)模天氣數(shù)值預(yù)告模擬軟件等其它：Matlab在多核及集群計(jì)算機(jī)上的并行計(jì)算工具箱3.3：Parallel Computing Toolbox 3.3性能測(cè)試測(cè)試軟件：Linpackhpl 1.0a測(cè)試數(shù)學(xué)庫(kù)：Got

9、oBLAS 1.26、Atlas 3.6.0、MKL 10、ACML 4.0。測(cè)試結(jié)果n根據(jù)曙光工程師曹振南先生在?如何做Linpack測(cè)試及性能優(yōu)化?所提供的思緒，進(jìn)展了相關(guān)的測(cè)試。分別對(duì)單節(jié)點(diǎn)，雙節(jié)點(diǎn)，四節(jié)點(diǎn)，八節(jié)點(diǎn)，全部節(jié)點(diǎn)進(jìn)展了測(cè)試。n在單節(jié)點(diǎn)上，能到達(dá)75%的運(yùn)算效率，但在多節(jié)點(diǎn)上，就達(dá)不到這個(gè)效率如：網(wǎng)絡(luò)要素。n 優(yōu)化前：總體運(yùn)算速度到達(dá)3000億次，效率約為22%。n 進(jìn)一步優(yōu)化：估計(jì)總體運(yùn)算速度會(huì)到達(dá)7000億次，效率約為50%任務(wù)效率的提高運(yùn)用一臺(tái)普通的計(jì)算機(jī)要進(jìn)展40個(gè)小時(shí)的運(yùn)算，實(shí)際上在本集群環(huán)境內(nèi)可以縮短至1個(gè)小時(shí)。測(cè)試結(jié)果續(xù)n不同數(shù)學(xué)庫(kù)：GotoBLASMKLacml

10、Atlasn不同的MPI：MPI 1 MPI 2測(cè)試留意問題n由于我們是運(yùn)用中心是Barceiona的AMD 四核處置器，在運(yùn)用GotoBLAS數(shù)學(xué)庫(kù)時(shí)，必需運(yùn)用最新的1.26版本。n運(yùn)用GotoBLAS數(shù)學(xué)庫(kù)測(cè)試，在單節(jié)點(diǎn)上配置運(yùn)轉(zhuǎn)測(cè)試參數(shù)時(shí)，只需求配置如下：mpirun np 1 xhpl。那么會(huì)同時(shí)調(diào)用8個(gè)中心進(jìn)展計(jì)算。而運(yùn)用其它數(shù)學(xué)庫(kù)，要讓8核同時(shí)進(jìn)展計(jì)算，那么需求明確配置8進(jìn)程，如： mpirun np 8 xhpl 。相關(guān)數(shù)據(jù)對(duì)比以單位本錢上所能獲取的運(yùn)算速度作對(duì)比。曙光4000A： 0.001億次/秒/元 曙光5000A： 0.01億次/秒/元 優(yōu)化前：0.01億次/秒/元 優(yōu)化

11、后：0.02億次/秒/元 優(yōu)點(diǎn)1.建立本錢低廉，運(yùn)算速度能到達(dá)中型計(jì)算的規(guī)模。2.建立周期短。3.構(gòu)造易于變化，容易順應(yīng)需求的改動(dòng)。因此很容易經(jīng)過擴(kuò)展，晉級(jí)，獲得更好的性能。4.目前經(jīng)過Web進(jìn)展監(jiān)控，估計(jì)會(huì)經(jīng)過web進(jìn)展遠(yuǎn)程管理等任務(wù)。5.維護(hù)任務(wù)量少，運(yùn)轉(zhuǎn)本錢低。心得1.經(jīng)過以上的對(duì)比，怎樣去選擇一個(gè)合理的方案去搭建一個(gè)低價(jià)錢高性能的集群需求多方面的思索。2.假設(shè)確實(shí)需求到達(dá)比較大的運(yùn)算速度，采用更好的網(wǎng)絡(luò)環(huán)境，更多的運(yùn)算節(jié)點(diǎn)和更快的cpu是最直接的方式。3.單臺(tái)內(nèi)集成更多的運(yùn)算中心會(huì)得到更好的效果，但是瓶頸在于CPU訪問內(nèi)存的帶寬并不能隨著CPU個(gè)數(shù)的添加而有效增長(zhǎng)，所以怎樣在價(jià)錢和性能上做一個(gè)很好的平衡，將是