并行程序設(shè)計ch2pc機群的搭建_第1頁
并行程序設(shè)計ch2pc機群的搭建_第2頁
并行程序設(shè)計ch2pc機群的搭建_第3頁
并行程序設(shè)計ch2pc機群的搭建_第4頁
并行程序設(shè)計ch2pc機群的搭建_第5頁
已閱讀5頁,還剩32頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

并行計算

中國科學(xué)技術(shù)大學(xué)計算機科學(xué)與技術(shù)系國家高性能計算中心(合肥)2003年9月國家高性能計算中心(合肥)22023/4/26PC機群的搭建機群系統(tǒng)概述

硬件的選擇與安裝軟件的選擇與安裝機群系統(tǒng)性能評測

國家高性能計算中心(合肥)32023/4/26機群系統(tǒng)概述什么是機群?機群是一組獨立的計算機(節(jié)點)的集合體,節(jié)點間通過高性能的互連網(wǎng)絡(luò)連接;各節(jié)點除了可以作為一個單一的計算資源供交互式用戶使用外,還可以協(xié)同工作并表現(xiàn)為一個單一的、集中的計算資源供并行計算任務(wù)使用。一種造價低廉、易于構(gòu)筑、并且具有較好可擴放性的并行機體系結(jié)構(gòu)國家高性能計算中心(合肥)42023/4/26發(fā)展迅速的原因作為機群節(jié)點的工作站系統(tǒng)的處理性能越來越強大,更快的處理器和更高效的多CPU機器將大量進(jìn)入市場;隨著局域網(wǎng)上新的網(wǎng)絡(luò)技術(shù)和新的通信協(xié)議的引入,機群節(jié)點間的通信能獲得更高的帶寬和較小的延遲;機群系統(tǒng)比傳統(tǒng)的并行計算機更易于融合到已有的網(wǎng)絡(luò)系統(tǒng)中去;機群上的開發(fā)工具更成熟,而傳統(tǒng)的并行計算機上缺乏一個統(tǒng)一的標(biāo)準(zhǔn);機群價格便宜并且易于構(gòu)建;機群的可擴放性良好,節(jié)點的性能也很容易通過增加內(nèi)存或改善處理器性能獲得提高。國家高性能計算中心(合肥)52023/4/26重要特征機群的各節(jié)點都是一個完整的系統(tǒng),節(jié)點可以是工作站,也可以是PC機或SMP機器;互連網(wǎng)絡(luò)通常使用商品化網(wǎng)絡(luò),如以太網(wǎng)、FDDI、光通道等,部分商用機群也采用專用網(wǎng)絡(luò)互連;網(wǎng)絡(luò)接口與節(jié)點的I/O總線松耦合相連;各節(jié)點有一個本地磁盤;各節(jié)點有自己的完整的操作系統(tǒng)。國家高性能計算中心(合肥)62023/4/26分類根據(jù)不同的標(biāo)準(zhǔn),可有多種分類方式針對機群系統(tǒng)的使用目的可將其分為三類:高性能計算機群負(fù)載均衡機群高可用性機群國家高性能計算中心(合肥)72023/4/26典型機群系統(tǒng)BerkeleyNOWBeowulfCOTS(Commodityofftheshelf)

LAMPSMP-cluster國家高性能計算中心(合肥)82023/4/26PC機群的搭建機群系統(tǒng)概述硬件的選擇與安裝軟件的選擇與安裝機群系統(tǒng)性能評測

國家高性能計算中心(合肥)92023/4/26硬件的選擇與安裝節(jié)點構(gòu)建處理器、內(nèi)存、總線、磁盤與I/O系統(tǒng)構(gòu)建網(wǎng)絡(luò)適配卡、交換機機群系統(tǒng)示例

天體物理中心64個節(jié)點PC機群1個服務(wù)節(jié)點(兼作計算節(jié)點)和63個計算節(jié)點國家高性能計算中心(合肥)102023/4/26機群系統(tǒng)示例服務(wù)節(jié)點配置:CPU:PentiumⅣ2.0G(512KB全速二級緩存)內(nèi)存:1G(2512M)Rambus硬盤:80GBIDE主板:ASUSP4TSocket423網(wǎng)卡:905–TX(兩個)顯卡、顯示器、鍵盤、鼠標(biāo)、光驅(qū)、軟驅(qū):略計算節(jié)點配置:

CPU:PentiumⅣ1.5G(512KB全速二級緩存)內(nèi)存:512MB(2256M)Rambus硬盤:40GBIDE主板:ASUSP4TSocket423網(wǎng)卡:905–TX國家高性能計算中心(合肥)112023/4/26機群系統(tǒng)示例交換設(shè)備由2個3c16980和1個3c16985的交換機通過一個matrixmodule堆疊而成,并安裝了一個千兆光纖模塊,以備服務(wù)接點連接內(nèi)部機群的網(wǎng)卡升級為千兆網(wǎng)卡。國家高性能計算中心(合肥)122023/4/26PC機群的搭建機群系統(tǒng)概述硬件的選擇與安裝軟件的選擇與安裝機群系統(tǒng)性能評測

國家高性能計算中心(合肥)132023/4/26軟件的選擇與安裝OS的選擇SSI的構(gòu)建編程環(huán)境的選擇國家高性能計算中心(合肥)142023/4/26OS的選擇WindowsUNIXLinux機群系統(tǒng)示例Redhat7.2版本(內(nèi)核2.4.10)

國家高性能計算中心(合肥)152023/4/26SSI的構(gòu)建單一系統(tǒng)映像SSI(SingleSystemImage)單一系統(tǒng):盡管系統(tǒng)中有多個處理器,用戶仍然把整個機群視為一個單一的系統(tǒng)來使用單一控制:邏輯上,最終用戶或系統(tǒng)用戶使用的服務(wù)都來自只有唯一接口的同一個地方對稱性:用戶可以從任一個節(jié)點上獲得機群服務(wù),也就是說,對于所有節(jié)點和所有用戶,除了那些對一般訪問權(quán)限作保護(hù)的服務(wù)和功能外,所有機群服務(wù)和功能都是對稱的位置透明:用戶不用了解真正執(zhí)行服務(wù)的物理設(shè)備的位置

國家高性能計算中心(合肥)162023/4/26SSI提供的三種服務(wù)單一登錄(SingleSignOn)單一文件管理(SingleFileHierarchy)單一作業(yè)管理系統(tǒng)(SingleJobManagementSystem)國家高性能計算中心(合肥)172023/4/26單一登錄(SingleSignOn)兩種方法網(wǎng)絡(luò)信息系統(tǒng)NIS(NetworkInformationSystem)Shell腳本(ShellScript)國家高性能計算中心(合肥)182023/4/26網(wǎng)絡(luò)信息系統(tǒng)NIS服務(wù)器端:①設(shè)置NIS域名: 在文件/etc/sysconfig/network中添加如下一行: NISDOMAIN=PCCluster②初始化數(shù)據(jù)庫: 運行/usr/lib/yp目錄下的ypinit命令初始化系統(tǒng)信息數(shù)據(jù)庫: [node0]#/usr/lib/ypinit–m③啟動守護(hù)進(jìn)程: 在/etc/rc.d/rc3.d目錄下增加兩個鏈接,以便系統(tǒng)在啟動時自動載入守護(hù)進(jìn)程: [node0]#cd/etc/rc.d/rc3.d [node0]#ln–s../init.d/ypservS61ypserv

[node0]#ln–s../init.d/yppasswddS61yppasswd

國家高性能計算中心(合肥)192023/4/26網(wǎng)絡(luò)信息系統(tǒng)NIS客戶端:在客戶節(jié)點上(node1到node63)運行setup命令,然后在出現(xiàn)的對話框中選擇“AuthenticationConfiguration”,選擇NIS,填入域名PCCluster以及服務(wù)器名node0;并在文件/etc/passwd中加入以下一行: +::0:0:::國家高性能計算中心(合肥)202023/4/26Shell腳本NIS:設(shè)置方便,但是采用客戶/服務(wù)器模式,在應(yīng)用啟動的時有可能產(chǎn)生瓶頸。為了提高性能,我們可以采用Shell腳本的方式來完成同樣的工作。例如,對用戶信息的管理,可以創(chuàng)建一個名為cluster_user的腳本,負(fù)責(zé)在其所在結(jié)點上創(chuàng)建新的用戶,而后再將相關(guān)的配置文件(/etc/passwd、/etc/groups)復(fù)制到機群系統(tǒng)中所有其它節(jié)點,這里要注意的一點是用戶的主目錄應(yīng)該建立在全局共享的分區(qū)中(NFS共享)。對其它的一些信息,比如/etc/hosts和/etc/host.equiv等文件可同樣處理。國家高性能計算中心(合肥)212023/4/26單一文件管理NFS是一種Unix/Linux之間通過網(wǎng)絡(luò)共享文件的標(biāo)準(zhǔn)方式。使用NFS,就能夠透明的安裝和訪問網(wǎng)絡(luò)上遠(yuǎn)程主機的文件系統(tǒng),將其安裝(mount)在本地的文件系統(tǒng)中,類似于Windows下的映射驅(qū)動器。示例機群:節(jié)點node0是服務(wù)器,把目錄/home和/Cluster進(jìn)行共享;節(jié)點node1到node63是客戶端,把服務(wù)器的/home和/Cluster安裝到自己的文件系統(tǒng)當(dāng)中。國家高性能計算中心(合肥)222023/4/26單一文件管理服務(wù)器端:(1)啟動服務(wù)進(jìn)程:NFS服務(wù)器需要使用守護(hù)進(jìn)程nfsd和mountd,通過在目錄/etc/rc.d/rc3.d之下增加鏈接可以使系統(tǒng)在啟動時自動載入這兩個進(jìn)程: [node0]#cd/etc/rc.d/rc3.d

[node0]#ln–s../init.d/nfsS60nfs國家高性能計算中心(合肥)232023/4/26單一文件管理(2)設(shè)置共享目錄:首先,在根目錄下建立目錄/home和/Cluster。 [node0]#mkdirhome [node0]#mkdirCluster 然后,在文件/etc/exports當(dāng)中增加以下幾行。 /home node1(rw) /Cluster node1(rw)

…… /home node63(rw) /Cluster node63(rw) 這幾行的意思是將服務(wù)器上的/home和/Cluster目錄進(jìn)行共享,設(shè)置節(jié)點node1到node63可以訪問,rw表示允許讀和寫(缺省為只讀)。這里要注意的一點是所有用到的主機名必須在文件/etc/hosts中給出ip地址,例如: 192.168.0.11 node1國家高性能計算中心(合肥)242023/4/26單一文件管理客戶端: 在文件/etc/fstab當(dāng)中加入兩行: node0:/home /home nfs node0:/Cluster /Cluster nfs 當(dāng)然,相應(yīng)的要在文件/etc/hosts中給出主機node0的ip地址:

192.168.0.10 node0 這樣就完成了NFS在機群系統(tǒng)中的設(shè)置,以后所有用戶的主目錄都可以設(shè)置在/home中,所有可以共享安裝的軟件可以放在/Cluster中。國家高性能計算中心(合肥)252023/4/26單一作業(yè)管理系統(tǒng)用戶可以透明地從任一節(jié)點提交一項作業(yè),作業(yè)可以調(diào)度為以批處理、交互或并行的模式運行用戶服務(wù)器、任務(wù)調(diào)度器、資源管理器典型的作業(yè)管理系統(tǒng)PBS(PortableBatchSystem)LSF(LoadSharingFacility)CondorJOSSPBS的安裝國家高性能計算中心(合肥)262023/4/26軟件的選擇與安裝OS的選擇SSI的構(gòu)建編程環(huán)境的選擇國家高性能計算中心(合肥)272023/4/26編程環(huán)境的選擇流行的編程軟件MPI、OpenMP、HPFMPICH的安裝及配置示例機群中構(gòu)建了單一映象系統(tǒng)。64個節(jié)點(node0到node63)中node0共享./Cluster目錄給所有其它節(jié)點。這樣只需將MPICH安裝在這個共享目錄中即可,即整個系統(tǒng)中只需安裝一次。國家高性能計算中心(合肥)282023/4/26MPICH的安裝①MPICH是一個開放源碼的軟件,所以可以從網(wǎng)上免費獲取它的源代碼。用戶可以直接從MPICH的主頁下載最新的軟件包mpich.tar.gz,然后將它置于/Cluster目錄下。②使用如下命令解壓縮源代碼: [node0]#tar–zxfmpich.tar.gz解壓縮后會生成一個名字為mpich-1.2.4的目錄。國家高性能計算中心(合肥)292023/4/26MPICH的安裝③進(jìn)入該目錄,并執(zhí)行位于該目錄下configure腳本,為下一步編譯源代碼進(jìn)行準(zhǔn)備。該配置腳本可以接受很多的參數(shù)(Options),通過運行命令如下: [node0]#./configure–help 可以獲取更詳細(xì)的參數(shù)信息。這里只列舉幾個最常用的參數(shù):

-prefix:指定mpich的安裝目錄。

--with-device:指明所使用的通信系統(tǒng)類型。一般情況下我們使用ch_p4,它表示通常的TCP/IP通信系統(tǒng)。

--with-arch:指明所使用的操作系統(tǒng)的類型。 運行如下命令完成前期配置:

[node0]#./configure--prefix=/Cluster/MPICH\ --with-device=ch_p4\ --with-arch=LINUX國家高性能計算中心(合肥)302023/4/26MPICH的安裝④最后,先通過運行su命令轉(zhuǎn)變到root用戶身份,再運行如下命令完成MPICH的編譯和安裝:

[node0]#make

[node0]#makeinstall至此就完成了機群系統(tǒng)中MPICH的安裝。國家高性能計算中心(合肥)312023/4/26MPICH的配置①第一步要進(jìn)行rsh的配置,使系統(tǒng)中不同節(jié)點之間的rsh操作不需要密碼的輸入。這首先需要在每個節(jié)點的/etc/hosts文件中寫入node0到node63的(主機名,IP地址)對;然后在/etc/host.equiv中寫入所有的機群節(jié)點主機名,下面是node0上的這兩個文件內(nèi)容: [node0]#cat/etc/hosts 192.168.0.10 node0 192.168.0.11 node1 192.168.0.12 node2

…… 192.168.0.163 node63

[node0]#cat/etc/host.equiv node0 node1 node2

…… node63國家高性能計算中心(合肥)322023/4/26MPICH的配置②第二步要更改MPICH的節(jié)點列表文件,該文件位于/Cluster/MPICH/share目錄下。這里我們使用的arch參數(shù)是LINUX,相應(yīng)的列表文件為machines.LINIUX。在這個文件中要寫明機群系統(tǒng)中所有的節(jié)點的主機名。該文件以一定的方式指明了實際執(zhí)行MPI程序時進(jìn)程是如何分配到各個節(jié)點上的。以下是示例機群中的machines文件: [node0]#cat/Cluster/MPICH/share/machines.LINUX node0 node1 node2

…… node63國家高性能計算中心(合肥)332023/4/26MPICH的運行MPICH中最常用的兩個命令就是mpicc和mpirun。mpicc是一個MPI編譯器,它負(fù)責(zé)將源程序編譯為可執(zhí)行文件,它最常用的參數(shù)是-o用來指明輸出文件。 [node0]#cd/Cluster/MPICH/examples

[node0]#../bin/mpicccpi.c–ocpinewmpirun則是用來執(zhí)行一個編譯好的MPI程序。下面是它最常用的一些參數(shù): -np<np>:用來指明所要生成的進(jìn)程數(shù)。 -machinefile<machinefilename>:缺省時使用的machines文件是前面介紹過的位于share目錄下的machines.LINUX;但通過這個參數(shù)可以指定一個臨時的machines文件,從而使用不同的進(jìn)程指派方式。 一個標(biāo)準(zhǔn)的mpirun命令如下:

[node0]#../bin/mpirun–np10cpinew–machinefile./new_m

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論