Centos5.0建立pc集群總結(jié).doc

Centos5.0建立pc集群總結(jié)1 湖南大學(xué)物理與微電子科學(xué)學(xué)院（1） Samuel 2007,10,21（1）注：本人工作，引用請(qǐng)注明出處準(zhǔn)備工作：設(shè)置IP，更改主機(jī)名為node01,node02,node03,node04.本說(shuō)明首先建立一個(gè)集群然后講述vasp和matlab的并行安裝。其中包括nis和nfs的配置問(wèn)題和linux上網(wǎng)問(wèn)題的解決。第一章 安裝mpich2一、創(chuàng)建SSH信任連接（在root目錄下）1、更改/etc/hosts文件（ipv6去掉）#vi /etc/hosts 打開hosts文件，更改如下：127.0.0.1 localhost.localdomain localhostnode01的IP scc-mnode01的IP node01node02的IP node02node03的IP node03node04的IP node042、在node01生成SSH秘鑰對(duì)（root用戶或者一般用戶，建議一般用戶，在一般用戶下步驟同下）.#ssh-keygen -t rsa 一路回車即可產(chǎn)生.ssh文件,#ls -a 查看是否有.ssh文件夾3、進(jìn)入.ssh目錄#cd .ssh4、生成authorized_keys文件#cp id_rsa.pub authorized_keys 5、退出到root目錄#cd .6、建立本身的信任連接#ssh node01 按提示輸入yes（三個(gè)字母要打全）7、設(shè)置node02（node02的root目錄下）#ssh-keygen -t rsa 生成.ssh文件夾#scp node01的IP：/root/.ssh/* /root/.ssh 拷貝node01上的.ssh文件夾覆蓋本地的#scp node01的IP：/etc/hosts /etc/hosts 拷貝node01上的hosts文件覆蓋本地的#ssh node01 提示處輸入yes回車設(shè)置node03,node04的方法與node02相同8、確認(rèn)四臺(tái)機(jī)器的信任連接已建立對(duì)每個(gè)節(jié)點(diǎn)執(zhí)行：#ssh node01#ssh node02#ssh node03#ssh node04在提示處輸入yes回車，最后確定無(wú)需輸入密碼并且沒(méi)有任何提示信息即可登陸（Last login:時(shí)間日期提示信息除外）二、安裝MPICH2(在節(jié)點(diǎn)root目錄下)1、解壓縮#tar -zxvf mpich2-1.0.1.tar.gz或者 #gunzip -c mpich2-1.0.1.tar.gz|tar xf mpich2-1.0.1.tar 或tar zxvf mpich2-1.0.1.tar.gz2、創(chuàng)建安裝目錄#mkdir /opt/mpich23、進(jìn)入mpich2解壓目錄#cd mpich2-1.0.14、設(shè)置安裝目錄#./configure -prefix=/opt/mpich25、編譯#make6、安裝#make install7、退出到root目錄#cd .8、通過(guò)編輯.bashrc文件修改環(huán)境變量#vi .bashrc修改后的.bashrc文件如下：# .bashrc# User specific aliases and functions alias rm=rm -ialias cp=cp -ialias mv=mv -iPATH=$PATH:/opt/mpich2/bin 新增加的 或者export PATH=/opt/mpich2/bin:$PATH#Source global definitionsif -f /etc/bashrc ; then. /etc/bashrcfi注明：一般用戶vi .bashrc加入export PATH=/opt/mpich2/bin:$PATH，然后. .bashrc更新環(huán)境9、測(cè)試環(huán)境變量設(shè)置#which mpd#which mpicc#which mpiexec#which mpirun10、修改/etc/mpd.conf文件，內(nèi)容為secretword=myword#vi /etc/mpd.conf設(shè)置文件讀取權(quán)限和修改時(shí)間#touch /etc/mpd.conf#chmod 600 /etc/mpd.conf11、創(chuàng)建主機(jī)名稱集合文件/root/mpd.hosts#vi mpd.hosts文件內(nèi)容如下：node01node02node03node04三、測(cè)試1、本地測(cè)試#mpd & 啟動(dòng)#mpdtrace 觀看啟動(dòng)機(jī)器#mpdallexit 退出2、通過(guò)mpd.hosts運(yùn)行集群系統(tǒng)#mpdboot -n number -f mpd.hosts number為要起動(dòng)的機(jī)器個(gè)數(shù)#mpdtrace #mpdallexit3、測(cè)試運(yùn)行MPICH的例子程序#mpdboot -n 4 -f mpd.hosts 啟動(dòng)4臺(tái)機(jī)器#mpiexec -n number /usr/MPICH-install/examples/cpi number為使用的進(jìn)程數(shù)#mpdallexit4、如果測(cè)試不能通過(guò)，請(qǐng)進(jìn)行第四步四、問(wèn)題解決1、通過(guò)mpdcheck獲得一寫幫助信息#mpdcheck -pc2、查錯(cuò)#mpdcheck -l3、通過(guò)mpd.hosts 第三章 NIS使用NIS概述: NIS，是Network Information Services的簡(jiǎn)寫，意為網(wǎng)絡(luò)信息服務(wù) ；其最初是由Sun Microsystems組織開發(fā)， 主要目標(biāo)是用于UNIX系統(tǒng)的集中管理。 目前，它基本上已經(jīng)成為了業(yè)界標(biāo)準(zhǔn)； 所有主流的類 UNIX 系統(tǒng) (Solaris,HP-UX,AIX,Linux,NetBSD,OpenBSD,FreeBSD等等) 都支持 NIS。NIS原來(lái)的名稱為黃頁(yè)(Yellow Pages)，但由于商標(biāo)的問(wèn)題，Sun將其改名為現(xiàn)在的名字。NIS是一個(gè)基于 RPC 的客戶機(jī)/服務(wù)器系統(tǒng)， 它允許在一個(gè) NIS 域中的一組機(jī)器共享一系列配置文件。 這樣， 系統(tǒng)管理員就可以配置只包含最基本配置數(shù)據(jù)的 NIS 客戶機(jī)系統(tǒng)， 并在單點(diǎn)上（主NIS服務(wù)器）增加、刪除或修改配置數(shù)據(jù)。在 NIS 環(huán)境中， 有三種類型的主機(jī)： 主服務(wù)器(master)， 從服務(wù)器(slave)， 和客戶機(jī)(client)。服務(wù)器的作用是充當(dāng)主機(jī)配置信息的中央數(shù)據(jù)庫(kù)，保存著用戶帳號(hào)、組帳號(hào)等配置信息的權(quán)威副本，而從服務(wù)器則是保存這些信息的冗余副本。 客戶機(jī)將使用這些信息。配置示例：本例中網(wǎng)絡(luò)模型如下：server 192.168.0.16 NIS主服務(wù)器Linux192.168.0.228 NIS從服務(wù)器client 192.168.0.128 NIS客戶端一、服務(wù)端的設(shè)定1、設(shè)定NIS域名#nisdomainname benet#vi /etc/sysconfig/network 添加：NISDOMAIN=benet#vi /etc/rc.local添加：/sbin/nisdomainname benet2、默認(rèn)情況下，如果是RHEL4沒(méi)有安裝ypserv包，此軟件在第一張光盤上，安裝上即可查看是否已經(jīng)安裝ypserv# rpm -qa |grep ypypbind-1.17.2-3yp-tools-2.8-7掛載第一張光盤并安裝ypserv# mount /dev/cdrom /media/cdrom# rpm -ivh /media/cdrom/RedHat/RPMS/ypserv-2.13-5.i386.rpm warning: /media/cdrom/RedHat/RPMS/ypserv-2.13-5.i386.rpm: V3 DSA signature: NOKEY, key ID db42a60ePreparing. # 100% 1:ypserv # 100%3、主配置文件/etc/ypserv.conf此部分配置比較簡(jiǎn)單，大部分保持默認(rèn)即可，最后一段來(lái)定義訪問(wèn)安全性。但一般情況下，管理員應(yīng)該使用securenets文件，未必用ypserv.conf定義安全性。 這部分語(yǔ)法如下： Host : Domain : Map : Security 主機(jī)名稱/IP : NIS域名稱 : 可用資料庫(kù)名稱 : 安全限制字段如下:host :授權(quán)或禁止訪問(wèn)的計(jì)算機(jī)，它由地址/掩碼對(duì)確定.例如 192.168.1.0/255.255.255.0 . *表示所有主機(jī)；map :該字段表示訪問(wèn)的NIS映射表項(xiàng)名稱。例如：passwd.byuid。*表示映射表中所有的字段都可用；security :授權(quán)訪問(wèn)類型none :允許訪問(wèn)，不加強(qiáng)安全性；port :允許特權(quán)端口訪問(wèn)；只接收源端口小于1024的連接；deny :禁止訪問(wèn)； 如本實(shí)驗(yàn)中，我們應(yīng)該在主配置文件尾設(shè)置如下項(xiàng)：127.0.0.0/255.255.255.0 : * : * : none192.168.0.0/255.255.255.0 : * : * : none* : * : * : deny4、編輯 /etc/yp.conf 文件 NIS服務(wù)器同時(shí)也是它們自己的NIS客戶端，所以你需要編輯NIS客戶端配置文件/etc/yp.conf，將其記錄域的NIS服務(wù)器同時(shí)也是主機(jī)。# vi /etc/yp.conf添加：ypserver 127.0.0.15、啟動(dòng)rpc、ypserv、yppasswdd等進(jìn)程# service portmap startStarting portmap: OK # rpcinfo -p localhost program vers proto port 100000 2 tcp 111 portmapper 100000 2 udp 111 portmapper 100024 1 udp 32768 status 100024 1 tcp 32768 status# service ypserv startStarting YP server services: OK # rpcinfo -u localhost ypservprogram 100004 version 1 ready and waitingprogram 100004 version 2 ready and waiting#service yppasswdd startStarting YP passwd service: OK # rpcinfo -u localhost yppasswddprogram 100009 version 1 ready and waiting# rpcinfo -p localhost program vers proto port 100000 2 tcp 111 portmapper 100000 2 udp 111 portmapper 100024 1 udp 32768 status 100024 1 tcp 32768 status 100004 2 udp 613 ypserv 100004 1 udp 613 ypserv 100004 2 tcp 616 ypserv 100004 1 tcp 616 ypserv 100009 1 udp 628 yppasswdd Centos5.0建立pc集群總結(jié)3(2007-11-20 16:04) 標(biāo)簽： - 分類： Linux cluster 二、客戶端的設(shè)定1、設(shè)定NIS域名#nisdomainname benet#vi /etc/sysconfig/network 添加：NISDOMAIN=benet#vi /etc/rc.local添加：/sbin/nisdomainname benet2、查看是否已經(jīng)安裝相應(yīng)的rpm包ypbind和yptools，RHEL4默認(rèn)已經(jīng)安裝# rpm -qa |grep ypypbind-1.17.2-3yp-tools-2.8-73、設(shè)置主配置文件/etc/yp.conf#vi /etc/yp.conf添加如下行：domain benet server 192.168.0.16其語(yǔ)法格式為：domain NISDOMAIN server HOSTNAME其中NISDOMAIN為你的NIS域名，HOSTNAME為你的NIS服務(wù)器名字，推薦使用IP；或者你也可以設(shè)置/etc/hosts文件，使用客戶端能解析NIS Server的主機(jī)名稱，此處則可以寫作服務(wù)器的主機(jī)名；4、設(shè)置/etc/nsswitch.conf文件找到如下項(xiàng):passwd: filesshadow: filesgroup: files#hosts: db files ldap nis dnshosts: files dns將其修改為:passwd: files nisshadow: files nisgroup: files nis#hosts: db files ldap nis dnshosts: files nis dns5、查看客戶端portmap進(jìn)程的啟動(dòng)狀況，確定無(wú)誤后啟動(dòng)其ypbind進(jìn)程：# service portmap statusportmap (pid 1774) is running.# service ypbind startShutting down NIS services: OK Binding to the NIS domain: OK Listening for an NIS domain server.將ypbind設(shè)置為開機(jī)自動(dòng)啟動(dòng)#chkconfig -level 2345 ypbind on6、測(cè)試客戶端的連接# ypcat passwdredhat:$1$btyeQR8Z$TR0OkRrcrXYmgxY.MEN2R.:500:501:/home/redhat:/bin/bash# ypmatch redhat passwdredhat:$1$btyeQR8Z$TR0OkRrcrXYmgxY.MEN2R.:500:501:/home/redhat:/bin/bash# ypwhich -xUse ethers for map ethers.bynameUse aliases for map mail.aliasesUse services for map services.bynameUse protocols for map protocols.bynumberUse hosts for map hosts.bynameUse networks for map networks.byaddrUse group for map group.bynameStarting NFS mountd:Use passwd for map passwd.byname# ypcat hosts192.168.0.16 server127.0.0.1 localhost.localdomain localhost7、配置客戶端在啟動(dòng)時(shí)登錄到NIS域# vi /etc/sysconfig/authconfig找到如下行：USENIS=no修改為：USENIS=yes8、在服務(wù)器添加測(cè)試用戶#userdd nisuser#passwd nisuer并使用如下命令重建maps數(shù)據(jù)庫(kù),其使用方法見(jiàn)服務(wù)端設(shè)定部分# /usr/lib/yp/ypinit -m三、重新啟動(dòng)客戶端來(lái)測(cè)試結(jié)果1、客戶端登錄：# ssh -l nisuser 192.168.0.128nisuser192.168.0.128s password: Last login: Wed Jul 11 17:59:14 2007 from serverCould not chdir to home directory /home/nisuser: No such file or directory-bash-3.00$ 2、在服務(wù)端輸出/home目錄，以使得客戶端漫游配置文件：# vi /etc/exports /home 192.168.0.0/24(rw,no_root_squash,async)啟動(dòng)nfs服務(wù):# service nfs startStarting NFS services: OK Starting NFS quotas: OK Starting NFS daemon: OK 設(shè)置其開機(jī)自動(dòng)啟動(dòng)# chkconfig -level 2345 nfs on3、客戶端的設(shè)定以root用戶登錄客戶端，掛載服務(wù)端的/home目錄至本機(jī)的/home目錄,而后測(cè)試使用nisuser用戶登錄# ssh -l nisuser 192.168.0.128nisuser192.168.0.128s password: nisuserclient $ ls -a. . .bash_logout .bash_profile .bashrc .emacs .gtkrc .kdenisuserclient $ ls /homelost+found nisuser redhat注：應(yīng)該以root用戶身份編輯/etc/fstab文件，使其開機(jī)能自動(dòng)掛載192.168.0.16:/home /home ext3 defaults 0 04、在客戶端使用yppasswd命令修改個(gè)人密碼nisuserclient $ yppasswd Changing NIS account information for nisuser on server.Please enter old password: -此處要輸入舊密碼Changing NIS password for nisuser on server.Please enter new password: -新密碼Please retype new password: -確認(rèn)新密碼The NIS password has been changed on server. -修改的確認(rèn)信息四、添加一臺(tái)從服務(wù)器1、編輯/etc/hosts文件，添加如下兩行（非必要步驟）192.168.0.16server192.168.0.228Linux2、參照主服務(wù)器設(shè)定的第二步，安裝ypserv包3、編輯主配置文件/etc/ypserv.conf，添加如下行：127.0.0.0/255.255.255.0 : * : * : none192.168.0.0/255.255.255.0 : * : * : none* : * : * : deny4、編輯主服務(wù)器上的 Centos5.0建立pc集群總結(jié)4(2007-11-20 16:07) 標(biāo)簽： - 分類： Linux cluster 第四章 vasp并行安裝采用mpif90來(lái)編譯vasp 這里假設(shè)把libgoto_p4_512-r0.94.so放在/usr/local/lib目錄中。 a)進(jìn)入vasp.4.lib目錄中，把makefile.linux_ifc_P4拷貝成makefile。 鍵入make命令，開始編譯得到libdmy.a b)進(jìn)入vasp.4.6目錄中，把makefile.linux_ifc_P4拷貝成makefile 把第50行的FC=ifc前加上注釋號(hào)，也就是# 第80行至82行的CPP有關(guān)內(nèi)容加上注釋號(hào)，改成下面的 #CPP=$(CPP_)-DHOST=LinuxIFC #-Dkind8-DNGXhalf-DCACHE_SIZE=12000-DPGF90-Davoidalloc #-DRPROMU_DGEMV-DRACCMU_DGEMV 把第136行的BLAS BLAS=/opt/libs/libgoto/libgoto_p4_512-r0.6.so 該成如下的內(nèi)容： BLAS=/usr/local/lib/libgoto_p4_512-r0.94.so 把第166行和167行有關(guān)FFT3D的行前加上注釋號(hào)，如下面的 #FFT3D=fft3dfurth.offt3dlib.o #FFT3D=fftw3d.offt3dlib.o/opt/libs/fftw-3.0.1/lib/libfftw3.a 把202行和203行的FC等改為如下的內(nèi)容： FC=mpif90 FCL=$(FC) 把212行有關(guān)CPP的行前的注釋號(hào)去掉，改成如下的內(nèi)容： CPP=$(CPP_)-DMPI-DHOST=LinuxIFC-DIFC -Dkind8-DNGZhalf-DCACHE_SIZE=4000-DPGF90-Davoidalloc -DMPI_BLOCK=500 -DRPROMU_DGEMV-DRACCMU_DGEMV 把226和227行有關(guān)SCA的行，加上注釋號(hào)，改成如下的 #SCA=$(SCA_)/libscalapack.a #$(BLACS)/LIB/blacsF77init_MPI-LINUX-0.a$(BLACS)/LIB/blacs_MPI-LINUX-0.a$(BLACS)/LIB/blacsF77init_MPI-LINUX-0.a 表示不用scalapack庫(kù)。 把239和243行有關(guān)FFT3D的行，改成如下的內(nèi)容： #FFT:fftmpi.owithfft3dlibofJuergenFurthmueller FFT3D=fftmpi.offtmpi_map.offt3dlib.o #fftw.3.0.1isslighlyfasterandshouldbeusedifavailable #FFT3D=fftmpiw.offtmpi_map.offt3dlib.o/opt/libs/fftw-3.0.1/lib/libfftw3.a 把這些都修改后，保存。注明：這是ifc8.0的編譯器的問(wèn)題。解決的辦法：:你先到你安裝的ifc8.0的安裝目錄中，找到lib目錄，里面有個(gè)libsvml.a的庫(kù)文件。:1、比如你的ifc8.1裝在/opt/intel_fc8的目錄下。:則在.bash_profile文件中加入下面的：:exportLD_LIBRARY_PATH=/opt/intel_fc8/lib:$LD_LIBRARY_PATH:/usr/local/lib:/usr/lib:/lib:2、source.bash_profile:3、在vasp的makefile中，對(duì)BLAS或LAPACK后面加上-lvml。:比如:BLAS=.-lsvml:其中的.是你用libgoto庫(kù)的路徑。使用ifc8.0還是有問(wèn)題，計(jì)算過(guò)程中，最好使用ifc9.0以上，問(wèn)題可以全部解決BLAS=.-lsvml。附件中有寫好的makefile，可以直接用。第五章 matlab740安裝首先下載Mathworks.Matlab