曙光集群用戶的操作使用手冊(cè).doc

1. 登錄和文件傳輸?shù)卿浄绞綖閟sh，與telnet功能類似，推薦的登錄工具為putty或者Secure Shell（/html/download/ser/20070917/35112.html，綠色版無需安裝）在地址欄輸入本集群的登錄地址(node1對(duì)應(yīng)的局域網(wǎng)IP)，點(diǎn)擊“打開”，就會(huì)出現(xiàn)登錄窗口，輸入用戶名、密碼即可。文件傳輸為sftp，與傳統(tǒng)ftp類似，但其協(xié)議更安全可靠，推薦工具為filezilla。（/p/filezilla/download?filename=FileZilla_3.3.2_win32.zip，綠色版無需安裝）輸入登錄地址9，輸入用戶名和密碼，端口填22（本軟件支持ftp，端口為21），點(diǎn)擊快速連接，即可使用，操作辦法與常用ftp工具類似。2. 圖形窗口支持Linux推薦使用vnc。vnc可以將用戶的操作狀態(tài)保持在服務(wù)器端，即使斷開連接也不會(huì)影響到正在進(jìn)行的操作、計(jì)算等。登錄到linux服務(wù)器中，在命令行運(yùn)行vncserver。第一次運(yùn)行時(shí)需要輸入VNC登陸用的密碼：根據(jù)提示輸入新的vnc密碼。此密碼與用戶登錄密碼無關(guān)，將在登錄vnc時(shí)需要。此處提示的node1:2即為vnc成功打開的端口。運(yùn)行vncclient，輸入登錄服務(wù)器地址和端口號(hào)，點(diǎn)確定，輸入前面設(shè)置的密碼，即進(jìn)入了圖形窗口。注意：1、 在第一次啟動(dòng)了vncserver之后，vnc的連接一直可用，全部圖形窗口保持在Linux服務(wù)器上。因此，只在每次服務(wù)器重新啟動(dòng)后運(yùn)行一次vncserver即可，由于用戶較多，請(qǐng)勿啟動(dòng)多個(gè)。2、 如果需要使用node2的圖形界面，可執(zhí)行ssh -X node2。3. 作業(yè)提交3.1. Fluent3.1.1. 圖形方式運(yùn)行首先通過VNC登陸到圖形界面，如果沒有Terminal的話在桌面點(diǎn)擊左鍵選擇Xterm，輸入以下命令即可運(yùn)行：此處myhosts為用戶指定的host文件，內(nèi)容如下所示：node1node1node1node1node2node2node2node2-t8即指定8個(gè)核心參與計(jì)算，分別為node1上的4個(gè)核心和node2上的4個(gè)核心。在圖形界面下導(dǎo)入cas和data文件，修改和設(shè)置邊界條件等并計(jì)算 (和在windows下操作單機(jī)版Fluent相同，略)：注：通過VNC使用圖形界面方式運(yùn)行fluent時(shí)，無需保持PC機(jī)與服務(wù)器的連接，只要vncserver沒有重新啟動(dòng)，即可隨時(shí)連接到原有的窗口。3.1.2. 命令行方式運(yùn)行建立script1文件：script1內(nèi)容如下：（注：其中fl5m1.cas為cas文件名，根據(jù)實(shí)際進(jìn)行修改；solve/iterate 25 表示迭代25步，也可根據(jù)需要修改步數(shù)。）用命令行進(jìn)行fluent計(jì)算：此處myhosts為用戶指定的host文件，內(nèi)容如下所示：node1node1node1node1node2node2node2node2-t8即指定8個(gè)核心參與計(jì)算，分別為node1上的4個(gè)核心和node2上的4個(gè)核心。3.1.3. 作業(yè)調(diào)度方式運(yùn)行注：PBS只持Fluent命令行運(yùn)行方式的作業(yè)提交1編譯腳本script1，內(nèi)容如下（與上面腳本運(yùn)行方式相同）：file/rcd fl5m1.cas.gzsolve/iterate 25/file/wcd fl5m1_final.datparallel/timer/usageexityes2編輯pbs腳本fluent.pbs，內(nèi)容如下：#!/bin/bash#PBS -N job1-8cpu#PBS -l nodes=1:ppn=8#PBS -j oeINPUTFILE=script1OUTPUTFILE=script1.logcd $PBS_O_WORKDIR# pib.dapl indicate using ib protocal and the udapl way. t8 indicates using# 8 processors#NP=cat $PBS_NODEFILE | wc -ldatefluent 3d -t$NP -cnf=$PBS_NODEFILE -g -i $INPUT & $OUTPUTdateexit 0提交作業(yè)：qsub fluent.pbs用qstat -a和pbsnodes -a以及top命令查看作業(yè)是否正常排隊(duì)運(yùn)行。注：紅色字體部分需要根據(jù)實(shí)際情況改動(dòng)，黑色字體為固定格式的內(nèi)容。3.1.4. 獲取計(jì)算結(jié)果1如果用圖形界面的方式運(yùn)行fluent，可以在菜單中選擇選擇保存dat文件到當(dāng)前工作目錄或其他某個(gè)目錄下，然后用ftp軟件將dat文件下載到終端pc機(jī)上，即可進(jìn)行后處理。2如果用命令行的方式運(yùn)行fluent， dat文件自動(dòng)保存到當(dāng)前目錄，文件名由script1文件的內(nèi)容決定（例如“file/wcd fl5m1_final.dat”則表示dat文件為fl5m1_final.dat），用軟件將dat文件下載到終端pc機(jī)上，即可進(jìn)行后處理。3.2. Ansys作業(yè)3.2.1. 圖形方式運(yùn)行通過vnc登錄以后，運(yùn)行l(wèi)auncher121，即可進(jìn)入ansys界面，選擇相關(guān)的模塊點(diǎn)擊run即可。3.2.2. 命令行方式運(yùn)行在命令行方式下，不能進(jìn)行交互的圖形操作，所有的命令需要通過命令流來實(shí)現(xiàn)。假設(shè)寫好的命令流文件為input.inp，運(yùn)行方式如下：?jiǎn)喂?jié)點(diǎn)：ansys121 -np 16 -i input.inp & output.log &多節(jié)點(diǎn)運(yùn)行：ansys121 -dis -machines node1:16:node2:16 -i input.inp & output.log &3.2.3. 作業(yè)調(diào)度方式運(yùn)行編寫一個(gè)pbs腳本ansys.pbs如下所示：#!/bin/bash#PBS -j oe#what you just need and could edit are between the two lines#PBS -N my_ansys_test#PBS -l nodes=1:ppn=16INPUTFILE=wing.inpOUTPUTFILE=wing.log#the end#cd $PBS_O_WORKDIRnp=1for NODE in cat $PBS_NODEFILE; do host=$NODE if ! -z $lasthost ; then if $host = $lasthost ; then np=expr $np + 1 else if -z $mList ; then mList=$lasthost:$np else mList=$mList:$lasthost:$np fi np=1 fi fi lasthost=$hostdoneif -z $mList ; then mList=$lasthost:$npelse mList=$mList:$lasthost:$npfiansys121 -dis -machines $mList -i $INPUTFILE -o $OUTPUTFILE寫完以后提交方式與fluent相同，qsub ansys.pbs即可。3.3. CFX作業(yè)3.3.1. 圖形方式運(yùn)行在圖形窗口中運(yùn)行cfx5即可。3.3.2. 命令行方式運(yùn)行CFX支持PVM和MPI兩種方式的并行，通常MPI的性能更好一些，建議采用。同時(shí)還有Local和Distributed兩種運(yùn)行模式，單機(jī)上建議采用Local模式，而跨節(jié)點(diǎn)時(shí)只能采用Distributed模式。cfx5solve命令可直接進(jìn)入求解模式。cfx5solve -def Benchmark.def -par-dist node1*8在本機(jī)上用8個(gè)核心并行cfx5solve -def Benchmark.def -par-dist node1*8,node2*8采用2個(gè)節(jié)點(diǎn)各8個(gè)核心進(jìn)行分布式并行計(jì)算3.3.3. 作業(yè)調(diào)度方式運(yùn)行testnode34 cfxbm$ cat pbs_cfx.ib#!/bin/bash#PBS -N CFX_8cpu#PBS -l nodes=1:ppn=8INPUTFILE=Benchmark.defOUTPUTFILE=Benchmark.log# You dont need to modify the lines below #PeHostfile2MachineFile() cat $1 | while read line; do # echo $line host=echo $line # add here code to map regular hostnames into ATM hostnames if -z $mList ; then mList=$host*1 else mList=$mList,$host*1 fi echo $mList doneCFX_PBS_NODEFILE=/tmp/cfx_whoami_$PBS_JOBIDPeHostfile2MachineFile $PBS_NODEFILE | sed s#bnode#node#g $CFX_PBS_NODEFILENPROCS=wc -l $PBS_NODEFILEcd $PBS_O_WORKDIRcfx5solve -def $INPUTFILE -par-dist tail -n1 $CFX_PBS_NODEFILE寫完腳本就可以按如下方式提交作業(yè)：testnode34 cfxbm$ qsub cfx.pbs3.4. ABAQUS作業(yè)3.4.1. 圖形方式運(yùn)行在圖形窗口中運(yùn)行abaqus cae即可。3.4.2. 命令行方式運(yùn)行單節(jié)點(diǎn)運(yùn)行：abaqus -j Beamloading.inp cpus=8跨節(jié)點(diǎn)運(yùn)行：首先需要添加指定運(yùn)行節(jié)點(diǎn)。在工作目錄進(jìn)行以下操作：echo mp_host_list=node1,8,node2,8 abaqus_v6.env表示分別從node1、node2調(diào)用8個(gè)core來進(jìn)行計(jì)算。設(shè)置好了環(huán)境變量以后，通過abaqus -j Beamloading.inp cpus=16 int來運(yùn)行。3.4.3. 作業(yè)調(diào)度方式運(yùn)行testnode34 cfxbm$ cat pbs_cfx.ib#!/bin/bash#PBS -N abaqus_job#PBS -l nodes=2:ppn=8#PBS -j oe#change your input file and jobname here #INPUTFILE=studyQA_std.inpJOB=echo $INPUTFILE |cut -d . -f 1cd $PBS_O_WORKDIRsource /public/software/Abaqus-6.9/abaqus.shcpus=$(wc -l $PBS_NODEFILE | awk print $1)mp_host_list=for n in $(sort -u $PBS_NODEFILE)domp_host_list=$mp_host_list$n,$(grep -c $n $PBS_NODEFILE),donemp_host_list=$(echo $mp_host_list | sed -e s/,$/)echo mp_host_list=$mp_host_list abaqus_v6.envSTARTTIME=date#the main execute commandabaqus job=$JOB cpus=$cpus mp_mode=mpi standard_parallel=all interactiveENDTIME=dateecho the job start at :$STARTTIMEecho the job end at :$ENDTIME3.5. Web提交使用IE打開9:8080,并使用對(duì)應(yīng)的用戶名和密碼登陸，點(diǎn)擊作業(yè)調(diào)度-作業(yè)提交集群名稱為唯一的選項(xiàng)Cluster_node。，隊(duì)列選擇必須是用戶對(duì)應(yīng)的許可的隊(duì)列，工作路徑為輸入文件所在的目錄，通常為用戶home目錄下的含有模型文件的某一子目錄，如test用戶目錄下的fluent目錄中存放了fluent的輸入文件fluent.jou、fluent.dat、fluent.cas，則工作路徑為/cae01/home/test/fluent。選擇命令行提交方式，將前面寫好的pbs腳本放入輸入框中，點(diǎn)擊提交，即可將作業(yè)提交到對(duì)應(yīng)的隊(duì)列。4. 常用pbs命令4.1. qsub 命令提交作業(yè)命令格式：qsub -a date_time -c interval -C directive_prefix -e path -I -j join -k keep -l resource_list -m mail_options -M user_list-N name -o path -p priority -q destination -r c-S path_list -u user_list-v variable_list -V-W additional_attributes -z script參數(shù)說明：因?yàn)樗捎玫倪x項(xiàng)一般放在pbs腳本中提交，所以具體見PBS腳本選項(xiàng)。例：# qsub aaa.pbs提交某作業(yè)，系統(tǒng)將產(chǎn)生一個(gè)作業(yè)號(hào)4.2. qstat 命令查詢作業(yè)命令格式：qatat -f-a-i -n-s -R -Q-q-B-u參數(shù)說明：-f jobid 列出指定作業(yè)的信息-a 列出系統(tǒng)所有作業(yè)-i 列出不在運(yùn)行的作業(yè)-n 列出分配給此作業(yè)的結(jié)點(diǎn)-s 列出隊(duì)列管理員與scheduler所提供的建議-R 列出磁盤預(yù)留信息-Q 操作符是destination id，指明請(qǐng)求的是隊(duì)列狀態(tài) -q 列出隊(duì)列狀態(tài)，并以alternative形式顯示-au userid 列出指定用戶的所有作業(yè)-B 列出PBS Server信息-r 列出所有正在運(yùn)行的作業(yè)-Qf queue 列出指定隊(duì)列的信息-u 若操作符為作業(yè)號(hào)，則列出其狀態(tài)。若操作符為destination id，則列出運(yùn)行在其上的屬于user_list中用戶的作業(yè)狀態(tài)。例：# qstat -f 211查詢作業(yè)號(hào)為211的作業(yè)的具體信息。4.3. qdel 命令刪除作業(yè)命令格式：qdel -W 間隔時(shí)間 作業(yè)號(hào)命令行參數(shù)：例：# qdel -W 15 21115秒后刪除作業(yè)號(hào)為211的作業(yè)set server default_queue=batch4.4. PBS腳本文件PBS腳本文件由腳本選項(xiàng)和運(yùn)行腳本兩部分組成。(1) PBS作業(yè)腳本選項(xiàng) （若無-C選項(xiàng)，則每項(xiàng)前面加#PBS）-a date_time ： date_time格式為：CCYYMMDDhhmm.SS表示經(jīng)過date_time時(shí)間后作業(yè)才可以運(yùn)行。-c interval ： 定義作業(yè)的檢查點(diǎn)間隔，如果機(jī)器不支持檢查點(diǎn)，則忽略此選項(xiàng)。-C directive_prefix ：在腳本文件中以directive_prefix開頭的行解釋為qsub的命令選項(xiàng)。（若無此選項(xiàng)，則默認(rèn)為#PBS ）-e path ：將標(biāo)準(zhǔn)錯(cuò)誤信息重定向到path-I ：以交互方式運(yùn)行-j join ：將標(biāo)準(zhǔn)輸出信息與標(biāo)準(zhǔn)錯(cuò)誤信息合并到一個(gè)文件join中去。-k keep ：定義在執(zhí)行結(jié)點(diǎn)上保留標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤信息中的哪個(gè)文件。 keep為o 表示保留前