LSF作業(yè)管理系統(tǒng)使用方法

1、LSF作業(yè)治理系統(tǒng)使用方法這份文檔將指導(dǎo)您通過 LSF提交和治理作業(yè).文檔包含了使用LSF提交、查看、刪除作業(yè)的相關(guān)內(nèi)容.遵循文檔的操作標(biāo)準(zhǔn)和反應(yīng)方法,將幫助您順利完成工作.也歡送大家對文檔內(nèi)容提出建議,謝謝！Contentshide 1通過LSF查看集群運(yùn)行狀態(tài)o1.1查看LSF計(jì)算節(jié)點(diǎn)列表bhostso1.2查看 LSF 隊(duì)歹U bqueueso1.3查看計(jì)算節(jié)點(diǎn)負(fù)載 Isload2 使用LSF提交作業(yè)bsubo2.1手動(dòng)提交作業(yè)o2.2交互式批量提交o2.3編寫LSF作業(yè)限制腳本o2.4一個(gè)功能更完整的 LSF作業(yè)限制腳本3其他作業(yè)治理操作o3.1查看作業(yè)狀態(tài) bjobso3.2終止作業(yè)

2、 bkillo3.3監(jiān)視作業(yè)輸出bpeek0 3.4作業(yè)歷史信息bhist4 參考資料通過LSF查看集群運(yùn)行狀態(tài)查看LSF計(jì)算節(jié)點(diǎn)列表bhosts# bhostsHOST_NAMESTATUSJL/UMAX NJOBSRUN SSUSP USUSPRSVfat01ok-1600000fat02ok-1600000fat03ok-1600000fat04ok-1600000fat05ok-1600000fat06ok-1600000fat07ok-1600000fat08ok-1600000fat09ok-1600000fat10ok-1600000查看LSF隊(duì)歹U bqueues查看所有隊(duì)列的

3、整體信息:# bqueuesQUEUE_NAME PRIO STATUS MAX JL/U JL/P JL/H NJOBS PEND RUN SUSPcpu40 Open:Active- 20720 20720fat 40 Open:Active - - - -0000gpu40 Open:Active- - - - 288 0 288 0mic40 Open:Active-0000cpu-fat40 Open:Active- - - - 16 0 16 0查看某個(gè)隊(duì)列的信息:# bqueues fatQUEUENAME PRIO STATUS MAX JL/U JL/P JL/H NJOBS

4、 PEND RUN SUSPfat 40 Open:Active - - - -0000查看計(jì)算節(jié)點(diǎn)負(fù)載lsload查看整體負(fù)載：# lsloadHOST_NAMEstatus r15sr1m r15m utpg lsit tmp swp memnode011ok 0.0 0.30.4 0% 0.0049024193G 62G 61Gnode039ok 0.0 0.60.5 0% 0.0049024194G 62G 61Gnode041ok 0.0 0.00.0 0% 0.0049024194G 62G 61Gnode050ok 0.0 0.00.0 0% 0.0049024194G 62G

5、60Gnode064ok 0.0 0.70.6 0% 0.0049024194G 62G 61Gnode077ok 0.0 0.70.5 0% 0.0049024194G 62G 61G查看某個(gè)節(jié)點(diǎn)的負(fù)載：# Isload node001HOST_NAME status r15s rim r15m ut pg Is it tmp swp memnode001 ok 0.3 0.1 0.1 1% 0.0 0 332 152G 62G 61G使用LSF提交作業(yè)bsub手動(dòng)提交作業(yè)LSF使用bsub提交作業(yè).bsub命令的格式是：bsub -n Z -q QUEUENAME -i INPUTFILE

6、 -o OUTPUTFILE COMMAND其中：Z提交作業(yè)需要的線程數(shù),-q指定作業(yè)提交的隊(duì)列.如果不添加 -q選項(xiàng),系統(tǒng)將把作業(yè)提交到默認(rèn)的作業(yè)隊(duì)列.INPUTFILE表示程序需要讀入的文件名,OUTPUTFILES示輸出文件名,作業(yè)提交后的輸出到標(biāo)準(zhǔn)輸出信息將會(huì)保存在這個(gè)文件中.對于串行作業(yè),COMMAND以直接使用您的程序名.例如,將串行程序 mytest的通過LSF提交：bsub -n 1 -q q_default -o mytest.out ./mytest對于MPI并行作業(yè),COMMAN隔式為-a mpich_gm mpirun.lsf PROG_NAME. 例如,將并行程序my

7、test ,通過LSF提交,使用16個(gè)線程運(yùn)行這個(gè)作業(yè)：bsub -n 16 -q q_default -o mytest.out -a mpich_gm mpirun.lsf ./mytest嘔心瀝血整理word4交互式批量提交使用bsub還可以啟動(dòng)一個(gè)交互式的 shell環(huán)境,一次提交多個(gè)運(yùn)行參數(shù)相同的并行作業(yè).例如下面的操作：# bsubbsub> -n 16bsub> -q q_defaultbsub> -o output.txtbsub> COMMAND1bsub> COMMAND2bsub> COMMAND3等價(jià)于：bsub -n 16 -q q

8、_default -o output.txt COMMAND1bsub -n 16 -q q_default -o output.txt COMMAND2bsub -n 16 -q q_default -o output.txt COMMAND3編寫LSF作業(yè)限制腳本# BSUB -n 16# BSUB -q q_default# BSUB -o output.txt-a mpich_gm mpirun.lsf ./mytestbsub還接受來自標(biāo)準(zhǔn)輸入的作業(yè)說明.因此,我們可以編寫 LSF腳本提交作業(yè).bsub腳本簡單易寫,上面一段代碼是名為bsub.script的完整例子,將bsub.sc

9、ript通過輸入重定向,提交給LSF:bsub < bsub.script這等價(jià)于：bsub -n 16 -q q_default -o output.txt -a mpich_gm mpirun.lsf ./mytest一個(gè)功能更完整的LSF作業(yè)限制腳本#BSUB -J HELLO_MPI#BSUB -o job.out#BSUB -e job.err#BSUB -n 256source /lustre/utility/intel/composer_xe_2021.3.163/bin/compilervars.sh intel64source /lustre/utility/intel

10、/mkl/bin/intel64/mklvars_intel64.shsource /lustre/utility/intel/impi/4.1.1.036/bin64/mpivars.shMPIRUN='which mpirun'EXE="./mpihello"CURDIR=$PWDcd $CURDIRrm -f nodelist nodes >& /dev/null touch nodelisttouch nodesNP=0for host in 'echo $LSB_MCPU_HOSTS |sed -e 's/ /:/g&

11、#39;| sed 's/:n/nn/g doecho $host >> nodelistecho $host | cut -d ":" -f1 >> nodesnn='echo $host | cut -d ":" -f2'NP='echo $NP+$nn | bc'done其他作業(yè)治理操作查看作業(yè)狀態(tài)bjobs檢查已提交的作業(yè)的運(yùn)行狀態(tài)：bjobs以寬格式來顯示作業(yè)運(yùn)行狀態(tài)：bjobs -w顯示所有作業(yè)：bjobs -a顯示正在運(yùn)行的作業(yè)：bjobs -r顯示等待運(yùn)行(pending)的作業(yè)和等待的原因：bjobs -p顯示已經(jīng)掛起(suspending)的作業(yè)和掛起的原因：bjobs -s顯示JOBID這個(gè)作業(yè)的所有信息：bjobs -l JOBID終止作業(yè) bkill終止不需要的作業(yè)：bkill終止JOBID這個(gè)作業(yè)