LSF簡易使用手冊

1、LSF 簡易使用手冊(2011-02-2214:28:19)LSF(LoadSharingFacility)是由platform公司開發(fā)的分布資源管理工具。它用來調(diào)度、監(jiān)視、分析聯(lián)網(wǎng)計算機(jī)的負(fù)載，可以對Cluster機(jī)群的資源統(tǒng)一調(diào)度和監(jiān)控。一LSF使用方法1、設(shè)置環(huán)境變量：用戶使用LSF前，應(yīng)設(shè)置相應(yīng)的環(huán)境變量：csh用戶，登錄系統(tǒng)后執(zhí)行source/export/lsf/conf/cshrc.lsfbash用戶，登錄系統(tǒng)后執(zhí)行./export/lsf/conf/profile.lsf用戶也可寫入.cshrc或.bashrc,則登錄后就能設(shè)置相應(yīng)的環(huán)境變量。2、提交作業(yè)LSF使用bsub命令

2、來提交作業(yè)。bsub命令常見用法如下：bsubnz-qQUEUENAME-iinputfilepoutputfileCOMMAND其中z代表了提交作業(yè)需要的cpu數(shù)，p 指定作業(yè)提交到的隊列，創(chuàng)建時間：2006-12-1215:54:001如果不采用 p 選項，系統(tǒng)把作業(yè)提交到默認(rèn)作業(yè)隊列(作業(yè)隊列詳細(xì)介紹請看下一節(jié))。inputfile代表程序需要讀入白文件名(例如namelist等)，outputfile代表一個文件，作業(yè)提交后標(biāo)準(zhǔn)輸出的信息將會保存到這個文件中。COMMAND是用戶要運(yùn)行的程序。(1)對于串行程序COMMAND可以直接使用用戶的程序名例如，對一個運(yùn)行時間12小時內(nèi)完成的串

3、行作業(yè)mytest,提交方式為：bsub-n1-qQS_Norm-omytest.out./mytest(2)對于并行作業(yè)COMMAND為ampich_gmmpirun.lsf程序名”因為并行作業(yè)必須用到MyriNET庫，所以提交的時候必須使用-ampich_gmmpirun.lsf例如對于一個12個小時內(nèi)完成，使用16個cpu的并行作業(yè)mytest,提交方式為：bsub-n16-qQN_Norm-omytest.out-ampich_gmmpirun.lsf./mytest目前，系統(tǒng)規(guī)定每個用戶最多只能使用16個cpu。3、使用腳本提交作業(yè)bsub命令可以使用輸入腳本多次提交具有相同參數(shù)的作

4、業(yè)，格式為：創(chuàng)建時間：2006-12-1215:54:002#BSUBnZ#BSUB-qQUEUENAME#BSUB-oOUTPUTFILECOMMAND該腳本的參數(shù)與命令行bsubnZ-qQUEUENAME-ooutputfileCOMMAND參數(shù)相同。提交時為bsub腳本名例如要提交一個12小時內(nèi)完成，需要16個cpu的并行作業(yè)mytest,可以編寫作業(yè)腳本bsub.scriptfile#BSUBn16#BSUBqQN_Norm#BSUB-omytest.out-ampich_gmmpirun.lsf./mytest作業(yè)提交方法為：bsubbsub.scriptfile二、LSF隊列狀況L

5、SF分了如下幾個作業(yè)組：1、長時間并行作業(yè)組(LSF管理)(1)QL_Norm隊列創(chuàng)建時間：2006-12-1215:54:003該隊列用于運(yùn)行長時間并行作業(yè)，作業(yè)不限執(zhí)行時間。作業(yè)規(guī)模限制為：最多使用16個CPU。2、串行作業(yè)組(LSF管理)(1)QS_Norm隊列該隊列用于串行短時間作業(yè)，最長作業(yè)執(zhí)行時間為12小時。(2)QS_Long該隊列專用于長時間串行作業(yè)，作業(yè)不限執(zhí)行時間。3、短時間并行作業(yè)組(LSF管理)(1)QN_Norm隊列該隊列用于運(yùn)行短時間并行作業(yè)，最長作業(yè)執(zhí)行時間為12小時。(2)QN_Debug隊列該隊列用于調(diào)試或試算，最長作業(yè)執(zhí)行時間為5分鐘。請用戶根據(jù)自己的需求，

6、選擇適當(dāng)?shù)淖鳂I(yè)組進(jìn)行作業(yè)提交。附：隊列命名潛規(guī)則新的隊列命名遵循一定的潛規(guī)則，下面詳細(xì)解釋隊列名中各字母的含義：QL_Norm：Q代表queues;L代表long,表示該隊列運(yùn)行長時間并行作業(yè)；QN_Norm：Q代表queues;N代表normal,表示該隊列運(yùn)行短時間并行作業(yè)；QS_Norm：Q代表queues;S代表serial,表示該隊列運(yùn)行短時間串行作業(yè)；QS_Long：Q代表queues;S代表serial,表示該隊列運(yùn)行串行作業(yè)；Long表示長時間運(yùn)行；(同中科院網(wǎng)絡(luò)中心深騰6800)三查看作業(yè)狀態(tài)和刪除作業(yè)等幾個常用的指令：bjobs檢查提交作業(yè)狀態(tài)bjobsbjobs-wbjo

7、bs-r顯示正在運(yùn)行的作業(yè)bjobs-a顯示正在運(yùn)行的和最近完成的作業(yè)bjobs-p顯示等待運(yùn)行的作業(yè)和等待原因bjobs-s顯示正在掛起的作業(yè)和掛起的原因bjobs-l顯示該作業(yè)的所有信息bhist顯示最近完成作業(yè)或正在運(yùn)行作業(yè)的歷史情況bhistbkill刪除不需要的作業(yè)bkillbkill-rbpeek當(dāng)作業(yè)正在運(yùn)行時顯示它的標(biāo)準(zhǔn)輸出，監(jiān)視作業(yè)運(yùn)行bpeekbqueues顯示隊列信息bqueuesbqueues-lbhosts顯示各節(jié)點(diǎn)作業(yè)相關(guān)情況bhostsbhostslsload顯示各節(jié)點(diǎn)負(fù)載信息lsloadlsloadlshosts處理各節(jié)點(diǎn)靜態(tài)資源信息lshostslshosts

8、作業(yè)提交（命令行方式）l隊列設(shè)置（bqueuesbqueues 命令查看）：ParallelParallel：此隊列有64個節(jié)點(diǎn)，計算網(wǎng)絡(luò)是infiniband（40G）,每個節(jié)點(diǎn)有12個計算核心，24G內(nèi)存；適合跨節(jié)點(diǎn)并行計算。smp_highsmp_high：此隊列有40個節(jié)點(diǎn)，計算網(wǎng)絡(luò)是以太網(wǎng)，每個節(jié)點(diǎn)有12個計算核心，24G內(nèi)存；適合單節(jié)點(diǎn)內(nèi)并行，或少量節(jié)點(diǎn)間通信的跨節(jié)點(diǎn)并行計算。smpsmp：此隊列有48個節(jié)點(diǎn)，計算網(wǎng)絡(luò)是以太網(wǎng)，每個節(jié)點(diǎn)有8個計算核心，24G內(nèi)存；適合單節(jié)點(diǎn)內(nèi)并行，或少量節(jié)點(diǎn)間通信的跨節(jié)點(diǎn)并行計算。l應(yīng)用設(shè)置（bappbapp 命令查看）amberg03gaussi

9、an（g09）gromacsmsl腳本范例AmberAmber（把下面內(nèi)容編寫成腳本）#BSUB-qsmp（選擇隊列）#BSUB-appamber（應(yīng)用）#BSUB-o%J.out（結(jié)果輸出文件，以作業(yè)號為文件名）#BSUB-o%J.err（錯誤輸出文件，以作業(yè)號為文件名）#BSUB-aopenmpi（編譯器）#BSUB-n8（計算核心的數(shù)量）mpirun.lsfsander.MPI-O-imin_2ojn.in-omin_2ojn.out-p2ojn.top-c2ojn.crd# rmin_2ojn.rst-infmin_2ojn.infG03G03（把下面內(nèi)容編寫成腳本）# BSUB-qs

10、mp（選擇隊列）# BSUB-appg03（應(yīng)用）# BSUB-k/lustre/home/wangxj60（保存斷點(diǎn)，作業(yè)停了可以繼續(xù)運(yùn)行）# BSUB-o%J.out（結(jié)果輸出文件，以作業(yè)號為文件名）# BSUB-n8（計算核心的數(shù)量）g031reo6T-3.gjfG09G09（把下面內(nèi)容編寫成腳本）#BSUB-qsmp_high（選擇隊列）#BSUB-appgaussian（應(yīng)用）（結(jié)果輸出文件，以作業(yè)號為文件名）#BSUB-e%J.err（錯誤輸出文件，以作業(yè)號為文件名）#BSUB-n12（計算核心的數(shù)量）#BSUB-Rspanhosts=1（12個計算核心在一臺機(jī)器上）g09TS3-

11、4_#BSUB-o%J.outGromacsGromacs（把下面內(nèi)容編寫成腳本）#BSUB-qparallel（選擇隊列）#BSUB-appgromacs（應(yīng)用）#BSUB-aintelmpi#BSUB-o%J.out#BSUB-e%J.err#BSUB-n12（MPI）（結(jié)果輸出文件，以作業(yè)號為文件名）（錯誤輸出文件，以作業(yè)號為文件名）（計算核心的數(shù)量）#BSUB-Rspanptile=6（每個節(jié)點(diǎn)用6個計算核心）mpirun.lsfmdrun-v-smd.tpr-cmd.gro-emd.edr-omd.trr-gmd.logMS5.5MS5.5（把下面內(nèi)容編寫成腳本）#!/bin/sh#

12、BSUB-qparallel#BSUB-appms#BSUB-o%J.out#BSUB-e%J.err#BSUB-n12#BSUB-Rspanptile=6#BSUB-Rrusagemslic=1（判斷模塊license是否被占用）/home/msi/Accelrys/MS55_IB/etc/DMol3/bin/RunDMol3.sh-np2A或者/home/MS55/Accelrys/etc/DMol3/bin/RunDMol3.sh-np2A（舊網(wǎng)絡(luò)）（不限網(wǎng)絡(luò)）FluenitFluenit（把下面內(nèi)容編寫成腳本）#!/bin/sh#BSUB-qparallel#BSUB-appfluent#BSUB-o%J.out#BSUB-e%J.err#BSUB-n12fluent3d-itest.jou-t8-gMatlabMatlab（把下面內(nèi)容編寫成腳本）#!/bin/sh#BSUB-qparallel#BSUB-appmatlab#BSUB-o%J.out#BSUB-e%J.err#BSUB-n1matlab-nodisplay-re