網(wǎng)格計(jì)算與PCFARM的使用

網(wǎng)格計(jì)算與PC-FARM的運(yùn)用王永剛May19,2003主要內(nèi)容什么是網(wǎng)格計(jì)算PC-FARM的構(gòu)造PC-FARM的運(yùn)用方法一.網(wǎng)格計(jì)算(GridComputing)根本概念〔HistoricalConsideration〕 高性能計(jì)算(High-PerformanceComputing) >大規(guī)?？茖W(xué)問(wèn)題，象天氣預(yù)告、地形分析和生物制藥等 >存儲(chǔ)和處置海量數(shù)據(jù)，象數(shù)據(jù)發(fā)掘、圖象處置和基因測(cè)序 高能物理的事例重建和模擬 高吞吐計(jì)算(High-throughputComputing) SMP〔SymmetricMulti-Processor〕 集群〔Cluster〕系統(tǒng) 與SMP比較 高性能集群 網(wǎng)格計(jì)算 繼續(xù)集群與SMP的性能比較前往網(wǎng)格計(jì)算的特點(diǎn)網(wǎng)格計(jì)算是一種高性能計(jì)算 網(wǎng)格研討來(lái)源于美國(guó)聯(lián)邦政府過(guò)去十年來(lái)資助的高性能計(jì)算科研工程。從1992年美國(guó)總統(tǒng)克林頓提出“信息高速公路〞方案，開(kāi)場(chǎng)了下一代互聯(lián)網(wǎng)〔NGI〕研討方案。異質(zhì)網(wǎng)絡(luò)分布式〔地理上〕21世紀(jì)的主流計(jì)算技術(shù) Globus網(wǎng)格與中國(guó)網(wǎng)格技術(shù)被稱(chēng)為網(wǎng)絡(luò)技術(shù)開(kāi)展的第三次浪潮。網(wǎng)絡(luò)技術(shù)的前兩次浪潮〔互聯(lián)網(wǎng)和萬(wàn)維網(wǎng)〕，中國(guó)都沒(méi)有參與世界上中心技術(shù)的創(chuàng)新任務(wù)。我國(guó)的計(jì)算機(jī)產(chǎn)業(yè)，在總體上落后于西方國(guó)家，一個(gè)重要緣由是“文化大革命〞使我們錯(cuò)過(guò)了參與發(fā)明網(wǎng)絡(luò)的前兩個(gè)浪潮。從1969年至今，互聯(lián)網(wǎng)開(kāi)展至今曾經(jīng)34年了，出現(xiàn)了3180個(gè)技術(shù)規(guī)范文檔〔RFC〕。我國(guó)科技界僅參與了一個(gè)技術(shù)規(guī)范文檔的制定。那就是1996年3月〔互聯(lián)網(wǎng)第一個(gè)規(guī)范發(fā)明27年后，TCP/IP協(xié)議發(fā)明22年后〕胡道元教授牽頭制定的中文字符編碼規(guī)范〔RFC1922〕。從1989年至今，萬(wàn)維網(wǎng)〔Web〕開(kāi)展至今也近14年了，出現(xiàn)了46個(gè)技術(shù)規(guī)范，我國(guó)科技界參與制定的技術(shù)規(guī)范一個(gè)也沒(méi)有。根據(jù)Internet和Web開(kāi)展的歷史，網(wǎng)格的重要技術(shù)規(guī)范將在2004-2005出現(xiàn)。這個(gè)技術(shù)將主導(dǎo)2004-2020年的信息技術(shù)領(lǐng)域開(kāi)展趨勢(shì)。網(wǎng)格是中國(guó)計(jì)算機(jī)技術(shù)開(kāi)展的一個(gè)契機(jī)。國(guó)內(nèi)的網(wǎng)格工程VegaGridProject〔ICT〕ScientificDataGrid(AC)ChineseUniversityGrid(ME) ShandongUniversity，1/12HEPDataGrid(IHEP)國(guó)外的網(wǎng)格工程美國(guó)政府從十年前就開(kāi)場(chǎng)投資了，累計(jì)用于網(wǎng)格技術(shù)的根底研討經(jīng)費(fèi)已近五億美圓。美國(guó)軍方更為積極。美國(guó)國(guó)防部已在規(guī)劃實(shí)施一個(gè)宏大的網(wǎng)格方案，叫作“全球信息網(wǎng)格〞〔GlobalInformationGrid〕，估計(jì)在2020年完成。作為這個(gè)方案的一部分，美國(guó)海軍和海軍陸戰(zhàn)隊(duì)已先期啟動(dòng)一個(gè)160億美圓的八年工程，包括系統(tǒng)的研制、建立、維護(hù)和晉級(jí)。英國(guó)政府已決議投資1億英鎊于網(wǎng)格工程。國(guó)外的網(wǎng)格工程〔續(xù)〕國(guó)家計(jì)算機(jī)科學(xué)聯(lián)盟NPACI〔NSF)國(guó)家技術(shù)網(wǎng)格NTG〔NSF)分布式萬(wàn)億次級(jí)計(jì)算設(shè)備DTF〔NSF〕IPG-InformationPowerGrid〔NASA〕ASCIGrid〔DOE)DataGrid〔EU〕二.PC-FARM的構(gòu)造PC-FARM的構(gòu)造〔續(xù)〕RAID盤(pán)，1TB，7/8的容量，平安〔兩個(gè)備用盤(pán)〕文件效力器與其他主機(jī)以千兆位端口銜接，高吞吐量UPS電源，5000VA，網(wǎng)絡(luò)監(jiān)控Linux支持的攝像頭，實(shí)時(shí)監(jiān)控用戶(hù)必需經(jīng)過(guò)hgfarm才干到達(dá)PC-FARM三.PC-FARM的運(yùn)用網(wǎng)格計(jì)算至少需求具備三種根本功能 l

義務(wù)管理 用戶(hù)經(jīng)過(guò)該功能向網(wǎng)格提交義務(wù)、為義務(wù)指定所需資源、刪除義務(wù)并監(jiān)測(cè)義務(wù)的運(yùn)轉(zhuǎn)形狀。 l

義務(wù)調(diào)度 用戶(hù)提交的義務(wù)由該功能按照義務(wù)的類(lèi)型、所需資源、可用資源等情況安排運(yùn)轉(zhuǎn)日程和戰(zhàn)略。 l

資源管理 確定并監(jiān)測(cè)網(wǎng)格資源情況，搜集義務(wù)運(yùn)轉(zhuǎn)時(shí)的資源占用數(shù)據(jù)。運(yùn)用SunONEGridEngine5.3就可以實(shí)現(xiàn)上述三個(gè)功能。我們的PC-FARM還不是真正的網(wǎng)格計(jì)算，只能算作網(wǎng)格計(jì)算略低一級(jí)的方式——集群計(jì)算。GridEngine的運(yùn)用條件 在hgfarm上有帳號(hào)和HOME目錄啟動(dòng)QMON在他所在的機(jī)器〔比如hepg15〕輸入以下命令： sshhgfarmqmon

1.啟動(dòng)QMON主界面每個(gè)按鈕的闡明〔1〕轉(zhuǎn)到作業(yè)控制窗口每個(gè)按鈕的闡明〔2〕每個(gè)按鈕的闡明〔3〕2.提交作業(yè)腳本例如運(yùn)轉(zhuǎn)廣延大氣簇射模擬程序corsika目錄/home/wangyg/corsika可執(zhí)行文件為qgsjet〔不能直接提交〕腳本run01.sh: 1 #!/bin/bash2 cd~/corsika3 ./qgsjet<./inputs0014 書(shū)寫(xiě)SHELL腳本不要有后臺(tái)運(yùn)轉(zhuǎn)符號(hào)〔&〕末尾最好有一空白行擴(kuò)展的選項(xiàng)1 #!/bin/bash#$-S/bin/bash3 #$-cwd~/corsika4 #$-Nrun015 cd~/corsika6 ./qgsjet<./inputs0017SHELL編程幾種SHELL BASH、CSH、KSH、TCSH指定輸出文件3.作業(yè)控制檢查作業(yè)運(yùn)轉(zhuǎn)形狀第一種方法：?jiǎn)?dòng)JobControl窗口第二種方法：命令行作業(yè)控制窗口顯示作業(yè)運(yùn)轉(zhuǎn)形狀的命令登錄到hgfarm，運(yùn)轉(zhuǎn)qstat–f結(jié)果： [wangyg@hgfarmwangyg]$qstat-f queuenameqtypeused/tot.load_avgarchstates ---------------------------------------------------------------------------- hgfarm0.qBIP1/20.67glinux 710corsika-ruwangygr05/14/200310:44:20MASTER ---------------------------------------------------------------------------- hgfarm1.qBIP1/20.51glinux 760run06.shwangygr05/14/200310:45:36MASTER ---------------------------------------------------------------------------- hgfarm2.qBIP1/20.53glinux 750run05.shwangygr05/14/200310:45:20MASTER ---------------------------------------------------------------------------- hgfarm3.qBIP1/20.62glinux 720run02.shwangygr05/14/200310:44:35MASTER ---------------------------------------------------------------------------- hgfarm4.qBIP1/20.55glinux 740run04.shwangygr05/14/200310:45:05MASTER ---------------------------------------------------------------------------- hgfarm5.qBIP2/20.61glinux 730run03.shwangygr05/14/200310:44:50MASTE