網(wǎng)格計(jì)算講座

網(wǎng)格計(jì)算講座第一頁(yè)，共二十八頁(yè)，編輯于2023年，星期三2主要內(nèi)容一、計(jì)算的烏托邦二、網(wǎng)格計(jì)算的核心技術(shù)高性能調(diào)度技術(shù)資源管理技術(shù)網(wǎng)格安全技術(shù)三、網(wǎng)格的體系結(jié)構(gòu)四、網(wǎng)格計(jì)算技術(shù)的商業(yè)應(yīng)用五、網(wǎng)格計(jì)算技術(shù)在科學(xué)計(jì)算領(lǐng)域的應(yīng)用六、網(wǎng)格國(guó)內(nèi)外研究情況第二頁(yè)，共二十八頁(yè)，編輯于2023年，星期三引言：網(wǎng)格作為一種能帶來(lái)巨大處理、存儲(chǔ)能力和其他IT資源的新型網(wǎng)絡(luò)，可以應(yīng)付臨時(shí)之用。網(wǎng)格計(jì)算通過(guò)共享網(wǎng)絡(luò)將不同地點(diǎn)的大量計(jì)算機(jī)相聯(lián)，從而形成虛擬的超級(jí)計(jì)算機(jī),將各處計(jì)算機(jī)的多余處理器能力合在一起，可為研究和其他數(shù)據(jù)集中應(yīng)用提供巨大的處理能力。有了網(wǎng)格計(jì)算，那些沒(méi)有能力購(gòu)買(mǎi)價(jià)值數(shù)百萬(wàn)美元的超級(jí)計(jì)算機(jī)的機(jī)構(gòu)，也能利用其巨大的計(jì)算能力。3第三頁(yè)，共二十八頁(yè)，編輯于2023年，星期三4一、計(jì)算的“烏托邦”？

Gartner公司的RobBatchelder認(rèn)為，網(wǎng)格的構(gòu)想一直是計(jì)算領(lǐng)域的“烏托邦”，在科技應(yīng)用上雖有巨大前景，但最大的缺陷是缺乏明顯的商業(yè)應(yīng)用。自20世紀(jì)90年代在歐美出現(xiàn)以來(lái)，網(wǎng)格主要被用于幫助分散的大學(xué)研究人員分析粒子加速器和巨型望遠(yuǎn)鏡的數(shù)據(jù)。但在過(guò)去的兩年中，網(wǎng)格的概念和GlobusToolkit已在研究和教育領(lǐng)域得到廣泛應(yīng)用，數(shù)十項(xiàng)全球性的大項(xiàng)目采用這些技術(shù)，以挑戰(zhàn)科學(xué)計(jì)算中的海量計(jì)算問(wèn)題?；蜓芯渴蔷W(wǎng)格技術(shù)的自然應(yīng)用，這一領(lǐng)域所需的投資很難由一家企業(yè)來(lái)承擔(dān)，生物科技企業(yè)可用網(wǎng)格技術(shù)來(lái)分析基因數(shù)據(jù);醫(yī)生可以用網(wǎng)格技術(shù)制作出病人器官的三維模型，作為診斷疾病的輔助手段。其他行業(yè)，如航空、保險(xiǎn)、運(yùn)輸和國(guó)防，也會(huì)從中受益。如此看來(lái)，網(wǎng)格計(jì)算并非是可望不可及的烏托邦，其商業(yè)應(yīng)用的廣闊前景就在眼前。第四頁(yè)，共二十八頁(yè)，編輯于2023年，星期三5二、網(wǎng)格計(jì)算的核心技術(shù)為解決不同領(lǐng)域復(fù)雜科學(xué)計(jì)算與海量數(shù)據(jù)服務(wù)問(wèn)題，人們以網(wǎng)絡(luò)互連為基礎(chǔ)構(gòu)造了不同的網(wǎng)格，有代表性的如計(jì)算網(wǎng)格、拾遺網(wǎng)格、數(shù)據(jù)網(wǎng)格等，它們?cè)隗w系結(jié)構(gòu)和需要解決的問(wèn)題類(lèi)型等方面不盡相同，但都需要共同的關(guān)鍵技術(shù)，主要有如下幾種:第五頁(yè)，共二十八頁(yè)，編輯于2023年，星期三6高性能調(diào)度技術(shù)

在網(wǎng)格系統(tǒng)中，大量的應(yīng)用共享網(wǎng)格的各種資源，如何使得這些應(yīng)用獲得最大的性能，這就是調(diào)度所要解決的問(wèn)題。網(wǎng)格調(diào)度技術(shù)比傳統(tǒng)高性能計(jì)算中的調(diào)度技術(shù)更復(fù)雜，這主要是因?yàn)榫W(wǎng)格具有一些獨(dú)有的特征，例如，網(wǎng)格資源的動(dòng)態(tài)變化性、資源的類(lèi)型異構(gòu)性和多樣性、調(diào)度器的局部管理性等。所以網(wǎng)格的調(diào)度需要建立隨時(shí)間變化的性能預(yù)測(cè)模型，充分利用網(wǎng)格的動(dòng)態(tài)信息來(lái)表示網(wǎng)格性能的波動(dòng)。在網(wǎng)格調(diào)度中，還需要考慮移植性、擴(kuò)展性、效率、可重復(fù)性以及網(wǎng)格調(diào)度和本地調(diào)度的結(jié)合等一系列問(wèn)題。第六頁(yè)，共二十八頁(yè)，編輯于2023年，星期三資源管理技術(shù)

資源管理的關(guān)鍵問(wèn)題是為用戶有效地分配資源。高效分配涉及到資源分配和調(diào)度兩個(gè)問(wèn)題，一般通過(guò)一個(gè)包含系統(tǒng)模型的調(diào)度模型來(lái)體現(xiàn)，而系統(tǒng)模型則是潛在資源的一個(gè)抽象，系統(tǒng)模型為分配器及時(shí)地提供所有節(jié)點(diǎn)上可見(jiàn)的資源信息，分配器獲得信息后將資源合理地分配給任務(wù)，從而優(yōu)化系統(tǒng)性能。7第七頁(yè)，共二十八頁(yè)，編輯于2023年，星期三網(wǎng)格安全技術(shù)

網(wǎng)格計(jì)算環(huán)境對(duì)安全的要求比Internet的安全要求更為復(fù)雜。網(wǎng)格計(jì)算環(huán)境中的用戶數(shù)量、資源數(shù)量都很大且動(dòng)態(tài)可變，一個(gè)計(jì)算過(guò)程中的多個(gè)進(jìn)程間存在不同的通信機(jī)制，資源支持不同的認(rèn)證和授權(quán)機(jī)制且可以屬于多個(gè)組織。正是由于這些網(wǎng)格獨(dú)有的特征，使得它的安全要求性更高，具體包括支持在網(wǎng)格計(jì)算環(huán)境中主體之間的安全通信，防止主體假冒和數(shù)據(jù)泄密；支持跨虛擬組織的安全；支持網(wǎng)格計(jì)算環(huán)境中用戶的單點(diǎn)登錄，包括跨多個(gè)資源和地點(diǎn)的信任委托和信任轉(zhuǎn)移等。8第八頁(yè)，共二十八頁(yè)，編輯于2023年，星期三9如何統(tǒng)一視圖;如何統(tǒng)一訪問(wèn);如何統(tǒng)一存儲(chǔ);如何統(tǒng)一管理;如何分布處理;如何按需服務(wù)。第九頁(yè)，共二十八頁(yè)，編輯于2023年，星期三10三、網(wǎng)格體系結(jié)構(gòu)分層模型沙漏結(jié)構(gòu)OGSA第十頁(yè)，共二十八頁(yè)，編輯于2023年，星期三11111、沙漏（詳細(xì)構(gòu)成）

工具與應(yīng)用目錄代理診斷與監(jiān)控等資源與服務(wù)的安全訪問(wèn)

應(yīng)用層匯聚層資源與連接層

各種資源，比如計(jì)算機(jī)，存儲(chǔ)介質(zhì)，網(wǎng)絡(luò)，傳感器等

構(gòu)造層

第十一頁(yè)，共二十八頁(yè)，編輯于2023年，星期三1212特定構(gòu)造層資源及其功能特性構(gòu)造層資源舉例

功能特性

計(jì)算資源啟動(dòng)程序，監(jiān)控和控制進(jìn)程的執(zhí)行，控制進(jìn)程資源分配的管理機(jī)制，提前預(yù)留機(jī)制，查詢功能.存儲(chǔ)資源存放與獲取文件的機(jī)制，第三方高性能傳輸方式，讀寫(xiě)文件子集機(jī)制，遠(yuǎn)程數(shù)據(jù)選取與歸約機(jī)制，對(duì)分配用于數(shù)據(jù)傳輸資源的控制管理機(jī)制，提前預(yù)約機(jī)制，查詢功能.網(wǎng)絡(luò)資源對(duì)網(wǎng)絡(luò)傳輸資源的管理機(jī)制，查詢功能（用來(lái)得到網(wǎng)絡(luò)特性和負(fù)載）.代碼庫(kù)源代碼和目標(biāo)代碼管理機(jī)制，比如CVS控制系統(tǒng).目錄目錄查詢與更新操作機(jī)制，比如關(guān)系數(shù)據(jù)庫(kù)第十二頁(yè)，共二十八頁(yè)，編輯于2023年，星期三1313連接層安全認(rèn)證特性特點(diǎn)描述單一登陸用戶只需登陸一次，就可以以該身份訪問(wèn)不同的構(gòu)造層網(wǎng)格資源，不需要對(duì)不同的資源多次重復(fù)登陸，也不需要用戶進(jìn)一步介入.代理用戶必須有讓程序以自己身份運(yùn)行的能力，因此程序就能夠訪問(wèn)用戶認(rèn)證的不同資源.該程序還能夠有條件將它的部分權(quán)限授予另一個(gè)程序（受限制的代理）.與局部安全方法的集成不同的資源可以使用其局部的安全方案，但是網(wǎng)格安全方案必須與那些局部的方案進(jìn)行互操作.不要求網(wǎng)格安全方案完全代替局部安全方案，但是它必須能夠?qū)崿F(xiàn)向局部安全的映射.基于用戶的信任機(jī)制用戶可以使用多個(gè)提供者提供的資源，但并不是要求資源提供者在安全環(huán)境中協(xié)同操作或互操作.即如果一個(gè)用戶有權(quán)使用站點(diǎn)A和B的資源，用戶能夠?qū)和B的資源結(jié)合起來(lái)使用，并不要求A和B的安全管理相互作用.第十三頁(yè)，共二十八頁(yè)，編輯于2023年，星期三1414資源層的協(xié)議類(lèi)型與描述協(xié)議類(lèi)型描述信息協(xié)議得到資源的結(jié)構(gòu)和狀態(tài)信息，比如配置，當(dāng)前負(fù)載，使用策略等.管理協(xié)議通過(guò)判斷訪問(wèn)共享資源，指出資源需求以及執(zhí)行的操作.初始化共享關(guān)系，保證要求的協(xié)議操作與底層共享資源提供的共享策略一致.還要考慮記賬和付費(fèi)的問(wèn)題，協(xié)議還可能需要具有監(jiān)控操作的狀態(tài)并控制某些操作的功能.第十四頁(yè)，共二十八頁(yè)，編輯于2023年，星期三1515匯聚層服務(wù)和協(xié)議服務(wù)與功能名稱(chēng)描述目錄服務(wù)允許虛擬組織參加者發(fā)現(xiàn)存在的資源或者是存在的資源的特性，允許用戶根據(jù)名字或者屬性來(lái)查詢資源.協(xié)同分配，調(diào)度以及代理服務(wù)允許虛擬組織參加者申請(qǐng)一個(gè)或者更多的資源，并且在相應(yīng)的資源上進(jìn)行任務(wù)調(diào)度.監(jiān)控和診斷服務(wù)用于監(jiān)視虛擬組織資源的失敗，惡意的攻擊，入侵檢查，過(guò)載等等.數(shù)據(jù)復(fù)制服務(wù)支持虛擬組織存儲(chǔ)，網(wǎng)絡(luò)與計(jì)算的管理，按照響應(yīng)時(shí)間，可靠性，費(fèi)用等標(biāo)準(zhǔn)優(yōu)化數(shù)據(jù)訪問(wèn)性能.網(wǎng)格支持下的編程系統(tǒng)可以才網(wǎng)格中提供熟悉的編程模型，使用不同的網(wǎng)格服務(wù)解決資源發(fā)現(xiàn)，安全，資源分配以及其它問(wèn)題.負(fù)載管理系統(tǒng)與協(xié)同分配工作框架提供描述，使用以及管理多步，異步以及多組件工作流.軟件發(fā)現(xiàn)服務(wù)基于求解問(wèn)題的參數(shù)發(fā)現(xiàn)和選擇最好的軟件實(shí)現(xiàn)和執(zhí)行平臺(tái)協(xié)作服務(wù)用于潛在較大的用戶社團(tuán)內(nèi)的協(xié)同交換信息，包括同步和異步兩種方式.第十五頁(yè)，共二十八頁(yè)，編輯于2023年，星期三1616五層結(jié)構(gòu)應(yīng)用應(yīng)用層多科學(xué)模擬VOD系統(tǒng)匯聚層（面向問(wèn)題）聯(lián)合求解器，分布式數(shù)據(jù)文檔檢查點(diǎn)，作業(yè)管理，故障避免，負(fù)載均衡匯聚層（通用）資源發(fā)現(xiàn)，資源代理，系統(tǒng)監(jiān)控，社團(tuán)授權(quán)，收回證書(shū)資源層訪問(wèn)計(jì)算，訪問(wèn)數(shù)據(jù)，訪問(wèn)系統(tǒng)結(jié)構(gòu)，狀態(tài)與性能信息連接層通信（IP），服務(wù)發(fā)現(xiàn)（DNS），認(rèn)證，授權(quán)，代理構(gòu)造層存儲(chǔ)系統(tǒng)，計(jì)算機(jī)，網(wǎng)絡(luò)，代碼庫(kù)，目錄第十六頁(yè)，共二十八頁(yè)，編輯于2023年，星期三17172、開(kāi)放網(wǎng)格服務(wù)體系結(jié)構(gòu)OGSA（OpenGridServicesAtchitecture）五層沙漏結(jié)構(gòu)以協(xié)議為核心;強(qiáng)調(diào)資源共享---具體資源服務(wù);開(kāi)放網(wǎng)格服務(wù)體系結(jié)構(gòu)OGSA以服務(wù)核心;服務(wù)包括計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)、軟件等；一般意義上的服務(wù)，即服務(wù)共享；第十七頁(yè)，共二十八頁(yè)，編輯于2023年，星期三18183、OGSA支持技術(shù)GlobusToolkit;是一種用于構(gòu)建計(jì)算網(wǎng)格的開(kāi)放體系結(jié)構(gòu)、開(kāi)放標(biāo)準(zhǔn)的項(xiàng)目。GlobusToolkit工具包來(lái)源于Globus項(xiàng)目，是一個(gè)開(kāi)放源碼的網(wǎng)格的基礎(chǔ)平臺(tái)，基于開(kāi)放結(jié)構(gòu)、開(kāi)放服務(wù)資源和軟件庫(kù)，并支持網(wǎng)格和網(wǎng)格應(yīng)用，目的是為構(gòu)建網(wǎng)格應(yīng)用提供中間件服務(wù)和程序庫(kù)。WebServicesXML（可擴(kuò)展置標(biāo)語(yǔ)言）SOAP（簡(jiǎn)單對(duì)象訪問(wèn)協(xié)議）WSDL（網(wǎng)頁(yè)服務(wù)描述語(yǔ)言）UDDI（一種目錄服務(wù)）第十八頁(yè)，共二十八頁(yè)，編輯于2023年，星期三1919服務(wù)登記處服務(wù)請(qǐng)求者(如用戶應(yīng)用程序)工廠服務(wù)要求服務(wù)網(wǎng)格服務(wù)處理資源配置服務(wù)實(shí)例注冊(cè)服務(wù)發(fā)現(xiàn)服務(wù)交互標(biāo)準(zhǔn)化使用WSDL服務(wù)數(shù)據(jù)保持有效通知服務(wù)調(diào)用身份驗(yàn)證和授權(quán)是適用于所有的請(qǐng)求OGSA服務(wù)第十九頁(yè)，共二十八頁(yè)，編輯于2023年，星期三20四、網(wǎng)格的商業(yè)應(yīng)用生物醫(yī)學(xué)：網(wǎng)格可提供藥品開(kāi)發(fā)人員所需的計(jì)算能力，用以研究藥物和蛋白質(zhì)分子的形態(tài)與運(yùn)動(dòng)。工程：波音、福特、bmw公司都在嘗試用網(wǎng)格計(jì)算進(jìn)行復(fù)雜的仿真與設(shè)計(jì)。數(shù)據(jù)搜集/分析：制造、石油加工、貨物運(yùn)輸、甚至零售企業(yè)都要維護(hù)昂貴的設(shè)備，時(shí)常會(huì)出現(xiàn)問(wèn)題，造成不好的結(jié)果。同無(wú)線傳感器一樣，網(wǎng)格能夠存儲(chǔ)和處理所有交易。娛樂(lè)產(chǎn)業(yè)：特殊效果設(shè)計(jì)。第二十頁(yè)，共二十八頁(yè)，編輯于2023年，星期三21五、網(wǎng)格計(jì)算技術(shù)在科學(xué)計(jì)算領(lǐng)域的應(yīng)用分布式超級(jí)計(jì)算

網(wǎng)格計(jì)算可以把分布式的超級(jí)計(jì)算機(jī)集中起來(lái)，協(xié)同解決復(fù)雜的大規(guī)模的問(wèn)題。使大量閑置的計(jì)算機(jī)資源得到有效的組織，提高了資源的利用效率，節(jié)省了大量的重復(fù)投資，使用戶的需求能夠得到及時(shí)滿足。第二十一頁(yè)，共二十八頁(yè)，編輯于2023年，星期三高吞吐率計(jì)算

網(wǎng)格技術(shù)能夠十分有效地提高計(jì)算的吞吐率，它利用CPU的周期竊取技術(shù)，將大量空閑的計(jì)算機(jī)的計(jì)算資源集中起來(lái)，提供給對(duì)時(shí)間不太敏感的問(wèn)題，作為計(jì)算資源的重要來(lái)源。數(shù)據(jù)密集型計(jì)算

數(shù)據(jù)密集型的問(wèn)題的求解往往同時(shí)產(chǎn)生很大的通訊和計(jì)算需求，需要網(wǎng)格能力才可以解決。網(wǎng)格可以藥物分子設(shè)計(jì)、計(jì)算力學(xué)、計(jì)算材料、電子學(xué)、生物學(xué)、核物理反應(yīng)、航空航天等眾多的領(lǐng)域得到廣泛的需求。22第二十二頁(yè)，共二十八頁(yè)，編輯于2023年，星期三基于廣泛信息共享的人與人交互

網(wǎng)格的出現(xiàn)更加突破了人與人之間地理界線的限制，使得科技工作者之間的交流更加的方便，從某種程度上可以說(shuō)實(shí)現(xiàn)人與人之間的智慧共享。更廣泛的資源貿(mào)易

隨著大型機(jī)的性能的提高和微機(jī)的更加普及，及其資源的閑置的問(wèn)題也越來(lái)越突出，網(wǎng)格技術(shù)能夠有效地組織這些閑置的資源，使得有大量的計(jì)算需求的用戶能夠獲得這些資源，資源的提供者的應(yīng)用也不會(huì)受到太大的干擾。需要計(jì)算能力的人可以不必購(gòu)買(mǎi)大的計(jì)算機(jī)，只要根據(jù)自己的任務(wù)的需求，向網(wǎng)格購(gòu)買(mǎi)計(jì)算能力就可以滿足計(jì)算需求。23第二十三頁(yè)，共二十八頁(yè)，編輯于2023年，星期三24六、國(guó)內(nèi)外研究情況（國(guó)外）“I-way（InformationWideAreaYear）”:experimentat1995Supercomputingconference(SC’95),using17sitesacrosstheUSrunning，“I-way”開(kāi)發(fā)了資源調(diào)度，F(xiàn)AFNER(FactoringviaNetwork-EnabledRecursion):建立對(duì)RSA130分解，要求機(jī)器>=4MB工作站即可。at1995Supercomputingconference(SC’95)第二十四頁(yè)，共二十八頁(yè)，編輯于2023年，星期三25Globus：建一個(gè)計(jì)算網(wǎng)格，提供一個(gè)Globus工具。Legion:始于1993，目的是構(gòu)造一個(gè)元計(jì)算環(huán)境，基于對(duì)象的“元系統(tǒng)，由Viginia大學(xué)開(kāi)發(fā)，提供了一種軟件基礎(chǔ)設(shè)施，通過(guò)它可以實(shí)現(xiàn)異構(gòu)、地理分布的高性能計(jì)算系統(tǒng)的無(wú)縫交互。該項(xiàng)目孵化了一個(gè)新公司稱(chēng)為AppliedMeta，目前為Avaki，提供商業(yè)化的網(wǎng)格解決方案第二十五頁(yè)，共二十八頁(yè)，編輯于2023年，星期三26eScienc