基于池化架構(gòu)的分布式并行計(jì)算網(wǎng)絡(luò)系統(tǒng)的研究(1)

1、基于池化架構(gòu)的分布式并行計(jì)算網(wǎng)絡(luò)系統(tǒng)的研究(1)    摘 要 隨著網(wǎng)絡(luò)的快速發(fā)展，通過(guò)整合分散的計(jì)算資源，搭建分布式并行計(jì)算環(huán)境進(jìn)行大規(guī)模分布式計(jì)算已成為重要趨勢(shì)。本文分析了現(xiàn)有分布式計(jì)算系統(tǒng)結(jié)構(gòu)的本質(zhì)特征，明確了搭建分布式并行網(wǎng)絡(luò)系統(tǒng)與現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之間的矛盾，提出了一種新的基于池化技術(shù)架構(gòu)的分布式并行計(jì)算網(wǎng)絡(luò)連接結(jié)構(gòu)并討論了其中關(guān)鍵難點(diǎn)問(wèn)題。    關(guān)鍵詞 池化；分布式并行計(jì)算；連接結(jié)構(gòu)；網(wǎng)絡(luò)    1 引言    分布式并行計(jì)算近

2、年來(lái)一直是國(guó)內(nèi)外計(jì)算機(jī)界具有重要意義的研究課題，高性能分布式計(jì)算發(fā)展到今天，通過(guò)整合分散的計(jì)算資源，調(diào)動(dòng)所有可能的計(jì)算資源進(jìn)行大規(guī)模高性能計(jì)算已成為一種趨勢(shì)，也是目前徹底突破計(jì)算瓶頸唯一行之有效且廉價(jià)的解決方案。而如何組織互聯(lián)網(wǎng)分散的、互不相識(shí)的空閑計(jì)算機(jī)組成動(dòng)態(tài)的并行工作組是問(wèn)題的關(guān)鍵，發(fā)展的看，構(gòu)筑分布式并行計(jì)算網(wǎng)絡(luò)系統(tǒng)將成為可能。主要在于兩點(diǎn)：    (1) 網(wǎng)絡(luò)計(jì)算資源龐大，但實(shí)際利用率非常低，據(jù)有關(guān)統(tǒng)計(jì)表明，系統(tǒng)使用率僅30左右，有的空閑率竟達(dá)91，如何利用閑散資源構(gòu)筑強(qiáng)大的并行計(jì)算能力已越來(lái)越被人們所關(guān)注，而分布式并行計(jì)算網(wǎng)絡(luò)環(huán)境在經(jīng)濟(jì)使用上

3、具有重要的現(xiàn)實(shí)意義。    (2) 網(wǎng)絡(luò)技術(shù)得到很大突破，Tbps級(jí)傳輸速率和10-12比特一下的傳輸差錯(cuò)率將成為現(xiàn)實(shí)，網(wǎng)絡(luò)的帶寬局限將得到極大緩解，網(wǎng)上形成龐大而繁雜的各類資源，如何更好管理組織利用這些資源是應(yīng)用的關(guān)鍵。 2 傳統(tǒng)計(jì)算機(jī)互連結(jié)構(gòu)特征分析    機(jī)間互連主要為了實(shí)現(xiàn)資源共享、任務(wù)并行和容錯(cuò)，其特征是自主性、透明性、并行性、互操作性和可擴(kuò)展性。傳統(tǒng)的計(jì)算機(jī)互連系統(tǒng)結(jié)構(gòu)主要分為：    (1) 網(wǎng)絡(luò)操作系統(tǒng)（NOS）：主要目標(biāo)是資源共享和提供非透明服務(wù)，用戶具有完

4、全的自主性。用戶可采用自己的策略控制本地所有資源，這種網(wǎng)絡(luò)機(jī)制對(duì)組成透明的分布式并行計(jì)算系統(tǒng)是不利的。    (2) 分布式操作系統(tǒng)（DOS）：強(qiáng)調(diào)將互聯(lián)系統(tǒng)作為一個(gè)整體來(lái)管理，對(duì)用戶完全透明，面向?qū)ο蟮奈⒑耸讲僮飨到y(tǒng)代替單晶式操作系統(tǒng)成為發(fā)展方向，比較典型的有Amoeba，Mach，Chorus，Clouds，Sprite等，這類系統(tǒng)不適應(yīng)網(wǎng)絡(luò)系統(tǒng)對(duì)自主性的要求。    (3) 分布式系統(tǒng)環(huán)境（DSE）：運(yùn)行在操作系統(tǒng)之上，即中間件，主要目標(biāo)是互操作性和開(kāi)放性，有較強(qiáng)的自主性，典型系統(tǒng)有OSF DCE和各類NOW

5、系統(tǒng)，DSE作為中間層可集成不同的獨(dú)立系統(tǒng)提供對(duì)分布式應(yīng)用的支持，用戶既可在原有平臺(tái)下工作，又可和DSE交互，DSE還可屏蔽底層系統(tǒng)的異構(gòu)性，因此，DSE技術(shù)是構(gòu)筑分布式計(jì)算網(wǎng)絡(luò)的一種好方法，但其主要目標(biāo)是提供透明互操作性和定向服務(wù)，而不是任務(wù)的并行。    理想的分布式并行計(jì)算網(wǎng)絡(luò)系統(tǒng)應(yīng)具有透明性，并能實(shí)現(xiàn)動(dòng)態(tài)調(diào)度計(jì)算資源和方便用戶使用的目的。根據(jù)之一目標(biāo)和上述三類計(jì)算機(jī)互連結(jié)構(gòu)的分析，可以看出實(shí)現(xiàn)高效率的分布式并行計(jì)算網(wǎng)絡(luò)平臺(tái)系統(tǒng)的難點(diǎn)在于解決系統(tǒng)透明性與用戶自主性之間的矛盾。 3 基于池化架構(gòu)的分布式并行計(jì)算網(wǎng)絡(luò)系統(tǒng)  

6、0; 池化是新近提出的技術(shù)概念，自從國(guó)際互聯(lián)網(wǎng)工程工作組提出高可靠服務(wù)器池化概念以來(lái)，國(guó)外的多家IT巨頭（包括：西門子、思科、摩托羅拉等）都對(duì)該項(xiàng)目極為關(guān)注，均積極參與該項(xiàng)目的理論研究和研發(fā)方案的探討和論證。    該項(xiàng)目由國(guó)際互聯(lián)網(wǎng)工程工作組牽頭并聯(lián)合多家著名IT巨頭，已歷時(shí)長(zhǎng)達(dá)數(shù)年的研究和探討，其理論模式、體系架構(gòu)都已相當(dāng)成熟，同時(shí)它也將是在高可靠網(wǎng)絡(luò)領(lǐng)域上的首個(gè)位于傳輸層的高可靠網(wǎng)絡(luò)服務(wù)體系框架，彌補(bǔ)了現(xiàn)行互聯(lián)網(wǎng)核心技術(shù)層面上的缺陷。該技術(shù)對(duì)可靠性、機(jī)動(dòng)性有較高要求的網(wǎng)絡(luò)系統(tǒng)具有極高的應(yīng)用價(jià)值。   

7、0;本文基于池化架構(gòu)，提出了一種完全透明的實(shí)現(xiàn)動(dòng)態(tài)調(diào)度的分布式并行計(jì)算網(wǎng)絡(luò)系統(tǒng)模型，其系統(tǒng)結(jié)構(gòu)如圖1所示。 3.1池化架構(gòu)的基本組件與功能    池化架構(gòu)的基本組件與主要功能為：    (1) 池化器：系統(tǒng)連接結(jié)構(gòu)中心，嵌入式硬件池化器負(fù)責(zé)收集池中所有服務(wù)器的計(jì)算資源屬性，統(tǒng)一管理、監(jiān)控和操作服務(wù)器池，并能根據(jù)運(yùn)算任務(wù)計(jì)算量大小動(dòng)態(tài)選擇服務(wù)器資源。    (2) 控制臺(tái)服務(wù)器：負(fù)責(zé)自動(dòng)分割運(yùn)算任務(wù)后，發(fā)布運(yùn)算任務(wù)至服務(wù)器池中。    

8、圖1 池化分布式并行計(jì)算網(wǎng)絡(luò)結(jié)構(gòu)圖    (3) 節(jié)點(diǎn)服務(wù)器：即服務(wù)器池中各服務(wù)器計(jì)算資源，既可為小型機(jī)也可為普通PC機(jī)。池化系統(tǒng)對(duì)服務(wù)器的軟、硬件類型配置沒(méi)有任何限制。    (4) 服務(wù)器與客戶端池化設(shè)置軟件：控制臺(tái)安裝客戶端池化設(shè)置軟件與服務(wù)器池化設(shè)置軟件，各節(jié)點(diǎn)服務(wù)器安裝服務(wù)器池化設(shè)置軟件。池化設(shè)置軟件如圖2、3所示。        圖2 服務(wù)器池化設(shè)置    圖3 客戶端池化設(shè)置

9、0;   3.2 池化系統(tǒng)的工作流程 3.2.1形成過(guò)程    首先按計(jì)算項(xiàng)目的類別劃分不同的服務(wù)器池，各節(jié)點(diǎn)服務(wù)器安裝池化服務(wù)器端設(shè)置軟件，進(jìn)行協(xié)議、端口號(hào)、池策略、池名等設(shè)置(同一服務(wù)器池內(nèi)的節(jié)點(diǎn)服務(wù)器，池策略必須一致)。然后池化器通過(guò)定時(shí)發(fā)布組播協(xié)議監(jiān)控服務(wù)器池內(nèi)服務(wù)器運(yùn)行狀況，并收集服務(wù)器性能信息。其后控制臺(tái)服務(wù)器安裝池化客戶端設(shè)置軟件，用戶登陸控制臺(tái)發(fā)布計(jì)算任務(wù)。 3.2.2運(yùn)行過(guò)程    用戶通過(guò)各自密碼登陸控制臺(tái)發(fā)布計(jì)算任務(wù)，控制臺(tái)自動(dòng)切割任務(wù)后，池化器對(duì)池名進(jìn)行池名解析

10、，并根據(jù)預(yù)先設(shè)置好的池策略將任務(wù)“撒進(jìn)”計(jì)算池，各節(jié)點(diǎn)服務(wù)器接收任務(wù)后進(jìn)行任務(wù)計(jì)算，最后將各自計(jì)算結(jié)果匯總至控制臺(tái)。 3.2.3擴(kuò)展過(guò)程    池化架構(gòu)分布式并行計(jì)算系統(tǒng)具有靈活的擴(kuò)展性，池化器對(duì)所連接的服務(wù)器數(shù)量沒(méi)有限制，同時(shí)對(duì)服務(wù)器軟、硬件類型配置也沒(méi)有任何限制，池化器最大可同時(shí)容納1000個(gè)會(huì)話業(yè)務(wù)。服務(wù)器只需安裝池化服務(wù)器端設(shè)置軟件即可加入服務(wù)器池。 3.2.4監(jiān)控過(guò)程    池化器負(fù)責(zé)系統(tǒng)各個(gè)資源的描述、變動(dòng)、分配與保護(hù)，與運(yùn)行時(shí)的系統(tǒng)密切合作，保證整個(gè)系統(tǒng)的正常運(yùn)行。池化器定時(shí)發(fā)送組播消息，收集各節(jié)點(diǎn)服

11、務(wù)器運(yùn)行狀態(tài)，計(jì)算性能信息，這些信息成為任務(wù)分配時(shí)所用策略的重要依據(jù)。池化器一旦發(fā)現(xiàn)某節(jié)點(diǎn)服務(wù)器發(fā)生故障，即可迅速將該臺(tái)服務(wù)器計(jì)算任務(wù)轉(zhuǎn)發(fā)給池內(nèi)另一臺(tái)服務(wù)器，并將故障服務(wù)器“遷出”計(jì)算池。 3.3 池化分布式并行計(jì)算系統(tǒng)解決的問(wèn)題    1) 充分利用現(xiàn)有資源    利用池化技術(shù)，任何一臺(tái)聯(lián)在互聯(lián)網(wǎng)上的普通PC機(jī)可通過(guò)池化軟件加入服務(wù)器池中，等待任務(wù)分配。系統(tǒng)能充分利用現(xiàn)有服務(wù)器資源，將所有運(yùn)算子任務(wù)分配給節(jié)點(diǎn)服務(wù)器，有效避免計(jì)算資源閑置現(xiàn)象的發(fā)生。    2)降低對(duì)服務(wù)器的

12、配置要求    普通PC如果能運(yùn)行操作系統(tǒng)，能保證最小運(yùn)算的運(yùn)行，即可加入服務(wù)器池中。系統(tǒng)對(duì)加入服務(wù)器池中的服務(wù)器性能要求不高，將硬件要求降到最低，能解決服務(wù)器價(jià)格昂貴帶來(lái)的資金緊缺問(wèn)題。    3) 解決運(yùn)算速度瓶頸，提高工作效率    如果加入服務(wù)器池中服務(wù)器數(shù)量足夠多，超大規(guī)模運(yùn)算項(xiàng)目足夠細(xì)化，則池化分布式計(jì)算系統(tǒng)的處理能力可以達(dá)到甚而超過(guò)價(jià)格昂貴的巨型計(jì)算機(jī)。    4）實(shí)現(xiàn)智能管理    

13、;池化設(shè)置軟件操作界面友好、人性化，操作簡(jiǎn)便。信息管理人員通過(guò)界面輸入運(yùn)算程序所需參數(shù)，資源管理系統(tǒng)控制臺(tái)自動(dòng)切割運(yùn)算任務(wù)，在后臺(tái)將各個(gè)分割好的運(yùn)算任務(wù)分配給服務(wù)器。 4 結(jié)束語(yǔ)    本文在分析現(xiàn)有分布式計(jì)算系統(tǒng)結(jié)構(gòu)的本質(zhì)特征基礎(chǔ)上，明確了搭建分布式并行網(wǎng)絡(luò)系統(tǒng)的關(guān)鍵問(wèn)題是系統(tǒng)透明性與用戶自主性之間的矛盾，提出了一種新的解決該問(wèn)題的基于池化技術(shù)架構(gòu)的分布式并行計(jì)算網(wǎng)絡(luò)連接結(jié)構(gòu)。該連接結(jié)構(gòu)在一定程度上優(yōu)化了分布式并行計(jì)算系統(tǒng)性能，實(shí)現(xiàn)智能管理，消除了傳統(tǒng)分布式計(jì)算“人工”切割計(jì)算任務(wù)、“人工”收集匯總計(jì)算結(jié)果的限制，且系統(tǒng)運(yùn)營(yíng)擴(kuò)展靈活，監(jiān)控自動(dòng)化性能得到成分體現(xiàn)。 參考文獻(xiàn)