三章信息管理

1、第三章 信息管理龔 斌山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院山東省高性能計(jì)算中心元計(jì)算目錄服務(wù)mdsmds metacomputing directory service, mds 是globus提供的一個(gè)信息服務(wù)模塊 主要任務(wù)是管理網(wǎng)格中的各種信息，包括信息的發(fā)現(xiàn)、注冊(cè)、查詢、修改、注銷等 提供一套工具和api用于發(fā)現(xiàn)、發(fā)布和訪問計(jì)算網(wǎng)格資源的信息mds的版本 mds1(metacomputing directory service) centralized database globus 1.1.2 and earlier did not scale single point failure lda

2、p based mds2(monitoring and discovery service) distributed services in globus toolkit 1.1.3 and gt 2.x two classes of server: giis and gris ldap based lazy caching presented scalability problemmds的版本（續(xù)） mds3(monitoring and discovery system) even more distributed services based around ogsi standard i

3、n globus toolkit 3.x mds4 based around wsrf standards in globus toolkit 4.x more native components-(web ui, trigger service, ganglia, hawkeyeglobus實(shí)現(xiàn)信息服務(wù)的假設(shè)前提 信息資源分布而且單個(gè)的資源容易發(fā)生故障 系統(tǒng)的信息提供者數(shù)目眾多 信息資源的類型和信息使用的類型都很多 mds試圖回答的問題 目前有那些資源可用？ 當(dāng)前網(wǎng)格的狀況如何？ 如何根據(jù)底層資源的配置來優(yōu)化一個(gè)具體的應(yīng)用？mds設(shè)計(jì)需要考慮的方面 性能 擴(kuò)展性和費(fèi)用 一致性（uniform

4、ity） 可表達(dá)性 多信息源 動(dòng)態(tài)數(shù)據(jù) 靈活訪問 安全 容易部署 分布式維護(hù)mds的兩類接口 交互接口 編程接口（每次啟動(dòng)程序時(shí)使用的處理器個(gè)數(shù)不同，動(dòng)態(tài)變化）globus信息服務(wù)的兩個(gè)方面 信息的使用（information retrieval） 信息的獲?。╠iscovery and monitoring）mds的信息 靜態(tài)的主機(jī)信息，如：操作系統(tǒng)版本、cpu類型、處理器數(shù)目； 動(dòng)態(tài)的主機(jī)信息，如：平均負(fù)載，隊(duì)列入口等； 存儲(chǔ)系統(tǒng)信息，如：可用磁盤空間，全部磁盤空間，等； 通過network weather service提供的網(wǎng)絡(luò)信息，如：網(wǎng)絡(luò)帶寬，延遲等。 平臺(tái)類型和體系的指令集 操作

5、系統(tǒng)的名稱和版本 cpu信息類型，cpu數(shù)目，版本，速度，緩存等等 內(nèi)存物理和虛擬內(nèi)存大小，空閑空間等 網(wǎng)絡(luò)接口信息機(jī)器名和地址 文件系統(tǒng)概要大小，空閑空間等等mds在globus協(xié)議集中的位置mds-2 implementation grid information service (gris) provides resource description modular content gateway grid index information service (giis) provides aggregate directory hierarchical groups of resour

6、ces lightweight dir. access protocol (ldap) standard with many client implementations used for grip (and grrp currently)mds的特點(diǎn) mds提供了一個(gè)虛擬組織，在這個(gè)組織內(nèi)，參與到一個(gè)合作活動(dòng)內(nèi)的一組人能夠互相之間共享資源，一個(gè)虛擬組織內(nèi)的資源在一個(gè)統(tǒng)一的視圖下收集和顯示信息。 gris提供了一個(gè)通用的方法來查詢一個(gè)計(jì)算網(wǎng)格的當(dāng)前配置、能力和狀態(tài)的資源信息。這樣的服務(wù)包括host id，以及一些動(dòng)態(tài)的信息如cpu和可用內(nèi)存等。 giis能夠?qū)⒁恍┤我獾膅ris聯(lián)系起來形成一個(gè)

7、連續(xù)的系統(tǒng)映像，以供網(wǎng)格應(yīng)用探究和查詢。例如，一個(gè)giis能夠列出一個(gè)實(shí)驗(yàn)室聯(lián)邦內(nèi)的所有可用的計(jì)算資源，或者一個(gè)代理所擁有的所有的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)。mds結(jié)構(gòu) 每個(gè)資源運(yùn)行一個(gè)標(biāo)準(zhǔn)的信息服務(wù)（gris），它使用ldap進(jìn)行通信，并提供關(guān)于資源的信息； 一個(gè)giis提供一個(gè)類似網(wǎng)絡(luò)搜索引擎的緩存服務(wù)，每個(gè)資源通過一個(gè)giis進(jìn)行注冊(cè)，當(dāng)緩存失效時(shí)，一個(gè)client請(qǐng)求信息服務(wù)時(shí)，giis將從注冊(cè)的資源出取出信息； 一個(gè)giis提供了一個(gè)在合作層的索引、搜索服務(wù)機(jī)制。giisgiisgrisgrisgrisgrismds的層次結(jié)構(gòu)“classic” mds architecture (mds-1

8、)resources push information into a central organization server via regular updates (globus-gram-reporter), where it can be retrieved by clients.regular updates dont scale as the number of resources grow rapidly. commercial ldap servers are optimized for “read” requests, and cant handle frequent “wri

9、te” requests.if organization server is unavailable, no information is available.ldaporganizationserverdirectory containsinfo from a and bresource agram-reporterresource bgram-reportergram-reporters periodicallyupdate ldap servers information.client 1client 2client 3clients query organization serverf

10、or current information.“standard” mds architecture (mds-2)resources run a standard information service (gris) which speaks ldap and provides information about the resource (no searching).giis provides a “caching” service much like a web search engine. resources register with giis and giis pulls info

11、rmation from them when requested by a client and the cache as expired.giis provides the collective-level indexing/searching function.giiscache contains info from a and bresource agrisgiis requests information fromgris services as needed.client 1client 2client 3resource bgrisclients 1 and 2 request i

12、nfodirectly from resources.client 3 uses giis for searchingcollective information.mds-2 service architecture dynamic registration via reg. protocol (grrp) resource inquiry via info. protocol (grip) co-located with resource on network resource discovery (via grip or other) using grip allows resource/

13、directory hierarchydiscovery (grip?)lookup (grip)registration (grrp)vo-specific aggregate directoriesstandard resource description servicesrrrraa?兩個(gè)方面相對(duì)分離的好處好處 可以支持多種發(fā)現(xiàn)與監(jiān)測(cè)策略 可以在多種具體的實(shí)現(xiàn)因素之間進(jìn)行平衡，而不需要修改組成網(wǎng)格的資源與服務(wù)如何實(shí)現(xiàn)分離？ core providers /mds/defaultgrisproviders.html. generic provider

14、s /mds/testsuite.html. custom information providers /mds/creating_new_providers.pdf用戶1grisipipipgrip資源a如何實(shí)現(xiàn)分離？用戶2grisipipipgrip資源agiisgiisgiisgris資源bgrrpgrrpgrrpglobus提供的不同查詢方式如何提高性能？ 關(guān)鍵：cache用戶giis命中返回?cái)?shù)據(jù)yngris命中y返回?cái)?shù)據(jù)nip返回?cái)?shù)據(jù)如何判斷cache命中 有需要的數(shù)據(jù) 在cache time-to-li

15、ve (cache ttl) 規(guī)定的時(shí)間內(nèi)cache ttl與gris注冊(cè)頻率的關(guān)系 gris每q個(gè)時(shí)間單位重新注冊(cè)一次 gris注冊(cè)信息的ttl與q的關(guān)系？ ttlq? 后果是什么？信息的組織層次：目錄信息樹ditgris gris框架被實(shí)現(xiàn)為一個(gè)openldap服務(wù)后臺(tái)，可作為一個(gè)可插入的特定的信息服務(wù)。每個(gè)mds的資源能夠運(yùn)行一個(gè)本地的gris。 一個(gè)gris能夠來自其他系統(tǒng)的關(guān)于本地機(jī)或者其他資源的網(wǎng)格信息。他能夠通過giis進(jìn)行注冊(cè)，以便后者將信息傳給他人。 一個(gè)gris能夠認(rèn)證和轉(zhuǎn)換來自客戶端的查詢，將查詢進(jìn)行分派，根據(jù)查詢的類型分別給予那些關(guān)心的信息提供者，最終所有的查詢結(jié)果被集

16、中返回給客戶端。 gris通過良好定義的api和信息提供者進(jìn)行通信。提供者定義的實(shí)現(xiàn)了gris api的子過程能夠幫助gris配置指定信息提供者產(chǎn)生的信息類型。gris 為了確保gris的操作不被干擾，提高反應(yīng)速度，增強(qiáng)調(diào)度的靈活性，每個(gè)提供者會(huì)緩存一次的查詢結(jié)果，以便降低提供者被激活的次數(shù)。緩存的有效時(shí)間（ttl）作為提供者的局部配置。 由每個(gè)提供者返回的結(jié)果將會(huì)被gris進(jìn)行過濾，以除去那些不滿足客戶端存儲(chǔ)空間以及其他限制的對(duì)象。這個(gè)過濾功能由gris完成而不是信息提供者自身完成，這樣就保證了： 簡單的信息提供者不需要重復(fù)實(shí)現(xiàn)這一功能； 提供者可以給出一個(gè)超過了請(qǐng)求客戶端緩存要求的結(jié)果的超

17、集。giis mds提供了一個(gè)建造聚合目錄的框架giis，并提供了這個(gè)框架的一個(gè)實(shí)例從而實(shí)現(xiàn)了一個(gè)能夠提供等級(jí)結(jié)構(gòu)的簡單的聚合目錄。這個(gè)簡單的目錄能夠接受來自子gris和giis實(shí)例的注冊(cè)信息，并將這些信息聯(lián)合成一個(gè)統(tǒng)一的信息空間?？蛻舳说乃阉髂軌虿榈剿凶觛ris上的信息。 giis能夠通過一個(gè)簡單的命令獲取多個(gè)gris上的信息。一個(gè)giis能夠?yàn)橐粋€(gè)場所或者多場所的合作建立一個(gè)組織范圍的信息服務(wù)器。 giis框架包括三個(gè)主要的組成部分：統(tǒng)一注冊(cè)句柄、可插入的索引構(gòu)造、可插入的搜索句柄。和gris相比，giis被實(shí)現(xiàn)為一個(gè)openldap服務(wù)的特定目的的后端。 openldap的前端解析注冊(cè)

18、信息，并將其送至后端來執(zhí)行任何需要?jiǎng)?chuàng)建giis索引信息的動(dòng)作。 gris與giis的相似點(diǎn) 都依賴一個(gè)openldap前端進(jìn)行協(xié)議處理、認(rèn)證和結(jié)果過濾； 都使用同一個(gè)用于定制的api，能夠共存于一個(gè)server下； 為提供者和目錄互操作使用相同的協(xié)議，不僅增強(qiáng)了互操作性，而且簡化了實(shí)現(xiàn)。與mds的交互 和mds交互的方式有兩種：交互式或者進(jìn)行編程。 和mds進(jìn)行交互式的交互，需要在unix命令行下面敲入命令，這類使用適合于對(duì)系統(tǒng)的資源和狀態(tài)的搜索。 要和mds進(jìn)行編程交互，則需要在應(yīng)用中插入程序的調(diào)用。mds-2.1 gris providers grid-info-cpu reports c

19、pu/load info grid-info-fs reports filesystem info grid-info-mem reports ram/vm info grid-info-net reports nic/net info grid-info-os reports os info grid-info-platform reports arch. info grid-info-merged merges all host info* extensible for other sources, e.g. grammds的使用 grid-info-search config file

20、指定配置文件 mdshost host(-h) 指定主機(jī)名,$grid_info_host mdsport port(-p) 指定服務(wù)器斷口號(hào),$grid_info_port舉例1 查詢網(wǎng)格信息服務(wù)提供的所有對(duì)象 grid-info-search h p 8463 b mds-vo-name=local, o=grid舉例2 查詢網(wǎng)格索引信息服務(wù)的文件系統(tǒng)空間grid-info-search x h p 8422 b mds-vo-name=site, o=grid mds-fs-freemb舉例3 查詢網(wǎng)格索

21、引信息服務(wù)的cpu數(shù)據(jù)grid-info-search x h p 8422 b mds-vo-name=local, o=grid (&(objectclass=mdscpu) (mds-hostn=) mds-cpu-model mds-cpu-speedmhzglobus信息服務(wù)協(xié)議的特點(diǎn) 底層的查詢與注冊(cè)協(xié)議，使得單個(gè)的實(shí)體可以比較容易的結(jié)合到所定義的信息庫中。 支持不同查詢語言與發(fā)現(xiàn)機(jī)制的聚集目錄 與其它協(xié)議的結(jié)合，可以支持高級(jí)服務(wù)與功能，比如代理、檢測(cè)、容錯(cuò)以及錯(cuò)誤恢復(fù)。 globus mds功能總

22、結(jié) 定義了為用戶提供數(shù)據(jù)的方法通過 ldap協(xié)議以及一些特別的機(jī)制 可配置的信息提供組件gris gris提供了查詢網(wǎng)格資源當(dāng)前配置、能力以及狀態(tài)的方式gris提供分布式的信息服務(wù)，回答關(guān)于某一特定信息資源的查詢 可配置的聚類目錄組件 giis giis提供了組合任意gris服務(wù)的方式，可以提供一致的系統(tǒng)影像，用于網(wǎng)格應(yīng)用的查找之中g(shù)iis為用來組織特定興趣的資源提供機(jī)制 產(chǎn)生信息、發(fā)布信息、存儲(chǔ)信息、查找信息、查詢信息、顯示信息 gt3的信息服務(wù)accessing grid services gt 3 provides an “index service” (as a higher leve

23、l service) to access service data provided with grid service. service data can includes both hardware and software details of service. index service的功能 為服務(wù)數(shù)據(jù)提供者到服務(wù)實(shí)例的連接提供了一個(gè)接口。 能將來自多個(gè)不同的服務(wù)數(shù)據(jù)提供者或其它的網(wǎng)格服務(wù)的服務(wù)數(shù)據(jù)有效的聚集起來，并能提供一種有效的對(duì)服務(wù)數(shù)據(jù)的查詢過程。 實(shí)現(xiàn)網(wǎng)格服務(wù)的注冊(cè)。 動(dòng)態(tài)的服務(wù)數(shù)據(jù)產(chǎn)生及網(wǎng)格節(jié)點(diǎn)索引。 index service的機(jī)制 服務(wù)組的管理機(jī)制 服務(wù)的注冊(cè)機(jī)制 服務(wù)

24、數(shù)據(jù)的管理機(jī)制 服務(wù)數(shù)據(jù)的預(yù)定通知機(jī)制 服務(wù)數(shù)據(jù)的查詢機(jī)制service registry從本質(zhì)上講，服務(wù)注冊(cè)就是將一個(gè)服務(wù)組記為另一個(gè)服務(wù)組的成員服務(wù)。具體實(shí)現(xiàn)的過程如下：registryrequestcreate indexservice instanceinstance (entrytype)servicegroupentry locatorcontentmember locatorgshcontent 服務(wù)激活(activate)時(shí)自動(dòng)發(fā)出注冊(cè)請(qǐng)求 配置方法： 增加registrypublishprovider 指明注冊(cè)配置文件，即服務(wù)的contentservice auto-regi

25、stry(cont.) ce:host 60000 service registry(cont.)第二種注冊(cè)方式是手工注冊(cè)：指明服務(wù)的gsh及服務(wù)的描述文件service registry(cont.)服務(wù)信息查詢與服務(wù)方法調(diào)用： 通過獲取index service的entry服務(wù)數(shù)據(jù)，就可獲取所有已注冊(cè)服務(wù)的相關(guān)信息。service data managementsubscription/notificationthe purpose of notification is to deliver interesting messages from a notification source t

26、o a notification sink.a notification source is a grid service instance that implements the notificationsource porttype, and is the sender of notification messages. a source may be able to send notification messages to any number of sinks. a notification sink is a grid service instance that receives

27、notification messages from any number of sources. a sink must implement the notificationsink porttype, which allows it to receive notification messagesa notification message is an xml element sent from a notification source to a notification sink. the xml type of that element is determined by the su

28、bscription expression.subscription/notification1.1.addlisteneraddlistener: this call subscribes the calling client to a particular sde (which is specified in the call) 2.2.notifychangenotifychange: whenever a change happens, the mathservice instance will ask the sde to notify its subscribers. 3.3.delivernotificationdelivernotificat