科學(xué)數(shù)據(jù)網(wǎng)格進展課件

科學(xué)數(shù)據(jù)網(wǎng)格進展中科院計算機網(wǎng)絡(luò)信息中心周維2005.11科學(xué)數(shù)據(jù)網(wǎng)格進展中科院計算機網(wǎng)絡(luò)信息中心背景介紹科學(xué)數(shù)據(jù)網(wǎng)格應(yīng)用服務(wù)介紹背景介紹立項:863支持的“高性能計算機與核心軟件”重大專項的應(yīng)用網(wǎng)格項目（2002－2005）;主要基礎(chǔ):科學(xué)數(shù)據(jù)網(wǎng)格的建設(shè)以中國科學(xué)院科學(xué)數(shù)據(jù)庫;目的:是科學(xué)數(shù)據(jù)庫數(shù)據(jù)資源的基礎(chǔ)上，通過網(wǎng)格計算的相關(guān)技術(shù)，特別是數(shù)據(jù)網(wǎng)格技術(shù)，促進科學(xué)數(shù)據(jù)庫中大量分布式異構(gòu)數(shù)據(jù)資源的共享，并在此基礎(chǔ)上開發(fā)對科學(xué)研究有直接實用意義的應(yīng)用系統(tǒng)

科學(xué)數(shù)據(jù)網(wǎng)格項目背景介紹(一)科學(xué)數(shù)據(jù)網(wǎng)格項目背景介紹(一)組成：網(wǎng)格信息服務(wù)系統(tǒng)科學(xué)數(shù)據(jù)網(wǎng)格數(shù)據(jù)訪問服務(wù)科學(xué)數(shù)據(jù)網(wǎng)格存儲服務(wù)開發(fā)的一些實用的工具，如：通用數(shù)據(jù)管理工具、數(shù)據(jù)目錄管理工具、數(shù)據(jù)量統(tǒng)計工具、通用元數(shù)據(jù)管理工具、訪問控制工具等。主要研究內(nèi)容：構(gòu)造科學(xué)數(shù)據(jù)網(wǎng)格的系統(tǒng)平臺;開發(fā)科學(xué)數(shù)據(jù)網(wǎng)格所必需的中間件軟件;開發(fā)科學(xué)數(shù)據(jù)網(wǎng)格的示范應(yīng)用系統(tǒng)(包括:虛擬天文臺)，并在這些研究工作成果的基礎(chǔ)上，提出一種科學(xué)研究領(lǐng)域的網(wǎng)格應(yīng)用框架，爭取成為領(lǐng)域內(nèi)的網(wǎng)格應(yīng)用標(biāo)準(zhǔn)?？茖W(xué)數(shù)據(jù)網(wǎng)格項目背景介紹(二)組成：主要研究內(nèi)容：科學(xué)數(shù)據(jù)網(wǎng)格項目背景介紹(二)科學(xué)數(shù)據(jù)網(wǎng)格主要軟硬件環(huán)境硬件超級數(shù)據(jù)服務(wù)器（已安裝）海量存儲系統(tǒng)（已安裝）磁帶庫系統(tǒng)（正在采購）外聯(lián)交換機（正在采購）軟件數(shù)據(jù)庫管理系統(tǒng)（正在采購）并行數(shù)據(jù)庫管理系統(tǒng)（正在采購）數(shù)據(jù)備份軟件（正在采購）科學(xué)數(shù)據(jù)網(wǎng)格主要軟硬件環(huán)境硬件超級數(shù)據(jù)服務(wù)器－深騰6800259個結(jié)點（4-way安騰2）；20TB盤陣；2Gbps網(wǎng)絡(luò)出口超級數(shù)據(jù)服務(wù)器－深騰6800259個結(jié)點（4-way安騰超級數(shù)據(jù)服務(wù)器－深騰68001PC機群系統(tǒng)IA64結(jié)點總數(shù)59個每CPU內(nèi)存2GB以上每結(jié)點局部存儲73GB以上每結(jié)點具備千兆以太網(wǎng)端口總計算能力達(dá)1TFLOPS對外網(wǎng)絡(luò)連接2Gbps支持主流并行數(shù)據(jù)庫支持Linux和Windows超級數(shù)據(jù)服務(wù)器－深騰68001PC機群系統(tǒng)超級數(shù)據(jù)服務(wù)器－深騰680032個數(shù)據(jù)庫服務(wù)結(jié)點并行Oracle10G數(shù)據(jù)庫2個文件/存儲服務(wù)結(jié)點基于GSI的FTP服務(wù)器文件I/O結(jié)點22個外部結(jié)點（應(yīng)用服務(wù)結(jié)點）SQLServer、Mysql數(shù)據(jù)庫等Apache、Tomcat、IIS等GT3運行環(huán)境等超級數(shù)據(jù)服務(wù)器－深騰680032個數(shù)據(jù)庫服務(wù)結(jié)點科學(xué)數(shù)據(jù)網(wǎng)格應(yīng)用服務(wù)介紹科學(xué)數(shù)據(jù)網(wǎng)格存儲服務(wù)2.科學(xué)數(shù)據(jù)網(wǎng)格信息服務(wù)3.科學(xué)數(shù)據(jù)網(wǎng)格數(shù)據(jù)訪問服務(wù)科學(xué)數(shù)據(jù)網(wǎng)格應(yīng)用服務(wù)介紹科學(xué)數(shù)據(jù)網(wǎng)格存儲服務(wù)科學(xué)數(shù)據(jù)中心存儲軟硬件環(huán)境6800NodeSAN存儲設(shè)備Oracle10G磁帶庫科學(xué)數(shù)據(jù)中心存儲服務(wù)文件存儲服務(wù)數(shù)據(jù)庫服務(wù)科學(xué)數(shù)據(jù)網(wǎng)格存儲服務(wù)部分科學(xué)數(shù)據(jù)中心存儲軟硬件環(huán)境科學(xué)數(shù)據(jù)網(wǎng)格存儲服務(wù)部分海量存儲系統(tǒng)(一)數(shù)據(jù)中心的在線存儲系統(tǒng)采取基于存儲網(wǎng)絡(luò)（SAN）的磁盤陣列系統(tǒng)。其他節(jié)點采取直接連接服務(wù)器的磁盤陣列;存儲科學(xué)數(shù)據(jù)，為科學(xué)數(shù)據(jù)庫提供數(shù)據(jù)存儲空間。海量存儲系統(tǒng)(一)數(shù)據(jù)中心的在線存儲系統(tǒng)采取基于存儲網(wǎng)絡(luò)（海量存儲系統(tǒng)(二)Brocade3900FibreSwitchSAN結(jié)構(gòu)全光纖磁盤陣列裸存儲容量20TB持續(xù)數(shù)據(jù)傳輸率（讀/寫）不小于2GB/s支持RAID5全雙工冗余海量存儲系統(tǒng)(二)Brocade3900FibreSw磁帶庫系統(tǒng)正在采購提供數(shù)據(jù)備份服務(wù)（備份在線存儲系統(tǒng)數(shù)據(jù)）完全備份增量備份性能最大存儲容量15TB以上持續(xù)數(shù)據(jù)傳輸率150MB/s以上驅(qū)動器數(shù)目不小于10個磁帶容量不小于100GB磁帶庫系統(tǒng)正在采購軟件系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)SQLServerEnterprise2000(64bit)正在采購并行數(shù)據(jù)庫管理系統(tǒng)Oracle10gRACforIA64(8CPU)正在采購數(shù)據(jù)備份軟件Veritas等正在選型軟件系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)GSI安全框架科學(xué)數(shù)據(jù)中心存儲服務(wù)架構(gòu)圖存儲系統(tǒng)（StorageSystem）操作系統(tǒng)（OS）其它服務(wù)數(shù)據(jù)庫服務(wù)上網(wǎng)服務(wù)文件服務(wù)用戶備份GSI科學(xué)數(shù)據(jù)中心存儲服務(wù)架構(gòu)圖存儲系統(tǒng)（StorageS文件存儲服務(wù)(一)為給各建庫單位提供安全而有效的數(shù)據(jù)存儲服務(wù)，并且提供數(shù)據(jù)存儲管理功能以及配額管理功能。用途存儲科學(xué)數(shù)據(jù)存儲資源缺乏的建庫單位數(shù)據(jù)備份需要大數(shù)據(jù)量備份工具SSTools、Ftp文件存儲服務(wù)(一)為給各建庫單位提供安全而有效的數(shù)據(jù)存儲服務(wù)文件存儲服務(wù)(二)數(shù)據(jù)提供/服務(wù)方式遠(yuǎn)程數(shù)據(jù)傳輸基于GSI的FTP上傳機制（SSTools）本地數(shù)據(jù)傳輸光盤硬盤其它遠(yuǎn)程方式協(xié)作方式EmailFTP共享目錄10月初提供服務(wù)所有上述各種方式文件存儲服務(wù)(二)數(shù)據(jù)提供/服務(wù)方式數(shù)據(jù)庫服務(wù)(一)為科學(xué)數(shù)據(jù)庫（各建庫單位）提供安全而有效的數(shù)據(jù)庫服務(wù)。用途提供數(shù)據(jù)存儲服務(wù)提供數(shù)據(jù)庫服務(wù)接口日常備份（磁帶庫）數(shù)據(jù)庫種類（不斷增長）OracleSQLServerMySQL……數(shù)據(jù)庫服務(wù)(一)為科學(xué)數(shù)據(jù)庫（各建庫單位）提供安全而有效的數(shù)數(shù)據(jù)庫服務(wù)(二)數(shù)據(jù)提供方式遠(yuǎn)程數(shù)據(jù)傳輸（SSTools）本地數(shù)據(jù)庫導(dǎo)入光盤硬盤協(xié)作方式文件存儲服務(wù)（上載數(shù)據(jù)）數(shù)據(jù)中心管理人員導(dǎo)入數(shù)據(jù)服務(wù)方式提供數(shù)據(jù)庫接口Oracle－1521端口MySQL－3306端口提供數(shù)據(jù)庫備份接口10月份提供服務(wù)Oracle10GSQLServer數(shù)據(jù)庫服務(wù)(二)數(shù)據(jù)提供方式科學(xué)數(shù)據(jù)中心文件存儲服務(wù)(二)數(shù)據(jù)中心基于GSI的FTP服務(wù)器SAN1122331-遠(yuǎn)程數(shù)據(jù)傳輸2-協(xié)同工作3-本地數(shù)據(jù)傳輸用戶數(shù)據(jù)中心管理人員科學(xué)數(shù)據(jù)中心文件存儲服務(wù)(二)數(shù)據(jù)中心基于GSI的SAN11科學(xué)數(shù)據(jù)網(wǎng)格信息服務(wù)目的:

實現(xiàn)科學(xué)數(shù)據(jù)網(wǎng)格信息的集中高效管理提供數(shù)據(jù)網(wǎng)格資源狀態(tài)信息提供數(shù)據(jù)資源的元數(shù)據(jù)信息。

科學(xué)數(shù)據(jù)網(wǎng)格信息服務(wù)目的:服務(wù)信息注冊權(quán)限的獲取服務(wù)信息注冊地址：/srvReg服務(wù)信息注冊采用密碼認(rèn)證方式各建庫單位的初始密碼申請請發(fā)簽名email至ims@，請未申請證書或?qū)ψC書的使用不了解的單位與科學(xué)數(shù)據(jù)庫CA中心聯(lián)系服務(wù)信息注冊權(quán)限的獲取服務(wù)信息注冊地址：http://ims科學(xué)數(shù)據(jù)網(wǎng)格進展課件科學(xué)數(shù)據(jù)網(wǎng)格進展課件資源（數(shù)據(jù)、服務(wù)）信息的查詢服務(wù)信息查詢SdgFinder的地址/一般查詢特色查詢資源（數(shù)據(jù)、服務(wù)）信息的查詢服務(wù)信息查詢SdgFinder的科學(xué)數(shù)據(jù)網(wǎng)格進展課件科學(xué)數(shù)據(jù)網(wǎng)格進展課件科學(xué)數(shù)據(jù)網(wǎng)格

數(shù)據(jù)訪問服務(wù)系統(tǒng)

（DAS2.0）科學(xué)數(shù)據(jù)網(wǎng)格

數(shù)據(jù)訪問服務(wù)系統(tǒng)

（DAS2.0）數(shù)據(jù)訪問服務(wù)數(shù)據(jù)訪問服務(wù)是一個符合OGSA定義的網(wǎng)格服務(wù)。訪問異構(gòu)數(shù)據(jù)庫的接口是一致的。用戶不需要關(guān)心專業(yè)子庫使用的數(shù)據(jù)庫管理系統(tǒng)、操作系統(tǒng)和平臺的技術(shù)細(xì)節(jié)，通過數(shù)據(jù)訪問服務(wù)統(tǒng)一的接口就可以訪問專業(yè)子庫，按照用戶的要求獲取滿足條件的數(shù)據(jù)。DAS介于數(shù)據(jù)用戶和物理數(shù)據(jù)庫系統(tǒng)之間，對物理數(shù)據(jù)庫進行封裝后，對外提供數(shù)據(jù)訪問的網(wǎng)格服務(wù)接口。支持的關(guān)系數(shù)據(jù)庫管理系統(tǒng)的類型包括：Oracle8、Oracle9i、SQLServer2000、Mysql4MySQLSQLServerOracle數(shù)據(jù)訪問服務(wù)(DAS)用戶用戶用戶數(shù)據(jù)訪問服務(wù)數(shù)據(jù)訪問服務(wù)是一個符合OGSA定義的網(wǎng)格服務(wù)。訪系統(tǒng)結(jié)構(gòu)示意圖數(shù)據(jù)訪問服務(wù)接口虛擬數(shù)據(jù)庫物理數(shù)據(jù)庫映射工具MappingBuilderDataView系統(tǒng)結(jié)構(gòu)示意圖數(shù)據(jù)訪問服務(wù)接口虛擬數(shù)據(jù)庫物理數(shù)據(jù)庫映射工具D數(shù)據(jù)訪問網(wǎng)格服務(wù)的使用通用Web檢索前端DataViewDAS網(wǎng)格服務(wù)的客戶端通過調(diào)用網(wǎng)格服務(wù)訪問數(shù)據(jù)庫資源。建庫單位或最終用戶，基于DAS網(wǎng)格服務(wù)開發(fā)應(yīng)用系統(tǒng)。數(shù)據(jù)訪問網(wǎng)格服務(wù)的使用通用Web檢索前端DataView服務(wù)信息的注冊服務(wù)信息的注冊最終用戶怎么用？1a.查詢與××相關(guān)的數(shù)據(jù)庫的信息1b.返回符合條件的數(shù)據(jù)庫的GSH2a.請求元數(shù)據(jù)服務(wù)2b.返回數(shù)據(jù)庫結(jié)構(gòu)信息3a.用戶提交查詢請求（sql等）3b.數(shù)據(jù)服務(wù)與數(shù)據(jù)庫交互3c.返回XML格式的查詢結(jié)果給用戶注冊服務(wù)SDGFinder元數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)用戶關(guān)系數(shù)據(jù)庫SOAP/HTTPAPIinteractions/sdgfinder

最終用戶怎么用？1a.查詢與××相關(guān)的數(shù)據(jù)庫的信息1b.返回科學(xué)數(shù)據(jù)網(wǎng)格進展課件科學(xué)數(shù)據(jù)網(wǎng)格進展課件能幫建庫單位解決什么問題呢？靈活定制檢索系統(tǒng)，滿足您的需求訪問控制可設(shè)置哪些數(shù)據(jù)表、哪些字段可以訪問補充和豐富元數(shù)據(jù)信息，數(shù)據(jù)規(guī)范化可添加或修改數(shù)據(jù)庫、表、字段的中英文名稱和描述信息等檢索系統(tǒng)的需求可設(shè)置檢索字段、概要顯示字段、詳細(xì)顯示字段多表結(jié)構(gòu)，可以添加表間約束條件。能幫建庫單位解決什么問題呢？靈活定制檢索系統(tǒng)，滿足您的需求科學(xué)數(shù)據(jù)網(wǎng)格進展課件科學(xué)數(shù)據(jù)網(wǎng)格進展課件科學(xué)