單點數(shù)據(jù)資源的服務(wù)封裝

1、單點數(shù)據(jù)資源的服務(wù)封裝單點數(shù)據(jù)資源的服務(wù)封裝-數(shù)據(jù)訪問服務(wù)系統(tǒng)數(shù)據(jù)訪問服務(wù)系統(tǒng)(DAS)楊德婷2004-8-26預(yù)備知識 Open Grid Services Architecture (OGSA) Web Services Grid Services Globus Toolkit 主要內(nèi)容 數(shù)據(jù)訪問服務(wù)系統(tǒng)介紹 數(shù)據(jù)訪問服務(wù)系統(tǒng)的安裝、部署和配置 數(shù)據(jù)訪問服務(wù)系統(tǒng)的使用 自由討論科學(xué)數(shù)據(jù)庫的現(xiàn)狀 科學(xué)數(shù)據(jù)庫的特點 大規(guī)模：8.3TB 分布：全國16個城市的45個研究所 自治：數(shù)據(jù)庫的管理和使用 異構(gòu)：數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)庫系統(tǒng)、操作系統(tǒng) 跨多個學(xué)科領(lǐng)域：天文、地理、生物、化學(xué) 應(yīng)用需求？來自大家。

2、數(shù)據(jù)訪問服務(wù)系統(tǒng)的需求 發(fā)現(xiàn)數(shù)據(jù)庫：包含所需要的數(shù)據(jù)，并能解釋該數(shù)據(jù) 獲取數(shù)據(jù)的信息：數(shù)據(jù)分布在幾個異構(gòu)數(shù)據(jù)庫中 定位數(shù)據(jù)：數(shù)據(jù)分布在多個不同類型的數(shù)據(jù)庫中，其位置可能事先未知。 訪問數(shù)據(jù)：通過統(tǒng)一的接口 集成數(shù)據(jù)模型：分布的數(shù)據(jù)庫，不同的數(shù)據(jù)模型 集成數(shù)據(jù)：集成來自不同的數(shù)據(jù)源的數(shù)據(jù)，獲取需要的信息數(shù)據(jù)訪問服務(wù)系統(tǒng)的目標 通過網(wǎng)格，提供統(tǒng)一的數(shù)據(jù)訪問和集成的服務(wù)接口。 通過統(tǒng)一的接口，異構(gòu)數(shù)據(jù)庫被封裝為單一的邏輯數(shù)據(jù)庫。 數(shù)據(jù)訪問服務(wù)系統(tǒng)提供基本的操作，可以實現(xiàn)數(shù)據(jù)聯(lián)邦和分布式查詢，對用戶屏蔽數(shù)據(jù)庫驅(qū)動、數(shù)據(jù)格式和傳輸機制等技術(shù)細節(jié)。 通過基于網(wǎng)格的中間件，實現(xiàn)對數(shù)據(jù)資源的訪問和控制。 從而

3、，科學(xué)家可以從處理數(shù)據(jù)位置、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)傳輸和集成等技術(shù)問題中解脫出來，而關(guān)注在面向應(yīng)用的數(shù)據(jù)分析和處理上。數(shù)據(jù)訪問服務(wù)的含義 數(shù)據(jù)訪問服務(wù)，是由許多服務(wù)（Grid服務(wù)，Web服務(wù)等）有機組成的服務(wù)系統(tǒng)。 這些服務(wù)是數(shù)據(jù)庫系統(tǒng)（關(guān)系數(shù)據(jù)庫、文件型數(shù)據(jù)庫、XML數(shù)據(jù)庫等）的代理。 通過數(shù)據(jù)訪問服務(wù)系統(tǒng)，用戶訪問存儲在數(shù)據(jù)庫中的數(shù)據(jù)。用戶用戶用戶用戶用戶用戶關(guān)系數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫數(shù)據(jù)訪問數(shù)據(jù)訪問服務(wù)服務(wù)文件系統(tǒng)文件系統(tǒng)XML數(shù)據(jù)庫數(shù)據(jù)庫接口透明性:一個DAS支持多種數(shù)據(jù)庫類型 數(shù)據(jù)訪問服務(wù)系統(tǒng)：在科學(xué)數(shù)據(jù)庫范圍內(nèi)，定義和開發(fā)通用的數(shù)據(jù)訪問服務(wù)，實現(xiàn)對數(shù)據(jù)庫中數(shù)據(jù)的訪問和集成，以及對分布式環(huán)境中的數(shù)

4、據(jù)管理。 數(shù)據(jù)庫 關(guān)系數(shù)據(jù)庫 Oracle, MySQL, SQL Server, Foxpro, Access, Sybase, 文件型數(shù)據(jù)庫 Flat Files Binary Files數(shù)據(jù)訪問服務(wù)的范圍 基于內(nèi)容的數(shù)據(jù)發(fā)現(xiàn) 查詢和更新 元數(shù)據(jù)管理和變更 事務(wù) 分布式查詢和更新 通知 數(shù)據(jù)訪問服務(wù)系統(tǒng)架構(gòu)OracleMySQLSQLServerFileGridSrvDACDACDACDACWebSrvOthersGridWebOthersData Access Srvs.數(shù)據(jù)訪問服務(wù)系統(tǒng)V1.0的功能 數(shù)據(jù)庫：MySQL, Oracle，SQL Server 數(shù)據(jù)服務(wù) 元數(shù)據(jù)服務(wù) 數(shù)據(jù)查

5、詢服務(wù)數(shù)據(jù)訪問服務(wù)系統(tǒng)DAS V1.0結(jié)構(gòu)圖Search EngineGrid Service InterfaceGetMetadataGetDataMySQLGlobalSchemaLocalSchemaOracleSQL ServerUser Query ApplicationTransforming ProcessorMappingBuilderServiceManager數(shù)據(jù)訪問服務(wù)系統(tǒng)V1.0的軟件組成 Cactus 服務(wù)端部署工具 MappingBuilder Cactus 客戶端主要內(nèi)容 數(shù)據(jù)訪問服務(wù)系統(tǒng)介紹 數(shù)據(jù)訪問服務(wù)系統(tǒng)的安裝、部署和配置 數(shù)據(jù)訪問服務(wù)系統(tǒng)的使用 自由討論說

6、明 目前DAS系統(tǒng)尚處在內(nèi)部測試版階段，可能存在一些問題。 在使用該系統(tǒng)的過程中，請您把遇到的問題和意見及時反饋給我們，我們將進一步改進和完善。 謝謝您的理解和支持！服務(wù)端的安裝 操作系統(tǒng)：Windows 安裝JDK 1.4 安裝ANT 安裝Globus Toolkit 3.2 設(shè)置環(huán)境變量 %JAVA_HOME% %ANT_HOME% %path% = %path%; %JAVA_HOME%bin; %ANT_HOME%bin; %GLOBUS_LOCATION%服務(wù)端的安裝 拷貝lib目錄中文件到GLOBUS_LOCATIONlib目錄下 translator.jar common.jar

7、 cactus-client.jar 數(shù)據(jù)庫驅(qū)動 classes12.zip mysql-connector-java-2.0.14-bin.jar msbase.jar mssqlserver.jar msutil.jar 拷貝sdg目錄到GLOBUS_LOCATION目錄下服務(wù)端的部署(1) 新打開一個DOS窗口 進入GT3安裝目錄 cd %GLOBUS_LOCATION% 設(shè)置CLASSPATH： etcglobus-devel-env.bat 部署元數(shù)據(jù)服務(wù) ant deploy D=sdgsdg-cactus-metadata-Metadata.gar 部署數(shù)據(jù)訪問服

8、務(wù) ant deploy -D=sdgsdg-cactus-data-Data.gar 服務(wù)端的部署(2) 元數(shù)據(jù)服務(wù)的卸載 ant undeploy Dgar.id=sdg-cactus-metadata-Metadata 數(shù)據(jù)訪問服務(wù)的卸載 ant undeploy Dgar.id=sdg-cactus-data-Data 說明 如果需要重新部署服務(wù)，請先卸載原服務(wù)服務(wù)端的配置 解壓mappingbuilder.zip文件到本地 雙擊“Mappingbuilder.jar”，啟動MappingBuilder 注意：jar文件用javaw方式打開。服務(wù)端的配置1、選擇“物理數(shù)

9、據(jù)庫”面板，加載物理數(shù)據(jù)庫1）新建物理數(shù)據(jù)庫連接，請點擊“新建”按鈕；2）導(dǎo)入物理數(shù)據(jù)庫配置文件，請點擊“導(dǎo)入”按鈕；3）保存當前物理數(shù)據(jù)庫配置文件，請點擊“導(dǎo)出”按鈕。保存文件名為“l(fā)ocalschema.xml”新建數(shù)據(jù)庫連接導(dǎo)入物理數(shù)據(jù)庫配置文件導(dǎo)出物理數(shù)據(jù)庫配置信息服務(wù)端的配置 2、選擇“邏輯數(shù)據(jù)庫”面板1）新建邏輯數(shù)據(jù)庫，新建邏輯數(shù)據(jù)表，新建邏輯字段，請右鍵點擊根節(jié)點，選擇“新建”；2）導(dǎo)入邏輯數(shù)據(jù)庫配置文件，請點擊工具欄“導(dǎo)入”按鈕；3）保存當前邏輯數(shù)據(jù)庫配置文件，請點擊工具欄“導(dǎo)出”按鈕。保存文件名為“globalschema.xml”新建邏輯數(shù)據(jù)庫服務(wù)端的配置 3、字段映射 對

10、于一個邏輯數(shù)據(jù)庫，只能在一個物理數(shù)據(jù)庫中選取映射字段； 一個邏輯字段可以映射為多個物理數(shù)據(jù)表中的多個字段。服務(wù)端的配置 4、把MappingBuilder生成的localschema.xml和globalschema.xml文件拷貝到GLOBUS_LOCATIONsdg目錄下啟動服務(wù) 新打開一個DOS窗口 進入GT3安裝目錄 cd %GLOBUS_LOCATION% 設(shè)置CLASSPATH： etcglobus-devel-env.bat 運行命令binglobus-start-container -p 測試 新打開一個DOS窗口 進入GT3安裝目錄 cd %GLOBUS_LOCATION%

11、設(shè)置CLASSPATH： etcglobus-devel-env.bat 運行命令Java sdg.cactus.data.client.TestDBCC http:/:8080/ogsa/services/sdg/cactus/data/DataFactoryService “select ”主要內(nèi)容 數(shù)據(jù)訪問服務(wù)系統(tǒng)介紹 數(shù)據(jù)訪問服務(wù)系統(tǒng)的安裝、部署和配置 數(shù)據(jù)訪問服務(wù)系統(tǒng)的使用 自由討論數(shù)據(jù)訪問服務(wù)系統(tǒng)的使用 客戶端工具 Web瀏覽器 命令行 圖形界面 二次開發(fā)的方法和示例數(shù)數(shù)據(jù)據(jù)訪訪問問服服務(wù)務(wù)流流程程圖圖1a.查詢與查詢與相關(guān)的相關(guān)的數(shù)據(jù)庫的信息數(shù)據(jù)庫的信息1b.返回符合條件的返回符

12、合條件的數(shù)據(jù)庫的數(shù)據(jù)庫的GSH2a. 請求元數(shù)據(jù)服務(wù)請求元數(shù)據(jù)服務(wù)2b. 返回數(shù)據(jù)庫結(jié)構(gòu)返回數(shù)據(jù)庫結(jié)構(gòu)信息信息3a. 用戶提交查詢請求（用戶提交查詢請求（sql等）等）3b. 數(shù)據(jù)服務(wù)與數(shù)據(jù)庫交互數(shù)據(jù)服務(wù)與數(shù)據(jù)庫交互3c. 返回返回XML格式的查詢結(jié)果給用格式的查詢結(jié)果給用戶戶注冊服務(wù)注冊服務(wù)元數(shù)據(jù)服務(wù)元數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)用戶用戶關(guān)系數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫SOAP/HTTPAPI interactions數(shù)據(jù)訪問服務(wù)系統(tǒng)的使用 客戶端工具 Web瀏覽器 命令行 圖形界面 二次開發(fā)的方法和示例客戶端開發(fā)方法示例 客戶端開發(fā)包：client.jar Client API Void Init(Str

13、ing gsh, String databaseName) String querySDGQL (String strSDGQL) String nextBlock () String prevBlock () Boolean hasAny () String getBlockAt (int intBlockNum) Void setBlockSize (int intBlockSize) Int getCurBlockAmount () Boolean destroy ()Client.jsp主要內(nèi)容 數(shù)據(jù)訪問服務(wù)系統(tǒng)介紹 數(shù)據(jù)訪問服務(wù)系統(tǒng)的安裝、部署和配置 數(shù)據(jù)訪問服務(wù)系統(tǒng)的使用 自由討論數(shù)據(jù)訪問服務(wù)系統(tǒng)部署計劃 11月1日，數(shù)據(jù)訪問服務(wù)系統(tǒng)V1.0發(fā)布 11月1日30日，建庫單位進行數(shù)據(jù)訪問服務(wù)系統(tǒng)V1.0的安裝和部署 12月1日，建庫單位正式提供專業(yè)子庫的數(shù)據(jù)訪問服務(wù)對建庫單位的要求（1） Oracle、MySQL、SQL Server三類專業(yè)子庫提供數(shù)據(jù)訪問服務(wù) 結(jié)合此次培訓(xùn)，參考軟件配套文檔，安裝數(shù)據(jù)訪問服務(wù)系統(tǒng)V1.0，進行正確的配置，對Oracle、MySQL、SQL Server三類專業(yè)子庫提供數(shù)據(jù)訪問服務(wù)。 若不能提供服務(wù)，請說明原因。 其他類型數(shù)據(jù)暫不要求提供數(shù)據(jù)訪問服務(wù)。對建庫單位的要求（2） 提供專業(yè)子庫的數(shù)據(jù)量統(tǒng)計服務(wù) 已正常提供S