虛擬天文臺數(shù)據(jù)訪問客戶端設計與實現(xiàn)

1、虛擬天文臺數(shù)據(jù)訪問客戶端設計與實現(xiàn)楊陽指導老師：趙永恒研究員、崔辰州副研究員 2022-3-9碩士論文答辯2主要內容u 論文研究的背景u 論文研究的主要內容 GUI客戶端 命令行客戶端 系統(tǒng)應用：科學應用范例 系統(tǒng)集成與部署u總結與展望2022-3-9碩士論文答辯3主要內容u 論文研究的背景u 論文研究的主要內容 GUI客戶端 命令行客戶端 系統(tǒng)應用：科學應用范例 系統(tǒng)集成與部署u總結與展望2022-3-9碩士論文答辯4論文研究的背景虛擬天文臺 -天文觀測技術和計算機技術發(fā)展的產物 - 通過先進的信息技術將全球范圍內的研究資源 無縫透明連接在一起形成的數(shù)據(jù)密集型網(wǎng)絡化 天文研究與科普教育平臺。

2、 - 特征：整合天文服務資源 聯(lián)合不同的天文數(shù)據(jù) 提供各種天文服務 資源共享促進天文學的研究和普及2002年6月成立國際虛擬天文臺聯(lián)盟（IVOA）2022-3-9碩士論文答辯5論文研究的背景中國虛擬天文臺（China - VO） - 2002年誕生，同年10月加入IVOA - 發(fā)展：VO-enable LAMOST e-science - 天文應用工具：SkyMouse：桌面天文信息搜索 FitHAS：FITS文件頭入庫 VO-DAS：異地異構海量數(shù)據(jù)訪問2022-3-9碩士論文答辯6論文研究的背景VODAS（Virtual Observatory Data Access Service） -

3、 天文數(shù)據(jù)：分布性、異構性和海量的數(shù)據(jù)訪問 - 2006年5月提出設計VO-DAS - 在虛擬天文臺環(huán)境下 、在網(wǎng)格中間件 OGSA-DAI的基礎 上設計開發(fā)一套符合國際虛擬天文臺聯(lián)盟標準的數(shù)據(jù)訪 問系統(tǒng) - 目的：實現(xiàn)異地異構海量數(shù)據(jù)資源的訪問 - 功能：交叉證認和聯(lián)合查詢 星表、圖像、光譜 一次訪問上百萬條記錄 多種數(shù)據(jù)存儲格式：CSV、ASCII、VOTable2022-3-9碩士論文答辯7論文研究的背景-VO-DAS的服務發(fā)布接口 四大類接口： RMI：資源元數(shù)據(jù)接口 DQI：數(shù)據(jù)查詢接口 DAI：數(shù)據(jù)存取接口 MI：管理接口接口僅供程序使用，一般用戶難 以直接訪問VO-DAS體系結構

4、1）VO-DAS必須要有與之相適應的客戶端供用戶訪問異地異構海量數(shù)據(jù)資源2022-3-9碩士論文答辯8論文研究的背景VO-DAS客戶端 - 數(shù)據(jù)訪問客戶端的現(xiàn)狀 美國Open SkyQuery：只提供Web客戶端、同步查詢 一次訪問最多5000條記錄 SDSS的casjob服務：只提供異步查詢，分配給用戶的空 間有限，非異地查詢功能 查詢方式 訪問數(shù)據(jù)量 數(shù)據(jù)資源 用戶群2）基于VO-DAS的客戶端要解決目前存在 的這些問題2022-3-9碩士論文答辯9論文研究的背景- VODAS的三種客戶端： GUI：圖形界面，易學易用，適合初級用戶 命令行客戶端：命令行方式，適合高級用戶 Web客戶端：不

5、需安裝客戶端即可使用 擴大了VO-DAS的用戶群，發(fā)揮了VO-DAS的能力 2022-3-9碩士論文答辯10主要內容u 論文研究的背景u 論文研究的主要內容- GUI客戶端- 命令行客戶端- 系統(tǒng)應用：科學應用范例- 系統(tǒng)集成與部署u 總結與展望2022-3-9碩士論文答辯11GUI客戶端特點： 所有的操作以圖形界面的方式與用戶交互 適合低頻率的數(shù)據(jù)訪問 適合小數(shù)據(jù)量的查詢 可與其它VO工具交互協(xié)同操作 2022-3-9碩士論文答辯12GUI客戶端-總體結構 GUI客戶端設計圖2022-3-9碩士論文答辯13GUI客戶端-設計工作流程：異步方式、同步方式 - 異步方式 客戶端請求連接獲取元數(shù)據(jù)

6、提交異步查詢讀取系統(tǒng)信息監(jiān)控處理任務完成，下載數(shù)據(jù)寫磁盤操作退出異步方式工作流程2022-3-9碩士論文答辯14GUI客戶端-設計- 同步方式 客戶端請求連接獲取元數(shù)據(jù)提交同步查詢讀取系統(tǒng)信息等待數(shù)據(jù)返回與其它VO工具交互數(shù)據(jù)分析處理同步方式工作流程2022-3-9碩士論文答辯15GUI客戶端-設計- 兩種方式異同 同：查詢任務描述（ADQL） 數(shù)據(jù)存儲格式（ASCII、VOTabl、FITS、 GZIP） 異：查詢請求方式 結果數(shù)據(jù)處理 異步 直接保存 同步 保存/互操作2022-3-9碩士論文答辯16GUI客戶端-設計結果數(shù)據(jù)處理（同步） - PLASTIC（Platform for As

7、tronomy Tool InterConnection） 天文桌面應用工具之間的通訊協(xié)議 解決VO工具之間的互操作問題 PLASTIC HUB PLASTIC MESSAGE2022-3-9碩士論文答辯17GUI客戶端-設計 - 結果數(shù)據(jù)處理時序VO-DAS與TOPCAT交互操作示意圖2022-3-9碩士論文答辯18GUI客戶端-設計 監(jiān)控模塊 - 實時監(jiān)控服務器的作業(yè)，從而對客戶端信息進行處理 - 流程監(jiān)控流程控制圖2022-3-9碩士論文答辯19GUI客戶端-設計 獲取元數(shù)據(jù) - 元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù) - 給用戶編輯查詢任務提供參考 - 過程 請求數(shù)據(jù)資源（GetAllResource

8、） 解析返回的資源XML字符串 請求表信息（GetMetaTable） 解析返回表的XML字符串 請求表列信息(GetMetaColumn) 解析表列的XML字符串 - 樹形結點方式顯示2022-3-9碩士論文答辯20GUI客戶端-實現(xiàn)主界面ADQL編輯區(qū)元數(shù)據(jù)顯示監(jiān)控GUI客戶端主界面2022-3-9碩士論文答辯21GUI客戶端-小結 GUI客戶端是VODAS客戶端的一種形式 設計遵循初級用戶簡單易用的原則 以圖形界面的方式實現(xiàn)： 元數(shù)據(jù)獲取、同步/異步查詢 結果數(shù)據(jù)處理（同步）、監(jiān)控處理（異步）2022-3-9碩士論文答辯22主要內容u 論文背景和意義u 論文的主要內容 GUI客戶端 命令

9、行客戶端 系統(tǒng)集成與部署 系統(tǒng)應用：科學應用范例u總結與展望2022-3-9碩士論文答辯23命令行客戶端特點： 所有的操作以命令的方式與用戶交互 可以嵌入用戶自己的程序中 適合高頻率批量的數(shù)據(jù)訪問 2022-3-9碩士論文答辯24命令行客戶端-設計總體結構： Linux或Windows環(huán)境下的shell或bat命令 后臺調用服務器接口的java程序2022-3-9碩士論文答辯25命令行客戶端-設計命令行客戶端設計圖2022-3-9碩士論文答辯26命令行客戶端-設計工作流程 - 異步方式 發(fā)起異步請求連接服務器獲取任務狀態(tài)提交任務獲取結果數(shù)據(jù)地址下載數(shù)據(jù)異步方式工作流程2022-3-9碩士論文答

10、辯27命令行客戶端-設計- 同步方式發(fā)起同步請求連接服務器等待結果數(shù)據(jù)提交任務返回結果數(shù)據(jù)同步方式工作流程2022-3-9碩士論文答辯28命令行客戶端-設計命令部分 - 與用戶直接交互的部分 - 分別用Shell腳本和批處理環(huán)境實現(xiàn)一套操作命令 - 實現(xiàn)流程：命令實現(xiàn)流程2022-3-9碩士論文答辯29命令行客戶端-設計后臺部分 - 接收前臺提交的數(shù)據(jù)，按照服務器接口標準予以轉換， 并調用服務器接口。 與GUI客戶端的異同： 同：對服務器接口的操作必須經(jīng)由連接生成Session 異：命令行用戶每請求一次，連接一次；GUI用戶則 只連接一次 命令行服務器地址等配置信息存放于文件；GUI 則不是。

11、 命令行以XML文本顯示元數(shù)據(jù)信息；GUI以樹形結 構顯示2022-3-9碩士論文答辯30命令行客戶端-實現(xiàn)后臺程序實現(xiàn) 實現(xiàn)一組支持客戶端的請求操作類名說明Class Commands_main主類，所有命令的入口Class Connect連接服務器Class MetaData獲取并格式化元數(shù)據(jù)Class SynQ同步查詢Class AsynQ異步查詢Class Help幫助2022-3-9碩士論文答辯31命令行客戶端-實現(xiàn) 命令接口 命令名說明md獲取元數(shù)據(jù)Syn提交同步查詢任務Asyn提交異步查詢任務Jobstatus得到任務的狀態(tài)Dataurl獲取異步提交任務執(zhí)行結果保存地址desto

12、ry銷毀服務器上任務2022-3-9碩士論文答辯32命令行客戶端-實現(xiàn)應用： asyn.sh f adqlSample 0 ftp:/vodas:vodas22/test/vodas.dat Session2022-3-9碩士論文答辯33命令行客戶端2022-3-9碩士論文答辯34命令行客戶端-小結 以命令的方式提交用戶請求 適合高級用戶海量數(shù)據(jù)的查詢要求 實現(xiàn)包含兩部分：前臺命令、后臺程序GUI命令行工作方式Pushpull開發(fā)者復雜簡單用戶簡單復雜GUI與命令行比較2022-3-9碩士論文答辯35主要內容u 論文背景和意義u 論文的主要內容 GUI客戶端 命令行客

13、戶端 系統(tǒng)應用：科學應用范例 系統(tǒng)集成與部署u 總結與展望2022-3-9碩士論文答辯36科學應用范例 目的： 用星流的運動軌跡研究銀河系的引力勢 在星流的運動軌道上，我們選取一類距離最容易確定的恒星即BHB星（藍水平分支星）來估算引力勢。 確定包含BHB星所在的A型星區(qū)域。由于A型星中的BHB星會受到BS星（藍離散星）的干擾，然后就需要分離出BS星來得到BHB星。將這些BHB星用工具將其可視化即可估算出BHB星的運動軌跡，從而可以進一步分析出銀河系的引力勢。2022-3-9碩士論文答辯37科學應用范例 應用步驟： ）構造ADQL表達式，在GUI客戶端查找包含BHB星所在A 型星 2）確保TO

14、PCAT運行并啟動內置PLASTIC 3）將查詢返回結果直接發(fā)送到TOPCAT 4）在TOPCAT中構建表達式從A型星中篩選出BHB型 5）求出BHB星的距離，進行坐標轉換 6）可視化3D圖，估算運動軌跡。 從而進一步求出銀河系的引力勢2022-3-9碩士論文答辯38科學范例GUI客戶端同步查詢結果 2022-3-9碩士論文答辯39科學應用范例科學范例3D可視化2022-3-9碩士論文答辯40主要內容u 論文背景和意義u 論文的主要內容 GUI客戶端 命令行客戶端 系統(tǒng)應用：科學應用范例 系統(tǒng)集成與部署u 總結與展望2022-3-9碩士論文答辯41系統(tǒng)集成與部署- 數(shù)據(jù)結點配置工具- VO-D

15、AS系統(tǒng)的集成2022-3-9碩士論文答辯42數(shù)據(jù)結點配置工具 傳統(tǒng)的數(shù)據(jù)資源共享方式專業(yè)性強而繁雜 數(shù)據(jù)結點配置工具解決數(shù)據(jù)資源的共享問題2022-3-9碩士論文答辯43數(shù)據(jù)結點配置工具總體結構數(shù)據(jù)結點配置工具模塊圖2022-3-9碩士論文答辯44數(shù)據(jù)結點配置工具工作流程 初始化資源部署訪問數(shù)據(jù)庫元數(shù)據(jù)顯示配置元數(shù)據(jù)生成文件2022-3-9碩士論文答辯45數(shù)據(jù)結點配置工具OGSA-DAI資源部署 - ANT：Java工程自動化構建、部署工具 - OGSA-DAI使用ANT實現(xiàn)資源部署 命令行 圖形界面 - java編程調用ANT實現(xiàn)OGSA-DAI圖形界面的資源部署過程2022-3-9碩士論

16、文答辯46數(shù)據(jù)結點配置工具數(shù)據(jù)庫訪問 - JDBC：Java數(shù)據(jù)庫連接應用程序接口簡稱，提供一套 數(shù)據(jù)庫編程API - 實現(xiàn)訪問已部署資源的數(shù)據(jù)庫的元數(shù)據(jù)客戶端/服務器的應用2022-3-9碩士論文答辯47數(shù)據(jù)結點配置工具元數(shù)據(jù)配置元數(shù)據(jù)文件2022-3-9碩士論文答辯48數(shù)據(jù)結點配置工具主界面數(shù)據(jù)結點配置工具主界面資源部署元數(shù)據(jù)顯示元數(shù)據(jù)配置2022-3-9碩士論文答辯49VO-DAS系統(tǒng)的集成VO-DAS系統(tǒng)的組成VO-DAS Data NodeVO Registry Storage ServerClientVO-DAS系統(tǒng)關聯(lián)圖2022-3-9碩士論文答辯50VO-DAS系統(tǒng)的集成部署步

17、驟 1）VO-DAS Server：部署VO-DAS的gar包及其配置文件 2）Data Node：運行數(shù)據(jù)結點配置工具的jar包，經(jīng)資源 配置并最終生成么metadata.xml文件 3）VO Registry：將metadata.xml文件的URL注冊到VO Registry 4) Storage Server :支持AstroGrid提供的VOSpace，允許 指定FTP或GridFTP 5）Client：GUI，設置java_home并運行jar包 命令行，設置java_home和命令存放目錄 Web客戶端2022-3-9碩士論文答辯51VO-DAS系統(tǒng)的集成與部署-小結 數(shù)據(jù)結點配置工具：實現(xiàn)了便捷的數(shù)據(jù)共享方式 VO-DAS系統(tǒng)集成：用戶訪問VO-DAS系統(tǒng)必不可少 的工作2022-3-9碩士論文答辯52主要內容u 論文背景和意義u 論文的主要內容 GUI客戶端 命令行客戶端 系統(tǒng)集成與部署 系統(tǒng)應用：科學應用范例u 總結與展望2022-3-9碩士論文答辯53總結與展望總結 - 客戶端 GUI：適用初級用戶低頻率的數(shù)據(jù)查詢 命令行客戶端：適合高級用戶高頻率的數(shù)據(jù)訪問 - 科學應