論文空間數(shù)據(jù)虛擬化的實現(xiàn)技術(shù)研究.doc

空間數(shù)據(jù)虛擬化的實現(xiàn)技術(shù)研究方金云中國科學(xué)院計算技術(shù)研究所 北京 100080摘要：空間數(shù)據(jù)庫是國家基礎(chǔ)設(shè)施的重要組成部分。但是由于空間數(shù)據(jù)的異構(gòu)性、商業(yè)性和壟斷性使空間數(shù)據(jù)的共享造成困難。本文提出了基于數(shù)據(jù)消費者、數(shù)據(jù)提供者和數(shù)據(jù)注冊中心三種角色的虛擬空間數(shù)據(jù)庫的概念，并闡明其多層體系結(jié)構(gòu)，分析了其存在的數(shù)據(jù)異構(gòu)和位置透明二個關(guān)鍵問題，并提出了數(shù)據(jù)模型同構(gòu)化技術(shù)、空間數(shù)據(jù)引擎技術(shù)、并行事務(wù)處理技術(shù)、數(shù)據(jù)動態(tài)綁定技術(shù)等六個方面的實現(xiàn)技術(shù)，它們在織女星虛擬空間數(shù)據(jù)庫軟件中得到實現(xiàn)。關(guān)鍵詞:虛擬空間數(shù)據(jù)庫 數(shù)據(jù)異構(gòu) 并行事務(wù)處理 動態(tài)地址綁定 數(shù)據(jù)注冊 織女星地理系統(tǒng)Abstract: Spatial Database is one of the important part in national spatial infrastructure. However spatial data sharing is very difficult since heterogeneity , productiveness and monopoly of the spatial data model . Virtual spatial database is proposed in this paper , in which three roles are divided into data provider , data consumer and data register, in order to improve the efficiency and security of the geo-informatics, and make spatial data better server for economics construction and social development. The 3 layers architecture and key implementation techniques , which is data model homogeneity ,spatial data engine, parallel transaction processing and dynamic address binding of the spatial database are expounded in this paper, which is adopted in the VegaSDB1. 引言作為占有人類數(shù)據(jù)80%以上的空間數(shù)據(jù)1，不僅是國家的戰(zhàn)略資源，也是人類共有的財富。目前，世界上已經(jīng)有5400多個大型空間數(shù)據(jù)庫在運行2，并且已有20多個國家制定了相應(yīng)的空間數(shù)據(jù)共享管理政策，國際空間數(shù)據(jù)組織利用國際互聯(lián)網(wǎng)，相繼構(gòu)建了世界天氣監(jiān)測網(wǎng)、全球資源信息數(shù)據(jù)庫、國際災(zāi)害信息資源網(wǎng)絡(luò)和國際海洋資料交換系統(tǒng)等，初步形成了全球尺度的空間數(shù)據(jù)交換體系。中國作為一個發(fā)展中大國，要想全方位、高層面地參與全球合作和競爭，就必須加強國家空間基礎(chǔ)設(shè)施建設(shè)。為此，實施空間數(shù)據(jù)共享，盡快形成良好的空間數(shù)據(jù)處理和服務(wù)環(huán)境，是有效支撐我國持續(xù)增強的空間競爭能力和發(fā)展水平的必備條件。然而，雖然國內(nèi)許多組織和單位都在生產(chǎn)空間數(shù)據(jù)，日趨完善的數(shù)據(jù)標(biāo)準(zhǔn)為空間數(shù)據(jù)共享也提供可能，但因數(shù)據(jù)庫技術(shù)不斷發(fā)展，多種數(shù)據(jù)庫系統(tǒng)（層次、網(wǎng)狀、關(guān)系、對象關(guān)系及面向?qū)ο髷?shù)據(jù)庫系統(tǒng)）長期共存是客觀現(xiàn)實；異構(gòu)空間數(shù)據(jù)模型（拓?fù)淠Ｐ?、要素模型）?lián)合使用是不爭事實。另外，同一種數(shù)據(jù)庫管理系統(tǒng)也具有不同版本。所以，在網(wǎng)絡(luò)環(huán)境下，數(shù)據(jù)異構(gòu)性的現(xiàn)象會長期存在下去。在數(shù)據(jù)庫領(lǐng)域解決不同數(shù)據(jù)庫之間的互操作問題采用分布式數(shù)據(jù)庫技術(shù)3。利用異構(gòu)同化，同構(gòu)整體化的思想，實現(xiàn)了分布式多空間數(shù)據(jù)庫系統(tǒng)4。本文提出了虛擬空間數(shù)據(jù)庫的概念，并討論了虛擬空間數(shù)據(jù)庫系統(tǒng)的角色、體系結(jié)構(gòu)、關(guān)鍵技術(shù)以及實際應(yīng)用。2. 虛擬空間數(shù)據(jù)庫及其數(shù)據(jù)角色2.1. 虛擬空間數(shù)據(jù)庫虛擬空間數(shù)據(jù)庫就是將物理上分布的各個空間數(shù)據(jù)庫形成一個全局唯一的數(shù)據(jù)視圖，但各數(shù)據(jù)庫具有自治性，并保有自己的應(yīng)用特性、完整性控制和安全性控制。對用戶屏蔽數(shù)據(jù)庫的異構(gòu)和位置的透明。虛擬空間數(shù)據(jù)庫既不是聯(lián)邦數(shù)據(jù)庫也不是分布式數(shù)據(jù)庫。2.2. 數(shù)據(jù)角色在虛擬空間數(shù)據(jù)庫中，空間數(shù)據(jù)在邏輯上可以分為三種角色（圖1）：數(shù)據(jù)消費者、數(shù)據(jù)提供者和數(shù)據(jù)注冊中心。數(shù)據(jù)注冊中心數(shù)據(jù)消費者發(fā)布數(shù)據(jù)請求查找數(shù)據(jù)提供GML數(shù)據(jù)描述數(shù)據(jù)通道數(shù)據(jù)提供者事務(wù)分解圖1. 虛擬空間數(shù)據(jù)庫邏輯結(jié)構(gòu)數(shù)據(jù)消費者是一個應(yīng)用程序或一個軟件模塊。它發(fā)起對注冊中心中的數(shù)據(jù)查詢和數(shù)據(jù)請求；數(shù)據(jù)消費者根據(jù)接口契約來執(zhí)行任務(wù)。從體系結(jié)構(gòu)的角度看，數(shù)據(jù)消費者使用數(shù)據(jù)的過程是尋找并調(diào)用服務(wù)器，或啟動與之交互的應(yīng)用程序；數(shù)據(jù)消費者角色可以由瀏覽器來擔(dān)當(dāng)，由人或無用戶界面的進程來控制它。傳統(tǒng)上，它稱為“客戶端”。對數(shù)據(jù)消費者而言數(shù)據(jù)是“集中”的。數(shù)據(jù)提供者是一個可通過網(wǎng)絡(luò)尋址的實體，它接受和執(zhí)行來自注冊中心的請求，并將結(jié)果通過數(shù)據(jù)通道返回給數(shù)據(jù)消費者；數(shù)據(jù)提供者可以是一組同構(gòu)或異構(gòu)空間數(shù)據(jù)庫；它必須將自己的數(shù)據(jù)和接口契約發(fā)布到數(shù)據(jù)注冊中心，以便數(shù)據(jù)消費者可以發(fā)現(xiàn)和訪問該數(shù)據(jù)；從企業(yè)的角度看，這是數(shù)據(jù)的所有者。從體系結(jié)構(gòu)的角度看，這是數(shù)據(jù)庫服務(wù)器。對數(shù)據(jù)提供者而言數(shù)據(jù)是分布在自己的手中，如果要提供給用戶使用就必須將數(shù)據(jù)“發(fā)布”到數(shù)據(jù)注冊中心中，從而形成一個虛擬空間數(shù)據(jù)庫。數(shù)據(jù)注冊中心是一個元數(shù)據(jù)庫和接口契約框架，也稱數(shù)據(jù)代理（Data Broker），它允許數(shù)據(jù)消費者查找數(shù)據(jù)提供者發(fā)布的數(shù)據(jù)和接口契約；是可搜索的數(shù)據(jù)描述注冊中心，數(shù)據(jù)提供者在此發(fā)布他們的數(shù)據(jù)描述；在執(zhí)行期間，數(shù)據(jù)消費者查找數(shù)據(jù)并獲得數(shù)據(jù)的在數(shù)據(jù)描述中的綁定信息。數(shù)據(jù)注冊中心還要接受數(shù)據(jù)消費者的數(shù)據(jù)請求，并將該請求分解為多個事務(wù)并通過數(shù)據(jù)引擎直接驅(qū)動各數(shù)據(jù)提供者，同時監(jiān)控事務(wù)的完成情況。3. 虛擬空間數(shù)據(jù)庫的體系結(jié)構(gòu)軟件體系結(jié)構(gòu)定義了組成系統(tǒng)的計算構(gòu)件和構(gòu)件之間的相互作用關(guān)系，它為軟件系統(tǒng)提供了一個結(jié)構(gòu)、行為和屬性的高級抽象，由構(gòu)成系統(tǒng)的元素的描述、這些元素的相互作用、指導(dǎo)元素集成的模式以及這些模式的約束組成。軟件體系結(jié)構(gòu)不僅指定了系統(tǒng)的組織結(jié)構(gòu)和拓?fù)浣Y(jié)構(gòu)，并且顯示了系統(tǒng)需求和構(gòu)成系統(tǒng)的元素之間的對應(yīng)關(guān)系。要實現(xiàn)分布數(shù)據(jù)的全局統(tǒng)一，或者是集成，就必須有一個邏輯的“數(shù)據(jù)庫”，所有數(shù)據(jù)的查詢通過這個數(shù)據(jù)庫來進行，所以虛擬空間數(shù)據(jù)庫是一個邏輯上三層的數(shù)據(jù)庫系統(tǒng)。即各個分布的數(shù)據(jù)庫系統(tǒng)構(gòu)成數(shù)據(jù)提供者，由數(shù)據(jù)引擎和元數(shù)據(jù)管理工具組成的數(shù)據(jù)注冊中心和由各客戶端構(gòu)成的數(shù)據(jù)消費者三層邏輯結(jié)構(gòu)組成（圖2）。消息中間件數(shù)據(jù)消費者數(shù)據(jù)提供者數(shù)據(jù)注冊中心消息中間件數(shù)據(jù)庫n。數(shù)據(jù)庫1空間數(shù)據(jù)引擎（CoSDE)元數(shù)據(jù)表管理空間數(shù)據(jù)引擎（CoSDE)圖2 織女星虛擬空間數(shù)據(jù)庫體系結(jié)構(gòu)空間元數(shù)據(jù)表里登記了各空間數(shù)據(jù)庫的地址信息、訪問信息、數(shù)據(jù)模型、數(shù)據(jù)表結(jié)構(gòu)及相互關(guān)系。數(shù)據(jù)注冊中心包括空間數(shù)據(jù)引擎，全局?jǐn)?shù)據(jù)管理器，分布式事務(wù)管理工具。全局?jǐn)?shù)據(jù)管理器包括元數(shù)據(jù)表管理和專題管理。4. 主要實現(xiàn)技術(shù)實現(xiàn)虛擬空間數(shù)據(jù)庫需要解決的兩個關(guān)鍵問題是數(shù)據(jù)異構(gòu)性和數(shù)據(jù)位置透明性。數(shù)據(jù)異構(gòu)性包括四個方面：（1）計算機體系結(jié)構(gòu)的異構(gòu) 數(shù)據(jù)庫系統(tǒng)可以運行在大型機、小型機、工作站、PC或嵌入式系統(tǒng)中，形成數(shù)據(jù)庫系統(tǒng)的異構(gòu)。 （2）操作系統(tǒng)的異構(gòu) 各數(shù)據(jù)庫系統(tǒng)的操作系統(tǒng)可以是Unix、Windows NT、 Linux等。 （3）數(shù)據(jù)庫系統(tǒng)的異構(gòu) 可以是關(guān)系型數(shù)據(jù)庫系統(tǒng)的Oracle、 SQL Server等，也可以是不同數(shù)據(jù)模型的數(shù)據(jù)庫，如關(guān)系、模式、層次、網(wǎng)絡(luò)、面向?qū)ο蟮葦?shù)據(jù)庫共同組成的異構(gòu)數(shù)據(jù)庫系統(tǒng)。 （4）數(shù)據(jù)模型的異構(gòu) 不同的空間數(shù)據(jù)模型建立的數(shù)據(jù)庫，如基于拓?fù)潢P(guān)系的數(shù)據(jù)模型，基于要素的數(shù)據(jù)模型，不同的標(biāo)準(zhǔn)下的數(shù)據(jù)模型等。數(shù)據(jù)庫位置透明是實現(xiàn)全局視圖的關(guān)鍵，主要包括二個方面：（1）分布式事務(wù)處理將一個獨立事務(wù)分解為多個事務(wù)，聯(lián)合執(zhí)行。（2）屏蔽數(shù)據(jù)地址將各個數(shù)據(jù)表在網(wǎng)絡(luò)中的位置，進行屏蔽。實現(xiàn)技術(shù)主要包括用于解決數(shù)據(jù)異構(gòu)的數(shù)據(jù)模型同構(gòu)化技術(shù)、數(shù)據(jù)引擎技術(shù)、數(shù)據(jù)模型注冊技術(shù)；用于屏蔽位置的數(shù)據(jù)地址動態(tài)綁定技術(shù)，和用于提高數(shù)據(jù)庫效率的并行事務(wù)處理技術(shù)等。4.1. 空間數(shù)據(jù)模型同構(gòu)化技術(shù)數(shù)據(jù)庫轉(zhuǎn)換工具可以實現(xiàn)不同數(shù)據(jù)庫系統(tǒng)之間的數(shù)據(jù)模型轉(zhuǎn)換，但對于空間數(shù)據(jù)模型，不同數(shù)據(jù)支持程度差別很大，另外如果數(shù)據(jù)庫轉(zhuǎn)換同時進行數(shù)據(jù)定義模式轉(zhuǎn)換和數(shù)據(jù)轉(zhuǎn)換，就可能引起同一數(shù)據(jù)集合在異構(gòu)數(shù)據(jù)庫系統(tǒng)中存在多個副本。如果數(shù)據(jù)庫轉(zhuǎn)換只進行數(shù)據(jù)模型轉(zhuǎn)換，不產(chǎn)生數(shù)據(jù)的副本，那么在新的目的數(shù)據(jù)庫定義模型的框架下訪問數(shù)據(jù)，實現(xiàn)上仍是對源數(shù)據(jù)庫系統(tǒng)中數(shù)據(jù)的訪問。這時利用新的數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)處理語言實現(xiàn)的事務(wù)，不能直接訪問源數(shù)據(jù)庫，必須進行事務(wù)級的翻譯才可以執(zhí)行。4.2. 數(shù)據(jù)模型標(biāo)準(zhǔn) SDTS 提供了一個轉(zhuǎn)換和存取空間數(shù)據(jù)的標(biāo)準(zhǔn)，它不依賴任何一種特定GIS軟件格式，利用頭文件描述格式的方式使得數(shù)據(jù)提供者不必專門提供格式說明，而數(shù)據(jù)消費者也不必專門學(xué)習(xí)該格式，只需讀取SDTS頭文件就可獲得數(shù)據(jù)提供者提供的數(shù)據(jù)格式。利用SDTS做數(shù)據(jù)標(biāo)準(zhǔn)，利用OGC作數(shù)據(jù)互操作的標(biāo)準(zhǔn)，也就是說利用SDTS提供的數(shù)據(jù)格式的頭文件，利用OGC標(biāo)準(zhǔn)提供的讀寫這個頭文件的標(biāo)準(zhǔn)方法，空間數(shù)據(jù)引擎按照SDTS存取空間數(shù)據(jù)，按照OGC標(biāo)準(zhǔn)對數(shù)據(jù)消費者提供操作接口，是空間數(shù)據(jù)同構(gòu)化的理想模式。4.3. 空間數(shù)據(jù)引擎和查詢語言解析在異構(gòu)數(shù)據(jù)系統(tǒng)中實現(xiàn)了數(shù)據(jù)的透明訪問，用戶就可以將異構(gòu)分布式數(shù)據(jù)庫系統(tǒng)看成普通的分布式數(shù)據(jù)庫系統(tǒng)，用自己熟悉的數(shù)據(jù)處理語言去訪問數(shù)據(jù)庫，如同訪問一個數(shù)據(jù)庫系統(tǒng)一樣。但目前還沒有一種廣泛使用的數(shù)據(jù)定義模型和數(shù)據(jù)查詢語言，實現(xiàn)數(shù)據(jù)的透明訪問需要采用數(shù)據(jù)引擎技術(shù)。數(shù)據(jù)引擎是數(shù)據(jù)庫接口適配技術(shù)、并行事務(wù)處理技術(shù)、執(zhí)行引擎等技術(shù)的綜合體。開放式數(shù)據(jù)庫互連（JDBC）是一種用來在相關(guān)或不相關(guān)的數(shù)據(jù)庫管理系統(tǒng)中存取數(shù)據(jù)的標(biāo)準(zhǔn)應(yīng)用程序接口（API）。它是解決數(shù)據(jù)庫接口適配的主要技術(shù)之一，為數(shù)據(jù)消費者提供了一套高層調(diào)用接口規(guī)范。目前，多數(shù)數(shù)據(jù)庫管理系統(tǒng)（如：Oracle、Sybase、SQL Server等）都提供了相應(yīng)的JDBC驅(qū)動程序。JDBC接口的最大優(yōu)點是其互操作能力，理想情況下，每個驅(qū)動程序和數(shù)據(jù)源應(yīng)支持完全相同的JDBC函數(shù)調(diào)用和SQL語句，使得JDBC應(yīng)用程序可以操作所有的數(shù)據(jù)庫系統(tǒng)。然而，實際上不同的數(shù)據(jù)庫對SQL語法的支持程度各不相同，對空間查詢語言GSQL的支持程度更弱，因此，空間數(shù)據(jù)引擎要有對查詢語言的解析能力。 4.4. 并行事務(wù)處理技術(shù)數(shù)據(jù)消費者的任何請求都要啟動一個事務(wù)進行處理，首先對用戶請求進行語言分析，然后根據(jù)綁定的數(shù)據(jù)表地址，將任務(wù)劃分為多個子事務(wù)，經(jīng)過優(yōu)化生成執(zhí)行計劃，然后對任務(wù)進行調(diào)度，最后將各子任務(wù)發(fā)送到后端各個數(shù)據(jù)庫節(jié)點并行執(zhí)行。在實現(xiàn)中需要用戶管理器、任務(wù)調(diào)度器、并行器和任務(wù)管理器四個功能部件：（1）用戶管理器每當(dāng)用戶向系統(tǒng)發(fā)出一個登陸請求，就為該用戶生成一個用戶管理器。以后用戶就直接與這個用戶管理器進行交互。用戶管理器負(fù)責(zé)接收用戶的GSQL語句和對語句進行執(zhí)行前的預(yù)處理。用戶管理器首先對語句進行語法分析，得到一棵語法樹；接著對語法樹進行語義檢查，如果語句中還包括視圖，還要對視圖進行轉(zhuǎn)換；然后對語句進行查詢優(yōu)化，將語法樹轉(zhuǎn)化為一個優(yōu)化的順序查詢執(zhí)行計劃（操作符樹）；最后將順序執(zhí)行計劃交給任務(wù)調(diào)度器進行調(diào)度執(zhí)行。（2）任務(wù)調(diào)度器和并行器任務(wù)調(diào)度器對來自于不同用戶的執(zhí)行計劃進行統(tǒng)一的調(diào)度執(zhí)行。首先任務(wù)調(diào)度器把順序執(zhí)行計劃劃分為多個任務(wù)，任務(wù)是執(zhí)行調(diào)度和資源分配的基本單位。系統(tǒng)為每個任務(wù)賦予一個ID ，因此根據(jù)事務(wù)ID和任務(wù)ID可以唯一標(biāo)識系統(tǒng)的一個任務(wù)。同一計劃中的任務(wù)往往存在著一定的偏序關(guān)系，即某些任務(wù)必須等待其它任務(wù)執(zhí)行結(jié)束后方可運行。任務(wù)調(diào)度器根據(jù)系統(tǒng)當(dāng)前的資源使用情況從這些任務(wù)中挑選出若干可以最優(yōu)地 利用資源的任務(wù)，調(diào)用并行器對選中的任務(wù)進行并行化，得到任務(wù)的若干并行執(zhí)行計劃。最后，任務(wù)調(diào)度器為每個任務(wù)生成一個任務(wù)管理器，將任務(wù)的并行執(zhí)行計劃交給任務(wù)管理器處理。（3）任務(wù)管理器任務(wù)管理器負(fù)責(zé)監(jiān)視一個任務(wù)的執(zhí)行。它根據(jù)并行執(zhí)行計劃將其中的數(shù)據(jù)操作發(fā)送到后端執(zhí)行引擎的相應(yīng)結(jié)點上執(zhí)行。最后將執(zhí)行引擎產(chǎn)生的執(zhí)行結(jié)果或錯誤信息返回給任務(wù)調(diào)度器，任務(wù)調(diào)度器再返回給用戶管理器，由用戶管理器將最終結(jié)果返回給用戶。實際上，如果用戶過多或者事務(wù)速率太高，主結(jié)點負(fù)載過重，可以把用戶管理器隨意地遷移到后端結(jié)點上執(zhí)行，這實際上在一定程度上實現(xiàn)了查詢優(yōu)化本身的并行。4.5. 后端執(zhí)行引擎后端執(zhí)行引擎接收任務(wù)管理器發(fā)送來的任務(wù)，執(zhí)行任務(wù)中包含的數(shù)據(jù)操作，最后將結(jié)果返回到任務(wù)管理器。后端執(zhí)行引擎由一個或多個結(jié)點組成。執(zhí)行引擎的本質(zhì)工作是對存儲在磁盤上的數(shù)據(jù)進行高效的并行加工處理。這種處理過程需要充分利用系統(tǒng)中的CPU、主存、磁盤I/O、網(wǎng)絡(luò)通信等多種資源?？椗翘摂M空間數(shù)據(jù)庫（VegaSDB）設(shè)計了虛擬處理機（Virtual Processor）、虛擬數(shù)據(jù)總線（Virtual Data Bus）、虛擬主存（Virtual Memory）這三種構(gòu)件來分別管理這些資源，在通用硬件平臺上形成一個軟件抽象層，稱其為虛擬數(shù)據(jù)庫機（Virtual Database Machine）。虛擬處理機管理系統(tǒng)的CPU資源，執(zhí)行各種數(shù)據(jù)操作；虛擬數(shù)據(jù)總線負(fù)責(zé)操作間數(shù)據(jù)和消息的傳輸和控制，構(gòu)成整個系統(tǒng)的聯(lián)系樞紐；虛擬主存提供符合數(shù)據(jù)處理特點的存儲和緩沖機制。4.6. 數(shù)據(jù)動態(tài)綁定與注冊技術(shù)將各數(shù)據(jù)庫中的數(shù)據(jù)表的元信息進行統(tǒng)一管理，在數(shù)據(jù)查詢時通過元數(shù)據(jù)表可以直接確定數(shù)據(jù)庫的位置，從而屏蔽數(shù)據(jù)庫位置。數(shù)據(jù)注冊技術(shù)中包括兩個重要技術(shù)