海量影數(shù)據(jù)在線發(fā)布關(guān)鍵技術(shù)研究ppt課件

1、2019級碩士論文畢業(yè)論文爭辯級碩士論文畢業(yè)論文爭辯海量影像數(shù)據(jù)的在線海量影像數(shù)據(jù)的在線發(fā)布關(guān)鍵技術(shù)研討發(fā)布關(guān)鍵技術(shù)研討北京師范大學資源學院北京師范大學資源學院 資源技術(shù)與工程研討所資源技術(shù)與工程研討所2006年年5月月研 究 生：李洵指點教師：陳云浩 副教授 專業(yè)方向：地圖學與地理信息系統(tǒng)論文主要內(nèi)容論文主要內(nèi)容一、引言二、柵格與矢量數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案三、遙感影像在線發(fā)布的緩沖存儲器算法及其改 進方案四、原型系統(tǒng)的設(shè)計與實驗五、總結(jié)與展望一、引言一、引言 1.研討的背景和意義 2.國內(nèi)外的開展現(xiàn)狀及相關(guān)技術(shù) 3.研討的內(nèi)容研討的背景和意義研討的背景和意義u 多數(shù)據(jù)源，多比例尺，多時

2、相影像數(shù)據(jù)呈幾何級數(shù)增長u 隨著數(shù)字城市建立的蓬勃開展，人們對空間信息的需求日益增長u 計算機和互聯(lián)網(wǎng)技術(shù)的開展，為實現(xiàn)空間信息在網(wǎng)絡(luò)環(huán)境下的共享與效力提供了技術(shù)上的能夠國內(nèi)外開展現(xiàn)狀國內(nèi)外開展現(xiàn)狀 1.國外系統(tǒng)開發(fā)情況 1Microsoft TerraServer 2加拿大CCRS的在線遙感影像數(shù)據(jù)庫 3ITARS 4Image Catalog 2.國內(nèi)系統(tǒng)開發(fā)情況 1GeoImageDB 2MapGIS 3福建省遙感影像Web發(fā)布系統(tǒng)相關(guān)技術(shù)相關(guān)技術(shù)功能技術(shù)海量影像數(shù)據(jù)的組織管理影像金字塔技術(shù)影像分塊技術(shù)影像塊的空間編碼技術(shù)空間索引技術(shù)影像壓縮技術(shù)數(shù)據(jù)緩存技術(shù)海量影像數(shù)據(jù)的在線發(fā)布WebG

3、IS技術(shù)研討的內(nèi)容研討的內(nèi)容u 柵格與矢量數(shù)據(jù)集成的在線發(fā)布方案u 緩沖存儲器算法的改良1.常見的兩類空間數(shù)據(jù)的在線發(fā)布方案2.柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見3.相關(guān)關(guān)鍵技術(shù)二、柵格與矢量數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案二、柵格與矢量數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案2.1 常見的兩類空間數(shù)據(jù)的在線發(fā)布方案常見的兩類空間數(shù)據(jù)的在線發(fā)布方案u 矢量地圖方式矢量地圖方式u 矢量地圖方式首先將數(shù)據(jù)下載到本地客戶矢量地圖方式首先將數(shù)據(jù)下載到本地客戶端，以后對該數(shù)據(jù)的一切操作都在本地進展，端，以后對該數(shù)據(jù)的一切操作都在本地進展，無需與效力器交互以及重新下載數(shù)據(jù)，直到遇無需與效力器交互以及重新下載數(shù)據(jù)，直到

4、遇到新的數(shù)據(jù)懇求到新的數(shù)據(jù)懇求u 柵格圖像方式柵格圖像方式u 柵格圖像方式每次都需求懇求效力器，并柵格圖像方式每次都需求懇求效力器，并由效力器將數(shù)據(jù)轉(zhuǎn)換成圖像傳輸?shù)娇蛻舳擞尚Яζ鲗?shù)據(jù)轉(zhuǎn)換成圖像傳輸?shù)娇蛻舳藘深惓Ｒ姺桨傅母玖鞒?.1 常見的兩類空間數(shù)據(jù)的在線發(fā)布方案常見的兩類空間數(shù)據(jù)的在線發(fā)布方案懇求效力器客戶機通用閱讀器呼應(yīng)轉(zhuǎn)換器圖像懇求效力器客戶機通用閱讀器嵌入ActiveX或Applet矢量數(shù)據(jù)空間數(shù)據(jù)庫空間數(shù)據(jù)庫CGI/Server APIActiveX、Java Applet CGI/Server API矢量數(shù)據(jù)兩類方案的比較2.1 常見的兩類空間數(shù)據(jù)的在線發(fā)布方案常見的兩類空間數(shù)

5、據(jù)的在線發(fā)布方案優(yōu)點缺點矢量地圖模式減少了與服務(wù)器的交互需要安裝插件，或下載Java Applet、ActiveX控件降低了服務(wù)器端的負擔降低了網(wǎng)絡(luò)傳輸?shù)呢摀鷸鸥駡D像模式無需安裝任何軟件矢柵轉(zhuǎn)換通常增加數(shù)據(jù)量增加了服務(wù)器端的負擔增加了網(wǎng)絡(luò)傳輸?shù)呢摀看尾僮鞫夹枰c服務(wù)器交互1)對兩類數(shù)據(jù)進展操作的案例2.2 柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見世界地圖矢量數(shù)據(jù)與相應(yīng)的柵格數(shù)據(jù)的變化趨勢2)對案例進展的分析運用基于矢量地圖方式構(gòu)建的WebGIS系統(tǒng)容易遭到一次下載大量數(shù)據(jù)的沖擊運用基于柵格圖像方式構(gòu)建的WebGIS系統(tǒng)那么需求面對頻繁懇求下載圖像的挑戰(zhàn)2.

6、2 柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見3)改良方案的提出在懇求大量復雜數(shù)據(jù)時采用柵格圖像方式在懇求少量數(shù)據(jù)時那么采用矢量地圖方式2.2 柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見4)整體框架2.2 柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見WebGIS運用效力器閱讀器Web效力器數(shù)據(jù)效力器懇求呼應(yīng)懇求數(shù)據(jù)懇求呼應(yīng)呼應(yīng)數(shù)據(jù)圖像packer矢量packer評價優(yōu)化器SVG生成器數(shù)據(jù)緩存文件效力器空間數(shù)據(jù)庫緩存管理器5)功能模塊WebGIS 運用效力器 WebGIS運用效力器是平臺框架的中心

7、，包括了數(shù)據(jù)打包組件和緩存組件客戶端功能 客戶端承當一部分的地圖操作功能其計算才干可以在很大程度上減輕效力器端的開銷2.2 柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見WebGIS運用效力器評價優(yōu)化器：用于對空間數(shù)據(jù)進展評價，選擇是運用矢量方式還是柵格方式對數(shù)據(jù)進展包裝矢量包裝器：將空間數(shù)據(jù)包裝成系統(tǒng)的矢量方式圖像包裝器：將空間數(shù)據(jù)包裝成圖像，即根據(jù)矢量數(shù)據(jù)及其顯示款式配置繪制出一個快照圖像SVG生成器：根據(jù)包裝器的結(jié)果生成相應(yīng)的SVG格式圖形供閱讀器顯示和操作2.2 柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見WebGIS運用效

8、力器的根本處置流程2.2 柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見請求緩沖池數(shù)據(jù)緩沖池緩存管理器圖像包裝器矢量包裝器評價優(yōu)化器SVG生成器空間數(shù)據(jù)客戶端功能2.2 柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見柵矢數(shù)據(jù)集成的自順應(yīng)在線發(fā)布方案的引見閱讀器SVG地圖本地地圖操作ZoomIn, ZoomOutPan, Identify地圖操作音訊轉(zhuǎn)發(fā)器懇求數(shù)據(jù)本地操作更新顯示更新顯示u 評價優(yōu)化器：評價優(yōu)化器實踐上是方式選擇器，用于確定評價優(yōu)化器：評價優(yōu)化器實踐上是方式選擇器，用于確定是運用矢量方式還是運用柵格方式，從而實現(xiàn)系統(tǒng)的性能是運用矢量方式還是運用柵格方式，從而

9、實現(xiàn)系統(tǒng)的性能優(yōu)化優(yōu)化u SVG生成器：生成器：SVG生成器將打包后的數(shù)據(jù)轉(zhuǎn)換成在客戶端生成器將打包后的數(shù)據(jù)轉(zhuǎn)換成在客戶端顯示和操作的顯示和操作的SVG圖形圖形u 緩存機制：緩存機制：WebGIS運用效力器將用戶頻繁懇求的圖層數(shù)運用效力器將用戶頻繁懇求的圖層數(shù)據(jù)暫時存儲起來，從而構(gòu)成緩沖池；后續(xù)懇求的數(shù)據(jù)假設(shè)據(jù)暫時存儲起來，從而構(gòu)成緩沖池；后續(xù)懇求的數(shù)據(jù)假設(shè)包含在緩存內(nèi)，那么無需與數(shù)據(jù)效力器交互，直接運用緩包含在緩存內(nèi)，那么無需與數(shù)據(jù)效力器交互，直接運用緩存的數(shù)據(jù)存的數(shù)據(jù)2.3 相關(guān)關(guān)鍵技術(shù)相關(guān)關(guān)鍵技術(shù)2.3.1 評價優(yōu)化器評價優(yōu)化器u 設(shè)計評價優(yōu)化器時，可以參考網(wǎng)絡(luò)閱讀的設(shè)計評價優(yōu)化器時，可

10、以參考網(wǎng)絡(luò)閱讀的“20秒秒60KB原那么原那么u 思索到矢量數(shù)據(jù)在操作時僅需一次下載，因此可以將操思索到矢量數(shù)據(jù)在操作時僅需一次下載，因此可以將操作用戶的容忍極限添加至作用戶的容忍極限添加至100KBu 由于每個點需求由于每個點需求16字節(jié)存儲空間，因此最簡單的評價優(yōu)字節(jié)存儲空間，因此最簡單的評價優(yōu)化器就是評價給定的數(shù)據(jù)的點數(shù)能否小于化器就是評價給定的數(shù)據(jù)的點數(shù)能否小于64002.3.1 評價優(yōu)化器評價優(yōu)化器開場空間數(shù)據(jù)集合n1, n2, n3, nkni6400矢量包裝器終了NM=MAX(n1, n2, n3, )圖像包裝器將NM從數(shù)據(jù)集合中剔除空間數(shù)據(jù)集合k-1個圖層否是1. SVG簡介簡

11、介2.3.2 SVG生成器生成器SVG是一種基于XML的用來描畫二維矢量圖形和柵矢混合圖形的標識言語，其全稱是可擴展矢量圖形 (Scalable Vector Graphics)不局限于一個固定的分辨率和大小提供了對矢量柵格混合圖形的描畫SVG規(guī)范可以與其它規(guī)范相兼容2. SVG在在WebGIS中的運用中的運用2.3.2 SVG生成器生成器基于SVG的數(shù)據(jù)構(gòu)造 由于XML支持數(shù)據(jù)標志的嵌套定義，所以可以在對一個對象進展描畫時，將其屬性定義和其圖形的SVG描畫同時進展 水果湖中學 2. SVG在在WebGIS中的運用中的運用2.3.2 SVG生成器生成器本地地圖操作 SVG圖形在閱讀器中是作為閱

12、讀器的一個嵌入對象出現(xiàn)，所以可以很方便地經(jīng)過腳本言語實現(xiàn)本地地圖操作圖層管理 運用SVG DOM (SVG文檔對象模型)可以很方便地實現(xiàn)圖層管理圖符管理 SVG提供了Symbol和Use元素，用于定義圖符元素及其援用 在在WebGIS運用效力器中，一切的地圖操作當需求懇求運用效力器中，一切的地圖操作當需求懇求新的數(shù)據(jù)時，首先到緩存中查找數(shù)據(jù)能否曾經(jīng)緩存到新的數(shù)據(jù)時，首先到緩存中查找數(shù)據(jù)能否曾經(jīng)緩存到WebGIS運用效力器上運用效力器上WebGIS運用效力器將用戶頻運用效力器將用戶頻繁懇求的圖層數(shù)據(jù)緩存起來，構(gòu)成數(shù)據(jù)緩沖池后續(xù)繁懇求的圖層數(shù)據(jù)緩存起來，構(gòu)成數(shù)據(jù)緩沖池后續(xù)懇求的數(shù)據(jù)假設(shè)包含在緩存內(nèi)

13、，那么無需與數(shù)據(jù)效力懇求的數(shù)據(jù)假設(shè)包含在緩存內(nèi)，那么無需與數(shù)據(jù)效力器交互，直接運用緩存的數(shù)據(jù)器交互，直接運用緩存的數(shù)據(jù)2.3.3 緩存機制緩存機制l Greedy Dual-Size算法的簡介l Greedy Dual-Size算法的缺乏l Greedy Dual-Size算法的改良方案三、遙感影像在線發(fā)布的緩沖存儲器算法及其改三、遙感影像在線發(fā)布的緩沖存儲器算法及其改良方案良方案u Greedy Dual算法算法u 該算法是最近最少運用戰(zhàn)略該算法是最近最少運用戰(zhàn)略(LRU)的一種優(yōu)化。該算法的一種優(yōu)化。該算法對每一個存儲在緩沖存儲器中的文件對每一個存儲在緩沖存儲器中的文件P設(shè)置了一個關(guān)聯(lián)的設(shè)

14、置了一個關(guān)聯(lián)的運用率權(quán)值運用率權(quán)值 H(P)，每次把，每次把H(P)值最低的對象交換掉，值最低的對象交換掉， H(P)的計算公式如下：的計算公式如下：u H(P)=L+C(P)u 初值初值L=0;u 輪番處置每一個文件的懇求輪番處置每一個文件的懇求;u 當前懇求為文件當前懇求為文件P;u 假設(shè)假設(shè)P曾經(jīng)在緩沖存儲器中，那么：曾經(jīng)在緩沖存儲器中，那么：u H(p)=L+c(p);u 假設(shè)假設(shè)P不在緩沖存儲器中，那么：不在緩沖存儲器中，那么：u 當當(While)沒有足夠的存儲空間給沒有足夠的存儲空間給P時時u 使使L=minH(q) q為曾經(jīng)在緩沖存儲器中的文為曾經(jīng)在緩沖存儲器中的文件件u 刪除

15、刪除q;u 將將P存入緩沖存儲器中，并使存入緩沖存儲器中，并使H(p)=L+c(p); 3.1 Greedy Dual-Size算法的簡介算法的簡介u Greedy Dual-Size算法算法u 該算法是由該算法是由Greedy Dual算法開展而來的。在算法開展而來的。在Greedy Dual-Size算法中重新定義對象的權(quán)值算法中重新定義對象的權(quán)值H為所需的帶寬等開為所需的帶寬等開銷銷/對象的大小，如下式：對象的大小，如下式：u H(P)=L+C(P)/S(P)u 初值初值L=0;u 輪番處置每一個文件的懇求輪番處置每一個文件的懇求;u 當前懇求為文件當前懇求為文件P;u 假設(shè)假設(shè)P曾經(jīng)在

16、緩沖存儲器中，那么：曾經(jīng)在緩沖存儲器中，那么：u H(p)=L+c(p)/s(p);u 假設(shè)假設(shè)P不在緩沖存儲器中，那么：不在緩沖存儲器中，那么：u 當當(While)沒有足夠的存儲空間給沒有足夠的存儲空間給P時時u 使使L=minH(q) q為曾經(jīng)在緩沖存儲器中的文為曾經(jīng)在緩沖存儲器中的文件件u 刪除刪除q;u 將將P存入緩沖存儲器中，并使存入緩沖存儲器中，并使H(p)=L+c(p)/s(p); 3.1 Greedy Dual-Size算法的簡介算法的簡介3.1 Greedy Dual-Size算法的缺乏算法的缺乏低權(quán)值A(chǔ)BCACDAB點擊AC進入驅(qū)逐B(yǎng)新進入的C權(quán)值大于多次被點擊的AD進入

17、驅(qū)逐Au 分析結(jié)論分析結(jié)論u 雖然雖然Greedy Dual-Size算法是一個相當優(yōu)秀的算法是一個相當優(yōu)秀的算法，但它無法區(qū)分經(jīng)常存取和很少存取的對象。算法，但它無法區(qū)分經(jīng)常存取和很少存取的對象。一個經(jīng)常被存取的對象在緩沖存儲器列表中的位一個經(jīng)常被存取的對象在緩沖存儲器列表中的位置和權(quán)值同一個新進入的對象完全一樣置和權(quán)值同一個新進入的對象完全一樣u 3.1 Greedy Dual-Size算法的缺乏算法的缺乏3.1 Greedy Dual-Size算法的改良方案算法的改良方案為抑制Greedy Dual-Size算法的上述缺陷，當某對象被再次點擊時，需求添加其權(quán)值。要實現(xiàn)這一想象，就應(yīng)記錄緩

18、沖存儲器中對象被存取的次數(shù)，并重新定義對象P的權(quán)值如下： PSPCPnLPH1對新參與到緩沖存儲器中的對象，其權(quán)值與原始Greedy Dual-Size算法完全一樣。對已在緩沖存儲器中的文檔，每當被點擊一次，其權(quán)值H將按原始的權(quán)值成倍增長。 3.1 Greedy Dual-Size算法的改良方案算法的改良方案uGreedy Dual-Size算法的改良方案的流程圖懇求隊列當前：P對象L=0P對象在緩存中？緩存中能否 能包容P？否是n(P)+H(P)=L+n(P)+1*c(P)/s(P)n(P)Nmax激活隊列中下一個對象是是否L=minH(q)刪除對象q否刪除舊對象P四、原型系統(tǒng)的設(shè)計與實驗四

19、、原型系統(tǒng)的設(shè)計與實驗l 原型系統(tǒng)的體系構(gòu)造原型系統(tǒng)的體系構(gòu)造l 原型系統(tǒng)的搭建環(huán)境原型系統(tǒng)的搭建環(huán)境l 原型系統(tǒng)的根本功能及實驗結(jié)果原型系統(tǒng)的根本功能及實驗結(jié)果4.1 原型系統(tǒng)的體系構(gòu)造原型系統(tǒng)的體系構(gòu)造運用層中間件層數(shù)據(jù)效力層屬性庫DEM庫矢量庫影像庫數(shù)據(jù)文件WebGIS效力器Web效力器評價優(yōu)化器SVG生成器緩存管理器Web運用對外接口閱讀器用戶頁面工具4.2 原型系統(tǒng)的搭建環(huán)境原型系統(tǒng)的搭建環(huán)境操作系統(tǒng)： 效力器端 Windows 2000 Server 客戶端 Windows 2000 Professional數(shù)據(jù)庫平臺：Oracle 9i運用軟件： ArcSDE，ArcIMS，Adobe SVG Viewer 硬件平臺： 效力器端 Pentium 1.7G雙CPU，1024M內(nèi)存 客戶端 Pentium 1.2G，512M內(nèi)存 4.3 原型系統(tǒng)的根本功能及實驗結(jié)果原型系統(tǒng)的根本功能及實驗結(jié)果本文開發(fā)的本文開發(fā)的Demo版原型系統(tǒng)在功能方面主要實現(xiàn)了以下一些功能：版原型系統(tǒng)在功能方面主要實現(xiàn)了以下一些功能：空間數(shù)據(jù)入庫。矢量數(shù)據(jù)和影像數(shù)據(jù)的入庫功能。空間數(shù)據(jù)入庫。矢量數(shù)據(jù)和影像數(shù)據(jù)的入庫功能