國(guó)土資源多源異構(gòu)數(shù)據(jù)整合應(yīng)用實(shí)例探討課件

1、國(guó)土資源多源異構(gòu)數(shù)據(jù)整合應(yīng)用實(shí)例探討目錄1. 目前國(guó)土數(shù)據(jù)存在的問題2. 國(guó)土多源異構(gòu)數(shù)據(jù)整合的重要性3. 國(guó)土數(shù)據(jù)整合的內(nèi)容4. 國(guó)土多源異構(gòu)數(shù)據(jù)整合的解決方式5. 基于FME的國(guó)土多源異構(gòu)數(shù)據(jù)整合方案目前國(guó)土數(shù)據(jù)存在的問題當(dāng)前國(guó)土資源信息化蓬勃發(fā)展，而各級(jí)國(guó)土資源信息化水平參差不齊，導(dǎo)致國(guó)土數(shù)據(jù)面臨很多問題：數(shù)據(jù)分散、格式多樣、通用性較差數(shù)據(jù)更新周期較差，數(shù)據(jù)現(xiàn)勢(shì)性較差業(yè)務(wù)部門間分割嚴(yán)重，信息互通性較差數(shù)據(jù)質(zhì)量格式多樣坐標(biāo)不統(tǒng)一標(biāo)準(zhǔn)不統(tǒng)一數(shù)據(jù)更新更新周期長(zhǎng)聯(lián)動(dòng)更新不及時(shí)數(shù)據(jù)共享與交換業(yè)務(wù)數(shù)據(jù)庫(kù)孤立存在業(yè)務(wù)數(shù)據(jù)庫(kù)之間缺乏數(shù)據(jù)交換與共享機(jī)制目前國(guó)土數(shù)據(jù)存在的問題主要表現(xiàn)為：國(guó)土多源異構(gòu)數(shù)據(jù)整合

2、的重要性(1) 國(guó)土資源電子政務(wù)運(yùn)行平臺(tái)和系統(tǒng)需要統(tǒng)一的“國(guó)土資源數(shù)據(jù)庫(kù)”作為數(shù)據(jù)支撐。(2) 協(xié)調(diào)省市縣各個(gè)部門之間的關(guān)系，使集成化國(guó)土資源基礎(chǔ)數(shù)據(jù)庫(kù)能夠滿足電子政務(wù)工程建設(shè)的需要。(3) 形成統(tǒng)一的國(guó)土資源數(shù)據(jù)標(biāo)準(zhǔn)，提高國(guó)土資源數(shù)據(jù)管理的科學(xué)化、規(guī)范化，提高國(guó)土資源基礎(chǔ)數(shù)據(jù)的社會(huì)效益和經(jīng)濟(jì)效益。(4) 形成完善的國(guó)土資源數(shù)據(jù)信息共享、交換機(jī)制，加快國(guó)家、省、市等數(shù)據(jù)交換中心的建成。(5) 構(gòu)建國(guó)土資源指標(biāo)監(jiān)管體系，通過指標(biāo)分析，展示國(guó)土資源現(xiàn)狀、規(guī)劃、保護(hù)和開發(fā)利用水平，輔助領(lǐng)導(dǎo)決策。國(guó)土數(shù)據(jù)整合的內(nèi)容(1) 建立和完善國(guó)土資源基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)體系。(2) 匯交各級(jí)基礎(chǔ)數(shù)據(jù)資料，對(duì)分散的國(guó)土資

3、源基礎(chǔ)數(shù)據(jù)進(jìn)行規(guī)范化和標(biāo)準(zhǔn)化處理，以及信息提取，實(shí)現(xiàn)多源、多格式、異構(gòu)空間數(shù)據(jù)的轉(zhuǎn)換。(4) 建立面向國(guó)土電子政務(wù)信息共享的數(shù)據(jù)交換體系。(5) 建立統(tǒng)一的國(guó)土資源空間數(shù)據(jù)庫(kù)的管理和更新機(jī)制，實(shí)現(xiàn)數(shù)據(jù)入庫(kù)、更新、備份和維護(hù)管理。(6) 實(shí)現(xiàn)中心基礎(chǔ)數(shù)據(jù)庫(kù)與各業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)之間的交換共享關(guān)系；(7) 建立國(guó)土資源指標(biāo)監(jiān)管體系，為政府提供國(guó)土資源信息的輔助決策支持和面向社會(huì)化信息服務(wù)。國(guó)土多源異構(gòu)數(shù)據(jù)整合的解決方式1.直接進(jìn)行空間數(shù)據(jù)交換，即把一個(gè)系統(tǒng)的內(nèi)部數(shù)據(jù)文件格式直接轉(zhuǎn)換成另一個(gè)系統(tǒng)的內(nèi)部數(shù)據(jù)文件格式；2.利用標(biāo)準(zhǔn)數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換，如DXF、DLG等；3.建立開放式的共享空間文件格式，如中國(guó)

4、地球空間數(shù)據(jù)交換格式(簡(jiǎn)稱CNSDTF，標(biāo)準(zhǔn)編號(hào)：177981999)；4.空間數(shù)據(jù)互操作，利用“語(yǔ)義轉(zhuǎn)換”，對(duì)空間數(shù)據(jù)進(jìn)行整合?；贔ME的國(guó)土多源異構(gòu)數(shù)據(jù)整合方案1.國(guó)土數(shù)據(jù)建庫(kù)質(zhì)量檢查方案2.國(guó)土數(shù)據(jù)庫(kù)更新維護(hù)方案3.其它國(guó)土方案國(guó)土數(shù)據(jù)建庫(kù)質(zhì)量檢查方案 北京安圖數(shù)碼科技發(fā)展有限公司 建庫(kù)準(zhǔn)備建庫(kù)資源：源數(shù)據(jù)源數(shù)據(jù)規(guī)則或規(guī)范數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)結(jié)構(gòu)或建庫(kù)規(guī)范軟硬件環(huán)境國(guó)土數(shù)據(jù)建庫(kù)質(zhì)量檢查方案源數(shù)據(jù)分析源數(shù)據(jù)采樣分析數(shù)據(jù)庫(kù)環(huán)境分析源數(shù)據(jù)規(guī)范與數(shù)據(jù)庫(kù)規(guī)范的對(duì)比分析源數(shù)據(jù)規(guī)則或規(guī)范針對(duì)不同的數(shù)據(jù)建立不同的數(shù)據(jù)標(biāo)準(zhǔn)：例如，基礎(chǔ)地理數(shù)據(jù)，土地利用規(guī)劃等，形成對(duì)不同數(shù)據(jù)標(biāo)準(zhǔn)的檢查和驗(yàn)收規(guī)范土地利用規(guī)劃數(shù)據(jù)規(guī)

5、范國(guó)土數(shù)據(jù)建庫(kù)質(zhì)量檢查方案數(shù)據(jù)檢查細(xì)則國(guó)土數(shù)據(jù)建庫(kù)質(zhì)量檢查方案國(guó)土數(shù)據(jù)建庫(kù)質(zhì)量檢查方案流程設(shè)計(jì)圖源數(shù)據(jù)規(guī)范檢查入庫(kù)操作數(shù)據(jù)庫(kù)數(shù)據(jù)糾錯(cuò)通過未通過國(guó)土數(shù)據(jù)建庫(kù)質(zhì)量檢查方案流程設(shè)計(jì)圖-檢查規(guī)范檢查完整性邏輯性圖形規(guī)則屬性規(guī)則業(yè)務(wù)規(guī)則數(shù)據(jù)目錄結(jié)構(gòu)正確性文件名稱正確性數(shù)據(jù)要素分類是否準(zhǔn)確數(shù)據(jù)現(xiàn)勢(shì)性情況空間數(shù)據(jù)要素完整性屬性必填字段元數(shù)據(jù)的完整性圖形自身邏輯錯(cuò)誤圖形間的拓?fù)潢P(guān)系圖屬一致性檢查接邊檢查上下級(jí)交互檢查值域、范圍、規(guī)則檢查屬性字段結(jié)構(gòu)國(guó)土數(shù)據(jù)建庫(kù)質(zhì)量檢查方案流程設(shè)計(jì)圖-糾錯(cuò)幾何有效性糾錯(cuò)線面自交差線面?zhèn)喂?jié)點(diǎn)面重疊、線重疊面縫隙圖形的拓?fù)浼m錯(cuò)懸掛線微小面處理微短線處理重復(fù)注記的疊加處理國(guó)土數(shù)據(jù)建庫(kù)

6、質(zhì)量檢查方案流程設(shè)計(jì)圖-入庫(kù)入庫(kù)操作數(shù)據(jù)字典要素分類要素接邊圖屬關(guān)系數(shù)據(jù)字典自動(dòng)關(guān)聯(lián)要素自動(dòng)分類分層要素自動(dòng)接邊圖屬自動(dòng)重構(gòu)國(guó)土數(shù)據(jù)建庫(kù)質(zhì)量檢查方案空間數(shù)據(jù)檢查與驗(yàn)證FME Workbench組件提供了超過400個(gè)不同類型的轉(zhuǎn)換器?？臻g檢查屬性檢查空間關(guān)系空間比較空間計(jì)算圖屬關(guān)系屬性比較屬性計(jì)算屬性分隔數(shù)據(jù)檢查與驗(yàn)證整體性檢查完整性邏輯性自動(dòng)修正目錄結(jié)構(gòu)文件名稱要素分類坐標(biāo)系統(tǒng)元數(shù)據(jù)空間結(jié)構(gòu)字段結(jié)構(gòu)接邊檢查檢查模板的定義國(guó)土數(shù)據(jù)建庫(kù)質(zhì)量檢查方案國(guó)土數(shù)據(jù)建庫(kù)質(zhì)量檢查方案方案內(nèi)容基于FME的數(shù)據(jù)建庫(kù)有兩個(gè)模式：?jiǎn)螜C(jī)模式和在線模式單機(jī)模式：FME定制檢查項(xiàng)，用戶可以根據(jù)需要對(duì)所有的檢查項(xiàng)進(jìn)行單項(xiàng)檢查

7、、或者多項(xiàng)檢查，另外為每類檢查我們?cè)O(shè)置了參數(shù)控制。方便用戶靈活的控制檢查的精度、范圍等信息。用戶可以實(shí)現(xiàn)數(shù)據(jù)的批量入庫(kù)操作，并在入庫(kù)前或者入庫(kù)后完成數(shù)據(jù)接邊。應(yīng)用案例：南京地籍?dāng)?shù)據(jù)數(shù)據(jù)在線檢查、變更重慶/成都國(guó)土局測(cè)繪數(shù)據(jù)流程化變更國(guó)土數(shù)據(jù)建庫(kù)質(zhì)量檢查方案國(guó)土數(shù)據(jù)庫(kù)更新維護(hù)方案FME數(shù)據(jù)庫(kù)支持支持的常見數(shù)據(jù)庫(kù)格式有：Oracle （None-Spatial &Spatial）MS Server （None-Spatial &Spatial） DB2 （None-Spatial &Spatial） ArcSDE （Raster &矢量） Mysql （None-Spatial &Spatial）

8、 MDB （None-Spatial &Spatial）技術(shù)特點(diǎn)如下：支持空間數(shù)據(jù)的加載和遷移；支持?jǐn)?shù)據(jù)模型的重構(gòu)和變換；支持空間與非空間數(shù)據(jù)集成；支持空間數(shù)據(jù)轉(zhuǎn)換和變換；支持坐標(biāo)系統(tǒng)轉(zhuǎn)換；支持空間數(shù)據(jù)檢查；支持空間數(shù)據(jù)質(zhì)量的保證與驗(yàn)證；國(guó)土數(shù)據(jù)庫(kù)更新維護(hù)方案國(guó)土數(shù)據(jù)庫(kù)更新維護(hù)模式基于FME的數(shù)據(jù)庫(kù)更新維護(hù)有兩個(gè)模式：?jiǎn)螜C(jī)模式和在線模式在線模式：用戶通過網(wǎng)絡(luò)完成數(shù)據(jù)的上傳、檢查、入庫(kù)整體操作。檢查結(jié)果可以下載，可以查看，甚至定位。入庫(kù)操作可以自動(dòng)完成接邊、要素分類分層、重構(gòu)等操作。IntranetOrInternet國(guó)土數(shù)據(jù)庫(kù)更新維護(hù)方案數(shù)據(jù)更新基礎(chǔ)庫(kù)提取中心庫(kù)基礎(chǔ)庫(kù)基礎(chǔ)庫(kù)提取提取基礎(chǔ)庫(kù)提取中

9、心庫(kù)基礎(chǔ)庫(kù)基礎(chǔ)庫(kù)數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)增量包數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)文件級(jí)主動(dòng)更新被動(dòng)更新增量更新全量更新國(guó)土數(shù)據(jù)庫(kù)更新維護(hù)方案數(shù)據(jù)管理增量數(shù)據(jù)的維護(hù)歷史數(shù)據(jù)的保存數(shù)據(jù)倉(cāng)庫(kù)的ETL多源異構(gòu)數(shù)據(jù)的匯交和集成應(yīng)用案例：上海規(guī)劃和國(guó)土局?jǐn)?shù)據(jù)倉(cāng)庫(kù)建設(shè)成都國(guó)土一張圖數(shù)據(jù)倉(cāng)庫(kù)建設(shè)國(guó)土數(shù)據(jù)庫(kù)更新維護(hù)方案應(yīng)用案例應(yīng)用案例上海空間數(shù)據(jù)倉(cāng)庫(kù)建設(shè)技術(shù)特點(diǎn)如下：支持空間數(shù)據(jù)的加載和遷移；支持?jǐn)?shù)據(jù)模型的重構(gòu)和變換；支持空間與非空間數(shù)據(jù)集成；支持空間數(shù)據(jù)轉(zhuǎn)換和變換；支持坐標(biāo)系統(tǒng)轉(zhuǎn)換；支持空間數(shù)據(jù)檢查；支持空間數(shù)據(jù)質(zhì)量的保證與驗(yàn)證；應(yīng)用案例一應(yīng)用案例上?？臻g數(shù)據(jù)倉(cāng)庫(kù)建設(shè)技術(shù)特點(diǎn)如下：通過網(wǎng)絡(luò)進(jìn)行空間數(shù)據(jù)的實(shí)時(shí)分發(fā)；支持分布式故障自動(dòng)轉(zhuǎn)移配置；支持Oracle的西文到中文字符集轉(zhuǎn)換；對(duì)空間數(shù)據(jù)的服務(wù)提供日志記錄；提供實(shí)時(shí)空間數(shù)據(jù)交換服務(wù)；支持海量空間數(shù)據(jù)的異構(gòu)集成，支持實(shí)時(shí)、自動(dòng)實(shí)現(xiàn)空間數(shù)據(jù)的動(dòng)態(tài)更新；應(yīng)用案例二應(yīng)用案例成都國(guó)土一張圖一張圖建設(shè)的關(guān)鍵技術(shù)關(guān)鍵技術(shù)數(shù)據(jù)變化監(jiān)測(cè)異構(gòu)集成空間ETL一張圖建設(shè)的關(guān)鍵技術(shù)數(shù)據(jù)變化監(jiān)測(cè)基于商業(yè)數(shù)據(jù)庫(kù)的現(xiàn)有工具Oracle CDC/Streaming GoldenGate一般的觸發(fā)器/存儲(chǔ)過程全記錄集比對(duì)一張圖建設(shè)的關(guān)鍵技術(shù)異構(gòu)數(shù)據(jù)集成一張圖建設(shè)的關(guān)鍵技術(shù)異構(gòu)數(shù)據(jù)集成一張圖建設(shè)的關(guān)鍵技術(shù)空間ETL-國(guó)土監(jiān)管指標(biāo)的抽取一張圖建設(shè)的關(guān)鍵技術(shù)空間ETL-國(guó)土監(jiān)管指標(biāo)的抽取數(shù)據(jù)交換