大數(shù)據(jù)平臺(tái)方案設(shè)計(jì)

1、可編輯修改WORD版本可編輯修改WORD版本 65/65可編輯修改WORD版本大數(shù)據(jù)平臺(tái)方案設(shè)計(jì) 項(xiàng)目技術(shù)方案 大數(shù)據(jù)平臺(tái)方案設(shè)計(jì) 1.1需求分析 1.1.1采購(gòu)范圍與基本要求 建設(shè)XX高新區(qū)開(kāi)發(fā)區(qū)智慧園區(qū)的人口庫(kù)（12萬(wàn)居民）、法人庫(kù)(1200家企業(yè))、地理信息庫(kù)(已建設(shè)區(qū)域35平方公里的3維電子地圖、未建設(shè)區(qū)域80平方公里的航拍電子地圖)、視頻庫(kù)(1000個(gè)攝像點(diǎn))、大數(shù)據(jù)處理平臺(tái)、數(shù)據(jù)管理服務(wù)平臺(tái)。 1.1.2建設(shè)內(nèi)容要求 1.1. 2.1人口庫(kù) 人口庫(kù)的基本信息以公安部門(mén)戶籍和暫住人口信息為基礎(chǔ)，整合人社、計(jì)生、民政、教育等多個(gè)部門(mén)信息資源，建設(shè)統(tǒng)一規(guī)范的人口庫(kù)和人口信息服務(wù)平臺(tái)。 (

2、1)人口庫(kù)的內(nèi)容目錄 (2)人口信息服務(wù)平臺(tái)功能需求 數(shù)據(jù)庫(kù)層：能夠安全存儲(chǔ)人口庫(kù)的內(nèi)容目錄中列出的信息內(nèi)容，對(duì)居民、企業(yè)、政府提供安全的人口信息服務(wù)，為人口大數(shù)據(jù)分析提供基本數(shù)據(jù)源。 應(yīng)用支撐層：包括門(mén)戶框架、數(shù)據(jù)庫(kù)維護(hù)、報(bào)表組件、數(shù)據(jù)挖掘等，用于為應(yīng)用層提供應(yīng)用支撐。數(shù)據(jù)挖掘提供常見(jiàn)的數(shù)據(jù)分析/挖掘工具、通用算法，利用大數(shù)據(jù)平臺(tái)的計(jì)算能力進(jìn)行分析，對(duì)人口庫(kù)數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘與發(fā)現(xiàn)，提供有價(jià)值的分析結(jié)果。 應(yīng)用層：包括人口信息服務(wù)、人口專題分析、公共服務(wù)等。 1.1. 2.2法人庫(kù) 法人庫(kù)以工商部門(mén)的企業(yè)信息為基礎(chǔ)，整合各參建部門(mén)系統(tǒng)中的法人信息，如機(jī)構(gòu)代碼、機(jī)構(gòu)名稱、機(jī)構(gòu)類(lèi)型、經(jīng)濟(jì)行業(yè)、業(yè)務(wù)

3、經(jīng)營(yíng)范圍、機(jī)構(gòu)地址、法定代表人等字段信息，建成標(biāo)識(shí)統(tǒng)一、結(jié)構(gòu)科學(xué)、查詢快捷、動(dòng)態(tài)管理的法人信息庫(kù)。制定與交換平臺(tái)對(duì)應(yīng)的相關(guān)標(biāo)準(zhǔn)、制度和規(guī)范管理體系，實(shí)現(xiàn)工商局、地稅局、國(guó)稅 局、質(zhì)量技術(shù)監(jiān)督局等法人數(shù)據(jù)相關(guān)業(yè)務(wù)部門(mén)之間的網(wǎng)絡(luò)互聯(lián)和業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)交換與應(yīng)用。 (1)法人庫(kù)的內(nèi)容目錄 (2)法人信息服務(wù)平臺(tái)功能需求 數(shù)據(jù)庫(kù)層：能夠安全存儲(chǔ)法人庫(kù)的內(nèi)容目錄中列出的信息內(nèi)容，對(duì)居民、企業(yè)、政府提供安全的法人信息服務(wù)，為法人大數(shù)據(jù)分析提供基本數(shù)據(jù)源。 應(yīng)用支撐層：包括門(mén)戶框架、數(shù)據(jù)庫(kù)維護(hù)、統(tǒng)計(jì)與報(bào)表組件、數(shù)據(jù)挖掘等，用于為應(yīng)用層提供應(yīng)用支撐。數(shù)據(jù)挖掘提供常見(jiàn)的數(shù)據(jù)分析/挖掘工具、通用算法，利用大數(shù)據(jù)平臺(tái)

4、的計(jì)算能力進(jìn)行分析，對(duì)法人庫(kù)數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘與發(fā)現(xiàn)，提供有價(jià)值的分析結(jié)果。 應(yīng)用層：包括法人信息服務(wù)、法人專題分析、公共服務(wù)等。 1.1. 2.3地理信息庫(kù) 以國(guó)土資源部空間地理數(shù)據(jù)框架作為基礎(chǔ)，采用分布式存儲(chǔ)并行計(jì)算的技術(shù)思路統(tǒng)一搭建地理信息庫(kù)，再與智慧園區(qū)建設(shè)涉及的各類(lèi)專題圖層進(jìn)行融合、關(guān)聯(lián)，實(shí)現(xiàn)統(tǒng)一共享，逐漸形成XX高新區(qū)權(quán)威、豐富的地理信息數(shù)據(jù)庫(kù)。要求根據(jù)不同信息資源類(lèi)別，提供數(shù)據(jù)庫(kù)表結(jié)構(gòu)設(shè)計(jì)。 地理信息庫(kù)維護(hù)文件主要提供地圖基本操作、地圖測(cè)量、圖層控制、空間分析等信息服務(wù)功能。 地理信息庫(kù)配置一套高性能GIS工具軟件，基于高性能云GIS平臺(tái)搭建，實(shí)現(xiàn)空間數(shù)據(jù)的統(tǒng)一管理，完成空間數(shù)據(jù)檢

5、查、轉(zhuǎn)換、入庫(kù)、管理、制圖顯示、服務(wù)發(fā)布等一系列空間數(shù)據(jù)分析處理功能。 (1)地理信息庫(kù)的內(nèi)容目錄 (2)地理信息庫(kù)管理平臺(tái)功能需求 數(shù)據(jù)處理：格式轉(zhuǎn)換、坐標(biāo)轉(zhuǎn)換、屬性編輯、數(shù)據(jù)裁切。 數(shù)據(jù)質(zhì)檢：矢量數(shù)據(jù)檢查、柵格數(shù)據(jù)檢查、三維模型數(shù)據(jù)檢查、元數(shù)據(jù)檢查。 入庫(kù)更新：矢量數(shù)據(jù)入庫(kù)、影像數(shù)據(jù)入庫(kù)、三維模型數(shù)據(jù)入庫(kù)、元數(shù)據(jù)入庫(kù)。 數(shù)據(jù)輸出：矢量數(shù)據(jù)提取、柵格數(shù)據(jù)提取。 查詢?yōu)g覽：地圖瀏覽、數(shù)據(jù)加載、SQL查詢、空間查詢、數(shù)據(jù)對(duì)比瀏覽、元數(shù)據(jù)查詢。 歷史數(shù)據(jù)管理：歷史版本數(shù)據(jù)比較、版本數(shù)據(jù)提取。 系統(tǒng)管理：權(quán)限管理、日志管理、備份恢復(fù)。 1.1. 2.4視頻庫(kù) (1)視頻庫(kù)的內(nèi)容目錄 (2)視頻庫(kù)管理

6、平臺(tái)功能需求 與視頻監(jiān)控系統(tǒng)的接口、視頻入庫(kù)、視頻目錄管理、視頻文件管理、視頻特征文件生成、視頻檢索、視頻異常發(fā)現(xiàn)等。 1.1. 2.5大數(shù)據(jù)處理平臺(tái) (1)大數(shù)據(jù)基礎(chǔ)平臺(tái) 提供基礎(chǔ)管控、基礎(chǔ)服務(wù)的大數(shù)據(jù)基礎(chǔ)支撐功能。大數(shù)據(jù)基礎(chǔ)平臺(tái)要充分利用目前先進(jìn)的大數(shù)據(jù)處理技術(shù)，保證系統(tǒng)技術(shù)的前瞻性和先進(jìn)性。大數(shù)據(jù)基礎(chǔ)平臺(tái)要求提供海量數(shù)據(jù)的采集、存儲(chǔ)、計(jì)算、接口服務(wù)能力；需要滿足海量、異構(gòu)的大數(shù)據(jù)的存儲(chǔ)、共享、開(kāi)放及分析挖掘方面的要求；需要采用主流的大數(shù)據(jù)的技術(shù)架構(gòu)，全面滿足結(jié)構(gòu)化數(shù)據(jù)、半構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、處理及計(jì)算要求；提供多種數(shù)據(jù)采集工具，支持多種格式數(shù)據(jù)采集；提供接口服務(wù)，供二次開(kāi)發(fā)應(yīng)用

7、等。 大數(shù)據(jù)基礎(chǔ)平臺(tái)要求能夠管理大數(shù)據(jù)中心集群的物理服務(wù)器資源，控制分布式程序運(yùn)行，隱藏下層故障恢復(fù)和數(shù)據(jù)冗余等細(xì)節(jié)，為大數(shù)據(jù)處理平臺(tái)提供統(tǒng)一的管理、監(jiān)控、維護(hù)等日常管理功能。主要包括：資源管理、安全管理、運(yùn)維管理、集群部署及監(jiān)控、任務(wù)調(diào)度等功能，同時(shí)配備友好的管理界面。 數(shù)據(jù)采集要求 大數(shù)據(jù)處理平臺(tái)數(shù)據(jù)主要來(lái)自數(shù)據(jù)資源中心，包括基礎(chǔ)庫(kù)(人口庫(kù)、法人庫(kù)、地理信息庫(kù)、視頻庫(kù))數(shù)據(jù)、主題庫(kù)(業(yè)務(wù)數(shù)據(jù)庫(kù))數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)，同時(shí)也支持其他外部系統(tǒng)數(shù)據(jù)來(lái)源。數(shù)據(jù)采集系統(tǒng)要求提供多種數(shù)據(jù)采集工具，支持多種格式數(shù)據(jù)采集。對(duì)于結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及網(wǎng)絡(luò)數(shù)據(jù)采用不同的采集工具進(jìn)行數(shù)據(jù)導(dǎo)入。支持多種數(shù)據(jù)采集

8、方式，比如ETL、FTP、文件導(dǎo)入導(dǎo)出、關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)等。 分布式存儲(chǔ)要求 平臺(tái)能夠根據(jù)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)的不同特點(diǎn)，分別提供數(shù)據(jù)倉(cāng)庫(kù)和分布式列式數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)，底層支撐技術(shù)支持分布式文件系統(tǒng)，所有的數(shù)據(jù)可以形成 多份副本均勻分布存儲(chǔ)在各個(gè)服務(wù)節(jié)點(diǎn)的存儲(chǔ)上，保證數(shù)據(jù)可靠性和提高讀寫(xiě)效率。 大數(shù)據(jù)計(jì)算引擎要求 離線計(jì)算引擎（Mapreduce）：離線分布式計(jì)算作為一個(gè)海量結(jié)構(gòu)化數(shù)據(jù)離線處理與分析服務(wù)，著力于實(shí)時(shí)性要求不高的海量數(shù)據(jù)（TB/PB級(jí)別）離線處理。支持并行化、容錯(cuò)、數(shù)據(jù)分布、負(fù)載均衡。離線計(jì)算引擎需要具有PB級(jí)的存儲(chǔ)處理能力和計(jì)算吞吐能力，支持多應(yīng)用多實(shí)例并發(fā)同時(shí)計(jì)算并隔離應(yīng)用數(shù)據(jù)

9、和程序的能力。 支持Mapreduce等批量數(shù)據(jù)分布式計(jì)算框架。 支持分布式內(nèi)存計(jì)算框架。 支持作業(yè)查詢預(yù)處理調(diào)度算法，可根據(jù)業(yè)務(wù)屬性對(duì)指定的多個(gè)隊(duì)列按照優(yōu)先級(jí)的配置進(jìn)行任務(wù)的提交。 具備高可靠性，支持主控節(jié)點(diǎn)雙機(jī)，避免單點(diǎn)故障不可恢復(fù)。 具備高度可擴(kuò)展，可動(dòng)態(tài)增加/削減計(jì)算節(jié)點(diǎn)，真正實(shí)現(xiàn)彈性計(jì)算。 支持離線計(jì)算組件界面配置化，可以對(duì)配置進(jìn)行查看和修改，并立刻生效。 支持離線計(jì)算組件性能指標(biāo)界面可視化，通過(guò)界面實(shí)時(shí)監(jiān)控組件性能指標(biāo)。 支持多租戶權(quán)限管理能力，支持不同用戶之間的資源隔離。 支持多應(yīng)用多實(shí)例并發(fā)同時(shí)計(jì)算并隔離應(yīng)用數(shù)據(jù)和程序的能力。 內(nèi)存計(jì)算引擎（Spark）：基于內(nèi)存的迭代計(jì)算框架

10、，適用于需要多次操作特定數(shù)據(jù)集的應(yīng)用場(chǎng)合。由于中間輸出和結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫(xiě)分布式文件系統(tǒng)，能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的算法。 支持作業(yè)查詢預(yù)處理調(diào)度算法，可以根據(jù)業(yè)務(wù)屬性對(duì)指定的多個(gè)隊(duì)列按照優(yōu)先級(jí)的配置進(jìn)行任務(wù)的提交。 支持審計(jì)日志可查詢，在管理運(yùn)維的界面中可以進(jìn)行內(nèi)存計(jì)算引擎日志的查詢。 支持相關(guān)存儲(chǔ)目錄規(guī)整，對(duì)內(nèi)存計(jì)算引擎的數(shù)據(jù)目錄進(jìn)行規(guī)整，修改默認(rèn)配置，并提供界面上的修改配置的地方。 支持配置界面化，能夠在管理運(yùn)維界面上對(duì)內(nèi)存計(jì)算引擎的配置進(jìn)行查看和修改，并能夠同步到前臺(tái)立刻生效。 支持通過(guò)界面展示性能指標(biāo)，能夠在界面上查看內(nèi)存計(jì)算引擎的性能指標(biāo)數(shù)據(jù)。

11、 支持on Yarn 等方式，在管理運(yùn)維界面上安裝服務(wù)，可以在安裝的時(shí)候，選擇On Yarn等的方式安裝。 支持內(nèi)存計(jì)算引擎的Master的HA等，可以對(duì)內(nèi)存計(jì)算引擎的master角色進(jìn)行HA等部署，以保證該節(jié)點(diǎn)的高可用性。 實(shí)時(shí)計(jì)算引擎（例如spark streaming、Storm）：實(shí)時(shí)分布式計(jì)算需要提供大吞吐量的實(shí)時(shí)流式數(shù)據(jù)處理。要求保證高可靠性的前提下讓數(shù)據(jù)處理更加實(shí)時(shí)，具備低延時(shí)、容錯(cuò)和分布計(jì)算特性。采用分布式計(jì)算框架提供實(shí)時(shí)計(jì)算服務(wù)，可按需擴(kuò)容。支持高并發(fā)低延時(shí)的數(shù)據(jù)處理。 計(jì)算引擎：支持SPARK STREAMING等實(shí)時(shí)計(jì)算框架、STORM分布式流式計(jì)算框架兩種計(jì)算框架功能。

12、 支持對(duì)流數(shù)據(jù)的處理，數(shù)據(jù)可以建立關(guān)聯(lián)處理。 高效處理數(shù)據(jù)：支持消息的分流、合流、聚合的消息處理。 數(shù)據(jù)按業(yè)務(wù)分析，可支持不同的應(yīng)用接入，并對(duì)應(yīng)不同的應(yīng)用輸出計(jì)算結(jié)果。 事件監(jiān)測(cè)：對(duì)數(shù)據(jù)處理低延時(shí)，滿足事件監(jiān)控等實(shí)時(shí)性要求很高的場(chǎng)景。 具備高可靠性，支持主控節(jié)點(diǎn)雙機(jī)，具備自動(dòng)容錯(cuò)能力，避免單點(diǎn)故障不可恢復(fù)。 支持實(shí)時(shí)計(jì)算組件界面配置化，可以對(duì)配置進(jìn)行查看和修改，配置修改立刻生效。 支持實(shí)時(shí)計(jì)算組件性能指標(biāo)界面可視化，通過(guò)界面實(shí)時(shí)監(jiān)控實(shí)時(shí)計(jì)算組件性能指標(biāo)。 全文搜索引擎（例如solr） 提供豐富的查詢語(yǔ)言，同時(shí)實(shí)現(xiàn)可配置、可擴(kuò)展并對(duì)查詢性能進(jìn)行優(yōu)化，提供一個(gè)完善的功能管理界面?？梢詫?shí)現(xiàn)集中式的配

13、置信息、自動(dòng)容錯(cuò)、查詢時(shí)自動(dòng)負(fù)載均衡、自動(dòng)分發(fā)的索引和索引分片和事務(wù)日志等多種特色功能。 可以對(duì)搜索引擎集合進(jìn)行快照，可以周期、定時(shí)創(chuàng)建集合快照，對(duì)索引數(shù)據(jù)進(jìn)行備份。 提供搜索引擎數(shù)據(jù)切換自動(dòng)化工具，一鍵式操作實(shí)現(xiàn)搜索引擎數(shù)據(jù)從一個(gè)集群切換到另外一個(gè)集群，安全可靠。 提供搜索引擎節(jié)點(diǎn)擴(kuò)容數(shù)據(jù)重分布自動(dòng)化工具，搜索引擎節(jié)點(diǎn)擴(kuò)容后數(shù)據(jù)均勻的重分布到新增節(jié)點(diǎn)上，負(fù)載均勻的分擔(dān)到各節(jié)點(diǎn)上。 支持搜索引擎服務(wù)自動(dòng)拉起功能，提高可靠性。除管理平臺(tái)界面手工停止服務(wù) 之外的異常服務(wù)停止后都會(huì)自動(dòng)拉起，保證服務(wù)連續(xù)可用。 資源管理（例如yarn） 資源管理要求能夠?qū)崿F(xiàn)調(diào)度和分配集群的內(nèi)存和計(jì)算等資源給上層應(yīng)用和

14、服務(wù)，能夠管理運(yùn)行在集群節(jié)點(diǎn)上的任務(wù)的生命周期和資源使用，提供靜態(tài)資源池和動(dòng)態(tài)資源池功能。在多用戶運(yùn)行環(huán)境中，能夠支持計(jì)算額度和訪問(wèn)控制，作業(yè)優(yōu)先級(jí)和資源搶占，達(dá)到在保障公平的前提下，有效地共享集群資源。支持VIP隊(duì)列管理，支持根據(jù)業(yè)務(wù)需要指定作業(yè)在指定的計(jì)算節(jié)點(diǎn)上運(yùn)行，隔離重點(diǎn)任務(wù)和普通任務(wù)，保障重點(diǎn)任務(wù)的物理資源。要求給出詳細(xì)的設(shè)計(jì)方案。資源管理能夠面向海量數(shù)據(jù)處理和大規(guī)模計(jì)算類(lèi)型的復(fù)雜應(yīng)用提供統(tǒng)一的資源管理和調(diào)度。提供通用的并行計(jì)算框架，要求兼容批量分布式計(jì)算、內(nèi)存分布式計(jì)算、流式計(jì)算等多種編程模式。具備高可擴(kuò)展性，支持作業(yè)定點(diǎn)調(diào)度，支持優(yōu)先級(jí)高的作業(yè)優(yōu)先分配到資源。能夠自動(dòng)檢測(cè)故障和系

15、統(tǒng)熱點(diǎn)，重試失敗任務(wù)，保證作業(yè)穩(wěn)定可靠運(yùn)行完成。 支持作業(yè)定點(diǎn)調(diào)度，指定作業(yè)在哪些主機(jī)上運(yùn)行，隔離重點(diǎn)任務(wù)和普通任務(wù)。 支持隊(duì)列增加優(yōu)先級(jí)屬性，優(yōu)先級(jí)高的作業(yè)優(yōu)先分配到資源。 支持白名單功能，限制客戶端向集群的resourcemanager提交作業(yè)。 支持提交權(quán)限，限制無(wú)權(quán)用戶提交作業(yè)并運(yùn)行。 支持隊(duì)列屬性修改圖形化，在圖形化界面中配置新增、修改、刪除隊(duì)列屬性。 支持隊(duì)列屬性增加“最大作業(yè)提交數(shù)”屬性，在圖形化界面中新增“最大作業(yè)提交數(shù)”屬性可配置 分布式協(xié)作服務(wù)（例如Zookeeper） 分布式協(xié)作服務(wù)提供分布式、高可用的協(xié)作服務(wù)，可以用來(lái)構(gòu)建分布式應(yīng)用。它能為分布式文件系統(tǒng)、分布式列式數(shù)據(jù)

16、庫(kù)、離線計(jì)算、資源管理與調(diào)度、數(shù)據(jù)倉(cāng)庫(kù)等大數(shù)據(jù)組件提供重要的功能支撐。在分布式應(yīng)用中，通常需要分布式協(xié)作服務(wù)來(lái)提供可靠的、可擴(kuò)展的、分布式的、可配置的協(xié)調(diào)機(jī)制來(lái)統(tǒng)一各系統(tǒng)的狀態(tài)。 幫助系統(tǒng)避免單點(diǎn)故障，建立可靠的應(yīng)用程序。 提供分布式協(xié)作服務(wù)和維護(hù)配置信息。 安全管理 安全管理能夠提供以用戶為單位的身份認(rèn)證和授權(quán)，能夠?qū)簲?shù)據(jù)資源和服務(wù)進(jìn)行訪問(wèn)控制，包括系統(tǒng)用戶、應(yīng)用用戶的身份和權(quán)限管理，日志管理等。 運(yùn)維管理 主機(jī)管理：可以對(duì)已經(jīng)添加的主機(jī)及其運(yùn)行狀態(tài)進(jìn)行查詢，可以對(duì)單臺(tái)主機(jī)進(jìn)行全面監(jiān)控。通過(guò)在已添加主機(jī)安裝代理，支持通過(guò)代理訪問(wèn)計(jì)算集群提供相關(guān)組件服務(wù)和操作。要求給出詳細(xì)的設(shè)計(jì)方案。 服

17、務(wù)管理：對(duì)大數(shù)據(jù)平臺(tái)包含的各個(gè)組件服務(wù)提供的管理界面，可對(duì)各組件運(yùn)行狀態(tài)進(jìn)行監(jiān)控，可執(zhí)行啟、停操作；除手動(dòng)停止服務(wù)外，系統(tǒng)監(jiān)測(cè)到服務(wù)異常終止時(shí)可以自動(dòng)拉起服務(wù)，并可以根據(jù)需要打開(kāi)或關(guān)閉自動(dòng)拉起開(kāi)關(guān)。可對(duì)具體角色實(shí)例進(jìn)行管理。為避免應(yīng)用之間在申請(qǐng)組件服務(wù)時(shí)相互干擾，提升應(yīng)用的健壯性和可靠性，應(yīng)支持相同組件的服務(wù)既共享物理資源，又相互獨(dú)立。要求給出詳細(xì)的設(shè)計(jì)方案。 告警管理：告警管理功能包括告警查看、閥值設(shè)置。監(jiān)控系統(tǒng)各類(lèi)異常，在管理界面上實(shí)時(shí)呈現(xiàn)。支持集群內(nèi)不同節(jié)點(diǎn)差異化告警閾值設(shè)置。 系統(tǒng)管理：包括系統(tǒng)配置、巡檢、備份。其中，系統(tǒng)配置包含版本設(shè)置和SNMP 設(shè)置。巡檢功能需要支持自動(dòng)巡檢和手動(dòng)

18、巡檢兩種方式。提供備份功能，包含快照和集群間備份。支持服務(wù)日志級(jí)別動(dòng)態(tài)調(diào)整，支持組件配置項(xiàng)快速查找功能，并且用戶可以根據(jù)需要新增自定義組件配置項(xiàng)。 展現(xiàn)界面設(shè)計(jì) 詳細(xì)展示大數(shù)據(jù)平臺(tái)的運(yùn)行情況。界面展示內(nèi)容包括主頁(yè)界面、集群界面、主機(jī)管理界面、告警管理界面、安裝界面、系統(tǒng)管理界面、日志界面、安全界面等。 主頁(yè)界面：可以整體查看集群的整體運(yùn)行狀況，包括主機(jī)、服務(wù)等資源的數(shù)量、在線情況；運(yùn)行負(fù)載情況；以及告警信息。 集群界面：包含服務(wù)管理、靜態(tài)資源池、動(dòng)態(tài)資源池等；其中，服務(wù)管理界面提供對(duì)大數(shù)據(jù)平臺(tái)各組件運(yùn)行狀態(tài)進(jìn)行監(jiān)控，可執(zhí)行啟、停操作；靜態(tài)資源池界面和動(dòng)態(tài)資源池界面可對(duì)根據(jù)服務(wù)狀態(tài)對(duì)資源進(jìn)行靜態(tài)

19、和動(dòng)態(tài)調(diào)整。 主機(jī)界面：可以查詢已添加的主機(jī)及其運(yùn)行狀態(tài)，也可對(duì)單臺(tái)主機(jī)進(jìn)行全面監(jiān)控。 告警界面：主要包含告警查看和閥值設(shè)置。 安裝界面：包括安裝集群、安裝主機(jī)、安裝服務(wù)、機(jī)架管理、升級(jí)服務(wù)、升級(jí)主機(jī)。 系統(tǒng)管理界面：包含巡檢報(bào)告、開(kāi)關(guān)設(shè)置、版本設(shè)置等內(nèi)容。 日志界面：分為操作日志、系統(tǒng)日志、安全日志?？梢园凑詹樵儣l件對(duì)日志進(jìn)行查詢操作，并可對(duì)日志可以進(jìn)行分類(lèi)、刪除、過(guò)濾、導(dǎo)出。 安全界面：包含部門(mén)管理、用戶管理、角色管理等。 集群部署及監(jiān)控 集群部署與監(jiān)控能夠提供整個(gè)云操作系統(tǒng)以及上層應(yīng)用服務(wù)的部署、配置管理以及服務(wù)的自檢和自舉。 集群部署：支持自動(dòng)化的安裝部署，使用工具進(jìn)行自動(dòng)安裝，簡(jiǎn)單快

20、捷。主要功能包括：集群安裝、主機(jī)安裝、服務(wù)安裝、服務(wù)升級(jí)、主機(jī)升級(jí)、機(jī)架管理。 運(yùn)行監(jiān)控：可以整體查看大數(shù)據(jù)集群的整體運(yùn)行狀況。包括主機(jī)、服務(wù)等資源的數(shù)量、在線情況；運(yùn)行負(fù)載情況；以及告警信息。同時(shí)監(jiān)控大數(shù)據(jù)平臺(tái)各組件運(yùn)行狀態(tài)、硬件資源占用情況（硬盤(pán)、CPU、內(nèi)存等）等，如果被監(jiān)控對(duì)象出現(xiàn)異常情況，監(jiān)控系統(tǒng)就會(huì)在相關(guān)管理告警頁(yè)面發(fā)出告警通知。 (2)大數(shù)據(jù)多維分析查詢系統(tǒng) 總體要求 大數(shù)據(jù)多維查詢系統(tǒng)要求提供超大數(shù)據(jù)規(guī)模數(shù)據(jù)查詢，支持PB級(jí)數(shù)據(jù)量。針對(duì)海量數(shù)據(jù)可以進(jìn)行任意維度的密集計(jì)算與檢索, 支持建立OLAP Cube,提供MOLAP能力。支持高并發(fā)、低延時(shí)的在線數(shù)據(jù)應(yīng)用系統(tǒng)，能夠提供高并發(fā)

21、的實(shí)時(shí)計(jì)算查詢服務(wù), 對(duì)于百億行級(jí)別的數(shù)據(jù)可在亞秒級(jí)時(shí)間返回查詢結(jié)果。大數(shù)據(jù)多維查詢系統(tǒng)主要面向傳統(tǒng)架構(gòu)中OLAP（聯(lián)機(jī)分析處理）數(shù)據(jù)訪問(wèn)場(chǎng)景，利用多維分析技術(shù)，針對(duì)特定分析主題，設(shè)計(jì)多種可能的觀察方式，設(shè)計(jì)相應(yīng)的分析主題結(jié)構(gòu)，使用戶在多維模型基礎(chǔ)上進(jìn)行快速、穩(wěn)定、交互式訪問(wèn)，以達(dá)到復(fù)雜分析和數(shù)據(jù)預(yù)測(cè)的作用，實(shí)現(xiàn)實(shí)時(shí)聯(lián)機(jī)分析處理的效果，面向高并發(fā)、海量、低延時(shí)的業(yè)務(wù)場(chǎng)景。 創(chuàng)建數(shù)據(jù)模型 系統(tǒng)能夠根據(jù)維度和指標(biāo)的要求，從現(xiàn)有的數(shù)據(jù)表中選擇可對(duì)應(yīng)維度或指標(biāo)的字段，將這些字段的信息分別保存在維度表和度量表中。支持層級(jí)維度、聯(lián)合維度、可推導(dǎo)維度等維度降維優(yōu)化技術(shù)。根據(jù)業(yè)務(wù)的聚合需求，支持定義度量的聚合

22、形式，包括SUM、MIN、MAX、COUNT、COUNT_DISTINCT等?？啥x分區(qū)類(lèi)型、分區(qū)列和開(kāi)始日期等，以支持采用增量構(gòu)建方式對(duì)Cube進(jìn)行構(gòu)建。 分析查詢處理 系統(tǒng)能夠根據(jù)維度指標(biāo)定義及關(guān)聯(lián)關(guān)系，提供多維數(shù)據(jù)的分析查詢處理，在查詢過(guò)程中能夠分別根據(jù)上鉆、下鉆、切片、切塊、旋轉(zhuǎn)、TOPN等操作進(jìn)行相應(yīng)的處理。 支持web頁(yè)面向?qū)侥Ｐ蜆?gòu)建及任務(wù)監(jiān)控。支持ANSI SQL查詢標(biāo)準(zhǔn)，對(duì)外提供標(biāo)準(zhǔn)的ODBC、 JDBC驅(qū)動(dòng)及REST API接口。 (3)大數(shù)據(jù)智能分析系統(tǒng) 總體要求 大數(shù)據(jù)智能分析系統(tǒng)提供各類(lèi)數(shù)據(jù)的融合與共享服務(wù)，要求集成豐富的數(shù)據(jù)挖掘算法，能夠?qū)Ａ繑?shù)據(jù)提供高效的分析和計(jì)

23、算。數(shù)據(jù)分析挖掘引擎支持并行化統(tǒng)計(jì)算法和機(jī)器學(xué)習(xí)基礎(chǔ)算法庫(kù)，支持的并行化基礎(chǔ)算法，能夠處理大數(shù)據(jù)集。 算法庫(kù) 大數(shù)據(jù)智能分析平臺(tái)，需集成豐富的機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘算法，包括但不限于分類(lèi)、預(yù)測(cè)與回歸、聚類(lèi)、降維、推薦/協(xié)同過(guò)濾、相似度等算法，支持對(duì)海量數(shù)據(jù)進(jìn)行高效的分析和計(jì)算，支持圖計(jì)算和圖挖掘，支持用戶擴(kuò)展算法庫(kù)。 聚類(lèi)分析：集成常用的聚類(lèi)分析算法對(duì)數(shù)據(jù)進(jìn)行抽象的分組分類(lèi)。 分類(lèi)分析：在設(shè)定好的分類(lèi)之中，對(duì)數(shù)據(jù)進(jìn)行歸類(lèi)。 關(guān)聯(lián)分析：集成常用關(guān)聯(lián)分析算法，對(duì)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系進(jìn)行分析，得出不同數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。 回歸分析：集成常用回歸分析算法。 特征分析：集成常用特征分析算法，挖掘數(shù)據(jù)潛在的特征

24、。 圖挖掘：基于圖和圖并行計(jì)算框架提供圖挖掘工具，主要包含：連通圖、最短路徑、三角關(guān)系計(jì)數(shù)、社區(qū)關(guān)系。 智能分析系統(tǒng) 數(shù)據(jù)準(zhǔn)備：通過(guò)對(duì)業(yè)務(wù)需求分析，搜索所有與業(yè)務(wù)對(duì)象有關(guān)的內(nèi)部和外部數(shù)據(jù)信息，從中選擇出適用于數(shù)據(jù)挖掘應(yīng)用的數(shù)據(jù)，并進(jìn)行數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理可以加快分析過(guò)程，提高分析結(jié)果的精度，針對(duì)不同的數(shù)據(jù)類(lèi)型缺失值的處理各不相同，需要結(jié)合業(yè)務(wù)場(chǎng)景。 數(shù)據(jù)探索：通過(guò)統(tǒng)計(jì)分析和關(guān)聯(lián)分析等手段，能夠深入挖掘多源多維數(shù)據(jù)之間 的關(guān)聯(lián)性，從不同的維度分析數(shù)據(jù)，加深對(duì)數(shù)據(jù)的理解，提取可能對(duì)業(yè)務(wù)結(jié)果相關(guān)的影響因子，探索發(fā)掘數(shù)據(jù)的內(nèi)在規(guī)律特征，為分析模型對(duì)業(yè)務(wù)進(jìn)行定量與定性的結(jié)合分析。 數(shù)據(jù)構(gòu)建：根據(jù)數(shù)據(jù)源

25、類(lèi)型、業(yè)務(wù)要求建立對(duì)應(yīng)的數(shù)據(jù)模型。通過(guò)分類(lèi)、聚類(lèi)、關(guān)聯(lián)、回歸、特征分析等機(jī)器學(xué)習(xí)算法和分析方法，對(duì)海量多樣化數(shù)據(jù)進(jìn)行進(jìn)行模型構(gòu)建和數(shù)據(jù)分析挖掘。數(shù)據(jù)模型的設(shè)計(jì)包括設(shè)計(jì)和準(zhǔn)備數(shù)據(jù)源，數(shù)據(jù)的處理，選取和設(shè)計(jì)數(shù)據(jù)算法。數(shù)據(jù)模型的建立是一個(gè)預(yù)定義、評(píng)估、優(yōu)化的過(guò)程。 模型評(píng)估：利用評(píng)估算法對(duì)模型進(jìn)行評(píng)估，評(píng)估數(shù)據(jù)分析結(jié)果的合理性、合法性，評(píng)價(jià)模型的優(yōu)劣。根據(jù)分析結(jié)果及時(shí)調(diào)整和優(yōu)化數(shù)據(jù)模型，如果結(jié)果不符合預(yù)期，需要調(diào)整參數(shù)進(jìn)行機(jī)器學(xué)習(xí)，重新估算。 可視化智能分析工具：要求提供可視化智能分析工具，加速數(shù)據(jù)分析模型設(shè)計(jì)。可視化智能分析套件為數(shù)據(jù)分析提供直觀的圖形化用戶界面，用于設(shè)計(jì)分析流程。實(shí)現(xiàn)完整的建模步

26、驟，從數(shù)據(jù)加載、匯集、到轉(zhuǎn)化和準(zhǔn)備階段，再到數(shù)據(jù)分析和產(chǎn)生預(yù)測(cè)階段。 1.1. 2.6數(shù)據(jù)管理服務(wù)平臺(tái) 數(shù)據(jù)管理服務(wù)平臺(tái)是一個(gè)管理、展現(xiàn)平臺(tái)，主要包括：數(shù)據(jù)治理與監(jiān)控系統(tǒng)、數(shù)據(jù)服務(wù)集成管理系統(tǒng)和大數(shù)據(jù)展現(xiàn)門(mén)戶等。 (1)數(shù)據(jù)治理與監(jiān)控系統(tǒng) 數(shù)據(jù)治理與監(jiān)控系統(tǒng)是一個(gè)數(shù)據(jù)治理和數(shù)據(jù)監(jiān)控的綜合管理系統(tǒng)，對(duì)數(shù)據(jù)資源中心和大數(shù)據(jù)處理平臺(tái)兩大部分?jǐn)?shù)據(jù)進(jìn)行治理和管控。數(shù)據(jù)治理按照數(shù)據(jù)全生命周期來(lái)管理，要求包含：數(shù)據(jù)源管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)地圖管理、數(shù)據(jù)血緣管理、數(shù)據(jù)安全管理和元數(shù)據(jù)管理等；數(shù)據(jù)監(jiān)控與數(shù)據(jù)治理相輔相成，實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的全程監(jiān)控，包括：全局?jǐn)?shù)據(jù)監(jiān)控、部門(mén)數(shù)據(jù)監(jiān)控、數(shù)據(jù)存儲(chǔ)使用監(jiān)控和數(shù)據(jù)異常監(jiān)控

27、等內(nèi)容。 數(shù)據(jù)標(biāo)準(zhǔn)管理 術(shù)語(yǔ)標(biāo)準(zhǔn)管理：包括限定詞、同義詞、術(shù)語(yǔ)等信息庫(kù)的管理。 元數(shù)據(jù)管理：元數(shù)據(jù)記錄了數(shù)據(jù)源的結(jié)構(gòu)信息，有了元數(shù)據(jù)才能對(duì)數(shù)據(jù)源進(jìn)行各種操作，元數(shù)據(jù)管理需要提供對(duì)各數(shù)據(jù)源的元數(shù)據(jù)進(jìn)行注冊(cè)，加載，查看等功能。 數(shù)據(jù)源管理：數(shù)據(jù)源管理包括：基礎(chǔ)環(huán)境的管理、標(biāo)準(zhǔn)編碼管理等。 基礎(chǔ)環(huán)境管理：基礎(chǔ)環(huán)境配置管理用于進(jìn)行一些基礎(chǔ)信息的配置，包括：源、目標(biāo)數(shù)據(jù)源的配置、標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)表結(jié)構(gòu)配置及其編碼表的配置等。 標(biāo)準(zhǔn)編碼表管理 用于對(duì)數(shù)據(jù)中心數(shù)據(jù)涉及的編碼表及其編碼項(xiàng)進(jìn)行定義。 數(shù)據(jù)處理管理 提供完善的數(shù)據(jù)處理功能，如數(shù)據(jù)清洗、數(shù)據(jù)比對(duì)、數(shù)據(jù)加載、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)共享等功能。 數(shù)據(jù)規(guī)則與質(zhì)量管理

28、數(shù)據(jù)質(zhì)量監(jiān)控是根據(jù)預(yù)設(shè)的規(guī)則來(lái)檢測(cè)數(shù)據(jù)中的質(zhì)量問(wèn)題，檢測(cè)規(guī)則可自主配置，也可以自主編寫(xiě)規(guī)則表達(dá)式。數(shù)據(jù)質(zhì)量監(jiān)控與系統(tǒng)調(diào)度關(guān)聯(lián)使用，發(fā)現(xiàn)臟數(shù)據(jù)，避免錯(cuò)誤的數(shù)據(jù)流入下游應(yīng)用。 數(shù)據(jù)地圖 數(shù)據(jù)全局視圖：展示從外部源到內(nèi)部庫(kù)，到輸出數(shù)據(jù)庫(kù)的數(shù)據(jù)整體流向，展示類(lèi)別數(shù)目、庫(kù)數(shù)目、表數(shù)目、分別統(tǒng)計(jì)庫(kù)、表、字段、作業(yè)、任務(wù)等數(shù)量。從表數(shù)目和數(shù)據(jù)存儲(chǔ)量的角度展示數(shù)據(jù)庫(kù)中按月度變化的動(dòng)態(tài)信息，以直觀的圖形化進(jìn)行動(dòng)態(tài)展示。并且可以區(qū)分不同部門(mén)進(jìn)行統(tǒng)計(jì)。 數(shù)據(jù)動(dòng)態(tài)分布：從表數(shù)目和數(shù)據(jù)存儲(chǔ)量的角度展示數(shù)據(jù)倉(cāng)庫(kù)中按月度變化的動(dòng)態(tài)信息，以直觀的圖形化進(jìn)行動(dòng)態(tài)展示。并且可以區(qū)分不同部門(mén)或者租戶進(jìn)行統(tǒng)計(jì)。 數(shù)據(jù)血緣：數(shù)據(jù)血緣以

29、歷史事實(shí)的方式記錄每項(xiàng)數(shù)據(jù)的來(lái)源，處理過(guò)程，應(yīng)用對(duì)接情況等，記錄了數(shù)據(jù)表在治理過(guò)程中的全鏈血緣關(guān)系。數(shù)據(jù)血緣就是通過(guò)對(duì)數(shù)據(jù)處理的全過(guò)程追蹤，找到以某個(gè)數(shù)據(jù)對(duì)象為起點(diǎn)的所有與該對(duì)象相關(guān)的元數(shù)據(jù)和它們之間關(guān)系的一種技術(shù)手段。 (2)數(shù)據(jù)服務(wù)集成管理系統(tǒng) 搭建基于企業(yè)服務(wù)總線（ESB）的服務(wù)集成管理系統(tǒng)，構(gòu)建數(shù)據(jù)服務(wù)的統(tǒng)一通信通道，即使在協(xié)議不同、格式不同、標(biāo)準(zhǔn)不同的情況下，服務(wù)與對(duì)接服務(wù)之間都可以實(shí)現(xiàn)交互通信，傳遞消息，以便實(shí)現(xiàn)服務(wù)集成管理目標(biāo)，從而實(shí)現(xiàn)各類(lèi)數(shù)據(jù)服務(wù)的統(tǒng)一管理，面向政府用于、企業(yè)、公眾、開(kāi)發(fā)者，提供便捷的數(shù)據(jù)服務(wù)。具體包括： 服務(wù)注冊(cè)與發(fā)布 提供服務(wù)定義、注冊(cè)、審核和發(fā)布功能，發(fā)布

30、前可以對(duì)服務(wù)的配置參數(shù)進(jìn)行審 核與修改，配置通道，發(fā)布后，自動(dòng)生成/更新對(duì)應(yīng)服務(wù)的配置文件（如WSDL），連同服務(wù)參數(shù)配置，更新至服務(wù)目錄中；提供對(duì)注冊(cè)/發(fā)布服務(wù)的連通性測(cè)試； 服務(wù)生命周期管理 提供服務(wù)的注冊(cè)、變更、下線的申請(qǐng)、審核、復(fù)核功能，檢查和確認(rèn)服務(wù)狀態(tài)以執(zhí)行變更、下線；根據(jù)服務(wù)優(yōu)化管理中的服務(wù)拓?fù)浞治觯{(diào)整服務(wù)層級(jí)分類(lèi)或整合服務(wù)，以實(shí)現(xiàn)優(yōu)化；提供服務(wù)版本的管理； 流程管理 支持服務(wù)申請(qǐng)、服務(wù)變更、服務(wù)下線等服務(wù)生命周期管理中相關(guān)流程的管理功能； 服務(wù)目錄管理 提供服務(wù)目錄的瀏覽和檢索；提供服務(wù)目錄/服務(wù)定義/服務(wù)狀態(tài)的查詢和管理，包括權(quán)限的過(guò)濾和管理； 接入系統(tǒng)管理 設(shè)置和管理服務(wù)

31、請(qǐng)求方和接入請(qǐng)求系統(tǒng)的映射關(guān)系；設(shè)置和管理服務(wù)提供方和接入服務(wù)系統(tǒng)的映射關(guān)系；設(shè)置和管理服務(wù)請(qǐng)求方、服務(wù)提供方在服務(wù)治理系統(tǒng)的用戶映射關(guān)系； 接口數(shù)據(jù)管理 提供數(shù)據(jù)字典的定義和管理，提供服務(wù)方法接口和數(shù)據(jù)字典字段的映射關(guān)系設(shè)置。 (3)大數(shù)據(jù)展現(xiàn)門(mén)戶 大數(shù)據(jù)展現(xiàn)門(mén)戶是智慧園區(qū)大數(shù)據(jù)中心對(duì)外服務(wù)窗口，門(mén)戶包括兩個(gè)方面：政務(wù)數(shù)據(jù)資源門(mén)戶（內(nèi)部數(shù)據(jù)門(mén)戶）和公眾數(shù)據(jù)門(mén)戶（外部數(shù)據(jù)門(mén)戶）。 政務(wù)數(shù)據(jù)資源門(mén)戶作為大數(shù)據(jù)管理部門(mén)信息發(fā)布和資源服務(wù)的總管理入口，為各級(jí)政府部門(mén)提供信息資源展示、在線信息服務(wù)、信息檢索、系統(tǒng)集成訪問(wèn)等功能。另外，針對(duì)系統(tǒng)管理員、各級(jí)領(lǐng)導(dǎo)、政務(wù)用戶的不同應(yīng)用需求，提供個(gè)性化工作臺(tái)。

32、 公眾數(shù)據(jù)門(mén)戶提供政務(wù)部門(mén)可公開(kāi)各類(lèi)數(shù)據(jù)的下載與服務(wù)，為企業(yè)和個(gè)人開(kāi)展政務(wù)信息資源的社會(huì)化開(kāi)發(fā)利用提供數(shù)據(jù)支撐，推動(dòng)信息資源增值服務(wù)業(yè)的發(fā)展以及相關(guān)數(shù)據(jù)分析與研究工作的開(kāi)展。 政務(wù)數(shù)據(jù)資源門(mén)戶 門(mén)戶基本管理：政務(wù)數(shù)據(jù)資源門(mén)戶主要是提供政務(wù)大數(shù)據(jù)中心數(shù)據(jù)成果的展示和應(yīng)用訪問(wèn)入口的應(yīng)用集成。提供單點(diǎn)登錄、訪問(wèn)權(quán)限管理，后臺(tái)內(nèi)容管理等功能。 在線查詢服務(wù):針對(duì)政務(wù)數(shù)據(jù)中心，開(kāi)發(fā)高效率的在線查詢服務(wù)。人口信息、法人信息、宏觀經(jīng)濟(jì)、信用信息等面向政府部門(mén)提供信息服務(wù)，空間地理信息服務(wù)包括地圖基本操作、地圖測(cè)量、圖層控制、空間分析以及相關(guān)數(shù)據(jù)融合等信息服務(wù)功能。 信息資源綜合展示：能通過(guò)可視化的方式展示區(qū)

33、域內(nèi)信息資源的全景，即：部門(mén)信息資源的分布情況，需求情況、使用情況，需要按照不同視角進(jìn)行呈現(xiàn)，要求包含但不限于：資產(chǎn)總體視圖、組織機(jī)構(gòu)視角、服務(wù)對(duì)象視角、信息資源視角、協(xié)同主題視角。 用戶交流模塊：為用戶提供交流的手段，每個(gè)授權(quán)用戶都可以在交流板塊上提出問(wèn)題、見(jiàn)解或者是進(jìn)行討論，針對(duì)交流的問(wèn)題可以選擇是否公開(kāi)。 用戶幫助模塊：為用戶提供平臺(tái)功能及其操作方法的介紹和幫助說(shuō)明，使各級(jí)用戶盡快掌握使用方法。 公眾數(shù)據(jù)門(mén)戶 為了實(shí)現(xiàn)政務(wù)數(shù)據(jù)對(duì)社會(huì)的開(kāi)放，帶動(dòng)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展，利用政務(wù)大數(shù)據(jù)促進(jìn)信息產(chǎn)業(yè)創(chuàng)業(yè)創(chuàng)新，建設(shè)數(shù)據(jù)對(duì)外開(kāi)放的門(mén)戶，實(shí)現(xiàn)政務(wù)大數(shù)據(jù)的對(duì)外開(kāi)放。針對(duì)公眾數(shù)據(jù)門(mén)戶將要充分利用政府門(mén)戶網(wǎng)站，在

34、現(xiàn)有的門(mén)戶網(wǎng)站上開(kāi)辟一個(gè)政務(wù)數(shù)據(jù)開(kāi)放的入口，點(diǎn)擊后即可進(jìn)入公眾數(shù)據(jù)門(mén)戶。公眾數(shù)據(jù)門(mén)戶的主要功能有：資源目錄、數(shù)據(jù)開(kāi)放接口、APP應(yīng)用、互動(dòng)交流等。 資源目錄：社會(huì)公眾可以通過(guò)資源目錄查找到需要的數(shù)據(jù)，找到相應(yīng)數(shù)據(jù)的獲取方式，數(shù)據(jù)可以是通過(guò)下載方式獲取也可以通過(guò)數(shù)據(jù)接口的方式獲取，無(wú)論哪種方式都需要用戶注冊(cè)認(rèn)證后才可以獲取。用戶可以通過(guò)數(shù)據(jù)資源主題的方式查找，也可以用戶數(shù)據(jù)來(lái)源各部門(mén)的方式查找。 數(shù)據(jù)開(kāi)放接口：用戶可以通過(guò)此功能查找到可以調(diào)用的數(shù)據(jù)接口，并可以查找到數(shù)據(jù)接口的調(diào)用方式、說(shuō)明文檔、代碼示例等相關(guān)內(nèi)容，通過(guò)功能應(yīng)用開(kāi)發(fā)人員可以方便的通過(guò)數(shù)據(jù)接口獲取所需要的數(shù)據(jù)。 互動(dòng)交流：互動(dòng)交流功

35、能是網(wǎng)站用戶與網(wǎng)站管理人員進(jìn)行互動(dòng)交流的模塊，在這里網(wǎng)站管理人員可以將網(wǎng)站的使用說(shuō)明和一些常遇到的問(wèn)題及解決方法公布出來(lái)， 網(wǎng)站管理人員也可以在此公布調(diào)查問(wèn)卷，征求普通用戶的意見(jiàn)。同時(shí)，普通用戶也可以在這里提出自己的疑問(wèn)，讓管理人員進(jìn)行解答。 1.2設(shè)計(jì)方案 1.2.1總體平臺(tái)設(shè)計(jì) 總體架構(gòu) 智慧園區(qū)大數(shù)據(jù)平臺(tái)的核心是建立面向宏觀經(jīng)濟(jì)發(fā)展、社會(huì)公共服務(wù)的數(shù)據(jù)庫(kù)和數(shù)據(jù)服務(wù)?？傮w架構(gòu)由支撐體系（標(biāo)準(zhǔn)規(guī)范支撐體系、管理運(yùn)行維護(hù)支撐體系、安全支撐體系）、網(wǎng)絡(luò)系統(tǒng)、信息共享平臺(tái)軟硬件系統(tǒng)環(huán)境、數(shù)據(jù)庫(kù)體系（中心交換庫(kù)、基礎(chǔ)數(shù)據(jù)庫(kù)、主題庫(kù)、發(fā)布庫(kù)、宏觀經(jīng)濟(jì)數(shù)據(jù)庫(kù)管理系統(tǒng)、元數(shù)據(jù)庫(kù)系統(tǒng)）、應(yīng)用系統(tǒng)（數(shù)據(jù)交換處

36、理系統(tǒng)、應(yīng)用支撐系統(tǒng)、數(shù)據(jù)綜合分析系統(tǒng)）組成。 圖大數(shù)據(jù)平臺(tái)總體架構(gòu)圖 信息共享平臺(tái)通過(guò)網(wǎng)絡(luò)收集統(tǒng)計(jì)系統(tǒng)和各共建部門(mén)的信息資源，并有效地將這些信息資源進(jìn)行分類(lèi)整理，實(shí)現(xiàn)跨部門(mén)、跨行業(yè)的宏觀經(jīng)濟(jì)管理信息共享，并向用戶提供數(shù)據(jù)服務(wù)； 數(shù)據(jù)庫(kù)體系：由元數(shù)據(jù)控制，實(shí)現(xiàn)數(shù)據(jù)的交換、存儲(chǔ)和發(fā)布，整合共建單位現(xiàn)有信息資源，構(gòu)建主題庫(kù)和發(fā)布庫(kù)，為數(shù)據(jù)服務(wù)提供支持。 體系結(jié)構(gòu)圖 智慧園區(qū)公共基礎(chǔ)數(shù)據(jù)庫(kù)信息共享平臺(tái)劃分為工作（生產(chǎn)）區(qū)、發(fā)布（共享）區(qū)和互聯(lián)網(wǎng)信息發(fā)布區(qū)。在工作（生產(chǎn)）區(qū)構(gòu)建宏觀經(jīng)濟(jì)數(shù)據(jù)的采集、整合、處理和存儲(chǔ)系統(tǒng)；在發(fā)布（共享）區(qū)構(gòu)建宏觀經(jīng)濟(jì)數(shù)據(jù)的發(fā)布與共享、存儲(chǔ)與備份和專網(wǎng)門(mén)戶系統(tǒng)等環(huán)境支撐系統(tǒng)

37、；在互聯(lián)網(wǎng)信息發(fā)布區(qū)構(gòu)建互聯(lián)網(wǎng)門(mén)戶系統(tǒng)，為社會(huì)公眾提供宏觀經(jīng)濟(jì)信息服務(wù)。如下圖表所示： 市統(tǒng)計(jì)局 若 干 個(gè) 委 辦 局 圖園區(qū)大數(shù)據(jù)平臺(tái)體系結(jié)構(gòu)圖 總體流程圖 智慧園區(qū)大數(shù)據(jù)平臺(tái)采用在線填報(bào)、數(shù)據(jù)庫(kù)對(duì)接和基于消息的數(shù)據(jù)交換三種采集方式，集中采集、整合、存儲(chǔ)各共建部門(mén)指標(biāo)數(shù)據(jù)。中心交換數(shù)據(jù)庫(kù)存儲(chǔ)各共建部門(mén)交換來(lái)的原貌數(shù)據(jù)，基礎(chǔ)數(shù)據(jù)庫(kù)是對(duì)原貌數(shù)據(jù)進(jìn)行審核轉(zhuǎn)換和加工而成，是主題數(shù)據(jù)庫(kù)和發(fā)布庫(kù)構(gòu)成的基礎(chǔ)。元數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)的采集交換、整合、存儲(chǔ)、分析和發(fā)布全過(guò)程進(jìn)行定義和約束。專網(wǎng)和互聯(lián)網(wǎng)的用戶可通過(guò)門(mén)戶系統(tǒng)，分別對(duì)發(fā)布（共享）區(qū)和互聯(lián)網(wǎng)信息發(fā)布區(qū)的數(shù)據(jù)進(jìn)行訪問(wèn)。 智慧園區(qū)大數(shù)據(jù)平臺(tái)總體流程圖如下： 圖

38、園區(qū)大數(shù)據(jù)平臺(tái)總體流程圖 1.2.2人口基礎(chǔ)數(shù)據(jù)庫(kù)設(shè)計(jì) 在沒(méi)有數(shù)據(jù)標(biāo)準(zhǔn)的情況下，人口基礎(chǔ)數(shù)據(jù)庫(kù)數(shù)據(jù)中心對(duì)同一個(gè)數(shù)據(jù)字段可以從多個(gè)數(shù)據(jù)來(lái)源采集數(shù)據(jù)。如：婚姻狀態(tài)字段可以從計(jì)生部門(mén)和公安部門(mén)采集。對(duì)于同一個(gè)數(shù)據(jù)字段，中心對(duì)于該數(shù)據(jù)字段保存多個(gè)來(lái)源的版本。人口基礎(chǔ)數(shù)據(jù)管理系統(tǒng)提供工具、服務(wù)來(lái)展現(xiàn)數(shù)據(jù)的不一致性，數(shù)據(jù)管理員根據(jù)工作制度，對(duì)數(shù)據(jù)字段進(jìn)行電話等多種手段核實(shí)字段的真實(shí)數(shù)值。中心通過(guò)數(shù)據(jù)交換系統(tǒng)以數(shù)據(jù)服務(wù)的方式從各業(yè)務(wù)部門(mén)采集數(shù)據(jù)，保存到公共數(shù)據(jù)緩存庫(kù)，使用人口基礎(chǔ)數(shù)據(jù)管理維護(hù)系統(tǒng)進(jìn)行數(shù)據(jù)比對(duì)、沖突檢查、數(shù)據(jù)審核、數(shù)據(jù)轉(zhuǎn)換。當(dāng)數(shù)據(jù)達(dá)到一致性、完整性要求時(shí)，數(shù)據(jù)將由公共數(shù)據(jù)緩存庫(kù)轉(zhuǎn)存到人口基礎(chǔ)數(shù)

39、據(jù)發(fā)布庫(kù)中，并通過(guò)數(shù)據(jù)交換系 統(tǒng)以訂閱/發(fā)布的方式提供給各業(yè)務(wù)部門(mén)使用。 人口基礎(chǔ)數(shù)據(jù)管理系統(tǒng)維護(hù)一個(gè)面向?qū)ο蟮墓矓?shù)據(jù)模型，公共數(shù)據(jù)模型是公共數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范的實(shí)現(xiàn)。公共數(shù)據(jù)維護(hù)系統(tǒng)控制著公共數(shù)據(jù)的輸入和輸出，為數(shù)據(jù)質(zhì)量把關(guān)。人口基礎(chǔ)信息綜合查詢系統(tǒng)采用B/S結(jié)構(gòu)，客戶端采用瀏覽器，用戶界面是實(shí)現(xiàn)不同功能的網(wǎng)頁(yè)。 綜合查詢系統(tǒng)的操作頁(yè)面要求易于使用，使用戶能夠方便快捷的對(duì)網(wǎng)頁(yè)提供的各項(xiàng)功能進(jìn)行操作。采用菜單樹(shù)的方式展開(kāi)系統(tǒng)的功能。 人口基礎(chǔ)信息綜合查詢系統(tǒng)可以有針對(duì)性地，按照用戶授權(quán)的不同，為不同用戶提供不同層次的人口資源公共查詢服務(wù)。 人口基礎(chǔ)信息功能如下圖所示。 人口基礎(chǔ)數(shù)據(jù)庫(kù)管理應(yīng)用系統(tǒng)功

40、能模塊列表： 數(shù)據(jù)接收服務(wù) 接收數(shù)據(jù)的查詢是針對(duì)各部門(mén)交換匯總的信息，進(jìn)行以部門(mén)為單位的信息查詢。通過(guò)查詢工作，可以了解各部門(mén)實(shí)際提交的信息情況，并實(shí)現(xiàn)信息詳查和統(tǒng)計(jì)工作。系統(tǒng)提供了按部門(mén)查詢的查詢方式。 中心數(shù)據(jù)查詢 人口中心數(shù)據(jù)，就是經(jīng)過(guò)數(shù)據(jù)比對(duì)梳理完成的人口基礎(chǔ)信息。針對(duì)人口信息量大，涵蓋范圍廣、內(nèi)容繁雜的特點(diǎn)，在人口基礎(chǔ)信息中心數(shù)據(jù)庫(kù)設(shè)計(jì)中，采用信息擴(kuò)展和關(guān)聯(lián)的方法，逐級(jí)分領(lǐng)域和部門(mén)展示人口基礎(chǔ)信息和擴(kuò)展信息。如下圖所示。 圖人口基礎(chǔ)信息關(guān)聯(lián)設(shè)計(jì) 系統(tǒng)根據(jù)部門(mén)需求進(jìn)行查詢分類(lèi)，各部門(mén)根據(jù)本部門(mén)業(yè)務(wù)相關(guān)信息進(jìn)行檢索。如公安部門(mén)可根據(jù)身份證號(hào)、姓名、性別、民族為檢索條件，進(jìn)行基本信息的查詢

41、；可根據(jù)姓名、暫住證號(hào)、身份證號(hào)為檢索條件，進(jìn)行暫住人口信息的查詢操作。 其他部門(mén)檢索與查詢操作類(lèi)似。 決策支持子系統(tǒng) 決策支持子系統(tǒng)是根據(jù)業(yè)務(wù)需要，基于人口基礎(chǔ)信息，進(jìn)行數(shù)據(jù)挖掘，實(shí)現(xiàn)統(tǒng) 計(jì)報(bào)表操作，為領(lǐng)導(dǎo)決策提供快速的報(bào)表支持。查詢列表如下圖所示。 圖決策支持子系統(tǒng)查詢列表 授權(quán)管理 授權(quán)管理，就是提供信息需求部門(mén)申請(qǐng)查詢授權(quán)，信息提供部門(mén)審批授權(quán)的功能。 申請(qǐng)部門(mén)選擇對(duì)應(yīng)的信息表，向信源部門(mén)提出申請(qǐng)；信源部門(mén)根據(jù)業(yè)務(wù)規(guī)則，對(duì)申請(qǐng)部門(mén)提供授權(quán)或不授權(quán)，此外，授權(quán)功能提供時(shí)限控制和授權(quán)使用次數(shù)控制。 數(shù)據(jù)清洗比對(duì)管理 數(shù)據(jù)比對(duì)系統(tǒng)通過(guò)數(shù)據(jù)比對(duì)引擎，實(shí)現(xiàn)對(duì)人口基礎(chǔ)信息的比對(duì)工作。 依據(jù)的業(yè)務(wù)需

42、要，數(shù)據(jù)比對(duì)包括比對(duì)操作，各部門(mén)數(shù)據(jù)的過(guò)濾查詢，各部門(mén)信息比對(duì)入庫(kù)結(jié)果查詢。人口基礎(chǔ)信息的比對(duì)，依據(jù)其特點(diǎn)，采用自動(dòng)比對(duì)和人工參與比對(duì)結(jié)合的方式，實(shí)現(xiàn)基礎(chǔ)信息的比對(duì)功能。 數(shù)據(jù)過(guò)濾查詢是針對(duì)部門(mén)提交的數(shù)據(jù)，進(jìn)行梳理過(guò)濾與清洗，得出的清洗出的問(wèn)題數(shù)據(jù)進(jìn)行查詢操作。 與數(shù)據(jù)過(guò)濾查詢類(lèi)似，數(shù)據(jù)入庫(kù)查詢是將部門(mén)信息與人口基礎(chǔ)信息總表信息進(jìn)行比對(duì)，并經(jīng)過(guò)相關(guān)部門(mén)審批確認(rèn)，比對(duì)出現(xiàn)差異錯(cuò)誤信息的查詢。 信息核驗(yàn) 結(jié)合比對(duì)系統(tǒng)人工比對(duì)功能，提供部門(mén)提出比對(duì)結(jié)果意見(jiàn)功能。當(dāng)部門(mén)業(yè)務(wù)信息進(jìn)入比對(duì)系統(tǒng)后，如出現(xiàn)基礎(chǔ)信息庫(kù)和業(yè)務(wù)應(yīng)用源頭部門(mén)信息不匹配，需要業(yè)務(wù)人員參與的情況下，提供業(yè)務(wù)部門(mén)信息核驗(yàn)功能。 系統(tǒng)管理

43、系統(tǒng)管理功能是實(shí)現(xiàn)對(duì)使用人口基礎(chǔ)信息查詢系統(tǒng)的用戶進(jìn)行管理。 人口基礎(chǔ)信息綜合查詢系統(tǒng)提供用戶、角色、權(quán)限的設(shè)定。即每個(gè)申請(qǐng)的用戶，根據(jù)其角色，享有角色指定的權(quán)限。系統(tǒng)管理員可以根據(jù)用戶情況，賦予固定角色。 系統(tǒng)管理員可制定新增用戶指定角色以及分配權(quán)限。 系統(tǒng)管理分為用戶管理和角色管理。 （1）用戶管理：管理系統(tǒng)用戶，以及給系統(tǒng)用戶分配角色和權(quán)限。 （2）角色管理：角色管理是對(duì)每個(gè)角色進(jìn)行查詢，并分配相應(yīng)權(quán)限，系統(tǒng)管理員可以根據(jù)角色權(quán)限，以及每個(gè)用戶的允許查詢權(quán)限為用戶授權(quán)。 1.2.3法人基礎(chǔ)數(shù)據(jù)庫(kù)設(shè)計(jì) 法人基礎(chǔ)數(shù)據(jù)庫(kù)系統(tǒng)實(shí)現(xiàn)法人基礎(chǔ)數(shù)據(jù)查詢、統(tǒng)計(jì)和管理等功能的應(yīng)用系統(tǒng)。系統(tǒng)主要功能包括：

44、法人基礎(chǔ)信息管理應(yīng)用系統(tǒng)功能模塊列表： 系統(tǒng)管理 管理系統(tǒng)用戶，以及給系統(tǒng)用戶分配權(quán)限，其中包括用戶角色管理、角色信息管理、部門(mén)賬戶管理、系統(tǒng)日志管理、系統(tǒng)網(wǎng)絡(luò)布局查看以及部門(mén)交換頻率查看。如下圖所示： 授權(quán)服務(wù) 法人基礎(chǔ)數(shù)據(jù)庫(kù)系統(tǒng)設(shè)計(jì)原則遵循“誰(shuí)提供誰(shuí)維護(hù)”的原則，在中心形成的法人基礎(chǔ)數(shù)據(jù)庫(kù)中的法人信息，對(duì)于公開(kāi)開(kāi)放的數(shù)據(jù)，不需要經(jīng)過(guò)部門(mén)授權(quán)就可以查看，但對(duì)于部門(mén)未開(kāi)放或者指定對(duì)象開(kāi)放的數(shù)據(jù)，其他部門(mén)需要查詢?cè)摬块T(mén)的數(shù)據(jù)需要向數(shù)據(jù)提供部門(mén)提出申請(qǐng)，在申請(qǐng)通過(guò)后，才可在授權(quán)允許的范圍內(nèi)進(jìn)行查詢。 授權(quán)服務(wù)主要功能包括： （1）數(shù)據(jù)授權(quán)管理：通過(guò)申請(qǐng)查看授權(quán)向數(shù)據(jù)提供部門(mén)提出查詢申請(qǐng)，信息所屬部

45、門(mén)可以對(duì)其他部門(mén)對(duì)本部門(mén)信息提請(qǐng)的查看申請(qǐng)進(jìn)行審批授權(quán)?？梢栽O(shè)置授權(quán)的查看次數(shù)和有效期限，也可以永久授權(quán)。 （2）數(shù)據(jù)交換申請(qǐng)：如果部門(mén)希望其他部門(mén)數(shù)據(jù)交換到本部門(mén)，通過(guò)數(shù)據(jù)交換申請(qǐng)向數(shù)據(jù)所屬部門(mén)發(fā)送申請(qǐng)，申請(qǐng)得到授權(quán)后，通過(guò)自主交換的方式將數(shù)據(jù)交換到本部門(mén)的指定數(shù)據(jù)庫(kù)內(nèi)。 （3）共享信息管理：部門(mén)設(shè)置信息共享的級(jí)別，包括：授權(quán)開(kāi)放、公眾開(kāi)放、部門(mén)開(kāi)放等。同時(shí)通過(guò)信息管理日志查看用戶的操作記錄，以確保信息的安全。 接收服務(wù) 提供中心接收到各部門(mén)原始數(shù)據(jù)的查詢功能，以及數(shù)據(jù)的清洗比對(duì)功能，具體功能包括： 接收數(shù)據(jù)查看：查詢中心接收到各部門(mén)發(fā)送的原始數(shù)據(jù)。 清洗比對(duì)管理：管理和維護(hù)各個(gè)部門(mén)提供的原

46、始數(shù)據(jù)的清洗和比對(duì)規(guī)則?？梢?增加、刪除及保存規(guī)則。在系統(tǒng)后臺(tái)會(huì)根據(jù)制定的規(guī)則來(lái)對(duì)接收的數(shù)據(jù)進(jìn)行清洗和比對(duì)處理。 清洗比對(duì)結(jié)果：可以根據(jù)清洗和比對(duì)批次、時(shí)間段等條件查詢清洗和比對(duì)結(jié)果，如比對(duì)成功和不成功的數(shù)據(jù)量及所占比例，以及未匹配數(shù)據(jù)的詳細(xì)數(shù)據(jù)和未匹配成功的原因（如企業(yè)注冊(cè)號(hào)相同，企業(yè)名稱不同等）。 手工比對(duì)管理：對(duì)于通過(guò)比對(duì)規(guī)則比對(duì)不一致的數(shù)據(jù)，通過(guò)手工比對(duì)管理進(jìn)行手工比對(duì)，比對(duì)一致的，通過(guò)手工操作更新中心法人信息庫(kù)，比對(duì)仍不一致的，反饋到未匹配數(shù)據(jù)表，通過(guò)交換平臺(tái)反饋相關(guān)部門(mén)進(jìn)行核查。手動(dòng)比對(duì)管理主要解決數(shù)據(jù)比較特殊，無(wú)法制定通用比對(duì)規(guī)則的數(shù)據(jù)之間的比對(duì)。 部門(mén)數(shù)據(jù)比對(duì)：進(jìn)行部門(mén)間的數(shù)據(jù)

47、比對(duì)，如工商有質(zhì)監(jiān)無(wú)的數(shù)據(jù)、工商有國(guó)稅無(wú)、工商有地稅無(wú)、質(zhì)監(jiān)有國(guó)稅無(wú)、質(zhì)監(jiān)有社保無(wú)、國(guó)稅有社保無(wú)等。 信息服務(wù) 根據(jù)查詢條件或者組合條件查詢法人信息，返回的結(jié)果為清洗比對(duì)后的準(zhǔn)確數(shù)據(jù)，對(duì)于需要授權(quán)的數(shù)據(jù)，需要先通過(guò)授權(quán)服務(wù)進(jìn)行授權(quán)申請(qǐng)。具體功能包括：（1）法人信息服務(wù)：查詢法人信息，用戶也可按條件查詢。 （2）部門(mén)信息統(tǒng)計(jì)：查看各部門(mén)法人信息的數(shù)據(jù)總量。 （3）法人碼表信息：對(duì)于有國(guó)家標(biāo)準(zhǔn)的代碼表，均會(huì)轉(zhuǎn)換成國(guó)家標(biāo)準(zhǔn)的代碼存入法人基礎(chǔ)信息庫(kù)，如行業(yè)類(lèi)別、法定代表人性別等，對(duì)于部門(mén)專有的代碼表，通過(guò)法人碼表信息列出，供其他部門(mén)下載和使用。 統(tǒng)計(jì)分析 提供報(bào)表統(tǒng)計(jì)功能，結(jié)合各類(lèi)基礎(chǔ)信息，形成各類(lèi)報(bào)

48、表，提供多種統(tǒng)計(jì)功能，輔助領(lǐng)導(dǎo)決策。提供列表、折線圖和柱狀圖等多種展示方式，統(tǒng)計(jì)內(nèi)容主要包括：基礎(chǔ)信息統(tǒng)計(jì)、行業(yè)類(lèi)型統(tǒng)計(jì)、企業(yè)類(lèi)型統(tǒng)計(jì)、部門(mén)數(shù)據(jù)差異統(tǒng)計(jì)等。 1.2.4地理信息基礎(chǔ)數(shù)據(jù)庫(kù)設(shè)計(jì) 基礎(chǔ)數(shù)據(jù) （1）遙感影像數(shù)據(jù) 本項(xiàng)目是XX高新區(qū)主要區(qū)域影像數(shù)據(jù)，建設(shè)范圍為30平方公里。 （2）遙感影像數(shù)據(jù)處理 ?幾何校正，正射校正 遙感影像在獲取過(guò)程中，受到如大氣吸收與散射、傳感器定標(biāo)、地形等因素的影響，且它們會(huì)隨時(shí)間的不同而有所差異。因此，在多時(shí)相遙感影像中，除了地物的變化會(huì)引起影像中輻射值的變化外，不變的地物在不同時(shí)相影像中的輻射值也會(huì)有差異。利用多時(shí)相遙感影像的光譜信息來(lái)檢測(cè)地物變化狀況的動(dòng)

49、態(tài)監(jiān)測(cè)，其重要前提是要消除不變地物的輻射值差異。 ?數(shù)據(jù)融合 數(shù)據(jù)融合實(shí)質(zhì)上是將高分辨率影像空間特征與低分辨率影像多光譜特征組合到一副影像,使得融合后影像即具有高分辨率影像空間特征,又具有低分辨率影像多光譜特征。 ?數(shù)據(jù)裁剪與鑲嵌 a.鑲嵌 當(dāng)研究區(qū)超出單幅遙感影像所覆蓋的范圍時(shí)，通常需要將兩幅或多幅影像拼接起來(lái)形成一幅或一系列覆蓋全區(qū)的較大的影像。在進(jìn)行影像的鑲嵌時(shí)，需要確定一幅參考影像，參考影像將作為輸出鑲嵌影像的基準(zhǔn)，決定鑲嵌影像的對(duì)比度匹配、以及輸出影像的像元大小和數(shù)據(jù)類(lèi)型等。鑲嵌得兩幅或多幅影像選擇相同或相近的成像時(shí)間，使得影像的色調(diào)保持一致。但接邊色調(diào)相差太大時(shí)，可以利用直方圖均衡

50、、色彩平滑等使得接邊盡量一致，但用于變化信息提取時(shí)，相鄰影像的色調(diào)不允許平滑，避免信息變異。 b.裁剪 影像裁剪的目的是將研究之外的區(qū)域去除，常用的是按照行政區(qū)劃邊界或自然區(qū)劃邊界進(jìn)行影像的分幅裁剪。 ?圖像增強(qiáng) 圖像增強(qiáng)是指按特定的需要突出一幅圖像中的某些信息，同時(shí)削弱或去除某些不需要信息的處理方法，其目的是使得處理后的圖像對(duì)某種特定的應(yīng)用，比原始圖像更合適。處理的結(jié)果使圖像更適應(yīng)于人的視覺(jué)特性或機(jī)器的識(shí)別系統(tǒng)。圖像增強(qiáng)主要可分為三類(lèi):頻域圖像增強(qiáng)方法、小波域圖像增強(qiáng)方法、空域圖像增強(qiáng)方法。 ?勻光勻色處理 由于光學(xué)遙感影像獲取的時(shí)間、外部光照以及其他因素的影響,導(dǎo)致獲取的影像 在色彩上存在

51、不同程度的差異,這種差異會(huì)不同程度地影響后續(xù)數(shù)字正射影像生產(chǎn)、數(shù)字城市和數(shù)字省區(qū)無(wú)縫影像數(shù)據(jù)庫(kù)建設(shè)以及其他的影像工程應(yīng)用中影像的使用效果。為了消除影像色彩上的差異,需要對(duì)影像進(jìn)行色彩平衡處理,即勻光處理。 （3）GIS專題數(shù)據(jù)庫(kù) GIS空間數(shù)據(jù)庫(kù)指的是地理信息系統(tǒng)在計(jì)算機(jī)物理存儲(chǔ)介質(zhì)上存儲(chǔ)的與應(yīng)用相關(guān)的地理空間數(shù)據(jù)的總和，一般是以一系列特定結(jié)構(gòu)的文件的形式組織在存儲(chǔ)介質(zhì)之上的?？臻g數(shù)據(jù)庫(kù)的研究始于20 世紀(jì) 70年代的地圖制圖與遙感圖像處理領(lǐng)域，其目的是為了有效地利用衛(wèi)星遙感資源迅速繪制出各種經(jīng)濟(jì)專題地圖。由于傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在空間數(shù)據(jù)的表示、存儲(chǔ)、管理、檢索上存在許多缺陷，從而形成了空間數(shù)據(jù)

52、庫(kù)這一數(shù)據(jù)庫(kù)研究領(lǐng)域。而傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)只針對(duì)簡(jiǎn)單對(duì)象，無(wú)法有效的支持復(fù)雜對(duì)象（如圖形、圖像）。 GIS空間數(shù)據(jù)主要有兩種組織策略，一種是基于分層的數(shù)據(jù)組織，另外一種是基 于特征的數(shù)據(jù)組織?；诜謱拥臄?shù)據(jù)組織是目前常用的也是比較成熟的數(shù)據(jù)組織策略，基于特征的數(shù)據(jù)組織是未來(lái)GIS數(shù)據(jù)組織的發(fā)展方向，但目前還不成熟。本系統(tǒng)就是采用基于分層的數(shù)據(jù)組織策略，將空間信息分為地圖集、圖層集和圖層。其中系統(tǒng)用到的圖層主要有行政圖層、道路圖層、河流圖層、災(zāi)害點(diǎn)圖層、監(jiān)測(cè)點(diǎn)圖層等。在數(shù)據(jù)管理方面，前端采用FeatureBase進(jìn)行管理，后臺(tái)采用SQL Server 2008很好的解決了網(wǎng)絡(luò)環(huán)境下多用戶并發(fā)操作、權(quán)

53、限管理等諸多問(wèn)題，同時(shí)系統(tǒng)采用多級(jí)緩沖機(jī)制，大大加快了用戶操作地圖功能的速度。 矢量數(shù)據(jù):主要是指城市大比例尺地形圖。此系統(tǒng)中圖層主要分為底圖層、道路層、單位層，合理的分層便于進(jìn)行疊加分析、圖形的無(wú)逢拼接以實(shí)現(xiàn)系統(tǒng)圖形的大范圍漫游。矢量數(shù)據(jù)一般通過(guò)記錄坐標(biāo)的方式來(lái)盡可能將地理實(shí)體的空間位置表現(xiàn)的準(zhǔn)確無(wú)誤，顯示的圖形一般分為矢量圖和位圖。 圖層: 圖象都是由一層或多層圖層組成。圖層功能允許讓多張圖片進(jìn)行疊加放置并保存在一個(gè)文件中。通過(guò)對(duì)圖像分層放置，您能夠有效的把多張圖片混合在一起，隱藏或顯示每個(gè)單獨(dú)的圖層，文本、繪圖和圖象可以在各自的圖層上被添加、刪除、移動(dòng)和編輯而不會(huì)影響其它圖層。 地形數(shù)據(jù)

54、：地形數(shù)據(jù)是能夠表示地球表面高低起伏狀態(tài)的數(shù)據(jù)，即具有高程信息的數(shù)據(jù)。數(shù)字高程模型（DEM）是一種對(duì)空間起伏變化的連續(xù)表示方法，是一種特殊的DatasetGrid數(shù)據(jù)模型，每個(gè)網(wǎng)格的值為高程值，而且有標(biāo)準(zhǔn)的顏色表來(lái)表示，這對(duì)分幅DEM圖像的合成很有幫助。 （4）三維模型 ?主城區(qū)精細(xì)化三維建模 本項(xiàng)目主城區(qū)精細(xì)化三維建模和普通三維建模面積為30平方公里。 平臺(tái)建設(shè) 1）基礎(chǔ)平臺(tái) a.平臺(tái)構(gòu)成 主要由系統(tǒng)軟件（操作系統(tǒng)、網(wǎng)絡(luò)軟件等）、數(shù)據(jù)庫(kù)軟件（如Oracal、SQL Server 等）、GIS軟件平臺(tái)、應(yīng)用軟件（GIS 二次開(kāi)發(fā)軟件、GIS組件庫(kù)等）組成。層次結(jié)構(gòu)如圖所示： 圖 GIS層次結(jié)構(gòu)

55、圖 b.基本功能 ?地圖瀏覽 系統(tǒng)提供地圖放大、縮小、平移、鷹眼、全圖等基礎(chǔ)地圖操作,地圖底圖服務(wù)采用金字塔地圖靜態(tài)緩存切片技術(shù)，配合優(yōu)化后的客戶端加載，實(shí)現(xiàn)了高效地圖刷新，地圖操作基本無(wú)刷白。同時(shí)在地圖數(shù)據(jù)加載過(guò)程中，實(shí)時(shí)提供進(jìn)度條顯示，方便讓用戶了解地圖數(shù)據(jù)加載情況。 電子地圖具有平滑過(guò)渡，使用時(shí)不會(huì)出現(xiàn)刷白的現(xiàn)象。 ?圖層功能 圖層是地理數(shù)據(jù)存儲(chǔ)的基本單元，圖層存儲(chǔ)可以是空間矢量數(shù)據(jù)(如點(diǎn)、線、面)和屬性數(shù)據(jù)，也可以是一組帶地理配準(zhǔn)的柵格影像數(shù)據(jù)，它們都是一組與主題相關(guān)的數(shù)據(jù)單元。 系統(tǒng)提供基礎(chǔ)底圖圖層和專題圖層，基礎(chǔ)底圖可以是矢量二位電子地圖，也可以是遙感影線數(shù)據(jù)，一般作為地圖背景數(shù)據(jù)

56、。專題圖層通常為空間矢量數(shù)據(jù)，針對(duì)不同業(yè)務(wù)，可以加載一個(gè)或多個(gè)相關(guān)業(yè)務(wù)專題圖層，進(jìn)行空間屬性分析。 ?數(shù)據(jù)目錄 空間數(shù)據(jù)目錄,是指按照一定的格式和標(biāo)準(zhǔn)，對(duì)空間數(shù)據(jù)資源的基本情況進(jìn)行描述的目錄。根據(jù)不同的應(yīng)用屬性，目錄以多種形式組織和展開(kāi)。 基礎(chǔ)數(shù)據(jù)源選擇 提供矢量電子地圖、衛(wèi)星遙感影像、DEM基礎(chǔ)數(shù)據(jù)源數(shù)據(jù)的目錄，提供地圖基礎(chǔ)底圖的切換。 專題數(shù)據(jù)篩選 提供專題、部門(mén)、熱門(mén)分類(lèi)的專題數(shù)據(jù)目錄，可自由進(jìn)行組合疊加。 空間分析 提供針對(duì)數(shù)據(jù)目錄中的專題數(shù)據(jù)進(jìn)行空間分析的功能，可以實(shí)現(xiàn)空間檢索和緩沖區(qū)檢索。 空間檢索：提供矩形、圓形、多邊形、手繪自由面等多種方式進(jìn)行空間檢索。 緩沖區(qū)檢索：提供點(diǎn)、線

57、、面基于緩沖半徑的緩沖區(qū)檢索。 數(shù)據(jù)搜索 圖層檢索：提供基于數(shù)據(jù)目錄的圖層檢索，通過(guò)指定數(shù)據(jù)目錄中的一個(gè)或多個(gè)專題圖層進(jìn)行關(guān)鍵字檢索。 全文檢索：提供基于搜索引擎的全文檢索，通過(guò)關(guān)鍵字在所有專題圖層中進(jìn)行相關(guān)性檢索，可以根據(jù)詞典，提供分詞、同義詞等方式的模糊檢索。 空間標(biāo)注 點(diǎn)標(biāo)注：提供基于空間點(diǎn)要素的標(biāo)注功能，可以實(shí)現(xiàn)多種樣矢量點(diǎn)和圖標(biāo)點(diǎn)的標(biāo)注功能。 線標(biāo)注：提供基于空間線要素的標(biāo)注功能，可以實(shí)現(xiàn)多種樣式線符號(hào)的標(biāo)注功能。 面標(biāo)注：提供基于空間面要素的標(biāo)注功能，可以實(shí)現(xiàn)多種要素面要素的標(biāo)注功能。 文字標(biāo)注：提供基于空間點(diǎn)的問(wèn)題標(biāo)注功能，可以實(shí)現(xiàn)文字自由空間標(biāo)注。 量算功能 長(zhǎng)度量算：提供空間

58、距離量算功能，可以通過(guò)多點(diǎn)折線和手繪自由線進(jìn)行距離 長(zhǎng)度量算功能。 面積量算：面積空間面積量算功能,可以通過(guò)多邊形和手繪自由面進(jìn)行面積量算功能。 地圖輸出 地圖打?。禾峁┊?dāng)前地圖打印功能，將地圖輸出到打印機(jī)進(jìn)行輸出。 地圖保存：提供地圖截圖功能，截圖后可保存到剪切板，或者保存為多種格式的圖片文件。 2）空間分析 空間分析是基于地理對(duì)象的位置和形態(tài)特征的空間數(shù)據(jù)分析技術(shù)，其目的在于提取和傳輸空間信息，是利用各種空間分析模型及空間操作對(duì)地理數(shù)據(jù)庫(kù)中的空間數(shù)據(jù)進(jìn)行深加工，進(jìn)而產(chǎn)生新的知識(shí)。 a.緩沖區(qū)分析 緩沖區(qū)分析是地理信息系統(tǒng)中常用的一種空間分析方法，是對(duì)空間特征進(jìn)行度量的一種重要手段。緩沖區(qū)分

59、析是研究根據(jù)數(shù)據(jù)庫(kù)的點(diǎn)、線、面實(shí)體，自動(dòng)建立其周?chē)欢▽挾确秶鷥?nèi)的緩沖區(qū)多邊形實(shí)體，從而實(shí)現(xiàn)空間數(shù)據(jù)在水平方向得以擴(kuò)展的信息分析方法。它是地理信息系統(tǒng)基本的空間操作功能之一。從空間變換的觀點(diǎn)看，緩沖區(qū)分析模型就是將點(diǎn)、線、面地物分布圖變換成這些地物的擴(kuò)展距離圖，圖上每一點(diǎn)的值代表該點(diǎn)距離最近的某種地物的距離。實(shí)際上，緩沖區(qū)就是地理目標(biāo)或工程規(guī)劃目標(biāo)的一種影響范圍。 b.疊置分析 疊置分析是地理信息系統(tǒng)中常用的提取空間隱含信息的方法之一，疊置分析是將有關(guān)主題層組成的各個(gè)數(shù)據(jù)層面進(jìn)行疊置產(chǎn)生一個(gè)新的數(shù)據(jù)層面，其結(jié)果綜合了原來(lái)兩個(gè)或多個(gè)層面要素所具有的屬性，同時(shí)疊置分析不僅生成了新的空間關(guān)系，而且還

60、將輸入的多個(gè)數(shù)據(jù)層的屬性聯(lián)系起來(lái)產(chǎn)生新的屬性關(guān)系。其中，被疊加的要素層面必須是基于相同坐標(biāo)系統(tǒng)的，基準(zhǔn)面相同的、同一區(qū)域的數(shù)據(jù)。 c.窗口分析 地理信息除了在不同層面的因素之間存在著一定的制約關(guān)系之外,還表現(xiàn)在空間上存在著一定的關(guān)聯(lián)性。對(duì)于柵格數(shù)據(jù)所描述的某項(xiàng)地學(xué)要素，其中的(i，j)柵格往往會(huì)影響其周?chē)鷸鸥竦膶傩蕴卣?。充分而有效地利用這種事物在空間上相聯(lián)系的特點(diǎn)，是地學(xué)分析的必然考慮因素。窗口分析是指對(duì)于柵格數(shù)據(jù)系統(tǒng)中的一個(gè)、多個(gè)柵格點(diǎn)或全部數(shù)據(jù)，開(kāi)辟一個(gè)有固定分析半徑的分析窗口，并在該窗口內(nèi)進(jìn)行諸如極值、均值等一系列統(tǒng)計(jì)計(jì)算，或與其它層面的信息進(jìn)行必要的復(fù)合分析，從而實(shí)現(xiàn)柵格數(shù)據(jù)有效的水平