2021智慧城市時(shí)空大數(shù)據(jù)與云平臺(tái)技術(shù)方案_第1頁
2021智慧城市時(shí)空大數(shù)據(jù)與云平臺(tái)技術(shù)方案_第2頁
2021智慧城市時(shí)空大數(shù)據(jù)與云平臺(tái)技術(shù)方案_第3頁
2021智慧城市時(shí)空大數(shù)據(jù)與云平臺(tái)技術(shù)方案_第4頁
2021智慧城市時(shí)空大數(shù)據(jù)與云平臺(tái)技術(shù)方案_第5頁
已閱讀5頁,還剩317頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

智慧城市時(shí)空大數(shù)據(jù)與智慧云平臺(tái)解決方案表3-4所示。集群中各服務(wù)之間存在依賴或者關(guān)聯(lián)的關(guān)系:A依賴于B表示,若集群中部署A服務(wù),需要提前或同時(shí)部署B(yǎng)服務(wù)。A與B可以不部署在相同的節(jié)點(diǎn)上。A與B關(guān)聯(lián)表示,若集群中部署A服務(wù),需要同時(shí)部署B(yǎng)服務(wù)。A與B需要部署在相同的節(jié)點(diǎn)上。安裝集群時(shí)只能安裝一對(duì)NameNode和Zkfc,當(dāng)HDFS服務(wù)設(shè)置HDFSFederation需要部署多對(duì)Namenode和Zkfc時(shí),需要在集群安裝完成后手動(dòng)添加其余部分。服務(wù)名稱角色名稱內(nèi)存最小要求依賴關(guān)系角色業(yè)務(wù)部署原則OMSServerOMSServer10GB-分別部署在2個(gè)管理節(jié)點(diǎn)上,主備配置。LdapServerSlapdServer1GB-LdapServer與KrbServer部署在相同的節(jié)點(diǎn)上。OMS的OLdap服務(wù):LS分別部署在2個(gè)管理節(jié)點(diǎn)上,主備配置。LdapServer服務(wù):LS分別部署在2個(gè)控制節(jié)點(diǎn)上,2個(gè)實(shí)例均為OLdap服務(wù)的備用實(shí)例。KrbServerKerberosServer3MBKrbServer依賴于LdapServerKerberosServer與KerberosAdmin關(guān)聯(lián)分別部署在2個(gè)控制節(jié)點(diǎn)上,負(fù)荷分擔(dān),與KerberosAdmin部署在相同的節(jié)點(diǎn)上。KerberosAdmin2MB分別部署在2個(gè)控制節(jié)點(diǎn)上,負(fù)荷分擔(dān),與KerberosServer部署在相同的節(jié)點(diǎn)上。ZooKeeperQP(quorumpeer)1GB-每個(gè)集群內(nèi)配置3個(gè)在控制節(jié)點(diǎn)上。如需擴(kuò)展,請(qǐng)保持?jǐn)?shù)量為奇數(shù)個(gè),最多支持9個(gè)實(shí)例。HDFSNN(NameNode)4GBNameNode與Zkfc關(guān)聯(lián)依賴于ZooKeeper分別部署在2個(gè)控制節(jié)點(diǎn)上,主備配置。Zkfc(ZooKeeperFailoverController)1GB分別部署在2個(gè)控制節(jié)點(diǎn)上,主備配置。JN(JournalNode)4GB至少部署3個(gè)在控制節(jié)點(diǎn)上,每個(gè)節(jié)點(diǎn)保留一份備份數(shù)據(jù)。如需保留超過三份以上備份,可部署多個(gè)在控制或數(shù)據(jù)節(jié)點(diǎn)上,請(qǐng)保持?jǐn)?shù)量為奇數(shù)個(gè)。DN(DataNode)4GB至少部署3個(gè),建議部署在數(shù)據(jù)節(jié)點(diǎn)上。HttpFS128MB可部署0~n個(gè),與DataNode部署在相同的節(jié)點(diǎn)上。YarnRM(ResourceManager)2GB依賴于HDFS和ZooKeeper分別部署在2個(gè)控制節(jié)點(diǎn)上,主備配置。NM(NodeManager)2GB部署在數(shù)據(jù)節(jié)點(diǎn)上,與HDFS的DataNode保持一致。MapreduceJHS(JobHistoryServer)2GB依賴于Yarn、HDFS和ZooKeeper1個(gè)集群內(nèi)只能部署1個(gè)在控制節(jié)點(diǎn)上。DBServiceDBServer512MB-分別部署在2個(gè)控制節(jié)點(diǎn)上,主備配置。HueHue1GB依賴于DBservice說明Federation場景下,Hue組件可連接HttpFS進(jìn)行接口轉(zhuǎn)換。此時(shí)Hue還依賴于HDFS的HttpFS角色。分別部署在2個(gè)控制節(jié)點(diǎn)上,主備配置。LoaderLS(LoaderServer)2GB依賴于Mapreduce、Yarn、DBService、HDFS和ZooKeeper分別部署在2個(gè)控制節(jié)點(diǎn)上,主備配置。SparkSR(SparkResource)-依賴于Yarn、Hive、HDFS、Mapreduce、ZooKeeper和DBService無實(shí)體進(jìn)程,不消耗內(nèi)存。分別部署在2個(gè)控制節(jié)點(diǎn)上,非主備。JH(JobHistory)2GB分別部署在2個(gè)控制節(jié)點(diǎn)上,非主備。JS(JDBCServer)2GB至少部署在2個(gè)控制節(jié)點(diǎn)上??刹渴鹪诙鄠€(gè)控制節(jié)點(diǎn)上,負(fù)荷分擔(dān)。HiveHS(HiveServer)4GB依賴于DBService、Mapreduce、HDFS、Yarn和ZooKeeper至少部署2個(gè)在控制節(jié)點(diǎn)上??刹渴鸲鄠€(gè)在控制節(jié)點(diǎn)上,負(fù)荷分擔(dān)。MS(MetaStore)2GB至少部署2個(gè)在控制節(jié)點(diǎn)上??刹渴鸲鄠€(gè)在控制節(jié)點(diǎn)上,負(fù)荷分擔(dān)。WebHCat2GB至少部署1個(gè)在控制節(jié)點(diǎn)上??刹渴鸲鄠€(gè)在控制節(jié)點(diǎn)上,負(fù)荷分擔(dān)。HBaseHM(HMaster)1GB依賴于HDFS、ZooKeeper和Yarn分別部署在2個(gè)控制節(jié)點(diǎn)上,主備配置。RS(RegionServer)6GB部署在數(shù)據(jù)節(jié)點(diǎn)上,與HDFS的DataNode保持一致。TS(ThriftServer)1GB每個(gè)集群部署3個(gè)在控制節(jié)點(diǎn)上。若ThriftServer訪問HBase延時(shí)不能滿足用戶需求的時(shí)候,可以部署多個(gè)在控制或者數(shù)據(jù)節(jié)點(diǎn)上。FTP-ServerFTP-Server1GB依賴于HDFS和ZooKeeper每個(gè)實(shí)例默認(rèn)提供16個(gè)并發(fā)通道,當(dāng)所需并發(fā)數(shù)更大時(shí),可部署多個(gè)實(shí)例。不建議部署在控制節(jié)點(diǎn)和DataNode所在節(jié)點(diǎn),當(dāng)部署到DataNode節(jié)點(diǎn)時(shí),可能存在數(shù)據(jù)不均衡的風(fēng)險(xiǎn)。FlumeFlume1GB依賴于HDFS和ZooKeeper建議單獨(dú)部署,不建議Flume和DataNode部署在同一節(jié)點(diǎn),否則會(huì)存在數(shù)據(jù)不均衡的風(fēng)險(xiǎn)。MonitorServer128MB分別部署在2個(gè)控制節(jié)點(diǎn)上,非主備。KafkaBroker1GB依賴于ZooKeeper至少部署2個(gè)在數(shù)據(jù)節(jié)點(diǎn)上。若每天產(chǎn)生的數(shù)據(jù)量超過2TB,建議部署多個(gè)在數(shù)據(jù)節(jié)點(diǎn)上。MetadataMetadata512MB依賴于DBService1個(gè)集群內(nèi)只能部署1個(gè)在控制節(jié)點(diǎn)上。Oozieoozie1GB依賴于DBService、Yarn、HDFS和Mapreduce分別部署在2個(gè)控制節(jié)點(diǎn)上,非主備。。SolrSolrServerN(N=1~5)2GB依賴于ZooKeeper說明Solr數(shù)據(jù)選擇保存在HDFS上時(shí),還依賴于HDFS。若選擇Solr索引數(shù)據(jù)保存在HDFS上,建議每個(gè)節(jié)點(diǎn)只部署一個(gè)SolrServer實(shí)例(包含SolrServerAdmin)。每個(gè)節(jié)點(diǎn)可以配置5個(gè)實(shí)例。建議配置3個(gè)以上節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)上的實(shí)例個(gè)數(shù)均勻分布。Solr數(shù)據(jù)優(yōu)先選擇保存到HDFS,每個(gè)節(jié)點(diǎn)部署三個(gè)Solr實(shí)例。單節(jié)點(diǎn)實(shí)時(shí)索引速度2MB/s以上的,建議部署到本地磁盤,每個(gè)節(jié)點(diǎn)Solr實(shí)例部署5個(gè),每個(gè)Solr實(shí)例單獨(dú)掛載磁盤。存儲(chǔ)HDFS相比本地磁盤性能下降30%~50%。SolrServerAdmin2GB分別部署在2個(gè)數(shù)據(jù)節(jié)點(diǎn)上,非主備。HBaseIndexer512MB依賴于HBase、HDFS和ZooKeeper說明一般不需要部署,除非需要使用hbase-indexer功能。建議每個(gè)SolrServer實(shí)例所在節(jié)點(diǎn)均部署一個(gè)。SmallFSFGCServer6GB依賴于Mapreduce、Yarn、HDFS和ZooKeeper分別部署在2個(gè)控制節(jié)點(diǎn)上,主備配置。StormLogviewer1GB-根據(jù)Supervisor的部署情況進(jìn)行規(guī)劃,每個(gè)部署Supervisor的節(jié)點(diǎn)也需要部署Logviewer。Nimbus1GB依賴ZooKeeper分別部署在兩臺(tái)控制節(jié)點(diǎn)上,主備配置,和UI是聯(lián)動(dòng)關(guān)系。UI1GB依賴ZooKeeper分別部署在兩臺(tái)控制節(jié)點(diǎn)上,和Nimbus是聯(lián)動(dòng)關(guān)系(部署Nimbus節(jié)點(diǎn)肯定會(huì)有UI)。Supervisor1GB-至少部署在一臺(tái)數(shù)據(jù)節(jié)點(diǎn)上,如需提供大量計(jì)算能力,可部署多個(gè),建議部署在獨(dú)立節(jié)點(diǎn)上。主要負(fù)責(zé)管理工作進(jìn)程(Worker),工作進(jìn)程數(shù)量、內(nèi)存可配置,對(duì)資源占用較大。說明Supervisor部署數(shù)目可根據(jù)如下公式進(jìn)行計(jì)算,其中拓?fù)鋽?shù)和每個(gè)拓?fù)湟蟮腤orker數(shù)為客戶自行規(guī)劃項(xiàng),Supervisor配置的Worker數(shù)默認(rèn)為4。需要的Supervisor數(shù)=拓?fù)鋽?shù)×每個(gè)拓?fù)湟蟮腤orker數(shù)/Supervisor配置的Worker數(shù)RedisRedis_1、Redis_2、Redis_3……Redis_321GB依賴DBService單master模式Redis至少部署在一臺(tái)數(shù)據(jù)節(jié)點(diǎn)上,如需部署Redis集群,則至少要部署到三臺(tái)數(shù)據(jù)節(jié)點(diǎn)上。配置計(jì)算服務(wù)器配置CPU對(duì)于計(jì)算密集型的業(yè)務(wù),建議使用推薦配置(雙路8核及以上)X86處理器對(duì)于存儲(chǔ)密集型的業(yè)務(wù),大于最低配置(雙路4核)X86處理器即可內(nèi)存建議內(nèi)存配置≥64GB,對(duì)于計(jì)算密集型的業(yè)務(wù),內(nèi)存配置可以更大,比如192G或更大。磁盤對(duì)于高并發(fā)低時(shí)延相關(guān)的業(yè)務(wù),建議使用SAS盤,單盤容量可以根據(jù)實(shí)際業(yè)務(wù)需求確定。對(duì)于海量存儲(chǔ)相關(guān)的業(yè)務(wù),建議使用SATA盤,單盤容量可以根據(jù)實(shí)際業(yè)務(wù)需求確定。網(wǎng)絡(luò)建議配置Bond(主備或負(fù)荷分擔(dān)),選擇GE還是10GE需要根據(jù)實(shí)際業(yè)務(wù)情況確定。通常建議業(yè)務(wù)平面配置10GE口,管理平面配置GE口。服務(wù)器從硬盤空間來考慮,集群數(shù)據(jù)節(jié)點(diǎn)數(shù):=ROUNDUP(集群總數(shù)據(jù)量_TB*HDFS副本數(shù)量*應(yīng)用層數(shù)據(jù)壓縮率/(單硬盤大小_TB*單節(jié)點(diǎn)硬盤數(shù)量*硬盤利用率),0)管理節(jié)點(diǎn)和控制節(jié)點(diǎn)服務(wù)器需要根據(jù)集群規(guī)模來考慮,方法如下(MN:管理節(jié)點(diǎn),CN:控制節(jié)點(diǎn),DN:數(shù)據(jù)節(jié)點(diǎn)):數(shù)據(jù)節(jié)點(diǎn)數(shù)管理控制硬件規(guī)格建議說明[3,30)21CPU2路8核主頻2.2GHz(支持超線程)64G-128GB內(nèi)存SAS/SATA1.控制節(jié)點(diǎn)與管理節(jié)點(diǎn)合布2.數(shù)據(jù)節(jié)點(diǎn)獨(dú)立部署[[30~100)23CPU2路8核主頻2.4GHz(支持超線程)128G-256GB內(nèi)存SAS盤管理節(jié)點(diǎn)、控制節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)獨(dú)立部署[100~500)25CPU2路8核主頻2.6GHz(支持超線程)256-512GB內(nèi)存SAS盤/SSD盤超過100節(jié)點(diǎn)必須使用600G以上的硬盤1.管理節(jié)點(diǎn)、控制節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)獨(dú)立部署2.ZooKeeper/JournalNode占5節(jié)點(diǎn),3.Hue/Oozie/MonitorServer/Nimbus/NameNode/JouralNode合布2節(jié)點(diǎn),其中NameNode可以擴(kuò)展成多對(duì),同時(shí)在剩余的節(jié)點(diǎn)中部署一個(gè)JouralNode4.ResourceManager/HMaster/LDAP/Krb/DBservice/MetaStore等基礎(chǔ)服務(wù)占2節(jié)點(diǎn)5.Spark/Hive/Hue/Loader/Jobhistory等與用戶交互的相關(guān)實(shí)例獨(dú)立占2節(jié)點(diǎn),可根據(jù)負(fù)載擴(kuò)展成多個(gè)[500~2000)29CPU2路8核,主頻3.0GHz(支持超線程)256-512GB內(nèi)存(500-1500節(jié)點(diǎn))SSD/SAS(1500-2000節(jié)點(diǎn))SSD1.管理節(jié)點(diǎn)、控制節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)獨(dú)立部署2.Hue/Oozie/MonitorServer/Nimbus/NameNode/JouralNode合布2節(jié)點(diǎn),其中NameNode可以擴(kuò)展成多對(duì),同時(shí)在剩余的節(jié)點(diǎn)中部署一個(gè)JouralNode3.LdapServer和KrbServer合部占兩個(gè)節(jié)點(diǎn)4.剩余5個(gè)節(jié)點(diǎn)上部署5個(gè)ZK,HiveServer、JDBCServer、MetaStore合部到其中3個(gè)節(jié)點(diǎn)上,同時(shí)在這3個(gè)節(jié)點(diǎn)中兩個(gè)節(jié)點(diǎn)上部署DBService。ResourceManager、Loader、MetadataServer、JobHistory(MR)部署到剩下的兩個(gè)節(jié)點(diǎn)上。5.Nimbus/Hue/Oozie部署在兩個(gè)節(jié)點(diǎn)上[2000~5000]211CPU2路10核3.0GHz,或2路8核3.2GHz(支持超線程)256-512GB內(nèi)存SSD盤1.管理節(jié)點(diǎn)、控制節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)獨(dú)立部署2.Hue/Oozie/MonitorServer/NameNode/JouralNode合布2節(jié)點(diǎn),其中NameNode可以擴(kuò)展成多對(duì),同時(shí)在剩余的節(jié)點(diǎn)中部署一個(gè)JouralNode3.LdapServer/KrbServer/Nimbus合部占兩個(gè)節(jié)點(diǎn)4.剩余5個(gè)節(jié)點(diǎn)上部署5個(gè)ZK,HiveServer、JDBCServer、MetaStore合部到其中3個(gè)節(jié)點(diǎn)上,同時(shí)在這3個(gè)節(jié)點(diǎn)中兩個(gè)節(jié)點(diǎn)上部署DBService。ResourceManager、Loader、MetadataServer、JobHistory(MR)部署到剩下的兩個(gè)節(jié)點(diǎn)上。以上配置不含HDFS聯(lián)邦部署時(shí)多對(duì)NameNode的硬件。如需部署多對(duì)NameNode,每對(duì)NameNode需單獨(dú)規(guī)劃兩臺(tái)獨(dú)立控制節(jié)點(diǎn)。例如某項(xiàng)目推薦規(guī)格如下:類別推薦配置單硬盤大小(TB)4單節(jié)點(diǎn)硬盤數(shù)量12HDFS副本數(shù)量3硬盤利用率70%應(yīng)用層數(shù)據(jù)壓縮率40%集群總數(shù)據(jù)量(TB)100那么集群數(shù)據(jù)節(jié)點(diǎn)數(shù)=ROUNDUP(100*3*40%/(4*12*70%),0)=4應(yīng)用層數(shù)據(jù)壓縮比率,如Hive文件存儲(chǔ)采用SequenceFile和Snappy壓縮時(shí),平均相比原始文本數(shù)據(jù)的壓縮比為40%。管理節(jié)點(diǎn)數(shù)量可以根據(jù)集群規(guī)模來計(jì)算。如果采取合部的方式,則管理節(jié)點(diǎn)一共需要24塊硬盤(RAID1)。對(duì)于上面的示例,管理服務(wù)器數(shù)量為24/服務(wù)器硬盤數(shù)=2臺(tái)。如果采用單獨(dú)部署的方式,則管理節(jié)點(diǎn)服務(wù)器為3臺(tái)。帶寬配置節(jié)點(diǎn)帶寬配置各節(jié)點(diǎn)的業(yè)務(wù)平面帶寬建議配置2*10GE管理平面的數(shù)據(jù)節(jié)點(diǎn)和控制節(jié)點(diǎn)建議帶寬為2*GE,管理節(jié)點(diǎn)建議采用10GE*2。接入-匯聚帶寬配置建議匯聚帶寬=m(數(shù)據(jù)節(jié)點(diǎn)數(shù))*n(每節(jié)點(diǎn)業(yè)務(wù)網(wǎng)卡端口數(shù))*k(網(wǎng)卡端口帶寬)*i(節(jié)點(diǎn)帶寬占用率)/h(收斂比)Gbps接入交換機(jī)堆疊帶寬配置見\o""接入-匯聚帶寬規(guī)劃描述。軟件配置按照節(jié)點(diǎn)數(shù)量配置FusionInsight的軟件License。配置樣例下面以金融行業(yè)歷史明細(xì)數(shù)據(jù)查詢?yōu)槔M(jìn)行配置計(jì)算,運(yùn)營商的配置與此類似,只是交換機(jī)需要選擇運(yùn)營商的交換機(jī)型號(hào)。背景假設(shè):客戶未來2年一共需要保存100T左右的數(shù)據(jù),提供在線歷史數(shù)據(jù)查詢服務(wù)和離線的數(shù)據(jù)查詢服務(wù),在線查詢通常要求在1分鐘內(nèi)返回查詢結(jié)果,離線查詢可以在2小時(shí)內(nèi)返回查詢結(jié)果??蛻魞H采購FusionInsightHD軟件。服務(wù)器配置計(jì)算:由于用戶提供在線服務(wù),且對(duì)響應(yīng)時(shí)間要求較高,因此建議配置較高的CPU和內(nèi)存。根據(jù)上述配置方法,建議使用推薦配置(雙路8核及以上)X86處理器(假設(shè)配置為雙E5-2690V2CPU)和128G的內(nèi)存。硬盤建議配置SAS盤,網(wǎng)絡(luò)配置10GE口。按照服務(wù)器配置14塊硬盤(其中2個(gè)硬盤做RAID1后安裝OS,剩余12塊硬盤),每個(gè)硬盤1T,壓縮比為40%計(jì)算,需要數(shù)據(jù)節(jié)點(diǎn)服務(wù)器個(gè)數(shù)為=ROUNDUP((100*3*40%)/(1*12*70%),0)=15臺(tái),采取管理控制節(jié)點(diǎn)合部的方式(需要24塊硬盤),需要再增加一臺(tái)控制服務(wù)器(兩臺(tái)管理節(jié)點(diǎn)不計(jì)算License使用量),這樣總共需要16臺(tái)服務(wù)器。按照每個(gè)機(jī)架最多放置12臺(tái)服務(wù)器計(jì)算,需要2個(gè)機(jī)架,因此均勻放置時(shí)每個(gè)機(jī)架放置9臺(tái)服務(wù)器。假設(shè)業(yè)務(wù)模型接入?yún)R聚帶寬收斂比為2:1,節(jié)點(diǎn)帶寬占用率為40%,則匯聚帶寬=9*2*10*40%/2=36Gbps。根據(jù)\o""接入交換機(jī)堆疊帶寬規(guī)劃的兩種異常場景計(jì)算,當(dāng)一個(gè)接入交換機(jī)上行鏈路全部故障時(shí),要求接入交換機(jī)堆疊帶寬配置為20GE(四舍五入)。每個(gè)服務(wù)器業(yè)務(wù)平面需要2個(gè)10GE口,每個(gè)機(jī)架一共是9*2個(gè)10GE口,機(jī)架間堆疊需要2個(gè)10GE口,上行到匯聚交換機(jī)需要4個(gè)10GE口,因此每個(gè)機(jī)架一共需要使用18+2+4=24個(gè)10GE口,需要配置1臺(tái)S6700-24-EI交換機(jī)。2個(gè)機(jī)架,每個(gè)機(jī)架向上匯聚需要4個(gè)10GE口,一共需要8個(gè)10GE口,則需要配置1臺(tái)S6700-48-EI交換機(jī),如果客戶已經(jīng)有匯聚交換機(jī),則提供8個(gè)10GE口即可。管理平面計(jì)算同上,每臺(tái)服務(wù)器需要2個(gè)GE口,由于流量較小,機(jī)架間堆疊和上行口各需要一個(gè)GE口即可,因此每個(gè)機(jī)架需要18+1+1=20個(gè)GE口,配置1臺(tái)S5700-28交換機(jī)即可。按照節(jié)點(diǎn)數(shù)量配置軟件License數(shù)量最終配置:設(shè)備類型建議配置標(biāo)準(zhǔn)機(jī)架2服務(wù)器16臺(tái),CPU:2*E5-2690V2;內(nèi)存:128G;網(wǎng)口:2*10GE+2*GE;硬盤:2*300GSAS+12*1TNL-SAS接入交換機(jī)2臺(tái)S6700-24-EI(業(yè)務(wù)平面)2臺(tái)S5700-28-C-EI(管理平面)匯聚交換機(jī)1臺(tái)S6700-48-EI(根據(jù)客戶需要配置)大數(shù)據(jù)軟件17個(gè)FusionInsightHD軟件License,版本根據(jù)客戶需要確定配置清單【示例】一般和一線產(chǎn)品經(jīng)理討論得出。序號(hào)部件編碼型號(hào)描述數(shù)量1RH2288HV31.1基本配置02310YJVBC4M02HGSARH2288HV3(12硬盤EXP機(jī)箱)H22H-03102311EUUBC1M01FXEB02板載網(wǎng)卡-2X10GE光口(82599)-SFP+-2X多模模塊(850nm,0.3km,LC)102310YKPBC1M03FANA8056PlusFanmodule402311DUPBC1M10IHDD2*2.5"后置硬盤背板組件102310QWXEN3MCACC750W白金交流電源模塊21.2HaswellEPCPU02311CDHBC1M13CPUX86series-2600MHz-1.8V-64bit-105000mW-HaswellEPXeonE5-2660v3-10Core-withheatsink21.3DDR4內(nèi)存06200176N00DDR401通用內(nèi)存-DDR4RDIMM-16GB-288pin-0.9ns-2133000KHz-1.2V-ECC-2Rank(1G*4bit)-服務(wù)器專用81.4硬盤(帶拉手條)02311AYMN2000NS7W3通用硬盤-2000GB-NLSAS6.0Gb/s-7200rpm-3.5inch-64MB-熱插拔-內(nèi)置式-3.5英寸拉手條602311HAPN600S1210W2通用硬盤-600GB-SAS12Gb/s-10000rpm-2.5inch-128MB及以上-熱插拔-內(nèi)置式-2.5寸拉手條21.5RAID卡及配件02310YLWBC1M01ESMNSR130(LSI3008)-SAS/SATARAIDCard-RAID0,1,10,1E,+630mmMiniSASHD模塊(12_28盤規(guī)格)11.6PCIe卡03022TSCCN21ITGB以太網(wǎng)卡-1Gb電口(IntelI350)-雙端口-RJ45-PCIe2.0x411.7線纜和配套設(shè)備21240434EGUIDER012U靜態(tài)滑軌套件1No.PartNumberModelDescriptionQty.1RH2288HV31.1BaseConfiguration02310YJVBC4M02HGSARH2288HV3(12HDDEXPChassis)H22H-03102311EUUBC1M01FXEB02OnboardNetworkcard,2X10GEPort(82599),SFP+-2XMulti-modeModule(850nm,0.3km,LC)102310YKPBC1M03FANA8056PlusFanmodule402311DUPBC1M10IHDD2*2.5"RearHardDiskBackplaneModule102310QWXEN3MCACC750WPlatinumACPowerModule21.2HaswellEPCPU02311CDHBC1M13CPUX86series,2600MHz,1.8V,64bit,105000mW,HaswellEPXeonE5-2660v3,10Core,withheatsink21.3DDR4Memory06200176N00DDR401MemoryModule,DDR4RDIMM,16GB,288pin,0.9ns,2133000KHz,1.2V,ECC,2Rank(1G*4bit),ServerDedicated81.4HardDisk(includeFrontPanel)02311AYMN2000NS7W3HardDisk,2000GB,NLSAS6.0Gb/s,7200rpm,3.5inch,64MB,Hot-swap,Built-in,FrontPanel602311HAPN600S1210W2HardDisk,600GB,SAS12Gb/s,10000rpm,2.5inch,128MBorabove,Hot_plug,Built-in,2.5inchFrontPanel21.5RAIDCardandOtherAccessories02310YLWBC1M01ESMNSR130(LSI3008)-SAS/SATARAIDCard-RAID0,1,10,1E,+630mmMiniSASHDCableMoudle11.6PCIeCard03022TSCCN21ITGBEthernetAdapter,1GbElectricalInterface(IntelI350),2-Port,RJ45,PCIe2.0x411.7CablesandOptionalEquipments21240434EGUIDER012UStaticRailKit1集群組網(wǎng)方案集群劃分原則集群劃分參考對(duì)集群劃分的建議規(guī)則1)隔離實(shí)時(shí)和非實(shí)時(shí)工作負(fù)載:對(duì)實(shí)時(shí)性要求比較高的負(fù)載采用獨(dú)立集群,同時(shí)支持多時(shí)區(qū)。2)根據(jù)業(yè)務(wù)對(duì)硬件資源的根本性差異(含CPU/內(nèi)存/磁盤/網(wǎng)絡(luò)),建議按照SLA等級(jí),將不同業(yè)務(wù)拆分部署。如MR通常是磁盤密集型應(yīng)用,Spark通常是CPU/內(nèi)存密集型應(yīng)用,冷數(shù)據(jù)歸檔一般需要高密存儲(chǔ)。3)根據(jù)客戶的業(yè)務(wù)管理需要(如安全/備份策略要求,業(yè)務(wù)數(shù)據(jù)源歸屬,故障隔離要求等),可進(jìn)一步切分,如分割數(shù)據(jù)平臺(tái)和應(yīng)用集群。組網(wǎng)方案組網(wǎng)原則:節(jié)點(diǎn)數(shù)小于200的集群,可采用二層組網(wǎng),網(wǎng)絡(luò)配置簡單;大于200的集群采用三層組網(wǎng),便于線性擴(kuò)展。采用雙平面隔離組網(wǎng),集群中每個(gè)節(jié)點(diǎn)分別接入業(yè)務(wù)平面和管理平面。組網(wǎng)隔離時(shí),雙平面可以采用各自獨(dú)立的端口配置,也可以采用VLAN的方式配置。建議采用獨(dú)立端口配置。以二層組網(wǎng)為例,采用獨(dú)立的端口配置組網(wǎng)參見下圖:雙平面組網(wǎng)時(shí),每個(gè)節(jié)點(diǎn)有兩個(gè)IP地址,分別用于業(yè)務(wù)和管理,兩個(gè)IP地址所在的網(wǎng)段之間不互通。業(yè)務(wù)平面用于組件之間的業(yè)務(wù)通信(例如HBase的HMaster和RegionServer的通信、HBase的RegionServer之間的通信);管理平面用于FusionInsightManager管理集群(例如,各個(gè)節(jié)點(diǎn)監(jiān)控指標(biāo)的上報(bào)、健康狀態(tài)的檢查)業(yè)務(wù)平面:業(yè)務(wù)平面采用210GE負(fù)荷分擔(dān)Bond接入交換機(jī)兩兩堆疊,與服務(wù)器的Bond對(duì)接兩端口配負(fù)荷分擔(dān)Trunk。管理平面:管理平面采用2GE負(fù)荷分擔(dān)Bond。接入交換機(jī)兩兩堆疊,與服務(wù)器的Bond對(duì)接兩端口配負(fù)荷分擔(dān)Trunk;數(shù)據(jù)服務(wù)層(DAAS)方案設(shè)計(jì)時(shí)空大數(shù)據(jù)采集建庫矢量數(shù)據(jù)以《基礎(chǔ)地理信息要素分類與代碼》(GB/T13923-2006)、《基礎(chǔ)地理信息標(biāo)準(zhǔn)數(shù)據(jù)基本規(guī)定》(GB21139-2007)、《基礎(chǔ)地理信息數(shù)據(jù)庫基本規(guī)定》(CH/T9005-2009)等相關(guān)標(biāo)準(zhǔn)要求,結(jié)合實(shí)際應(yīng)用需求,制作XXXX城市核心區(qū)域75平方公里1:500矢量數(shù)據(jù),構(gòu)建時(shí)空矢量數(shù)據(jù)庫。時(shí)空矢量數(shù)據(jù)建庫主要包括數(shù)據(jù)采集、質(zhì)量檢查、數(shù)據(jù)提取、時(shí)空化處理、電子地圖制作等步驟,主要流程如下圖所示:圖矢量數(shù)據(jù)建庫流程(1)數(shù)據(jù)處理:采集回來的影像數(shù)據(jù)主要為GIS格式,可以直接導(dǎo)入GIS軟件,按照統(tǒng)一的數(shù)據(jù)基礎(chǔ)(坐標(biāo)系等)、數(shù)據(jù)分類分層、命名、屬性設(shè)置標(biāo)準(zhǔn)等,進(jìn)行數(shù)據(jù)處理。(2)質(zhì)量檢查:按質(zhì)量標(biāo)準(zhǔn),對(duì)上述GIS數(shù)據(jù)進(jìn)行質(zhì)量檢查,對(duì)不符合要求的數(shù)據(jù)進(jìn)行返工,直至符合要求為止。(3)數(shù)據(jù)入庫:對(duì)于檢查合格的數(shù)據(jù)進(jìn)行入庫。數(shù)據(jù)入庫需要依托GIS桌面軟件及空間數(shù)據(jù)庫引擎,將空間數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)庫管理系統(tǒng)中,生成全要素的地形圖數(shù)據(jù),即數(shù)字線化地圖(DLG),形成矢量數(shù)據(jù)庫。(4)時(shí)空化處理:矢量框架數(shù)據(jù)的應(yīng)用有兩種,一種作為底圖瀏覽,以地圖切片的方式存在;另一種是加工形成各類地理專題數(shù)據(jù),如建筑物專題、路網(wǎng)專題、水系專題等。針對(duì)電子地圖應(yīng)用,時(shí)空化處理只需對(duì)數(shù)據(jù)根據(jù)更新年代分塊,每塊分別標(biāo)示時(shí)間屬性并單獨(dú)存儲(chǔ),結(jié)合數(shù)據(jù)采集更新年代,形成一個(gè)獨(dú)立的數(shù)據(jù)庫,如果某一塊數(shù)有兩次以上更新,便可形成歷史數(shù)據(jù);針對(duì)專題數(shù)據(jù)應(yīng)用,時(shí)空化處理需要對(duì)數(shù)據(jù)按對(duì)象標(biāo)示時(shí)間屬性,具體時(shí)空處理與組織方式在數(shù)據(jù)庫設(shè)計(jì)章節(jié)體現(xiàn)。(5)電子地圖制作:基于時(shí)空化處理后的矢量數(shù)據(jù),制作滿足需求的矢量電子地圖,具體流程如下:地圖是數(shù)據(jù)資源對(duì)外顯示的載體,數(shù)據(jù)更新后,需要對(duì)數(shù)據(jù)進(jìn)行地圖配圖。地圖配圖,主要按照《地理信息公共服務(wù)平臺(tái)電子地圖數(shù)據(jù)規(guī)范》(CH/Z9011-2011)等標(biāo)準(zhǔn)和規(guī)范,基于現(xiàn)有的電子地圖,鑒于數(shù)據(jù)顯示效果,對(duì)其進(jìn)行分級(jí)控制和配賦符號(hào),主要表達(dá)境界、道路、鐵路、水系、居民地、植被及注記等要素。主要處理流程如下:圖電子地圖制作與切片流程地圖要素及內(nèi)容選?。簽榱藨?yīng)對(duì)電子地圖數(shù)據(jù)網(wǎng)絡(luò)化服務(wù)所針對(duì)的不同用戶群體,需要按照相關(guān)標(biāo)準(zhǔn)規(guī)范及保密要求,對(duì)地圖要素進(jìn)行選擇,明確地圖顯示哪些要素類別;同時(shí),不同比例尺顯示的地圖要素內(nèi)容也不同,應(yīng)按照標(biāo)準(zhǔn)規(guī)范要求,明確每一級(jí)比例尺顯示的要素內(nèi)容。數(shù)據(jù)分層:結(jié)合實(shí)際需要,在數(shù)據(jù)分類的基礎(chǔ)上,進(jìn)行細(xì)化,以滿足平臺(tái)應(yīng)用的需要。數(shù)據(jù)顯示設(shè)置:通過設(shè)置顯示比例尺,使地圖瀏覽與應(yīng)用獲得較好的應(yīng)用效果。要素符號(hào)化:按照地圖符號(hào)要求,將各類地圖要素進(jìn)行符號(hào)化處理;同時(shí),需要對(duì)背景地圖進(jìn)行配色,使地圖美觀實(shí)用。圖面整飾:對(duì)圖面的整體檢查,使圖面看起來更美觀,符號(hào)表達(dá)更合理,比如是否存在興趣點(diǎn)符號(hào)壓蓋道路等問題,并進(jìn)行處理。數(shù)據(jù)切片:將地圖數(shù)據(jù)發(fā)布為不同比例尺的地圖瓦片,以滿足平臺(tái)應(yīng)用的需要。影像數(shù)據(jù)和高程以《基礎(chǔ)地理信息要素分類與代碼》(GB/T13923-2006)、《基礎(chǔ)地理信息標(biāo)準(zhǔn)數(shù)據(jù)基本規(guī)定》(GB21139-2007)、《基礎(chǔ)地理信息數(shù)據(jù)庫基本規(guī)定》(CH/T9005-2009)等相關(guān)標(biāo)準(zhǔn)要求,結(jié)合實(shí)際應(yīng)用需求,制作XXXX城市核心區(qū)域75平方公里1:500影像數(shù)據(jù)和高程,構(gòu)建時(shí)空影像和高程數(shù)據(jù)庫。計(jì)劃基于無人機(jī)傾斜攝影測量系統(tǒng)采集XXXX城市75平方公里的0.1米分辨率的傾斜影像數(shù)據(jù)。并將已有的多年份多分辨率影像數(shù)據(jù)集導(dǎo)入時(shí)空信息大數(shù)據(jù)中心,建立75平方公里的1:500比例尺DOM、DEM。影像數(shù)據(jù)入庫更新主要利用GIS桌面軟件,經(jīng)過數(shù)據(jù)校正、投影轉(zhuǎn)換、數(shù)據(jù)拼接、數(shù)據(jù)融合、數(shù)據(jù)調(diào)色等處理及質(zhì)量檢查合格后,方可入庫,主要流程如下圖所示:圖時(shí)空影像數(shù)據(jù)建庫流程(1)原始影像數(shù)據(jù)采集:基于傾斜攝影系統(tǒng),采集XXXX城市75平方公里的傾斜影像數(shù)據(jù),影像分辨率為0.1米。(2)數(shù)據(jù)校正:根據(jù)控制點(diǎn)信息,對(duì)原始影像進(jìn)行輻射校正和幾何校正,并賦予數(shù)據(jù)真實(shí)的空間坐標(biāo)。(3)投影轉(zhuǎn)換:根據(jù)本項(xiàng)目要求的空間參考,對(duì)影像進(jìn)行投影轉(zhuǎn)換。(4)數(shù)據(jù)拼接:對(duì)相鄰影像進(jìn)行無縫拼接處理,保持地物連續(xù)一致性的基礎(chǔ)上,去除重疊區(qū)多余影像,形成整景影像。(5)數(shù)據(jù)融合:通過SFIM變換、PCA變換、Brovey變換、PanSharping等融合方法融合多源遙感影像,以達(dá)到全色和多光譜數(shù)據(jù)優(yōu)勢互補(bǔ),增強(qiáng)空間細(xì)節(jié),減少顏色失真,形成對(duì)地面目標(biāo)較完整的信息描述。(6)數(shù)據(jù)調(diào)色:對(duì)影像的色調(diào)進(jìn)行調(diào)整,統(tǒng)一各景融合后的原始影像色調(diào),還原地物真實(shí)色彩或根據(jù)不同應(yīng)用對(duì)象的需求,達(dá)到預(yù)期的地物色彩。(7)質(zhì)量檢查:首先對(duì)獲取的影像進(jìn)行質(zhì)量檢查,如有無數(shù)據(jù)缺塊、有無云遮蓋等;在數(shù)據(jù)校正后,對(duì)校正后的影像進(jìn)行精度評(píng)價(jià)(RMS誤差小于1個(gè)像元),在滿足要求的情況下才能進(jìn)行下一步工作,否則需重新校正;影像拼接后,對(duì)接邊的數(shù)據(jù)進(jìn)行檢查,以確保數(shù)據(jù)質(zhì)量。(8)數(shù)據(jù)入庫:在經(jīng)過上述處理后,對(duì)質(zhì)量合格的影像進(jìn)行入庫。由于影像數(shù)據(jù)量較大,在入庫時(shí)考慮影像的壓縮存儲(chǔ);同時(shí),為提高訪問速度,可建立影像金字塔。(9)時(shí)空化處理:影像數(shù)據(jù)庫采用快照模式進(jìn)行時(shí)空化處理,分庫標(biāo)示時(shí)間屬性,具體在“數(shù)據(jù)庫構(gòu)建”章節(jié)描述。(10)DEM、DOM制作:基于時(shí)空化處理后的影像數(shù)據(jù),制作滿足需求的數(shù)字高程模型、數(shù)字正射影像,步驟同矢量電子地圖制作。三維數(shù)據(jù)通過高精度IMU/GPS輔助航空攝影的技術(shù),生產(chǎn)XXXX城市核心區(qū)域75平方公里范圍內(nèi)重點(diǎn)地域的精細(xì)三維模型、建設(shè)區(qū)104平方公里范圍內(nèi)道路精細(xì)化模型以及建成的職園區(qū)三維場景、三級(jí)區(qū)200平方公里的道路精細(xì)化模型,為構(gòu)建智慧XXXX城市提供基礎(chǔ)地理信息框架數(shù)據(jù)。三維維數(shù)據(jù)建庫流程如下:圖精細(xì)化三維模型建庫流程(1)模型制作:制作XXXX城市三維模型數(shù)據(jù),格式為通用的3DMAX格式;(2)模型處理:將模型進(jìn)行整合、處理分析,形成整合后的三維數(shù)據(jù);(3)時(shí)空化處理:針對(duì)整合后的三維數(shù)據(jù),根據(jù)其對(duì)應(yīng)的二維建筑物數(shù)據(jù),進(jìn)行關(guān)聯(lián)編碼,并逐對(duì)象賦予時(shí)間屬性,如模型更新時(shí)間、模型所屬建筑建設(shè)年代等,構(gòu)建三維數(shù)據(jù)庫。地名地址數(shù)據(jù)XXXX城市地名地址數(shù)據(jù)的建設(shè)是加快地名地址工作信息化建設(shè)的重要內(nèi)容,地名地址數(shù)據(jù)的建設(shè)目標(biāo)是以XXXX城市政府部門的需求為導(dǎo)向,以現(xiàn)有數(shù)據(jù)成果資料為數(shù)據(jù)基礎(chǔ),并以移動(dòng)測量等先進(jìn)技術(shù)與傳統(tǒng)測繪作為手段,建立XXXX城市完整、統(tǒng)一的地名地址數(shù)據(jù)庫,將地名地址資料標(biāo)準(zhǔn)化、科學(xué)化、可視化,為XXXX城市區(qū)各級(jí)政府和企業(yè)、公眾用戶提供完善、準(zhǔn)確的、高效的地名地址數(shù)據(jù)服務(wù),提高地名地址數(shù)據(jù)的利用效率和地名地址信息化服務(wù)水平。地名地址及建(構(gòu))筑物數(shù)據(jù)更新建庫包括有數(shù)據(jù)處理、分析與提取、數(shù)據(jù)質(zhì)檢入庫等操作。具體流程如下:圖時(shí)空地名地址數(shù)據(jù)建庫流程(1)地名地址數(shù)據(jù)采集:以移動(dòng)測量等先進(jìn)技術(shù)與傳統(tǒng)測繪作為手段,采集XXXX城市75平方公里的地名地址數(shù)據(jù),建立XXXX城市完整、統(tǒng)一的地名地址數(shù)據(jù)庫。(2)數(shù)據(jù)處理:依托GIS桌面軟件,按照統(tǒng)一的數(shù)據(jù)基礎(chǔ)(坐標(biāo)系等)、數(shù)據(jù)分類分層、命名、屬性設(shè)置標(biāo)準(zhǔn)等,進(jìn)行數(shù)據(jù)處理。(3)分析與提?。涸诙喾絽R聚的地名地址數(shù)據(jù)、地形圖數(shù)據(jù)的地名和居民點(diǎn)數(shù)據(jù)、行政區(qū)劃數(shù)據(jù)以及及建(構(gòu))筑物數(shù)據(jù)等現(xiàn)有地名地址及相關(guān)資源的基礎(chǔ)上,對(duì)各類數(shù)據(jù)進(jìn)行內(nèi)業(yè)預(yù)處理分析,提取出相互匹配的地名地址數(shù)據(jù);對(duì)不一致的數(shù)據(jù)必要時(shí)可以通過外業(yè)進(jìn)行確認(rèn)。(4)數(shù)據(jù)質(zhì)檢:包括過程質(zhì)量檢查和成果檢查,在數(shù)據(jù)采集的過程中,進(jìn)行數(shù)據(jù)質(zhì)量控制和檢查,根據(jù)相關(guān)規(guī)定數(shù)據(jù)采集的內(nèi)在約束性;成果檢查主要依據(jù)建庫標(biāo)準(zhǔn)對(duì)數(shù)據(jù)進(jìn)行入庫前的檢查,檢查合格方可入庫;(5)時(shí)空化處理與入庫:地名地址及建(構(gòu))筑物的時(shí)空化處理應(yīng)逐條標(biāo)示地址的采集時(shí)間、地址啟用時(shí)間、停用時(shí)間等,最終構(gòu)建時(shí)空地名地址及建(構(gòu))筑物數(shù)據(jù)庫。興趣點(diǎn)數(shù)據(jù)現(xiàn)狀的公共專題數(shù)據(jù),通常源于部門間信息共享。目前XXXX城市有多個(gè)行業(yè)的公共專題數(shù)據(jù),通過信息共享交換平臺(tái)獲取,包括人口、法人、宏觀經(jīng)濟(jì)、興趣點(diǎn)、國土、地質(zhì)環(huán)境、林業(yè)、公安、交通、環(huán)保、衛(wèi)生、旅游、體育、教育、農(nóng)業(yè)、民政、城管、文廣新、建委、銀行、口岸通、產(chǎn)業(yè)園區(qū)、技術(shù)服務(wù)、科技合作等與應(yīng)用相關(guān)的公共專題數(shù)據(jù)等。本期需要建設(shè)的專題數(shù)據(jù)包含興趣點(diǎn)的采集和更新。XXXX城市興趣點(diǎn)數(shù)據(jù)建設(shè)目標(biāo)是以現(xiàn)有的數(shù)據(jù)資源為基礎(chǔ),以XXXX城市政府部門的具體需求和公眾對(duì)地理信息的需求為導(dǎo)向,采集或者更新興趣點(diǎn)數(shù)據(jù),并建立成熟的興趣點(diǎn)數(shù)據(jù)增量更新機(jī)制,滿足政府和公眾對(duì)當(dāng)前地理信息服務(wù)的需求,大大提升地理信息服務(wù)水平。建立XXXX城市已開發(fā)或者在開發(fā)區(qū)域范圍內(nèi)(約75平方公里)與政務(wù)及公眾服務(wù)相關(guān)的POI數(shù)據(jù)庫,包含但不限于賓館酒店、餐飲酒樓、公寓大廈、電信郵政、工商企業(yè)、購物指南、交通服務(wù)、金融保險(xiǎn)、科研教育、文體休閑、醫(yī)療衛(wèi)生、政府機(jī)構(gòu)等內(nèi)容。興趣點(diǎn)數(shù)據(jù)建庫流程如下:(1)原始數(shù)據(jù)獲取:原始數(shù)據(jù)包括:以全景數(shù)據(jù)、導(dǎo)航矢量數(shù)據(jù)及其它現(xiàn)有數(shù)據(jù)源。(2)興趣點(diǎn)數(shù)據(jù)外業(yè)采集從全景數(shù)據(jù)、導(dǎo)航矢量數(shù)據(jù)中的POI以及其他數(shù)據(jù)源提取符合要求的興趣點(diǎn)數(shù)據(jù)。對(duì)于從全景數(shù)據(jù)、導(dǎo)航矢量數(shù)據(jù)及其它現(xiàn)有數(shù)據(jù)源無法獲取的興趣點(diǎn)數(shù)據(jù),要采用傳統(tǒng)測繪手段進(jìn)行補(bǔ)充。(3)興趣點(diǎn)數(shù)據(jù)內(nèi)業(yè)整理POI名稱屬性錄入處理POI門牌地址屬性錄入處理POI空間位置信息錄入處理(4)質(zhì)量檢查檢查數(shù)據(jù)的準(zhǔn)確性和空間位置一致性,并對(duì)內(nèi)業(yè)整理后的數(shù)據(jù)成果進(jìn)行數(shù)據(jù)準(zhǔn)確性、數(shù)據(jù)完整性、數(shù)據(jù)邏輯一致性等方面的質(zhì)量檢查。(5)興趣點(diǎn)數(shù)據(jù)入庫將質(zhì)量檢查合格后的興趣點(diǎn)數(shù)據(jù)作為成果數(shù)據(jù)進(jìn)行提交,并將數(shù)據(jù)成果以新版本存儲(chǔ)到興趣點(diǎn)數(shù)據(jù)庫中。以后在對(duì)興趣點(diǎn)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行更新時(shí),要同時(shí)保留歷史版本的興趣點(diǎn)數(shù)據(jù)。圖興趣點(diǎn)數(shù)據(jù)建庫流程360°高清全景影像數(shù)據(jù)360°高清全景影像數(shù)據(jù)的建設(shè)目標(biāo)是以XXXX城市政府部門的需求為導(dǎo)向,采集XXXX城市300公里的360°高清全景影像數(shù)據(jù),并提供配套的處理軟件,為XXXX城市政府部門提供完善的360°高清全景影像數(shù)據(jù)服務(wù),并為其打造一個(gè)實(shí)景可視化的工作環(huán)境,大大提高各級(jí)政府部門的工作效率。圖360°高清全景影像數(shù)據(jù)采集建庫流程(1)360°高清全景影像數(shù)據(jù)采集:使用陸基移動(dòng)道路測量系統(tǒng)在XXXX城市采集GPS/IMU、全景影像、激光點(diǎn)云數(shù)據(jù)、時(shí)間同步數(shù)據(jù)等原始數(shù)據(jù);(2)集成定位定姿處理:使用陸基移動(dòng)道路測量系統(tǒng)配備的組合定位定姿處理軟件,對(duì)系統(tǒng)軌跡和姿態(tài)數(shù)據(jù)組合處理,輸出帶時(shí)間標(biāo)簽的高精度高頻率位置姿態(tài)信息;(3)地理參考處理:使用陸基移動(dòng)道路測量系統(tǒng)標(biāo)配的直接地理參考處理軟件,將全景影像、激光點(diǎn)云數(shù)據(jù)等數(shù)據(jù)通過時(shí)間同步數(shù)據(jù)與定位定姿結(jié)果進(jìn)行關(guān)聯(lián),獲取地理參考;(4)影像編輯:首先通過實(shí)景影像數(shù)據(jù)處理軟件對(duì)360°高清全景影像數(shù)據(jù)進(jìn)行勻光、調(diào)色、保密、模糊化等專業(yè)處理,再通過將同側(cè)多幀連續(xù)影像進(jìn)行無縫拼接處理,拼接方法可以采用計(jì)算機(jī)自動(dòng)處理和人工交互的方式半自動(dòng)進(jìn)行;(5)質(zhì)量檢查:質(zhì)檢檢查貫穿于數(shù)據(jù)生產(chǎn)的各個(gè)過程,包括數(shù)據(jù)采集、集成定位定姿處理、地理參考處理、影像編輯,每一過程都要遵循相應(yīng)標(biāo)準(zhǔn),合格后方可進(jìn)入下一流程;(6)時(shí)空化處理及數(shù)據(jù)入庫:360°高清全景影像數(shù)據(jù)按影像數(shù)據(jù)的方式,采取分庫標(biāo)示時(shí)間屬性進(jìn)行時(shí)空化處理。互聯(lián)網(wǎng)電子地圖數(shù)據(jù)制作XXXX城市75平方公里的互聯(lián)網(wǎng)電子地圖數(shù)據(jù)。該數(shù)據(jù)包括車載路網(wǎng)交通規(guī)則數(shù)據(jù)、POI數(shù)據(jù)、導(dǎo)引數(shù)據(jù)、背景數(shù)據(jù)。它是既可以通過瀏覽器、客戶端進(jìn)行查詢?yōu)g覽等使用,也可以裝載在車載導(dǎo)航儀、PND、手機(jī)等嵌入式設(shè)備上,以及在互聯(lián)網(wǎng)上使用的數(shù)據(jù)產(chǎn)品。該產(chǎn)品為各種移動(dòng)端設(shè)備的地圖顯示、車輛定位、興趣點(diǎn)查詢、路線搜索、智能駕駛等功能提供基礎(chǔ)數(shù)據(jù)支持,也可以在互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)上為大眾用戶提供基于地理位置的定位、行車路線查詢、生活信息搜索、交友娛樂、廣告服務(wù)、快遞服務(wù)等增值服務(wù)的數(shù)據(jù)支持。一般城區(qū)內(nèi)部參考比例尺為1:2000,城區(qū)外部參考比例尺為1:1萬。城區(qū)內(nèi)部道路優(yōu)于5米,城區(qū)之間的等級(jí)公路的精度優(yōu)于15米。圖互聯(lián)網(wǎng)電子地圖數(shù)據(jù)建庫流程歷史地理信息數(shù)據(jù)根據(jù)XXXX城市的發(fā)展,建立連續(xù)的時(shí)間序列,描述地名、行政建制和其他基礎(chǔ)地理要素隨時(shí)間變化的地理信息數(shù)據(jù),一些圖層的數(shù)據(jù)是隨著業(yè)務(wù)辦理過程或外業(yè)測繪而動(dòng)態(tài)更新的,例如,圖斑變更和房產(chǎn)權(quán)屬情況。記錄歷史地理信息最終目標(biāo)是建立一套靈活的工具和數(shù)據(jù),以便檢索和查詢XXXX城市基礎(chǔ)歷史地理信息。每一個(gè)隨時(shí)間變化的獨(dú)立地理要素記錄擁有一個(gè)唯一的ID號(hào),它可以用作相關(guān)數(shù)據(jù)庫中的關(guān)聯(lián)編碼,也可以此連接相應(yīng)的地理要素釋文,按不同歷史時(shí)期和不同數(shù)據(jù)集的方式,查尋、檢索和顯示用戶數(shù)據(jù)。以現(xiàn)有矢量數(shù)據(jù)和影像數(shù)據(jù)的數(shù)學(xué)基礎(chǔ)為依據(jù),將歷史的矢量、影像數(shù)據(jù)添加“三域”標(biāo)識(shí),并進(jìn)行規(guī)范化處理,對(duì)矢量數(shù)據(jù)統(tǒng)一空間基準(zhǔn)、統(tǒng)一時(shí)間基準(zhǔn)、統(tǒng)一數(shù)據(jù)分層、統(tǒng)一地理編碼、統(tǒng)一數(shù)據(jù)結(jié)構(gòu),對(duì)影像數(shù)據(jù)統(tǒng)一空間基準(zhǔn)、統(tǒng)一時(shí)間基準(zhǔn)、統(tǒng)一勻色,分別采用面向?qū)ο蟮臅r(shí)空數(shù)據(jù)模型和連續(xù)快照模型進(jìn)行數(shù)據(jù)重組。本項(xiàng)目歷史地理信息數(shù)據(jù)整理建庫不改變?cè)袑n}數(shù)據(jù)結(jié)構(gòu),只對(duì)成果進(jìn)行轉(zhuǎn)換處理和時(shí)空化組織,具體流程如下:圖歷史地理信息數(shù)據(jù)庫整理建庫流程(1)數(shù)據(jù)獲?。韩@取已有的歷史地理信息數(shù)據(jù)成果,格式為GIS通用格式或其他相關(guān)的文檔資料等;(2)數(shù)據(jù)處理:對(duì)獲取的數(shù)據(jù)進(jìn)行分類整理、坐標(biāo)轉(zhuǎn)換、一致性檢查等操作,建立歷史地理信息數(shù)據(jù)庫;(3)時(shí)空化處理:分圖層標(biāo)示數(shù)據(jù)的更新時(shí)間,構(gòu)建歷史地理信息數(shù)據(jù)庫。遠(yuǎn)景規(guī)劃地理信息數(shù)據(jù)遠(yuǎn)景地理信息是指在城市擴(kuò)展到穩(wěn)定階段時(shí)對(duì)城市總體發(fā)展做出的與空間位置相關(guān)的設(shè)計(jì)與安排,如:土地使用政策、交通管理政策。將這些地理信息數(shù)據(jù)整理集中在一起,可以更方便的對(duì)遠(yuǎn)景規(guī)劃數(shù)據(jù)進(jìn)行方便的管理,并且將規(guī)劃信息和現(xiàn)實(shí)數(shù)據(jù)進(jìn)行對(duì)比,更好的發(fā)現(xiàn)遠(yuǎn)景數(shù)據(jù)的有效性。將城市發(fā)展規(guī)劃數(shù)據(jù),如國民經(jīng)濟(jì)和社會(huì)發(fā)展規(guī)劃、城鄉(xiāng)總體規(guī)劃、土地利用規(guī)劃、生態(tài)環(huán)境規(guī)劃、產(chǎn)業(yè)布局規(guī)劃等規(guī)劃內(nèi)容信息,添加時(shí)間、空間和屬性三域標(biāo)識(shí)。本項(xiàng)目遠(yuǎn)景規(guī)劃地理信息數(shù)據(jù)整理建庫不改變?cè)袛?shù)據(jù)結(jié)構(gòu),只對(duì)成果進(jìn)行轉(zhuǎn)換處理和時(shí)空化組織,具體流程如下:圖遠(yuǎn)景規(guī)劃地理信息數(shù)據(jù)庫整理建庫流程(1)數(shù)據(jù)獲取:獲取遠(yuǎn)景規(guī)劃地理信息數(shù)據(jù)數(shù)據(jù)成果,格式為GIS通用格式或其他相關(guān)的文檔資料等;(2)數(shù)據(jù)處理:對(duì)獲取的數(shù)據(jù)進(jìn)行分類整理、坐標(biāo)轉(zhuǎn)換、一致性檢查等操作,建立遠(yuǎn)景規(guī)劃地理信息數(shù)據(jù)庫;(3)時(shí)空化處理:分圖層標(biāo)示數(shù)據(jù)的更新時(shí)間,構(gòu)建遠(yuǎn)景規(guī)劃地理信息數(shù)據(jù)庫。實(shí)時(shí)位置數(shù)據(jù)在現(xiàn)在社會(huì)中,位置信息已經(jīng)是一項(xiàng)很容易獲取的數(shù)據(jù),除了一般的車輛攜帶的GPS,還有各種智能感知設(shè)備比如手機(jī)、智能手表等一系列感知設(shè)備都可以實(shí)現(xiàn)基本的定位功能。采用北斗、GPS、無線通信基站定位等多種空間位置確定技術(shù),獲取城市基礎(chǔ)設(shè)施如井蓋、垃圾桶和移動(dòng)目標(biāo)如流轉(zhuǎn)中的農(nóng)產(chǎn)品、運(yùn)營車輛、老人孩子等實(shí)時(shí)位置信息。圖實(shí)時(shí)位置信息建庫流程物聯(lián)網(wǎng)智能感知設(shè)備位置數(shù)據(jù)根據(jù)XXXX城市特點(diǎn)和需求,對(duì)涉及到的感知設(shè)備如地址、地址標(biāo)簽、停車場無線射頻、監(jiān)控像頭等進(jìn)行分類,劃分為相對(duì)穩(wěn)定和運(yùn)動(dòng)兩種類型,確定所屬專題的類型。通過專業(yè)測量手段,采集室外這些設(shè)備的空間位置,調(diào)查有關(guān)屬性內(nèi)容;依托人工確定或室內(nèi)定位方法,獲取室內(nèi)感知設(shè)備的相對(duì)空間位置及其屬性。按照統(tǒng)一制定的感知設(shè)備分類、命名及編碼要求,對(duì)獲取的各種地址信息,進(jìn)行規(guī)范與編碼。圖感知設(shè)備地址數(shù)據(jù)庫整理建庫流程實(shí)時(shí)感知的流式數(shù)據(jù)及其摘要數(shù)據(jù)交通、大氣、環(huán)境、安全、水質(zhì)等感知設(shè)備獲取的流式數(shù)據(jù)和解譯結(jié)果,及其多層次摘要,構(gòu)成了非結(jié)構(gòu)化的動(dòng)態(tài)實(shí)時(shí)信息。時(shí)空大數(shù)據(jù)庫時(shí)空信息云數(shù)據(jù)庫實(shí)現(xiàn)了對(duì)各種時(shí)空信息數(shù)據(jù)的存儲(chǔ)和管理。在時(shí)空大數(shù)據(jù)與云平臺(tái)中,時(shí)空信息云數(shù)據(jù)庫除了管理傳統(tǒng)的空間數(shù)據(jù)類型外,還需要管理新型的時(shí)空信息數(shù)據(jù)。對(duì)于各種時(shí)空信息數(shù)據(jù),由于數(shù)據(jù)類型復(fù)雜數(shù)據(jù)量巨大,時(shí)空信息云數(shù)據(jù)庫必須實(shí)現(xiàn):數(shù)據(jù)分布式存儲(chǔ)、分布式空間索引、彈性擴(kuò)展等能力,同時(shí),數(shù)據(jù)庫必須具備很強(qiáng)的健壯性和容錯(cuò)能力。因此,時(shí)空信息云數(shù)據(jù)庫需要實(shí)現(xiàn)下列技術(shù)功能模塊:路由集群在數(shù)據(jù)庫系統(tǒng)早期數(shù)據(jù)量還小的時(shí)候,數(shù)據(jù)體量不會(huì)引起太大的問題,但是隨著數(shù)據(jù)量持續(xù)增多,就會(huì)出現(xiàn)機(jī)器硬件瓶頸問題的。而時(shí)空信息云數(shù)據(jù)庫采用分布式集群(分片)機(jī)制來解決這個(gè)問題。如下圖所示:圖STYLEREF1\s4–SEQ圖\*ARABIC\s11分布式集群機(jī)制從圖中可以看到數(shù)據(jù)庫集群有四個(gè)組件:數(shù)據(jù)庫路由(mongos)、配置服務(wù)(configserver)、分片(shard)、副本集(replicaset)。數(shù)據(jù)庫路由:數(shù)據(jù)庫集群請(qǐng)求的入口,所有的請(qǐng)求都通過數(shù)據(jù)庫路由進(jìn)行協(xié)調(diào),不需要在應(yīng)用程序添加一個(gè)路由選擇器,數(shù)據(jù)庫路由自己就是一個(gè)請(qǐng)求分發(fā)中心,它負(fù)責(zé)把對(duì)應(yīng)的數(shù)據(jù)請(qǐng)求請(qǐng)求轉(zhuǎn)發(fā)到對(duì)應(yīng)的分片服務(wù)器上。在生產(chǎn)環(huán)境通常有多數(shù)據(jù)庫路由作為請(qǐng)求的入口,防止其中一個(gè)掛掉所有的數(shù)據(jù)請(qǐng)求都沒有辦法操作。配置服務(wù):顧名思義為配置服務(wù)器,存儲(chǔ)所有數(shù)據(jù)庫元信息(路由、分片)的配置。數(shù)據(jù)庫路由本身沒有物理存儲(chǔ)分片服務(wù)器和數(shù)據(jù)路由信息,只是緩存在內(nèi)存里,配置服務(wù)器則實(shí)際存儲(chǔ)這些數(shù)據(jù)。數(shù)據(jù)庫路由第一次啟動(dòng)或者關(guān)掉重啟就會(huì)從配置服務(wù)加載配置信息,以后如果配置服務(wù)器信息變化會(huì)通知到所有的數(shù)據(jù)庫路由更新自己的狀態(tài),這樣數(shù)據(jù)庫路由就能繼續(xù)準(zhǔn)確路由。在生產(chǎn)環(huán)境通常有多個(gè)配置服務(wù)配置服務(wù)器,因?yàn)樗鎯?chǔ)了分片路由的元數(shù)據(jù),這個(gè)可不能丟失!就算掛掉其中一臺(tái),只要還有存貨,數(shù)據(jù)庫集群就不會(huì)掛掉。分片:分片是指將數(shù)據(jù)拆分,將其分散在不同的機(jī)器上的過程。有時(shí)也用分區(qū)(partitioning)來表示這個(gè)概念。將數(shù)據(jù)分散到不同的機(jī)器上,不需要功能強(qiáng)大的大型計(jì)算機(jī)就可以存儲(chǔ)更多的數(shù)據(jù),處理更大的負(fù)載。一臺(tái)機(jī)器的一個(gè)數(shù)據(jù)表Collection1存儲(chǔ)了1T數(shù)據(jù),壓力太大了。在分給4個(gè)機(jī)器后,每個(gè)機(jī)器都是256G,則分?jǐn)偭思性谝慌_(tái)機(jī)器的壓力。在存儲(chǔ)數(shù)據(jù)的同時(shí),不僅僅要是存儲(chǔ)空間,還有實(shí)際運(yùn)行的數(shù)據(jù)庫還有硬盤的讀寫、網(wǎng)絡(luò)的IO、CPU和內(nèi)存的瓶頸。在數(shù)據(jù)庫集群只要設(shè)置好了分片規(guī)則,通過數(shù)據(jù)庫路由操作數(shù)據(jù)庫就能自動(dòng)把對(duì)應(yīng)的數(shù)據(jù)操作請(qǐng)求轉(zhuǎn)發(fā)到對(duì)應(yīng)的分片機(jī)器上。在生產(chǎn)環(huán)境中分片的片鍵的設(shè)置,關(guān)系到了能否把數(shù)據(jù)均勻分到多個(gè)分片機(jī)器上。副本集:副本集就是有自動(dòng)故障恢復(fù)功能的主從集群。主從集群和副本集最為明顯的區(qū)別是副本及沒有固定的“主節(jié)點(diǎn)”:整個(gè)集群會(huì)選舉出一個(gè)“主節(jié)點(diǎn)”,當(dāng)其不能工作時(shí)則變更到其他節(jié)點(diǎn)。然而,二者看上去非常相似:副本集總會(huì)有一個(gè)活躍節(jié)點(diǎn)(primary)和一個(gè)或多個(gè)備份節(jié)點(diǎn)(secondary)。副本集是自動(dòng)化的。首先,它需要做很多管理工作,自動(dòng)提升備份節(jié)點(diǎn)成活躍節(jié)點(diǎn),以確保運(yùn)轉(zhuǎn)正常。其次,它對(duì)于開發(fā)者而言,也很易用:僅需要為副本集指定一下服務(wù)器,驅(qū)動(dòng)程序就會(huì)自動(dòng)找到服務(wù)器,在當(dāng)前活躍節(jié)點(diǎn)死機(jī)時(shí)自動(dòng)處理故障恢復(fù)這類事情。在高可用性的分片架構(gòu)還需要對(duì)于每一個(gè)分片構(gòu)建副本集保證分片的可靠性。生產(chǎn)環(huán)境通常是2個(gè)副本+1個(gè)仲裁,一定數(shù)量的分片存儲(chǔ)數(shù)據(jù)、數(shù)據(jù)庫路由、配置服務(wù)、clients、arbiter(仲裁節(jié)點(diǎn))。分片配置分片是時(shí)空云數(shù)據(jù)庫提供的一種機(jī)制,其可以將大型的集合分割保存到不同的服務(wù)器上。只要我們進(jìn)行簡單的配置,并告訴時(shí)空信息云數(shù)據(jù)庫要分配的數(shù)據(jù),它就可以自動(dòng)維護(hù)數(shù)據(jù)在不同服務(wù)器之間的平衡。同時(shí)根據(jù)需要增減服務(wù)器,云數(shù)據(jù)庫也會(huì)自動(dòng)移動(dòng)平移已有數(shù)據(jù)。分片機(jī)制提供了如下三種優(yōu)勢:1.

對(duì)集群進(jìn)行抽象,讓集群“不可見”。云數(shù)據(jù)庫自帶了一個(gè)專有路由進(jìn)程。數(shù)據(jù)路由就是掌握統(tǒng)一路口的路由器,其會(huì)將客戶端發(fā)來的請(qǐng)求準(zhǔn)確無誤的路由到集群中的一個(gè)或者一組服務(wù)器上,同時(shí)會(huì)把接收到的響應(yīng)拼裝起來發(fā)回到客戶端。2.保證集群總是可讀寫。云數(shù)據(jù)庫通過多種途徑來確保集群的可用性和可靠性。將云數(shù)據(jù)庫的分片和復(fù)制功能結(jié)合使用,在確保數(shù)據(jù)分片到多臺(tái)服務(wù)器的同時(shí),也確保了每分?jǐn)?shù)據(jù)都有相應(yīng)的備份,這樣就可以確保有服務(wù)器換掉時(shí),其他的副本可以立即接替壞掉的部分繼續(xù)工作。3.使集群易于擴(kuò)展。當(dāng)系統(tǒng)需要更多的空間和資源的時(shí)候,云數(shù)據(jù)庫使我們可以按需方便的擴(kuò)充系統(tǒng)容量。仲裁機(jī)制總裁機(jī)制是確保時(shí)空云數(shù)據(jù)庫可用性的一種關(guān)鍵技術(shù)手段,當(dāng)數(shù)據(jù)庫分片集群中有某個(gè)節(jié)點(diǎn)故障時(shí),仲裁機(jī)制就會(huì)發(fā)生作用,仲裁者(Arbiter)會(huì)從副本集中選擇一個(gè)健康節(jié)點(diǎn)作為分片集群的主節(jié)點(diǎn)繼續(xù)提供數(shù)據(jù)服務(wù),從而確保數(shù)據(jù)庫的健康運(yùn)行。仲裁者是副本集中的一個(gè)數(shù)據(jù)庫實(shí)例,它并不保存數(shù)據(jù)。仲裁節(jié)點(diǎn)使用最小的資源并且不要求硬件設(shè)備。為了確保副本集中有奇數(shù)的投票成員(包括primary),需要添加仲裁節(jié)點(diǎn)做為投票,否則primary不能運(yùn)行時(shí)不會(huì)自動(dòng)切換primary。一個(gè)副本集中可設(shè)置多個(gè)個(gè)成員,但只有7個(gè)投票成員(包括primary),其余為非投票成員。非投票成員是副本集中數(shù)據(jù)的備份副本,不參與投票,但可以被投票或成為主節(jié)點(diǎn)。仲裁結(jié)構(gòu)如下:分布式空間索引時(shí)空信息數(shù)據(jù)具有結(jié)構(gòu)復(fù)雜性、多維性、動(dòng)態(tài)性、海量增長性等特點(diǎn),而在分布式云數(shù)據(jù)庫下,空間索引結(jié)構(gòu)也有與之相適應(yīng)的各種特點(diǎn),具體如下:(1)動(dòng)態(tài)性由于對(duì)象的相關(guān)信息可以以任意順序插入到空間數(shù)據(jù)庫中,也可以被任意刪除,因此索引技術(shù)也應(yīng)該可以插入、刪除操作而動(dòng)態(tài)變化。(2)支持更多、更廣泛的操作索引技術(shù)要在整體立場上進(jìn)行使用,不能為進(jìn)行某一操作而停止其他操作。(3)分布式存儲(chǔ)模式,盡管存儲(chǔ)器的容量在隨著科學(xué)的發(fā)展而不斷的增大,但是依然不可能將數(shù)據(jù)庫中的所有數(shù)據(jù)放入主存儲(chǔ)器中,尤其是對(duì)具有海量性時(shí)空數(shù)據(jù)更要構(gòu)建分布式存儲(chǔ)管理。而索引結(jié)構(gòu)也要與存儲(chǔ)模式管理保持一致。(4)獨(dú)立于輸入數(shù)據(jù)維度及插入順序索引結(jié)構(gòu)應(yīng)該維持其高效性,無論插入數(shù)據(jù)的維度是多少還是插入順序發(fā)生如何的改變。這一點(diǎn)對(duì)于分布著不同維度數(shù)據(jù)的空間數(shù)據(jù)庫系統(tǒng)尤為重要。(5)簡單性復(fù)雜的索引結(jié)構(gòu)對(duì)于特殊示例的實(shí)現(xiàn)往往缺乏強(qiáng)健性,尤其是在大規(guī)模的應(yīng)用中。(6)擴(kuò)展性隨著數(shù)據(jù)庫大小的變化,索引的結(jié)構(gòu)自身能進(jìn)行大小的調(diào)節(jié)。(7)時(shí)空有效性索引結(jié)構(gòu)是決定查詢速度的關(guān)鍵技術(shù),因此所創(chuàng)建的索引一定要保證高效的時(shí)間利用率。同時(shí)索引結(jié)構(gòu)所占的存儲(chǔ)空間要比原數(shù)據(jù)小,從而保證空間利用率。(8)并行性和可恢復(fù)性當(dāng)同時(shí)對(duì)同一數(shù)據(jù)庫進(jìn)行插入、修改、刪除、查詢操作時(shí),索引結(jié)構(gòu)要保證這些操作同時(shí)進(jìn)行,不分主次。(9)最小復(fù)雜性當(dāng)為一個(gè)數(shù)據(jù)庫集成索引結(jié)構(gòu)時(shí),應(yīng)使當(dāng)前系統(tǒng)增加最小的復(fù)雜度。時(shí)空信息云數(shù)據(jù)庫的分布式空間索引機(jī)制如下圖所示:彈性部署時(shí)空信息云數(shù)據(jù)庫必須支持彈性部署能力,管理者可以根據(jù)數(shù)據(jù)和訪問壓力情況,實(shí)時(shí)添加或刪除分片節(jié)點(diǎn),而不影響數(shù)據(jù)庫提供服務(wù)的能力。(1)云數(shù)據(jù)庫運(yùn)行時(shí)添加分片復(fù)制集基于云數(shù)據(jù)庫分片和副本集機(jī)制組成的數(shù)據(jù)庫集群,可在集群運(yùn)行時(shí)動(dòng)態(tài)添加分片復(fù)制集。1、啟動(dòng)復(fù)制集節(jié)點(diǎn)2、配置復(fù)制集3、添加到集群4、查看集群分片信息至此,復(fù)制集就作為一個(gè)分片加入到集群中去了。(2)云數(shù)據(jù)庫運(yùn)行時(shí)移除分片復(fù)制集縮減集群(刪除分片)這種一般很少用到。由于集群中部分服務(wù)器出現(xiàn)故障,所以我們送修之前必須把它上面的數(shù)據(jù)自動(dòng)遷移到其他分片上。

1、執(zhí)行RemoveShard命令(此時(shí)后臺(tái)自動(dòng)進(jìn)行數(shù)據(jù)遷移)2、查看遷移狀態(tài)定期查看數(shù)據(jù)前幾情況,當(dāng)remain為0之后,這一步就結(jié)束了。3、移出非分片數(shù)據(jù)4、最后的清理坐標(biāo)系統(tǒng)支持時(shí)空信息云數(shù)據(jù)庫支持各種常用的空間參考和投影的數(shù)據(jù)??芍С值目臻g參考包括:CGCS2000、WGS84、西安80、北京54??芍С值耐队鞍ǎ旱乩碜鴺?biāo)系、高斯投影、莫卡托投影等。具體到XXXX城市時(shí)空大數(shù)據(jù)與云平臺(tái)項(xiàng)目中中,所有數(shù)據(jù)要求統(tǒng)一到CGCS2000坐標(biāo)系統(tǒng)下;高程基準(zhǔn)為1985國家高程基準(zhǔn);對(duì)于分幅數(shù)據(jù)采用高斯-克呂格投影,3度分帶,單位為米,保留3位小數(shù);其他數(shù)據(jù)采用地理坐標(biāo)系,單位為度,保留8位小數(shù)。時(shí)空信息大數(shù)據(jù)管理系統(tǒng)按照《智慧城市時(shí)空信息云平臺(tái)建設(shè)技術(shù)大綱》的建設(shè)要求,結(jié)合時(shí)空信息云平臺(tái)建設(shè)地的數(shù)據(jù)資源情況與應(yīng)用需求,開展時(shí)空信息大數(shù)據(jù)管理系統(tǒng)的建設(shè),為實(shí)現(xiàn)多源、多類型、多時(shí)態(tài)數(shù)據(jù)資源的統(tǒng)一管理與應(yīng)用提供支撐。時(shí)空大數(shù)據(jù)管理系統(tǒng)應(yīng)采用統(tǒng)一的圖形界面用戶接口,將各類功能的集中呈現(xiàn)給用戶調(diào)用。時(shí)空大數(shù)據(jù)管理系統(tǒng)基于GIS基礎(chǔ)功能組件和一體化云平臺(tái)的支撐技術(shù)實(shí)現(xiàn)。圖STYLEREF1\s3–SEQ圖\*ARABIC\s11時(shí)空大數(shù)據(jù)管理系統(tǒng)圖形截面圖時(shí)空大數(shù)據(jù)數(shù)據(jù)源管理時(shí)空大數(shù)據(jù)數(shù)據(jù)源管理支持對(duì)各類數(shù)據(jù)源的連接及配置管理,實(shí)現(xiàn)對(duì)數(shù)據(jù)源的編目管理,能夠展示各類數(shù)據(jù)模式、規(guī)則、關(guān)聯(lián)、索引、約束等。(1)查看數(shù)據(jù)源按照一定的標(biāo)準(zhǔn)和規(guī)則,對(duì)某范圍內(nèi)數(shù)據(jù)資源每種實(shí)體(Item)的外部特征和內(nèi)容特征進(jìn)行分析、選擇、描述,并予以記錄成為款目,繼而將款目按一定順序組織成為目錄(Catalogue)或書目(Bibliography)進(jìn)行展示,同時(shí)能夠通過關(guān)聯(lián)關(guān)系查看相關(guān)聯(lián)的數(shù)據(jù)。(2)新建數(shù)據(jù)源新建數(shù)據(jù)源時(shí)需要填寫數(shù)據(jù)源名稱、數(shù)據(jù)庫類型、客戶端字符集、數(shù)據(jù)庫字符集、驅(qū)動(dòng)程序、數(shù)據(jù)源url、數(shù)據(jù)庫用戶名、訪問數(shù)據(jù)庫密碼等屬性。新建數(shù)據(jù)源我們提供JDBC和ODBC兩種數(shù)據(jù)源連接方式。新建數(shù)據(jù)源可選擇使用實(shí)例建立數(shù)據(jù)源和不使用實(shí)例建立數(shù)據(jù)源。使用實(shí)例建立數(shù)據(jù)源系統(tǒng)會(huì)自動(dòng)設(shè)置好數(shù)據(jù)庫類型、驅(qū)動(dòng)和url的格式。(3)修改數(shù)據(jù)源修改數(shù)據(jù)源時(shí),數(shù)據(jù)源名稱和數(shù)據(jù)庫類型不允許修改。其中需要注意的是如果原來已經(jīng)使用數(shù)據(jù)源中的數(shù)據(jù)表建立了數(shù)據(jù)集,進(jìn)行數(shù)據(jù)源修改后變更了所連接的數(shù)據(jù)庫,并且里面并沒有對(duì)應(yīng)的數(shù)據(jù)表,則原來已建好的相關(guān)數(shù)據(jù)集均不可再使用。(4)刪除數(shù)據(jù)源為了防止錯(cuò)誤刪除數(shù)據(jù)源操作的安全性,刪除時(shí)系統(tǒng)彈出提示信息,確定是否刪除數(shù)據(jù)源,點(diǎn)擊確定后方能刪除該數(shù)據(jù)源。值得注意的是對(duì)于已使用的數(shù)據(jù)源,將其刪除后,數(shù)據(jù)源對(duì)應(yīng)的數(shù)據(jù)集和數(shù)據(jù)表也將一同被刪除,原來使用該數(shù)據(jù)源建立的數(shù)據(jù),將找不到數(shù)據(jù)源且不能查看和使用,因此需慎用刪除數(shù)據(jù)源功能。符號(hào)數(shù)據(jù)管理云端服務(wù)引擎以O(shè)GC標(biāo)準(zhǔn)服務(wù)、發(fā)布影象、矢量要素等地理信息。其提供的服務(wù)包括WMS網(wǎng)絡(luò)地圖服務(wù)和WFS網(wǎng)絡(luò)地理要素服務(wù)。自定義的符號(hào)數(shù)據(jù)信息以開源的Mapfile文件為標(biāo)準(zhǔn),用于控制對(duì)數(shù)據(jù)的柵格或矢量輸出。其中包含了數(shù)據(jù)源和渲染樣式(顏色、符號(hào)、標(biāo)準(zhǔn)等)信息。通過配置符號(hào)數(shù)據(jù),就可以通過服務(wù)引擎發(fā)布WMS、WFS、WCS和SOS等服務(wù)。符號(hào)數(shù)據(jù)支持以文件方式存儲(chǔ),多個(gè)符號(hào)數(shù)據(jù)存儲(chǔ)到SQLite數(shù)據(jù)庫,保存為后綴為.db格式的數(shù)據(jù),我們稱為一個(gè)符號(hào)庫。一個(gè)符號(hào)庫中,包含多個(gè)符號(hào)信息。利用符號(hào)編輯工具,可以支持新增符號(hào)、刪除符號(hào)、修改符號(hào)線寬顏色等信息、查詢符號(hào)等操作。元數(shù)據(jù)管理元數(shù)據(jù)管理支持如下操作:(1)元數(shù)據(jù)維護(hù)元數(shù)據(jù)基本信息、屬性、被依賴關(guān)系、依賴關(guān)系、組合關(guān)系的查詢修改和刪除操作。元數(shù)據(jù)與其對(duì)應(yīng)的數(shù)據(jù)建立關(guān)聯(lián),并能與其對(duì)應(yīng)的數(shù)據(jù)進(jìn)行同步更新。(2)元數(shù)據(jù)查詢根據(jù)搜索條件,查詢符合數(shù)據(jù)訪問權(quán)限的元數(shù)據(jù)。(3)元數(shù)據(jù)導(dǎo)出對(duì)需要導(dǎo)出的元數(shù)據(jù)全部導(dǎo)出為Excel文件。(4)元數(shù)據(jù)版本管理系統(tǒng)提供元數(shù)據(jù)的生命周期管理,發(fā)布、刪除和狀態(tài)變更都有嚴(yán)格的流程,并提供了版本管理功能,這些都確保元數(shù)據(jù)的質(zhì)量,保證了后續(xù)使用元數(shù)據(jù)的權(quán)威性和可靠性。(5)元數(shù)據(jù)變更支持實(shí)時(shí)追加元數(shù)據(jù),以及元數(shù)據(jù)的實(shí)時(shí)更新。歷史數(shù)據(jù)管理具備時(shí)態(tài)管理能力,具有歷史數(shù)據(jù)備份和恢復(fù)功能。數(shù)據(jù)備份是容災(zāi)的基礎(chǔ),是指為防止系統(tǒng)出現(xiàn)操作失誤或系統(tǒng)故障導(dǎo)致數(shù)據(jù)丟失,而將全部或部分?jǐn)?shù)據(jù)集合從應(yīng)用主機(jī)的硬盤或陣列復(fù)制到其它的存儲(chǔ)介質(zhì)的過程。傳統(tǒng)的數(shù)據(jù)備份主要是采用內(nèi)置或外置的磁帶機(jī)進(jìn)行冷備份。但是這種方式只能防止操作失誤等人為故障,而且其恢復(fù)時(shí)間也很長。云平臺(tái)提供歷史數(shù)據(jù)管理方案,是基于云存儲(chǔ)技術(shù)建立的大數(shù)據(jù)管理安全保障方案,實(shí)現(xiàn)了對(duì)海量數(shù)據(jù)及時(shí)完整備份。在系統(tǒng)運(yùn)行狀態(tài)下即可實(shí)現(xiàn)歷史數(shù)據(jù)恢復(fù)功能,無須停止服務(wù)。安全管理安全管理主要有用戶管理、權(quán)限管理、日志管理、事務(wù)管理、備份與恢復(fù)。(1)用戶管理用戶管理主要是針對(duì)平臺(tái)的使用者進(jìn)行管理。包括:用戶信息(帳號(hào)、密碼、姓名等個(gè)人基本信息)、角色設(shè)定、用戶權(quán)限分配等。用戶管理的功能有:新增用戶、編輯用戶、刪除用戶、修改密碼、設(shè)置角色、單獨(dú)授權(quán)、用戶有效性、用戶排序等。(2)權(quán)限管理權(quán)限管理即對(duì)用戶的權(quán)限限制,包括新增角色、修改角色、刪除角色、給用戶分配角色、給角色設(shè)置權(quán)限、修改角色權(quán)限等功能。(3)日志管理日志管理包括日志自動(dòng)備份的設(shè)置、備份數(shù)據(jù)的導(dǎo)入和刪除以及查看系統(tǒng)日志等功能。查看系統(tǒng)日志用來查看系統(tǒng)日志和操作員日志。(4)備份與恢復(fù)備份包括數(shù)據(jù)的備份和系統(tǒng)軟件的備份。備份采用全備份或增量備份方式,定期檢查備份的可用性。輸入輸出(1)平臺(tái)支持對(duì)靜態(tài)地理信息數(shù)據(jù)以通用格式導(dǎo)入、檢查、添加和確認(rèn)。(2)平臺(tái)支持三維模型的幾何數(shù)據(jù)和屬性數(shù)據(jù)以通用格式導(dǎo)出。(3)平臺(tái)支持按照產(chǎn)品類型、數(shù)據(jù)時(shí)相或用戶需求所進(jìn)行的產(chǎn)品制作、內(nèi)容提取、導(dǎo)出和分發(fā)。(4)平臺(tái)支持對(duì)靜態(tài)地理信息數(shù)據(jù)以通用格式導(dǎo)入、檢查、添加和確認(rèn)。包括上傳數(shù)據(jù)、上傳符號(hào)等功能。(5)支持在線配圖、制圖,可保存配圖方案、可分享、可導(dǎo)出、可發(fā)布服務(wù)。動(dòng)態(tài)更新(1)具有流式數(shù)據(jù)或者其多層次摘要?jiǎng)討B(tài)追加和積累功能;(2)支持?jǐn)?shù)據(jù)索引的實(shí)時(shí)修正;(3)支持?jǐn)?shù)據(jù)按范圍、按時(shí)間、按類型以及整體的更新;(4)支持三維模型的替換、模型屬性的更新和局部區(qū)域模型的整體更新;(5)支持瓦片數(shù)據(jù)的整體更新、按層更新和局部更新。數(shù)據(jù)編輯及處理空間數(shù)據(jù)的編輯主要包括空間拓?fù)潢P(guān)系的建立、去除多余點(diǎn)、曲線的光滑、圖幅的拼接等。處理主要指圖形的整飾,如徑緯線或方里網(wǎng)的生成、圖例的標(biāo)注、圖解的注釋及圖形放大、縮小、平移、旋轉(zhuǎn)、剪裁等。(1)圖幅拼接是將相鄰區(qū)域拼接成一個(gè)大區(qū)域進(jìn)行統(tǒng)一的信息分析或輸出,要求同一目標(biāo)的線段或弧段的數(shù)據(jù)坐標(biāo)相互銜接,為此必須進(jìn)行圖幅數(shù)據(jù)邊緣的匹配處理,并使同一目標(biāo)屬性碼統(tǒng)一。平臺(tái)支持坐標(biāo)及投影變換、高程換算、數(shù)據(jù)裁切、數(shù)據(jù)格式轉(zhuǎn)換以及影像數(shù)據(jù)的對(duì)比度、灰度(色彩)、飽和度一致性調(diào)整等。(2)平臺(tái)支持對(duì)二維矢量數(shù)據(jù)的圖形編輯功能。(3)平臺(tái)支持坐標(biāo)及投影變換、高程換算、數(shù)據(jù)裁切、數(shù)據(jù)格式轉(zhuǎn)換以及影像數(shù)據(jù)的對(duì)比度、灰度(色彩)、飽和度一致性調(diào)整等。(4)平臺(tái)支持對(duì)二維矢量數(shù)據(jù)的圖形編輯功能。(5)平臺(tái)支持對(duì)三維模型數(shù)據(jù)模型替換、模型空間位置修改、紋理編輯、屬性編輯、元數(shù)據(jù)編輯等功能。統(tǒng)計(jì)查詢(1)平臺(tái)具有按時(shí)間、屬性和空間或其組合條件,查詢與檢索不同時(shí)相、不同類型和不同區(qū)域時(shí)空信息的能力,并可提取與統(tǒng)計(jì)。(2)平臺(tái)具有對(duì)三維模型數(shù)據(jù)進(jìn)行查詢的功能;對(duì)三維模型數(shù)據(jù)進(jìn)行目錄檢索的功能;根據(jù)檢索結(jié)果進(jìn)行快速定位的功能。(3)平臺(tái)具有按時(shí)間、屬性和空間或其組合條件,查詢與檢索不同時(shí)相、不同類型和不同區(qū)域時(shí)空信息的能力,并可提取與統(tǒng)計(jì)。數(shù)據(jù)可視化空間數(shù)據(jù)的可視化是將符號(hào)或數(shù)據(jù)轉(zhuǎn)化為直觀的圖形、圖像的技術(shù)。平臺(tái)支持將多時(shí)相數(shù)據(jù)組合、疊加、符號(hào)化,并可通過動(dòng)畫、動(dòng)態(tài)符號(hào)和顏色模擬變化;支持指標(biāo)數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)的動(dòng)態(tài)渲染。(1)支持將多時(shí)相數(shù)據(jù)組合、疊加、符號(hào)化,并可通過動(dòng)畫、動(dòng)態(tài)符號(hào)和顏色模擬變化;(2)支持?jǐn)?shù)據(jù)的三維符號(hào)化,支持三維模型多種方式的動(dòng)態(tài)渲染與專題顯示。(3)支持指標(biāo)數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)的動(dòng)態(tài)渲染。時(shí)空數(shù)據(jù)資源整理工具根據(jù)《智慧城市時(shí)空大數(shù)據(jù)與云平臺(tái)建設(shè)技術(shù)大綱》與用戶的實(shí)際要求,開發(fā)空間處理工具對(duì)匯聚好的數(shù)據(jù)資源進(jìn)行加工處理。時(shí)空數(shù)據(jù)資源整理包含坐標(biāo)轉(zhuǎn)換工具、時(shí)空數(shù)據(jù)采集工具、政務(wù)數(shù)據(jù)清洗融合工具等。坐標(biāo)轉(zhuǎn)換工具坐標(biāo)轉(zhuǎn)換工具主要實(shí)現(xiàn)了不同格式不同類型以及不同坐標(biāo)系統(tǒng)的數(shù)據(jù)之間的空間坐標(biāo)轉(zhuǎn)換。不同格式指的是矢量數(shù)據(jù)(shape、DXF、MIF等)、柵格數(shù)據(jù)(img、tiff等)以及支持傳統(tǒng)數(shù)據(jù)庫的訪問。不同類型指的是大地坐標(biāo)、平面坐標(biāo)、空間直角坐標(biāo)三種坐標(biāo)類型。不同坐標(biāo)系統(tǒng)指的是1954北京坐標(biāo)系、1980西安坐標(biāo)系、2000國家大地坐標(biāo)系、WGS84以及各種地方自定義坐標(biāo)系。此外,還實(shí)現(xiàn)數(shù)據(jù)的簡單視圖功能,可以方便對(duì)數(shù)據(jù)查看以及轉(zhuǎn)換結(jié)果的比較分析;轉(zhuǎn)換精度滿足國家測繪局對(duì)相應(yīng)比例尺數(shù)據(jù)的轉(zhuǎn)換精度要求;轉(zhuǎn)換后的成果能保證圖形、屬性數(shù)據(jù)完整,拓?fù)潢P(guān)系正確。坐標(biāo)轉(zhuǎn)換工具包含矢量數(shù)據(jù)轉(zhuǎn)換、柵格數(shù)據(jù)轉(zhuǎn)換、矢量數(shù)據(jù)投影轉(zhuǎn)換、柵格數(shù)據(jù)投影轉(zhuǎn)換等功能。時(shí)空數(shù)據(jù)采集工具時(shí)空數(shù)據(jù)采集工具基于數(shù)據(jù)分類和資源目錄定義,確定可信數(shù)據(jù)源,定義數(shù)據(jù)規(guī)范與標(biāo)準(zhǔn),自動(dòng)化采集地理空間數(shù)據(jù)、政務(wù)數(shù)據(jù)與全域互聯(lián)網(wǎng)數(shù)據(jù)(MappingGo、智能AI引擎),實(shí)現(xiàn)了地理空間數(shù)據(jù)、政務(wù)專題數(shù)據(jù)、物聯(lián)網(wǎng)節(jié)點(diǎn)數(shù)據(jù)和互聯(lián)網(wǎng)社交媒體數(shù)據(jù)的統(tǒng)一匯聚。工具包含數(shù)據(jù)源管理、指標(biāo)項(xiàng)管理、集群管理、流程管理、任務(wù)管理、流程日志、流程服務(wù)等功能。.1數(shù)據(jù)源管理數(shù)據(jù)源管理主要解決政府各個(gè)部門、互聯(lián)網(wǎng)爬取站點(diǎn)和物聯(lián)網(wǎng)設(shè)備的數(shù)據(jù)源注冊(cè)和管理,目前系統(tǒng)支持?jǐn)?shù)據(jù)源包括:MySQL數(shù)據(jù)庫、Oracle數(shù)據(jù)庫、Hbase、Hive、NoSQL數(shù)據(jù)、云數(shù)據(jù)庫、大文件系統(tǒng)、小文件系統(tǒng)等各種關(guān)系性數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫。數(shù)據(jù)源中存儲(chǔ)了所有建立數(shù)據(jù)庫連接的信息,就象通過指定文件名可以在文件系統(tǒng)中找到文件一樣,通過提供正確的數(shù)據(jù)源名稱,用戶可以找到相應(yīng)的數(shù)據(jù)庫連接;能夠?qū)崿F(xiàn)多類型數(shù)據(jù)源的注冊(cè)、查詢和管理等功能。.2指標(biāo)項(xiàng)注冊(cè)指標(biāo)項(xiàng)注冊(cè),包括采集指標(biāo)項(xiàng)注冊(cè),下發(fā)指標(biāo)項(xiàng)注冊(cè);顧名思義定義一個(gè)指標(biāo)項(xiàng)的名稱,并設(shè)置數(shù)據(jù)的來源表和目標(biāo)表;這個(gè)功能就是對(duì)所有指標(biāo)項(xiàng)做統(tǒng)一的管理.3流程管理流程管理包括規(guī)則定制,流程定制,任務(wù)定制,流程監(jiān)聽和任務(wù)監(jiān)聽幾大板塊。流程管理是在多個(gè)參與者之間按照某種預(yù)定義的規(guī)則流程傳遞信息,或讓任務(wù)的過程自動(dòng)進(jìn)行,從而實(shí)現(xiàn)預(yù)期的業(yè)務(wù)目標(biāo)實(shí)現(xiàn)。流程管理是業(yè)務(wù)整合的關(guān)鍵控制鏈,是業(yè)務(wù)協(xié)同處理的中心集成者和管理者。規(guī)則定制解決交換過程中庫之間格式不能正常交換等問題,在流程定制時(shí)根據(jù)需求選擇規(guī)則來定制流程;流程定制完全是拖拽方式,可定制化流程配置即可實(shí)現(xiàn)數(shù)據(jù)傳輸;添加,啟動(dòng)任務(wù)調(diào)度流程運(yùn)行,可設(shè)置任務(wù)執(zhí)行的生效時(shí)間,頻率;可分別對(duì)流程和任務(wù)做監(jiān)聽.4集群管理集群是一組相互獨(dú)立的、通過高速網(wǎng)絡(luò)互聯(lián)的計(jì)算機(jī),它們構(gòu)成了一個(gè)組,并以單一系統(tǒng)的模式加以管理。一個(gè)客戶與集群相互作用時(shí),集群像是一個(gè)獨(dú)立的服務(wù)器。集群配置是用于提高可用性和可縮放性。集群管理就是對(duì)所有的節(jié)點(diǎn)機(jī)的管理,包括節(jié)點(diǎn)機(jī)的激活,禁用,并對(duì)激活的節(jié)點(diǎn)機(jī)進(jìn)行監(jiān)控.5監(jiān)控管理監(jiān)控管理主要是對(duì)各種不同的數(shù)據(jù)源采集過程進(jìn)行監(jiān)控,能監(jiān)控到每一批數(shù)據(jù)采集的結(jié)果,能統(tǒng)計(jì)到每天數(shù)據(jù)采集的結(jié)果,通過監(jiān)控管理能很清楚的了解數(shù)據(jù)匯聚的全部情況,為數(shù)據(jù)采集提供了良好的運(yùn)維支撐。.6日志管理日志管理包括流程日志和操作日志兩個(gè)板塊;流程日志顯示流程的執(zhí)行狀態(tài),開始時(shí)間,結(jié)束時(shí)間并可查看本流程中所有插件的執(zhí)行情況,包括插件名稱,輸入總數(shù),輸出總數(shù),錯(cuò)誤總數(shù)并記錄運(yùn)行時(shí)間;操作日志對(duì)每個(gè)使用系統(tǒng)的人員操作做記錄,顯示操作結(jié)果和操作內(nèi)容政務(wù)數(shù)據(jù)清洗融合工具政務(wù)數(shù)據(jù)清洗融合工具以高精度互聯(lián)網(wǎng)地圖為基本載體,經(jīng)過數(shù)據(jù)現(xiàn)狀調(diào)研、大數(shù)據(jù)中心組織架構(gòu)設(shè)計(jì)與編制、擬定數(shù)據(jù)標(biāo)準(zhǔn)與技術(shù)規(guī)范,將原有人口、法人、地理信息、宏觀經(jīng)濟(jì)等數(shù)據(jù)庫進(jìn)行整合與清洗,建立公共數(shù)據(jù)集、政務(wù)專題數(shù)據(jù)集,重新建立城市公共信息資源的新次序。工具支持海量實(shí)時(shí)數(shù)據(jù)處理和離線數(shù)據(jù)處理,有效提高數(shù)據(jù)處理的效率。工具包含數(shù)據(jù)源管理、集群管理、流程管理、任務(wù)管理、規(guī)則管理、流程日志、流程服務(wù)等功能。數(shù)據(jù)源管理數(shù)據(jù)源管理主要解決政府各個(gè)部門、互聯(lián)網(wǎng)爬取站點(diǎn)和物聯(lián)網(wǎng)設(shè)備的數(shù)據(jù)源注冊(cè)和管理,目前系統(tǒng)支持?jǐn)?shù)據(jù)源包括:MySQL數(shù)據(jù)庫、Oracle數(shù)據(jù)庫、Hbase、Hive、NoSQL數(shù)據(jù)、云數(shù)據(jù)庫、大文件系統(tǒng)、小文件系統(tǒng)等各種關(guān)系性數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫。數(shù)據(jù)源中存儲(chǔ)了所有建立數(shù)據(jù)庫連接的信息,就象通過指定文件名可以在文件系統(tǒng)中找到文件一樣,通過提供正確的數(shù)據(jù)源名稱,用戶可以找到相應(yīng)的數(shù)據(jù)庫連接;能夠?qū)崿F(xiàn)多類型數(shù)據(jù)源的注冊(cè)、查詢和管理等功能。流程定制管理流程管理包括規(guī)則定制,流程定制,任務(wù)定制幾大板塊。流程管理是在多個(gè)參與者之間按照某種預(yù)定義的規(guī)則流程傳遞信息,或讓任務(wù)的過程自動(dòng)進(jìn)行,從而實(shí)現(xiàn)預(yù)期的業(yè)務(wù)目標(biāo)實(shí)現(xiàn)。流程管理是業(yè)務(wù)整合的關(guān)鍵控制鏈,是業(yè)務(wù)協(xié)同處理的中心集成者和管理者。規(guī)則定制解決交換過程中庫之間格式不能正常交換等問題,在流程定制時(shí)根據(jù)需求選擇規(guī)則來定制流程;流程定制完全是拖拽方式,可定制化流程配置即可實(shí)現(xiàn)數(shù)據(jù)傳輸;添加,啟動(dòng)任務(wù)調(diào)度流程運(yùn)行,可設(shè)置任務(wù)執(zhí)行的生效時(shí)間,頻率;云節(jié)點(diǎn)管理云幾點(diǎn)管理就是對(duì)所有的節(jié)點(diǎn)機(jī)的管理,基本信息如節(jié)點(diǎn)名稱,節(jié)點(diǎn)IP,節(jié)點(diǎn)端口,web端口,包括節(jié)點(diǎn)機(jī)的激活,禁用,并對(duì)激活的節(jié)點(diǎn)機(jī)進(jìn)行監(jiān)控日志管理日志管理包括流程日志和操作日志兩個(gè)板塊;流程日志顯示流程的執(zhí)行狀態(tài),開始時(shí)間,結(jié)束時(shí)間并可查看本流程中所有插件的執(zhí)行情況,包括插件名稱,輸入總數(shù),輸出總數(shù),錯(cuò)誤總數(shù)并記錄運(yùn)行時(shí)間;操作日志對(duì)每個(gè)使用系統(tǒng)的人員操作做記錄,顯示操作結(jié)果和操作內(nèi)容下圖為插件運(yùn)行日志:平臺(tái)服務(wù)層(PAAS)方案設(shè)計(jì)時(shí)空信息云平臺(tái)基于基礎(chǔ)功能組件,提供服務(wù)資源池、時(shí)空云服務(wù)系統(tǒng)、服務(wù)引擎、地名地址引擎、業(yè)務(wù)流引擎等功能系統(tǒng)。服務(wù)資源池時(shí)空大數(shù)據(jù)服務(wù)要素服務(wù)WFS(WebFeatureService)要素服務(wù)(WebFeatureService簡稱WFS)遵循OGC的WFS1.0.0、1.1.0規(guī)范,本服務(wù)返回的是要素級(jí)的GML編碼。OGCWeb要素服務(wù)允許用戶終端從多個(gè)Web要素服務(wù)中取得使用地理標(biāo)記語言(GML)編碼的地理空間數(shù)據(jù)(以下是WFS1.1.0的接口標(biāo)準(zhǔn),WFS1.0.0的接口標(biāo)準(zhǔn)請(qǐng)參照OGC規(guī)范)。同時(shí),在這個(gè)服務(wù)中可支持基于要素的時(shí)態(tài)數(shù)據(jù)的發(fā)布。支持對(duì)地理要素的插入、更新、刪除、檢索和發(fā)現(xiàn)服務(wù)。該服務(wù)根據(jù)HTTP客戶請(qǐng)求返回GML(GeographyMarkupLanguage、地理標(biāo)識(shí)語言)數(shù)據(jù)。通過WFS服務(wù)提供數(shù)據(jù)服務(wù)的情況下,任何使用Web服務(wù)的應(yīng)用程序均可訪問地圖或地理數(shù)據(jù)庫中的地理要素。WFS服務(wù)返回的是帶有幾何和屬性信息的實(shí)際要素,客戶端可以將這些要素與屬性用于任何類型的地理空間分析。WFS服務(wù)也支持過濾器,由此用戶可以在數(shù)據(jù)上執(zhí)行空間查詢和屬性查詢。支持以下操作:(1)獲取服務(wù)的要素類及支持的操作,即服務(wù)元數(shù)據(jù)(GetCapabilities)(2)獲取要素的描述信息,即要素元數(shù)據(jù)(DescribeFeatureType)(3)獲取要素信息(GetFeature)用戶可以在平臺(tái)上選擇相應(yīng)的數(shù)據(jù)源發(fā)布成WFS服務(wù),并且允許用戶在分布式的環(huán)境下通過HTTP對(duì)空間數(shù)據(jù)進(jìn)行查詢、編輯等操作。地圖服務(wù)WMS(WebMapService)地圖服務(wù)(WebMapService簡稱WMS)遵循OGC的WMS1.1.1、1.3.0規(guī)范,該服務(wù)利用具有地理空間位置信息的數(shù)據(jù)制作地圖。其中將地圖定義為地理數(shù)據(jù)可視的表現(xiàn)(以下是WMS1.3.0的接口標(biāo)準(zhǔn),WMS1.1.1的接口標(biāo)準(zhǔn)請(qǐng)參照OGC規(guī)范)。利用具有地理空間位置信息的數(shù)據(jù)制作地圖,其中將地圖定義為地理數(shù)據(jù)的可視化表現(xiàn),能夠根據(jù)用戶的請(qǐng)求獲取相應(yīng)的地圖(包括PNG,GIF,JPEG等柵格形式或者是SVG和WEBCGM等矢量形式)。WMS服務(wù)支持HTTP協(xié)議,所支持的操作由URL決定。通過向服務(wù)的URL附加參數(shù)來使用WMS服務(wù)。支持以下操作:獲取關(guān)于服務(wù)的元數(shù)據(jù)(GetCapabilities[必選]);獲取地圖圖像(GetMap[必選]);獲取關(guān)于地圖要素的信息(GetFeatureInfo);獲取用戶定義的樣式(GetStyles);獲取圖例符號(hào)(GetLegendGraphic)。用戶可以在平臺(tái)上選擇相應(yīng)的方案發(fā)布成WMS服務(wù),允許用戶在分布式的環(huán)境下通過HTTP對(duì)空間數(shù)據(jù)進(jìn)行出圖等操作。目錄服務(wù)CSW(CatalogServiceWeb)目錄服務(wù)(CatalogServiceforWeb簡稱CSW)遵循OGC目錄服務(wù)2.0.2規(guī)范。著重于采用WSDL、SOAP、ebXML等Web服務(wù)標(biāo)準(zhǔn)實(shí)現(xiàn)地理空間信息目錄服務(wù)。目錄服務(wù)的主要功能支持查詢、管理和同步功能。用于將地理記錄的目錄(描述地理數(shù)據(jù)的記錄如KML、描述地理服務(wù)的記錄如WMS等)以XML的形式發(fā)布在網(wǎng)絡(luò)中。有效應(yīng)用于地理空間信息資源,如測繪成果目錄的檢索和管理,可與特定應(yīng)用及其元數(shù)據(jù)信息模型綁定,形成符合自身需要的內(nèi)容和功能,對(duì)外提供查詢服務(wù),能有效實(shí)現(xiàn)基于Web的覆蓋全國分布式互操作的目錄服務(wù)系統(tǒng)。覆蓋服務(wù)WCS(WebCoverageService)Web覆蓋服務(wù)(WebCoverageService簡稱WCS)遵循OGC的WCS1.0.0、1.1.0、1.1.2規(guī)范。該服務(wù)面向空間影像數(shù)據(jù),它將包含地理位置值的地理空間數(shù)據(jù)作為“覆蓋(Coverage)”在網(wǎng)上相互交換(以下是WCS1.1.0的接口標(biāo)準(zhǔn),WCS1.0.0和WCS1.1.2接口標(biāo)準(zhǔn)請(qǐng)參照OGC規(guī)范)覆蓋服務(wù)包含地理位置信息或?qū)傩缘目臻g柵格圖層,而不是靜態(tài)地圖的訪問。根據(jù)HTTP客戶端要求獲取相應(yīng)的數(shù)據(jù),包括衛(wèi)星影像,多光譜影像和數(shù)字高程數(shù)據(jù)等,也就是柵格數(shù)據(jù)。WCS服務(wù)具有以下三種功能:獲取服務(wù)級(jí)別元數(shù)據(jù)以及數(shù)據(jù)集合的簡要描述(GetCapabilities);獲取一個(gè)或者多個(gè)coverage的完整描述(DescribeCoverage);以熟知的coverage格式返回coverage(GetCoverage)。地名地址服務(wù)WFS-G(WebFeatureGazetteerService)地名地址服務(wù)主要是提供地名地址查詢和地址正向匹配、逆向匹配的功能。地址匹配又稱為地理編碼,是指將地址(例如:北京市海淀區(qū)知春路106號(hào)皇冠假日酒店)轉(zhuǎn)換成地理坐標(biāo)(例如緯度116.322990和經(jīng)度39.975710)的過程,客戶端可以使用這些坐標(biāo)來放置標(biāo)記或設(shè)定地圖位置。另外,此服務(wù)能執(zhí)行反向作業(yè)

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論