2021智慧城市時空大數(shù)據(jù)與云平臺技術(shù)方案

智慧城市時空大數(shù)據(jù)與智慧云平臺解決方案表3-4所示。集群中各服務之間存在依賴或者關(guān)聯(lián)的關(guān)系：A依賴于B表示，若集群中部署A服務，需要提前或同時部署B(yǎng)服務。A與B可以不部署在相同的節(jié)點上。A與B關(guān)聯(lián)表示，若集群中部署A服務，需要同時部署B(yǎng)服務。A與B需要部署在相同的節(jié)點上。安裝集群時只能安裝一對NameNode和Zkfc，當HDFS服務設(shè)置HDFSFederation需要部署多對Namenode和Zkfc時，需要在集群安裝完成后手動添加其余部分。服務名稱角色名稱內(nèi)存最小要求依賴關(guān)系角色業(yè)務部署原則OMSServerOMSServer10GB-分別部署在2個管理節(jié)點上，主備配置。LdapServerSlapdServer1GB-LdapServer與KrbServer部署在相同的節(jié)點上。OMS的OLdap服務：LS分別部署在2個管理節(jié)點上，主備配置。LdapServer服務：LS分別部署在2個控制節(jié)點上，2個實例均為OLdap服務的備用實例。KrbServerKerberosServer3MBKrbServer依賴于LdapServerKerberosServer與KerberosAdmin關(guān)聯(lián)分別部署在2個控制節(jié)點上，負荷分擔，與KerberosAdmin部署在相同的節(jié)點上。KerberosAdmin2MB分別部署在2個控制節(jié)點上，負荷分擔，與KerberosServer部署在相同的節(jié)點上。ZooKeeperQP（quorumpeer）1GB-每個集群內(nèi)配置3個在控制節(jié)點上。如需擴展，請保持數(shù)量為奇數(shù)個，最多支持9個實例。HDFSNN（NameNode）4GBNameNode與Zkfc關(guān)聯(lián)依賴于ZooKeeper分別部署在2個控制節(jié)點上，主備配置。Zkfc（ZooKeeperFailoverController）1GB分別部署在2個控制節(jié)點上，主備配置。JN(JournalNode)4GB至少部署3個在控制節(jié)點上，每個節(jié)點保留一份備份數(shù)據(jù)。如需保留超過三份以上備份，可部署多個在控制或數(shù)據(jù)節(jié)點上，請保持數(shù)量為奇數(shù)個。DN（DataNode）4GB至少部署3個，建議部署在數(shù)據(jù)節(jié)點上。HttpFS128MB可部署0～n個，與DataNode部署在相同的節(jié)點上。YarnRM（ResourceManager）2GB依賴于HDFS和ZooKeeper分別部署在2個控制節(jié)點上，主備配置。NM（NodeManager）2GB部署在數(shù)據(jù)節(jié)點上，與HDFS的DataNode保持一致。MapreduceJHS（JobHistoryServer）2GB依賴于Yarn、HDFS和ZooKeeper1個集群內(nèi)只能部署1個在控制節(jié)點上。DBServiceDBServer512MB-分別部署在2個控制節(jié)點上，主備配置。HueHue1GB依賴于DBservice說明Federation場景下，Hue組件可連接HttpFS進行接口轉(zhuǎn)換。此時Hue還依賴于HDFS的HttpFS角色。分別部署在2個控制節(jié)點上，主備配置。LoaderLS(LoaderServer)2GB依賴于Mapreduce、Yarn、DBService、HDFS和ZooKeeper分別部署在2個控制節(jié)點上，主備配置。SparkSR（SparkResource）-依賴于Yarn、Hive、HDFS、Mapreduce、ZooKeeper和DBService無實體進程，不消耗內(nèi)存。分別部署在2個控制節(jié)點上，非主備。JH（JobHistory）2GB分別部署在2個控制節(jié)點上，非主備。JS（JDBCServer）2GB至少部署在2個控制節(jié)點上?？刹渴鹪诙鄠€控制節(jié)點上，負荷分擔。HiveHS（HiveServer）4GB依賴于DBService、Mapreduce、HDFS、Yarn和ZooKeeper至少部署2個在控制節(jié)點上?？刹渴鸲鄠€在控制節(jié)點上，負荷分擔。MS（MetaStore）2GB至少部署2個在控制節(jié)點上。可部署多個在控制節(jié)點上，負荷分擔。WebHCat2GB至少部署1個在控制節(jié)點上。可部署多個在控制節(jié)點上，負荷分擔。HBaseHM（HMaster）1GB依賴于HDFS、ZooKeeper和Yarn分別部署在2個控制節(jié)點上，主備配置。RS（RegionServer）6GB部署在數(shù)據(jù)節(jié)點上，與HDFS的DataNode保持一致。TS（ThriftServer）1GB每個集群部署3個在控制節(jié)點上。若ThriftServer訪問HBase延時不能滿足用戶需求的時候，可以部署多個在控制或者數(shù)據(jù)節(jié)點上。FTP-ServerFTP-Server1GB依賴于HDFS和ZooKeeper每個實例默認提供16個并發(fā)通道，當所需并發(fā)數(shù)更大時，可部署多個實例。不建議部署在控制節(jié)點和DataNode所在節(jié)點，當部署到DataNode節(jié)點時，可能存在數(shù)據(jù)不均衡的風險。FlumeFlume1GB依賴于HDFS和ZooKeeper建議單獨部署，不建議Flume和DataNode部署在同一節(jié)點，否則會存在數(shù)據(jù)不均衡的風險。MonitorServer128MB分別部署在2個控制節(jié)點上，非主備。KafkaBroker1GB依賴于ZooKeeper至少部署2個在數(shù)據(jù)節(jié)點上。若每天產(chǎn)生的數(shù)據(jù)量超過2TB，建議部署多個在數(shù)據(jù)節(jié)點上。MetadataMetadata512MB依賴于DBService1個集群內(nèi)只能部署1個在控制節(jié)點上。Oozieoozie1GB依賴于DBService、Yarn、HDFS和Mapreduce分別部署在2個控制節(jié)點上，非主備。。SolrSolrServerN(N=1～5)2GB依賴于ZooKeeper說明Solr數(shù)據(jù)選擇保存在HDFS上時，還依賴于HDFS。若選擇Solr索引數(shù)據(jù)保存在HDFS上，建議每個節(jié)點只部署一個SolrServer實例（包含SolrServerAdmin）。每個節(jié)點可以配置5個實例。建議配置3個以上節(jié)點，每個節(jié)點上的實例個數(shù)均勻分布。Solr數(shù)據(jù)優(yōu)先選擇保存到HDFS，每個節(jié)點部署三個Solr實例。單節(jié)點實時索引速度2MB/s以上的，建議部署到本地磁盤，每個節(jié)點Solr實例部署5個，每個Solr實例單獨掛載磁盤。存儲HDFS相比本地磁盤性能下降30%～50%。SolrServerAdmin2GB分別部署在2個數(shù)據(jù)節(jié)點上，非主備。HBaseIndexer512MB依賴于HBase、HDFS和ZooKeeper說明一般不需要部署，除非需要使用hbase-indexer功能。建議每個SolrServer實例所在節(jié)點均部署一個。SmallFSFGCServer6GB依賴于Mapreduce、Yarn、HDFS和ZooKeeper分別部署在2個控制節(jié)點上，主備配置。StormLogviewer1GB-根據(jù)Supervisor的部署情況進行規(guī)劃，每個部署Supervisor的節(jié)點也需要部署Logviewer。Nimbus1GB依賴ZooKeeper分別部署在兩臺控制節(jié)點上，主備配置，和UI是聯(lián)動關(guān)系。UI1GB依賴ZooKeeper分別部署在兩臺控制節(jié)點上，和Nimbus是聯(lián)動關(guān)系（部署Nimbus節(jié)點肯定會有UI）。Supervisor1GB-至少部署在一臺數(shù)據(jù)節(jié)點上，如需提供大量計算能力，可部署多個，建議部署在獨立節(jié)點上。主要負責管理工作進程（Worker），工作進程數(shù)量、內(nèi)存可配置，對資源占用較大。說明Supervisor部署數(shù)目可根據(jù)如下公式進行計算，其中拓撲數(shù)和每個拓撲要求的Worker數(shù)為客戶自行規(guī)劃項，Supervisor配置的Worker數(shù)默認為4。需要的Supervisor數(shù)=拓撲數(shù)×每個拓撲要求的Worker數(shù)/Supervisor配置的Worker數(shù)RedisRedis_1、Redis_2、Redis_3……Redis_321GB依賴DBService單master模式Redis至少部署在一臺數(shù)據(jù)節(jié)點上，如需部署Redis集群，則至少要部署到三臺數(shù)據(jù)節(jié)點上。配置計算服務器配置CPU對于計算密集型的業(yè)務，建議使用推薦配置(雙路8核及以上)X86處理器對于存儲密集型的業(yè)務，大于最低配置(雙路4核)X86處理器即可內(nèi)存建議內(nèi)存配置≥64GB，對于計算密集型的業(yè)務，內(nèi)存配置可以更大，比如192G或更大。磁盤對于高并發(fā)低時延相關(guān)的業(yè)務，建議使用SAS盤，單盤容量可以根據(jù)實際業(yè)務需求確定。對于海量存儲相關(guān)的業(yè)務，建議使用SATA盤，單盤容量可以根據(jù)實際業(yè)務需求確定。網(wǎng)絡建議配置Bond(主備或負荷分擔)，選擇GE還是10GE需要根據(jù)實際業(yè)務情況確定。通常建議業(yè)務平面配置10GE口，管理平面配置GE口。服務器從硬盤空間來考慮，集群數(shù)據(jù)節(jié)點數(shù)：=ROUNDUP(集群總數(shù)據(jù)量_TB*HDFS副本數(shù)量*應用層數(shù)據(jù)壓縮率/(單硬盤大小_TB*單節(jié)點硬盤數(shù)量*硬盤利用率),0)管理節(jié)點和控制節(jié)點服務器需要根據(jù)集群規(guī)模來考慮，方法如下(MN：管理節(jié)點，CN：控制節(jié)點，DN：數(shù)據(jù)節(jié)點)：數(shù)據(jù)節(jié)點數(shù)管理控制硬件規(guī)格建議說明[3,30)21CPU2路8核主頻2.2GHz(支持超線程)64G-128GB內(nèi)存SAS/SATA1.控制節(jié)點與管理節(jié)點合布2.數(shù)據(jù)節(jié)點獨立部署[[30~100)23CPU2路8核主頻2.4GHz(支持超線程)128G-256GB內(nèi)存SAS盤管理節(jié)點、控制節(jié)點、數(shù)據(jù)節(jié)點獨立部署[100~500)25CPU2路8核主頻2.6GHz(支持超線程)256-512GB內(nèi)存SAS盤/SSD盤超過100節(jié)點必須使用600G以上的硬盤1.管理節(jié)點、控制節(jié)點、數(shù)據(jù)節(jié)點獨立部署2.ZooKeeper/JournalNode占5節(jié)點，3.Hue/Oozie/MonitorServer/Nimbus/NameNode/JouralNode合布2節(jié)點，其中NameNode可以擴展成多對，同時在剩余的節(jié)點中部署一個JouralNode4.ResourceManager/HMaster/LDAP/Krb/DBservice/MetaStore等基礎(chǔ)服務占2節(jié)點5.Spark/Hive/Hue/Loader/Jobhistory等與用戶交互的相關(guān)實例獨立占2節(jié)點，可根據(jù)負載擴展成多個[500~2000)29CPU2路8核，主頻3.0GHz(支持超線程)256-512GB內(nèi)存（500-1500節(jié)點）SSD/SAS（1500-2000節(jié)點）SSD1.管理節(jié)點、控制節(jié)點、數(shù)據(jù)節(jié)點獨立部署2.Hue/Oozie/MonitorServer/Nimbus/NameNode/JouralNode合布2節(jié)點，其中NameNode可以擴展成多對，同時在剩余的節(jié)點中部署一個JouralNode3.LdapServer和KrbServer合部占兩個節(jié)點4.剩余5個節(jié)點上部署5個ZK，HiveServer、JDBCServer、MetaStore合部到其中3個節(jié)點上，同時在這3個節(jié)點中兩個節(jié)點上部署DBService。ResourceManager、Loader、MetadataServer、JobHistory（MR）部署到剩下的兩個節(jié)點上。5.Nimbus/Hue/Oozie部署在兩個節(jié)點上[2000~5000]211CPU2路10核3.0GHz，或2路8核3.2GHz(支持超線程)256-512GB內(nèi)存SSD盤1.管理節(jié)點、控制節(jié)點、數(shù)據(jù)節(jié)點獨立部署2.Hue/Oozie/MonitorServer/NameNode/JouralNode合布2節(jié)點，其中NameNode可以擴展成多對，同時在剩余的節(jié)點中部署一個JouralNode3.LdapServer/KrbServer/Nimbus合部占兩個節(jié)點4.剩余5個節(jié)點上部署5個ZK，HiveServer、JDBCServer、MetaStore合部到其中3個節(jié)點上，同時在這3個節(jié)點中兩個節(jié)點上部署DBService。ResourceManager、Loader、MetadataServer、JobHistory（MR）部署到剩下的兩個節(jié)點上。以上配置不含HDFS聯(lián)邦部署時多對NameNode的硬件。如需部署多對NameNode，每對NameNode需單獨規(guī)劃兩臺獨立控制節(jié)點。例如某項目推薦規(guī)格如下：類別推薦配置單硬盤大?。═B）4單節(jié)點硬盤數(shù)量12HDFS副本數(shù)量3硬盤利用率70%應用層數(shù)據(jù)壓縮率40%集群總數(shù)據(jù)量（TB）100那么集群數(shù)據(jù)節(jié)點數(shù)＝ROUNDUP(100*3*40％/(4*12*70％),0)＝4應用層數(shù)據(jù)壓縮比率，如Hive文件存儲采用SequenceFile和Snappy壓縮時，平均相比原始文本數(shù)據(jù)的壓縮比為40%。管理節(jié)點數(shù)量可以根據(jù)集群規(guī)模來計算。如果采取合部的方式，則管理節(jié)點一共需要24塊硬盤(RAID1)。對于上面的示例，管理服務器數(shù)量為24/服務器硬盤數(shù)＝2臺。如果采用單獨部署的方式，則管理節(jié)點服務器為3臺。帶寬配置節(jié)點帶寬配置各節(jié)點的業(yè)務平面帶寬建議配置2*10GE管理平面的數(shù)據(jù)節(jié)點和控制節(jié)點建議帶寬為2*GE，管理節(jié)點建議采用10GE*2。接入-匯聚帶寬配置建議匯聚帶寬=m（數(shù)據(jù)節(jié)點數(shù)）*n（每節(jié)點業(yè)務網(wǎng)卡端口數(shù)）*k（網(wǎng)卡端口帶寬）*i（節(jié)點帶寬占用率）/h（收斂比）Gbps接入交換機堆疊帶寬配置見\o""接入-匯聚帶寬規(guī)劃描述。軟件配置按照節(jié)點數(shù)量配置FusionInsight的軟件License。配置樣例下面以金融行業(yè)歷史明細數(shù)據(jù)查詢?yōu)槔M行配置計算，運營商的配置與此類似，只是交換機需要選擇運營商的交換機型號。背景假設(shè)：客戶未來2年一共需要保存100T左右的數(shù)據(jù)，提供在線歷史數(shù)據(jù)查詢服務和離線的數(shù)據(jù)查詢服務，在線查詢通常要求在1分鐘內(nèi)返回查詢結(jié)果，離線查詢可以在2小時內(nèi)返回查詢結(jié)果?？蛻魞H采購FusionInsightHD軟件。服務器配置計算：由于用戶提供在線服務，且對響應時間要求較高，因此建議配置較高的CPU和內(nèi)存。根據(jù)上述配置方法，建議使用推薦配置(雙路8核及以上)X86處理器(假設(shè)配置為雙E5-2690V2CPU)和128G的內(nèi)存。硬盤建議配置SAS盤，網(wǎng)絡配置10GE口。按照服務器配置14塊硬盤(其中2個硬盤做RAID1后安裝OS，剩余12塊硬盤)，每個硬盤1T，壓縮比為40%計算，需要數(shù)據(jù)節(jié)點服務器個數(shù)為=ROUNDUP((100*3*40%)/(1*12*70%),0)=15臺，采取管理控制節(jié)點合部的方式(需要24塊硬盤)，需要再增加一臺控制服務器（兩臺管理節(jié)點不計算License使用量），這樣總共需要16臺服務器。按照每個機架最多放置12臺服務器計算，需要2個機架，因此均勻放置時每個機架放置9臺服務器。假設(shè)業(yè)務模型接入?yún)R聚帶寬收斂比為2:1，節(jié)點帶寬占用率為40%，則匯聚帶寬=9*2*10*40%/2=36Gbps。根據(jù)\o""接入交換機堆疊帶寬規(guī)劃的兩種異常場景計算，當一個接入交換機上行鏈路全部故障時，要求接入交換機堆疊帶寬配置為20GE（四舍五入）。每個服務器業(yè)務平面需要2個10GE口，每個機架一共是9*2個10GE口，機架間堆疊需要2個10GE口，上行到匯聚交換機需要4個10GE口，因此每個機架一共需要使用18+2+4=24個10GE口，需要配置1臺S6700-24-EI交換機。2個機架，每個機架向上匯聚需要4個10GE口,一共需要8個10GE口，則需要配置1臺S6700-48-EI交換機，如果客戶已經(jīng)有匯聚交換機，則提供8個10GE口即可。管理平面計算同上，每臺服務器需要2個GE口，由于流量較小，機架間堆疊和上行口各需要一個GE口即可，因此每個機架需要18+1+1=20個GE口，配置1臺S5700-28交換機即可。按照節(jié)點數(shù)量配置軟件License數(shù)量最終配置：設(shè)備類型建議配置標準機架2服務器16臺，CPU：2*E5-2690V2；內(nèi)存：128G；網(wǎng)口：2*10GE+2*GE；硬盤：2*300GSAS+12*1TNL-SAS接入交換機2臺S6700-24-EI（業(yè)務平面）2臺S5700-28-C-EI（管理平面）匯聚交換機1臺S6700-48-EI（根據(jù)客戶需要配置）大數(shù)據(jù)軟件17個FusionInsightHD軟件License，版本根據(jù)客戶需要確定配置清單【示例】一般和一線產(chǎn)品經(jīng)理討論得出。序號部件編碼型號描述數(shù)量1RH2288HV31.1基本配置02310YJVBC4M02HGSARH2288HV3(12硬盤EXP機箱)H22H-03102311EUUBC1M01FXEB02板載網(wǎng)卡-2X10GE光口(82599)-SFP+-2X多模模塊(850nm,0.3km,LC)102310YKPBC1M03FANA8056PlusFanmodule402311DUPBC1M10IHDD2*2.5"后置硬盤背板組件102310QWXEN3MCACC750W白金交流電源模塊21.2HaswellEPCPU02311CDHBC1M13CPUX86series-2600MHz-1.8V-64bit-105000mW-HaswellEPXeonE5-2660v3-10Core-withheatsink21.3DDR4內(nèi)存06200176N00DDR401通用內(nèi)存-DDR4RDIMM-16GB-288pin-0.9ns-2133000KHz-1.2V-ECC-2Rank(1G*4bit)-服務器專用81.4硬盤(帶拉手條)02311AYMN2000NS7W3通用硬盤-2000GB-NLSAS6.0Gb/s-7200rpm-3.5inch-64MB-熱插拔-內(nèi)置式-3.5英寸拉手條602311HAPN600S1210W2通用硬盤-600GB-SAS12Gb/s-10000rpm-2.5inch-128MB及以上-熱插拔-內(nèi)置式-2.5寸拉手條21.5RAID卡及配件02310YLWBC1M01ESMNSR130(LSI3008)-SAS/SATARAIDCard-RAID0,1,10,1E,+630mmMiniSASHD模塊(12_28盤規(guī)格)11.6PCIe卡03022TSCCN21ITGB以太網(wǎng)卡-1Gb電口(IntelI350)-雙端口-RJ45-PCIe2.0x411.7線纜和配套設(shè)備21240434EGUIDER012U靜態(tài)滑軌套件1No.PartNumberModelDescriptionQty.1RH2288HV31.1BaseConfiguration02310YJVBC4M02HGSARH2288HV3(12HDDEXPChassis)H22H-03102311EUUBC1M01FXEB02OnboardNetworkcard,2X10GEPort(82599),SFP+-2XMulti-modeModule(850nm,0.3km,LC)102310YKPBC1M03FANA8056PlusFanmodule402311DUPBC1M10IHDD2*2.5"RearHardDiskBackplaneModule102310QWXEN3MCACC750WPlatinumACPowerModule21.2HaswellEPCPU02311CDHBC1M13CPUX86series,2600MHz,1.8V,64bit,105000mW,HaswellEPXeonE5-2660v3,10Core,withheatsink21.3DDR4Memory06200176N00DDR401MemoryModule,DDR4RDIMM,16GB,288pin,0.9ns,2133000KHz,1.2V,ECC,2Rank(1G*4bit),ServerDedicated81.4HardDisk(includeFrontPanel)02311AYMN2000NS7W3HardDisk,2000GB,NLSAS6.0Gb/s,7200rpm,3.5inch,64MB,Hot-swap,Built-in,FrontPanel602311HAPN600S1210W2HardDisk,600GB,SAS12Gb/s,10000rpm,2.5inch,128MBorabove,Hot_plug,Built-in,2.5inchFrontPanel21.5RAIDCardandOtherAccessories02310YLWBC1M01ESMNSR130(LSI3008)-SAS/SATARAIDCard-RAID0,1,10,1E,+630mmMiniSASHDCableMoudle11.6PCIeCard03022TSCCN21ITGBEthernetAdapter,1GbElectricalInterface(IntelI350),2-Port,RJ45,PCIe2.0x411.7CablesandOptionalEquipments21240434EGUIDER012UStaticRailKit1集群組網(wǎng)方案集群劃分原則集群劃分參考對集群劃分的建議規(guī)則1）隔離實時和非實時工作負載：對實時性要求比較高的負載采用獨立集群，同時支持多時區(qū)。2）根據(jù)業(yè)務對硬件資源的根本性差異（含CPU/內(nèi)存/磁盤/網(wǎng)絡），建議按照SLA等級，將不同業(yè)務拆分部署。如MR通常是磁盤密集型應用，Spark通常是CPU/內(nèi)存密集型應用,冷數(shù)據(jù)歸檔一般需要高密存儲。3）根據(jù)客戶的業(yè)務管理需要（如安全/備份策略要求，業(yè)務數(shù)據(jù)源歸屬，故障隔離要求等），可進一步切分，如分割數(shù)據(jù)平臺和應用集群。組網(wǎng)方案組網(wǎng)原則：節(jié)點數(shù)小于200的集群，可采用二層組網(wǎng)，網(wǎng)絡配置簡單；大于200的集群采用三層組網(wǎng)，便于線性擴展。采用雙平面隔離組網(wǎng)，集群中每個節(jié)點分別接入業(yè)務平面和管理平面。組網(wǎng)隔離時，雙平面可以采用各自獨立的端口配置，也可以采用VLAN的方式配置。建議采用獨立端口配置。以二層組網(wǎng)為例，采用獨立的端口配置組網(wǎng)參見下圖：雙平面組網(wǎng)時，每個節(jié)點有兩個IP地址，分別用于業(yè)務和管理，兩個IP地址所在的網(wǎng)段之間不互通。業(yè)務平面用于組件之間的業(yè)務通信（例如HBase的HMaster和RegionServer的通信、HBase的RegionServer之間的通信）；管理平面用于FusionInsightManager管理集群（例如，各個節(jié)點監(jiān)控指標的上報、健康狀態(tài)的檢查）業(yè)務平面：業(yè)務平面采用210GE負荷分擔Bond接入交換機兩兩堆疊，與服務器的Bond對接兩端口配負荷分擔Trunk。管理平面：管理平面采用2GE負荷分擔Bond。接入交換機兩兩堆疊，與服務器的Bond對接兩端口配負荷分擔Trunk；數(shù)據(jù)服務層（DAAS）方案設(shè)計時空大數(shù)據(jù)采集建庫矢量數(shù)據(jù)以《基礎(chǔ)地理信息要素分類與代碼》（GB/T13923-2006）、《基礎(chǔ)地理信息標準數(shù)據(jù)基本規(guī)定》（GB21139-2007）、《基礎(chǔ)地理信息數(shù)據(jù)庫基本規(guī)定》（CH/T9005-2009）等相關(guān)標準要求，結(jié)合實際應用需求，制作XXXX城市核心區(qū)域75平方公里1:500矢量數(shù)據(jù)，構(gòu)建時空矢量數(shù)據(jù)庫。時空矢量數(shù)據(jù)建庫主要包括數(shù)據(jù)采集、質(zhì)量檢查、數(shù)據(jù)提取、時空化處理、電子地圖制作等步驟，主要流程如下圖所示：圖矢量數(shù)據(jù)建庫流程（1）數(shù)據(jù)處理：采集回來的影像數(shù)據(jù)主要為GIS格式，可以直接導入GIS軟件，按照統(tǒng)一的數(shù)據(jù)基礎(chǔ)（坐標系等）、數(shù)據(jù)分類分層、命名、屬性設(shè)置標準等，進行數(shù)據(jù)處理。（2）質(zhì)量檢查：按質(zhì)量標準，對上述GIS數(shù)據(jù)進行質(zhì)量檢查，對不符合要求的數(shù)據(jù)進行返工，直至符合要求為止。（3）數(shù)據(jù)入庫：對于檢查合格的數(shù)據(jù)進行入庫。數(shù)據(jù)入庫需要依托GIS桌面軟件及空間數(shù)據(jù)庫引擎，將空間數(shù)據(jù)存儲于數(shù)據(jù)庫管理系統(tǒng)中，生成全要素的地形圖數(shù)據(jù)，即數(shù)字線化地圖（DLG），形成矢量數(shù)據(jù)庫。（4）時空化處理：矢量框架數(shù)據(jù)的應用有兩種，一種作為底圖瀏覽，以地圖切片的方式存在；另一種是加工形成各類地理專題數(shù)據(jù)，如建筑物專題、路網(wǎng)專題、水系專題等。針對電子地圖應用，時空化處理只需對數(shù)據(jù)根據(jù)更新年代分塊，每塊分別標示時間屬性并單獨存儲，結(jié)合數(shù)據(jù)采集更新年代，形成一個獨立的數(shù)據(jù)庫，如果某一塊數(shù)有兩次以上更新，便可形成歷史數(shù)據(jù)；針對專題數(shù)據(jù)應用，時空化處理需要對數(shù)據(jù)按對象標示時間屬性，具體時空處理與組織方式在數(shù)據(jù)庫設(shè)計章節(jié)體現(xiàn)。（5）電子地圖制作：基于時空化處理后的矢量數(shù)據(jù)，制作滿足需求的矢量電子地圖，具體流程如下：地圖是數(shù)據(jù)資源對外顯示的載體，數(shù)據(jù)更新后，需要對數(shù)據(jù)進行地圖配圖。地圖配圖，主要按照《地理信息公共服務平臺電子地圖數(shù)據(jù)規(guī)范》（CH/Z9011-2011）等標準和規(guī)范，基于現(xiàn)有的電子地圖，鑒于數(shù)據(jù)顯示效果，對其進行分級控制和配賦符號，主要表達境界、道路、鐵路、水系、居民地、植被及注記等要素。主要處理流程如下：圖電子地圖制作與切片流程地圖要素及內(nèi)容選?。簽榱藨獙﹄娮拥貓D數(shù)據(jù)網(wǎng)絡化服務所針對的不同用戶群體，需要按照相關(guān)標準規(guī)范及保密要求，對地圖要素進行選擇，明確地圖顯示哪些要素類別；同時，不同比例尺顯示的地圖要素內(nèi)容也不同，應按照標準規(guī)范要求，明確每一級比例尺顯示的要素內(nèi)容。數(shù)據(jù)分層：結(jié)合實際需要，在數(shù)據(jù)分類的基礎(chǔ)上，進行細化，以滿足平臺應用的需要。數(shù)據(jù)顯示設(shè)置：通過設(shè)置顯示比例尺，使地圖瀏覽與應用獲得較好的應用效果。要素符號化：按照地圖符號要求，將各類地圖要素進行符號化處理；同時，需要對背景地圖進行配色，使地圖美觀實用。圖面整飾：對圖面的整體檢查，使圖面看起來更美觀，符號表達更合理，比如是否存在興趣點符號壓蓋道路等問題，并進行處理。數(shù)據(jù)切片：將地圖數(shù)據(jù)發(fā)布為不同比例尺的地圖瓦片，以滿足平臺應用的需要。影像數(shù)據(jù)和高程以《基礎(chǔ)地理信息要素分類與代碼》（GB/T13923-2006）、《基礎(chǔ)地理信息標準數(shù)據(jù)基本規(guī)定》（GB21139-2007）、《基礎(chǔ)地理信息數(shù)據(jù)庫基本規(guī)定》（CH/T9005-2009）等相關(guān)標準要求，結(jié)合實際應用需求，制作XXXX城市核心區(qū)域75平方公里1:500影像數(shù)據(jù)和高程，構(gòu)建時空影像和高程數(shù)據(jù)庫。計劃基于無人機傾斜攝影測量系統(tǒng)采集XXXX城市75平方公里的0.1米分辨率的傾斜影像數(shù)據(jù)。并將已有的多年份多分辨率影像數(shù)據(jù)集導入時空信息大數(shù)據(jù)中心，建立75平方公里的1:500比例尺DOM、DEM。影像數(shù)據(jù)入庫更新主要利用GIS桌面軟件，經(jīng)過數(shù)據(jù)校正、投影轉(zhuǎn)換、數(shù)據(jù)拼接、數(shù)據(jù)融合、數(shù)據(jù)調(diào)色等處理及質(zhì)量檢查合格后，方可入庫，主要流程如下圖所示：圖時空影像數(shù)據(jù)建庫流程（1）原始影像數(shù)據(jù)采集：基于傾斜攝影系統(tǒng)，采集XXXX城市75平方公里的傾斜影像數(shù)據(jù)，影像分辨率為0.1米。（2）數(shù)據(jù)校正：根據(jù)控制點信息，對原始影像進行輻射校正和幾何校正，并賦予數(shù)據(jù)真實的空間坐標。（3）投影轉(zhuǎn)換：根據(jù)本項目要求的空間參考，對影像進行投影轉(zhuǎn)換。（4）數(shù)據(jù)拼接：對相鄰影像進行無縫拼接處理，保持地物連續(xù)一致性的基礎(chǔ)上，去除重疊區(qū)多余影像，形成整景影像。（5）數(shù)據(jù)融合：通過SFIM變換、PCA變換、Brovey變換、PanSharping等融合方法融合多源遙感影像，以達到全色和多光譜數(shù)據(jù)優(yōu)勢互補，增強空間細節(jié)，減少顏色失真，形成對地面目標較完整的信息描述。（6）數(shù)據(jù)調(diào)色：對影像的色調(diào)進行調(diào)整，統(tǒng)一各景融合后的原始影像色調(diào)，還原地物真實色彩或根據(jù)不同應用對象的需求，達到預期的地物色彩。（7）質(zhì)量檢查：首先對獲取的影像進行質(zhì)量檢查，如有無數(shù)據(jù)缺塊、有無云遮蓋等；在數(shù)據(jù)校正后，對校正后的影像進行精度評價（RMS誤差小于1個像元），在滿足要求的情況下才能進行下一步工作，否則需重新校正；影像拼接后，對接邊的數(shù)據(jù)進行檢查，以確保數(shù)據(jù)質(zhì)量。（8）數(shù)據(jù)入庫：在經(jīng)過上述處理后，對質(zhì)量合格的影像進行入庫。由于影像數(shù)據(jù)量較大，在入庫時考慮影像的壓縮存儲；同時，為提高訪問速度，可建立影像金字塔。（9）時空化處理：影像數(shù)據(jù)庫采用快照模式進行時空化處理，分庫標示時間屬性，具體在“數(shù)據(jù)庫構(gòu)建”章節(jié)描述。（10）DEM、DOM制作：基于時空化處理后的影像數(shù)據(jù)，制作滿足需求的數(shù)字高程模型、數(shù)字正射影像，步驟同矢量電子地圖制作。三維數(shù)據(jù)通過高精度IMU/GPS輔助航空攝影的技術(shù)，生產(chǎn)XXXX城市核心區(qū)域75平方公里范圍內(nèi)重點地域的精細三維模型、建設(shè)區(qū)104平方公里范圍內(nèi)道路精細化模型以及建成的職園區(qū)三維場景、三級區(qū)200平方公里的道路精細化模型，為構(gòu)建智慧XXXX城市提供基礎(chǔ)地理信息框架數(shù)據(jù)。三維維數(shù)據(jù)建庫流程如下：圖精細化三維模型建庫流程（1）模型制作：制作XXXX城市三維模型數(shù)據(jù)，格式為通用的3DMAX格式；（2）模型處理：將模型進行整合、處理分析，形成整合后的三維數(shù)據(jù)；（3）時空化處理：針對整合后的三維數(shù)據(jù)，根據(jù)其對應的二維建筑物數(shù)據(jù)，進行關(guān)聯(lián)編碼，并逐對象賦予時間屬性，如模型更新時間、模型所屬建筑建設(shè)年代等，構(gòu)建三維數(shù)據(jù)庫。地名地址數(shù)據(jù)XXXX城市地名地址數(shù)據(jù)的建設(shè)是加快地名地址工作信息化建設(shè)的重要內(nèi)容，地名地址數(shù)據(jù)的建設(shè)目標是以XXXX城市政府部門的需求為導向，以現(xiàn)有數(shù)據(jù)成果資料為數(shù)據(jù)基礎(chǔ)，并以移動測量等先進技術(shù)與傳統(tǒng)測繪作為手段，建立XXXX城市完整、統(tǒng)一的地名地址數(shù)據(jù)庫，將地名地址資料標準化、科學化、可視化，為XXXX城市區(qū)各級政府和企業(yè)、公眾用戶提供完善、準確的、高效的地名地址數(shù)據(jù)服務，提高地名地址數(shù)據(jù)的利用效率和地名地址信息化服務水平。地名地址及建（構(gòu)）筑物數(shù)據(jù)更新建庫包括有數(shù)據(jù)處理、分析與提取、數(shù)據(jù)質(zhì)檢入庫等操作。具體流程如下：圖時空地名地址數(shù)據(jù)建庫流程（1）地名地址數(shù)據(jù)采集：以移動測量等先進技術(shù)與傳統(tǒng)測繪作為手段，采集XXXX城市75平方公里的地名地址數(shù)據(jù)，建立XXXX城市完整、統(tǒng)一的地名地址數(shù)據(jù)庫。（2）數(shù)據(jù)處理：依托GIS桌面軟件，按照統(tǒng)一的數(shù)據(jù)基礎(chǔ)（坐標系等）、數(shù)據(jù)分類分層、命名、屬性設(shè)置標準等，進行數(shù)據(jù)處理。（3）分析與提?。涸诙喾絽R聚的地名地址數(shù)據(jù)、地形圖數(shù)據(jù)的地名和居民點數(shù)據(jù)、行政區(qū)劃數(shù)據(jù)以及及建（構(gòu)）筑物數(shù)據(jù)等現(xiàn)有地名地址及相關(guān)資源的基礎(chǔ)上，對各類數(shù)據(jù)進行內(nèi)業(yè)預處理分析，提取出相互匹配的地名地址數(shù)據(jù)；對不一致的數(shù)據(jù)必要時可以通過外業(yè)進行確認。（4）數(shù)據(jù)質(zhì)檢：包括過程質(zhì)量檢查和成果檢查，在數(shù)據(jù)采集的過程中，進行數(shù)據(jù)質(zhì)量控制和檢查，根據(jù)相關(guān)規(guī)定數(shù)據(jù)采集的內(nèi)在約束性；成果檢查主要依據(jù)建庫標準對數(shù)據(jù)進行入庫前的檢查，檢查合格方可入庫；（5）時空化處理與入庫：地名地址及建（構(gòu)）筑物的時空化處理應逐條標示地址的采集時間、地址啟用時間、停用時間等，最終構(gòu)建時空地名地址及建（構(gòu)）筑物數(shù)據(jù)庫。興趣點數(shù)據(jù)現(xiàn)狀的公共專題數(shù)據(jù)，通常源于部門間信息共享。目前XXXX城市有多個行業(yè)的公共專題數(shù)據(jù)，通過信息共享交換平臺獲取,包括人口、法人、宏觀經(jīng)濟、興趣點、國土、地質(zhì)環(huán)境、林業(yè)、公安、交通、環(huán)保、衛(wèi)生、旅游、體育、教育、農(nóng)業(yè)、民政、城管、文廣新、建委、銀行、口岸通、產(chǎn)業(yè)園區(qū)、技術(shù)服務、科技合作等與應用相關(guān)的公共專題數(shù)據(jù)等。本期需要建設(shè)的專題數(shù)據(jù)包含興趣點的采集和更新。XXXX城市興趣點數(shù)據(jù)建設(shè)目標是以現(xiàn)有的數(shù)據(jù)資源為基礎(chǔ)，以XXXX城市政府部門的具體需求和公眾對地理信息的需求為導向，采集或者更新興趣點數(shù)據(jù)，并建立成熟的興趣點數(shù)據(jù)增量更新機制，滿足政府和公眾對當前地理信息服務的需求，大大提升地理信息服務水平。建立XXXX城市已開發(fā)或者在開發(fā)區(qū)域范圍內(nèi)（約75平方公里）與政務及公眾服務相關(guān)的POI數(shù)據(jù)庫，包含但不限于賓館酒店、餐飲酒樓、公寓大廈、電信郵政、工商企業(yè)、購物指南、交通服務、金融保險、科研教育、文體休閑、醫(yī)療衛(wèi)生、政府機構(gòu)等內(nèi)容。興趣點數(shù)據(jù)建庫流程如下：（1）原始數(shù)據(jù)獲?。涸紨?shù)據(jù)包括：以全景數(shù)據(jù)、導航矢量數(shù)據(jù)及其它現(xiàn)有數(shù)據(jù)源。（2）興趣點數(shù)據(jù)外業(yè)采集從全景數(shù)據(jù)、導航矢量數(shù)據(jù)中的POI以及其他數(shù)據(jù)源提取符合要求的興趣點數(shù)據(jù)。對于從全景數(shù)據(jù)、導航矢量數(shù)據(jù)及其它現(xiàn)有數(shù)據(jù)源無法獲取的興趣點數(shù)據(jù)，要采用傳統(tǒng)測繪手段進行補充。（3）興趣點數(shù)據(jù)內(nèi)業(yè)整理POI名稱屬性錄入處理POI門牌地址屬性錄入處理POI空間位置信息錄入處理（4）質(zhì)量檢查檢查數(shù)據(jù)的準確性和空間位置一致性，并對內(nèi)業(yè)整理后的數(shù)據(jù)成果進行數(shù)據(jù)準確性、數(shù)據(jù)完整性、數(shù)據(jù)邏輯一致性等方面的質(zhì)量檢查。（5）興趣點數(shù)據(jù)入庫將質(zhì)量檢查合格后的興趣點數(shù)據(jù)作為成果數(shù)據(jù)進行提交，并將數(shù)據(jù)成果以新版本存儲到興趣點數(shù)據(jù)庫中。以后在對興趣點數(shù)據(jù)庫中的數(shù)據(jù)進行更新時，要同時保留歷史版本的興趣點數(shù)據(jù)。圖興趣點數(shù)據(jù)建庫流程360°高清全景影像數(shù)據(jù)360°高清全景影像數(shù)據(jù)的建設(shè)目標是以XXXX城市政府部門的需求為導向，采集XXXX城市300公里的360°高清全景影像數(shù)據(jù)，并提供配套的處理軟件，為XXXX城市政府部門提供完善的360°高清全景影像數(shù)據(jù)服務，并為其打造一個實景可視化的工作環(huán)境，大大提高各級政府部門的工作效率。圖360°高清全景影像數(shù)據(jù)采集建庫流程（1）360°高清全景影像數(shù)據(jù)采集：使用陸基移動道路測量系統(tǒng)在XXXX城市采集GPS/IMU、全景影像、激光點云數(shù)據(jù)、時間同步數(shù)據(jù)等原始數(shù)據(jù)；（2）集成定位定姿處理：使用陸基移動道路測量系統(tǒng)配備的組合定位定姿處理軟件，對系統(tǒng)軌跡和姿態(tài)數(shù)據(jù)組合處理，輸出帶時間標簽的高精度高頻率位置姿態(tài)信息；（3）地理參考處理：使用陸基移動道路測量系統(tǒng)標配的直接地理參考處理軟件，將全景影像、激光點云數(shù)據(jù)等數(shù)據(jù)通過時間同步數(shù)據(jù)與定位定姿結(jié)果進行關(guān)聯(lián)，獲取地理參考；（4）影像編輯：首先通過實景影像數(shù)據(jù)處理軟件對360°高清全景影像數(shù)據(jù)進行勻光、調(diào)色、保密、模糊化等專業(yè)處理，再通過將同側(cè)多幀連續(xù)影像進行無縫拼接處理，拼接方法可以采用計算機自動處理和人工交互的方式半自動進行；（5）質(zhì)量檢查：質(zhì)檢檢查貫穿于數(shù)據(jù)生產(chǎn)的各個過程，包括數(shù)據(jù)采集、集成定位定姿處理、地理參考處理、影像編輯，每一過程都要遵循相應標準，合格后方可進入下一流程；（6）時空化處理及數(shù)據(jù)入庫：360°高清全景影像數(shù)據(jù)按影像數(shù)據(jù)的方式，采取分庫標示時間屬性進行時空化處理?；ヂ?lián)網(wǎng)電子地圖數(shù)據(jù)制作XXXX城市75平方公里的互聯(lián)網(wǎng)電子地圖數(shù)據(jù)。該數(shù)據(jù)包括車載路網(wǎng)交通規(guī)則數(shù)據(jù)、POI數(shù)據(jù)、導引數(shù)據(jù)、背景數(shù)據(jù)。它是既可以通過瀏覽器、客戶端進行查詢?yōu)g覽等使用，也可以裝載在車載導航儀、PND、手機等嵌入式設(shè)備上，以及在互聯(lián)網(wǎng)上使用的數(shù)據(jù)產(chǎn)品。該產(chǎn)品為各種移動端設(shè)備的地圖顯示、車輛定位、興趣點查詢、路線搜索、智能駕駛等功能提供基礎(chǔ)數(shù)據(jù)支持，也可以在互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)上為大眾用戶提供基于地理位置的定位、行車路線查詢、生活信息搜索、交友娛樂、廣告服務、快遞服務等增值服務的數(shù)據(jù)支持。一般城區(qū)內(nèi)部參考比例尺為1:2000，城區(qū)外部參考比例尺為1:1萬。城區(qū)內(nèi)部道路優(yōu)于5米，城區(qū)之間的等級公路的精度優(yōu)于15米。圖互聯(lián)網(wǎng)電子地圖數(shù)據(jù)建庫流程歷史地理信息數(shù)據(jù)根據(jù)XXXX城市的發(fā)展，建立連續(xù)的時間序列，描述地名、行政建制和其他基礎(chǔ)地理要素隨時間變化的地理信息數(shù)據(jù)，一些圖層的數(shù)據(jù)是隨著業(yè)務辦理過程或外業(yè)測繪而動態(tài)更新的，例如，圖斑變更和房產(chǎn)權(quán)屬情況。記錄歷史地理信息最終目標是建立一套靈活的工具和數(shù)據(jù)，以便檢索和查詢XXXX城市基礎(chǔ)歷史地理信息。每一個隨時間變化的獨立地理要素記錄擁有一個唯一的ID號，它可以用作相關(guān)數(shù)據(jù)庫中的關(guān)聯(lián)編碼，也可以此連接相應的地理要素釋文，按不同歷史時期和不同數(shù)據(jù)集的方式，查尋、檢索和顯示用戶數(shù)據(jù)。以現(xiàn)有矢量數(shù)據(jù)和影像數(shù)據(jù)的數(shù)學基礎(chǔ)為依據(jù)，將歷史的矢量、影像數(shù)據(jù)添加“三域”標識，并進行規(guī)范化處理，對矢量數(shù)據(jù)統(tǒng)一空間基準、統(tǒng)一時間基準、統(tǒng)一數(shù)據(jù)分層、統(tǒng)一地理編碼、統(tǒng)一數(shù)據(jù)結(jié)構(gòu)，對影像數(shù)據(jù)統(tǒng)一空間基準、統(tǒng)一時間基準、統(tǒng)一勻色，分別采用面向?qū)ο蟮臅r空數(shù)據(jù)模型和連續(xù)快照模型進行數(shù)據(jù)重組。本項目歷史地理信息數(shù)據(jù)整理建庫不改變原有專題數(shù)據(jù)結(jié)構(gòu)，只對成果進行轉(zhuǎn)換處理和時空化組織，具體流程如下：圖歷史地理信息數(shù)據(jù)庫整理建庫流程（1）數(shù)據(jù)獲?。韩@取已有的歷史地理信息數(shù)據(jù)成果，格式為GIS通用格式或其他相關(guān)的文檔資料等；（2）數(shù)據(jù)處理：對獲取的數(shù)據(jù)進行分類整理、坐標轉(zhuǎn)換、一致性檢查等操作，建立歷史地理信息數(shù)據(jù)庫；（3）時空化處理：分圖層標示數(shù)據(jù)的更新時間，構(gòu)建歷史地理信息數(shù)據(jù)庫。遠景規(guī)劃地理信息數(shù)據(jù)遠景地理信息是指在城市擴展到穩(wěn)定階段時對城市總體發(fā)展做出的與空間位置相關(guān)的設(shè)計與安排，如：土地使用政策、交通管理政策。將這些地理信息數(shù)據(jù)整理集中在一起，可以更方便的對遠景規(guī)劃數(shù)據(jù)進行方便的管理，并且將規(guī)劃信息和現(xiàn)實數(shù)據(jù)進行對比，更好的發(fā)現(xiàn)遠景數(shù)據(jù)的有效性。將城市發(fā)展規(guī)劃數(shù)據(jù)，如國民經(jīng)濟和社會發(fā)展規(guī)劃、城鄉(xiāng)總體規(guī)劃、土地利用規(guī)劃、生態(tài)環(huán)境規(guī)劃、產(chǎn)業(yè)布局規(guī)劃等規(guī)劃內(nèi)容信息，添加時間、空間和屬性三域標識。本項目遠景規(guī)劃地理信息數(shù)據(jù)整理建庫不改變原有數(shù)據(jù)結(jié)構(gòu)，只對成果進行轉(zhuǎn)換處理和時空化組織，具體流程如下：圖遠景規(guī)劃地理信息數(shù)據(jù)庫整理建庫流程（1）數(shù)據(jù)獲?。韩@取遠景規(guī)劃地理信息數(shù)據(jù)數(shù)據(jù)成果，格式為GIS通用格式或其他相關(guān)的文檔資料等；（2）數(shù)據(jù)處理：對獲取的數(shù)據(jù)進行分類整理、坐標轉(zhuǎn)換、一致性檢查等操作，建立遠景規(guī)劃地理信息數(shù)據(jù)庫；（3）時空化處理：分圖層標示數(shù)據(jù)的更新時間，構(gòu)建遠景規(guī)劃地理信息數(shù)據(jù)庫。實時位置數(shù)據(jù)在現(xiàn)在社會中，位置信息已經(jīng)是一項很容易獲取的數(shù)據(jù)，除了一般的車輛攜帶的GPS，還有各種智能感知設(shè)備比如手機、智能手表等一系列感知設(shè)備都可以實現(xiàn)基本的定位功能。采用北斗、GPS、無線通信基站定位等多種空間位置確定技術(shù)，獲取城市基礎(chǔ)設(shè)施如井蓋、垃圾桶和移動目標如流轉(zhuǎn)中的農(nóng)產(chǎn)品、運營車輛、老人孩子等實時位置信息。圖實時位置信息建庫流程物聯(lián)網(wǎng)智能感知設(shè)備位置數(shù)據(jù)根據(jù)XXXX城市特點和需求，對涉及到的感知設(shè)備如地址、地址標簽、停車場無線射頻、監(jiān)控像頭等進行分類，劃分為相對穩(wěn)定和運動兩種類型，確定所屬專題的類型。通過專業(yè)測量手段，采集室外這些設(shè)備的空間位置，調(diào)查有關(guān)屬性內(nèi)容；依托人工確定或室內(nèi)定位方法，獲取室內(nèi)感知設(shè)備的相對空間位置及其屬性。按照統(tǒng)一制定的感知設(shè)備分類、命名及編碼要求，對獲取的各種地址信息，進行規(guī)范與編碼。圖感知設(shè)備地址數(shù)據(jù)庫整理建庫流程實時感知的流式數(shù)據(jù)及其摘要數(shù)據(jù)交通、大氣、環(huán)境、安全、水質(zhì)等感知設(shè)備獲取的流式數(shù)據(jù)和解譯結(jié)果，及其多層次摘要，構(gòu)成了非結(jié)構(gòu)化的動態(tài)實時信息。時空大數(shù)據(jù)庫時空信息云數(shù)據(jù)庫實現(xiàn)了對各種時空信息數(shù)據(jù)的存儲和管理。在時空大數(shù)據(jù)與云平臺中，時空信息云數(shù)據(jù)庫除了管理傳統(tǒng)的空間數(shù)據(jù)類型外，還需要管理新型的時空信息數(shù)據(jù)。對于各種時空信息數(shù)據(jù)，由于數(shù)據(jù)類型復雜數(shù)據(jù)量巨大，時空信息云數(shù)據(jù)庫必須實現(xiàn)：數(shù)據(jù)分布式存儲、分布式空間索引、彈性擴展等能力，同時，數(shù)據(jù)庫必須具備很強的健壯性和容錯能力。因此，時空信息云數(shù)據(jù)庫需要實現(xiàn)下列技術(shù)功能模塊：路由集群在數(shù)據(jù)庫系統(tǒng)早期數(shù)據(jù)量還小的時候，數(shù)據(jù)體量不會引起太大的問題，但是隨著數(shù)據(jù)量持續(xù)增多，就會出現(xiàn)機器硬件瓶頸問題的。而時空信息云數(shù)據(jù)庫采用分布式集群（分片）機制來解決這個問題。如下圖所示：圖STYLEREF1\s4–SEQ圖\*ARABIC\s11分布式集群機制從圖中可以看到數(shù)據(jù)庫集群有四個組件：數(shù)據(jù)庫路由（mongos）、配置服務（configserver）、分片（shard）、副本集（replicaset）。數(shù)據(jù)庫路由：數(shù)據(jù)庫集群請求的入口，所有的請求都通過數(shù)據(jù)庫路由進行協(xié)調(diào)，不需要在應用程序添加一個路由選擇器，數(shù)據(jù)庫路由自己就是一個請求分發(fā)中心，它負責把對應的數(shù)據(jù)請求請求轉(zhuǎn)發(fā)到對應的分片服務器上。在生產(chǎn)環(huán)境通常有多數(shù)據(jù)庫路由作為請求的入口，防止其中一個掛掉所有的數(shù)據(jù)請求都沒有辦法操作。配置服務：顧名思義為配置服務器，存儲所有數(shù)據(jù)庫元信息（路由、分片）的配置。數(shù)據(jù)庫路由本身沒有物理存儲分片服務器和數(shù)據(jù)路由信息，只是緩存在內(nèi)存里，配置服務器則實際存儲這些數(shù)據(jù)。數(shù)據(jù)庫路由第一次啟動或者關(guān)掉重啟就會從配置服務加載配置信息，以后如果配置服務器信息變化會通知到所有的數(shù)據(jù)庫路由更新自己的狀態(tài)，這樣數(shù)據(jù)庫路由就能繼續(xù)準確路由。在生產(chǎn)環(huán)境通常有多個配置服務配置服務器，因為它存儲了分片路由的元數(shù)據(jù)，這個可不能丟失！就算掛掉其中一臺，只要還有存貨，數(shù)據(jù)庫集群就不會掛掉。分片：分片是指將數(shù)據(jù)拆分，將其分散在不同的機器上的過程。有時也用分區(qū)（partitioning）來表示這個概念。將數(shù)據(jù)分散到不同的機器上，不需要功能強大的大型計算機就可以存儲更多的數(shù)據(jù)，處理更大的負載。一臺機器的一個數(shù)據(jù)表Collection1存儲了1T數(shù)據(jù)，壓力太大了。在分給4個機器后，每個機器都是256G，則分攤了集中在一臺機器的壓力。在存儲數(shù)據(jù)的同時，不僅僅要是存儲空間，還有實際運行的數(shù)據(jù)庫還有硬盤的讀寫、網(wǎng)絡的IO、CPU和內(nèi)存的瓶頸。在數(shù)據(jù)庫集群只要設(shè)置好了分片規(guī)則，通過數(shù)據(jù)庫路由操作數(shù)據(jù)庫就能自動把對應的數(shù)據(jù)操作請求轉(zhuǎn)發(fā)到對應的分片機器上。在生產(chǎn)環(huán)境中分片的片鍵的設(shè)置，關(guān)系到了能否把數(shù)據(jù)均勻分到多個分片機器上。副本集：副本集就是有自動故障恢復功能的主從集群。主從集群和副本集最為明顯的區(qū)別是副本及沒有固定的“主節(jié)點”：整個集群會選舉出一個“主節(jié)點”，當其不能工作時則變更到其他節(jié)點。然而，二者看上去非常相似：副本集總會有一個活躍節(jié)點（primary）和一個或多個備份節(jié)點（secondary）。副本集是自動化的。首先，它需要做很多管理工作，自動提升備份節(jié)點成活躍節(jié)點，以確保運轉(zhuǎn)正常。其次，它對于開發(fā)者而言，也很易用：僅需要為副本集指定一下服務器，驅(qū)動程序就會自動找到服務器，在當前活躍節(jié)點死機時自動處理故障恢復這類事情。在高可用性的分片架構(gòu)還需要對于每一個分片構(gòu)建副本集保證分片的可靠性。生產(chǎn)環(huán)境通常是2個副本+1個仲裁，一定數(shù)量的分片存儲數(shù)據(jù)、數(shù)據(jù)庫路由、配置服務、clients、arbiter（仲裁節(jié)點）。分片配置分片是時空云數(shù)據(jù)庫提供的一種機制，其可以將大型的集合分割保存到不同的服務器上。只要我們進行簡單的配置，并告訴時空信息云數(shù)據(jù)庫要分配的數(shù)據(jù)，它就可以自動維護數(shù)據(jù)在不同服務器之間的平衡。同時根據(jù)需要增減服務器，云數(shù)據(jù)庫也會自動移動平移已有數(shù)據(jù)。分片機制提供了如下三種優(yōu)勢：1.

對集群進行抽象，讓集群“不可見”。云數(shù)據(jù)庫自帶了一個專有路由進程。數(shù)據(jù)路由就是掌握統(tǒng)一路口的路由器，其會將客戶端發(fā)來的請求準確無誤的路由到集群中的一個或者一組服務器上，同時會把接收到的響應拼裝起來發(fā)回到客戶端。2.保證集群總是可讀寫。云數(shù)據(jù)庫通過多種途徑來確保集群的可用性和可靠性。將云數(shù)據(jù)庫的分片和復制功能結(jié)合使用，在確保數(shù)據(jù)分片到多臺服務器的同時，也確保了每分數(shù)據(jù)都有相應的備份，這樣就可以確保有服務器換掉時，其他的副本可以立即接替壞掉的部分繼續(xù)工作。3.使集群易于擴展。當系統(tǒng)需要更多的空間和資源的時候，云數(shù)據(jù)庫使我們可以按需方便的擴充系統(tǒng)容量。仲裁機制總裁機制是確保時空云數(shù)據(jù)庫可用性的一種關(guān)鍵技術(shù)手段，當數(shù)據(jù)庫分片集群中有某個節(jié)點故障時，仲裁機制就會發(fā)生作用，仲裁者（Arbiter）會從副本集中選擇一個健康節(jié)點作為分片集群的主節(jié)點繼續(xù)提供數(shù)據(jù)服務，從而確保數(shù)據(jù)庫的健康運行。仲裁者是副本集中的一個數(shù)據(jù)庫實例，它并不保存數(shù)據(jù)。仲裁節(jié)點使用最小的資源并且不要求硬件設(shè)備。為了確保副本集中有奇數(shù)的投票成員（包括primary），需要添加仲裁節(jié)點做為投票，否則primary不能運行時不會自動切換primary。一個副本集中可設(shè)置多個個成員，但只有7個投票成員（包括primary），其余為非投票成員。非投票成員是副本集中數(shù)據(jù)的備份副本，不參與投票，但可以被投票或成為主節(jié)點。仲裁結(jié)構(gòu)如下：分布式空間索引時空信息數(shù)據(jù)具有結(jié)構(gòu)復雜性、多維性、動態(tài)性、海量增長性等特點，而在分布式云數(shù)據(jù)庫下，空間索引結(jié)構(gòu)也有與之相適應的各種特點，具體如下：（1）動態(tài)性由于對象的相關(guān)信息可以以任意順序插入到空間數(shù)據(jù)庫中，也可以被任意刪除，因此索引技術(shù)也應該可以插入、刪除操作而動態(tài)變化。（2）支持更多、更廣泛的操作索引技術(shù)要在整體立場上進行使用，不能為進行某一操作而停止其他操作。（3）分布式存儲模式，盡管存儲器的容量在隨著科學的發(fā)展而不斷的增大，但是依然不可能將數(shù)據(jù)庫中的所有數(shù)據(jù)放入主存儲器中，尤其是對具有海量性時空數(shù)據(jù)更要構(gòu)建分布式存儲管理。而索引結(jié)構(gòu)也要與存儲模式管理保持一致。（4）獨立于輸入數(shù)據(jù)維度及插入順序索引結(jié)構(gòu)應該維持其高效性，無論插入數(shù)據(jù)的維度是多少還是插入順序發(fā)生如何的改變。這一點對于分布著不同維度數(shù)據(jù)的空間數(shù)據(jù)庫系統(tǒng)尤為重要。（5）簡單性復雜的索引結(jié)構(gòu)對于特殊示例的實現(xiàn)往往缺乏強健性，尤其是在大規(guī)模的應用中。（6）擴展性隨著數(shù)據(jù)庫大小的變化，索引的結(jié)構(gòu)自身能進行大小的調(diào)節(jié)。（7）時空有效性索引結(jié)構(gòu)是決定查詢速度的關(guān)鍵技術(shù)，因此所創(chuàng)建的索引一定要保證高效的時間利用率。同時索引結(jié)構(gòu)所占的存儲空間要比原數(shù)據(jù)小，從而保證空間利用率。（8）并行性和可恢復性當同時對同一數(shù)據(jù)庫進行插入、修改、刪除、查詢操作時，索引結(jié)構(gòu)要保證這些操作同時進行，不分主次。（9）最小復雜性當為一個數(shù)據(jù)庫集成索引結(jié)構(gòu)時，應使當前系統(tǒng)增加最小的復雜度。時空信息云數(shù)據(jù)庫的分布式空間索引機制如下圖所示：彈性部署時空信息云數(shù)據(jù)庫必須支持彈性部署能力，管理者可以根據(jù)數(shù)據(jù)和訪問壓力情況，實時添加或刪除分片節(jié)點，而不影響數(shù)據(jù)庫提供服務的能力。（1）云數(shù)據(jù)庫運行時添加分片復制集基于云數(shù)據(jù)庫分片和副本集機制組成的數(shù)據(jù)庫集群，可在集群運行時動態(tài)添加分片復制集。1、啟動復制集節(jié)點2、配置復制集3、添加到集群4、查看集群分片信息至此，復制集就作為一個分片加入到集群中去了。（2）云數(shù)據(jù)庫運行時移除分片復制集縮減集群(刪除分片)這種一般很少用到。由于集群中部分服務器出現(xiàn)故障，所以我們送修之前必須把它上面的數(shù)據(jù)自動遷移到其他分片上。

1、執(zhí)行RemoveShard命令（此時后臺自動進行數(shù)據(jù)遷移）2、查看遷移狀態(tài)定期查看數(shù)據(jù)前幾情況，當remain為0之后，這一步就結(jié)束了。3、移出非分片數(shù)據(jù)4、最后的清理坐標系統(tǒng)支持時空信息云數(shù)據(jù)庫支持各種常用的空間參考和投影的數(shù)據(jù)。可支持的空間參考包括：CGCS2000、WGS84、西安80、北京54?？芍С值耐队鞍ǎ旱乩碜鴺讼?、高斯投影、莫卡托投影等。具體到XXXX城市時空大數(shù)據(jù)與云平臺項目中中，所有數(shù)據(jù)要求統(tǒng)一到CGCS2000坐標系統(tǒng)下；高程基準為1985國家高程基準；對于分幅數(shù)據(jù)采用高斯-克呂格投影，3度分帶，單位為米，保留3位小數(shù)；其他數(shù)據(jù)采用地理坐標系，單位為度，保留8位小數(shù)。時空信息大數(shù)據(jù)管理系統(tǒng)按照《智慧城市時空信息云平臺建設(shè)技術(shù)大綱》的建設(shè)要求，結(jié)合時空信息云平臺建設(shè)地的數(shù)據(jù)資源情況與應用需求，開展時空信息大數(shù)據(jù)管理系統(tǒng)的建設(shè)，為實現(xiàn)多源、多類型、多時態(tài)數(shù)據(jù)資源的統(tǒng)一管理與應用提供支撐。時空大數(shù)據(jù)管理系統(tǒng)應采用統(tǒng)一的圖形界面用戶接口，將各類功能的集中呈現(xiàn)給用戶調(diào)用。時空大數(shù)據(jù)管理系統(tǒng)基于GIS基礎(chǔ)功能組件和一體化云平臺的支撐技術(shù)實現(xiàn)。圖STYLEREF1\s3–SEQ圖\*ARABIC\s11時空大數(shù)據(jù)管理系統(tǒng)圖形截面圖時空大數(shù)據(jù)數(shù)據(jù)源管理時空大數(shù)據(jù)數(shù)據(jù)源管理支持對各類數(shù)據(jù)源的連接及配置管理，實現(xiàn)對數(shù)據(jù)源的編目管理，能夠展示各類數(shù)據(jù)模式、規(guī)則、關(guān)聯(lián)、索引、約束等。（1）查看數(shù)據(jù)源按照一定的標準和規(guī)則，對某范圍內(nèi)數(shù)據(jù)資源每種實體（Item）的外部特征和內(nèi)容特征進行分析、選擇、描述，并予以記錄成為款目，繼而將款目按一定順序組織成為目錄（Catalogue）或書目（Bibliography）進行展示，同時能夠通過關(guān)聯(lián)關(guān)系查看相關(guān)聯(lián)的數(shù)據(jù)。（2）新建數(shù)據(jù)源新建數(shù)據(jù)源時需要填寫數(shù)據(jù)源名稱、數(shù)據(jù)庫類型、客戶端字符集、數(shù)據(jù)庫字符集、驅(qū)動程序、數(shù)據(jù)源url、數(shù)據(jù)庫用戶名、訪問數(shù)據(jù)庫密碼等屬性。新建數(shù)據(jù)源我們提供JDBC和ODBC兩種數(shù)據(jù)源連接方式。新建數(shù)據(jù)源可選擇使用實例建立數(shù)據(jù)源和不使用實例建立數(shù)據(jù)源。使用實例建立數(shù)據(jù)源系統(tǒng)會自動設(shè)置好數(shù)據(jù)庫類型、驅(qū)動和url的格式。（3）修改數(shù)據(jù)源修改數(shù)據(jù)源時，數(shù)據(jù)源名稱和數(shù)據(jù)庫類型不允許修改。其中需要注意的是如果原來已經(jīng)使用數(shù)據(jù)源中的數(shù)據(jù)表建立了數(shù)據(jù)集，進行數(shù)據(jù)源修改后變更了所連接的數(shù)據(jù)庫，并且里面并沒有對應的數(shù)據(jù)表，則原來已建好的相關(guān)數(shù)據(jù)集均不可再使用。（4）刪除數(shù)據(jù)源為了防止錯誤刪除數(shù)據(jù)源操作的安全性，刪除時系統(tǒng)彈出提示信息，確定是否刪除數(shù)據(jù)源，點擊確定后方能刪除該數(shù)據(jù)源。值得注意的是對于已使用的數(shù)據(jù)源，將其刪除后，數(shù)據(jù)源對應的數(shù)據(jù)集和數(shù)據(jù)表也將一同被刪除，原來使用該數(shù)據(jù)源建立的數(shù)據(jù)，將找不到數(shù)據(jù)源且不能查看和使用，因此需慎用刪除數(shù)據(jù)源功能。符號數(shù)據(jù)管理云端服務引擎以O(shè)GC標準服務、發(fā)布影象、矢量要素等地理信息。其提供的服務包括WMS網(wǎng)絡地圖服務和WFS網(wǎng)絡地理要素服務。自定義的符號數(shù)據(jù)信息以開源的Mapfile文件為標準，用于控制對數(shù)據(jù)的柵格或矢量輸出。其中包含了數(shù)據(jù)源和渲染樣式（顏色、符號、標準等）信息。通過配置符號數(shù)據(jù)，就可以通過服務引擎發(fā)布WMS、WFS、WCS和SOS等服務。符號數(shù)據(jù)支持以文件方式存儲，多個符號數(shù)據(jù)存儲到SQLite數(shù)據(jù)庫，保存為后綴為.db格式的數(shù)據(jù)，我們稱為一個符號庫。一個符號庫中，包含多個符號信息。利用符號編輯工具，可以支持新增符號、刪除符號、修改符號線寬顏色等信息、查詢符號等操作。元數(shù)據(jù)管理元數(shù)據(jù)管理支持如下操作：（1）元數(shù)據(jù)維護元數(shù)據(jù)基本信息、屬性、被依賴關(guān)系、依賴關(guān)系、組合關(guān)系的查詢修改和刪除操作。元數(shù)據(jù)與其對應的數(shù)據(jù)建立關(guān)聯(lián)，并能與其對應的數(shù)據(jù)進行同步更新。（2）元數(shù)據(jù)查詢根據(jù)搜索條件，查詢符合數(shù)據(jù)訪問權(quán)限的元數(shù)據(jù)。（3）元數(shù)據(jù)導出對需要導出的元數(shù)據(jù)全部導出為Excel文件。（4）元數(shù)據(jù)版本管理系統(tǒng)提供元數(shù)據(jù)的生命周期管理，發(fā)布、刪除和狀態(tài)變更都有嚴格的流程，并提供了版本管理功能，這些都確保元數(shù)據(jù)的質(zhì)量，保證了后續(xù)使用元數(shù)據(jù)的權(quán)威性和可靠性。（5）元數(shù)據(jù)變更支持實時追加元數(shù)據(jù)，以及元數(shù)據(jù)的實時更新。歷史數(shù)據(jù)管理具備時態(tài)管理能力，具有歷史數(shù)據(jù)備份和恢復功能。數(shù)據(jù)備份是容災的基礎(chǔ)，是指為防止系統(tǒng)出現(xiàn)操作失誤或系統(tǒng)故障導致數(shù)據(jù)丟失，而將全部或部分數(shù)據(jù)集合從應用主機的硬盤或陣列復制到其它的存儲介質(zhì)的過程。傳統(tǒng)的數(shù)據(jù)備份主要是采用內(nèi)置或外置的磁帶機進行冷備份。但是這種方式只能防止操作失誤等人為故障，而且其恢復時間也很長。云平臺提供歷史數(shù)據(jù)管理方案，是基于云存儲技術(shù)建立的大數(shù)據(jù)管理安全保障方案，實現(xiàn)了對海量數(shù)據(jù)及時完整備份。在系統(tǒng)運行狀態(tài)下即可實現(xiàn)歷史數(shù)據(jù)恢復功能，無須停止服務。安全管理安全管理主要有用戶管理、權(quán)限管理、日志管理、事務管理、備份與恢復。（1）用戶管理用戶管理主要是針對平臺的使用者進行管理。包括：用戶信息（帳號、密碼、姓名等個人基本信息）、角色設(shè)定、用戶權(quán)限分配等。用戶管理的功能有：新增用戶、編輯用戶、刪除用戶、修改密碼、設(shè)置角色、單獨授權(quán)、用戶有效性、用戶排序等。（2）權(quán)限管理權(quán)限管理即對用戶的權(quán)限限制，包括新增角色、修改角色、刪除角色、給用戶分配角色、給角色設(shè)置權(quán)限、修改角色權(quán)限等功能。（3）日志管理日志管理包括日志自動備份的設(shè)置、備份數(shù)據(jù)的導入和刪除以及查看系統(tǒng)日志等功能。查看系統(tǒng)日志用來查看系統(tǒng)日志和操作員日志。（4）備份與恢復備份包括數(shù)據(jù)的備份和系統(tǒng)軟件的備份。備份采用全備份或增量備份方式，定期檢查備份的可用性。輸入輸出（1）平臺支持對靜態(tài)地理信息數(shù)據(jù)以通用格式導入、檢查、添加和確認。（2）平臺支持三維模型的幾何數(shù)據(jù)和屬性數(shù)據(jù)以通用格式導出。（3）平臺支持按照產(chǎn)品類型、數(shù)據(jù)時相或用戶需求所進行的產(chǎn)品制作、內(nèi)容提取、導出和分發(fā)。（4）平臺支持對靜態(tài)地理信息數(shù)據(jù)以通用格式導入、檢查、添加和確認。包括上傳數(shù)據(jù)、上傳符號等功能。（5）支持在線配圖、制圖，可保存配圖方案、可分享、可導出、可發(fā)布服務。動態(tài)更新（1）具有流式數(shù)據(jù)或者其多層次摘要動態(tài)追加和積累功能；（2）支持數(shù)據(jù)索引的實時修正；（3）支持數(shù)據(jù)按范圍、按時間、按類型以及整體的更新；（4）支持三維模型的替換、模型屬性的更新和局部區(qū)域模型的整體更新；（5）支持瓦片數(shù)據(jù)的整體更新、按層更新和局部更新。數(shù)據(jù)編輯及處理空間數(shù)據(jù)的編輯主要包括空間拓撲關(guān)系的建立、去除多余點、曲線的光滑、圖幅的拼接等。處理主要指圖形的整飾，如徑緯線或方里網(wǎng)的生成、圖例的標注、圖解的注釋及圖形放大、縮小、平移、旋轉(zhuǎn)、剪裁等。（1）圖幅拼接是將相鄰區(qū)域拼接成一個大區(qū)域進行統(tǒng)一的信息分析或輸出，要求同一目標的線段或弧段的數(shù)據(jù)坐標相互銜接，為此必須進行圖幅數(shù)據(jù)邊緣的匹配處理，并使同一目標屬性碼統(tǒng)一。平臺支持坐標及投影變換、高程換算、數(shù)據(jù)裁切、數(shù)據(jù)格式轉(zhuǎn)換以及影像數(shù)據(jù)的對比度、灰度（色彩）、飽和度一致性調(diào)整等。（2）平臺支持對二維矢量數(shù)據(jù)的圖形編輯功能。（3）平臺支持坐標及投影變換、高程換算、數(shù)據(jù)裁切、數(shù)據(jù)格式轉(zhuǎn)換以及影像數(shù)據(jù)的對比度、灰度（色彩）、飽和度一致性調(diào)整等。（4）平臺支持對二維矢量數(shù)據(jù)的圖形編輯功能。（5）平臺支持對三維模型數(shù)據(jù)模型替換、模型空間位置修改、紋理編輯、屬性編輯、元數(shù)據(jù)編輯等功能。統(tǒng)計查詢（1）平臺具有按時間、屬性和空間或其組合條件，查詢與檢索不同時相、不同類型和不同區(qū)域時空信息的能力，并可提取與統(tǒng)計。（2）平臺具有對三維模型數(shù)據(jù)進行查詢的功能；對三維模型數(shù)據(jù)進行目錄檢索的功能；根據(jù)檢索結(jié)果進行快速定位的功能。（3）平臺具有按時間、屬性和空間或其組合條件，查詢與檢索不同時相、不同類型和不同區(qū)域時空信息的能力，并可提取與統(tǒng)計。數(shù)據(jù)可視化空間數(shù)據(jù)的可視化是將符號或數(shù)據(jù)轉(zhuǎn)化為直觀的圖形、圖像的技術(shù)。平臺支持將多時相數(shù)據(jù)組合、疊加、符號化，并可通過動畫、動態(tài)符號和顏色模擬變化；支持指標數(shù)據(jù)和實時數(shù)據(jù)的動態(tài)渲染。（1）支持將多時相數(shù)據(jù)組合、疊加、符號化，并可通過動畫、動態(tài)符號和顏色模擬變化；（2）支持數(shù)據(jù)的三維符號化，支持三維模型多種方式的動態(tài)渲染與專題顯示。（3）支持指標數(shù)據(jù)和實時數(shù)據(jù)的動態(tài)渲染。時空數(shù)據(jù)資源整理工具根據(jù)《智慧城市時空大數(shù)據(jù)與云平臺建設(shè)技術(shù)大綱》與用戶的實際要求，開發(fā)空間處理工具對匯聚好的數(shù)據(jù)資源進行加工處理。時空數(shù)據(jù)資源整理包含坐標轉(zhuǎn)換工具、時空數(shù)據(jù)采集工具、政務數(shù)據(jù)清洗融合工具等。坐標轉(zhuǎn)換工具坐標轉(zhuǎn)換工具主要實現(xiàn)了不同格式不同類型以及不同坐標系統(tǒng)的數(shù)據(jù)之間的空間坐標轉(zhuǎn)換。不同格式指的是矢量數(shù)據(jù)（shape、DXF、MIF等）、柵格數(shù)據(jù)（img、tiff等）以及支持傳統(tǒng)數(shù)據(jù)庫的訪問。不同類型指的是大地坐標、平面坐標、空間直角坐標三種坐標類型。不同坐標系統(tǒng)指的是1954北京坐標系、1980西安坐標系、2000國家大地坐標系、WGS84以及各種地方自定義坐標系。此外，還實現(xiàn)數(shù)據(jù)的簡單視圖功能，可以方便對數(shù)據(jù)查看以及轉(zhuǎn)換結(jié)果的比較分析；轉(zhuǎn)換精度滿足國家測繪局對相應比例尺數(shù)據(jù)的轉(zhuǎn)換精度要求；轉(zhuǎn)換后的成果能保證圖形、屬性數(shù)據(jù)完整，拓撲關(guān)系正確。坐標轉(zhuǎn)換工具包含矢量數(shù)據(jù)轉(zhuǎn)換、柵格數(shù)據(jù)轉(zhuǎn)換、矢量數(shù)據(jù)投影轉(zhuǎn)換、柵格數(shù)據(jù)投影轉(zhuǎn)換等功能。時空數(shù)據(jù)采集工具時空數(shù)據(jù)采集工具基于數(shù)據(jù)分類和資源目錄定義，確定可信數(shù)據(jù)源，定義數(shù)據(jù)規(guī)范與標準，自動化采集地理空間數(shù)據(jù)、政務數(shù)據(jù)與全域互聯(lián)網(wǎng)數(shù)據(jù)（MappingGo、智能AI引擎），實現(xiàn)了地理空間數(shù)據(jù)、政務專題數(shù)據(jù)、物聯(lián)網(wǎng)節(jié)點數(shù)據(jù)和互聯(lián)網(wǎng)社交媒體數(shù)據(jù)的統(tǒng)一匯聚。工具包含數(shù)據(jù)源管理、指標項管理、集群管理、流程管理、任務管理、流程日志、流程服務等功能。.1數(shù)據(jù)源管理數(shù)據(jù)源管理主要解決政府各個部門、互聯(lián)網(wǎng)爬取站點和物聯(lián)網(wǎng)設(shè)備的數(shù)據(jù)源注冊和管理，目前系統(tǒng)支持數(shù)據(jù)源包括：MySQL數(shù)據(jù)庫、Oracle數(shù)據(jù)庫、Hbase、Hive、NoSQL數(shù)據(jù)、云數(shù)據(jù)庫、大文件系統(tǒng)、小文件系統(tǒng)等各種關(guān)系性數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫。數(shù)據(jù)源中存儲了所有建立數(shù)據(jù)庫連接的信息，就象通過指定文件名可以在文件系統(tǒng)中找到文件一樣，通過提供正確的數(shù)據(jù)源名稱，用戶可以找到相應的數(shù)據(jù)庫連接；能夠?qū)崿F(xiàn)多類型數(shù)據(jù)源的注冊、查詢和管理等功能。.2指標項注冊指標項注冊，包括采集指標項注冊，下發(fā)指標項注冊；顧名思義定義一個指標項的名稱，并設(shè)置數(shù)據(jù)的來源表和目標表；這個功能就是對所有指標項做統(tǒng)一的管理.3流程管理流程管理包括規(guī)則定制，流程定制，任務定制，流程監(jiān)聽和任務監(jiān)聽幾大板塊。流程管理是在多個參與者之間按照某種預定義的規(guī)則流程傳遞信息，或讓任務的過程自動進行，從而實現(xiàn)預期的業(yè)務目標實現(xiàn)。流程管理是業(yè)務整合的關(guān)鍵控制鏈，是業(yè)務協(xié)同處理的中心集成者和管理者。規(guī)則定制解決交換過程中庫之間格式不能正常交換等問題，在流程定制時根據(jù)需求選擇規(guī)則來定制流程；流程定制完全是拖拽方式，可定制化流程配置即可實現(xiàn)數(shù)據(jù)傳輸；添加，啟動任務調(diào)度流程運行，可設(shè)置任務執(zhí)行的生效時間，頻率；可分別對流程和任務做監(jiān)聽.4集群管理集群是一組相互獨立的、通過高速網(wǎng)絡互聯(lián)的計算機，它們構(gòu)成了一個組，并以單一系統(tǒng)的模式加以管理。一個客戶與集群相互作用時，集群像是一個獨立的服務器。集群配置是用于提高可用性和可縮放性。集群管理就是對所有的節(jié)點機的管理，包括節(jié)點機的激活，禁用，并對激活的節(jié)點機進行監(jiān)控.5監(jiān)控管理監(jiān)控管理主要是對各種不同的數(shù)據(jù)源采集過程進行監(jiān)控，能監(jiān)控到每一批數(shù)據(jù)采集的結(jié)果，能統(tǒng)計到每天數(shù)據(jù)采集的結(jié)果，通過監(jiān)控管理能很清楚的了解數(shù)據(jù)匯聚的全部情況，為數(shù)據(jù)采集提供了良好的運維支撐。.6日志管理日志管理包括流程日志和操作日志兩個板塊；流程日志顯示流程的執(zhí)行狀態(tài)，開始時間，結(jié)束時間并可查看本流程中所有插件的執(zhí)行情況，包括插件名稱，輸入總數(shù)，輸出總數(shù)，錯誤總數(shù)并記錄運行時間；操作日志對每個使用系統(tǒng)的人員操作做記錄，顯示操作結(jié)果和操作內(nèi)容政務數(shù)據(jù)清洗融合工具政務數(shù)據(jù)清洗融合工具以高精度互聯(lián)網(wǎng)地圖為基本載體，經(jīng)過數(shù)據(jù)現(xiàn)狀調(diào)研、大數(shù)據(jù)中心組織架構(gòu)設(shè)計與編制、擬定數(shù)據(jù)標準與技術(shù)規(guī)范，將原有人口、法人、地理信息、宏觀經(jīng)濟等數(shù)據(jù)庫進行整合與清洗，建立公共數(shù)據(jù)集、政務專題數(shù)據(jù)集，重新建立城市公共信息資源的新次序。工具支持海量實時數(shù)據(jù)處理和離線數(shù)據(jù)處理，有效提高數(shù)據(jù)處理的效率。工具包含數(shù)據(jù)源管理、集群管理、流程管理、任務管理、規(guī)則管理、流程日志、流程服務等功能。數(shù)據(jù)源管理數(shù)據(jù)源管理主要解決政府各個部門、互聯(lián)網(wǎng)爬取站點和物聯(lián)網(wǎng)設(shè)備的數(shù)據(jù)源注冊和管理，目前系統(tǒng)支持數(shù)據(jù)源包括：MySQL數(shù)據(jù)庫、Oracle數(shù)據(jù)庫、Hbase、Hive、NoSQL數(shù)據(jù)、云數(shù)據(jù)庫、大文件系統(tǒng)、小文件系統(tǒng)等各種關(guān)系性數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫。數(shù)據(jù)源中存儲了所有建立數(shù)據(jù)庫連接的信息，就象通過指定文件名可以在文件系統(tǒng)中找到文件一樣，通過提供正確的數(shù)據(jù)源名稱，用戶可以找到相應的數(shù)據(jù)庫連接；能夠?qū)崿F(xiàn)多類型數(shù)據(jù)源的注冊、查詢和管理等功能。流程定制管理流程管理包括規(guī)則定制，流程定制，任務定制幾大板塊。流程管理是在多個參與者之間按照某種預定義的規(guī)則流程傳遞信息，或讓任務的過程自動進行，從而實現(xiàn)預期的業(yè)務目標實現(xiàn)。流程管理是業(yè)務整合的關(guān)鍵控制鏈，是業(yè)務協(xié)同處理的中心集成者和管理者。規(guī)則定制解決交換過程中庫之間格式不能正常交換等問題，在流程定制時根據(jù)需求選擇規(guī)則來定制流程；流程定制完全是拖拽方式，可定制化流程配置即可實現(xiàn)數(shù)據(jù)傳輸；添加，啟動任務調(diào)度流程運行，可設(shè)置任務執(zhí)行的生效時間，頻率；云節(jié)點管理云幾點管理就是對所有的節(jié)點機的管理，基本信息如節(jié)點名稱，節(jié)點IP,節(jié)點端口，web端口，包括節(jié)點機的激活，禁用，并對激活的節(jié)點機進行監(jiān)控日志管理日志管理包括流程日志和操作日志兩個板塊；流程日志顯示流程的執(zhí)行狀態(tài)，開始時間，結(jié)束時間并可查看本流程中所有插件的執(zhí)行情況，包括插件名稱，輸入總數(shù)，輸出總數(shù)，錯誤總數(shù)并記錄運行時間；操作日志對每個使用系統(tǒng)的人員操作做記錄，顯示操作結(jié)果和操作內(nèi)容下圖為插件運行日志：平臺服務層（PAAS）方案設(shè)計時空信息云平臺基于基礎(chǔ)功能組件，提供服務資源池、時空云服務系統(tǒng)、服務引擎、地名地址引擎、業(yè)務流引擎等功能系統(tǒng)。服務資源池時空大數(shù)據(jù)服務要素服務WFS（WebFeatureService）要素服務（WebFeatureService簡稱WFS）遵循OGC的WFS1.0.0、1.1.0規(guī)范，本服務返回的是要素級的GML編碼。OGCWeb要素服務允許用戶終端從多個Web要素服務中取得使用地理標記語言（GML）編碼的地理空間數(shù)據(jù)（以下是WFS1.1.0的接口標準，WFS1.0.0的接口標準請參照OGC規(guī)范）。同時，在這個服務中可支持基于要素的時態(tài)數(shù)據(jù)的發(fā)布。支持對地理要素的插入、更新、刪除、檢索和發(fā)現(xiàn)服務。該服務根據(jù)HTTP客戶請求返回GML（GeographyMarkupLanguage、地理標識語言）數(shù)據(jù)。通過WFS服務提供數(shù)據(jù)服務的情況下，任何使用Web服務的應用程序均可訪問地圖或地理數(shù)據(jù)庫中的地理要素。WFS服務返回的是帶有幾何和屬性信息的實際要素，客戶端可以將這些要素與屬性用于任何類型的地理空間分析。WFS服務也支持過濾器，由此用戶可以在數(shù)據(jù)上執(zhí)行空間查詢和屬性查詢。支持以下操作：（1）獲取服務的要素類及支持的操作，即服務元數(shù)據(jù)（GetCapabilities）（2）獲取要素的描述信息，即要素元數(shù)據(jù)（DescribeFeatureType）（3）獲取要素信息（GetFeature）用戶可以在平臺上選擇相應的數(shù)據(jù)源發(fā)布成WFS服務，并且允許用戶在分布式的環(huán)境下通過HTTP對空間數(shù)據(jù)進行查詢、編輯等操作。地圖服務WMS（WebMapService）地圖服務（WebMapService簡稱WMS）遵循OGC的WMS1.1.1、1.3.0規(guī)范，該服務利用具有地理空間位置信息的數(shù)據(jù)制作地圖。其中將地圖定義為地理數(shù)據(jù)可視的表現(xiàn)（以下是WMS1.3.0的接口標準，WMS1.1.1的接口標準請參照OGC規(guī)范）。利用具有地理空間位置信息的數(shù)據(jù)制作地圖，其中將地圖定義為地理數(shù)據(jù)的可視化表現(xiàn)，能夠根據(jù)用戶的請求獲取相應的地圖（包括PNG，GIF，JPEG等柵格形式或者是SVG和WEBCGM等矢量形式）。WMS服務支持HTTP協(xié)議，所支持的操作由URL決定。通過向服務的URL附加參數(shù)來使用WMS服務。支持以下操作：獲取關(guān)于服務的元數(shù)據(jù)（GetCapabilities[必選]）；獲取地圖圖像（GetMap[必選]）；獲取關(guān)于地圖要素的信息（GetFeatureInfo）；獲取用戶定義的樣式（GetStyles）；獲取圖例符號（GetLegendGraphic）。用戶可以在平臺上選擇相應的方案發(fā)布成WMS服務，允許用戶在分布式的環(huán)境下通過HTTP對空間數(shù)據(jù)進行出圖等操作。目錄服務CSW（CatalogServiceWeb）目錄服務（CatalogServiceforWeb簡稱CSW）遵循OGC目錄服務2.0.2規(guī)范。著重于采用WSDL、SOAP、ebXML等Web服務標準實現(xiàn)地理空間信息目錄服務。目錄服務的主要功能支持查詢、管理和同步功能。用于將地理記錄的目錄（描述地理數(shù)據(jù)的記錄如KML、描述地理服務的記錄如WMS等）以XML的形式發(fā)布在網(wǎng)絡中。有效應用于地理空間信息資源，如測繪成果目錄的檢索和管理，可與特定應用及其元數(shù)據(jù)信息模型綁定，形成符合自身需要的內(nèi)容和功能，對外提供查詢服務，能有效實現(xiàn)基于Web的覆蓋全國分布式互操作的目錄服務系統(tǒng)。覆蓋服務WCS（WebCoverageService）Web覆蓋服務（WebCoverageService簡稱WCS）遵循OGC的WCS1.0.0、1.1.0、1.1.2規(guī)范。該服務面向空間影像數(shù)據(jù)，它將包含地理位置值的地理空間數(shù)據(jù)作為“覆蓋（Coverage）”在網(wǎng)上相互交換（以下是WCS1.1.0的接口標準，WCS1.0.0和WCS1.1.2接口標準請參照OGC規(guī)范）覆蓋服務包含地理位置信息或?qū)傩缘目臻g柵格圖層，而不是靜態(tài)地圖的訪問。根據(jù)HTTP客戶端要求獲取相應的數(shù)據(jù)，包括衛(wèi)星影像，多光譜影像和數(shù)字高程數(shù)據(jù)等，也就是柵格數(shù)據(jù)。WCS服務具有以下三種功能：獲取服務級別元數(shù)據(jù)以及數(shù)據(jù)集合的簡要描述（GetCapabilities）；獲取一個或者多個coverage的完整描述（DescribeCoverage）；以熟知的coverage格式返回coverage（GetCoverage）。地名地址服務WFS-G（WebFeatureGazetteerService）地名地址服務主要是提供地名地址查詢和地址正向匹配、逆向匹配的功能。地址匹配又稱為地理編碼，是指將地址(例如：北京市海淀區(qū)知春路106號皇冠假日酒店)轉(zhuǎn)換成地理坐標(例如緯度116.322990和經(jīng)度39.975710)的過程，客戶端可以使用這些坐標來放置標記或設(shè)定地圖位置。另外，此服務能執(zhí)行反向作業(yè)