康巴什智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

智慧城市大數(shù)據(jù)

交換共享平臺

建設(shè)方案

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

目錄

第一章需求分析和項目建設(shè)的必要性........................4

1.1項目建設(shè)目標、內(nèi)容.........................................4

1.1.1項目建設(shè)目標........................................4

1.1.2項目建設(shè)內(nèi)容........................................4

1.2編制依據(jù)..................................................5

1.3與政務(wù)職能相關(guān)的社會問題和政務(wù)目標分析....................6

1.3.1社會問題分析........................................6

1.3.2政務(wù)目標分析........................................8

1.4業(yè)務(wù)功能、業(yè)務(wù)流程和業(yè)務(wù)量分析...........................11

1.4.1用戶角色分析........................................11

1.4.2業(yè)務(wù)功能分析.......................................12

1.4.3業(yè)務(wù)流程...........................................14

1.4.4業(yè)務(wù)量分析.........................................14

1.5信息量分析和預(yù)測.........................................15

1.5.1存儲量分析.........................................15

1.5.2處理量分析.........................................19

1.5.3網(wǎng)絡(luò)流量分析.......................................20

1.6系統(tǒng)功能和性能需求分析...................................20

1.6.1系統(tǒng)功能指標.......................................20

1.6.2系統(tǒng)性能指標.......................................22

1.7信息系統(tǒng)裝備和應(yīng)用現(xiàn)狀與差距.............................22

1.7.1現(xiàn)狀...............................................22

1.7.2差距...............................................23

1.8項目建設(shè)的必要性.........................................23

第二章總體建設(shè)方案.....................................26

2.1建設(shè)原則.................................................26

2.1.1統(tǒng)一性原則.........................................26

2.1.2可靠性原則.........................................26

2.1.3可伸縮和可擴展性原則...............................26

2.1.4開放性原則.........................................27

2.1.5安全性原則.........................................27

2.1.6高效性原則.........................................27

2.1.7友好性原則.........................................27

2.1.8可管理易維護性.....................................28

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

2.2總體目標與分期目標.......................................28

2.3總體建設(shè)任務(wù)與分期建設(shè)內(nèi)容...............................29

2.4總體設(shè)計方案.............................................30

2.4.1基礎(chǔ)設(shè)施層.........................................32

2.4.2信息資源層.........................................33

2.4.3應(yīng)用支撐層.........................................34

2.4.4應(yīng)用層.............................................34

2.4.5服務(wù)層.............................................34

2.4.6安全保障體系.......................................34

2.4.7標準規(guī)范體系.......................................35

第三章項目建設(shè)方案.....................................36

3.1標準規(guī)范建設(shè).............................................36

3.1.1管理制度建設(shè).......................................36

3.1.2標準規(guī)范建設(shè).......................................40

3.1.3數(shù)據(jù)標準建設(shè).......................................43

3.1.4標準規(guī)范索引.......................................46

3.2信息資源規(guī)劃和數(shù)據(jù)庫設(shè)計.................................47

3.2.1信息資源規(guī)劃.......................................47

3.2.2數(shù)據(jù)中心建設(shè).......................................53

3.3門戶系統(tǒng)建設(shè).............................................69

3.3.1信息資源政務(wù)門戶...................................69

3.3.2信息資源開放門戶...................................73

3.4應(yīng)用系統(tǒng)建設(shè).............................................74

3.4.1數(shù)據(jù)匯聚平臺.......................................74

3.4.2數(shù)據(jù)治理平臺.......................................89

3.4.3數(shù)據(jù)運營平臺......................................102

3.4.4數(shù)據(jù)應(yīng)用平臺......................................104

3.5四大基礎(chǔ)數(shù)據(jù)庫管理平臺..................................108

3.5.1人口庫............................................108

3.5.2法人庫............................................111

3.5.3經(jīng)濟庫............................................114

3.5.4地理庫............................................115

3.6應(yīng)用支撐系統(tǒng)設(shè)計........................................116

3.6.1統(tǒng)一用戶管理......................................116

3.6.2統(tǒng)一應(yīng)用管理......................................120

3.6.3統(tǒng)一服務(wù)管理......................................121

3.6.4統(tǒng)一消息服務(wù)......................................123

3.6.5統(tǒng)一日志服務(wù)......................................124

-II-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

3.7安全保障體系建設(shè)........................................124

3.7.1建設(shè)目標..........................................124

3.7.2安全體系架構(gòu)......................................125

3.7.3安全防護體系建設(shè)..................................125

3.7.4安全管理體系建設(shè)..................................133

3.8主要軟硬件選型原則和詳細軟硬件配置清單..................136

3.8.1主要軟硬件選型原則................................136

3.8.2詳細軟硬件配置清單................................137

第四章效益分析........................................138

4.1經(jīng)濟效益................................................138

4.2社會效益................................................140

第五章項目風險與風險管理............................142

5.1風險識別和分析...........................................142

5.1.1組織風險..........................................142

5.1.2管理風險..........................................142

5.1.3業(yè)務(wù)風險..........................................142

5.1.4技術(shù)風險..........................................142

5.2風險對策和管理..........................................143

5.2.1組織風險防范對策..................................143

5.2.2管理風險防范對策..................................143

5.2.3業(yè)務(wù)風險防范對策..................................144

5.2.4技術(shù)風險防范對策..................................144

-ill-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

第一章需求分析和項目建設(shè)的必要性

1.1項目建設(shè)目標、內(nèi)容

1.1.1項目建設(shè)目標

智慧城市公共數(shù)據(jù)開放共享平臺項目建設(shè)目標是，依托統(tǒng)一的

“云”數(shù)據(jù)中心建設(shè)統(tǒng)一的公共數(shù)據(jù)開放共享平臺。集中機關(guān)各部

門業(yè)務(wù)應(yīng)用進行，制定相關(guān)的數(shù)據(jù)規(guī)范和信息交換標準，使機關(guān)各

部門業(yè)務(wù)系統(tǒng)依托統(tǒng)一的開放平臺進行開發(fā)建設(shè)。確保部門之間系

統(tǒng)之間的互聯(lián)互通、數(shù)據(jù)共享，為大數(shù)據(jù)分析提供數(shù)據(jù)依據(jù)。

1?1.2項目建設(shè)內(nèi)容

智慧城市公共數(shù)據(jù)開放共享平臺項目建設(shè)內(nèi)容包含：一套標準

規(guī)范、兩個數(shù)據(jù)門戶、四大應(yīng)用平臺、四大基礎(chǔ)數(shù)據(jù)庫和一個應(yīng)用

支撐平臺。

具體建設(shè)內(nèi)容包括：

1、一個應(yīng)用支撐平臺

為了對需要調(diào)用智慧城市公共數(shù)據(jù)開放共享平臺信息資源的政

府部門應(yīng)用系統(tǒng)進行有效管理，面向各類智慧城市應(yīng)用，規(guī)劃建設(shè)

統(tǒng)一的應(yīng)用支撐平臺，統(tǒng)一標準規(guī)范，通過用戶管理、應(yīng)用管理、

服務(wù)管理等核心組件，可以對接入系統(tǒng)有效管理、實現(xiàn)統(tǒng)一認證及

單點登錄、統(tǒng)一消息服務(wù)。

-4-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

2、兩個數(shù)據(jù)門戶

針對政府部門用戶建設(shè)信息資源政務(wù)門戶，針對企業(yè)、公眾用

戶建設(shè)信息資源開放門戶。

3、四大應(yīng)用系統(tǒng)

建設(shè)承載智慧城市公共數(shù)據(jù)匯聚平臺、數(shù)據(jù)治理平臺、數(shù)據(jù)運

營平臺和數(shù)據(jù)應(yīng)用平臺。

4、四大基礎(chǔ)數(shù)據(jù)庫

通過智慧城市信息資源梳理，制定四大基礎(chǔ)數(shù)據(jù)庫的建庫、入

庫和管理規(guī)則，建立四大基礎(chǔ)數(shù)據(jù)庫管理平臺，提供基礎(chǔ)庫內(nèi)容管

理、數(shù)據(jù)處理、共享和應(yīng)用功能。

四大基礎(chǔ)數(shù)據(jù)庫包括人口庫、法人庫、經(jīng)濟庫和地理庫。

5、一套標準規(guī)范

形成標準規(guī)范體系，包括管理制度、標準規(guī)范、數(shù)據(jù)標準等。

1.2編制依據(jù)

1、中辦、國辦《2006-2020年國家信息化發(fā)展戰(zhàn)略》；

2、國辦《關(guān)于促進智慧城市協(xié)調(diào)發(fā)展的指導(dǎo)意見》；

3、國務(wù)院《促進大數(shù)據(jù)發(fā)展行動綱要》；

4、《國家智慧城市總體框架》；

5、《國家智慧城市“十二五”規(guī)劃》(工信部規(guī)(2011)567號)；

6、《關(guān)于印發(fā)“十二五”國家政務(wù)信息化工程建設(shè)規(guī)劃的通知》

(發(fā)改高技(2012)1202號);

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

7、《GB/T21063-2007政務(wù)信息資源目錄體系》

8、《GB/T21062-2007政務(wù)信息資源交換體系》

9、《國家智慧城市工程建設(shè)項目管理暫行辦法》

10、《政府信息公開條例》

1.3社會問題和政務(wù)目標分析

1.3.1社會問題分析

作為世界人口大國，理論上我國數(shù)據(jù)資源儲量極為豐富，但大

部分政府數(shù)據(jù)(例如：交通、社保、稅收等)，屬于結(jié)構(gòu)化數(shù)據(jù)，距

離海量(volume)、速度(velocity)和多樣性(variety)的3V屬性還

有一定距離，但從戰(zhàn)略角度而言差距并不大。

從數(shù)據(jù)規(guī)模來說，政府擁有國內(nèi)最為龐大的數(shù)據(jù)儲量。政府數(shù)

據(jù)廣泛存儲于各地、各級政府機關(guān)院所等不同單位、不同部門、不

同系統(tǒng)甚至不同網(wǎng)絡(luò)環(huán)境中，海量超脫于地理空間的政府數(shù)據(jù)亟待

存儲與處理。

從數(shù)據(jù)來源來說，由于各行業(yè)、各地采用的法律法規(guī)和標準并

不統(tǒng)一。傳統(tǒng)的智慧城市信息系統(tǒng)，僅為滿足特定功能而生，數(shù)據(jù)

結(jié)構(gòu)差異性大，大量數(shù)據(jù)存放于歷史遺留應(yīng)用中，委辦局間碎片化、

零散化、低效率的數(shù)據(jù)交互和分析普遍存在，導(dǎo)致政府數(shù)據(jù)來源極

為復(fù)雜。

從數(shù)據(jù)質(zhì)量和價值來說，企業(yè)的數(shù)據(jù)種類單一化程度較高，而

政府數(shù)據(jù)涉及工商、稅務(wù)、交通、醫(yī)療、教育等領(lǐng)域，數(shù)據(jù)種類繁

-6-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

多，事關(guān)百姓生活的方方面面，數(shù)據(jù)質(zhì)量較高，數(shù)據(jù)的潛在價值十

分可觀。

如上所述，政府數(shù)據(jù)的特點可以概括為：數(shù)據(jù)規(guī)模大、數(shù)據(jù)來

源和結(jié)構(gòu)復(fù)雜、數(shù)據(jù)價值高但利用率低。

政府收集了大量有價值的數(shù)據(jù)，通過這些數(shù)據(jù)，可以更好地了

解國家資源使用情況，政府開支情況，土地交易和管理情況，這些

將不僅強化政府責任，提升治理能力，還能提高資金支出效率，為

人民提供更多更好的服務(wù)選擇。

1、政府數(shù)據(jù)體量越來越大

截至2014年，中國共有664個城市，2852個行政縣，40446

個行政鄉(xiāng)。當前，中國中央和省級政務(wù)部門主要業(yè)務(wù)智慧城市覆蓋

率已經(jīng)達到70%o據(jù)粗略估算，全國政府大數(shù)據(jù)加起來相當于數(shù)百

個阿里巴巴的體量。而隨著硬件技術(shù)的進步，對于數(shù)據(jù)采集精度、

采集頻率、數(shù)據(jù)存儲等能力在增強，使得數(shù)據(jù)規(guī)模仍有提升空間，

近幾年數(shù)據(jù)中心的新建和擴容呈現(xiàn)井噴式的發(fā)展，這是以硬件基礎(chǔ)

設(shè)施帶動的變革，促使軟件技術(shù)也得到了快速發(fā)展。

隨著數(shù)據(jù)體量的增長，大數(shù)據(jù)處理、大數(shù)據(jù)應(yīng)用分析的門檻將

會逐漸提高。

2、多部門協(xié)作成為常態(tài)化

復(fù)雜的城市治理問題，對跨部門的協(xié)作提出了更高的要求，過

去個別部門間存在的職責交叉分散、協(xié)調(diào)運行不暢等問題。隨著“大

部制”完善，建立健全了部門間協(xié)同運行機制，逐步實現(xiàn)“多個部

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

門、一個政府”目標。隨著部門與部門的邊界越來越模糊，政府數(shù)

據(jù)跨部門共享共用已不再是亮點和創(chuàng)新，建立常態(tài)化共享機制成為

政府大數(shù)據(jù)建設(shè)的入門。

3、國家治理不能僅僅依靠政府

由于時間和技術(shù)的局限性，以往國家治理基本是政府下達指令、

向下逐層執(zhí)行的“開環(huán)過程”。如今隨著互聯(lián)網(wǎng)發(fā)展，人民對于政

府的期望越來越高，國家不僅要在政策出臺前廣泛征求、準確把握

民意；出臺后還需要獲得執(zhí)行反饋，并適時調(diào)整，政府治理變?yōu)橄?/p>

達指令一執(zhí)行一反饋的“閉環(huán)過程”，需要借助社會各方面力量參

與到國家治理過程之中。無論是社會自治還是合作共建，政府數(shù)據(jù)

共享開放都是大前提。

4、社會普遍開始重視數(shù)據(jù)安全和隱私

數(shù)據(jù)如同一把雙刃劍，在帶來便利的同時也帶來了很多安全隱

患，隨著全球各地用戶信息安全事件頻出，讓人們開始感受到“數(shù)

據(jù)”與生活接觸如此緊密，數(shù)據(jù)泄露可以對個人的生活質(zhì)量造成極

大的威脅數(shù)據(jù)安全和隱私保護不僅是公民個人的責任，對采集數(shù)

據(jù)和共享數(shù)據(jù)的政府單位，也有義務(wù)保障數(shù)據(jù)的安全和隱私，此過

程中，政策、技術(shù)、意識缺一不可。需嚴格依照相關(guān)規(guī)范文件，將

安全運營意識滲透到政府數(shù)據(jù)開放中。

1.3.2政務(wù)目標分析

1、實現(xiàn)政務(wù)公開，打造透明政府

-8-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

智慧城市公共數(shù)據(jù)開放共享促進政府和公眾互動，讓政務(wù)透明，

幫助政府進行社會管理和解決社會難題，大數(shù)據(jù)時代下，政府是整

合開放的平臺，是一個大數(shù)據(jù)共享平臺，它建立了公眾與政府間的

溝通渠道，越來越多的國家和組織利用其開展民意調(diào)查，通過在線

交互讓民眾成為政務(wù)流程的節(jié)點，透明政務(wù)，讓公眾參與到政策制

定與執(zhí)行、效果評估和監(jiān)督之中，使民眾參政議政成為可能。大數(shù)

據(jù)推進政府信息資源進一步開放，政府信息開發(fā)利用效率倍增，促

進經(jīng)濟社會快速發(fā)展。

2、實現(xiàn)數(shù)據(jù)融合，打造智慧政府

智慧城市公共數(shù)據(jù)開放共享真正跨越了政府內(nèi)部協(xié)同的鴻溝，

大大提高工作效率，降低政府運行成本。其一，政府內(nèi)部協(xié)同除思

想理念上的障礙外，技術(shù)上也存在一定障礙，隨著大數(shù)據(jù)技術(shù)發(fā)展，

跨越系統(tǒng)、跨越平臺、跨越數(shù)據(jù)結(jié)構(gòu)的政府將在技術(shù)上使政府內(nèi)部

縱向、橫向部門得以流暢協(xié)同。其二，由于利用大數(shù)據(jù)技術(shù)，數(shù)據(jù)

獲取、處理及分析響應(yīng)時間大幅減少，工作效率明顯提高，同時降

低了政府開支。例如，政府利用大數(shù)據(jù)對社會人群進行細分，對不

同人群進行針對性服務(wù)和政策施行。

3、實現(xiàn)科學決策，打造責任政府

智慧城市公共數(shù)據(jù)開放共享提高政府決策的科學性和精準性，

提高政府預(yù)測預(yù)警能力以及應(yīng)急響應(yīng)能力，越來越多的政府排棄經(jīng)

驗和直覺，依賴智慧城市的數(shù)據(jù)和分析進行決策?，F(xiàn)在大數(shù)據(jù)又超

越了傳統(tǒng)的數(shù)據(jù)分析方法，不但是對大數(shù)據(jù)分析挖掘，對言論、圖

-9-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

表等都可以進行深度挖掘、人工智能。大數(shù)據(jù)的深入及廣泛應(yīng)用會

給政府帶來科學和精準的決策支持。

4、為康巴什智慧城市提供一個安全可靠的信息資源存儲中心

對各部門的共享交換的數(shù)據(jù)資源進行統(tǒng)一的規(guī)劃管理和應(yīng)用，

建設(shè)集約化的數(shù)據(jù)資源存儲中心,從而避免了各部門重復(fù)建設(shè)工作；

同時提高數(shù)據(jù)安全方面的建設(shè)，從硬件設(shè)備、網(wǎng)絡(luò)、信息資源、應(yīng)

用系統(tǒng)、管理平臺、數(shù)據(jù)庫等方面的全面保證數(shù)據(jù)的安全性，并根

據(jù)用戶的不同訪問需求、防止惡意入侵、病毒防護、分區(qū)域的安全

設(shè)計，并在應(yīng)用服務(wù)上提供安全檢測服務(wù)。

5、為康巴什智慧城市提供一個高效的應(yīng)用服務(wù)平臺

康巴什智慧城市公共數(shù)據(jù)開放共享平臺的建設(shè)，為政府應(yīng)用系

統(tǒng)和信息資源的高效管理和服務(wù)提供手段，通過對相關(guān)的基礎(chǔ)信息、

業(yè)務(wù)信息、服務(wù)信息進行管理，實現(xiàn)康巴什智慧城市公共數(shù)據(jù)開放

共享平臺的信息管理和服務(wù)功能。城市級交換共享平臺則對各部門

的信息資源提供交換共享支撐，以提高信息資源的綜合利用水平。

通過整合各部門數(shù)據(jù)信息，建設(shè)基礎(chǔ)信息庫，并提供對外服務(wù)，實

現(xiàn)康巴什智慧城市公共數(shù)據(jù)開放共享平臺的服務(wù)功能。

6、為康巴什智慧城市提供一個長效和可維護的信息服務(wù)體系

康巴什智慧城市公共數(shù)據(jù)開放共享平臺的建設(shè)要對康巴什智慧

城市體系提供長久的服務(wù)，因此在管理和運維上必需配備相應(yīng)的支

撐。這一方面取決于管理制度的完善、管理手段的完備和對管理本

身的技術(shù)支撐，另一方面，也取決于人員的配備和運維體系的建立。

-10-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

1.4業(yè)務(wù)功能、業(yè)務(wù)流程和業(yè)務(wù)量分析

1.4.1用戶角色分析

康巴什智慧城市公共數(shù)據(jù)開放共享平臺的用戶分為：領(lǐng)導(dǎo)、各

部門、企業(yè)單位及社會公眾。

政府領(lǐng)導(dǎo)

康巴什智慧城市公共數(shù)據(jù)開放共享平臺有價值的數(shù)據(jù)、行政地

圖、決策方法和應(yīng)急進行融合，采用大數(shù)據(jù)分析技術(shù)，有利于各級

領(lǐng)導(dǎo)、管理決策人員方便、直觀、形象地進行各種分析，從而使統(tǒng)

計決策的科學化、人性化、智能化管理走上一個新臺階。

政府部門

可以向康巴什智慧城市公共數(shù)據(jù)開放共享平臺提供數(shù)據(jù)或使用

平臺提供的數(shù)據(jù)；業(yè)務(wù)部門之間可以通過系統(tǒng)平臺交換共享數(shù)據(jù)；

遵循標準規(guī)范進行業(yè)務(wù)系統(tǒng)的建造和改進，可實現(xiàn)業(yè)務(wù)系統(tǒng)和數(shù)據(jù)

開放共享平臺的對接。

社會公眾

可以依托康巴什智慧城市公共數(shù)據(jù)開放共享平臺提供的應(yīng)用服

務(wù)對公眾需求做出快速反應(yīng)，公眾可以更直接廣泛的獲得政府提供

的服務(wù)，如證照協(xié)同、社保電子傳遞等。

企業(yè)單位

通過康巴什智慧城市公共數(shù)據(jù)開放共享平臺提供的應(yīng)用服務(wù)可

11-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

以方便企業(yè)進行業(yè)務(wù)級信息查詢，并可通過業(yè)務(wù)協(xié)同對企業(yè)提供事

項審批、信息推送服務(wù)。

1.4.2業(yè)務(wù)功能分析

數(shù)據(jù)共享

在政府部門內(nèi)部強調(diào)的是共享共用。先把政府部門內(nèi)部及部門

之間數(shù)據(jù)共享的工作做起來。各級政府都以數(shù)據(jù)應(yīng)用為導(dǎo)向，需要

什么數(shù)據(jù)就共享什么數(shù)據(jù)。

部門間的信息共享，綜合考慮管理難度和技術(shù)難度建議分為三

個階段：“條線內(nèi)部門共享”、“平級跨部門共享”、“跨層級和跨區(qū)域

的共享”，通過統(tǒng)一規(guī)劃，逐步推進的策略，打造部門間信息資源共

享共用的新格局。

數(shù)據(jù)開放

對社會的數(shù)據(jù)開放，先從方便百姓生活又不是很敏感的數(shù)據(jù)開

始。特別是涉及公共安全、公共利益的數(shù)據(jù)，提供公共服務(wù)的機構(gòu)

或企業(yè)有義務(wù)在一定前提條件下開放，這樣一些可以預(yù)警、預(yù)防的

群體性事件就能夠避免。

按照社會關(guān)注程度、數(shù)據(jù)量大小和具體實施難度，數(shù)據(jù)開放建

議分為三個階段：“業(yè)務(wù)統(tǒng)計數(shù)據(jù)”、“少量高頻數(shù)據(jù)”、“重點業(yè)務(wù)數(shù)

據(jù)”。通過以安全為前提，重點關(guān)注優(yōu)先試點，逐步擴大范圍為原則，

穩(wěn)步推行數(shù)據(jù)服務(wù)開放。

-12-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

數(shù)據(jù)融合

政務(wù)大數(shù)據(jù)歸根結(jié)底，還是要面向行業(yè)應(yīng)用的，需要基于不同

的業(yè)務(wù)部門開展，并和現(xiàn)有平臺建立聯(lián)系。

融合應(yīng)用可以分為“數(shù)據(jù)融合”、“業(yè)務(wù)融合”、“產(chǎn)業(yè)融合”三個層

次：其中，數(shù)據(jù)融合是把本單位數(shù)據(jù)、從其他單位共享的數(shù)據(jù)，以

及互聯(lián)網(wǎng)等社會相關(guān)的數(shù)據(jù)，相互融合，相互比對，建立融合數(shù)據(jù)

資源中心，統(tǒng)一數(shù)據(jù)標準和口徑。

業(yè)務(wù)融合主要圍繞各行業(yè)的特定業(yè)務(wù)場景，比如交通出行、醫(yī)

療保障、民生服務(wù)等領(lǐng)域，建設(shè)智慧應(yīng)用，形成行業(yè)業(yè)務(wù)的決策分

析體系，支撐城市運行和城市治理的方方面面。

產(chǎn)業(yè)融合，隨著一大批大數(shù)據(jù)處理、大數(shù)據(jù)分析、大數(shù)據(jù)運營

企業(yè)的興起，政府數(shù)據(jù)將不單單是自建自用，通過建設(shè)數(shù)據(jù)運營平

臺，數(shù)據(jù)交易平臺等形式，引入社會資本共同參與城市建設(shè)和社會

治理，實現(xiàn)向集約型、服務(wù)型、智慧型政府的轉(zhuǎn)變。

-13-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

1.4.3業(yè)務(wù)流程

<>

，"t以人，i“一心入j”t人liN

?u<r；Xd.Ati，上c。WMQ>

4H臼人i-joru9Kmm人4”

C尸1">K<WiK>

"VUIClrrj411八，，?〃.MK人ii好，

1z>KJM0A1fK//?：Uii't

mC,4-W/1'I?i--r1

HKJMeiAU

?人II的：*W*gMP

K人1?Wh?/寶M?；4】???.

人，I八I即八融

1.4.4業(yè)務(wù)量分析

業(yè)務(wù)量分析可以從平臺交互量、每天總用戶數(shù)（個）、每天每個

用戶平均執(zhí)行操作數(shù)、高峰時段交互量占全天交互量的百分比、高

峰時段持續(xù)時間（小時）、高峰時段在線用戶數(shù)（個）等方面指標進

行綜合估算?？蛋褪不ヂ?lián)網(wǎng)大數(shù)據(jù)分析平臺的業(yè)務(wù)量估算如下表所

示：

表3-1業(yè)務(wù)量估算

序號數(shù)據(jù)名稱數(shù)據(jù)量

1平臺交互量200（日均）

2每天總用戶數(shù)（個）100

3每天每個用戶平均執(zhí)行操作數(shù)1000

-14-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

序號數(shù)據(jù)名稱數(shù)據(jù)量

高峰時段交互量占全天交互量的

460%

百分比

5高峰時段持續(xù)時間(小時)4（9：00-11：00.15：00-17：00）

6高峰時段在線用戶數(shù)(個)60（日均）

1.5信息量分析和預(yù)測

1.5.1存儲量分析

本項目中存儲的數(shù)據(jù)主要包括兩大部分：系統(tǒng)網(wǎng)站群的在線行

為數(shù)據(jù)和國內(nèi)外互聯(lián)網(wǎng)重點渠道、信息源以及政府網(wǎng)站群的在線內(nèi)

容數(shù)據(jù)。在線用戶行為數(shù)據(jù)以符合W3c格式標準的日志形式進行存

儲。網(wǎng)站內(nèi)容更新數(shù)據(jù)直接存到關(guān)系型數(shù)據(jù)庫或其他非關(guān)系型數(shù)據(jù)

庫中。

1、在線行為數(shù)據(jù)存儲量

網(wǎng)站群的在線行為數(shù)據(jù)存儲主要分為三部分：

(1)接收數(shù)據(jù)，是系統(tǒng)儲存的原始數(shù)據(jù)。

(2)結(jié)構(gòu)化數(shù)據(jù)，將原始數(shù)據(jù)進行數(shù)據(jù)清洗和去重后進行結(jié)構(gòu)

化后存儲。

(3)分析數(shù)據(jù)庫，將結(jié)構(gòu)化的數(shù)據(jù)進行分析預(yù)計算后存儲。

按照本項目需要涵蓋康巴什系統(tǒng)網(wǎng)站群的500個網(wǎng)站，每個網(wǎng)

站的日平均訪問按照10000個PV計算，預(yù)計每日需要處理的總的

PV數(shù)為500萬。

■接收數(shù)據(jù)的測算依據(jù)及結(jié)論

其中接收數(shù)據(jù)庫的主要條目占用空間，如下表所示：

-15-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

單個PV所要儲存的信息空間大?。ㄗ止?jié)）

訪問路徑信息1600

來源路徑信息1120

其他信息（會話標識、Cookie標識、時間信息等）256

匯總2976

單個Session所要儲存的信息（1個Session大約產(chǎn)生4PV）

訪問路徑信息512

來源路徑信息1120

客戶端信息（IP、瀏覽器等）128

其他信息（會話標識、Cookie標識、時間信息等）256

匯總2016

單個Cookie所要儲存的信息（1個Cookie大約產(chǎn)生

1.25Session）

訪問路徑信息512

其他信息（Cookie標識、時間信息等）256

匯總768

例如:

按照其他同類項目的數(shù)據(jù)估算，PV和Session數(shù)量比為4：L

Session和Cookie的數(shù)量比為L25：1。則500萬的PV會產(chǎn)生125

萬的Session以及產(chǎn)生100萬的Cookie,息占據(jù)空間為

5000000*2976+1250000*2016+1000000*768=18G,包括索引以及其他

表占用的空間之后，約為20G。原始日志存儲到SQLServer中會采

用壓縮技術(shù)，大小將降為5G。

結(jié)論：對于接收數(shù)據(jù)庫，采用了壓縮和優(yōu)化技術(shù)后，每500萬

PV至少需要25G的儲存空間。

■結(jié)構(gòu)化數(shù)據(jù)的測算依據(jù)及結(jié)論

康巴什系統(tǒng)政府網(wǎng)站群監(jiān)測分析調(diào)度系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)庫和原

始數(shù)據(jù)庫存儲的數(shù)據(jù)一致，但是經(jīng)過對原始數(shù)據(jù)庫的數(shù)據(jù)去冗余以

及結(jié)構(gòu)化，用外鍵壓縮了原來直接存儲在各表里的信息，大小會變

為原始數(shù)據(jù)的一半，也就是2.5G。

-16-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

結(jié)論：對于結(jié)構(gòu)化數(shù)據(jù)庫，采用了壓縮和優(yōu)化技術(shù)后，每500

萬PV至少需要2.5GB的儲存空間。

■分析數(shù)據(jù)的測算依據(jù)及結(jié)論

康巴什系統(tǒng)政府網(wǎng)站群監(jiān)測分析調(diào)度系統(tǒng)的分析數(shù)據(jù)庫內(nèi)容基

本是結(jié)構(gòu)化數(shù)據(jù)庫的拷貝，大小與結(jié)構(gòu)化數(shù)據(jù)庫基本一致，也為

2.5Go

結(jié)論：對于“決策支持系統(tǒng)”的分析數(shù)據(jù)庫，采用了壓縮和優(yōu)

化技術(shù)后，每500萬PV至少需要2.5GB的儲存空間。

綜上所述，在不做任何備份的情況下，每500萬的PV,需要文

件存儲空間為：25GB+2.5GB+2.5GB=30Go

到2015年底的存儲量為10.5T,到2019年底的存儲量為52.5T,

具體測算如下表所示：

接收日志明細匯總數(shù)據(jù)合計

單月數(shù)據(jù)量(G)25*30=7502.5*30=62.52.5*30=62.5875G

保留周期(月)60606060

一年內(nèi)需要存儲900075075010.5T

五年內(nèi)需要存儲450003750375052.5T

2、在線內(nèi)容數(shù)據(jù)存儲量

■國內(nèi)外互聯(lián)網(wǎng)重點渠道和信息源

按照本項目需要面向國內(nèi)外互聯(lián)網(wǎng)重點渠道和信息源進行在線

內(nèi)容采集爬取，按照覆蓋包括主流媒體在內(nèi)的200個信息源，每個

信息源爬取3級計算，平均每天可以爬取更新的總的頁面數(shù)約為30

萬個，每個頁面按照100KB計算，共需要占用的空間為

30W*1000KB=30Go

-17-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

到2015年底的存儲量為10.8T,到2019年底的存儲量為54T,

具體測算如下表所示：

國內(nèi)外互聯(lián)網(wǎng)重點渠道和信息源

單月數(shù)據(jù)量(G)30萬*30=900G

一年內(nèi)需要存儲10.8T

五年內(nèi)需要存儲54T

■康巴什級以上政府網(wǎng)站群

康巴什級以上政府網(wǎng)站群網(wǎng)站內(nèi)容更新數(shù)據(jù)主要包括以下三部

分：網(wǎng)站更新頁面、網(wǎng)站更新的入口，網(wǎng)站更新的白名單。

按照本項目需要涵蓋康巴什系統(tǒng)網(wǎng)站群及康巴什各級政府網(wǎng)站

群的6500個網(wǎng)站，平均每個網(wǎng)站每天更新10個頁面，就是6.5萬

個。

如果每天爬取10次，就是10X6500=6.5萬個入口，每個網(wǎng)站

算10個白名單，那就是10X6500X10=65萬個白名單。

總共是6.5萬+6.5萬+65萬=78萬，共需要占用的空間為78萬

頁*100KB/頁=78G。

到2015年底的存儲量為28.08T,到2019年底的存儲量為

140.4T,具體測算如下表所示：

更新頁面數(shù)據(jù)網(wǎng)站入口數(shù)據(jù)白名單數(shù)據(jù)合計

單月數(shù)據(jù)量(G)6.5*30=1956.5*30=19565*30=19502340G

一年內(nèi)需要存儲2.34T2.34T23.4T28.08T

五年內(nèi)需要存儲11.7T11.7T117T140.4T

綜上所述，系統(tǒng)的數(shù)據(jù)存儲總量如下表所示:

表3-2數(shù)據(jù)量估算表

序號數(shù)據(jù)名稱初始量5年內(nèi)的增量

1在線行為數(shù)據(jù)10.5T52.5T

2互聯(lián)網(wǎng)重點渠道和信息源10.8T54T

-18-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

3康巴什團以上政府網(wǎng)站群28.08T140.4T

合計49.38T246.9T

1.5.2處理量分析

（1）網(wǎng)站群用戶訪問行為數(shù)據(jù)處理量分析

以每天725萬個客戶端訪問（包括500萬PV、100萬Session、

125萬Cookie）并發(fā)計算，結(jié)合在線行為數(shù)據(jù)的接收主要集中在工

作時間，7250000/8小時/60分鐘/60秒二251個/秒，日志接收服務(wù)

器接受每秒鐘接收日志請求251個，遠遠低于系統(tǒng)的每秒接收到的

正常數(shù)（該值通常為7000-9000）。

根據(jù)日志接收每秒鐘的并發(fā)量為251,因此系統(tǒng)的數(shù)據(jù)接收只

需要再用兩臺服務(wù)器做負載均衡即可。但是為了防止數(shù)據(jù)接收網(wǎng)站

的域名出現(xiàn)單點故障，因此系統(tǒng)的數(shù)據(jù)接收采用雙域名備份，即每

個域名對應(yīng)兩臺數(shù)據(jù)接收服務(wù)器，一共四臺。

根據(jù)系統(tǒng)需要滿足康巴什政府網(wǎng)站智能分析系統(tǒng)診斷的需要，

目前系統(tǒng)的單臺服務(wù)器的數(shù)據(jù)處理能力為400家左右，因此需要4

臺數(shù)據(jù)庫服務(wù)器，另外需要兩臺相同配置的數(shù)據(jù)庫服務(wù)器作為備份。

（2）其他在線內(nèi)容數(shù)據(jù)處理量分析

一是系統(tǒng)需要支持對不少于108萬個數(shù)據(jù)采集點每天至少一次

輪詢抓取，同時對抓取回的數(shù)據(jù)進行數(shù)據(jù)預(yù)處理和清洗入庫工作，

二是需要實現(xiàn)對存量數(shù)據(jù)和增量數(shù)據(jù)的指標自動抽取和更新工作，

三是需要支持前臺交互系統(tǒng)的交互分析挖掘需求。

結(jié)合以上幾部分需求，預(yù)計所需的內(nèi)容數(shù)據(jù)處理服務(wù)器約50

-19-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

臺。其中較高性能處理服務(wù)器（單機20核服務(wù)器CPU:2660*2

MEM:144GDISK:SSD480G*2+SAS4T*6,萬兆網(wǎng)卡,遠程管理，雙電

源）10臺，中等性能處理服務(wù)器（單機12核服務(wù)器,CPU:2620*2

MEM:32GDISK:4T*10,萬兆網(wǎng)卡，遠程管理，雙電源）10臺。較低

性能服務(wù)器（單機12核服務(wù)器，CPU:2620*2MEM:72GDISK:SSD

480G*2+SAS600G*4,萬兆網(wǎng)卡，遠程管理，雙電源）30臺。

1.5.3網(wǎng)絡(luò)流量分析

按每天處理725萬在線行為數(shù)據(jù)，每條數(shù)據(jù)為10KB大小，108

萬條在線內(nèi)容數(shù)據(jù)，每條100KB計算，需要的平均帶寬為17Mbps,

高峰時期按3倍帶寬需求計算為：51Mbps,GE鏈路接入可以滿足需

求，出于冗余考慮，建議使用雙GE鏈路（主備）進行接入。

1.6系統(tǒng)功能和性能需求分析

1.6.1系統(tǒng)功能指標

數(shù)據(jù)存儲功能

政府數(shù)據(jù)量很大，海量數(shù)據(jù)的處理與傳統(tǒng)架構(gòu)完全不同，原有

小型機加商業(yè)數(shù)據(jù)庫的方式已不能完全勝任，部分領(lǐng)域數(shù)據(jù)需要引

入新架構(gòu)。大數(shù)據(jù)存儲于處理架構(gòu)包括分布式存儲-、分布式資源管

理及分布式文件架構(gòu)。

數(shù)據(jù)匯聚功能

數(shù)據(jù)匯聚功能要求實現(xiàn)將各部門相關(guān)的信息資源統(tǒng)一采集交換

-20-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

到數(shù)據(jù)中心前置庫中，滿足多種采集方式，能夠滿足不同的網(wǎng)絡(luò)環(huán)

境、不同的數(shù)據(jù)類型等情況下進行數(shù)據(jù)的采集，并對采集的數(shù)據(jù)進

行處理，進入中心庫保存?？蛋褪仓腔鄢鞘泄矓?shù)據(jù)開放共享平臺

的數(shù)據(jù)匯聚功能包含數(shù)據(jù)采集、數(shù)據(jù)交換、數(shù)據(jù)處理等功能。

數(shù)據(jù)治理功能

政府數(shù)據(jù)在共享共用、開放運營及行業(yè)應(yīng)用過程中，數(shù)據(jù)來源

于各個業(yè)務(wù)系統(tǒng)，只有建立對數(shù)據(jù)質(zhì)量的信任，才能放心地進行使

用。所以數(shù)據(jù)治理和質(zhì)量保障在政府數(shù)據(jù)開放共享平臺建設(shè)中顯得

由為重要，數(shù)據(jù)開放共享平臺數(shù)據(jù)治理功能主要包括信息資源目錄

管理、元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量管里等內(nèi)容。

數(shù)據(jù)運營功能

數(shù)據(jù)運營功能聚焦對數(shù)據(jù)共享、開放、融合的提供，對提供服

務(wù)授權(quán)、認證、過程進行統(tǒng)一管理，并提供數(shù)據(jù)開放共享平臺運行

過程的全程監(jiān)控。數(shù)據(jù)開放共享平臺數(shù)據(jù)運營功能主要包含服務(wù)管

理、基于服務(wù)管理的數(shù)據(jù)開放、以及運行監(jiān)控等內(nèi)容。

數(shù)據(jù)應(yīng)用功能

數(shù)據(jù)共享、開放的最終目標都是為了要創(chuàng)造價值，數(shù)據(jù)的價值

主要通過應(yīng)用進行體現(xiàn)。數(shù)據(jù)開放共享平臺數(shù)據(jù)應(yīng)用主要是政務(wù)數(shù)

據(jù)分析功能，主要包括數(shù)據(jù)采集、數(shù)據(jù)分析、結(jié)果發(fā)布三個組成部

分，能夠?qū)崿F(xiàn)實時、批處理、交互分析，最終通過報表、儀表盤、

API等形式展示結(jié)果。

-21-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

1.6.2系統(tǒng)性能指標

基本性能：（1）在100M局域網(wǎng)環(huán)境下進行增、刪、改業(yè)務(wù)（不

含大對象數(shù)據(jù)類型）響應(yīng)時間在3秒以內(nèi)。（2）在100M局域網(wǎng)環(huán)

境下查詢操作的響應(yīng)時間要求在3秒以內(nèi)。（3）系統(tǒng)支持同時在

線數(shù)大于200,并發(fā)用戶數(shù)大于50。

數(shù)據(jù)交換：（1）批量數(shù)據(jù)交換中，平均單條記錄數(shù)據(jù)交換的時

間不大于20毫秒。（2）非并發(fā)大批量數(shù)據(jù)交換（百萬條）的時

間不大于5,000秒。（3）批量數(shù)據(jù)交換中，平均單條記錄入庫的響

應(yīng)時間不大于20mso

數(shù)據(jù)查詢：（1）查詢基礎(chǔ)數(shù)據(jù)（精確匹配）的響應(yīng)時間不大于

3秒。（2）查詢單個數(shù)據(jù)主題（百萬級）的響應(yīng)時間不大于3秒。

（3）目錄檢索的響應(yīng)時間不大于2秒。（4）查詢統(tǒng)計報表（非實

時統(tǒng)計）的響應(yīng)時間不大于3秒。

1.7信息系統(tǒng)裝備和應(yīng)用現(xiàn)狀與差距

1.7.1現(xiàn)狀

政府數(shù)據(jù)碎片化嚴重。我國智慧城市取得了較快發(fā)展,政府各部

門以及公共服務(wù)機構(gòu)在履職過程中形成了大量的數(shù)據(jù)資源，這些數(shù)

據(jù)分散在各個部門，由于管理體制、法律法規(guī)、歷史慣性以及部門

間利益等方面的原因，康巴什智慧城市建設(shè)和發(fā)展一直處于“條塊

-22-

智慧城市大數(shù)據(jù)共享交換平臺建設(shè)方案

分割，各自為戰(zhàn)”的狀態(tài)，不同區(qū)域、不同領(lǐng)域、不同部門之間智

慧城市業(yè)務(wù)系統(tǒng)之間不相融通，造成了眾多“信息孤島”，難以實現(xiàn)

業(yè)務(wù)協(xié)同和規(guī)模效用，甚至連基本的部門間信息數(shù)據(jù)交換都難以實

現(xiàn)，大量的政府數(shù)據(jù)處于“休眠”狀態(tài)，數(shù)據(jù)碎片億問題嚴