智慧南京大數(shù)據(jù)平臺(tái)成功案例

智慧南京大數(shù)據(jù)平臺(tái)案例南京云創(chuàng)大數(shù)據(jù)科技股份有限公司2015-09-21智慧南京大數(shù)據(jù)平臺(tái)成功案例智慧南京大數(shù)據(jù)平臺(tái)（重點(diǎn)介紹交通部份）一、項(xiàng)目背景南京市政務(wù)服務(wù)中心是南京市人民政府設(shè)立的面向企業(yè)和社會(huì)公眾辦理行政許可、非許可審批和公共服務(wù)事項(xiàng)的綜合性政務(wù)服務(wù)平臺(tái)，而“我的南京”APP是由政務(wù)中心主導(dǎo)的開(kāi)發(fā)的以廣大市民能夠足不出戶、隨時(shí)隨地的享受優(yōu)質(zhì)服務(wù)和生活便利為目標(biāo)，在中國(guó)南京網(wǎng)站群、“12345”市民熱線、社區(qū)信息服務(wù)網(wǎng)點(diǎn)基礎(chǔ)上，以實(shí)名制方式與市民卡、智能交通、智慧醫(yī)療、智慧青奧、政務(wù)數(shù)據(jù)中心等智慧南京的重點(diǎn)工程無(wú)縫聯(lián)接，利用云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等技術(shù)，建設(shè)匯聚全市公共服務(wù)資源的綜合信息服務(wù)平臺(tái)。 作為智慧南京建設(shè)的主要牽頭者，政務(wù)中心的智慧南京大數(shù)據(jù)平臺(tái)承載著“我的南京”APP門戶日志的記錄，交管局轉(zhuǎn)接過(guò)來(lái)的南京市公共汽車和出租車的日志記錄，以及部署在南京市主要位置的攝像頭的監(jiān)控抓拍車輛記錄，總體數(shù)據(jù)記錄每天超過(guò)上億條，實(shí)時(shí)的數(shù)據(jù)入庫(kù)達(dá)到每秒數(shù)十萬(wàn)條。 此外，要基于如此巨大的數(shù)據(jù)量做業(yè)務(wù)分析、用戶行為分析、智慧交通分析等，對(duì)于數(shù)據(jù)的查詢統(tǒng)計(jì)的性能也是要求極高，必須能達(dá)到幾十萬(wàn)數(shù)據(jù)毫秒級(jí)響應(yīng)，百萬(wàn)數(shù)據(jù)秒級(jí)響應(yīng)的實(shí)時(shí)查詢需求。 根據(jù)以上的這些情況，要求承擔(dān)政務(wù)中心數(shù)據(jù)平臺(tái)需要具備如下功能和特點(diǎn)： 1.支持海量數(shù)據(jù)的實(shí)時(shí)入庫(kù) 采用大量機(jī)器組成的云平臺(tái)，能夠提高對(duì)海量數(shù)據(jù)的快速入庫(kù)，入庫(kù)速度高達(dá)千兆每秒。 2.支持海量數(shù)據(jù)的實(shí)時(shí)索引 能夠?qū)崟r(shí)監(jiān)控入庫(kù)的新數(shù)據(jù)，并對(duì)其建立具有高效查詢速度的索引，達(dá)到高速檢索。 3.支持海量數(shù)據(jù)的快速查詢能夠?qū)⒂脩舻牟樵內(nèi)蝿?wù)分解到平臺(tái)的各個(gè)機(jī)器上，實(shí)現(xiàn)分布式并行計(jì)算，從而高效的利用系統(tǒng)資源，能夠快速響應(yīng)用戶查詢請(qǐng)求。 4.系統(tǒng)具有高度容錯(cuò)性 當(dāng)任意一臺(tái)機(jī)器宕機(jī)，系統(tǒng)能夠自動(dòng)分配新的機(jī)器接替宕機(jī)機(jī)器的任務(wù)，從而實(shí)現(xiàn)系統(tǒng)的高度容錯(cuò)，保證了結(jié)果的正確性。 5.系統(tǒng)具有高度可伸縮性平臺(tái)能夠通過(guò)動(dòng)態(tài)的添加機(jī)器，達(dá)到吞吐量和用戶相應(yīng)時(shí)間的線性增長(zhǎng)。二、數(shù)據(jù)立方介紹 2.1數(shù)據(jù)存儲(chǔ) 在存儲(chǔ)方面，數(shù)據(jù)立方依靠分布式的數(shù)據(jù)存儲(chǔ)架構(gòu)支持海量數(shù)據(jù)的并行入庫(kù)存儲(chǔ)。數(shù)據(jù)立方（DataCube）的結(jié)構(gòu)分為用戶接口、索引、SQL解析器、作業(yè)生成器、元數(shù)據(jù)管理、并行計(jì)算架構(gòu)、分布式文件系統(tǒng)等部分，如下圖所示。 數(shù)據(jù)在入庫(kù)的同時(shí)與數(shù)據(jù)對(duì)應(yīng)的索引也在同時(shí)建立，索引是一顆B+樹，數(shù)據(jù)插入到內(nèi)存的同時(shí)，索引B+樹也在生成，當(dāng)達(dá)到設(shè)置上限時(shí)，數(shù)據(jù)和索引會(huì)刷新到分布式文件系統(tǒng)上成為文件。2015年10月22日0點(diǎn)至18點(diǎn)新增數(shù)據(jù)情況：

公交車GPS表入庫(kù)數(shù)據(jù)量：40,405,499條

出租車GPS表入庫(kù)數(shù)據(jù)量：45,421,637條

智能交通320系統(tǒng)PLATE表入庫(kù)數(shù)據(jù)量：6,229,732條

智能交通320系統(tǒng)RFID表入庫(kù)數(shù)據(jù)量：2,762,288條

潤(rùn)和門戶日志數(shù)據(jù)表：2,193,824條2.2數(shù)據(jù)分析 在數(shù)據(jù)分析方面，數(shù)據(jù)立方(DataCube)是一種用于數(shù)據(jù)分析與索引的技術(shù)架構(gòu)。它是針對(duì)大數(shù)據(jù)的處理利器，可以對(duì)元數(shù)據(jù)進(jìn)行任意多關(guān)鍵字實(shí)時(shí)索引。通過(guò)數(shù)據(jù)立方對(duì)元數(shù)據(jù)進(jìn)行分析之后，可以大大加快數(shù)據(jù)的查詢和檢索效率。在數(shù)據(jù)立方支撐下，可以大大增加數(shù)據(jù)查詢和檢索等業(yè)務(wù)，可以讓系統(tǒng)平臺(tái)具備數(shù)據(jù)實(shí)時(shí)入庫(kù)、實(shí)時(shí)查詢、查詢結(jié)果實(shí)時(shí)傳輸?shù)葍?yōu)勢(shì)。三、實(shí)施效果分析3.1查詢性能 在整個(gè)項(xiàng)目中，車輛記錄數(shù)據(jù)采集后經(jīng)過(guò)數(shù)據(jù)立方實(shí)時(shí)索引，并同時(shí)實(shí)現(xiàn)數(shù)據(jù)冗余。查詢時(shí)，通過(guò)數(shù)據(jù)立方平臺(tái)進(jìn)行并行分布式處理，查詢和檢索經(jīng)過(guò)數(shù)據(jù)立方分析過(guò)后的數(shù)據(jù)方面具有極大的性能優(yōu)勢(shì)。記錄數(shù)(條)車牌號(hào)查詢時(shí)間10萬(wàn)蘇A93***0.76s100萬(wàn)蘇A85***

0.309s1000萬(wàn)蘇AM3***0.147s

1億蘇A08***1.17s

10億蘇AJ2***1.59s30億蘇A67***3.26s3.2容錯(cuò)性 數(shù)據(jù)立方采取主從復(fù)合式的架構(gòu)，依靠Zookeeper從中進(jìn)行調(diào)度，即便其中的一個(gè)節(jié)點(diǎn)出現(xiàn)問(wèn)題，整個(gè)平臺(tái)的管理者會(huì)將該節(jié)點(diǎn)的任務(wù)自動(dòng)轉(zhuǎn)到其它節(jié)點(diǎn)上，不會(huì)影響現(xiàn)有任務(wù)的進(jìn)行，整體架構(gòu)如下圖：依靠于數(shù)據(jù)立方獨(dú)有的備份機(jī)制，對(duì)于出現(xiàn)問(wèn)題的節(jié)點(diǎn)，數(shù)據(jù)立方會(huì)將其備份在其它節(jié)點(diǎn)的數(shù)據(jù)使用起來(lái)，現(xiàn)有的南京數(shù)據(jù)立方項(xiàng)目運(yùn)行良好，即便偶爾有個(gè)別節(jié)點(diǎn)由于硬件問(wèn)題臨時(shí)宕機(jī)，但仍不影響政務(wù)中心每天的數(shù)據(jù)入庫(kù)。3.3擴(kuò)容性 數(shù)據(jù)立方在剛進(jìn)入政務(wù)中心時(shí)只有4個(gè)服務(wù)器節(jié)點(diǎn)，隨著政務(wù)中心接進(jìn)來(lái)的數(shù)據(jù)越來(lái)越多，每天的數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)，磁盤容量問(wèn)題亟待解決。數(shù)據(jù)立方支持在無(wú)宕機(jī)的情況下動(dòng)態(tài)擴(kuò)容，新增加點(diǎn)節(jié)點(diǎn)會(huì)按照一定的規(guī)則自動(dòng)接受新入的數(shù)據(jù)。目前又陸續(xù)添加4個(gè)服務(wù)器節(jié)點(diǎn)，支持動(dòng)態(tài)擴(kuò)容使得數(shù)據(jù)立方的擴(kuò)展性良好。截止2015年10月22日存儲(chǔ)空間使用情況：

3

磁盤使用空間18%

4

磁盤使用空間96%

5

磁盤使用空間97%

1

磁盤使用空間93%

3

磁盤使用空間99%

5

磁盤使用空間87%

6

磁盤使用空間92%四