“大數(shù)據(jù)”的認(rèn)識(shí)與思考22

“大數(shù)據(jù)”的認(rèn)識(shí)與思考22

“大數(shù)據(jù)”的認(rèn)識(shí)與思考

劉姝祎

目錄

1“大數(shù)據(jù)”的時(shí)代背景.................................................3

1.1“大數(shù)據(jù)”的概念..............................................3

1.2“大數(shù)據(jù)”產(chǎn)生的背景..........................................3

1.3“大數(shù)據(jù)”的特征..............................................3

1.4“大數(shù)據(jù)”的進(jìn)展階段.........................................4

1.5“大數(shù)據(jù)”帶來(lái)的機(jī)遇..........................................5

2“大數(shù)據(jù)”的關(guān)鍵技術(shù).................................................7

2.1“大數(shù)據(jù)”的采集與預(yù)處理.....................................7

2.2“大數(shù)據(jù)”存儲(chǔ)技術(shù)..........................................8

2.3“大數(shù)據(jù)”分析技術(shù)...........................................8

2.4“大數(shù)據(jù)”與云計(jì)算............................................9

3大數(shù)據(jù)產(chǎn)業(yè)的應(yīng)用.................................................10

3.1大數(shù)據(jù)產(chǎn)業(yè).................................................10

3.2“大數(shù)據(jù)”在典型領(lǐng)域中的應(yīng)用................................11

3.3智慧城市：立體的大數(shù)據(jù)生態(tài)系統(tǒng).............................12

3.3.1智慧城市的產(chǎn)生........................................12

3.3.2全球智慧城市的實(shí)踐...................................13

3.3.3.中國(guó)智慧城市.........................................14

4問題與挑戰(zhàn).......................................................16

4.1數(shù)據(jù)質(zhì)量...................................................16

4.2數(shù)據(jù)安全...................................................16

4.3用戶隱私與便利性的沖突.....................................16

4.4龐大能耗...................................................16

4.5數(shù)據(jù)分析與管理人才緊缺.....................................17

4.6跟風(fēng)現(xiàn)象較為嚴(yán)重...........................................17

4.7缺少技術(shù)創(chuàng)新水平較高的互聯(lián)網(wǎng)公司...........................17

5對(duì)大數(shù)據(jù)產(chǎn)業(yè)進(jìn)展的建議...........................................18

5.1政府方面...................................................18

5.2企業(yè)方面...................................................19

5.3公眾方面...................................................20

1“大數(shù)據(jù)”的時(shí)代背景

1.1“大數(shù)據(jù)”的概念

1.2“大數(shù)據(jù)”產(chǎn)生的背景

大數(shù)據(jù)的應(yīng)用與技術(shù)是在互聯(lián)網(wǎng)快速進(jìn)展中誕生的，起點(diǎn)可追溯到2000年

前后。當(dāng)時(shí)互聯(lián)網(wǎng)網(wǎng)頁(yè)爆發(fā)式增長(zhǎng)，每天新增約700萬(wàn)個(gè)網(wǎng)頁(yè)，到2000年底

全球網(wǎng)頁(yè)數(shù)達(dá)到40億，用戶檢索信息越來(lái)越不方便。谷歌等公司率先建立了覆

蓋數(shù)十億網(wǎng)頁(yè)的索引庫(kù)，開始提供較為精確的搜索服務(wù)，大大提升了人們使用互

聯(lián)網(wǎng)的效率，這是大數(shù)據(jù)應(yīng)用的起點(diǎn)。當(dāng)時(shí)搜索引擎要存儲(chǔ)與處理的數(shù)據(jù)，不僅

數(shù)量之大前所未有，而且以非結(jié)構(gòu)化數(shù)據(jù)為主，傳統(tǒng)技術(shù)無(wú)法應(yīng)對(duì)。為此，谷歌

提出了一套以分布式為特征的全新技術(shù)體系，即后來(lái)陸續(xù)公開的分布式文件系統(tǒng)

(GFS,GoogleFileSystem)、分布式并行計(jì)算(MapReduce)與分布式數(shù)據(jù)庫(kù)

(BigTable)等技術(shù)，以較低的成本實(shí)現(xiàn)了之前技術(shù)無(wú)法達(dá)到的規(guī)模。這些技術(shù)奠

定了當(dāng)前大數(shù)據(jù)技術(shù)的基礎(chǔ)，能夠認(rèn)為是大數(shù)據(jù)技術(shù)的源頭。

伴隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的崛起，這種創(chuàng)新的海量數(shù)據(jù)處理技術(shù)在電子商務(wù)、定向

廣告、智能推薦、社交網(wǎng)絡(luò)等方面得到應(yīng)用，取得巨大的商業(yè)成功。這啟發(fā)全社

會(huì)開始重新審視數(shù)據(jù)的巨大價(jià)值，因此金融、電信等擁有大量數(shù)據(jù)的行業(yè)開始嘗

試這種新的理念與技術(shù)，取得初步成效。與此同時(shí)，業(yè)界也在不斷對(duì)谷歌提出的

技術(shù)體系進(jìn)行擴(kuò)展，使之能在更多的場(chǎng)景下使用。2011年，麥肯錫、世界經(jīng)濟(jì)

論壇等知名機(jī)構(gòu)對(duì)這種數(shù)據(jù)驅(qū)動(dòng)的創(chuàng)新進(jìn)行了研究總結(jié)，隨即在全世界興起了一

股大數(shù)據(jù)熱潮。

2012年3月，美國(guó)政府公布《大數(shù)據(jù)研究與進(jìn)展計(jì)劃》，同時(shí)組建大數(shù)據(jù)高

級(jí)指導(dǎo)小組，以協(xié)調(diào)政府在數(shù)據(jù)領(lǐng)域的兩億多美元投資。根據(jù)這一計(jì)劃，美國(guó)希

望利用大數(shù)據(jù)技術(shù)再多個(gè)領(lǐng)域?qū)崿F(xiàn)突破，包含科研教學(xué)、環(huán)境保護(hù)、國(guó)土安全等,

此舉標(biāo)志著，美國(guó)把應(yīng)對(duì)大數(shù)據(jù)技術(shù)革命帶來(lái)的機(jī)遇與挑戰(zhàn)，提高到國(guó)家戰(zhàn)略層

面，形成了全體動(dòng)員格局。隨后，英國(guó)、法國(guó)、日本等各國(guó)都相繼將大數(shù)據(jù)計(jì)劃

作為國(guó)家戰(zhàn)略型計(jì)劃提上日程。值得一提的是，由中國(guó)各級(jí)政府主導(dǎo)的大數(shù)據(jù)計(jì)

劃也已經(jīng)全面展開，“大數(shù)據(jù)”已成為推動(dòng)我國(guó)經(jīng)濟(jì)與科技進(jìn)展的重要力量。

1.3“大數(shù)據(jù)”的特征

“大數(shù)據(jù)”具有4V的特點(diǎn)：一是數(shù)據(jù)容量巨大(Volume)。國(guó)際數(shù)據(jù)公司

（IDC）的研究報(bào)告稱，2011年全球被創(chuàng)建與被復(fù)制的數(shù)據(jù)總量為1.8ZB（2的

70次方），并預(yù)測(cè)到2020年，全球?qū)碛?5ZB的數(shù)據(jù)量。二是數(shù)據(jù)類型眾多

（Variety）?相關(guān)于過往以文本形式為主的結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)時(shí)代的數(shù)據(jù)類型

涵蓋了圖片、音頻、視頻、網(wǎng)絡(luò)日志與地理位置信息等種類繁多的半結(jié)構(gòu)化與非

結(jié)構(gòu)化數(shù)據(jù)。三是數(shù)據(jù)價(jià)值密度低（Value）。舉例而言，在一個(gè)連續(xù)監(jiān)控三個(gè)

小時(shí)的視頻中，能夠提供有效信息幫助刑偵人員破案的畫面可能只有三五秒。四

是處理數(shù)據(jù)的速度要求非?？欤╒elocity）。一方面，面對(duì)如此巨大的數(shù)據(jù)量，處

理效率至關(guān)重要，另一方面，越來(lái)越多的處理需要在瞬間完成以便做出及時(shí)的反

應(yīng)。在此基礎(chǔ)上，阿里巴巴延伸至3個(gè)維度一可實(shí)時(shí)性、可解釋性、數(shù)據(jù)準(zhǔn)確性

穩(wěn)固性，這三個(gè)維度是決定數(shù)據(jù)是否有價(jià)值的關(guān)鍵。

1.4“大數(shù)據(jù)”的進(jìn)展階段

每種技術(shù)都有自己的生命周期，Gartner曾經(jīng)指出新技術(shù)生命周期的5個(gè)階

段，即技術(shù)萌芽期（technologytrigger）、期望膨脹期（PeakofInflated

Expectations泡沫化的谷底期（ThroughofDisillusionment）、穩(wěn)步爬升的光明

期（SlopeofEnlightement）,最后才能進(jìn)入成熟使用期（PlateauofProductivity）。

如下圖1-1所示

expectations3DPrinting

BYOD

AWirelessPower

/HybridCloudComputingComptex-EventProcessing

SocialAnalytics

HTML5

PrivateCloudComputing

GamificationApplicationStores

BigDataAugmentedReality

CrowdsourcingIn-MemoryDatabaseManagementSystems

Speech-to-SpeechTranslationActivityStreams

SiliconAnodeBatteriesInternet

TVNFCPayment

Natural-LanguageQuestionAnsweringAudioMinmg/SpeechAnalytics

IInternetofThings

IMobileRobotsCloudComputing

Machine-to-MachineCommunicationServices

AutonomousVehiclesMeshNetworks:Sensor

3DScanners

GestureControlPredictiveAnalytics

AutomaticContentRecognition

SpeechRecognition

ConsumerTelematics

IdeaManagement

VolumetricandHoloaraphicDisplays

BiometricAuthenticationMethods

13DBioprintingIn-MemoryAnalytics

Consumerization

QuantumComputing

TextAnalytics

HumanAugmentationMediaTablets

HomeHealthMonitoringMobileOTAPayment

HostedVirtualDesktops」

VirtualWorlds一

AsofJuly2012

TechnologyTroughofPlateauof

亡鬻方SlopeofEnlightenment

港8ExpectsDisillusionmentProductivity

time

Plateauwillbereachedin:,ohsolet^."

Olessthan2yearsO2to5years?5to10years△more由以？嶼^二￡。出仆6伙算圓庇4。U0

圖1-1大數(shù)據(jù)生命周期圖

而大數(shù)據(jù)正是出于期望膨脹期，估計(jì)通過近兩年的進(jìn)展，大數(shù)據(jù)將會(huì)在2016

年達(dá)到泡沫化的低谷期,之后在5-10年的時(shí)間內(nèi)經(jīng)歷穩(wěn)步爬上的光明期，到2020

年后將會(huì)到達(dá)實(shí)質(zhì)的成熟使用期。

1.5“大數(shù)據(jù)”帶來(lái)的機(jī)遇

（1）新一代信息技術(shù)融合應(yīng)用新焦點(diǎn)

對(duì)大數(shù)據(jù)的處理與分析正成為未來(lái)新一代信息技術(shù)融合應(yīng)用的核心支撐結(jié)

點(diǎn)。物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、數(shù)字家庭、社會(huì)化網(wǎng)絡(luò)等都是新一代信息技術(shù)具體的

應(yīng)用形態(tài)，大數(shù)據(jù)伴隨這些應(yīng)用不斷增長(zhǎng)，云計(jì)算則為這些海量的、多樣化的大

數(shù)據(jù)提供存儲(chǔ)與運(yùn)算的支撐平臺(tái)。以大數(shù)據(jù)為結(jié)點(diǎn)，各項(xiàng)新一代信息技術(shù)應(yīng)用產(chǎn)

生的信息將不斷匯合，并通過對(duì)不一致來(lái)源數(shù)據(jù)的統(tǒng)一性、綜合性的處理、分析

與優(yōu)化，將結(jié)果反饋或者交叉反饋到物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、數(shù)字家庭、社會(huì)化網(wǎng)

絡(luò)等應(yīng)用中，又進(jìn)一步改善使用體驗(yàn)，并制造出巨大的商業(yè)價(jià)值、經(jīng)濟(jì)價(jià)值與社

會(huì)價(jià)值。

（2）信息產(chǎn)業(yè)持續(xù)高速增長(zhǎng)的新引擎

大數(shù)據(jù)因其巨大的商業(yè)價(jià)值與市場(chǎng)需求正在推動(dòng)著信息產(chǎn)業(yè)持續(xù)高速增長(zhǎng)。

隨著行業(yè)用戶對(duì)大數(shù)據(jù)價(jià)值的認(rèn)可程度增加，市場(chǎng)需求將出現(xiàn)井噴，面向大數(shù)據(jù)

市場(chǎng)的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)將會(huì)不斷涌現(xiàn)，大數(shù)據(jù)將為信息產(chǎn)業(yè)打

開一個(gè)高增長(zhǎng)的新市場(chǎng)。

在硬件與集成設(shè)備領(lǐng)域，大數(shù)據(jù)面臨的有效存儲(chǔ)、快速讀寫、實(shí)時(shí)分析等挑

戰(zhàn)，將對(duì)芯片、存儲(chǔ)產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲(chǔ)處理服務(wù)器、

內(nèi)存計(jì)算等市場(chǎng)。在軟件與服務(wù)領(lǐng)域，由于大數(shù)據(jù)中蘊(yùn)含的巨大價(jià)值，帶來(lái)對(duì)數(shù)

據(jù)快速處理與分析的迫切需求，將引發(fā)數(shù)據(jù)挖掘、商業(yè)智能市場(chǎng)的空前繁榮。

（3）用戶提升競(jìng)爭(zhēng)能力的新動(dòng)力

對(duì)大數(shù)據(jù)的利用將成為企業(yè)提高核心競(jìng)爭(zhēng)力、并搶占市場(chǎng)先機(jī)的關(guān)鍵。企業(yè)

的決策正在從“業(yè)務(wù)驅(qū)動(dòng)”轉(zhuǎn)變?yōu)椤皵?shù)據(jù)驅(qū)動(dòng)”。在未來(lái)3到5年，我們將會(huì)看

到那些真正懂得大數(shù)據(jù)并能利用大數(shù)據(jù)進(jìn)行價(jià)值挖掘的企業(yè)與不懂得大數(shù)據(jù)價(jià)

值挖掘企業(yè)之間的差距。真正能夠利用好大數(shù)據(jù)、并將其價(jià)值轉(zhuǎn)化成生產(chǎn)力的企

業(yè)必將具備強(qiáng)勁有力的競(jìng)爭(zhēng)優(yōu)勢(shì)，從而成為行業(yè)的領(lǐng)導(dǎo)者。在零售行業(yè)，對(duì)大數(shù)

據(jù)的分析能夠使零售商實(shí)時(shí)掌握市場(chǎng)動(dòng)態(tài)并迅速做出應(yīng)對(duì)；在互聯(lián)網(wǎng)行業(yè)，對(duì)大

數(shù)據(jù)的分析能夠?yàn)樯碳抑贫ǜ泳珳?zhǔn)有效的營(yíng)銷策略提供決策支持；在服務(wù)行

業(yè)，對(duì)大數(shù)據(jù)的分析能夠幫助企業(yè)為消費(fèi)者提供更加及時(shí)與個(gè)性化的服務(wù)；甚至

在公共事業(yè)領(lǐng)域，大數(shù)據(jù)也開始發(fā)揮促進(jìn)經(jīng)濟(jì)進(jìn)展、保護(hù)社會(huì)穩(wěn)固等不可小覷的

重要作用。

（4）推動(dòng)商業(yè)模式的創(chuàng)新

關(guān)于海量數(shù)據(jù)而言，提供高附加價(jià)值的數(shù)據(jù)分析服務(wù)，將數(shù)據(jù)封裝為服務(wù)形

成可對(duì)外開放、可商業(yè)化的核心能力，實(shí)現(xiàn)商業(yè)模式的創(chuàng)新，才是大數(shù)據(jù)運(yùn)用的

關(guān)鍵所在。關(guān)于政府與企業(yè)而言，至少能夠?qū)嵺`4種商業(yè)模式的創(chuàng)新。第一是客

戶關(guān)系管理的創(chuàng)新，通過大數(shù)據(jù)分析能夠根據(jù)客戶的屬性，從不一致角度深層次

分析客戶、熟悉客戶，推出新的客戶關(guān)系管理平臺(tái)，以增加新的客戶，提高客戶

的忠誠(chéng)度，降低客戶流失率。第二是企業(yè)經(jīng)營(yíng)決策指導(dǎo)的創(chuàng)新。企業(yè)能夠利用用

戶數(shù)據(jù)，有效提升資源利用能力，提高決策的準(zhǔn)確性，從而提升整體運(yùn)營(yíng)效率。

如，沃爾瑪通過分析客戶購(gòu)買產(chǎn)品的種類組合，適時(shí)推出產(chǎn)品聯(lián)合促銷信息，以

提升產(chǎn)品的銷量。第三是個(gè)性化精準(zhǔn)推薦。企業(yè)根據(jù)用戶喜好推薦各類產(chǎn)品與業(yè)

務(wù)，如淘寶根據(jù)分析客戶的檢索數(shù)據(jù)，適時(shí)向客戶推送有關(guān)產(chǎn)品的廣告信息。第

四是創(chuàng)新社會(huì)管理。政府能夠?qū)⒋髷?shù)據(jù)運(yùn)用到交通、應(yīng)對(duì)突發(fā)災(zāi)害、維穩(wěn)等領(lǐng)域

中。如，在大數(shù)據(jù)的幫助下，什么時(shí)間段、哪條路擁堵等問題，都能夠通過分析

得知，通過同一條路上多個(gè)用戶的手機(jī)位移速度，便能夠推斷當(dāng)時(shí)的路況，為擁

堵做出準(zhǔn)確預(yù)警。

2“大數(shù)據(jù)”的關(guān)鍵技術(shù)

“大數(shù)據(jù)”已經(jīng)不僅是數(shù)據(jù)大這一事實(shí)了，更重要的是要對(duì)大數(shù)據(jù)進(jìn)行分析

以獲取更多智能、深入與有價(jià)值的信息。而隨著“大數(shù)據(jù)”在越來(lái)越多的領(lǐng)域得

到應(yīng)用，“大數(shù)據(jù)”也變得越來(lái)越復(fù)雜，因此“大數(shù)據(jù)”處理技術(shù)在大數(shù)據(jù)領(lǐng)域

就顯得尤為重要，能夠說(shuō)是決定最終信息是否有價(jià)值的決定性因素。大數(shù)據(jù)應(yīng)用

分析結(jié)果需要通過數(shù)據(jù)采集、預(yù)處理、存儲(chǔ)、分析與挖掘等多多個(gè)環(huán)節(jié)才能最終

呈現(xiàn)出來(lái)。

2.1“大數(shù)據(jù)”的采集與預(yù)處理

在數(shù)據(jù)分析界有著一個(gè)“拇指法則”，即數(shù)據(jù)分析工作至少有70%~80%的時(shí)

間都花在搜集與準(zhǔn)備數(shù)據(jù)上，而僅有20%~30%的時(shí)間花在分析本身上。隨著新

技術(shù)采集手段的出現(xiàn)，數(shù)據(jù)來(lái)源與數(shù)據(jù)類型變得豐富多彩，企業(yè)與機(jī)構(gòu)采集數(shù)據(jù)

首先需要明確所需的數(shù)據(jù)內(nèi)容，并制定好數(shù)據(jù)分類存儲(chǔ)規(guī)則，以便更有效的采集

數(shù)據(jù)。按照數(shù)據(jù)所有者劃分，企業(yè)數(shù)據(jù)采集源能夠分成3類：一類是企業(yè)與機(jī)構(gòu)

的內(nèi)部數(shù)據(jù)，如系統(tǒng)日志、生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)等；一類是合作機(jī)構(gòu)的內(nèi)部數(shù)據(jù)，能夠

通過設(shè)定好企業(yè)與合作機(jī)構(gòu)的系統(tǒng)接口進(jìn)行采集；還有一類是大量的網(wǎng)絡(luò)公開數(shù)

據(jù)，能夠通過網(wǎng)絡(luò)爬蟲或者者網(wǎng)站公開的應(yīng)用開發(fā)接口(API)將所需信息從網(wǎng)

頁(yè)中采集出來(lái)。目前一些互聯(lián)網(wǎng)企業(yè)與開源社區(qū)開發(fā)的海量數(shù)據(jù)采集工具，如

Facebook的日志采集工具Scribe、淘寶的實(shí)時(shí)數(shù)據(jù)傳輸平臺(tái)TimeTunnel等，均

己能夠滿足每秒數(shù)百M(fèi)B的日志數(shù)據(jù)采集與傳輸需求。

下面就物聯(lián)網(wǎng)及社交網(wǎng)絡(luò)這兩個(gè)“大數(shù)據(jù)”的新型來(lái)源進(jìn)行簡(jiǎn)單的介紹。

(1)“大數(shù)據(jù)”與物聯(lián)網(wǎng)

物聯(lián)網(wǎng)是一個(gè)信息技術(shù)領(lǐng)域的熱詞，其本質(zhì)是傳感器技術(shù)進(jìn)步的產(chǎn)物。遍布

大街小巷的攝像頭，是大家能夠直觀感受到的一種物聯(lián)網(wǎng)形態(tài)。事實(shí)上，傳感器

幾乎無(wú)處不在，現(xiàn)在大家常用的智能手機(jī)中，就包含重力感應(yīng)器、加速度感應(yīng)器、

距離感應(yīng)器、光線感應(yīng)器、陀螺儀、電子羅盤、攝像頭等各類傳感器。這些不一

致類型的傳感器，無(wú)時(shí)無(wú)刻不在產(chǎn)生大量的數(shù)據(jù)，這些成為大數(shù)據(jù)的重要來(lái)源之

一。妥善的利用這些數(shù)據(jù)能夠監(jiān)測(cè)大氣的溫度、壓強(qiáng)、風(fēng)力，監(jiān)測(cè)橋梁、礦井的

安全，監(jiān)測(cè)飛機(jī)、汽車的行駛狀態(tài)等。

(2)“大數(shù)據(jù)”與社交網(wǎng)絡(luò)

社交網(wǎng)絡(luò)是互聯(lián)網(wǎng)進(jìn)展史上一個(gè)重要的里程碑。它把人類真實(shí)的人際關(guān)系完

美地映射到互聯(lián)網(wǎng)空間，并借助互聯(lián)網(wǎng)的特性而大大升華。社交網(wǎng)絡(luò)使得互聯(lián)網(wǎng)

甚至具備某些人類的特質(zhì)，譬如“情緒”：人們分享各自的喜怒哀樂，并相互傳

染傳播。社交網(wǎng)絡(luò)為“大數(shù)據(jù)”帶來(lái)一類最具活力的數(shù)據(jù)類型，人們的喜好與偏

愛。

由于現(xiàn)實(shí)采集的數(shù)據(jù)與大數(shù)據(jù)分析過程中所需的數(shù)據(jù)，會(huì)存在結(jié)構(gòu)不一致或

者不完整的情況，大數(shù)據(jù)預(yù)處理過程能夠通過數(shù)據(jù)提取、轉(zhuǎn)換與加載等操作，對(duì)

采集的數(shù)據(jù)進(jìn)行初步的組織與數(shù)量，從而提高大數(shù)據(jù)分析質(zhì)量與效率。

2.2“大數(shù)據(jù)”存儲(chǔ)技術(shù)

大數(shù)據(jù)存儲(chǔ)需要滿足海量存儲(chǔ)、安全存儲(chǔ)與快速讀取的要求。其中海量存儲(chǔ)

包含數(shù)據(jù)容量與數(shù)據(jù)文件量?jī)蓚€(gè)方面，為保障系統(tǒng)存儲(chǔ)容量能夠以較低成本存儲(chǔ)

海量數(shù)據(jù)并能實(shí)現(xiàn)快速平滑擴(kuò)展，分布式存儲(chǔ)與存儲(chǔ)虛擬化技術(shù)被廣泛使用；為

更好的對(duì)系統(tǒng)中海量文件進(jìn)行有效管理，將數(shù)據(jù)傳輸與數(shù)據(jù)操縱分離開的對(duì)象存

儲(chǔ)架構(gòu)應(yīng)用廣泛。為了保障數(shù)據(jù)安全存儲(chǔ)不丟失，大數(shù)據(jù)存儲(chǔ)過程中會(huì)使用加密

等安全技術(shù)，同時(shí)會(huì)對(duì)數(shù)據(jù)進(jìn)行數(shù)次備份。為了支持?jǐn)?shù)據(jù)的快速讀取與并發(fā)訪問，

分布式存儲(chǔ)與對(duì)象存儲(chǔ)架構(gòu)將會(huì)更有效。目前應(yīng)用廣泛的大數(shù)據(jù)海量文件存儲(chǔ)技

術(shù)要緊有谷歌文件系統(tǒng)（GFS）與基于GFS進(jìn)展的開源Hadoop分布式文件系統(tǒng)

（HDFS）等。

一些大型網(wǎng)站將“數(shù)據(jù)”視為最核心的資產(chǎn)，他們甚至花費(fèi)高昂的費(fèi)用來(lái)

保管這些數(shù)據(jù)，以便加快用戶的訪問速度。谷歌公司購(gòu)買了單獨(dú)的水力發(fā)電站，

為其龐大的數(shù)據(jù)中心提供充足的電力。

2.3“大數(shù)據(jù)”分析技術(shù)

當(dāng)大數(shù)據(jù)的采集與存儲(chǔ)已經(jīng)完成，如何分析數(shù)據(jù)，將這些碎片化的數(shù)據(jù)系統(tǒng)

化，在無(wú)序的數(shù)據(jù)與信息世界里尋找有序的連接，挖掘到可應(yīng)用的價(jià)值，是真正

駕馭大數(shù)據(jù)的重要環(huán)節(jié)。大數(shù)據(jù)的分析技術(shù)，大致包含5個(gè)基本方法理論技術(shù)：

（1）可視化分析

可視化分析能夠直觀的呈現(xiàn)大數(shù)據(jù)特點(diǎn)，簡(jiǎn)單明了易于同意。

（2）數(shù)據(jù)挖掘算法

大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，各類數(shù)據(jù)挖掘的算法基于不一致

的數(shù)據(jù)類型與格式能更加科學(xué)的呈現(xiàn)出數(shù)據(jù)本身具備的特點(diǎn)，而這些數(shù)據(jù)挖掘的

算法能夠快速的處理大數(shù)據(jù)。

（3）預(yù)測(cè)性分析能力

大數(shù)據(jù)分析最重要的應(yīng)用領(lǐng)域之一就是預(yù)測(cè)性分析，從大數(shù)據(jù)中挖掘出特

點(diǎn)，通過科學(xué)的建立模型，之后便能夠通過模型帶入新的數(shù)據(jù)，從而預(yù)測(cè)未來(lái)的

數(shù)據(jù)。

（4）語(yǔ)義引擎

大數(shù)據(jù)分析廣泛應(yīng)用于網(wǎng)絡(luò)數(shù)據(jù)挖掘，可從用戶的搜索關(guān)鍵詞、標(biāo)簽關(guān)鍵詞、

或者其他輸入語(yǔ)義，分析，推斷用戶需求，從而實(shí)現(xiàn)更好的用戶體驗(yàn)與廣告匹配。

（5）數(shù)據(jù)質(zhì)量與數(shù)據(jù)管理

大數(shù)據(jù)分析離不開數(shù)據(jù)質(zhì)量與數(shù)據(jù)管理，高質(zhì)量的數(shù)據(jù)與有效的數(shù)據(jù)管理能

夠保證分析結(jié)果的真實(shí)與有價(jià)值。

2.4“大數(shù)據(jù)”與云計(jì)算

關(guān)于許多組織來(lái)說(shuō)，“大數(shù)據(jù)”對(duì)存儲(chǔ)容量的需求已經(jīng)超出目前的存儲(chǔ)能力。

我們正處于PB級(jí)存儲(chǔ)時(shí)代，而EB及存儲(chǔ)時(shí)代也馬上到來(lái)。大容量的存儲(chǔ)不但

要求系統(tǒng)具備在原有數(shù)據(jù)存儲(chǔ)規(guī)格上進(jìn)行擴(kuò)展的能力，還要簡(jiǎn)單快速的進(jìn)行擴(kuò)

展。

云計(jì)算就為“大數(shù)據(jù)”的誕生提供了集中采集數(shù)據(jù)與存儲(chǔ)數(shù)據(jù)的基礎(chǔ)。云計(jì)

算的出現(xiàn)改變了數(shù)據(jù)的存儲(chǔ)與訪問方式，在云計(jì)算出現(xiàn)之前，數(shù)據(jù)大多分散儲(chǔ)存

在每個(gè)人的個(gè)人計(jì)算機(jī)中、每家企業(yè)的服務(wù)器中。云計(jì)算，特別是公用云計(jì)算，

把所有的數(shù)據(jù)集中存儲(chǔ)到“數(shù)據(jù)中心”，也即所謂的“云端”，用戶通過瀏覽器或

者者專用應(yīng)用程序來(lái)訪問。一些大型的網(wǎng)站，通過提供基于“云”的服務(wù)，積存

大量的數(shù)據(jù)，成為事實(shí)上的“數(shù)據(jù)中心”，這為“大數(shù)據(jù)”誕生奠定了基礎(chǔ)。而

云計(jì)算及其技術(shù)給了人們廉價(jià)獲取巨量計(jì)算與存儲(chǔ)的能力，云計(jì)算分布式架構(gòu)能

夠很好地支持“大數(shù)據(jù)”存儲(chǔ)與處理需求。這樣的低成本硬件+低成本軟件+低

成本運(yùn)維，更加經(jīng)濟(jì)與有用，也使得“大數(shù)據(jù)”處理與利用成為可能。能夠說(shuō)云

計(jì)算為“大數(shù)據(jù)”提供了存儲(chǔ)空間與訪問渠道，“大數(shù)據(jù)”則是云計(jì)算的靈魂與

必定的進(jìn)展方向。而近年來(lái)國(guó)內(nèi)各地也興起了建設(shè)云計(jì)算基地的風(fēng)潮，客觀上為

“大數(shù)據(jù)”在我國(guó)的推廣與應(yīng)用準(zhǔn)備了必備的儲(chǔ)存空間與訪問渠道。

3大數(shù)據(jù)產(chǎn)業(yè)的應(yīng)用

3.1大數(shù)據(jù)產(chǎn)業(yè)

“大數(shù)據(jù)”的應(yīng)用能帶來(lái)巨大的經(jīng)濟(jì)價(jià)值與社會(huì)價(jià)值，關(guān)于產(chǎn)業(yè)進(jìn)展而言，

“大數(shù)據(jù)”能夠?qū)崿F(xiàn)應(yīng)用創(chuàng)新、降低行業(yè)內(nèi)的生產(chǎn)成本并制造新的產(chǎn)業(yè)價(jià)值。咨

詢機(jī)構(gòu)麥肯錫最早提出“大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)”，在2012年公布的《大數(shù)據(jù)：創(chuàng)

新、競(jìng)爭(zhēng)與生產(chǎn)力的下一個(gè)領(lǐng)域》文章上說(shuō)明，在零售業(yè)、制造業(yè)、醫(yī)療衛(wèi)生與

公共部門，“大數(shù)據(jù)”能夠加快產(chǎn)業(yè)規(guī)模的增長(zhǎng)速度，降低生產(chǎn)運(yùn)營(yíng)成本；關(guān)于

企業(yè)而言，使用“大數(shù)據(jù)”能夠提升企業(yè)的競(jìng)爭(zhēng)力，改善企業(yè)的營(yíng)銷規(guī)劃，客戶

定位，產(chǎn)品創(chuàng)新、工作流程優(yōu)化、人力資源管理、物理管理與風(fēng)險(xiǎn)操縱等多方面

的能力。目前，數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)與業(yè)務(wù)職能領(lǐng)域，成為重要的生

產(chǎn)因素，人們關(guān)于海量數(shù)據(jù)的挖掘與運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)與消費(fèi)者盈

余浪潮的到來(lái)。

關(guān)于“大數(shù)據(jù)”產(chǎn)業(yè)，政府與公共事業(yè)部門、行業(yè)企業(yè)、個(gè)人消費(fèi)者是其的

最終用戶。在政府與公共事業(yè)領(lǐng)域，“大數(shù)據(jù)”能夠應(yīng)用到城市規(guī)劃、公共安全、

公共交通、輿情管理等社會(huì)管理與民生服務(wù)領(lǐng)域，帶來(lái)效率提升、響應(yīng)速度加快、

服務(wù)水平提高、管理成本下降等諸多效益。關(guān)于行業(yè)企業(yè)，“大數(shù)據(jù)”能夠應(yīng)用

到產(chǎn)品研發(fā)設(shè)計(jì)、生產(chǎn)運(yùn)作管理、供應(yīng)鏈管理、客戶關(guān)系管理、企業(yè)品牌營(yíng)銷等

各個(gè)環(huán)節(jié)，能夠幫助企業(yè)準(zhǔn)確把握市場(chǎng)需求變動(dòng)、提高產(chǎn)品設(shè)計(jì)與生產(chǎn)效率、提

高供應(yīng)鏈的敏捷性與準(zhǔn)確性、實(shí)現(xiàn)個(gè)性化精準(zhǔn)營(yíng)銷，同時(shí)也促進(jìn)IT技術(shù)的創(chuàng)新。

關(guān)于個(gè)人消費(fèi)者，通過“大數(shù)據(jù)”的應(yīng)用服務(wù)將使信息變得更加泛在，從家庭生

活、出行、消費(fèi)、娛樂、旅游、學(xué)習(xí)等方方面面拓展民眾生活空間、提高民眾的

生活品質(zhì)。

總結(jié)以往，“大數(shù)據(jù)”的應(yīng)用價(jià)值能夠分為感知現(xiàn)在與預(yù)知未來(lái)兩部分。

(1)感知現(xiàn)在

通過對(duì)歷史數(shù)據(jù)與當(dāng)前數(shù)據(jù)的融合，與潛在模式挖掘，力求達(dá)到對(duì)事物對(duì)群

體與社會(huì)進(jìn)展當(dāng)前狀態(tài)進(jìn)行更全面、更精確、更理性的認(rèn)知。這種認(rèn)知能夠是宏

觀的，也能夠是微觀的。宏觀方面能夠?qū)B級(jí)社會(huì)媒體數(shù)據(jù)、百億級(jí)日志數(shù)據(jù)

繼續(xù)擰分析挖掘，掌握宏觀現(xiàn)狀，如環(huán)境指數(shù)，健康指數(shù)等。在微觀方面能夠利

用PB級(jí)的日志數(shù)據(jù)與EB級(jí)的監(jiān)控?cái)?shù)據(jù)，挖掘潛在線索，如犯罪行為軌跡等。

(2)預(yù)測(cè)未來(lái)

通過對(duì)“大數(shù)據(jù)”彼此之間的關(guān)聯(lián)分析，演化態(tài)勢(shì)與效應(yīng)的判定與調(diào)控，揭

示事物進(jìn)展的演變規(guī)律，繼而對(duì)是事物進(jìn)展趨勢(shì)進(jìn)行預(yù)測(cè)。如基于twitter等網(wǎng)

上公開數(shù)據(jù)的實(shí)時(shí)感知、動(dòng)態(tài)獲取與綜合分析，結(jié)合仿真調(diào)控，預(yù)測(cè)大選結(jié)果；

聯(lián)合國(guó)“全球脈動(dòng)”利用網(wǎng)絡(luò)大數(shù)據(jù)預(yù)測(cè)失業(yè)率與疾病暴發(fā)等現(xiàn)象，利用數(shù)字化

的早起預(yù)警信號(hào)來(lái)提早指導(dǎo)援助項(xiàng)目，以免某個(gè)脫貧地區(qū)重新陷入貧困。這些都

說(shuō)明了正確的大數(shù)據(jù)應(yīng)用關(guān)于準(zhǔn)確預(yù)測(cè)事件進(jìn)展趨勢(shì)具有重大的價(jià)值，人們能夠

給予“大數(shù)據(jù)”更好的進(jìn)行科學(xué)決策與事前準(zhǔn)備，未來(lái)“大數(shù)據(jù)”預(yù)測(cè)技術(shù)將會(huì)

更廣泛的運(yùn)用到人們的日常生活中，變革人們的生活。

3.2“大數(shù)據(jù)”在典型領(lǐng)域中的應(yīng)用

當(dāng)前“大數(shù)據(jù)”已經(jīng)在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域，與軍事、金融、

通訊等行業(yè)有所應(yīng)用并帶來(lái)了巨大的產(chǎn)業(yè)價(jià)值。下列本文將舉出實(shí)際案例以介紹

“大數(shù)據(jù)”在各個(gè)領(lǐng)域的具體應(yīng)用。

在IT領(lǐng)域，一個(gè)典型的案例就是eBay通過數(shù)據(jù)分析技術(shù)能夠精確計(jì)算出廣

告中的每一個(gè)關(guān)鍵字為公司帶來(lái)的回報(bào)，通過對(duì)廣告投放的優(yōu)化，自2007年以

來(lái)eBay產(chǎn)品銷售的廣告費(fèi)降低了99%,而頂級(jí)賣家占總銷售額的百分比卻上升

至32%。

在經(jīng)濟(jì)領(lǐng)域，大數(shù)據(jù)在經(jīng)濟(jì)領(lǐng)域的應(yīng)用能夠通過這樣一個(gè)有趣的案例進(jìn)行說(shuō)

明，社交媒體檢測(cè)平臺(tái)DataSift檢測(cè)了社交網(wǎng)絡(luò)Facebook首次公開募股當(dāng)天

Twitter上的情感傾向與Facebook股價(jià)波動(dòng)的關(guān)聯(lián)。在Feebook開盤前，Twitter

上的情感逐步轉(zhuǎn)向負(fù)向，25分鐘之后twitter的股價(jià)就開始下跌，當(dāng)twitter上的

情感轉(zhuǎn)向正面時(shí)，F(xiàn)acebook的股價(jià)在8分鐘后也開始回彈，最終當(dāng)股市接近收

盤，twitter上的情感轉(zhuǎn)向負(fù)面時(shí)，10分鐘口Facebook的股價(jià)又開始下跌，該機(jī)

構(gòu)得出結(jié)論，Twitter上每一次情感傾向的轉(zhuǎn)向都會(huì)Facebook股價(jià)的波動(dòng)高度關(guān)

聯(lián)。這證實(shí)以大數(shù)據(jù)預(yù)測(cè)未來(lái)股價(jià)走向的典型案例。

氣象預(yù)測(cè)方面，一家美國(guó)公司把氣象數(shù)據(jù)放在亞馬遜的“云平臺(tái)”上進(jìn)行處

理，與時(shí)提供氣象預(yù)報(bào)的方式，保證當(dāng)?shù)氐霓r(nóng)牧業(yè)主在特定的地區(qū)與特定的季節(jié)

不可能遭受天氣災(zāi)害，由此獲得了豐厚的利潤(rùn)。

智能交通方面，根據(jù)路網(wǎng)監(jiān)控，火車票及飛機(jī)票的預(yù)定，與網(wǎng)上地圖查詢記

錄，能夠提早預(yù)測(cè)某個(gè)城市的出行人數(shù)的大致規(guī)模，再結(jié)合交通部門的其他信息,

便能夠預(yù)測(cè)出群體出行的態(tài)勢(shì)，對(duì)其可能的出行時(shí)間、出行路線、出行方式等進(jìn)

行預(yù)測(cè)，從而為城市交通調(diào)度提供決策幫助。

軍事領(lǐng)域，美國(guó)“2049項(xiàng)目研究所”于2008年在華盛頓成立，2010年它利

用網(wǎng)絡(luò)上公開的數(shù)據(jù)與資料，分析與預(yù)測(cè)我國(guó)在軍事與經(jīng)濟(jì)領(lǐng)域的安全問題，公

布了一份名為《中國(guó)核彈頭存放與使用系統(tǒng)》的報(bào)告，稱在陜西、江西、四川等

地發(fā)現(xiàn)了中國(guó)的核武器基地，甚至還精確到了核基地所在的市縣名稱。2013年3

月，他們還公布了一份關(guān)于中國(guó)無(wú)人機(jī)項(xiàng)目的研究報(bào)告，較全面的分析了中國(guó)無(wú)

人機(jī)的研制、進(jìn)展、裝備與作戰(zhàn)部署情況。

以上都是“大數(shù)據(jù)”在一些實(shí)際領(lǐng)域的應(yīng)用，未來(lái)“大數(shù)據(jù)”將會(huì)在更多的

領(lǐng)域得到應(yīng)用，決策行為將會(huì)基于數(shù)據(jù)分析做出，通過對(duì)數(shù)據(jù)的整理與分析，政

府與企業(yè)能夠預(yù)測(cè)個(gè)體下一步的需求，繼而提供更加智能與高效率的管理與服

務(wù)。

3.3智慧城市：立體的大數(shù)據(jù)生態(tài)系統(tǒng)

智慧城市是城鎮(zhèn)化進(jìn)展的高級(jí)階段，是城市信息化的新形式，是現(xiàn)代城市進(jìn)

展的愿景。智慧城市在產(chǎn)生大數(shù)據(jù)的同時(shí)，“大數(shù)據(jù)”也支撐著智慧城市的建設(shè)

與進(jìn)展，而智慧城市的衡量指標(biāo)是由“大數(shù)據(jù)”表達(dá)的?！按髷?shù)據(jù)”挖掘?qū)χ腔?/p>

城市的經(jīng)濟(jì)進(jìn)展與社會(huì)管理是無(wú)形的生產(chǎn)資料，“大數(shù)據(jù)”合理利用將制造巨大

財(cái)富。在未來(lái)，大數(shù)據(jù)將成為保護(hù)城市運(yùn)行的基本要素，智慧城市在“大數(shù)據(jù)”

的支撐下，成為立體的大數(shù)據(jù)生態(tài)系統(tǒng)，促進(jìn)城市的進(jìn)展。

3.3.1智慧城市的產(chǎn)生

隨著城市規(guī)模的增大、城市人口的增多，人們對(duì)住房、教育、交通、醫(yī)療保

險(xiǎn)等的需求的也在不斷膨脹。諸如高房?jī)r(jià)、堵車、霧霾等“城市病”也越來(lái)越多，

傳統(tǒng)的管理手段已變得捉襟見肘，而信息化能夠說(shuō)是抗擊“城市病”的有效手段。

伴隨著網(wǎng)絡(luò)帝國(guó)的崛起、移動(dòng)技術(shù)的融合進(jìn)展與創(chuàng)新的民主化進(jìn)程，知識(shí)社

會(huì)環(huán)境中的智慧城市是繼智能城市之后信息化城市進(jìn)展的高級(jí)形態(tài)。利用城市管

理中產(chǎn)生的大量信息與數(shù)據(jù)，積極促進(jìn)城市機(jī)構(gòu)之間的實(shí)時(shí)溝通與協(xié)助，分析原

因，制定計(jì)策，有效平衡社會(huì)、商業(yè)與環(huán)境進(jìn)展需要，優(yōu)化現(xiàn)有的可用資源，以

最優(yōu)化的方式為城市公民提供全面又超前的服務(wù)，積極提高公民的生活幸福感一

這種高效、智能且可持續(xù)的城市管理被稱之智慧城市。能夠說(shuō)大數(shù)據(jù)是智慧城市

實(shí)現(xiàn)智慧化的關(guān)鍵支撐，成為驅(qū)動(dòng)智慧城市進(jìn)展的動(dòng)力。

智慧城市使用以物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等為核心的新一代信息技術(shù)，集成

城市的組織（人）、業(yè)務(wù)（政務(wù)）、交通、通信、能源等城市運(yùn)行中的各個(gè)核心系

統(tǒng)，使整個(gè)城市成為以一種更有智慧的方式運(yùn)行的宏大的智慧城市系統(tǒng)，對(duì)保障

城市正常運(yùn)行的每個(gè)系統(tǒng)進(jìn)行全面的監(jiān)測(cè)、管理、預(yù)警與處置，快速、智能地響

應(yīng)城市管理者與市民的各類需求，提高城市運(yùn)行效率，提高政府決策力。

建設(shè)智慧城市是城市進(jìn)展的新范式與新戰(zhàn)略，是當(dāng)今世界城市進(jìn)展的趨勢(shì)與

特征。建設(shè)智慧城市對(duì)抗擊“城市病”具有強(qiáng)烈的現(xiàn)實(shí)意義。首先智慧化運(yùn)營(yíng)通

過運(yùn)用來(lái)自城市多個(gè)部門的信息，進(jìn)行數(shù)據(jù)聚集與規(guī)范化后，識(shí)別出有關(guān)的重要

事件，以提升服務(wù)質(zhì)量。其次，智慧化運(yùn)營(yíng)能夠預(yù)測(cè)城市進(jìn)展的問題與危機(jī)，最

大限度降低對(duì)城市居民的影響。如通過可視化重要事件與警報(bào)、地理信息等數(shù)據(jù),

識(shí)別出模式與趨勢(shì)，保證行動(dòng)有根據(jù)，主動(dòng)觸發(fā)預(yù)設(shè)的預(yù)案以加快響應(yīng)，減少服

務(wù)中斷概率，避免城市內(nèi)大型事故擴(kuò)大升級(jí)，減少災(zāi)害的影響。最后，智慧城市

可實(shí)現(xiàn)通過協(xié)調(diào)不一致部門的資源，以提高更快、更有效的影響?！按髷?shù)據(jù)”的

智慧化幫助管理者跨部門決策、協(xié)調(diào)，提高公共服務(wù)交付效率，減少應(yīng)對(duì)突發(fā)災(zāi)

害的響應(yīng)時(shí)間。

3.3.2全球智慧城市的實(shí)踐

全球在智慧城市的實(shí)踐中展現(xiàn)了各自不一致的設(shè)計(jì)理念：

美國(guó)在智慧城市建設(shè)方面選擇智能電網(wǎng)進(jìn)行突破，注重于商業(yè)機(jī)構(gòu)的合作，

利用UrbanSim等智能化的城市仿真系統(tǒng)對(duì)城市空間進(jìn)展進(jìn)行優(yōu)化。在美國(guó)2009

年的經(jīng)濟(jì)復(fù)蘇計(jì)劃中，有項(xiàng)高達(dá)110億美元的投資，用于建設(shè)可安裝各類操縱設(shè)

備的新一代智能電網(wǎng)。

日本在2009年7月推出“智慧日本戰(zhàn)略2015”，旨在將數(shù)字信息技術(shù)融入

生活的方方面面，聚焦于電子化政府治理、醫(yī)療健康信息服務(wù)、教育與人才培養(yǎng)

3大公共事業(yè)。

韓國(guó)政府于2004年提出了“U-韓國(guó)”進(jìn)展戰(zhàn)略，通過多年的實(shí)踐，首爾、

釜山等一些城市已進(jìn)入“泛在城市”時(shí)代?！胺涸诔鞘小币浴敖ㄔO(shè)尖端信息城市,

提高市民生活質(zhì)量與城市競(jìng)爭(zhēng)力”為目標(biāo)，利用無(wú)線傳感器網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)城市設(shè)

施、安全、交通、環(huán)境等方面的智能化管理與操縱。

根據(jù)國(guó)際數(shù)據(jù)公司估計(jì)，2011年，全球新型智慧城市信息技術(shù)的市場(chǎng)規(guī)模

達(dá)到340億美元，并將以每年超過18%的速度增長(zhǎng)，到2014年將達(dá)到570億美

7Lio

3.3.3.中國(guó)智慧城市

2012年11月，住房與城鄉(xiāng)建設(shè)部辦公廳公布《關(guān)于開展國(guó)家智慧城市試點(diǎn)

工作的通知》，將建設(shè)智慧城市作為貫徹黨中央、國(guó)務(wù)院關(guān)于創(chuàng)新驅(qū)動(dòng)進(jìn)展、推

動(dòng)新型城鎮(zhèn)化、全面建成小康社會(huì)的重要舉措，要求各地高度重視，抓住機(jī)遇，

通過積極開展智慧城市建設(shè),提升城市管理能力與服務(wù)水平,促進(jìn)產(chǎn)業(yè)轉(zhuǎn)型進(jìn)展。

截至2012年7月，中國(guó)共有150多個(gè)城市提出建設(shè)或者正在建設(shè)智慧城市,

其中，北京、上海、廣州等城市是智慧城市創(chuàng)建進(jìn)程的領(lǐng)跑者。總體上說(shuō)，中國(guó)

東部地區(qū)智慧城市建設(shè)重點(diǎn)在于以信息技術(shù)促進(jìn)轉(zhuǎn)變經(jīng)濟(jì)進(jìn)展方式，提高社會(huì)管

理水平，提升城市競(jìng)爭(zhēng)力，塑造城市品牌。中西部地區(qū)智慧城市的建設(shè)更加注重

對(duì)城市的宣傳推廣作用，力爭(zhēng)通過智慧城市建設(shè)促進(jìn)投資軟硬件環(huán)境的改善，加

強(qiáng)招商引資。

中國(guó)智慧城市建設(shè)分為前期基礎(chǔ)設(shè)施建設(shè)、中期數(shù)據(jù)處理設(shè)施建設(shè)與后期的

服務(wù)平臺(tái)建設(shè)。就智慧城市的建設(shè)內(nèi)容來(lái)看，一方面是加強(qiáng)城市基礎(chǔ)通信網(wǎng)絡(luò)建

設(shè)，提高通信網(wǎng)絡(luò)帶寬及覆蓋率；另一方面是在一個(gè)云計(jì)算平臺(tái)之上提供智慧應(yīng)

用服務(wù)，如智慧交通、智慧醫(yī)療等。有關(guān)的建設(shè)涉及通信設(shè)備制造企業(yè)、系統(tǒng)集

成企業(yè)、數(shù)據(jù)采集分析企業(yè)、通信運(yùn)營(yíng)商與數(shù)據(jù)服務(wù)企業(yè)，對(duì)整個(gè)產(chǎn)業(yè)鏈將起到

巨大的拉動(dòng)作用。

中國(guó)智慧城市建設(shè)有三種模式：一種是以物聯(lián)網(wǎng)產(chǎn)業(yè)進(jìn)展為驅(qū)動(dòng)的建設(shè)模

式，如天津、廣州等；一種是以信息基礎(chǔ)設(shè)施建設(shè)為先導(dǎo)的建設(shè)模式，如上海、

南京等；一種是以社會(huì)服務(wù)與管理應(yīng)用為突破口的建設(shè)模式，如北京、武漢等。

在中國(guó)智慧城市建設(shè)中，應(yīng)當(dāng)注意下列幾點(diǎn)：

(1)要因城而異，不能照搬西方的模式。智慧城市建設(shè)目標(biāo)的確立要符合

城市當(dāng)前的進(jìn)展階段，解決居民最迫切需要解決的問題，走出中國(guó)智慧城市建設(shè)

的差異化道路。

(2)注重政府統(tǒng)籌，打破行業(yè)、地域壁壘，建立智慧城市大數(shù)據(jù)的共建共

享機(jī)制。

(3)大力推動(dòng)智慧城市的創(chuàng)新應(yīng)用，實(shí)現(xiàn)創(chuàng)新示范項(xiàng)目應(yīng)用的落地。

(4)完善智慧城市建設(shè)中大數(shù)據(jù)信息安全的基礎(chǔ)建設(shè)及管理體制，從技術(shù)、

管理與法律等多方面保證智慧城市建設(shè)的正常運(yùn)行。

4問題與挑戰(zhàn)

“大數(shù)據(jù)”對(duì)社會(huì)的好處是無(wú)窮無(wú)盡的，它在一定程度上解決可迫在眉睫的

全球問題，如處理氣候變化、根除疾病等，然而“大數(shù)據(jù)”在帶來(lái)大知識(shí)、大進(jìn)

展、大價(jià)值的同時(shí)，也潛藏著巨大的風(fēng)險(xiǎn)。

4.1數(shù)據(jù)質(zhì)量

真實(shí)準(zhǔn)確是數(shù)據(jù)的生命，組織假如沒有能力獲得真實(shí)數(shù)據(jù)，數(shù)據(jù)規(guī)模再大、

數(shù)據(jù)分析技術(shù)再先進(jìn)也是徒勞。另外由于受到城鄉(xiāng)差異、地域差異等的影響，社

會(huì)上弱勢(shì)群體的信息占有與表達(dá)處于弱勢(shì)，這就造成了數(shù)據(jù)鴻溝的存在。而數(shù)據(jù)

造假、數(shù)據(jù)鴻溝等問題在大數(shù)據(jù)時(shí)代依然存在，偏見與盲區(qū)存在于大數(shù)據(jù)中，大

數(shù)據(jù)得出的結(jié)論并不是完全客觀、準(zhǔn)確的，它并不能提供價(jià)值推斷，也不能完全

取代人的經(jīng)驗(yàn)與直覺。認(rèn)清這個(gè)事實(shí)，能夠幫助我們?cè)谶\(yùn)用大數(shù)據(jù)的過程中，更

科學(xué)的解讀數(shù)據(jù)。

4.2數(shù)據(jù)安全

數(shù)據(jù)安全在大數(shù)據(jù)時(shí)代也同樣面臨挑戰(zhàn)。大數(shù)據(jù)進(jìn)展的趨勢(shì)往往與加大信息

開放、設(shè)計(jì)新的信息收集設(shè)備與為海量數(shù)據(jù)的龐大存續(xù)與分析需求提供支持的云

計(jì)算等如影隨形。帶來(lái)的副作用是IT基礎(chǔ)架構(gòu)將變得越來(lái)越一體化與外向型，

對(duì)數(shù)據(jù)安全與知識(shí)產(chǎn)權(quán)構(gòu)成更大風(fēng)險(xiǎn)。

4.3用戶隱私與便利性的沖突

“大數(shù)據(jù)”對(duì)個(gè)人信息獲取渠道的拓寬的需求引發(fā)了另一個(gè)重要問題：隱私

與便利性之間的沖突。研究說(shuō)明，消費(fèi)者受惠于海量數(shù)據(jù)：更低的價(jià)格、更符合

消費(fèi)者需要的商品，與從改善健康狀況到提高社會(huì)互動(dòng)順暢度等生活質(zhì)量的提

高。但同時(shí)，隨著個(gè)人購(gòu)買偏好、健康與財(cái)務(wù)情況的海量數(shù)據(jù)被收集，人們對(duì)隱

私的擔(dān)憂也在增大。這需要政府與企業(yè)從政策、技術(shù)與法律等多個(gè)方向進(jìn)行思考

與應(yīng)對(duì)。

4.4龐大能耗

向來(lái)被人們認(rèn)為是綠色環(huán)保的信息產(chǎn)業(yè)事實(shí)上是污染與耗能大戶，調(diào)查結(jié)果

發(fā)現(xiàn)，數(shù)據(jù)中心浪費(fèi)的電力高達(dá)總能耗的90%以上。業(yè)內(nèi)專家估計(jì)，全球范圍內(nèi)

所有數(shù)據(jù)中心的總功率高達(dá)3000萬(wàn)千瓦，幾乎等于30座核電站的發(fā)電量。盡管

現(xiàn)在已經(jīng)有許多辦法幫助數(shù)據(jù)中心降低能耗，但出于對(duì)風(fēng)險(xiǎn)的恐懼，多數(shù)公司不

愿作出任何改變。目前，中國(guó)多個(gè)地區(qū)已經(jīng)開始或者計(jì)劃興建大型數(shù)據(jù)中心，在

建設(shè)過程中應(yīng)提早考慮能耗問題，以免重蹈覆轍。

4.5數(shù)據(jù)分析與管理人才緊缺

人才是大數(shù)據(jù)帶來(lái)的挑戰(zhàn)之一。研究說(shuō)明，單單在美國(guó)，對(duì)擁有深厚的海量

數(shù)據(jù)分析（包含機(jī)器學(xué)習(xí)與高級(jí)統(tǒng)計(jì)分析）技能人才的需求，可能超出目前預(yù)測(cè)

供應(yīng)量的50-60%o到2018年，需要新增多達(dá)14-19萬(wàn)名專家。止匕外，還需要150

萬(wàn)名熟悉如何應(yīng)用海量數(shù)據(jù)的管理者與分析員。企業(yè)與政府務(wù)必加大招聘與人才

挽留力度，同時(shí)大力投入關(guān)鍵數(shù)據(jù)人員的教育與培訓(xùn)。

4.6跟風(fēng)現(xiàn)象較為嚴(yán)重

目前大數(shù)據(jù)應(yīng)用市場(chǎng)還沒有很大，要等到數(shù)據(jù)、技術(shù)與系統(tǒng)的準(zhǔn)備有了一定

的突破之后才會(huì)出現(xiàn)飛速的進(jìn)展，但是從現(xiàn)在工業(yè)界進(jìn)展的情境看來(lái)，很多企業(yè)

出現(xiàn)了跟風(fēng)上項(xiàng)目、跟風(fēng)賣產(chǎn)品的現(xiàn)象。在現(xiàn)今“大數(shù)據(jù)”的進(jìn)展情境看來(lái)，政

府與企業(yè)要做到結(jié)合行業(yè)與產(chǎn)業(yè)的特點(diǎn)進(jìn)行整體的規(guī)劃，之后逐步實(shí)施，做到不

慌張、不跟風(fēng)也不要坐失良機(jī)。

4.7缺少技術(shù)創(chuàng)新水平較高的互聯(lián)網(wǎng)公司

從全球來(lái)看，大數(shù)據(jù)技術(shù)創(chuàng)新水平分布極不均衡，如谷歌、Facebook、IBM

公司的技術(shù)遙遙領(lǐng)先于我國(guó)企業(yè)，總體來(lái)說(shuō)，國(guó)際形成了“原創(chuàng)技術(shù)-開源軟件-

商用產(chǎn)品”的技術(shù)創(chuàng)新鏈條，并以此為基礎(chǔ)初步衍生了從存儲(chǔ)與計(jì)算平臺(tái)、數(shù)據(jù)

分析軟件到大數(shù)據(jù)云服務(wù)的產(chǎn)業(yè)生態(tài)。我國(guó)未來(lái)大數(shù)據(jù)的進(jìn)展必定會(huì)受到技術(shù)水

平的影響，如何加大創(chuàng)新投入力度，提高我國(guó)大數(shù)據(jù)技術(shù)水平成為未來(lái)我國(guó)大數(shù)

據(jù)產(chǎn)業(yè)進(jìn)展的一大問題。

5對(duì)大數(shù)據(jù)產(chǎn)業(yè)進(jìn)展的建議

展望未來(lái)，大數(shù)據(jù)進(jìn)展的序幕剛剛拉起，冷靜的思考是十分必要的，大數(shù)據(jù)

在更多領(lǐng)域落地實(shí)施還是要經(jīng)歷一個(gè)較長(zhǎng)期的過程，而在這個(gè)過程中離不開政

府、企業(yè)與公