“大數(shù)據(jù)”的認識與思考

“大數(shù)據(jù)”的認識與思考劉姝祎目錄1“大數(shù)據(jù)”的時代背景 41.1“大數(shù)據(jù)”的概念 41.2“大數(shù)據(jù)”產(chǎn)生的背景 41.3“大數(shù)據(jù)”的特征 51.4“大數(shù)據(jù)”的發(fā)展階段 51.5“大數(shù)據(jù)”帶來的機遇 62“大數(shù)據(jù)”的關鍵技術 92.1“大數(shù)據(jù)”的采集和預處理 92.2“大數(shù)據(jù)”存儲技術 102.3“大數(shù)據(jù)”分析技術 102.4“大數(shù)據(jù)”與云計算 113大數(shù)據(jù)產(chǎn)業(yè)的應用 123.1大數(shù)據(jù)產(chǎn)業(yè) 123.2“大數(shù)據(jù)”在典型領域中的應用 133.3智慧城市：立體的大數(shù)據(jù)生態(tài)系統(tǒng) 14智慧城市的產(chǎn)生 14全球智慧城市的實踐 15中國智慧城市 164問題與挑戰(zhàn) 184.1數(shù)據(jù)質量 184.2數(shù)據(jù)安全 184.3用戶隱私與便利性的沖突 184.4龐大能耗 184.5數(shù)據(jù)分析與管理人才緊缺 194.6跟風現(xiàn)象較為嚴重 194.7缺少技術創(chuàng)新水平較高的互聯(lián)網(wǎng)公司 195對大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的建議 205.1政府方面 205.2企業(yè)方面 215.3公眾方面 221“大數(shù)據(jù)”的時代背景1.1“大數(shù)據(jù)”的概念紐約時報在2012年宣布“大數(shù)據(jù)時代”已經(jīng)降臨，“大數(shù)據(jù)”成為了時下最火熱的詞匯。顧名思義，大數(shù)據(jù)是“無法任意時間內用常規(guī)軟件工具對其內容進行抓取、管理和處理的大量而復雜的數(shù)據(jù)集合”。Gartner認為大數(shù)據(jù)是“需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)”。“大數(shù)據(jù)”的要義是盡可能地收集眾多可以相互疊加補充的信息，據(jù)以完成對“未來”的預測。這些數(shù)據(jù)可能有些混亂，甚至會出現(xiàn)紕漏，但數(shù)據(jù)量的“多“和時間的“即刻”可以彌補數(shù)據(jù)質量的瑕疵，“大數(shù)據(jù)”將以最快的速度“預測”出最“可靠”的答案，指引人們迅速采取行動。1.2“大數(shù)據(jù)”產(chǎn)生的背景大數(shù)據(jù)的應用和技術是在互聯(lián)網(wǎng)快速發(fā)展中誕生的， 起點可追溯到 2000年前后。當時互聯(lián)網(wǎng)網(wǎng)頁爆發(fā)式增長，每天新增約700萬個網(wǎng)頁，到2000年底全球網(wǎng)頁數(shù)達到40億，用戶檢索信息越來越不方便。谷歌等公司率先建立了覆蓋數(shù)十億網(wǎng)頁的索引庫，開始提供較為精確的搜索服務，大大提升了人們使用互聯(lián)網(wǎng)的效率，這是大數(shù)據(jù)應用的起點。當時搜索引擎要存儲和處理的數(shù)據(jù)，不僅數(shù)量之大前所未有，而且以非結構化數(shù)據(jù)為主，傳統(tǒng)技術無法應對。為此，谷歌提出了一套以分布式為特征的全新技術體系，即后來陸續(xù)公開的分布式文件系統(tǒng)(GFS，GoogleFileSystem)、分布式并行計算(MapReduce)和分布式數(shù)據(jù)庫(BigTable)等技術，以較低的成本實現(xiàn)了之前技術無法達到的規(guī)模。這些技術奠定了當前大數(shù)據(jù)技術的基礎，可以認為是大數(shù)據(jù)技術的源頭。伴隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的崛起，這種創(chuàng)新的海量數(shù)據(jù)處理技術在電子商務、定向廣告、智能推薦、社交網(wǎng)絡等方面得到應用，取得巨大的商業(yè)成功。這啟發(fā)全社會開始重新審視數(shù)據(jù)的巨大價值，于是金融、電信等擁有大量數(shù)據(jù)的行業(yè)開始嘗試這種新的理念和技術，取得初步成效。與此同時，業(yè)界也在不斷對谷歌提出的技術體系進行擴展，使之能在更多的場景下使用。2011年，麥肯錫、世界經(jīng)濟論壇等知名機構對這種數(shù)據(jù)驅動的創(chuàng)新進行了研究總結，隨即在全世界興起了一股大數(shù)據(jù)熱潮。2012年3月，美國政府發(fā)布《大數(shù)據(jù)研究和發(fā)展計劃》 ，同時組建大數(shù)據(jù)高級指導小組，以協(xié)調政府在數(shù)據(jù)領域的兩億多美元投資。根據(jù)這一計劃，美國希望利用大數(shù)據(jù)技術再多個領域實現(xiàn)突破，包括科研教學、環(huán)境保護、國土安全等，此舉標志著，美國把應對大數(shù)據(jù)技術革命帶來的機遇和挑戰(zhàn)，提高到國家戰(zhàn)略層面，形成了全體動員格局。隨后，英國、法國、日本等各國都相繼將大數(shù)據(jù)計劃作為國家戰(zhàn)略型計劃提上日程。值得一提的是，由中國各級政府主導的大數(shù)據(jù)計劃也已經(jīng)全面展開，“大數(shù)據(jù)”已成為推動我國經(jīng)濟和科技發(fā)展的重要力量。1.3“大數(shù)據(jù)”的特征“大數(shù)據(jù)”具有 4V的特點：一是數(shù)據(jù)容量巨大（ Volume）。國際數(shù)據(jù)公司（IDC）的研究報告稱，2011年全球被創(chuàng)建和被復制的數(shù)據(jù)總量為1.8ZB（2的70次方），并預測到2020年，全球將擁有 35ZB的數(shù)據(jù)量。二是數(shù)據(jù)類型眾多Variety）。相對于過往以文本形式為主的結構化數(shù)據(jù)，大數(shù)據(jù)時代的數(shù)據(jù)類型涵蓋了圖片、音頻、視頻、網(wǎng)絡日志和地理位置信息等種類繁多的半結構化和非結構化數(shù)據(jù)。三是數(shù)據(jù)價值密度低（Value）。舉例而言，在一個連續(xù)監(jiān)控三個小時的視頻中，能夠提供有效信息幫助刑偵人員破案的畫面可能只有三五秒。四是處理數(shù)據(jù)的速度要求非常快（Velocity）。一方面，面對如此巨大的數(shù)據(jù)量，處理效率至關重要，另一方面，越來越多的處理需要在瞬間完成以便做出及時的反應。在此基礎上，阿里巴巴延伸至3個維度—可實時性、可解釋性、數(shù)據(jù)準確性穩(wěn)定性，這三個維度是決定數(shù)據(jù)是否有價值的關鍵。1.4“大數(shù)據(jù)”的發(fā)展階段每種技術都有自己的生命周期，Gartner曾經(jīng)指出新技術生命周期的5個階段，即技術萌芽期（technologytrigger）、期望膨脹期（PeakofInflatedExpectations）、泡沫化的谷底期 （ThroughofDisillusionment）、穩(wěn)步爬升的光明期（SlopeofEnlightement），最后才能進入成熟使用期 （PlateauofProductivity）。如下圖

1-1所示圖1-1大數(shù)據(jù)生命周期圖而大數(shù)據(jù)正是出于期望膨脹期，預計通過近兩年的發(fā)展，大數(shù)據(jù)將會在2016年達到泡沫化的低谷期，之后在5-10年的時間內經(jīng)歷穩(wěn)步爬上的光明期，到2020年后將會到達實質的成熟使用期。1.5“大數(shù)據(jù)”帶來的機遇（1）新一代信息技術融合應用新焦點對大數(shù)據(jù)的處理和分析正成為未來新一代信息技術融合應用的核心支撐結點。物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、數(shù)字家庭、社會化網(wǎng)絡等都是新一代信息技術具體的應用形態(tài)，大數(shù)據(jù)伴隨這些應用不斷增長，云計算則為這些海量的、多樣化的大數(shù)據(jù)提供存儲和運算的支撐平臺。以大數(shù)據(jù)為結點，各項新一代信息技術應用產(chǎn)生的信息將不斷匯集，并通過對不同來源數(shù)據(jù)的統(tǒng)一性、綜合性的處理、分析與優(yōu)化，將結果反饋或交叉反饋到物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、數(shù)字家庭、社會化網(wǎng)絡等應用中，又進一步改善使用體驗，并創(chuàng)造出巨大的商業(yè)價值、經(jīng)濟價值和社會價值。（2）信息產(chǎn)業(yè)持續(xù)高速增長的新引擎大數(shù)據(jù)因其巨大的商業(yè)價值和市場需求正在推動著信息產(chǎn)業(yè)持續(xù)高速增長。隨著行業(yè)用戶對大數(shù)據(jù)價值的認可程度增加， 市場需求將出現(xiàn)井噴，面向大數(shù)據(jù)市場的新技術、新產(chǎn)品、新服務、新業(yè)態(tài)將會不斷涌現(xiàn)，大數(shù)據(jù)將為信息產(chǎn)業(yè)打開一個高增長的新市場。在硬件與集成設備領域，大數(shù)據(jù)面臨的有效存儲、快速讀寫、實時分析等挑戰(zhàn)，將對芯片、存儲產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲處理服務器、內存計算等市場。在軟件與服務領域，因為大數(shù)據(jù)中蘊含的巨大價值，帶來對數(shù)據(jù)快速處理和分析的迫切需求，將引發(fā)數(shù)據(jù)挖掘、商業(yè)智能市場的空前繁榮。（3）用戶提升競爭能力的新動力對大數(shù)據(jù)的利用將成為企業(yè)提高核心競爭力、并搶占市場先機的關鍵。企業(yè)的決策正在從“業(yè)務驅動”轉變?yōu)椤皵?shù)據(jù)驅動”。在未來3到5年，我們將會看到那些真正理解大數(shù)據(jù)并能利用大數(shù)據(jù)進行價值挖掘的企業(yè)和不懂得大數(shù)據(jù)價值挖掘企業(yè)之間的差距。真正能夠利用好大數(shù)據(jù)、并將其價值轉化成生產(chǎn)力的企業(yè)必將具備強勁有力的競爭優(yōu)勢，從而成為行業(yè)的領導者。在零售行業(yè)，對大數(shù)據(jù)的分析可以使零售商實時掌握市場動態(tài)并迅速做出應對；在互聯(lián)網(wǎng)行業(yè)，對大數(shù)據(jù)的分析可以為商家制定更加精準有效的營銷策略提供決策支持；在服務行業(yè)，對大數(shù)據(jù)的分析可以幫助企業(yè)為消費者提供更加及時和個性化的服務； 甚至在公共事業(yè)領域，大數(shù)據(jù)也開始發(fā)揮促進經(jīng)濟發(fā)展、維護社會穩(wěn)定等不可小覷的重要作用。（4）推動商業(yè)模式的創(chuàng)新對于海量數(shù)據(jù)而言，提供髙附加價值的數(shù)據(jù)分析服務， 將數(shù)據(jù)封裝為服務形成可對外開放、可商業(yè)化的核心能力，實現(xiàn)商業(yè)模式的創(chuàng)新，才是大數(shù)據(jù)運用的關鍵所在。對于政府和企業(yè)而言，至少可以實踐4種商業(yè)模式的創(chuàng)新。第一是客戶關系管理的創(chuàng)新，通過大數(shù)據(jù)分析可以根據(jù)客戶的屬性， 從不同角度深層次分析客戶、了解客戶，推出新的客戶關系管理平臺，以增加新的客戶，提高客戶的忠誠度，降低客戶流失率。第二是企業(yè)經(jīng)營決策指導的創(chuàng)新。企業(yè)可以利用用戶數(shù)據(jù)，有效提升資源利用能力，提高決策的準確性，從而提升整體運營效率。如，沃爾瑪通過分析客戶購買產(chǎn)品的種類組合，適時推出產(chǎn)品聯(lián)合促銷信息，以提升產(chǎn)品的銷量。第三是個性化精準推薦。企業(yè)根據(jù)用戶喜好推薦各類產(chǎn)品和業(yè)務，如淘寶根據(jù)分析客戶的檢索數(shù)據(jù)，適時向客戶推送相關產(chǎn)品的廣告信息。第四是創(chuàng)新社會管理。政府可以將大數(shù)據(jù)運用到交通、應對突發(fā)災害、維穩(wěn)等領域中。如，在大數(shù)據(jù)的幫助下，什么時間段、哪條路擁堵等問題，都可以通過分析得知，通過同一條路上多個用戶的手機位移速度， 便可以判斷當時的路況，為擁堵做出準確預警。2“大數(shù)據(jù)”的關鍵技術“大數(shù)據(jù)”已經(jīng)不僅是數(shù)據(jù)大這一事實了，更重要的是要對大數(shù)據(jù)進行分析以獲取更多智能、深入和有價值的信息。而隨著“大數(shù)據(jù)”在越來越多的領域得到應用，“大數(shù)據(jù)”也變得越來越復雜，因此“大數(shù)據(jù)”處理技術在大數(shù)據(jù)領域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。大數(shù)據(jù)應用分析結果需要經(jīng)過數(shù)據(jù)采集、預處理、存儲、分析和挖掘等多多個環(huán)節(jié)才能最終呈現(xiàn)出來。2.1“大數(shù)據(jù)”的采集和預處理在數(shù)據(jù)分析界有著一個“拇指法則”，即數(shù)據(jù)分析工作至少有70%~80%的時間都花在搜集和準備數(shù)據(jù)上，而僅有20%~30%的時間花在分析本身上。隨著新技術采集手段的出現(xiàn)，數(shù)據(jù)來源和數(shù)據(jù)類型變得豐富多彩，企業(yè)和機構采集數(shù)據(jù)首先需要明確所需的數(shù)據(jù)內容，并制定好數(shù)據(jù)分類存儲規(guī)則，以便更有效的采集數(shù)據(jù)。按照數(shù)據(jù)所有者劃分，企業(yè)數(shù)據(jù)采集源可以分成3類：一類是企業(yè)和機構的內部數(shù)據(jù)，如系統(tǒng)日志、生產(chǎn)經(jīng)營數(shù)據(jù)等；一類是合作機構的內部數(shù)據(jù)，可以通過設定好企業(yè)與合作機構的系統(tǒng)接口進行采集；還有一類是大量的網(wǎng)絡公開數(shù)據(jù)，可以通過網(wǎng)絡爬蟲或者網(wǎng)站公開的應用開發(fā)接口（API）將所需信息從網(wǎng)頁中采集出來。目前一些互聯(lián)網(wǎng)企業(yè)和開源社區(qū)開發(fā)的海量數(shù)據(jù)采集工具，如Facebook的日志采集工具Scribe、淘寶的實時數(shù)據(jù)傳輸平臺TimeTunnel等，均已能夠滿足每秒數(shù)百MB的日志數(shù)據(jù)采集和傳輸需求。下面就物聯(lián)網(wǎng)及社交網(wǎng)絡這兩個“大數(shù)據(jù)”的新型來源進行簡單的介紹。（1）“大數(shù)據(jù)”與物聯(lián)網(wǎng)物聯(lián)網(wǎng)是一個信息技術領域的熱詞，其本質是傳感器技術進步的產(chǎn)物。遍布大街小巷的攝像頭，是大家可以直觀感受到的一種物聯(lián)網(wǎng)形態(tài)。事實上，傳感器幾乎無處不在，現(xiàn)在大家常用的智能手機中，就包括重力感應器、加速度感應器、距離感應器、光線感應器、陀螺儀、電子羅盤、攝像頭等各類傳感器。這些不同類型的傳感器，無時無刻不在產(chǎn)生大量的數(shù)據(jù)，這些成為大數(shù)據(jù)的重要來源之一。妥善的利用這些數(shù)據(jù)可以監(jiān)測大氣的溫度、壓強、風力，監(jiān)測橋梁、礦井的安全，監(jiān)測飛機、汽車的行駛狀態(tài)等。（2）“大數(shù)據(jù)”與社交網(wǎng)絡社交網(wǎng)絡是互聯(lián)網(wǎng)發(fā)展史上一個重要的里程碑。 它把人類真實的人際關系完美地映射到互聯(lián)網(wǎng)空間，并借助互聯(lián)網(wǎng)的特性而大大升華。 社交網(wǎng)絡使得互聯(lián)網(wǎng)甚至具備某些人類的特質，譬如“情緒” ：人們分享各自的喜怒哀樂，并相互傳染傳播。社交網(wǎng)絡為“大數(shù)據(jù)”帶來一類最具活力的數(shù)據(jù)類型，人們的喜好和偏愛。由于現(xiàn)實采集的數(shù)據(jù)與大數(shù)據(jù)分析過程中所需的數(shù)據(jù)，會存在結構不一致或不完整的情況，大數(shù)據(jù)預處理過程可以通過數(shù)據(jù)提取、轉換和加載等操作，對采集的數(shù)據(jù)進行初步的組織和數(shù)量，從而提高大數(shù)據(jù)分析質量和效率。2.2“大數(shù)據(jù)”存儲技術大數(shù)據(jù)存儲需要滿足海量存儲、安全存儲和快速讀取的要求。其中海量存儲包含數(shù)據(jù)容量和數(shù)據(jù)文件量兩個方面，為保障系統(tǒng)存儲容量能夠以較低成本存儲海量數(shù)據(jù)并能實現(xiàn)快速平滑擴展，分布式存儲和存儲虛擬化技術被廣泛采用；為更好的對系統(tǒng)中海量文件進行有效管理，將數(shù)據(jù)傳輸和數(shù)據(jù)控制分離開的對象存儲架構應用廣泛。為了保障數(shù)據(jù)安全存儲不丟失，大數(shù)據(jù)存儲過程中會采用加密等安全技術，同時會對數(shù)據(jù)進行數(shù)次備份。為了支持數(shù)據(jù)的快速讀取和并發(fā)訪問，分布式存儲和對象存儲架構將會更有效。目前應用廣泛的大數(shù)據(jù)海量文件存儲技術主要有谷歌文件系統(tǒng)（GFS）和基于GFS發(fā)展的開源Hadoop分布式文件系統(tǒng)HDFS）等。一些大型網(wǎng)站將“數(shù)據(jù)”視為最核心的資產(chǎn)，他們甚至花費高昂的費用來保管這些數(shù)據(jù)，以便加快用戶的訪問速度。谷歌公司購買了單獨的水力發(fā)電站，為其龐大的數(shù)據(jù)中心提供充足的電力。2.3“大數(shù)據(jù)”分析技術當大數(shù)據(jù)的采集和存儲已經(jīng)完成，如何分析數(shù)據(jù)，將這些碎片化的數(shù)據(jù)系統(tǒng)化，在無序的數(shù)據(jù)和信息世界里尋找有序的連接，挖掘到可應用的價值，是真正駕馭大數(shù)據(jù)的重要環(huán)節(jié)。大數(shù)據(jù)的分析技術，大致包括 5個基本方法理論技術：（1）可視化分析可視化分析能夠直觀的呈現(xiàn)大數(shù)據(jù)特點，簡單明了易于接受。（2）數(shù)據(jù)挖掘算法大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法， 各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式能更加科學的呈現(xiàn)出數(shù)據(jù)本身具備的特點，而這些數(shù)據(jù)挖掘的算法能夠快速的處理大數(shù)據(jù)。（3）預測性分析能力大數(shù)據(jù)分析最重要的應用領域之一就是預測性分析，從大數(shù)據(jù)中挖掘出特點，通過科學的建立模型，之后便可以通過模型帶入新的數(shù)據(jù)，從而預測未來的數(shù)據(jù)。（4）語義引擎大數(shù)據(jù)分析廣泛應用于網(wǎng)絡數(shù)據(jù)挖掘，可從用戶的搜索關鍵詞、標簽關鍵詞、或其他輸入語義，分析，判斷用戶需求，從而實現(xiàn)更好的用戶體驗和廣告匹配。（5）數(shù)據(jù)質量和數(shù)據(jù)管理大數(shù)據(jù)分析離不開數(shù)據(jù)質量和數(shù)據(jù)管理，高質量的數(shù)據(jù)和有效的數(shù)據(jù)管理能夠保證分析結果的真實和有價值。2.4“大數(shù)據(jù)”與云計算對于許多組織來說，“大數(shù)據(jù)”對存儲容量的需求已經(jīng)超出目前的存儲能力。我們正處于PB級存儲時代，而EB及存儲時代也即將到來。大容量的存儲不但要求系統(tǒng)具備在原有數(shù)據(jù)存儲規(guī)格上進行擴展的能力，還要簡單快速的進行擴展。云計算就為“大數(shù)據(jù)”的誕生提供了集中采集數(shù)據(jù)和存儲數(shù)據(jù)的基礎。云計算的出現(xiàn)改變了數(shù)據(jù)的存儲和訪問方式，在云計算出現(xiàn)之前，數(shù)據(jù)大多分散保存在每個人的個人計算機中、每家企業(yè)的服務器中。云計算，尤其是公用云計算，把所有的數(shù)據(jù)集中存儲到“數(shù)據(jù)中心”，也即所謂的“云端”，用戶通過瀏覽器或者專用應用程序來訪問。一些大型的網(wǎng)站，通過提供基于“云”的服務，積累大量的數(shù)據(jù)，成為事實上的“數(shù)據(jù)中心”，這為“大數(shù)據(jù)”誕生奠定了基礎。而云計算及其技術給了人們廉價獲取巨量計算和存儲的能力，云計算分布式架構能夠很好地支持“大數(shù)據(jù)”存儲和處理需求。這樣的低成本硬件+低成本軟件+低成本運維，更加經(jīng)濟和實用，也使得“大數(shù)據(jù)”處理和利用成為可能。可以說云計算為“大數(shù)據(jù)”提供了存儲空間和訪問渠道，“大數(shù)據(jù)”則是云計算的靈魂和必然的發(fā)展方向。而近年來國內各地也興起了建設云計算基地的風潮，客觀上為“大數(shù)據(jù)”在我國的推廣和應用準備了必備的儲存空間和訪問渠道。大數(shù)據(jù)產(chǎn)業(yè)的應用3.1大數(shù)據(jù)產(chǎn)業(yè)“大數(shù)據(jù)”的應用能帶來巨大的經(jīng)濟價值和社會價值，對于產(chǎn)業(yè)發(fā)展而言，“大數(shù)據(jù)”可以實現(xiàn)應用創(chuàng)新、降低行業(yè)內的生產(chǎn)成本并創(chuàng)造新的產(chǎn)業(yè)價值。咨詢機構麥肯錫最早提出“大數(shù)據(jù)時代已經(jīng)到來”，在2012年發(fā)布的《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個領域》文章上表明，在零售業(yè)、制造業(yè)、醫(yī)療衛(wèi)生和公共部門，“大數(shù)據(jù)”可以加快產(chǎn)業(yè)規(guī)模的增長速度，降低生產(chǎn)運營成本；對于企業(yè)而言，采用“大數(shù)據(jù)”可以提升企業(yè)的競爭力，改善企業(yè)的營銷規(guī)劃，客戶定位，產(chǎn)品創(chuàng)新、工作流程優(yōu)化、人力資源管理、物理管理和風險控制等多方面的能力。目前，數(shù)據(jù)已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域， 成為重要的生產(chǎn)因素，人們對于海量數(shù)據(jù)的挖掘和運用， 預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。對于“大數(shù)據(jù)”產(chǎn)業(yè)，政府與公共事業(yè)部門、行業(yè)企業(yè)、個人消費者是其的最終用戶。在政府與公共事業(yè)領域，“大數(shù)據(jù)”可以應用到城市規(guī)劃、公共安全、公共交通、輿情管理等社會管理和民生服務領域，帶來效率提升、響應速度加快、服務水平提高、管理成本下降等諸多效益。對于行業(yè)企業(yè)，“大數(shù)據(jù)”可以應用到產(chǎn)品研發(fā)設計、生產(chǎn)運作管理、供應鏈管理、客戶關系管理、企業(yè)品牌營銷等各個環(huán)節(jié)，能夠幫助企業(yè)準確把握市場需求變動、提高產(chǎn)品設計與生產(chǎn)效率、提高供應鏈的敏捷性和準確性、實現(xiàn)個性化精準營銷，同時也促進IT技術的創(chuàng)新。對于個人消費者，通過“大數(shù)據(jù)”的應用服務將使信息變得更加泛在，從家庭生活、出行、消費、娛樂、旅游、學習等方方面面拓展民眾生活空間、提高民眾的生活品質?？偨Y以往，“大數(shù)據(jù)”的應用價值可以分為感知現(xiàn)在和預知未來兩部分。（1）感知現(xiàn)在通過對歷史數(shù)據(jù)和當前數(shù)據(jù)的融合，以及潛在模式挖掘，力求達到對事物對群體與社會發(fā)展當前狀態(tài)進行更全面、更精確、更理性的認知。這種認知可以是宏觀的，也可以是微觀的。宏觀方面可以對PB級社會媒體數(shù)據(jù)、百億級日志數(shù)據(jù)繼續(xù)擰分析挖掘，掌握宏觀現(xiàn)狀，如環(huán)境指數(shù)，健康指數(shù)等。在微觀方面可以利用PB級的日志數(shù)據(jù)和 EB級的監(jiān)控數(shù)據(jù)，挖掘潛在線索，如犯罪行為軌跡等。（2）預測未來通過對“大數(shù)據(jù)”彼此之間的關聯(lián)分析，演化態(tài)勢和效應的判定與調控，揭示事物發(fā)展的演變規(guī)律，進而對是事物發(fā)展趨勢進行預測。如基于twitter等網(wǎng)上公開數(shù)據(jù)的實時感知、動態(tài)獲取與綜合分析，結合仿真調控，預測大選結果；聯(lián)合國“全球脈動”利用網(wǎng)絡大數(shù)據(jù)預測失業(yè)率與疾病暴發(fā)等現(xiàn)象，利用數(shù)字化的早起預警信號來提前指導援助項目，以免某個脫貧地區(qū)重新陷入貧困。這些都說明了正確的大數(shù)據(jù)應用對于準確預測事件發(fā)展趨勢具有重大的價值，人們可以給予“大數(shù)據(jù)”更好的進行科學決策和事前準備，未來“大數(shù)據(jù)”預測技術將會更廣泛的運用到人們的日常生活中，變革人們的生活。3.2“大數(shù)據(jù)”在典型領域中的應用當前“大數(shù)據(jù)”已經(jīng)在物理學、生物學、環(huán)境生態(tài)學等領域，以及軍事、金融、通訊等行業(yè)有所應用并帶來了巨大的產(chǎn)業(yè)價值。以下本文將舉出實際案例以介紹“大數(shù)據(jù)”在各個領域的具體應用。在IT領域，一個典型的案例就是eBay通過數(shù)據(jù)分析技術可以精確計算出廣告中的每一個關鍵字為公司帶來的回報，通過對廣告投放的優(yōu)化，自2007年以來eBay產(chǎn)品銷售的廣告費降低了99%，而頂級賣家占總銷售額的百分比卻上升至32%。在經(jīng)濟領域，大數(shù)據(jù)在經(jīng)濟領域的應用可以通過這樣一個有趣的案例進行說明，社交媒體檢測平臺DataSift檢測了社交網(wǎng)絡Facebook首次公開募股當天Twitter上的情感傾向與Facebook股價波動的關聯(lián)。在Fcebook開盤前，Twitter上的情感逐漸轉向負向，25分鐘之后twitter的股價就開始下跌，當twitter上的情感轉向正面時，F(xiàn)acebook的股價在8分鐘后也開始回彈，最終當股市接近收盤，twitter上的情感轉向負面時，10分鐘口Facebook的股價又開始下跌，該機構得出結論，Twitter上每一次情感傾向的轉向都會Facebook股價的波動高度關聯(lián)。這證實以大數(shù)據(jù)預測未來股價走向的典型案例。氣象預測方面，一家美國公司把氣象數(shù)據(jù)放在亞馬遜的 “云平臺”上進行處理，以及時提供氣象預報的方式，保證當?shù)氐霓r(nóng)牧業(yè)主在特定的地區(qū)以及特定的季節(jié)不會遭受天氣災害，由此獲得了豐厚的利潤。智能交通方面，根據(jù)路網(wǎng)監(jiān)控，火車票及飛機票的預定，以及網(wǎng)上地圖查詢記錄，能夠提前預測某個城市的出行人數(shù)的大致規(guī)模，再結合交通部門的其他信息，便可以預測出群體出行的態(tài)勢，對其可能的出行時間、出行路線、出行方式等進行預測，從而為城市交通調度提供決策幫助。軍事領域，美國“2049項目研究所”于2008年在華盛頓成立，2010年它利用網(wǎng)絡上公開的數(shù)據(jù)和資料，分析和預測我國在軍事和經(jīng)濟領域的安全問題，發(fā)布了一份名為《中國核彈頭存放和使用系統(tǒng)》的報告，稱在陜西、江西、四川等地發(fā)現(xiàn)了中國的核武器基地，甚至還精確到了核基地所在的市縣名稱。2013年3月，他們還發(fā)布了一份關于中國無人機項目的研究報告，較全面的分析了中國無人機的研制、發(fā)展、裝備以及作戰(zhàn)部署情況。以上都是“大數(shù)據(jù)”在一些實際領域的應用，未來“大數(shù)據(jù)”將會在更多的領域得到應用，決策行為將會基于數(shù)據(jù)分析做出，通過對數(shù)據(jù)的整理和分析，政府和企業(yè)能夠預測個體下一步的需求，進而提供更加智能與高效率的管理和服務。3.3智慧城市：立體的大數(shù)據(jù)生態(tài)系統(tǒng)智慧城市是城鎮(zhèn)化發(fā)展的高級階段，是城市信息化的新形式，是現(xiàn)代城市發(fā)展的愿景。智慧城市在產(chǎn)生大數(shù)據(jù)的同時，“大數(shù)據(jù)”也支撐著智慧城市的建設和發(fā)展，而智慧城市的衡量指標是由“大數(shù)據(jù)”體現(xiàn)的?！按髷?shù)據(jù)”挖掘對智慧城市的經(jīng)濟發(fā)展和社會管理是無形的生產(chǎn)資料，“大數(shù)據(jù)”合理利用將創(chuàng)造巨大財富。在未來，大數(shù)據(jù)將成為維護城市運行的基本要素，智慧城市在“大數(shù)據(jù)”的支撐下，成為立體的大數(shù)據(jù)生態(tài)系統(tǒng)，促進城市的發(fā)展。智慧城市的產(chǎn)生隨著城市規(guī)模的增大、城市人口的增多，人們對住房、教育、交通、醫(yī)療保險等的需求的也在不斷膨脹。諸如高房價、堵車、霧霾等“城市病”也越來越多，傳統(tǒng)的管理手段已變得捉襟見肘，而信息化可以說是抗擊“城市病”的有效手段。伴隨著網(wǎng)絡帝國的崛起、移動技術的融合發(fā)展以及創(chuàng)新的民主化進程，知識社會環(huán)境中的智慧城市是繼智能城市之后信息化城市發(fā)展的高級形態(tài)。利用城市管理中產(chǎn)生的大量信息與數(shù)據(jù)，積極促進城市機構之間的實時溝通和協(xié)助，分析原因，制定對策，有效平衡社會、商業(yè)和環(huán)境發(fā)展需要，優(yōu)化現(xiàn)有的可用資源，以最優(yōu)化的方式為城市公民提供全面又超前的服務，積極提高公民的生活幸福感—這種高效、智能且可持續(xù)的城市管理被稱為智慧城市?？梢哉f大數(shù)據(jù)是智慧城市實現(xiàn)智慧化的關鍵支撐，成為驅動智慧城市發(fā)展的動力。智慧城市采用以物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等為核心的新一代信息技術，集成城市的組織（人）、業(yè)務（政務）、交通、通信、能源等城市運行中的各個核心系統(tǒng)，使整個城市成為以一種更有智慧的方式運行的宏大的智慧城市系統(tǒng)，對保障城市正常運行的每個系統(tǒng)進行全面的監(jiān)測、管理、預警和處置，快速、智能地響應城市管理者和市民的各種需求，提高城市運行效率，提高政府決策力。建設智慧城市是城市發(fā)展的新范式和新戰(zhàn)略，是當今世界城市發(fā)展的趨勢和特征。建設智慧城市對抗擊“城市病”具有強烈的現(xiàn)實意義。首先智慧化運營通過運用來自城市多個部門的信息，進行數(shù)據(jù)聚集和規(guī)范化后，識別出相關的重要事件，以提升服務質量。其次，智慧化運營能夠預測城市發(fā)展的問題與危機，最大限度降低對城市居民的影響。如通過可視化重要事件和警報、地理信息等數(shù)據(jù)，識別出模式和趨勢，保證行動有依據(jù)，主動觸發(fā)預設的預案以加快響應，減少服務中斷概率，避免城市內大型事故擴大升級，減少災害的影響。最后，智慧城市可實現(xiàn)通過協(xié)調不同部門的資源，以提高更快、更有效的影響?！按髷?shù)據(jù)”的智慧化幫助管理者跨部門決策、協(xié)調，提高公共服務交付效率，減少應對突發(fā)災害的響應時間。全球智慧城市的實踐全球在智慧城市的實踐中展現(xiàn)了各自不同的設計理念：美國在智慧城市建設方面選擇智能電網(wǎng)進行突破，注重于商業(yè)機構的合作，利用UrbanSim等智能化的城市仿真系統(tǒng)對城市空間發(fā)展進行優(yōu)化。在美國2009年的經(jīng)濟復蘇計劃中，有項高達110億美元的投資，用于建設可安裝各種控制設備的新一代智能電網(wǎng)。日本在2009年7月推出“智慧日本戰(zhàn)略2015”，旨在將數(shù)字信息技術融入生活的方方面面，聚焦于電子化政府治理、醫(yī)療健康信息服務、教育與人才培養(yǎng)大公共事業(yè)。韓國政府于2004年提出了“U-韓國”發(fā)展戰(zhàn)略，經(jīng)過多年的實踐，首爾、釜山等一些城市已進入“泛在城市”時代?！胺涸诔鞘小币浴敖ㄔO尖端信息城市，提高市民生活質量和城市競爭力”為目標，利用無線傳感器網(wǎng)絡，實現(xiàn)對城市設施、安全、交通、環(huán)境等方面的智能化管理和控制。根據(jù)國際數(shù)據(jù)公司預計， 2011年，全球新型智慧城市信息技術的市場規(guī)模達到340億美元，并將以每年超過 18%的速度增長，到 2014年將達到570億美元。中國智慧城市2012年11月，住房和城鄉(xiāng)建設部辦公廳發(fā)布《關于開展國家智慧城市試點工作的通知》，將建設智慧城市作為貫徹黨中央、國務院關于創(chuàng)新驅動發(fā)展、推動新型城鎮(zhèn)化、全面建成小康社會的重要舉措，要求各地高度重視，抓住機遇，通過積極開展智慧城市建設，提升城市管理能力和服務水平，促進產(chǎn)業(yè)轉型發(fā)展。截至2012年7月，中國共有150多個城市提出建設或正在建設智慧城市，其中，北京、上海、廣州等城市是智慧城市創(chuàng)建進程的領跑者?？傮w上說，中國東部地區(qū)智慧城市建設重點在于以信息技術促進轉變經(jīng)濟發(fā)展方式， 提高社會管理水平，提升城市競爭力，塑造城市品牌。中西部地區(qū)智慧城市的建設更加注重對城市的宣傳推廣作用，力爭通過智慧城市建設促進投資軟硬件環(huán)境的改善， 加強招商引資。中國智慧城市建設分為前期基礎設施建設、中期數(shù)據(jù)處理設施建設和后期的服務平臺建設。就智慧城市的建設內容來看，一方面是加強城市基礎通信網(wǎng)絡建設，提高通信網(wǎng)絡帶寬及覆蓋率；另一方面是在一個云計算平臺之上提供智慧應用服務，如智慧交通、智慧醫(yī)療等。相關的建設涉及通信設備制造企業(yè)、系統(tǒng)集成企業(yè)、數(shù)據(jù)采集分析企業(yè)、通信運營商和數(shù)據(jù)服務企業(yè)，對整個產(chǎn)業(yè)鏈將起到巨大的拉動作用。中國智慧城市建設有三種模式：一種是以物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展為驅動的建設模式，如天津、廣州等；一種是以信息基礎設施建設為先導的建設模式，如上海、南京等；一種是以社會服務與管理應用為突破口的建設模式，如北京、武漢等。在中國智慧城市建設中，應當注意以下幾點：1）要因城而異，不能照搬西方的模式。智慧城市建設目標的確立要符合城市當前的發(fā)展階段，解決居民最迫切需要解決的問題，走出中國智慧城市建設的差異化道路。2）注重政府統(tǒng)籌，打破行業(yè)、地域壁壘，建立智慧城市大數(shù)據(jù)的共建共享機制。3）大力推動智慧城市的創(chuàng)新應用，實現(xiàn)創(chuàng)新示范項目應用的落地。4）完善智慧城市建設中大數(shù)據(jù)信息安全的基礎建設及管理體制，從技術、管理和法律等多方面保證智慧城市建設的正常運行。問題與挑戰(zhàn)“大數(shù)據(jù)”對社會的好處是無窮無盡的，它在一定程度上解決可迫在眉睫的全球問題，如處理氣候變化、根除疾病等，然而“大數(shù)據(jù)”在帶來大知識、大發(fā)展、大價值的同時，也潛藏著巨大的風險。4.1數(shù)據(jù)質量真實準確是數(shù)據(jù)的生命，組織如果沒有能力獲得真實數(shù)據(jù)，數(shù)據(jù)規(guī)模再大、數(shù)據(jù)分析技術再先進也是徒勞。另外由于受到城鄉(xiāng)差異、地域差異等的影響，社會上弱勢群體的信息占有和表達處于弱勢，這就造成了數(shù)據(jù)鴻溝的存在。而數(shù)據(jù)造假、數(shù)據(jù)鴻溝等問題在大數(shù)據(jù)時代依然存在，偏見和盲區(qū)存在于大數(shù)據(jù)中，大數(shù)據(jù)得出的結論并不是完全客觀、準確的，它并不能提供價值判斷，也不能完全取代人的經(jīng)驗和直覺。認清這個事實，能夠幫助我們在運用大數(shù)據(jù)的過程中，更科學的解讀數(shù)據(jù)。4.2數(shù)據(jù)安全數(shù)據(jù)安全在大數(shù)據(jù)時代也同樣面臨挑戰(zhàn)。大數(shù)據(jù)發(fā)展的趨勢往往與加大信息開放、設計新的信息收集設備以及為海量數(shù)據(jù)的龐大存續(xù)和分析需求提供支持的云計算等如影隨形。帶來的副作用是IT基礎架構將變得越來越一體化和外向型，對數(shù)據(jù)安全和知識產(chǎn)權構成更大風險。4.3用戶隱私與便利性的沖突“大數(shù)據(jù)”對個人信息獲取渠道的拓寬的需求引發(fā)了另一個重要問題：隱私和便利性之間的沖突。研究表明，消費者受惠于海量數(shù)據(jù)：更低的價格、更符合消費者需要的商品，以及從改善健康狀況到提高社會互動順暢度等生活質量的提高。但同時，隨著個人購買偏好、健康和財務情況的海量數(shù)據(jù)被收集，人們對隱私的擔憂也在增大。這需要政府和企業(yè)從政策、技術和法律等多個方向進行思考和應對。4.4龐大能耗向來被人們認為是綠色環(huán)保的信息產(chǎn)業(yè)其實是污染和耗能大戶，調查結果發(fā)現(xiàn)，數(shù)據(jù)中心浪費的電力高達總能耗的90%以上。業(yè)內專家估計，全球范圍內所有數(shù)據(jù)中心的總功率高達3000萬千瓦，幾乎等于30座核電站的發(fā)電量。盡管現(xiàn)在已經(jīng)有許多辦法幫助數(shù)據(jù)中心降低能耗，但出于對風險的恐懼，多數(shù)公司不愿作出任何改變。目前，中國多個地區(qū)已經(jīng)開始或計劃興建大型數(shù)據(jù)中心，在建設過程中應提前考慮能耗問題，以免重蹈覆轍。4.5數(shù)據(jù)分析與管理人才緊缺人才是大數(shù)據(jù)帶來的挑戰(zhàn)之一。研究表明，單單在美國，對擁有深厚的海量數(shù)據(jù)分析（包括機器學習和高級統(tǒng)計分析）技能人才的需求，可能超出目前預測供應量的50-60%。到2018年，需要新增多達14-19萬名專家。此外，還需要150萬名熟悉如何應用海量數(shù)據(jù)的管理者和分析員。企業(yè)和政府必須加大招聘和人才挽留力度，同時大力投入關鍵數(shù)據(jù)人員的教育和培訓。4.6跟風現(xiàn)象較為嚴重目前大數(shù)據(jù)應用市場還沒有很大，要等到數(shù)據(jù)、技術和系統(tǒng)的準備有了一定的突破之后才會出現(xiàn)飛速的發(fā)展，但是從現(xiàn)在工業(yè)界發(fā)展的情境看來，很多企業(yè)出現(xiàn)了跟風上項目、跟風賣產(chǎn)品的現(xiàn)象。在現(xiàn)今“大數(shù)據(jù)”的發(fā)展情境看來，政府和企業(yè)要做到結合行業(yè)和產(chǎn)業(yè)的特點進行整體的規(guī)劃，之后逐步實施，做到不慌張、不跟風也不要坐失良機。4.7缺少技術創(chuàng)新水平較高的互聯(lián)網(wǎng)公司從全球來看，大數(shù)據(jù)技術創(chuàng)新水平分布極不均衡，如谷歌、 Facebook、IBM公司的技術遙遙領先于我國企業(yè)，總體來說，國際形成了“原創(chuàng)技術-開源軟件-商用產(chǎn)品”的技術創(chuàng)新鏈條，并以此為基礎初步衍生了從存儲和計算平臺、數(shù)據(jù)分析軟件到大數(shù)據(jù)云服務的產(chǎn)業(yè)生態(tài)。我國未來大數(shù)據(jù)的發(fā)展必然會受到技術水平的影響，如何加大創(chuàng)新投入力度，提高我國大數(shù)據(jù)技術水平成為未來我國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的一大問題。對大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的建議展望未來，大數(shù)據(jù)發(fā)展的序幕剛剛拉起，冷靜的思考是十分必要的，大數(shù)據(jù)在更多領域落地實施還是要經(jīng)歷一個較長期的過程，而在這個過程中離不開政府、企業(yè)和公民的共同努力。5.1政府方面“大數(shù)據(jù)”是立足全局、面向未來的重大戰(zhàn)略，將為中國創(chuàng)造社會經(jīng)濟創(chuàng)新發(fā)展的重要機遇，將引領公共管理與服務的變革。實施大數(shù)據(jù)戰(zhàn)略，對于政府部門來說，不僅意味著要上馬多少高新科技項目，更意味著要調整自身運作的機制，進行一次政府理念的創(chuàng)新，政府職能的轉變、政府流程的再造。（1）政府要成為“大數(shù)據(jù)”的實踐者，積極推動大數(shù)據(jù)的全面落地，在領導意識、組織文化、組織結構和工作流程等各方面的整體優(yōu)化，鼓勵率先在政府部門和公共事務中推動“大數(shù)據(jù)”的應用，更好的增強服務能力，樹立更加開放、透明、負責、高效的政府形象。（2）政府部門作為“大數(shù)據(jù)”的實踐者應該建構一套數(shù)據(jù)系統(tǒng)，這個數(shù)據(jù)系統(tǒng)需要包括3個必備因素：天上有云（云平臺）、地上有網(wǎng)（物聯(lián)網(wǎng)、泛在網(wǎng)）、中間有數(shù)（數(shù)據(jù)）。所謂天上有云就是建立政府云平臺，把離散在指揮中心、公安、交通等單位的信息資源，聚合成集預案庫、知識庫、專家?guī)臁咐龓礻犖閹?、地理信息庫為一體的應急信息資源云，通過統(tǒng)一指揮調度，在各類突發(fā)事件的處理過程中為各級指揮人員提供決策支持。應用云平臺不僅能有效協(xié)調政府資源和行動，還能在政府部門之間共享數(shù)據(jù)服務，避免重復投資，提高計算資源利用率。共享和聯(lián)動是云平臺的關鍵詞，也是讓大數(shù)據(jù)真正落地實施的突破口。而做到地上有網(wǎng)的關鍵是消除信息孤