北京市政務(wù)大數(shù)據(jù)平臺頂層設(shè)計框架及應(yīng)用方案

北京市政務(wù)大數(shù)據(jù)平臺頂層設(shè)計框架及應(yīng)用方案本文摘自穆勇在中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟上所做的演講。演講全文：今天很榮幸有這樣一個機(jī)會，和大家交流探討大數(shù)據(jù)在政務(wù)領(lǐng)域的應(yīng)用問題，我看到群里有很多十分熟悉的朋友，所以交流起來也會比較輕松。有什么問題歡迎大家提出，如果我講的不對的地方，請不客氣批評。一、大數(shù)據(jù)在政務(wù)領(lǐng)域應(yīng)用的概述說起大數(shù)據(jù)技術(shù)的應(yīng)用，首先是在互聯(lián)網(wǎng)行業(yè)起步并逐步拓展到電信、金融、工業(yè)等多個領(lǐng)域，產(chǎn)生了巨大的社會價值和產(chǎn)業(yè)空間，現(xiàn)正拓展到政務(wù)領(lǐng)域。一）大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)行業(yè)的成功應(yīng)用，那些地方是值得我們關(guān)注的體外互動簡單服務(wù)讓渡社會：眾包—--自助服務(wù)---造服務(wù)第二，是其技術(shù)演進(jìn)針對數(shù)據(jù)處理的技術(shù)非結(jié)構(gòu)化處理效率低；硬件成本高；平臺兼容性差。其次是基于云計算的大數(shù)據(jù)處理階段，該階段總體有了非結(jié)構(gòu)化混合分析的能力；基于消費(fèi)級硬件擴(kuò)展性高IOE的思路。第三，是數(shù)據(jù)挖掘分析技術(shù)畫像技術(shù)以及各類數(shù)據(jù)融合、分析、挖掘、預(yù)測等.這些都是政務(wù)領(lǐng)域需要學(xué)習(xí)與借鑒的。為此，我認(rèn)為：大數(shù)據(jù)在政務(wù)領(lǐng)域應(yīng)用即包括用新的思維、模式與技術(shù)來解決電子政務(wù)需求，也包括了政務(wù)大數(shù)據(jù)新的應(yīng)用。認(rèn)為政府沒有大數(shù)據(jù)，只有傳統(tǒng)的小數(shù)據(jù)或中數(shù)據(jù)。這個問題我們將在下一節(jié)專門中進(jìn)行討論。有利于節(jié)約政府投資、提高政府決策能力、提升公共服務(wù)和社會管理能力，開展大數(shù)據(jù)在政務(wù)領(lǐng)據(jù)，其復(fù)雜程度和需求的多樣化比互聯(lián)網(wǎng)行業(yè)大的多，也難的多。（二政務(wù)大數(shù)據(jù)的定義及特點(diǎn)按照政府管理的數(shù)據(jù)來源和種類，可以分為下三類：第一類業(yè)務(wù)數(shù)據(jù).政務(wù)信息資源開發(fā)利用更多的是集中在前兩種類型和用相對較少。隨著政府業(yè)務(wù)在互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等領(lǐng)域廣泛和深入的應(yīng)用，第三類數(shù)據(jù)的數(shù)據(jù)量和價值都在迅速增長，相關(guān)數(shù)據(jù)處理技術(shù)也逐步成熟。便于區(qū)別不妨把包含第三類數(shù)據(jù)的政務(wù)信息資源叫做是政務(wù)大數(shù)據(jù)。政務(wù)大數(shù)據(jù)與其他領(lǐng)域大數(shù)據(jù)相比具有鮮明的特點(diǎn)：體積大，增速高：涵蓋經(jīng)濟(jì)社會管理的方方面面，數(shù)據(jù)積累量巨大。每年處理的數(shù)據(jù)呈指數(shù)級增長。教育、旅游等社會關(guān)鍵領(lǐng)域數(shù)據(jù)，具有極為重要的社會和經(jīng)濟(jì)價值。是采不到也買不到。非結(jié)構(gòu)化數(shù)據(jù)且具有數(shù)據(jù)量大、應(yīng)用價值大、速度快、種類繁多等特點(diǎn)。我們要高度重視大數(shù)據(jù)應(yīng)用對政務(wù)工作正在帶來和將要帶來的各種影響，充分認(rèn)識推進(jìn)大數(shù)據(jù)應(yīng)用的必要性和緊迫性，加強(qiáng)頂層設(shè)計，分專業(yè)分步驟實(shí)施。開展政務(wù)領(lǐng)域的大數(shù)據(jù)應(yīng)用首先是觀念、思路的轉(zhuǎn)變，轉(zhuǎn)變電子政務(wù)建設(shè)主體，由在實(shí)際工作中給予支持和指導(dǎo)，一方面采用給予適當(dāng)?shù)恼a(bǔ)貼和協(xié)助優(yōu)秀電子政在社會服務(wù)領(lǐng)域，政府退到后臺，提供數(shù)據(jù)和基礎(chǔ)服務(wù)，讓企業(yè)直接面向社會提供貼近需求的服務(wù)。大數(shù)據(jù)在政務(wù)領(lǐng)域的應(yīng)用可以涉及到政務(wù)領(lǐng)域方方面面，今天因?yàn)闀r間有限，就領(lǐng)導(dǎo).領(lǐng)導(dǎo)決策大數(shù)據(jù)的包容性將打開政府各部門間、政府與公眾間的邊界，信息孤島現(xiàn)象大幅消減，數(shù)據(jù)共享開放成為可能，而數(shù)據(jù)開放使得公眾更多的參與決策，這勢必直接影變：全交給數(shù)據(jù).社會管理公共服務(wù)通過對政府面向市民的互動數(shù)據(jù)的分析，為市民提供更精細(xì)化和個性化的服務(wù)，如對政府呼叫中心海量非結(jié)構(gòu)化的語音數(shù)據(jù)、服務(wù)過程和服務(wù)問題的分析處理，深度挖掘客服語音數(shù)據(jù)價值，可以更好的支撐服務(wù)和營銷，進(jìn)一步改進(jìn)政務(wù)呼叫中心工好的服務(wù)。二、政務(wù)大數(shù)據(jù)應(yīng)用基礎(chǔ)和前提開展政務(wù)大數(shù)據(jù)應(yīng)用，需要具備哪些基礎(chǔ)工作和必備條件。在政務(wù)領(lǐng)域開展大數(shù)在信息資源管理的規(guī)章、制度、標(biāo)準(zhǔn)方面，國家和北京市政府相應(yīng)制定并出臺一系列規(guī)章制度，如《關(guān)于加強(qiáng)信息資源開發(fā)利用工作的若干意見》（中辦發(fā)［200434492號，2007)、《關(guān)于加強(qiáng)政務(wù)信息資源管理的若干意見》（京信發(fā)］2號）、《北京市信息化促(2007），辦法》（京信辦發(fā)［2008］13號）等。,2006年市信息辦發(fā)"求，做好業(yè)務(wù)、服務(wù)和信息資源梳理與目錄編制工作等基礎(chǔ)工作。350余等基礎(chǔ)設(shè)施及核心業(yè)務(wù)信息方面工作。三、北京市市級大數(shù)據(jù)平臺頂層設(shè)計框架更加強(qiáng)調(diào)的事政務(wù)大數(shù)據(jù)的開放和政府部門及相關(guān)公共企事業(yè)不但要盡可能地開放數(shù)據(jù)資源，還要以購買服務(wù)或資源政府一些單位，如北京、上海分目前已經(jīng)”,得到了社會公眾廣泛的關(guān)注，也涌現(xiàn)出了“曬公益平臺”、“、“”等一批優(yōu)質(zhì)服務(wù)產(chǎn)品。作為北京來說我們已經(jīng)有了共享交換平臺、物聯(lián)網(wǎng)平臺還有政府?dāng)?shù)據(jù)開放網(wǎng)站等重?它與現(xiàn)有的這?這是由他還有視頻數(shù)據(jù)不是可以隨便安攝像頭采集的。還強(qiáng)調(diào)了對現(xiàn)有平臺、系統(tǒng)及數(shù)據(jù)資源的調(diào)度管理.（一）平臺定位及與其他系統(tǒng)關(guān)系各委辦局或區(qū)縣可以按照自身業(yè)務(wù)需要建設(shè)大數(shù)據(jù)系統(tǒng)，也可以為市級大數(shù)據(jù)平臺提供部分?jǐn)?shù)據(jù)，并可以從市級政務(wù)大數(shù)據(jù)平臺成。市級政務(wù)大數(shù)據(jù)平臺充分利用原系統(tǒng)和平臺已處理能力。二）市級政務(wù)大數(shù)據(jù)平臺的功能目標(biāo)據(jù)目錄的注冊、發(fā)布、查詢、獲取、應(yīng)用等服務(wù)。Data門戶向政府部門和社會公共提供數(shù)據(jù)使用服務(wù)。為需求單位提供大數(shù)據(jù)處理通用接口及工具，并統(tǒng)一實(shí)現(xiàn)與外部數(shù)據(jù)的接入服務(wù)。通過物聯(lián)網(wǎng)平臺、互聯(lián)網(wǎng)平臺、共享交換平臺等信息化基礎(chǔ)設(shè)施和系統(tǒng)匯集、存儲、分析相關(guān)數(shù)據(jù)資源。強(qiáng)調(diào)了對各類數(shù)據(jù)的處理能力，包括對結(jié)構(gòu)化的、非結(jié)構(gòu)化的、音頻、視頻、包括各種結(jié)構(gòu)的數(shù)據(jù)處理能力特別是有來自于物聯(lián)網(wǎng)的實(shí)時數(shù)據(jù)，和互聯(lián)網(wǎng)的日志數(shù)據(jù)等。下面我們來看一下，市級大數(shù)據(jù)平臺的業(yè)務(wù)模型框架、數(shù)據(jù)模型框架、技術(shù)模型框架。三）總體功能架構(gòu)（四）核心功能（1）.對以非結(jié)構(gòu)化、音頻、視頻等新型數(shù)據(jù)為主的融合處理。動化、一體化的數(shù)據(jù)管理體系。.(五）技術(shù)架構(gòu)政務(wù)大數(shù)據(jù)平臺的技術(shù)架構(gòu)采用混搭模式，一方面不改變已有的原始數(shù)據(jù)的存儲和管理方式，另一方面，采用大數(shù)據(jù)新技術(shù)處理原有方式不能處理的新數(shù)據(jù)，重點(diǎn)是對非結(jié)構(gòu)化、新數(shù)據(jù)的處理。首先，各委辦局通過市級大數(shù)據(jù)平臺可以實(shí)現(xiàn)數(shù)據(jù)的共享和融合，并在此基礎(chǔ)上開稅、海關(guān)、工商、經(jīng)信委等，這些部門均有各自數(shù)據(jù)采集的渠道和途徑，但是北京市到底有多少中小企業(yè)，每個部門都很難說清楚，也無法統(tǒng)一，對于這個問題，通,產(chǎn)生了本質(zhì)的變化。其次，市級政務(wù)大數(shù)據(jù)平臺具備新數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的處理能力。各單位不具備通用數(shù)據(jù)的處理以及非結(jié)構(gòu)化數(shù)據(jù)的處理能力和基礎(chǔ)設(shè)施充分利用市共享交換平臺、四大基礎(chǔ)庫、一系列門戶和網(wǎng)站實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一調(diào)度和管理，促進(jìn)數(shù)據(jù)交換和共享。綜上所述的多維度的融合數(shù)據(jù)資源。四、智能交通大數(shù)據(jù)應(yīng)用示范（一）新一代智能交通系統(tǒng)對數(shù)據(jù)整合需求（交通委與交管局路況信息發(fā)布TOTO企業(yè)數(shù)據(jù)共享機(jī)制，加大交通數(shù)據(jù)資源向社會開放共享力度。（二）交通領(lǐng)域數(shù)據(jù)與其他相關(guān)數(shù)據(jù)融合1.交通信息分散、碎片化情況主要覆蓋事故、施工等信息，覆蓋范圍為環(huán)路及城市快速路；經(jīng)信委及其他局掌握的公眾出行相關(guān)的地理空間、位置圖層、應(yīng)急物聯(lián)網(wǎng)信息、人口、法人等信息；電信運(yùn)營商的信令數(shù)據(jù)及互聯(lián)網(wǎng)等信息，覆蓋范圍為全市域；來自交通臺的廣播信息，來自相關(guān)互聯(lián)網(wǎng)微博、微信信息。2。各類交通信息融合由大數(shù)據(jù)應(yīng)用需求單位.以上工作研究團(tuán)隊(duì)成員有亞信、北航、中興、數(shù)貝、太極等?，F(xiàn)在正在搭建北京市政務(wù)大數(shù)據(jù)平臺及應(yīng)用示范的原型系統(tǒng)。下面我們看一下基于這個平臺我們做的應(yīng)用方案。（三）應(yīng)用案例示范示范1：交通多源異構(gòu)數(shù)據(jù)融合模型—場景化的空間、時間、主題的數(shù)據(jù)融合示范2：北京市中心區(qū)域各公交站點(diǎn)的居住強(qiáng)度和就業(yè)強(qiáng)度示范3：北京市地面公交高峰期客流量分布示范4：城市范圍出租車聚集分析示范5：天通苑住戶流量分析–住戶主要通往市38個區(qū)域–僅有8個區(qū)域具有高聚集特征五、小結(jié)大數(shù)據(jù)政務(wù)應(yīng)用環(huán)境和相關(guān)技術(shù)還不是十分成熟，具體表現(xiàn)在:在政府方面亟需出臺的制度應(yīng)包括：政府?dāng)?shù)據(jù)資源開放共享、政府?dāng)?shù)據(jù)資源安全與送審稿（送審稿《政務(wù)信息資源資產(chǎn)化管理研究報告》。在企業(yè)相關(guān)準(zhǔn)備工作也未就緒，如在使用政府?dāng)?shù)據(jù)、用戶信息資源管理政策還未建立，特別是涉及個人隱私保護(hù)政策方面還是很難讓人放心，有些企業(yè)的信息使用商業(yè)色彩過于濃厚。一些人以為有了大數(shù)據(jù)什么都可以做，國際著名