大數(shù)據(jù)云時代的公安信息化應用與實踐

大數(shù)據(jù)云時代的公安信息化應用與實踐目錄什么是大數(shù)據(jù)二什么是云計算三前言一變革四面臨的機遇與挑戰(zhàn)五匯報目錄目錄什么是大數(shù)據(jù)二什么是云計算三前言一變革四面臨的機遇與挑戰(zhàn)五匯報目錄1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes何為大？——數(shù)據(jù)度量《紅樓夢》含標點87萬字（不含標點853509字）每個漢字占兩個字節(jié)：1漢字=16bit=2*8位=2bytes1GB約等于671部紅樓夢1TB約等于631,903部1PB約等于647,068,911部美國國會圖書館藏書（151,785,778冊）（2011年4月：收錄數(shù)據(jù)235TB）1EB=4000倍美國國會圖書館存儲的信息量何為大？——數(shù)據(jù)示例facebook社交網(wǎng)絡淘寶、ebuy電子商務微博、Apps移動互聯(lián)21世紀是數(shù)據(jù)信息大發(fā)展的時代，移動互聯(lián)、社交網(wǎng)絡、電子商務等極大拓展了互聯(lián)網(wǎng)的邊界和應用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)?！按髷?shù)據(jù)”的誕生：半個世紀以來，隨著計算機技術(shù)全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學科如天文學和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個概念*。如今，這個概念幾乎應用到了所有人類智力與發(fā)展的領(lǐng)域中。大數(shù)據(jù)時代的背景大數(shù)據(jù)時代的背景硬件成本的降低網(wǎng)絡帶寬的提升云計算的興起網(wǎng)絡技術(shù)的發(fā)展智能終端的普及電子商務、社交網(wǎng)絡、電子地圖等的全面應用物聯(lián)網(wǎng)迎接大數(shù)據(jù)時代的到來迎接大數(shù)據(jù)時代的到來硬件成本的降低網(wǎng)絡帶寬的提升云計算的興起網(wǎng)絡技術(shù)的發(fā)展智能終端的普及電子商務、社交網(wǎng)絡、電子地圖等的全面應用物聯(lián)網(wǎng)迎接大數(shù)據(jù)時代的到來迎接大數(shù)據(jù)時代的到來迎接大數(shù)據(jù)時代的到來硬件成本的降低網(wǎng)絡帶寬的提升云計算的興起網(wǎng)絡技術(shù)的發(fā)展智能終端的普及電子商務、社交網(wǎng)絡、電子地圖等的全面應用物聯(lián)網(wǎng)迎接大數(shù)據(jù)時代的到來迎接大數(shù)據(jù)時代的到來迎接大數(shù)據(jù)時代的到來硬件成本的降低網(wǎng)絡帶寬的提升云計算的興起網(wǎng)絡技術(shù)的發(fā)展智能終端的普及電子商務、社交網(wǎng)絡、電子地圖等的全面應用物聯(lián)網(wǎng)迎接大數(shù)據(jù)時代的到來迎接大數(shù)據(jù)時代的到來迎接大數(shù)據(jù)時代的到來硬件成本的降低網(wǎng)絡帶寬的提升云計算的興起網(wǎng)絡技術(shù)的發(fā)展智能終端的普及電子商務、社交網(wǎng)絡、電子地圖等的全面應用物聯(lián)網(wǎng)迎接大數(shù)據(jù)時代的到來迎接大數(shù)據(jù)時代的到來迎接大數(shù)據(jù)時代的到來硬件成本的降低網(wǎng)絡帶寬的提升云計算的興起網(wǎng)絡技術(shù)的發(fā)展智能終端的普及電子商務、社交網(wǎng)絡、電子地圖等的全面應用物聯(lián)網(wǎng)迎接大數(shù)據(jù)時代的到來迎接大數(shù)據(jù)時代的到來迎接大數(shù)據(jù)時代的到來硬件成本的降低網(wǎng)絡帶寬的提升云計算的興起網(wǎng)絡技術(shù)的發(fā)展智能終端的普及電子商務、社交網(wǎng)絡、電子地圖等的全面應用物聯(lián)網(wǎng)迎接大數(shù)據(jù)時代的到來迎接大數(shù)據(jù)時代的到來迎接大數(shù)據(jù)時代的到來每天有2940億封電子郵件發(fā)出，如果這些是紙質(zhì)信件，在美國需要花費兩年時間處理；每天有200萬篇博客在網(wǎng)上發(fā)布，這些文章相當于《時代》雜志刊發(fā)770年的總量；每天有2.5億張照片上傳至社交網(wǎng)站Facebook，如果都打印出來，摞在一起能有80個埃菲爾鐵塔那么高；每天有86.4萬小時視頻被上傳至視頻網(wǎng)站Youtube，相當于不間斷播放視頻98年；每天有1.87億個小時的音樂會在流媒體音樂網(wǎng)站Pandora上播放，如果一臺電腦從公元元年就開始播放這些音樂會，到現(xiàn)在還沒完沒了地接著放；谷歌翻譯每天處理的文字數(shù)量,每天翻譯次數(shù)達十億次，相當于一百萬冊圖書，超過了全世界的專業(yè)翻譯人員一年能夠翻譯的文字規(guī)模；百度每天的關(guān)鍵詞搜索量50億，谷歌33.3億；淘寶天貓雙11那一天營業(yè)額達191億人民幣。中國小商品城全年成交額才580.03億元人民幣；累積起來，互聯(lián)網(wǎng)一天之內(nèi)產(chǎn)生的信息總量，可以裝滿1.68億張DVD光盤?！磥恚何锫?lián)網(wǎng)每天產(chǎn)生的數(shù)據(jù)將會是海量的。一天之間，互聯(lián)網(wǎng)上要發(fā)生多少事迎接大數(shù)據(jù)時代的到來一天之間，互聯(lián)網(wǎng)要發(fā)生多少事GBTBPBEBZB想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進TB時代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個數(shù)字達到了1.8ZB。而有市場研究機構(gòu)預測：到2020年，整個世界的數(shù)據(jù)總量將會增長44倍，達到35.2ZB（1ZB=10億TB）！1PB=2^50字節(jié)1EB=2^60字節(jié)1ZB=2^70字節(jié)數(shù)據(jù)時代的爆炸增長大數(shù)據(jù)=海量數(shù)據(jù)+復雜類型的數(shù)據(jù)大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集海量交易數(shù)據(jù)：企業(yè)內(nèi)部的經(jīng)營交易信息主要包括聯(lián)機交易數(shù)據(jù)和聯(lián)機分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫進行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。海量交互數(shù)據(jù)：源于Facebook、Twitter、LinkedIn及其他來源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細記錄CDR、設備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點擊流數(shù)據(jù)、科學信息、電子郵件等等?？梢愿嬖V我們未來會發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設計用于數(shù)據(jù)密集型處理的架構(gòu)。例如具有開放源碼、在商品硬件群中運行的ApacheHadoop。大數(shù)據(jù)的構(gòu)成1.Volume2.Variety3.value4.Velocity結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)如今的數(shù)據(jù)類型早已不是單一的文本形式，訂單、日志、音頻，對處理能力提出了更高的要求沙里淘金，價值密度低以視頻為例，一部一小時的視頻，在連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題實時獲取需要的信息大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)最顯著的特征。如今已是ZB時代，在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命大數(shù)據(jù)是指無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合數(shù)據(jù)量巨大全球在2010年正式進入ZB時代，IDC預計到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量什么是大數(shù)據(jù)“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。VolumeVelocityValueVariety迎接大數(shù)據(jù)的4V特性目錄什么是大數(shù)據(jù)二什么是云計算三前言一變革四面臨的機遇與挑戰(zhàn)五匯報目錄什么是云計算？

云計算是一種新型的IT計算、服務方式，通過網(wǎng)絡提供可伸縮、廉價的分布式計算能力。云計算將共享的軟硬件資源和信息按需提供給計算機和其他設備，有利于計算資源的合理配置，提高其利用率，促進節(jié)能減排，實現(xiàn)綠色計算。什么是云計算23

云計算是通過使計算分布在大量的分布式計算機上，而非本地計算機或遠程服務器中，企業(yè)數(shù)據(jù)中心的運行將與互聯(lián)網(wǎng)更相似。這使得企業(yè)能夠?qū)①Y源切換到需要的應用上，根據(jù)需求訪問計算機和存儲系統(tǒng)。好比是從古老的單臺發(fā)電機模式轉(zhuǎn)向了電廠集中供電的模式。它意味著計算能力也可以作為一種商品進行流通，就像煤氣、水電一樣，取用方便，費用低廉。最大的不同在于，它是通過互聯(lián)網(wǎng)進行傳輸?shù)?。云計算特點24(1)超大規(guī)?！霸啤本哂邢喈?shù)囊?guī)模，Google云計算已經(jīng)擁有100多萬臺服務器，Amazon、IBM、微軟、Yahoo等的“云”均擁有幾十萬臺服務器。企業(yè)私有云一般擁有數(shù)百上千臺服務器?！霸啤蹦苜x予用戶前所未有的計算能力。(2)虛擬化云計算支持用戶在任意位置、使用各種終端獲取應用服務。所請求的資源來自“云”，而不是固定的有形的實體。應用在“云”中某處運行，但實際上用戶無需了解、也不用擔心應用運行的具體位置。只需要一臺筆記本或者一個手機，就可以通過網(wǎng)絡服務來實現(xiàn)我們需要的一切，甚至包括超級計算這樣的任務。(3)高可靠性“云”使用了數(shù)據(jù)多副本容錯、計算節(jié)點同構(gòu)可互換等措施來保障服務的高可靠性，使用云計算比使用本地計算機可靠。(4)通用性云計算不針對特定的應用，在“云”的支撐下可以構(gòu)造出千變?nèi)f化的應用，同一個“云”可以同時支撐不同的應用運行七大特點25七大特點(5)高可擴展性

“云”的規(guī)?？梢詣討B(tài)伸縮，滿足應用和用戶規(guī)模增長的需要。(6)按需服務“云”是一個龐大的資源池，你按需購買；云可以像自來水，電，煤氣那樣計費。(7)極其廉價由于“云”的特殊容錯措施可以采用極其廉價的節(jié)點來構(gòu)成云，“云”的自動化集中式管理使大量企業(yè)無需負擔日益高昂的數(shù)據(jù)中心管理成本，“云”的通用性使資源的利用率較之傳統(tǒng)系統(tǒng)大幅提升，因此用戶可以充分享受“云”的低成本優(yōu)勢，經(jīng)常只要花費幾百美元、幾天時間就能完成以前需要數(shù)萬美元、數(shù)月時間才能完成的任務。云計算可以徹底改變?nèi)藗兾磥淼纳?，但同時也要重視環(huán)境問題，這樣才能真正為人類進步做貢獻,而不是簡單的技術(shù)提升。七大特點26云計算主要經(jīng)歷了四個階段才發(fā)展到現(xiàn)在這樣比較成熟的水平，這四個階段依次是電廠模式、效用計算、網(wǎng)格計算和云計算。電廠模式階段：電廠模式就好比是利用電廠的規(guī)模效應，來降低電力的價格，并讓用戶使用起來更方便，且無需維護和購買任何發(fā)電設備。效用計算階段：1961年，人工智能之父麥肯錫在一次會議上提出了“效用計算”這個概念，其核心借鑒了電廠模式，具體目標是整合分散在各地的服務器、存儲系統(tǒng)以及應用程序來共享給多個用戶，讓用戶能夠像把燈泡插入燈座一樣來使用計算機資源，并且根據(jù)其所使用的量來付費。但由于當時整個IT產(chǎn)業(yè)還處于發(fā)展初期，很多強大的技術(shù)還未誕生，比如互聯(lián)網(wǎng)等，所以雖然這個想法一直為人稱道，但是總體而言“叫好不叫座”。云計算的演化27網(wǎng)格計算階段：網(wǎng)格計算研究如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多低性能的計算機來處理，最后把這些計算結(jié)果綜合起來攻克大問題。但是由于網(wǎng)格計算在商業(yè)模式、技術(shù)和安全性方面的不足，使得其并沒有在工程界和商業(yè)界取得預期的成功。云計算階段：云計算的核心與效用計算和網(wǎng)格計算非常類似，也是希望IT技術(shù)能像使用電力那樣方便，并且成本低廉。但與效用計算和網(wǎng)格計算不同的是，2014年在需求方面已經(jīng)有了一定的規(guī)模，同時在技術(shù)方面也已經(jīng)基本成熟了。云計算的演化28IaaS(Infrastructure-as-a-Service)：基礎設施即服務

消費者通過Internet可以從完善的計算機基礎設施獲得服務。例如：硬件服務器租用。PaaS：平臺即服務

PaaS(Platform-as-a-Service)：平臺即服務PaaS實際上是指將軟件研發(fā)的平臺作為一種服務，以SaaS的模式提交給用戶。因此，PaaS也是SaaS模式的一種應用。但是，PaaS的出現(xiàn)可以加快SaaS的發(fā)展，尤其是加快SaaS應用的開發(fā)速度。例如：軟件的個性化定制開發(fā)。

SaaS(Software-as-a-Service)：軟件即服務

它是一種通過Internet提供軟件的模式，用戶無需購買軟件，而是向提供商租用基于Web的軟件，來管理企業(yè)經(jīng)營活動。例如：陽光云服務器。云計算的服務形式目錄什么是大數(shù)據(jù)二什么是云計算三前言一變革四面臨的機遇與挑戰(zhàn)五匯報目錄30

美國的云計算應用起步早，其產(chǎn)品與技術(shù)成熟度相對較高，市場發(fā)展極為迅速，至今為止，美國聯(lián)邦、州、地方各級政府已經(jīng)全面采用云計算。

如：

美國農(nóng)業(yè)部應用云計算方案對21個獨立的電子郵件系統(tǒng)進行整合，以尋求其IT基礎設施的精簡和提升信息化水平，整合后的電子郵件系統(tǒng)能夠確保郵件系統(tǒng)與其各項應用的服務界面相互集成，700余個依賴郵件服務的應用程序中只有4個程序需要重新開發(fā)，原本需要耗時幾年的工程僅僅用了幾個月便遷移完成，并可以根據(jù)需要不斷升級，該方案能夠容納30萬用戶，為員工提供諸如SharePoint、OfficeCommunications、視頻會議等最新的通信協(xié)同工具美國國防部美國農(nóng)業(yè)部美國安全局航天局美國空軍美國陸軍國外政府云計算應用31

歐盟的數(shù)據(jù)保護權(quán)力機構(gòu)、網(wǎng)絡安全機構(gòu)等對云計算的安全性和隱私安全性懷有疑慮，加之歐盟各國的數(shù)據(jù)保護和保存政策不統(tǒng)一，云計算在歐洲各國的應用進展相對緩慢。然而鑒于云計算特有的優(yōu)勢，歐洲各國政府機構(gòu)還是已經(jīng)開始采取措施發(fā)展云計算。2010年7月，歐盟第七框架計劃(FP7)發(fā)布了《2011—2012年工作計劃》，為云計算的研究方向制定了框架。2009年10月發(fā)布了《數(shù)字英國報告》，提出政府要在英國境內(nèi)建立統(tǒng)一的“政府云(G-Cloud)”。

目前，云計算服務已經(jīng)開始被歐洲越來越多的中央和地方政府所采用。并借助云計算實現(xiàn)2012—2013年節(jié)省開支2000萬英鎊，2013—2014年節(jié)省6000萬英鎊，2014—2015年節(jié)省8000萬英鎊，到2015年，至少有50%的信息技術(shù)資源通過公共云服務網(wǎng)絡來購買。國外政府云計算應用國外政府云計算應用32

亞太地區(qū)云計算應用廣泛，且正在持續(xù)加速。根據(jù)2011年3月SpringboardResearch發(fā)布的《云計算及IT的角色轉(zhuǎn)變白皮書》中對亞太地區(qū)6953家企業(yè)和公共部門云計算應用情況的調(diào)查結(jié)果，在澳大利亞、新加坡、泰國、馬來西亞、印度、日本6個國家中，認為所在企業(yè)或公共部門與云計算有所關(guān)聯(lián)的比例均超過80%。

日本于2010年設立了云計算特區(qū)，吸引國內(nèi)外企業(yè)構(gòu)建日本最大規(guī)模的數(shù)據(jù)庫；韓國政府于2009年年底提出了《政府發(fā)展云計算綜合規(guī)劃》。如：日本政府信息系統(tǒng)正使用云計算等創(chuàng)新型技術(shù)建設霞關(guān)云，并建設云計算特區(qū)以支持大規(guī)模的市場應用，該系統(tǒng)將集成和整合硬件，建立和完善支持系統(tǒng)的在線應用，建立共享平臺，開發(fā)和運營信息系統(tǒng)，力求在降低電子政務的開發(fā)和運營成本的同時，通過整合共享功能提高處理速度，提高運營效率，增強各個政府機構(gòu)之間的協(xié)作，提供安全先進的政府服務。國外政府云計算應用331政府部門應用云計算能夠提高工作效率，更好地服務社會。2其廉價性、可擴展性等特點在政府部門云計算應用中得以體現(xiàn)。3云計算能夠滿足政府部門對于高安全性和兼容性的需要。4云計算應用易管理、大大提高管理效率。云計算國外政府的影響34

“大數(shù)據(jù)的研究和發(fā)展計劃?！蓖ㄟ^提高我們從大型復雜的數(shù)字數(shù)據(jù)集中提取知識和觀點的能力，承諾幫助加快在科學與工程中的步伐，加強國家安全，并改變教學研究。國防部高級研究計劃局(DARPA)：多尺度異常檢測(ADAMS)項目解決大規(guī)模數(shù)據(jù)集的異常檢測和特征化。國土安全部(DHS)：通過對大量的異構(gòu)數(shù)據(jù)進行研究，使得急救員可以發(fā)現(xiàn)人為或自然災害、恐怖事件，需要執(zhí)法的邊境安全問題，網(wǎng)絡威脅的爆炸物?；A能源科學辦公室(BES)：支持旨在協(xié)助用戶數(shù)據(jù)管理和分析大數(shù)據(jù)，可每天從一個單一的實驗數(shù)據(jù)大容量化(1012字節(jié))努力。退伍軍人管理部(VA)：醫(yī)療保健信息研究所(CHIR)開發(fā)自然語言處理(NPL)工具，能夠?qū)υ赩A以文本形式存儲的大量數(shù)據(jù)進行信息解鎖。國家航空和航天局(NASA)：降低美國宇航局信息系統(tǒng)的風險和成本，以支持未來的地球觀測任務，并轉(zhuǎn)化成美國航空航天局氣候中心的地理信息。美國國家安全局(NSA)：競爭網(wǎng)絡防御規(guī)模的情境意識的培養(yǎng)和測試將探索數(shù)據(jù)可視化的網(wǎng)上競賽，從開始與識別此類事件設計與最佳執(zhí)行方法上，進行龐大計算機網(wǎng)絡防御上的數(shù)據(jù)可視化開發(fā)國外政府大數(shù)據(jù)應用35（1）

資源的管理與利用。研究主要涉及到數(shù)字處理、數(shù)據(jù)分析以及數(shù)據(jù)挖掘，尤其是從海量、復雜、實時的大數(shù)據(jù)中挖掘知識。同時為了更好地建設數(shù)據(jù)資源，對數(shù)據(jù)的組織和存儲顯得尤為重點，如元數(shù)據(jù)、數(shù)據(jù)倉庫和數(shù)據(jù)存儲等。

（2）

信息服務。數(shù)據(jù)組織和建設的主要目的便是開展服務。相關(guān)研究主要涉及到地理信息系統(tǒng)、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、遙感、數(shù)字城市、商業(yè)智能等方面。此外，統(tǒng)計還發(fā)現(xiàn)，中國移動、中國電信以及金融領(lǐng)域更注重從數(shù)據(jù)分析挖掘中獲得智慧價值的利用。

（3）行業(yè)調(diào)整。大數(shù)據(jù)將由網(wǎng)絡數(shù)據(jù)處理走向企業(yè)級應用，行業(yè)對大數(shù)據(jù)處理的需求也會增加，包括數(shù)據(jù)流檢測和分析。大數(shù)據(jù)將創(chuàng)造出新的細分市場

。（4）關(guān)鍵技術(shù)。數(shù)據(jù)的管理和利用離不開技術(shù)的支撐，服務質(zhì)量的提高更離不開技術(shù)的保障。近幾年的研究主要涉