智慧城市多源異構大數(shù)據(jù)處理框架

智慧城市多源異構大數(shù)據(jù)處理框架智慧城市多源異構大數(shù)據(jù)處理框架摘要：智慧城市建設的重心已由傳統(tǒng)IT系統(tǒng)和信息資源共享建設，轉變?yōu)閿?shù)據(jù)的深度挖掘利用和數(shù)據(jù)資產(chǎn)的運營流通。大數(shù)據(jù)中心是數(shù)據(jù)資產(chǎn)管理和利用的實體基礎，其核心驅動引擎是大數(shù)據(jù)平臺及各類數(shù)據(jù)挖掘與分析系統(tǒng)。討論了智慧城市大數(shù)據(jù)中心建設的功能架構，圍繞城市多源異構數(shù)據(jù)處理的實際需要，對數(shù)據(jù)中心大數(shù)據(jù)平臺的架構進行了拆分講解，并以視頻大數(shù)據(jù)處理為例，闡述了數(shù)據(jù)中心中大數(shù)據(jù)平臺的運轉流程。關鍵詞：智慧城市；大數(shù)據(jù)；多源異構；視頻分析11引言隨著智慧城市建設逐步由信息基礎設施和應用系統(tǒng)建設邁入數(shù)據(jù)資產(chǎn)集約利用與運營管理階段，城市大數(shù)據(jù)中心已成為智慧城市打造核心競爭力、提升政府管理效能的重要工具。一方面政府借助大數(shù)據(jù)中心建設可以將有限的信息基礎設施資源集中高效管理和利用，大幅降低各自為政、運維機關龐雜、財政壓力過大的問題；另一方面，可以在國務院、發(fā)展和改革委員會大力支持的政策東風下，打破部門間數(shù)據(jù)壁壘，推動政府各部門職能由管理轉為服務，提高數(shù)據(jù)共享利用率和透明度。以大數(shù)據(jù)中心為核心構建城市駕駛艙，實現(xiàn)城市運轉過程的實時全面監(jiān)控，提高政府決策的科學性和及時性。智慧城市大數(shù)據(jù)中心建設功能框架如圖1所示，其中針對不同部門的數(shù)據(jù)源，由數(shù)據(jù)收集系統(tǒng)完成數(shù)據(jù)的匯聚，并根據(jù)數(shù)據(jù)業(yè)務類型和內容的差異進行粗分類。為避免過多“臟數(shù)據(jù)”對大數(shù)據(jù)平臺的污染，粗分類。為避免過多“臟數(shù)據(jù)”對大數(shù)據(jù)平臺的污染，對于批量數(shù)據(jù)，不推薦直接將數(shù)據(jù)匯入大數(shù)據(jù)平臺，而是單設一個前端原始數(shù)據(jù)資源池，在這里暫時存儲前端流入的多源異構數(shù)據(jù)，供大數(shù)據(jù)平臺處理調用。圖1智慧城市大數(shù)據(jù)中心功能框架大數(shù)據(jù)平臺是城市大數(shù)據(jù)中心運轉的核心驅動引擎，主要完成多源數(shù)據(jù)導入、冗余存儲、冷熱遷移、批量計算、實時計算、圖計算、安全管理、資源管理、運維監(jiān)控等功能[1]，大數(shù)據(jù)平臺的主體數(shù)據(jù)是通過專線連接或硬件復制各政府部門數(shù)據(jù)庫的方式獲得，例如地理信息系統(tǒng)（geographicinformationsystem，GIS）數(shù)據(jù)、登記信息等。部分數(shù)據(jù)通過直連業(yè)務部門傳感監(jiān)測設備的方式獲得，例如監(jiān)控視頻、河道流量等。大數(shù)據(jù)平臺的輸出主要是結構化關聯(lián)數(shù)據(jù)以及統(tǒng)計分析結果數(shù)據(jù)，以方便各類業(yè)務系統(tǒng)的直接使用。不同部門間共享與交換的數(shù)據(jù)不推薦直接使用原始數(shù)據(jù)，一方面是因為原始數(shù)據(jù)內容密級存在差異，另一方面是因為原始數(shù)據(jù)內容可能存在錯誤或紕漏。推薦使用經(jīng)過大數(shù)據(jù)平臺分類、過濾和統(tǒng)計分析后的數(shù)據(jù)。不同使用部門經(jīng)過政務信息門戶統(tǒng)一需求申請和查看所需數(shù)據(jù)，所有數(shù)據(jù)的交換和審批以及數(shù)據(jù)的監(jiān)控運維統(tǒng)一由數(shù)據(jù)信息中心負責，避免了跨部門協(xié)調以及數(shù)據(jù)管理不規(guī)范等人為時間的損耗，極大地提高了數(shù)據(jù)的流通和使用效率。另外，針對特定的業(yè)務需求，可以基于大數(shù)據(jù)平臺擁有的數(shù)據(jù)進行定制開發(fā)，各業(yè)務系統(tǒng)屬于應用層，建設時不宜與大數(shù)據(jù)平臺部署在同一服務器集群內，并且要保證數(shù)據(jù)由大數(shù)據(jù)平臺至業(yè)務系統(tǒng)的單向性，盡量設置業(yè)務數(shù)據(jù)過渡區(qū)，避免應用系統(tǒng)直接對大數(shù)據(jù)平臺核心區(qū)數(shù)據(jù)的訪問。目前主流大數(shù)據(jù)平臺都采用以Hadoop為核心的數(shù)據(jù)處理框架，例如Cloudera公司的CDH（ClouderaDistributionforHadoop）和星環(huán)信息科技（上海）有限公司（Transwarp）的TDH（TranswarpDataHub）、ApacheHadoop等。以Hadoop為核心的大數(shù)據(jù)解決方案占大數(shù)據(jù)市場95%以上的份額，目前國內80%的市場被Cloudera占有，剩余20%的市場由星環(huán)信息科技（上海）有限公司、北京紅象云騰系統(tǒng)技術有限公司、華