城市綜合管理服務平臺方案

1、城市綜合管理服務平臺方案 TOC o 1-5 h z HYPERLINK l bookmark26 o Current Document 第一章、項目概述11.1項目背景11.2編制依據(jù)32. 1標準規(guī)范31. 2. 2政策法規(guī)41.3建設目標51.4建設內(nèi)容5 HYPERLINK l bookmark30 o Current Document 第二章、需求分析和項目建設必要性61信息化建設現(xiàn)狀分析6 HYPERLINK l bookmark49 o Current Document 第三章、總體設計方案121總體設計原則121. 1統(tǒng)一規(guī)劃、總體設計123.1.2急用先行、分步建設123.1

2、.3高位統(tǒng)籌、數(shù)據(jù)共享121.4技術先進、先行先試132總體框架設計133關鍵技術路線133. 1三層體系結構133. 2Redis 技術153. 3.3全業(yè)務以，架構163. 3. 4S0A 架構163. 3. 5Spring 開發(fā)框架173. 3. 6大數(shù)據(jù)批處理系統(tǒng)193. 3. 7大數(shù)據(jù)流處理系統(tǒng)193. 3. 8大數(shù)據(jù)混合處理系統(tǒng)203. 3. 9大數(shù)據(jù)分析及挖掘技術213. 3. 10數(shù)據(jù)治理工具223. 3. 11大數(shù)據(jù)展示技術233. 12XML 技術244總體性能設計24 HYPERLINK l bookmark83 o Current Document 第四章、項目建設方案

3、254.1項目建設原則251. 1科學化254.1.2智能化251. 3規(guī)范化251. 4集約化252標準規(guī)范建設內(nèi)容253城市綜合管理服務平臺建設內(nèi)容263.1管理體系建設263. 2應用體系建設27 HYPERLINK l bookmark118 o Current Document 第五章、項目實施方案491實施組織機構492項目進度管理503項目質量保障措施503. 1項目整體質量保證措施503.2項目實施過程質量保證措施51 HYPERLINK l bookmark124 o Current Document 第六章、效益與評價指標分析531社會效益532經(jīng)濟效益55第一章、項目概述

4、1.1項目背景實現(xiàn)城市管理精細化，成為全國各大中型城市政府的一項重要任務。黨的十 九大報告進一步指出，中國特色社會主義進入了新時代，進入了從站起來、富起 來到強起來的偉大飛躍，我國社會主要矛盾已經(jīng)轉化為人民日益增長的美好生活 需要和不平衡不充分的發(fā)展之間的矛盾。在2018年新年賀詞中再次強調，要“讓 人民生活更加幸福美滿”。因此，在新時代、新矛盾面前，超大城市的精細化管 理，應該緊緊圍繞滿足人民對美好生活的需要這一核心任務,做出新的制度安排、 政策創(chuàng)新和技術應用等，實現(xiàn)人財物的合理配置，著力破解不平衡不充分的矛盾， 創(chuàng)建更加整潔、安全、干凈、有序、公正的城市環(huán)境，全面提升超大城市的吸引 力、競

5、爭力和內(nèi)在魅力。2020年3月，住房和城鄉(xiāng)建設部發(fā)布城市綜合管理服務平臺建設指南， 為指導國家城市綜合管理服務平臺、省級城市綜合管理服務平臺和市級城市綜合 管理服務平臺建設工作提供依據(jù)。搭建國家、省、市三級架構的城市綜合管理服 務平臺，通過部門協(xié)同、信息聯(lián)動，加強對城市管理工作的統(tǒng)籌協(xié)調、指導監(jiān)督、 綜合評價。文件提到國家平臺部署在住房和城鄉(xiāng)建設部，與省級平臺、市級平臺 聯(lián)網(wǎng)互通，實現(xiàn)對全國城市管理工作的業(yè)務指導、監(jiān)督檢查和綜合評價等功能目 標。省級平臺部署在?。ㄗ灾螀^(qū)、直轄市）住房和城鄉(xiāng)建設（城市管理）主管部 門，與國家平臺、市級平臺聯(lián)網(wǎng)互通，實現(xiàn)對全省（區(qū)、市）城市管理工作指導 監(jiān)督、統(tǒng)籌

6、協(xié)調和綜合評價等功能目標。市級平臺部署在城市，與國家平臺、省 級平臺聯(lián)網(wǎng)互通，實現(xiàn)對全市城市綜合管理工作的統(tǒng)籌協(xié)調、指揮調度、監(jiān)督考 核、綜合評價和公眾服務等功能目標。各級平臺應通過國家電子政務外網(wǎng)等交換 網(wǎng)絡，實現(xiàn)平臺間數(shù)據(jù)共享、業(yè)務協(xié)同。同月，為深入貫徹關于住房和城鄉(xiāng)建設工作的重要指示批示精神，提高城市 科學化、精細化、智能化管理和“互聯(lián)網(wǎng)+”政務服務水平，逐步構建適應高質 量發(fā)展要求的城市綜合管理服務制度體系，推進城市治理體系和治理能力現(xiàn)代化, 我部決定在前期試點的基礎上，全面開展城市綜合管理服務平臺建設和聯(lián)網(wǎng)工作。 國家住房和城鄉(xiāng)建設部辦公廳下發(fā)住房和城鄉(xiāng)建設部辦公廳關于開展城市綜合

7、管理服務平臺建設和聯(lián)網(wǎng)工作的通知建辦督函2020 102號，文件明確提出 “在現(xiàn)有城市管理信息化工作基礎上，建設完善國家城市綜合管理服務平臺（以 下簡稱國家平臺）、省級城市綜合管理服務平一臺（以下簡稱省級平臺）和市級 城市綜合管理服務平臺（以簡稱市級平臺），充分利用物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算、 區(qū)塊鏈等現(xiàn)代信息技術，推動功能整合、拓展應用場景、規(guī)范數(shù)據(jù)標準，實現(xiàn)國 家平臺、省級平臺、市級平臺互聯(lián)互通、數(shù)據(jù)同步、業(yè)務協(xié)同?！蔽募傮w目標包括搭建市級平臺：各城市在現(xiàn)有城市管理信息化平臺基礎上, 整合或共享城市管理相關部門數(shù)據(jù)資源，拓展統(tǒng)籌協(xié)調、指揮調度、監(jiān)督考核、 綜合評價和公眾服務等功能，搭建形成市

8、級平臺。2020年底前，主要地級以上城 市市級平臺與國家平臺聯(lián)網(wǎng)，有條件的省級平臺與國家平臺、所轄市級平臺聯(lián)網(wǎng)。 2021年底前，實現(xiàn)省級平臺、市級平臺與國家平臺互聯(lián)互通。2020年4月，為推進安徽省城市綜合管理服務平臺建設和聯(lián)網(wǎng)工作，安徽 省住房和城鄉(xiāng)建設部辦公廳發(fā)布關于開展城市綜合管理服務平臺建設和聯(lián)網(wǎng)工 作的通知，通知明確提出，城市綜合管理服務平臺，是在現(xiàn)有城市管理信息化工 作基礎上，建設完善的國家、省、市三級互聯(lián)互通的綜合管理服務平臺。國家平 臺主要用于了解地方城市管理工作情況，指導、監(jiān)督、評價全國城市綜合管理服 務工作。省級平臺主要用于指導監(jiān)督、統(tǒng)籌協(xié)調、綜合評價全省城市綜合管理服

9、務工作。市級平臺要由“數(shù)字城管”拓展升級至“智慧城管”，即在現(xiàn)有城市管 理信息化平臺基礎上，整合或共享城市管理相關部門數(shù)據(jù)資源，拓展統(tǒng)籌協(xié)調、 指揮調度、監(jiān)督考核、綜合評價和公眾服務等功能。另外，各單位要認真學習研 究城市綜合管理服務平臺建設通知、指南及技術標準，根據(jù)本地城市建設和管理 信息化建設模式及前期與省級平臺聯(lián)通模式，進一步明確平臺建設思路，及時向 市政府報告并爭取項目、資金支持。市級平臺要滿足構建黨委政府領導下“大城 管”工作格局的要求，能履行城市政府對城市綜合管理工作的統(tǒng)籌協(xié)調、指揮調 度、監(jiān)督考核等職能。市級平臺不僅包括原數(shù)字城管平臺建設內(nèi)容，還需要繼續(xù) 整合城市管理相關部門數(shù)據(jù)

10、資源，拓展市政公用、市容環(huán)衛(wèi)、園林綠化、城管執(zhí) 法等業(yè)務應用和熱線電話、公眾號等公眾服務功能，建設智蔥城管平臺。為貫徹關于提高城市管理科學化、精細化、智能化水平的重要指示，落實 全國住房和城鄉(xiāng)建設工作會議部署，在數(shù)字城管平臺建設基礎上拓展升級，建 設“橫向到邊、縱向到底”的全國城市綜合管理服務平臺，創(chuàng)建更加整潔、安 全、干凈、有序、公正的城市環(huán)境，構建適應高質量發(fā)展要求的城市綜合管理 服務工作體系，增強城市綜合管理統(tǒng)籌協(xié)調能力。1.2編制依據(jù)2. 1標準規(guī)范中華人民共和國信息系統(tǒng)安全保護條例；城市綜合管理服務平臺技術標準；信息系統(tǒng)安全等級保護基本要求(GB/T22239-2008)；計算機軟件

11、需求規(guī)格說明規(guī)范GB/T9385-2008；計算機軟件測試文檔編制規(guī)范GB/T9386-2008；計算機軟件文檔編制規(guī)范GB/T8567-2006；計算機軟件可靠性和可維護性管理GB/T14394-2008；計算機軟件測試規(guī)范GB/T15532-2008；軟件文檔管理指南GB/T16680-1996；信息技術軟件包質量要求和測試GB/T17544-1998；信息技術系統(tǒng)及軟件完整性級別GB/T18492-2001；信息技術軟件生存周期過程指南GB/Z18493-2001；軟件工程GB/T19001-2000應用于計算機軟件的指南KB/T19003-2008；軟件工程軟件生存周期過程用于項目管理

12、的指南GB/Z20156-2006；信息技術軟件維護GB/T20157-2006；信息技術軟件生存周期過程配置管理GB/T20158-2006；軟件工程軟件測量過程GB/T20917-2007；信息技術軟件生存周期過程風險管理GB/T20918-2007；城市地理空間框架數(shù)據(jù)標準(CJJ103-2004)；專題地圖信息分類與代碼(GB/T18317-2001 )；地圖符號庫建立的基本規(guī)定(CH/T4015-2001)；地圖用公共信息圖形符號通用符號(GB/T17695T999)；地理空間框架基本規(guī)定(CH/T9004-2009)；地理信息一一元數(shù)據(jù)(GB/T19710-2005)；地理信息質量

13、原則(GB/T21337-2008)；地理信息質量評價過程(GB/T21336-2008)；城市市容環(huán)境衛(wèi)生管理條例全國文明城市測評體系國家衛(wèi)生城市標準國家園林城市系列標準城市容貌標準(GB 50449)電子政務業(yè)務流程設計方法通用規(guī)范(GB/T 19487)安全防范監(jiān)控數(shù)字視音頻編解碼技術要求(GB/T 25724)安全防范視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術要求(GB/T 28181)數(shù)字化城市管理信息系統(tǒng)第1部分：單元網(wǎng)格(GB/T 30428. 1)數(shù)字化城市管理信息系統(tǒng)第2部分：管理部件和事件(GB/T 30428. 2)數(shù)字化城市管理信息系統(tǒng)第3部分：地理編碼(GB/T 304

14、28. 3)數(shù)字化城市管理信息系統(tǒng)第4部分：績效評價(GB/T 30428. 4)數(shù)字化城市管理信息系統(tǒng)第5部分：監(jiān)管信息采集設備(GB/T 30428. 5)數(shù)字化城市管理信息系統(tǒng)第6部分：驗收(GB/T 30428. 6)數(shù)字化城市管理信息系統(tǒng)第7部分：監(jiān)管信息采集(GB/T 30428. 7)數(shù)字化城市管理信息系統(tǒng)第8部分：立案、處置和結案(GB/T 30428. 8)城市市政綜合監(jiān)管信息系統(tǒng)技術規(guī)范(CJJ/T 106)1.2.2政策法規(guī)住房和城鄉(xiāng)建設部關于開展城市綜合管理服務平臺建設試點工作的通 知住建部2019年12月；城市綜合管理服務平臺試點建設指南住建部2019年12月；智慧城

15、市公共信息平臺建設指南（試行）住建部2013年4月；促進大數(shù)據(jù)發(fā)展行動綱要（國發(fā)（2015） 50號）國務院2015年8月；關于深入推進城市執(zhí)法體制改革、改進城市管理工作指導意見國務 院 2015 年 12 月 24 H；關于開展智慧城市時空信息云平臺建設試點工作的通知（國測國發(fā) （2012） 122號）國家測繪地理信息局2012年12月；關于印發(fā)促進智慈城市健康發(fā)展的指導意見的通知（發(fā)改高技 2014 1770號）國家發(fā)改委等2014年8月;數(shù)字化社會治理模式建設導則（試行）；數(shù)字化社會治理信息系統(tǒng)建設技術指南；中共中央國務院關于深入推進城市執(zhí)法體制改革改進城市管理工作的 指導意見2015年

16、12月24日。1.3建設目標貫徹關于提高城市管理科學化、精細化、智能化水平的重要指示精神，落實 全國住房和城鄉(xiāng)建設工作會議部署，搭建城市綜合管理服務平臺，構建適應高質 量發(fā)展要求的城市綜合管理服務工作體系，增強城市管理統(tǒng)籌協(xié)調能力，提高城 市精細化管理服務水平。我市城市綜合管理服務平臺建成以后，可與國家平臺和 安徽省平臺實現(xiàn)聯(lián)網(wǎng)互通，可使我市城市管理統(tǒng)籌協(xié)調能力和精細化管理服務水 平顯著增強。具體以城市管理大數(shù)據(jù)中心為核心支撐、以先進業(yè)務系統(tǒng)和豐富場 景應用為關鍵抓手的城市綜合管理服務平臺，構建基于大數(shù)據(jù)和人工智能先進技 術的智慧化城管新模式，促進城市治理科學精細、城市運行高效有序、城市品質

17、大幅提升、智慧城市協(xié)調發(fā)展，力爭打造成為全國城市綜合管理服務平臺的樣板 案例，切實實現(xiàn)我市城市管理工作走在全國前列的目標。1.4建設內(nèi)容項目根據(jù)住建部試點工作要求、建設指南和技術標準，建設城市綜合管理服 務平臺，實現(xiàn)城市管理數(shù)據(jù)匯聚、數(shù)據(jù)目錄、數(shù)據(jù)治理、數(shù)據(jù)存儲、數(shù)據(jù)共享交 換和數(shù)據(jù)安全多個維度的業(yè)務，同時優(yōu)化數(shù)據(jù)一體化服務功能。在此基礎上，結 合我市城市工作要求，升級建設業(yè)務指導系統(tǒng)、指揮協(xié)調系統(tǒng)、數(shù)據(jù)匯聚系統(tǒng)和數(shù)據(jù)交換系統(tǒng)。為城管業(yè)務高效開展、城市科學精細管理提供有力支撐。第二章、需求分析和項目建設必要性1信息化建設現(xiàn)狀分析2. 1. 1數(shù)字城管建設現(xiàn)狀按照國家及住建部標準，已建成數(shù)字城管

18、系統(tǒng)，實現(xiàn)了信息收集、案卷建立、 任務派遣、任務處理、處理反饋、核查結案以及考核評價七步閉環(huán)的業(yè)務流程。 數(shù)字化城管信息系統(tǒng)自2017年10月1日正式投入運行以來，將市轄6區(qū)、27 個市直部門及企事業(yè)單位納入監(jiān)管范圍，覆蓋全市建成區(qū)約215平方公里，累計 采集部件及地理編碼約59萬個，做到城市管理問題應查盡查、無盲區(qū)。同時， 拓展建設了渣土管理系統(tǒng)、環(huán)衛(wèi)管理系統(tǒng)、餐飲油煙監(jiān)測系統(tǒng)、地下管線安全運 行監(jiān)測系統(tǒng)和執(zhí)法通系統(tǒng)。項目運行多年以來，始終圍繞提升城市管理水平，服 務城市發(fā)展的總體要求，按照“嚴管、精細、長效”的工作方針，以“服務、監(jiān) 督、創(chuàng)新”為重點，充分發(fā)揮數(shù)字城管高效、快捷的技術優(yōu)勢，

19、使大量城市事部 件問題得到有效處置，為城市管理、城市建設方面提供了有力支撐，大大提升了 城市管理水平和人居生活品質。2. 1. 2數(shù)據(jù)庫建設2. 1. 2. 1基礎庫建設基礎地形庫基礎地形庫包括基礎地形圖、正射影像圖、行政區(qū)劃圖以及環(huán)境、城市建設、 歷史文化保護、人文、社會經(jīng)濟等眾多的基礎空間信息和非空間信息。城市部件庫城市部件即物化的城市管理對象，主要包括道路、橋梁、水、電、氣、熱等 市政公用設施及公園、綠地、休閑健身娛樂設施等公共設施，也包括門牌、廣告 牌匾等部分非公共設施。城市事件庫通過對多種不同來源的數(shù)據(jù)，進行標準化稽查、標準化處理、去重，根據(jù)事 件分類代碼、專業(yè)部門編碼等相關主鍵，建

20、立城市管理統(tǒng)一事件信息庫，形成城 市管理事件基礎庫。城市地理編碼庫依據(jù)國家標準數(shù)字化城市管理信息系統(tǒng)第3部分：地理編碼(GB/T 30428. 3-2016)要求，地理編碼數(shù)據(jù)類型可分為行政區(qū)域地名、地片與小區(qū)地名、 街巷地名、門(樓)牌地址、標志物地址、興趣點地址。城市網(wǎng)格庫根據(jù)住建部數(shù)字城管系統(tǒng)有關標準規(guī)范，結合的實際情況，以路、街為主體， 形成不跨越社區(qū)管理的最小單元網(wǎng)格，即社區(qū)圖與單元網(wǎng)格圖重疊，構成城市管 理單元網(wǎng)格和責任網(wǎng)格。城市管網(wǎng)庫共享地下管線建設管理辦公室、燃氣、自來水公司等單位管網(wǎng)數(shù)據(jù)，獲取管 線位置信息、屬性信息、權屬單位及管線附屬設施等數(shù)據(jù)。2. 1.2.2業(yè)務庫建設部

21、門信息庫收集住建局下屬部門及第三方外包公司管理信息，包括責任人、責任主體、 聯(lián)系方式、人員配備、車輛物資等信息。亮化信息庫亮化信息庫主要整合路燈監(jiān)控系統(tǒng)的亮化信息，主要包括道路路燈及景觀亮 化燈飾的開關狀態(tài)、開關時間，以及路燈變電箱的電壓信息、位置信息、屬性信 息等。視頻信息庫視頻信息庫接入各系統(tǒng)建有的視頻監(jiān)控資源，按不同行業(yè)歸屬部門分類列計, 通過輪巡方式展示各系統(tǒng)監(jiān)控情況，在發(fā)生緊急事件時能第一時間調取現(xiàn)場視頻 信息，直觀展示現(xiàn)場情況便于領導決策。業(yè)務統(tǒng)計庫整合匯總各信息化平臺運行業(yè)務數(shù)據(jù)、流轉對象信息、統(tǒng)計報表結果等信息， 數(shù)據(jù)來源于現(xiàn)有信息化平臺中數(shù)字城管、路燈亮化、供熱、供氣、污水處

22、理等平 臺，用于智慧城管及地下管線安全運行監(jiān)測系統(tǒng)平臺的業(yè)務匯總數(shù)據(jù)源。3系統(tǒng)功能需求分析3. 1總體需求分析隨著信息化建設的不斷加深，數(shù)字城管系統(tǒng)已經(jīng)積累了大量的業(yè)務數(shù)據(jù)和城 市管理數(shù)據(jù)，這些數(shù)據(jù)信息來自各個應用系統(tǒng)和業(yè)務平臺，然而從目前現(xiàn)有系統(tǒng) 的數(shù)據(jù)使用狀況來看，依然存在一些不足：1、數(shù)據(jù)和信息系統(tǒng)分散數(shù)字城管項目經(jīng)過多年的發(fā)展，己開發(fā)了眾多信息系統(tǒng)和數(shù)據(jù)庫系統(tǒng)，并積 累了大量的基礎數(shù)據(jù)。然而，豐富的數(shù)據(jù)資源由于建設時期不同，開發(fā)單位不同、 使用設備不同、技術發(fā)展階段不同和能力水平的不同等，數(shù)據(jù)存儲管理極為分散, 造成了過量的數(shù)據(jù)冗余和數(shù)據(jù)不一致性，使得數(shù)據(jù)資源難于查詢訪問，管理層無 法

23、獲得有效的決策數(shù)據(jù)支持。2、信息資源利用程度較低一些信息系統(tǒng)集成度低、互聯(lián)性差、信息管理分散，數(shù)據(jù)的完整性、準確性、 及時性等方面存在較大差距。有些單位己經(jīng)建立了內(nèi)部網(wǎng)和互聯(lián)網(wǎng)，但多年來分 散開發(fā)或引進的信息系統(tǒng)，形成了許多信息孤島，缺乏共享的、網(wǎng)絡化的可用度 高的信息資源體系。3、支持管理決策能力較低數(shù)據(jù)的共享度達不到城市管理主體對信息資源的整體開發(fā)利用的要求。簡單 的應用多，交叉重復也多，能支持管理和決策的應用少，能利用網(wǎng)絡開展經(jīng)營活 動的應用更少。數(shù)據(jù)中蘊藏著巨大信息資源，但是沒有通過有效工具充分挖掘利 用，信息資源的增值作用還沒有在管理決策過程中充分發(fā)揮。綜上所述，對于大量的數(shù)據(jù)不能提

24、供一個統(tǒng)一的數(shù)據(jù)接口，不能采用一種通 用的標準和規(guī)范，無法獲得共享通用的數(shù)據(jù)源，于是不同的應用系統(tǒng)之間必然會 形成彼此隔離的信息孤島。信息孤島是當前信息化建設中亟待解決的主要癥結, 因此如何徹底的消除信息孤島，有效的整合現(xiàn)有及未來的業(yè)務應用系統(tǒng)的數(shù)據(jù)資 源，為管理決策提供有效的數(shù)據(jù)支持，己成為當前信息化建設的重中之重。2. 3. 2業(yè)務指導系統(tǒng)建設需求分析共享國家平臺業(yè)務指導系統(tǒng)，開發(fā)與部級平臺和省級平臺的數(shù)據(jù)接口，實現(xiàn) 法律法規(guī)數(shù)據(jù)、行業(yè)動態(tài)數(shù)據(jù)、經(jīng)驗交流數(shù)據(jù)、舉報投訴數(shù)據(jù)的對接。2. 3. 3指揮協(xié)調系統(tǒng)建設需求分析按照國家及住建部標準，已建成數(shù)字城管系統(tǒng)，實現(xiàn)了信息收集、案卷建立、 任務

25、派遣、任務處理、處理反饋、核查結案以及考核評價七步閉環(huán)的業(yè)務流程， 根據(jù)城市綜合管理服務評價工作要求，本次項目建設將數(shù)字城管核心九標系統(tǒng)向 城市綜合管理服務平臺指揮協(xié)調系統(tǒng)升級，擴展與“干凈、整潔、有序、安全” 相關的管理對象，納入城市管理部件事件數(shù)據(jù)體系、行業(yè)應用數(shù)據(jù)體系和相關行 業(yè)數(shù)據(jù)體系管理，實現(xiàn)對城市綜合管理相關部門的統(tǒng)籌協(xié)調、指揮調度和監(jiān)督考 核。同時加強城市管理案件智能處置體系，提升指揮中心案件處置效率，實現(xiàn)減 員增效。2. 3.4相關行業(yè)應用系統(tǒng)建設需求分析整合已建成的城市管理相關行業(yè)業(yè)務系統(tǒng)，構建統(tǒng)一的城市綜合管理服務平 臺相關行業(yè)應用系統(tǒng)，包括渣土管理系統(tǒng)、環(huán)衛(wèi)管理系統(tǒng)、餐飲

26、油煙監(jiān)測系統(tǒng)、 地下管線安全運行監(jiān)測系統(tǒng)和執(zhí)法通管理等城市管理行業(yè)應用系統(tǒng)，同時與數(shù)據(jù) 匯聚系統(tǒng)結合，實現(xiàn)城市管理行業(yè)應用數(shù)據(jù)的整合應用和共享。2. 3. 5數(shù)據(jù)交換系統(tǒng)建設需求分析數(shù)據(jù)交換系統(tǒng)實現(xiàn)與內(nèi)部、外部應用系統(tǒng)信息交換共享，實現(xiàn)跨部門信息的 采集和交換，并提供各類信息的共享和使用。平臺按照市級城市綜合管理服務平 臺技術標準及國家平臺、省級平臺數(shù)據(jù)共享與交換要求，開發(fā)相應的數(shù)據(jù)接口， 通過接口對接傳輸?shù)确绞缴蠄髷?shù)據(jù)。包含接口服務發(fā)布、接口服務訂閱、數(shù)據(jù)交 換、接口狀態(tài)監(jiān)控等。2. 4項目建設的必要性與可行性2. 4.1項目建設必要性2. 4. 1. 1是落實國家住建部和安徽省住建廳工作部

27、署的需要建設城市綜合管理服務平臺是落實貫徹關于提高城市管理科學化、精細化、 智能化水平的重要指示精神，以及全國住房和城鄉(xiāng)建設工作會議部署，按照住房 和城鄉(xiāng)建設部先后出臺的關于開展城市綜合管理服務平臺建設和聯(lián)網(wǎng)工作的通 知、城市綜合管理服務平臺建設指南和城市綜合管理服務平臺技術標準 以及安徽省住建廳發(fā)布的關于推進我省城市綜合管理服務平臺建設和聯(lián)網(wǎng)工作 的通知要求，結合我市實際情況，全面啟動我市城市綜合管理服務平臺的建設 工作。2. 4. 1. 2是構建創(chuàng)新型城市的需要通過城市綜合管理服務平臺信息化建設，逐步建立起政府、企業(yè)與公眾之間 的信息共享平臺和良性互動機制，協(xié)調、和諧人與環(huán)境的關系，特別在

28、改善城市 交通、治安狀況和完善社區(qū)服務等方面可以發(fā)揮積極的輔助作用，促進城市經(jīng)濟 與社會的可持續(xù)發(fā)展，為人們創(chuàng)造和諧的生活信息空間，為城市管理與服務一體 化，提高政府執(zhí)政能力和水平，促進和諧社會建設提供可靠的先進技術保障。2. 4. 1. 3是改善人民生活水平的需要城市綜合管理服務平臺是遙感、計算機、空間技術、通信等信息技術的綜合 運用，體現(xiàn)了 21世紀的最先進的生產(chǎn)力，是發(fā)展節(jié)約型城市的新興動力。智慧 化城市管理將改變城市環(huán)境保護和經(jīng)濟發(fā)展之間原有的矛盾性和不適應性，實現(xiàn) 經(jīng)濟發(fā)展和環(huán)境保護的相互平衡，有力地促進城市的可持續(xù)發(fā)展。2. 4. 1. 4是提高城市管理水平的需要在新一輪城市發(fā)展中

29、，城市管理既要保障大規(guī)模城市建設的順利推進，更要 服務于城市功能的整體提升。一方面，大建設所提供高質量物質基礎和載體，將 對城市管理提出新的更高要求；另一方面，現(xiàn)有城市基礎設施的優(yōu)化運作，將要 求城市管理手段不斷更新。城市綜合管理服務平臺項目建設將促進管理從定性變 為定量、靜態(tài)變?yōu)閯討B(tài)、單一變?yōu)榫C合，從而發(fā)揮現(xiàn)有基礎設施的最佳效能，進 一步提高城市的運行效率，不斷滿足城市生產(chǎn)和人民生活的需要。2. 4.1. 5是增強城市管理能力的需要近幾年，盡管在城市管理中積極摸索創(chuàng)新，比如通過辦公自動化、電子政務 等科技手段來提升城市管理水平，但從總體的效果和水平來看，還有待于進一步 的改善。綜上所述，城市

30、綜合管理服務平臺建設符合政策要求、符合形式需求，同時 也符合管理需要，有助于全面提升城市管理水平，為穩(wěn)定和諧發(fā)展保駕護航，對 社會經(jīng)濟發(fā)展具有非常重要的意義，因此本項目的實施十分必要。2.4.2項目建設可行性2. 4. 2.1政府的高度重視提供良好的發(fā)展機遇和政策保障城市綜合管理一直是各級政府的重要工作，近幾年，隨著網(wǎng)格化工作機制的 日益成熟，國家住建部和安徽省都出臺了相關的政策文件及規(guī)劃方案，積極號召 和推動城市綜合管理服務平臺建設工作的順利開展。這些政策措施，無疑為本項 H的建設提供了良好的發(fā)展機遇和政策支持保障。2. 4. 2. 2信息化發(fā)展已經(jīng)累積了深厚的基礎近幾年，在政府大力支持下，

31、數(shù)字城管信息化工作成果顯著。積累了豐富的 信息化建設經(jīng)驗和信息數(shù)據(jù)的沉淀，為本項目打下了強有力的信息化工作基礎。 完善的網(wǎng)絡環(huán)境護體系為本項目建設提供了強有力的信息化軟硬件基礎。同時, 城市管理多個業(yè)務部門均具有信息化應用建設和運行經(jīng)驗，能較快接受信息化業(yè) 務協(xié)同模式，對城市綜合管理服務平臺項目的推進具有非常豐富的實施經(jīng)驗，并 能提供較為完善的信息化建設建議，為本項目的設計和實施奠定基礎。2. 4. 2. 3項目建設單位具備一定的人才保障數(shù)字城管中心配備了專業(yè)的信息化技術人員，可用于專門負責城市綜合管理 服務平臺的規(guī)劃、建設、運行和管理。2. 4. 2.4技術可行性云計算、移動互聯(lián)網(wǎng)、大數(shù)據(jù)等

32、新興技術的快速發(fā)展與廣泛應用為民生服務 領域的全面創(chuàng)新提供了技術支撐。伴隨著政府在電子政務方面的IT基礎設施的建設和快速發(fā)展，政府委辦局 之間信息孤島的打破，為信息資源共享和公共服務資源的公開提供了可行的技術 保障和支撐。電腦、手機、移動終端、自助終端、市民卡、互助設備、家庭終端等IT設 備的普及，使得百姓可通過各種身邊的IT設備，隨時、隨地、隨需地獲取服務。隨著我國智慧城市建設特別是試點城市建設的推進，在基礎云平臺建設和城 市綜合管理服務平臺相關的應用方面，己經(jīng)形成相對成熟的案例，有成熟的技術 模式和商業(yè)模式可供借鑒。通過整體研究項目的必要性和可行性，通過城市綜合管理服務平臺建設，可 實現(xiàn)城

33、市綜合管理的信息化、標準化、精細化，保證城市中出現(xiàn)的城市管理問題 都能夠及時發(fā)現(xiàn)、及時處理、及時解決，逐步建立溝通快捷、分工明確、責任到 位、反應快速、處置及時、運轉高效的長效管理機制。因此，城市綜合管理服務 平臺建設項目建設是必要的，也是可行的。第三章、總體設計方案1總體設計原則根據(jù)國務院關于信息化建設“統(tǒng)籌規(guī)劃、資源共享、應用主導、面向市場、 安全可靠、務求實效”的方針，響應國家住房和城鄉(xiāng)建設部辦公廳下發(fā)住房和 城鄉(xiāng)建設部辦公廳關于開展城市綜合管理服務平臺建設和聯(lián)網(wǎng)工作的通知建辦 督函2020 102號文件要求，以及安徽省住房和城鄉(xiāng)建設部辦公廳關于開展城市 綜合管理服務平臺建設和聯(lián)網(wǎng)工作的

34、通知，結合我市城市管理業(yè)務特點和需求, 確定信息化建設的建設原則。1. 1統(tǒng)一規(guī)劃、總體設計充分利用現(xiàn)有數(shù)字城管平臺信息資源，因地制宜，合理規(guī)劃各類應用系統(tǒng), 并根據(jù)實際需要，對目標系統(tǒng)進行全面地、系統(tǒng)地總體設計，確保系統(tǒng)滿足用戶 各個階段的工作需要，同時避免信息孤島帶來的高成本、低效率、難維護的缺陷 問題。3.1.2急用先行、分步建設在統(tǒng)一規(guī)劃，總體設計的基礎之上，市級城市綜合管理服務平臺應建設指揮 協(xié)調系統(tǒng)、行業(yè)應用系統(tǒng)、公眾服務系統(tǒng)、數(shù)據(jù)匯聚系統(tǒng)和數(shù)據(jù)交換系統(tǒng)，應根 據(jù)數(shù)字城管建設現(xiàn)狀和城市管理體制改革的情況，分批分期進行系統(tǒng)應用建設。3.1.3高位統(tǒng)籌、數(shù)據(jù)共享城市綜合管理服務平臺是從

35、國家、省廳、市三級進行規(guī)劃，平臺建設要考慮 與安徽省城市綜合管理服務平臺之間的數(shù)據(jù)對接，實現(xiàn)數(shù)據(jù)的互聯(lián)共享。數(shù)據(jù)建 設應符合標準規(guī)范，以各領域業(yè)務系統(tǒng)（數(shù)字城管、市政設施、環(huán)境衛(wèi)生、園林 綠化、城管執(zhí)法）為基礎支撐，充分覆蓋各行業(yè)的業(yè)務數(shù)據(jù)，滿足城市綜合管理 服務平臺的數(shù)據(jù)需求。3. 1. 4技術先進、先行先試在平臺規(guī)劃過程中，要充分考慮先進的技術，先進的方法，采用符合國際發(fā) 展潮流的技術，充分利用數(shù)據(jù)倉庫、物聯(lián)網(wǎng)及5G傳輸、無人機、大數(shù)據(jù)分析、 智能感知識別等技術，具備一定的前瞻性。另一方面，在平臺建設過程中，需要 充分把握技術的穩(wěn)定性和成熟性，使得城市綜合管理服務平臺的建設，既能夠達 到國

36、內(nèi)的領先水平，又能滿足城市綜合管理的應用要求。3. 2總體框架設計城市綜合管理服務平臺整合各業(yè)務數(shù)據(jù)形成綜合性數(shù)據(jù)庫，提供信息資源 目錄和相關標準規(guī)范要求，滿足城市管理領域數(shù)據(jù)共享交換需求。3. 3關鍵技術路線3. 3. 1三層體系結構基于網(wǎng)絡的數(shù)據(jù)處理日益成為信息化的中心環(huán)節(jié)，數(shù)據(jù)庫的靈活性、安全性 和可拓展性成為數(shù)據(jù)處理技術的焦點。應用系統(tǒng)的不斷擴充和新功能的不斷增加, 基于傳統(tǒng)的二層數(shù)據(jù)處理結構中系統(tǒng)拓展性、維護成本、數(shù)據(jù)安全性和應用間通 信功能障礙等原生性問題的存在，己不能適應目前的需要，系統(tǒng)建設必須采用分 布式互聯(lián)網(wǎng)體系結構（Distributed interNet Architec

37、ture,簡稱DNA體系）。 DNA體系是一個三層體系結構上，如下圖所示。三層體系結構圖三層體系結構包括數(shù)據(jù)層（Data Layer）業(yè)務邏輯層（Business Logic Layer）和表現(xiàn)層（Presentation Layer）0其中，表現(xiàn)層也稱作用戶層，主要指 用戶界面，它要求盡可能的簡單，使最終用戶不需要進行任何培訓就能方便地訪 問信息；業(yè)務邏輯層對應應用服務器，所有的應用系統(tǒng)、應用邏輯、控制都在這 一層，系統(tǒng)的復雜性也主要體現(xiàn)在業(yè)務邏輯層，該層根據(jù)需要也可以分為多層, 所以三層體系結構也稱為多層體系結構；最后的數(shù)據(jù)庫服務器存儲大量的數(shù)據(jù)信 息和數(shù)據(jù)邏輯，所有與數(shù)據(jù)有關的安全、完整

38、性控制、數(shù)據(jù)的一致性、并發(fā)操作 等都是在第三層完成。三層結構在傳統(tǒng)的二層結構的基礎上增加了業(yè)務邏輯層, 將業(yè)務邏輯單獨進行處理，從而使得用戶界面與應用邏輯位于不同的平臺上，兩 者之間的通信協(xié)議由系統(tǒng)自行定義。通過這樣的結構設計，使得業(yè)務邏輯被所有 用戶共享。多層應用結構在各層次上的組件能單獨更新、替換或增加、拆除。因此，系 統(tǒng)維護更方便，代價相對低得多。而且，因各組件互相獨立，更換組件就好比更 換組合音響的一個部件，對系統(tǒng)其他部分并無影響，所以更新維護更加安全可靠。通過將業(yè)務邏輯集中到中間層，系統(tǒng)獲得了對業(yè)務邏輯的獨立性，即當用戶 的需求改變時，構建平臺可以迅速地在中間層（應用服務器）上更新業(yè)

39、務邏輯, 而無需將更新后的應用提交到眾多的PC終端系統(tǒng)上去，即客戶端無需任何改動。同時，多層體系結構將數(shù)據(jù)與程序、數(shù)據(jù)控制與應用邏輯分層獨立管理，能 更嚴格地控制信息訪問；信息傳遞中采用數(shù)據(jù)加密技術，可進一步減低信息失密 的風險。應用服務器內(nèi)建安全控制數(shù)據(jù)庫，實現(xiàn)應用服務器與數(shù)據(jù)服務器的雙重 權限控制，對權限的劃分更準確、靈活、嚴格。新系統(tǒng)在信息訪問、傳遞和存儲 三個環(huán)節(jié)上均有嚴格的安全措施。采用DNA體系三層結構，具有如下優(yōu)點：（1）實現(xiàn)了分布式數(shù)據(jù)處理，能完全利用平臺的靈活性、Internet的優(yōu)勢 和通訊能力；（2）在一個共享的中間層封裝了商業(yè)規(guī)則；（3）使用標準的數(shù)據(jù)訪問接口，跟所使用

40、的數(shù)據(jù)庫無關；（4）中間層的業(yè)務邏輯采用組件技術開發(fā)，靈活性大，易于移植，可以快 速開發(fā)、部署應用程序，不需要對開發(fā)者進行重新培訓，降低開發(fā)者必須寫的代 碼；（5）各模塊皆具有互操作能力，可以方便地向現(xiàn)有系統(tǒng)增加功能，符合開 放的協(xié)議與標準，可以集成其他廠商的產(chǎn)品。根據(jù)三層體系結構的設計原則，我們系統(tǒng)的總體結構圖如下所示：1辦公界面配置界面I access總體設計架構圖3. 3. 2Redis 技術Redis是一個開源的使用ANSIC語言編寫、支持網(wǎng)絡、可基于內(nèi)存亦可持久 化的日志型Key-Value數(shù)據(jù)庫，并提供多種語言的APIoredis是一個key-value 存儲系統(tǒng)。和Memcach

41、ed類似，它支持存儲的value類型相對更多，包括 string（字符串）、list （鏈表） set （集合）、zset （sorted set有序集合）和 hash （哈希類型）。這些數(shù)據(jù)類型都支持push/pop、add/remove及取交集并集和差集 及更豐富的操作，而且這些操作都是原子性的。在此基礎上，redis支持各種不 同方式的排序。與memcached -樣，為了保證效率，數(shù)據(jù)都是緩存在內(nèi)存中。區(qū) 別的是redis會周期性的把更新的數(shù)據(jù)寫入磁盤或者把修改操作寫入追加的記 錄文件，并且在此基礎上實現(xiàn)了 master-slave(主從)同步。Redis是一個高性能的key-valu

42、e數(shù)據(jù)庫。redis的出現(xiàn)，很大程度補償了 memcached這類key/value存儲的不足，在部分場合可以對關系數(shù)據(jù)庫起到很好 的補充作用。它提供了 Java, C/C+, C#, PHP, JavaScript, Perl, Object-C, Python, Ruby, Erlang等客戶端，使用很方便。Redis支持主從同步。數(shù)據(jù)可以從主服務器向任意數(shù)量的從服務器上同步， 從服務器可以是關聯(lián)其他從服務器的主服務器。這使得Redis可執(zhí)行單層樹復 制。存盤可以有意無意的對數(shù)據(jù)進行寫操作。由于完全實現(xiàn)了發(fā)布/訂閱機制， 使得從數(shù)據(jù)庫在任何地方同步樹時，可訂閱一個頻道并接收主服務器完整的消

43、息 發(fā)布記錄。同步對讀取操作的可擴展性和數(shù)據(jù)冗余很有幫助。3. 3. 3全業(yè)務B/S架構隨著互聯(lián)網(wǎng)的飛速發(fā)展，城市綜合管理服務平臺移動辦公和區(qū)市部門分布辦 公越來越普及，這需要我們的系統(tǒng)具有擴展性。傳統(tǒng)的C/S體系結構雖然采用的 是開放模式，但這只是系統(tǒng)開發(fā)一級的開放性，在特定的應用中無論是Client 端還是Server端都還需要特定的軟件支持。由于沒能提供用戶真正期望的開放 環(huán)境，C/S結構的軟件需要針對不同的操作系統(tǒng)開發(fā)不同版本的軟件，加之產(chǎn)品 的更新?lián)Q代十分快，已經(jīng)很難適應百臺電腦以上局域網(wǎng)用戶同時使用。而旦維護 成本高，維護任務量大且效率低。根據(jù)需求，系統(tǒng)架構將全部升級，全部采用B/

44、S架構，降低由于部分系統(tǒng)單 獨部署安裝帶來的大量維護工作和維護費用以及時間。B/S (Browser/Server) 結構即瀏覽器和服務器結構。它是隨著Internet技術的興起，對C/S結構的一 種變化或者改進的結構。在這種結構下，用戶工作界面是通過WWW瀏覽器來實現(xiàn)， 極少部分事務邏輯在前端(Browser)實現(xiàn)，但是主要事務邏輯在服務器端(Server) 實現(xiàn)，形成所謂三層3-tier結構。這樣就大大簡化了客戶端電腦載荷，減輕了 系統(tǒng)維護與升級的成本和工作量，降低了用戶的總體成本(TCO)o3. 3. 4S0A 架構當前主流的應用系統(tǒng)集成是使用Web服務技術實現(xiàn)面向服務的體系結構 (SO

45、A)oSOA是對分布式對象技術從Web服務方面推進新的標準方式。可以說SOA為分布式對象技術B/S體系框架上提供WEB服務協(xié)議。SOA的實現(xiàn)對技術沒有限制。SOA是關于共享和管理服務的結構，對所采用 的技術只需要滿足它的需要就可以。雖然Web服務協(xié)議到目前為止還是首選的創(chuàng) 建和部署SOA架構的標準，但是也可以使用其他標準，比如CORBA、COM和JAVA EE,甚至可以采用私有技術創(chuàng)建SOA。3. 3. 5Spring開發(fā)框架Spring框架是一個分層架構，由7個定義良好的模塊組成。Spring模塊構 建在核心容器之上，核心容器定義了創(chuàng)建、配置和管理bean的方式，如圖所示。Spring AO

46、PSource-levelmetadataAOP infrastructureSpring ORMHibefnate supportiBats supportJDO supportSpring WebWebApplicabonContextMutipan resolverWet utltbesSpring DAOTransaction infrastructureJOBC supportDAO supportSpring ContextAppbcation contextUl supportValuationJNDL EJB support andremodelingMailSpring We

47、bMVCWeb MVCFrameworkWeb ViewsJSP/VelocityPDF/ExpoctSpring CoreSupporting uHitaesBean contanefSring開發(fā)框架圖組成Spring框架的每個模塊(或組件)都可以單獨存在，或者與其他一個 或多個模塊聯(lián)合實現(xiàn)。每個模塊的功能如下:核心容器：核心容器提供Spring框架的基本功能。核心容器的主要組件 是BeanFactory,它是工廠模式的實現(xiàn)。BeanFactory使用控制反轉(I0C)模式 將應用程序的配置和依賴性規(guī)范與實際的應用程序代碼分開。Spring 下文：Spring 下文是一個配置文件，向Spr

48、ing框架提供上 下文信息。Spring 下文包括企業(yè)服務，例如JNDI、EJB、電子郵件、國際化、 校驗和調度功能。Spring AOP：通過配置管理特性，Spring AOP模塊直接將面向方面的編 程功能集成到了 Spring框架中。所以，可以很容易地使Spring框架管理的任何 對象支持AOP。Spring AOP模塊為基于Spring的應用程序中的對象提供了事務 管理服務。通過使用Spring AOP,不用依賴EJB組件，就可以將聲明性事務管 理集成到應用程序中。Spring DAO： JDBC DAO抽象層提供了有意義的異常層次結構，可用該結 構來管理異常處理和不同數(shù)據(jù)庫供應商拋出的

49、錯誤消息。異常層次結構簡化了錯 誤處理，并且極大地降低了需要編寫的異常代碼數(shù)量（例如打開和關閉連接）。 Spring DAO的面向JDBC的異常遵從通用的DAO異常層次結構。Spring ORM： Spring框架插入了若干個ORM框架，從而提供了 ORM的對 象關系工具，其中包括JDO、Hibernate和iBatis SQL Map。所有這些都遵從 Spring的通用事務和DAO異常層次結構。Spring Web模塊：Web上下文模塊建立在應用程序上下文模塊之上，為 基于Web的應用程序提供了上下文。所以，Spring框架支持與Jakarta Struts 的集成。Web模塊還簡化了處理多

50、部分請求以及將請求參數(shù)綁定到域對象的工作。Spring MVC框架:MVC框架是一個全功能的構建Web應用程序的MVC實 現(xiàn)。通過策略接口，MVC框架變成為高度可配置的，MVC容納了大量視圖技術， 其中包括 JSP、Velocity、Tiles、iText 和 POI。Spring框架的功能可以用在任何J2EE服務器中，大多數(shù)功能也適用于不受 管理的環(huán)境。Spring的核心要點是：支持不綁定到特定J2EE服務的可重用業(yè)務 和數(shù)據(jù)訪問對象。毫無疑問，這樣的對象可以在不同J2EE環(huán)境（Web或EJB）、 獨立應用程序、測試環(huán)境之間重用。Spring是一個解決了許多在J2EE開發(fā)中常見的問題的強大框

51、架o Spring提 供了管理業(yè)務對象的一致方法并且鼓勵了注入對接口編程而不是對類編程的良 好習慣。Spring的架構基礎是基于使用JavaBean屬性的Inversion of Control 容器。Spring在使用IOC容器作為構建所有架構層的完整解決方案方面是獨一無 二的。Spring提供了唯一的數(shù)據(jù)訪問抽象，包括簡單和有效率的JDBC框架， 極大的改進了效率并且減少了可能的錯誤。Spring的數(shù)據(jù)訪問架構還集成了 Hibernate和其他0/R mAPPing解決方 案。Spring還提供了唯一的事務管理抽象，它能夠在各種底層事務管理技術，例 如JTA或者JDBC事務提供一個一致的編

52、程模型。Spring提供了一個用標準Java語言編寫的AOP框架，它給POJOs提供 了聲明式的事務管理和其他企業(yè)事務。如果需要，還能實現(xiàn)你自己的aspectso 這個框架足夠強大，使得應用程序能夠拋開EJB的復雜性，同時享受著和傳統(tǒng) EJB相關的關鍵服務。Spring提供了可以和I0C容器集成的強大而靈活的MVC Web框架。3. 3. 6大數(shù)據(jù)批處理系統(tǒng)批處理在大數(shù)據(jù)世界有著悠久的歷史。批處理主要操作大容量靜態(tài)數(shù)據(jù)集, 并在計算過程完成后返回結果。批處理非常適合需要訪問全套記錄才能完成的計算工作。例如在計算總數(shù)和 平均數(shù)時，必須將數(shù)據(jù)集作為一個整體加以處理，而不能將其視作多條記錄的集 合。

53、這些操作要求在計算進行過程中數(shù)據(jù)維持自己的狀態(tài)。需要處理大量數(shù)據(jù)的任務通常最適合用批處理操作進行處理。無論直接從持 久存儲設備處理數(shù)據(jù)集，或首先將數(shù)據(jù)集載入內(nèi)存，批處理系統(tǒng)在設計過程中就 充分考慮了數(shù)據(jù)的量，可提供充足的處理資源。由于批處理在應對大量持久數(shù)據(jù) 方面的表現(xiàn)極為出色，因此經(jīng)常被用于對歷史數(shù)據(jù)進行分析。大量數(shù)據(jù)的處理需 要付出大量時間，因此批處理不適合對處理時間要求較高的場合。Apache Hadoop是一種專用于批處理的處理框架。Hadoop是首個在開源社區(qū) 獲得極大關注的大數(shù)據(jù)框架?；诠雀栌嘘P海量數(shù)據(jù)處理所發(fā)表的多篇論文與經(jīng) 驗的Hadoop重新實現(xiàn)了相關算法和組件堆棧，讓大規(guī)

54、模批處理技術變得更易用。Hadoop的處理功能來自MapReduce引擎o MapReduce的處理技術符合使用鍵 值對的map、shuffle reduce算法要求。基本處理過程包括：圍繞Hadoop已經(jīng)形成了遼闊的生態(tài)系統(tǒng)，Hadoop集群本身也經(jīng)常被用作其 他軟件的組成部件。很多其他處理框架和引擎通過與Hadoop集成也可以使用HDFS和YARN資源管理器。3. 3. 7大數(shù)據(jù)流處理系統(tǒng)流處理系統(tǒng)會對隨時進入系統(tǒng)的數(shù)據(jù)進行計算。相比批處理模式，這是一種 截然不同的處理方式。流處理方式無需針對整個數(shù)據(jù)集執(zhí)行操作，而是對通過系 統(tǒng)傳輸?shù)拿總€數(shù)據(jù)項執(zhí)行操作。流處理系統(tǒng)可以處理幾乎無限量的數(shù)據(jù)，

55、但同一時間只能處理一條（真正的 流處理）或很少量（微批處理，Micro-batch Processing）數(shù)據(jù)，不同記錄間只 維持最少量的狀態(tài)。雖然大部分系統(tǒng)提供了用于維持某些狀態(tài)的方法，但流處理 主要針對副作用更少，更加功能性的處理（Functional processing）進行優(yōu)化。功能性操作主要側重于狀態(tài)或副作用有限的離散步驟。針對同一個數(shù)據(jù)執(zhí)行 同一個操作會或略其他因素產(chǎn)生相同的結果，此類處理非常適合流處理，因為不 同項的狀態(tài)通常是某些困難、限制，以及某些情況下不需要的結果的結合體。因 此雖然某些類型的狀態(tài)管理通常是可行的，但這些框架通常在不具備狀態(tài)管理機 制時更簡單也更高效。此類處

56、理非常適合某些類型的工作負載。有近實時處理需求的任務很適合使 用流處理模式。分析、服務器或應用程序錯誤日志，以及其他基于時間的衡量指 標是最適合的類型，因為對這些領域的數(shù)據(jù)變化做出響應對于業(yè)務職能來說是極 為關鍵的。流處理很適合用來處理必須對變動或峰值做出響應，并且關注一段時 間內(nèi)變化趨勢的數(shù)據(jù)。Apache Storm是一種側重于極低延遲的流處理框架，也許是要求近實時處 理的工作負載的最佳選擇。該技術可處理非常大量的數(shù)據(jù)，通過比其他解決方案 更低的延遲提供結果。對于延遲需求很高的純粹的流處理工作負載，Storm可能是最適合的技術。 該技術可以保證每條消息都被處理，可配合多種編程語言使用。由于

57、Storm無法 進行批處理，如果需要這些能力可能還需要使用其他軟件。如果對嚴格的一次處 理保證有比較高的要求，此時可考慮使用Tridento不過這種情況下其他流處理 框架也許更適合。3. 3. 8大數(shù)據(jù)混合處理系統(tǒng)一些處理框架可同時處理批處理和流處理工作負載。這些框架可以用相同或 相關的組件和API處理兩種類型的數(shù)據(jù)，借此讓不同的處理需求得以簡化。這一特性主要是由Spark和Flink實現(xiàn)的，實現(xiàn)這樣的功能重點在于兩種不 同處理模式如何進行統(tǒng)一，以及要對固定和不固定數(shù)據(jù)集之間的關系進行何種假 設。雖然側重于某一種處理類型的項目會更好地滿足具體用例的要求，但混合框 架意在提供一種數(shù)據(jù)處理的通用解

58、決方案。這種框架不僅可以提供處理數(shù)據(jù)所需 的方法，而且提供了自己的集成項、庫、工具，可勝任圖形分析、機器學習、交 互式查詢等多種任務。Apache Spark是一種包含流處理能力的下一代批處理框架。與Hadoop的 MapReduce引擎基于各種相同原則開發(fā)而來的Spark主要側重于通過完善的內(nèi)存 計算和處理優(yōu)化機制加快批處理工作負載的運行速度。Spark可作為獨立集群部署（需要相應存儲層的配合），或可與Hadoop集成 并取代MapReduce引擎。Apache Flink是一種可以處理批處理任務的流處理框架。該技術可將批處 理數(shù)據(jù)視作具備有限邊界的數(shù)據(jù)流，借此將批處理任務作為流處理的子集加

59、以處 理。為所有處理任務采取流處理為先的方法會產(chǎn)生一系列有趣的副作用。Flink的批處理模型在很大程度上僅僅是對流處理模型的擴展。此時模型不 再從持續(xù)流中讀取數(shù)據(jù)，而是從持久存儲中以流的形式讀取有邊界的數(shù)據(jù)集。 Flink會對這些處理模型使用完全相同的運行時。Flink可以對批處理工作負載實現(xiàn)一定的優(yōu)化。例如由于批處理操作可通過 持久存儲加以支持，F(xiàn)link可以不對批處理工作負載創(chuàng)建快照。數(shù)據(jù)依然可以恢 復，但常規(guī)處理操作可以執(zhí)行得更快。3. 3. 9大數(shù)據(jù)分析及挖掘技術大數(shù)據(jù)處理的核心就是對大數(shù)據(jù)進行分析，只有通過分析才能獲取很多智能 的、深入的、有價值的信息。越來越多的應用涉及大數(shù)據(jù)，這些

60、大數(shù)據(jù)的屬性, 包括數(shù)量、速度、多樣性等都引發(fā)了大數(shù)據(jù)不斷增長的復雜性，所以，大數(shù)據(jù)的 分析方法在大數(shù)據(jù)領域就顯得尤為重要，可以說是決定最終信息是否有價值的決 定性因素。利用數(shù)據(jù)挖掘進行數(shù)據(jù)分析的常用方法主要有分類、回歸分析、聚類、關聯(lián) 規(guī)則等，它們分別從不同的角度對數(shù)據(jù)進行挖掘。1）分類。分類是找出數(shù)據(jù)庫中一組數(shù)據(jù)對象的共同特點并按照分類模式將其 劃分為不同的類。其目的是通過分類模型，將數(shù)據(jù)庫中的數(shù)據(jù)項映射到某個給定 的類別。它可以應用到客戶的分類、客戶的屬性和特征分析、客戶滿意度分析、 客戶的購買趨勢預測等。2）回歸分析?；貧w分析方法反映的是事務數(shù)據(jù)庫中屬性值在時間上的特征。該方法可產(chǎn)生一