智慧社區(qū)項目解決方案說明書

智慧社區(qū)項目解決方案說明書XX科技股份有限公司編制目錄一、項目存在問題及需解決問題 31. 存在問題 32. 需解決問題 3二、解決方案 31.解決方案架構(gòu) 52.關(guān)鍵技術(shù) 7（1）Hadoop 7（2）SpringMVC 7（3）MyBatis 7（4）Echarts 7（5）MySQL 7（6）Hive 8（7）HBASE 8（8）Zookeeper 9（9）Flume 9三、開發(fā)范圍 91. 數(shù)據(jù)生產(chǎn) 92. 數(shù)據(jù)采集/消費 93. 數(shù)據(jù)分析 104. 數(shù)據(jù)展示 11項目存在問題及需解決問題存在問題面臨當前嚴峻的治安形勢，缺少全局性的考慮和前期的充分整體規(guī)劃，各級業(yè)務條線各自獨立，研判信息和成果難以共享，數(shù)據(jù)格式標準不一，系統(tǒng)間的互聯(lián)互通、相互協(xié)同都存在較大的困難，導致各管一攤、條塊分割，信息和業(yè)務的交互只能通過人工手段實施。在大量的項目建設(shè)中總結(jié)得出，缺乏信息共享的支撐能力、信息資源和個性化應用需求的服務能力、面向?qū)崙?zhàn)需求數(shù)據(jù)深度應用能力，缺乏共享數(shù)據(jù)標準、數(shù)據(jù)對接接口標準、基礎(chǔ)數(shù)據(jù)字段標準、數(shù)據(jù)更新標準等，很難實現(xiàn)真正整合共享數(shù)據(jù)的目的，難以應對越來越復雜的形勢?；谖锫?lián)信息等技術(shù)的發(fā)展，我們已經(jīng)找到了社區(qū)建設(shè)的好方法，那就是，建設(shè)智慧社區(qū)。智慧社區(qū)包含三個含義，一是社區(qū)管理、運作的智能化，二是全社區(qū)內(nèi)的單位、企業(yè)、組織、公眾共同參與的協(xié)同化，三是人們共同參與社會管理和服務過程中自身內(nèi)在智慧產(chǎn)生和應用度。所以，智慧社區(qū)建設(shè)是以數(shù)字化、網(wǎng)絡化、智能化、互動化、協(xié)同化為基本特征，構(gòu)建科學、智能、人本、協(xié)調(diào)的城市內(nèi)生系統(tǒng)。需解決問題缺乏整體規(guī)劃和頂層設(shè)計缺少有效的系統(tǒng)平臺解決方案多年來信息化建設(shè)總是強調(diào)“以信息資源為中心”、把“信息資源開發(fā)利用”放在首位，今天人們更需要資料精選系統(tǒng)而非增加閱讀量的系統(tǒng)。我們的信息化建設(shè)一路走來，從電子政府建設(shè)->社區(qū)信息化建設(shè)->社區(qū)對外服務平臺建設(shè)->社區(qū)事務“一門式、一口式”受理模式->智慧社區(qū)建設(shè)。今天我們已經(jīng)意識到數(shù)據(jù)資源，軟件資源、網(wǎng)絡資源是同等重要，三者都是信息資源。軟件加上網(wǎng)絡成為智能資源的主要組成部分，智慧社區(qū)建設(shè)一方面要完善政府業(yè)務自動化和數(shù)據(jù)資源的整合與開放，另一方面要將更多的精力集中到智能服務系統(tǒng)的開發(fā)建設(shè)上來，構(gòu)建更多的社區(qū)智能服務系統(tǒng)，更好地為居民服務。（1）關(guān)于頂層設(shè)計設(shè)計關(guān)注整體效益。智慧社區(qū)建設(shè)關(guān)注的不是一個方面的事情，而是信息化應用的整體效益。它通過對區(qū)域的地理、資源、環(huán)境、經(jīng)濟、社會等系統(tǒng)進行數(shù)字化網(wǎng)絡化管理，對區(qū)域內(nèi)基礎(chǔ)設(shè)施、基礎(chǔ)環(huán)境、商圈、社區(qū)生活服務業(yè)等的多方位數(shù)字化、信息化的實時處理與利用，構(gòu)建以政府、企業(yè)、市民三大主體的交互、共享平臺。所以，它強調(diào)建設(shè)過程的生態(tài)體系，一是參與建設(shè)的各家單位相互的包容整合型生態(tài)，二是信息呈現(xiàn)和使用過程中的生態(tài)性。（2）數(shù)字化數(shù)字化的結(jié)果是將社區(qū)內(nèi)相關(guān)的管理與服務信息實現(xiàn)充分計算機化。數(shù)字化展現(xiàn)的基礎(chǔ)是通過地理系統(tǒng)提供完善信息服務和網(wǎng)絡服務。它直接面向人，用戶可以通過PC、手機、平板電腦、電子書等終端設(shè)備，分享系統(tǒng)提供的包羅萬象的各類信息。數(shù)字化建設(shè)是智慧社區(qū)的基礎(chǔ)，它包含能夠?qū)⑸鐣犀F(xiàn)有的各系統(tǒng)整合在一起的數(shù)字交換中心，和將紛繁復雜的信息智能化分析的自動處理系統(tǒng)。該信息系統(tǒng)將代替人自動處理事務，系統(tǒng)經(jīng)常在人無所察的情況下為居民提供服務。（3）智能交易考慮將社區(qū)應用的市民卡融入銀行卡內(nèi)，而不是在市民卡中加入小額支付功能。這樣將實現(xiàn)所有功能應用的最大化，同時，因為卡是實名制的，將有利于誠信社會的建設(shè)。（4）智能公共服務與社會管理社會管理是政府本身的職能所在。公共服務包括政府提供的服務與市場提供的服務。公共服務智能化是提高服務效率與質(zhì)量的基本途徑。智慧社區(qū)的布局并不是一開始就面面俱到，而是依據(jù)地區(qū)的資源與項目的價值進行選擇，成熟的領(lǐng)域先啟動，項目的成功率、可持續(xù)、可積累才是最重要的。解決方案架構(gòu)圖1解決方案架構(gòu)圖系統(tǒng)開發(fā)平臺使用Hadoop大數(shù)據(jù)開發(fā)平臺。Hadoop是一個高度可擴展的存儲平臺，可以存儲和分發(fā)橫跨數(shù)百個并行操作的廉價的服務器數(shù)據(jù)集群。能擴展到處理大量的數(shù)據(jù)，能提供成百上千TB的數(shù)據(jù)節(jié)點上運行的應用程序。Hadoop能夠有效的在幾分鐘內(nèi)處理TB級的數(shù)據(jù)。相比關(guān)系型數(shù)據(jù)庫管理系統(tǒng)更具有優(yōu)勢。它適用于任何規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)持續(xù)增長的企業(yè)，將幫助用戶持續(xù)提高用戶體驗。系統(tǒng)采用面向?qū)ο蟮能浖O(shè)計方法，把整個系統(tǒng)看作是多個離散對象的組合。系統(tǒng)設(shè)計時，首先把業(yè)務流程分解成功能模塊及其業(yè)務實體對象，然后根據(jù)業(yè)務流程分析對于這些業(yè)務實體對象的操作方法，形成業(yè)務處理對象，最后把各個功能模塊關(guān)聯(lián)起來，形成系統(tǒng)。軟件設(shè)計是一個將需求轉(zhuǎn)變?yōu)檐浖倪^程，系統(tǒng)通過逐步求精使得設(shè)計陳述逐漸接近于源代碼。系統(tǒng)程序采用MVC的設(shè)計思想，將展現(xiàn)邏輯、控制邏輯、業(yè)務處理邏輯分離。系統(tǒng)采用參數(shù)化的設(shè)計思想，定義和管理系統(tǒng)的實體及配置，調(diào)整實體以適應外部變化。系統(tǒng)采用J2EE技術(shù)保證程序邏輯實現(xiàn)的平臺無關(guān)性，并便于安裝部署。系統(tǒng)采用AJAX技術(shù)，提高客戶操作的交互性，保證實際使用的易用性。系統(tǒng)采用echarts可視化框架實現(xiàn)數(shù)據(jù)展示。關(guān)鍵技術(shù)HadoopHadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。SpringMVCSpringMVC：屬于SpringFrameWork的后續(xù)產(chǎn)品，已經(jīng)融合在SpringWebFlow里面。Spring框架提供了構(gòu)建Web應用程序的全功能MVC模塊。MyBatisMYBatis：是支持普通SQL查詢，存儲過程和高級映射的優(yōu)秀持久層框架。MyBatis消除了幾乎所有的JDBC代碼和參數(shù)的手工設(shè)置以及結(jié)果集的檢索。MyBatis使用簡單的XML或注解用于配置和原始映射，將接口和Java的POJOs（PlainOldJavaObjects，普通的Java對象）映射成數(shù)據(jù)庫中的記錄。EchartsECharts是一款基于Javascript的數(shù)據(jù)可視化圖表庫，提供直觀，生動，可交互，可個性化定制的數(shù)據(jù)可視化圖表。MySQLMySQL是一個關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，由瑞典MySQLAB公司開發(fā)，屬于Oracle旗下產(chǎn)品。MySQL是最流行的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)之一，在WEB應用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫管理系統(tǒng))應用軟件之一。MySQL是一種關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，關(guān)系數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個大倉庫內(nèi)，這樣就增加了速度并提高了靈活性。MySQL所使用的SQL語言是用于訪問數(shù)據(jù)庫的最常用標準化語言。MySQL軟件采用了雙授權(quán)政策，分為社區(qū)版和商業(yè)版，由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，一般中小型網(wǎng)站的開發(fā)都選擇MySQL作為網(wǎng)站數(shù)據(jù)庫。Hivehive是基于Hadoop構(gòu)建的一套數(shù)據(jù)倉庫分析系統(tǒng)，它提供了豐富的SQL查詢方式來分析存儲在Hadoop分布式文件系統(tǒng)中的數(shù)據(jù)：可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能；可以將SQL語句轉(zhuǎn)換為MapReduce任務運行，通過自己的SQL查詢分析需要的內(nèi)容，這套SQL簡稱HiveSQL，使不熟悉mapreduce的用戶可以很方便地利用SQL語言查詢、匯總和分析數(shù)據(jù)。而mapreduce開發(fā)人員可以把自己寫的mapper和reducer作為插件來支持hive做更復雜的數(shù)據(jù)分析。它與關(guān)系型數(shù)據(jù)庫的SQL略有不同，但支持了絕大多數(shù)的語句如DDL、DML以及常見的聚合函數(shù)、連接查詢、條件查詢。它還提供了一系列的：具進行數(shù)據(jù)提取轉(zhuǎn)化加載，用來存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以實現(xiàn)對map和reduce函數(shù)的定制，為數(shù)據(jù)操作提供了良好的伸縮性和可擴展性。HBASEHBase–HadoopDatabase，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術(shù)可在廉價PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。ZookeeperZooKeeper是一個分布式的，開放源碼的分布式應用程序協(xié)調(diào)服務，是Google的Chubby一個開源的實現(xiàn)，是Hadoop和Hbase的重要組件。它是一個為分布式應用提供一致性服務的軟件，提供的功能包括：配置維護、域名服務、分布式同步、組服務等。FlumeFlume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。開發(fā)范圍數(shù)據(jù)生產(chǎn)對于該模塊的業(yè)務，即數(shù)據(jù)生產(chǎn)過程，一般并不會讓你來進行操作，數(shù)據(jù)生產(chǎn)是一套完整且嚴密的體系，這樣可以保證數(shù)據(jù)的安全性。但是如果涉及到項目的一體化方案的設(shè)計（數(shù)據(jù)的產(chǎn)生、存儲、分析、展示），則必須清楚每一個環(huán)節(jié)是如何處理的，包括其中每個環(huán)境可能隱藏的問題；數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)內(nèi)容可能出現(xiàn)的問題。數(shù)據(jù)采集/消費數(shù)據(jù)采集模塊（消費），在企業(yè)中你要清楚流式數(shù)據(jù)采集框架flume和kafka的定位是什么。我們在此需要將實時數(shù)據(jù)通過flume采集到kafka然后供給給hbase消費。flume：cloudera公司研發(fā)適合下游數(shù)據(jù)消費者不多的情況；適合數(shù)據(jù)安全性要求不高的操作；適合與Hadoop生態(tài)圈對接的操作。kafka：linkedin公司研發(fā)適合數(shù)據(jù)下游消費眾多的情況；適合數(shù)據(jù)安全性要求較高的操作（支持replication）；因此我們常用的一種模型是：線上數(shù)據(jù)-->flume-->kafka-->flume(根據(jù)情景增刪該流程)-->HDFS線上數(shù)據(jù)-->flume-->kafka-->s