版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
1、XX市數(shù)據(jù)中心平臺暨實戰(zhàn)應用平臺需求與技術方案XX 股份 XX 分公司2013-11目錄 TOC o 1-5 h z HYPERLINK l bookmark2 o Current Document 概述4 HYPERLINK l bookmark4 o Current Document 建設背景4 HYPERLINK l bookmark6 o Current Document 建設目標4 HYPERLINK l bookmark8 o Current Document 建設依據(jù)5 HYPERLINK l bookmark10 o Current Document 設計原則5 HYPERLI
2、NK l bookmark12 o Current Document 實戰(zhàn)應用平臺建設需求6 HYPERLINK l bookmark14 o Current Document 建設內(nèi)容6 HYPERLINK l bookmark16 o Current Document 網(wǎng)絡現(xiàn)狀6業(yè)務功能需求7 HYPERLINK l bookmark34 o Current Document XXXX系統(tǒng)需求7 HYPERLINK l bookmark21 o Current Document 信息服務系統(tǒng)需求7 HYPERLINK l bookmark23 o Current Document 公文管理
3、系統(tǒng)需求8 HYPERLINK l bookmark25 o Current Document XXXXXX綜合應用平臺備份庫建設8 HYPERLINK l bookmark27 o Current Document 非現(xiàn)場XX處理建設8 HYPERLINK l bookmark29 o Current Document 數(shù)據(jù)中心建設需求8集成系統(tǒng)需求10XXXX需求10XXX系統(tǒng)需求10 HYPERLINK l bookmark36 o Current Document 數(shù)據(jù)中心平臺暨實戰(zhàn)應用平臺軟件設計方案10 HYPERLINK l bookmark39 o Current Docume
4、nt 網(wǎng)絡框架設計10 HYPERLINK l bookmark41 o Current Document 邏輯框架設計10 HYPERLINK l bookmark43 o Current Document 總體系統(tǒng)框架11軟件系統(tǒng)設計11XXXX業(yè)務子系統(tǒng)11 HYPERLINK l bookmark52 o Current Document 信息服務業(yè)務子系統(tǒng)17 HYPERLINK l bookmark54 o Current Document 公文管理業(yè)務子系統(tǒng)18集成接口設計19與XXXX的接口方案19 HYPERLINK l bookmark59 o Current Docume
5、nt 與XXX系統(tǒng)的接口功能19 HYPERLINK l bookmark61 o Current Document XXXX信息系統(tǒng)及XXX備份庫建設設計方案19 HYPERLINK l bookmark64 o Current Document XXX備份庫建設方案19 HYPERLINK l bookmark66 o Current Document 非現(xiàn)場XX處理建設20 HYPERLINK l bookmark68 o Current Document 系統(tǒng)架構20 HYPERLINK l bookmark70 o Current Document 系統(tǒng)功能設計20 HYPERLIN
6、K l bookmark72 o Current Document 與相關系統(tǒng)的集成設計22 HYPERLINK l bookmark74 o Current Document 數(shù)據(jù)中心建設設計方案及其應用23 HYPERLINK l bookmark76 o Current Document 概述23 HYPERLINK l bookmark78 o Current Document 數(shù)據(jù)匯聚與共享系統(tǒng)方案23 HYPERLINK l bookmark82 o Current Document 數(shù)據(jù)存儲與檢索方案28 HYPERLINK l bookmark86 o Current Docu
7、ment 效益分析32 HYPERLINK l bookmark88 o Current Document 應用服務器虛擬化建設(VMWAREESXi虛擬化方案)33 HYPERLINK l bookmark91 o Current Document 現(xiàn)狀33 HYPERLINK l bookmark93 o Current Document 虛擬化基礎架構解決方案34 HYPERLINK l bookmark95 o Current Document 虛擬化基礎架構的性能34 HYPERLINK l bookmark97 o Current Document 應用的高可用性36 HYPERL
8、INK l bookmark99 o Current Document 虛擬應用的安全問題37 HYPERLINK l bookmark101 o Current Document 方案實施后的效果38 HYPERLINK l bookmark103 o Current Document 方案拓撲41 HYPERLINK l bookmark105 o Current Document 方案構成說明42 HYPERLINK l bookmark107 o Current Document VMwarevSphere配置43 HYPERLINK l bookmark111 o Current D
9、ocument VMwarevCenter配置46 HYPERLINK l bookmark113 o Current Document 虛擬化軟件配置需求46 HYPERLINK l bookmark115 o Current Document 虛擬化實施結果47 HYPERLINK l bookmark117 o Current Document 預算49概述建設背景XX市位于浙江省中部,XXXXXXXXXB至目前XX實有人口已突破達200多萬,其中本市人口74萬,外來人口達到143.3萬人,常駐外商1.3萬,每天流動人口達20余萬。XX已經(jīng)建造好的卡口設備有69臺,并且還在不斷的增長,但
10、是還沒有一個完整的針對卡口設備的實戰(zhàn)應用平臺。為滿足全國各級XXXXX烈門大范圍車輛XXXXffi預警攔截、車輛軌跡和交通流量分析研判、XXXX亍為甄別查處等業(yè)務應用,為預防和減少道路交通事故、打擊XX犯罪工作提供技術支撐,因此我們提出了針對現(xiàn)在乃至以后卡口設備所依托的一個實戰(zhàn)應用平臺。并且隨著設備的不斷增多,對于數(shù)據(jù)存儲的壓力也會漸漸凸顯出來,因此考慮到XX作為一個快速發(fā)展中的城市,在經(jīng)濟發(fā)展的同時,對于XXXX勺數(shù)據(jù)存儲環(huán)境也勢必經(jīng)受考驗,為適應今后XX越來越龐大的智能XXXXE架,作為底層的數(shù)據(jù)存儲我們也同時提出了數(shù)據(jù)中心的建設方案。建設目標?建設一個面向實戰(zhàn)的本地化的XXXX系統(tǒng)形成一
11、個對于卡口應用大的實戰(zhàn)應用平臺,使今后電子XX與卡口設備可以通過這個平臺成為一體。而隨著對卡口和電子XX的建設,這兩類設備的數(shù)據(jù)將成為XX部門科技化管理中的主要數(shù)據(jù)來源,因此對于這兩種數(shù)據(jù)的運用與后期處理至關重要,直接影響到XX部門在科技化警務工作中的成效性。?構建一個先進的易于擴展的數(shù)據(jù)接入、共享和存儲管理中心基于先進的數(shù)據(jù)總線技術和大數(shù)據(jù)存儲管理技術,構建XX市智能交通信息數(shù)據(jù)的接入、共享和存儲管理中心。數(shù)據(jù)中心將整合現(xiàn)有XX市智能交通信息化資源,利用數(shù)據(jù)總線技術,標準化接入各類交通信息化設施設備的數(shù)據(jù),并在數(shù)據(jù)中心進行存儲和管理。利用大數(shù)據(jù)存儲管理架構,實現(xiàn)數(shù)據(jù)中心的結構化與非結構化數(shù)據(jù)
12、存儲和訪問,并能夠易于今后的數(shù)據(jù)擴展。最后,數(shù)據(jù)中心根據(jù)各類信息數(shù)據(jù)對外共享和服務的需要,進行數(shù)據(jù)的初步處理和整合,提供規(guī)范的數(shù)據(jù)訪問和共享接口,完成向上級省市和部委信息化系統(tǒng)的對接。?建設一個面向XX內(nèi)部和社會公眾的信息服務系統(tǒng)依托數(shù)據(jù)中心,建設一個面向XX內(nèi)部的云端文件存儲和流轉系統(tǒng),實現(xiàn)遠程的文件存儲管理,并支撐不同用戶間的內(nèi)部文件流轉功能。同時,利用數(shù)據(jù)中心接入和匯集的各類交通信息數(shù)據(jù),支撐面向社會公眾的信息服務。本項目中,建設基于微信平臺的交通信息查詢和發(fā)布服務系統(tǒng),實現(xiàn)XXXX交通警情上報和擁堵上報等功能。建設依據(jù)XX交通指揮系統(tǒng)建設技術規(guī)范(GAT445-2010)XX交通指揮系
13、統(tǒng)工程建設程序與要求(GA/T651-2006)中國智能運輸系統(tǒng)體系框架XX部XX計算機信息系統(tǒng)“九五”規(guī)劃XX部XXXXW息系統(tǒng)建設框架道路交通堵塞度及評價方法(GA/T115)城市道路交通秩序評價方法(GA/T175)城市警用地理信息系統(tǒng)分類與代碼(GA/T491)城市警用地理信息系統(tǒng)圖形符號(GA/T492)城市警用地理信息系統(tǒng)建設規(guī)范(GA/T493)XX交通指揮系統(tǒng)工程設計制圖規(guī)范(GA/T515)計算機信息系統(tǒng)安全保護等級劃分準則(GB17859)信息技術軟件包質量要求測試(GB/T17544)設計原則?資源整合充分利用已有和在建的電子XX與卡口設備,以XX實戰(zhàn)業(yè)務為核心,兼顧流程
14、化管理,重點滿足全國各級XXXXX鄧門大范圍車輛XXXXffi預警攔截、車輛軌跡和交通流量分析研判、XXXX行為甄別查處等業(yè)務應用,為預防和減少道路交通事故、打擊XX犯罪工作提供技術支撐信息共享。建立XX市道路XXXMJ息的共享交換體系,保證信息資源的全方位、多渠道?兼容擴展搭建一個標準化的信息平臺和開放式的體系框架,確保本次工程實施內(nèi)容兼容未來的業(yè)務應用,具備支持后續(xù)信息化工程建設的能力。?技術先進吸收國內(nèi)外XX業(yè)務管理,信息化及軟硬件技術的先進經(jīng)驗,確保數(shù)據(jù)中心與實戰(zhàn)平臺的技術先進性。?規(guī)范流程通過本工程的設計及實施,建立一系列從外場設備到內(nèi)場管理乃至維護考核的評審制度。?開放型此次加入了
15、針對微信、微博以及APP的功能預留,為今后針對智能方面推行警務打下基礎。實戰(zhàn)應用平臺建設需求建設內(nèi)容XX市實戰(zhàn)應用平臺以外場卡口與電子XX設備為基礎,希望構建一個中間支撐平臺,成為XX部XXXK統(tǒng)、XX卡口平臺以及原有指揮調(diào)度平臺之間的一個橋梁,并且擁有良好的擴展性,可以應對以后可能會出現(xiàn)的其他平臺接入。網(wǎng)絡現(xiàn)狀現(xiàn)在XX擁有兩大網(wǎng)絡分布,一個是XX部門內(nèi)部的XX網(wǎng),另一個是主要負責運作集成平臺等其他平臺的物理網(wǎng)。我們需要將實戰(zhàn)平臺構建在XX網(wǎng)之內(nèi)同時可以連接物理網(wǎng)以及對外網(wǎng)的進行信息發(fā)布。業(yè)務功能需求XXXX系統(tǒng)需求XXXXK統(tǒng)主要在滿足基本XXXX勺核心功能以外,還同時可以對數(shù)據(jù)進行挖掘,產(chǎn)
16、生對XXXXt效的其他數(shù)據(jù)。XXXX!求XXXX的主要核心功能應該具有黑名單布控、車輛行蹤分析以及聯(lián)動布控的功能。XX信息處理需求XX信息處理應該具有對XX數(shù)據(jù)的前期錄入、審核以及告知并且統(tǒng)計的功能。數(shù)據(jù)來源主要有XXX系統(tǒng),應該能夠有效的兼容XXX3來的數(shù)據(jù),并且對數(shù)據(jù)有處理能力。交通信息分析需求交通信息分析應該具有利用已有的電子XX以及卡口設備,對路況進行交通信息分析并得出有效的實時交通路況或者對未來可能出現(xiàn)的交通狀況的預判能力,以及最后的對歷史記錄的統(tǒng)計和分析功能。設備管理需求設備管理系統(tǒng)應該具有對現(xiàn)有外場設備一些基本參數(shù)的實時監(jiān)控與統(tǒng)計,并且可以對已經(jīng)損壞或者有問題的設備進行維修報單,
17、可以對整個檢修過程進行監(jiān)控與后期統(tǒng)計。信息服務系統(tǒng)需求微信平臺需求通過微信平臺可以實現(xiàn)實時路況的查詢、事故上報以及公共設施故障的上報,也可以對微信關注用戶進行宣傳標語的推送。微博平臺需求通過微博平臺可以實現(xiàn)實時路況的發(fā)布以及宣傳信息的發(fā)布。(待定)APP平臺需求(待定)可以通過APP進行查詢或者上報信息的功能。公文管理系統(tǒng)需求文件存儲需求通過這個系統(tǒng),用戶可以上傳各類文件,并進行存儲。文件管理需求用戶可以對自己存儲的文件,通過可視化的操作,包括上傳、復制、刪除等管理。文件流轉需求用戶之間可以通過收發(fā)進行文件流轉。XXXXXX綜合應用平臺備份庫建設在XX機房信息中心安裝配置XXXXX濰合應用平臺
18、(簡稱“XXX臺“)備份庫,由支隊定期對備份庫做同步,XX大隊可從本地備份庫中獲取相應數(shù)據(jù),供統(tǒng)計、查詢、分析的應用系統(tǒng)使用。非現(xiàn)場XX處理建設在XX信息中心獨立建設機動車XX處理系統(tǒng)(即非現(xiàn)場XX處理平臺)和數(shù)據(jù)庫,該系統(tǒng)包括XX證據(jù)的采集、校對、車主信息的獲取、XX通知書的形成、處罰文書的打印、處罰結果落實等過程,這一部分的工作效果直接影響到整個道路交通監(jiān)控系統(tǒng)對交通參與者的威懾力,是“科技強警”戰(zhàn)略的重要組成部分。數(shù)據(jù)中心建設需求現(xiàn)狀XX市于2012年建設完成XX市交通XXXX隨著業(yè)務的推進所產(chǎn)生的平臺數(shù)據(jù)日益增多,僅警情部分數(shù)據(jù)日均產(chǎn)生警情就達到了400500條,而XXXXF臺將通過電
19、子XX與卡口進行實時與歷史數(shù)據(jù)的分析,并且隨著城區(qū)監(jiān)控設備的鋪設和智慧城市的推廣,未來每天產(chǎn)生的數(shù)據(jù)處理與歷史數(shù)據(jù)的查詢將使現(xiàn)存框架下的存儲結構成為瓶頸。總體建設需求因此針對以上情況,希望擁有一套擴容性好并且能良好應對未來5年內(nèi)數(shù)據(jù)膨脹的數(shù)據(jù)系統(tǒng),在此基礎上,希望這套系統(tǒng)在改善原有平臺數(shù)據(jù)處理的基礎上,能夠同時縮小實時數(shù)據(jù)與歷史數(shù)據(jù)的查詢時間。從經(jīng)濟角度考慮,這套系統(tǒng)必須能夠同時兼容現(xiàn)有的數(shù)據(jù)存儲,改善它的運行能力,并且針對以后的存儲擴容達到便捷和性價比高兩點。結構化數(shù)據(jù)存儲需求在XX的業(yè)務中,有大量的結構化數(shù)據(jù)需要進行存儲,這些數(shù)據(jù)常常包括:?XXXX1礎數(shù)據(jù)?交通運行參數(shù)(交通流、信號系統(tǒng)
20、配時等)?車牌信息這些信息具有數(shù)據(jù)內(nèi)容常常保存為記錄的方式,其數(shù)據(jù)結構嚴謹?shù)奶攸c,為此我們稱為結構化數(shù)據(jù),這些數(shù)據(jù)需要有專門的系統(tǒng)予以存儲,以支持快速的檢索與統(tǒng)計分析非結構化數(shù)據(jù)存儲需求在XX的業(yè)務中,會出現(xiàn)大量非標準化的文本和圖像視頻信息,如警情的報警內(nèi)容、各類預案文字、涉及車輛的圖片信息、執(zhí)法過程的錄像信息、錄音信息等。而這些信息又往往與結構化的信息間存在各種關聯(lián)關系。對這些信息的存儲,目前往往分散在各自獨立的系統(tǒng)中,如卡警系統(tǒng)、接處警系統(tǒng)、視頻系統(tǒng)等。這種存儲和管理模式造成對數(shù)據(jù)管理的困難,以及在實戰(zhàn)應用中難以進行綜合的信息查詢和檢索。為此需要利用專門的系統(tǒng),如大數(shù)據(jù)平臺等,進行存儲,以
21、支持在其上的非結構化的數(shù)據(jù)分析挖掘工作。檢索服務需求XX的業(yè)務數(shù)據(jù)導致需要進行結構化與非結構化數(shù)據(jù)的存儲。依托這些存儲的信息,綜合利用結構化數(shù)據(jù)與非結構化數(shù)據(jù),進行統(tǒng)一而關聯(lián)檢索分析可以產(chǎn)生許多新的信息,為此需要有相應的檢索服務以支持這些信息的加工處理。信息匯聚與共享的需求在建立數(shù)據(jù)中心的過程中,不可避免的需要進行信息的匯聚,即通過多個信息來源以獲取信息/數(shù)據(jù);同時這些信息及其加工的結果也可以提供其他系統(tǒng)使用,為此需要有相應的系統(tǒng)以支持信息的匯聚與共享。集成系統(tǒng)需求XXXX需求實戰(zhàn)平臺的數(shù)據(jù)結果或者部分內(nèi)容可以通過現(xiàn)有的XXXX進行展示或者操作,需要能夠完美兼容現(xiàn)有的交通XXXX。XXX系統(tǒng)需
22、求實戰(zhàn)應用平臺所產(chǎn)生的數(shù)據(jù)應該能與XX部XXX系統(tǒng)進行數(shù)據(jù)對接,最終把數(shù)據(jù)傳輸至XX部的XXX系統(tǒng)。(接口預留)數(shù)據(jù)中心平臺暨實戰(zhàn)應用平臺軟件設計方案網(wǎng)絡框架設計根據(jù)XX網(wǎng)絡現(xiàn)狀并且結合實戰(zhàn)平臺網(wǎng)絡實現(xiàn)需求,繪制出如下基本網(wǎng)絡數(shù)據(jù)走向。網(wǎng)絡框架圖(略)邏輯框架設計XX市實戰(zhàn)應用平臺系統(tǒng)建設根據(jù)需求,從軟件設計角度可以把整個平臺分為四個層次:?應用層,包括所有需求內(nèi)所設計的軟件功能,主要是一個數(shù)據(jù)展示與操作的功能。?支持層,包括構建整個平臺的幾個最基本的要素,其中由來自于其他平臺的信息共享資源,以及基本的用戶管理內(nèi)容和最主要的電子XX和卡口數(shù)據(jù)。?數(shù)據(jù)中心,成為支撐起整個平臺最底層的存儲結構,通
23、過結構化和非結構化數(shù)據(jù)的不同存儲需求分為數(shù)據(jù)中心和一般的oracle數(shù)據(jù)庫。?接入層,包含所有接入平臺的數(shù)據(jù)來源,有電子XX卡口設備、XXXK統(tǒng)、集成平臺、微信微博APP以及未來可能的其他數(shù)據(jù)。邏輯結構圖(略)總體系統(tǒng)框架總體系統(tǒng)框架圖(略)軟件系統(tǒng)設計XXXX業(yè)務子系統(tǒng)XXXX題機動車XXXXK統(tǒng)核心軟件包括以下功能:黑名單布控功能黑名單布控是整個XXXX#務子系統(tǒng)的核心部分,而我們也將通過兩個方面來提升和優(yōu)化現(xiàn)有黑名單布控的響應時間:前端比對布控:通過把違章車牌上傳至前端,然后通過前端卡口或電子XX設備進行布控并返回報警信息的方式,是最理想的實時布控策略,對于時效性和實時性都非常強,但缺點
24、是前端設備公共機的性能直接影響報警響應時間,并且根據(jù)XX現(xiàn)實情況外場設備無法與實戰(zhàn)平臺直連,需要通過設備廠商本身提供的平臺,又無形中增加了整個布控報警響應時間的過程。根據(jù)上海、天津等項目的實施經(jīng)驗,在對設備廠商提出2秒內(nèi)返回報警信息的前提下,我們預計整個實時布控的報警響應時間將會控制在5秒以內(nèi)。中心比對布控:通過利用本次項目中的大數(shù)據(jù)平臺我們可將XX信息錄入至數(shù)據(jù)庫,并根據(jù)前端傳回的車牌進行分析和處理,從而進行報警布控的一種方式。但是實時性相對前者來說肯定要差強人意,可應用于一些對實時性并不高的其他警種所需的個案布控,能夠起到良好的效果。黑名單布控主要包含以下幾個主要功能:1、布控信息管理:對
25、布控信息進行管理,包括錄入、審核等功能。2、機動車通行信息比對:實時比對機動車過車信息,并與布控信息進行比對;3、布控機動車通行預警:對比對結果進行預警簽收、處理、結果反饋等。車輛行蹤分析功能1、單車軌跡查詢:機動車軌跡精確查詢,號牌模糊查詢;2、多車軌跡查詢:關聯(lián)號牌軌跡查詢,多號牌軌跡查詢;3、多車軌跡比對:車輛間軌跡關聯(lián)性比對,一致性統(tǒng)計;4、行蹤規(guī)律分析:嫌疑車的運行軌跡和出沒規(guī)律,系統(tǒng)有相應的行車軌跡分析功能。指定特定嫌疑車輛,可以跟蹤實時行車軌跡和對歷史圖片進行回放。對刑偵經(jīng)偵禁毒止方部門比莪關心廉贊生的運行機跡和出發(fā)規(guī)律,系 端有相應的行車軌跡父析功能*指定特定嶷爨車輛,可以限院
26、實時行車軾 跡和對田史圖片遵行回放口行車軌跡跟蹤分析檢索指定車新并在圖上按時間順序標注相鄰兩點時間何隔在3例鐘內(nèi)進行連線針對海量數(shù)據(jù)模糊運算的數(shù)據(jù)挖掘分析服務引擎聯(lián)動布控功能與信號系統(tǒng)、視頻系統(tǒng)、警員調(diào)度和接處警系統(tǒng)聯(lián)動,對重要布控車輛的預警采取實施攔截措施。1、接處警聯(lián)動:通過接處警系統(tǒng),調(diào)度周邊警力對布控車輛進行攔截;2、視頻系統(tǒng)聯(lián)動:根據(jù)預案檢索周邊的視頻資源,并提供指揮中心實時監(jiān)控;3、信號系統(tǒng)聯(lián)動:對周邊信號路口的信號燈相位進行鎖定,干預布控車輛的行駛,達到截停的目的。信號系統(tǒng)聯(lián)動需要信號機聯(lián)網(wǎng)并支持相應的指令干預。.4.系統(tǒng)管理功能1、卡口系統(tǒng)基礎信息備案、審批、與其他信息數(shù)據(jù)傳輸
27、交換管理、參數(shù)、代碼管理等功能模塊。2、信息接口管理。除XXXXK統(tǒng)與綜合應用平臺之間的信息傳輸交換、信息訪問等內(nèi)部信息接口外,供其他系統(tǒng)調(diào)用的信息接口包括:通行文本信息上傳、圖片信息上傳、布控信息比對、預警信息發(fā)布、布控信息交換、預警信息交換、卡口信息交換等。XX信息處理專題XX后處理系統(tǒng)XX后處理系統(tǒng)主要針對XX數(shù)據(jù)進行后期處理以及通報。XX信息錄入功能錄入執(zhí)勤民警路口罰單信息,系統(tǒng)將保存的XX信息通過XXX系統(tǒng)接口存入XXX平臺3.4.1212XX信息審核功能審核動態(tài)XX監(jiān)測系統(tǒng)的XX信息。檢測圖片、錄像信息、核對記錄信息,保存修改記錄,系統(tǒng)將保存的記錄信息通過XXX接口存入XXX平臺X
28、XXX告知功能XX單次或者多次將以各種現(xiàn)有形式通知車主,這里是通過短消息,在XX我們可以對多次XX的車輛通過誘導板進行告知。功能截圖(略)XX信息查詢統(tǒng)計功能待XX數(shù)據(jù)聚集一定量后,再行討論查詢的條件、統(tǒng)計的要求和展示等功能。特定名單控制與處理功能通過對特定名單的建立,可以針對特定名單內(nèi)的車輛,對XX數(shù)據(jù)進行過濾。特定名單處理結果也可以通過審核過程,對處理結果進行二次校驗。XX行為多發(fā)路段分析功能針對卡口數(shù)據(jù)的一套統(tǒng)計與查詢功能模塊,其中包括對于卡口一些基礎數(shù)據(jù)的查詢以及進行數(shù)據(jù)挖掘后的統(tǒng)計數(shù)據(jù),其中就包括一個XX捕捉率與XX高發(fā)路段的分析等。前者可以直觀的對外場設備的有效捕捉率進行統(tǒng)計,后者
29、可以對執(zhí)法部門對于XX高發(fā)路段進行集中整治帶來判斷依據(jù)。XX捕捉率查詢功能截圖(略)XX多發(fā)路段查詢功能截圖(略)交通信息分析專題功能截圖(略)行車時間功能根據(jù)卡口間過往車輛的通過時間估算出兩點,或者由兩點推算出的整條路段的平均行車車速與時間,再通過誘導板對外發(fā)布,對司機選擇合理的行車路線提供幫助,也為緩解繁忙路段高峰時期的擁堵情況提供幫助手段。OD分析功能在設計一個道路網(wǎng)的XXXXK統(tǒng)時,或在一個道路網(wǎng)XXXXK統(tǒng)實時運行中,需要掌握交通流的集散分布規(guī)律,按照交通流的集散分布規(guī)律采取相應的控制對策。為了提供決策數(shù)據(jù)支撐,需要道路交通流。國據(jù)。有利于管理者掌握道路交通的流向和流量,使得路網(wǎng)交通
30、整體組織更為科學。同時當管理者對路網(wǎng)交通進行分析時,道路交通流。覺據(jù)能更好的幫助管理者了解路網(wǎng)實際交通情況。功能截圖(略)集散分析功能XXXX部門對于道路排堵保暢工作要求,從排堵、治堵、防堵三方面措施的需求著手,分析交通擁堵的成因。排堵工作需要及時掌握交通擁堵區(qū)域微觀集散現(xiàn)狀,從擁堵區(qū)域的上下游斷面和道口入手,分流和疏導交通;治堵工作需要掌握道路路網(wǎng)各斷面的通行能力和高峰期間的交通需求,分析并治理道路的交通瓶頸點;防堵工作需要從交通需求管理的層次出發(fā),掌握交通擁堵區(qū)域的交通流集散路徑來源和分布結構,實施匝道調(diào)控、交通分流等措施從源頭抑制過盛的交通需求。為了提供以上XXXXft略的實施數(shù)據(jù)支撐,
31、需要道路交通流集散數(shù)據(jù)。有利于管理者制定科學的排堵、治堵和防堵措施。考慮到XX市一年也會舉辦大大小小不少展會與活動,對展會周邊的交通監(jiān)管會是很大一個工作難度,因此我們沿用世博會的管控方式,來推行對特定區(qū)域的集散分析,避免展會周邊的可能出現(xiàn)的交通擁堵情況。系統(tǒng)功能截圖(略)路況流量分析功能根據(jù)卡口設備提供的車流量數(shù)據(jù),我們可兩個卡口設備之間的道路、路口或者整條路段進行路況流量的分析,以此作為一個交通采集系統(tǒng)里的一個分支底層數(shù)據(jù),最終計算出整條路段的平均車速,飽和度以及最重要的一個數(shù)值擁堵情況的評判。車流量統(tǒng)計曲線圖:系統(tǒng)功能截圖(略)車流量統(tǒng)計柱狀圖:系統(tǒng)功能截圖(略)設備管理專題設備狀態(tài)檢測功
32、能設備管理系統(tǒng)主要針對內(nèi)外場設備以及應用程序進行監(jiān)視的一個監(jiān)管系統(tǒng),結合運維的設備維修單派發(fā)可實現(xiàn)發(fā)現(xiàn)問題、提交問題到解決問題和匯報問題的一體化流程監(jiān)管。設備狀態(tài)檢測功能設備管理系統(tǒng)主要針對內(nèi)外場設備以及應用程序進行監(jiān)視的一個監(jiān)管系統(tǒng),結合運維的設備維修單派發(fā)可實現(xiàn)發(fā)現(xiàn)問題、提交問題到解決問題和匯報問題的一體化流程監(jiān)管。識別質量檢測功能可根據(jù)抓拍數(shù)計算得出每個設備的捕捉率,如果捕捉率過低,設備可能存在問題。專題還可以通過人工方式測算出檢出率、漏檢率以及準確率,通過這個專題可以定期監(jiān)控設備的運營狀況,為設備維保提供考察依據(jù)。系統(tǒng)功能截圖(略)圖象質量檢測功能可以查看所有設備所抓拍的全景圖像,以便
33、實時監(jiān)測各斷面信息。系統(tǒng)功能截圖(略)設備狀態(tài)管理可提供查詢外場設備的當前使用狀態(tài)內(nèi)容包括視頻狀態(tài)、機箱溫度、箱門狀態(tài)、磁盤容量、CPU有率等,需要外場設備提供相應數(shù)據(jù)接口實現(xiàn)。外場設備狀態(tài)查詢功能可提供對外場設備基本狀態(tài)的查詢功能,主要有卡口名稱、道路方向、車道編號、車道類型、視頻狀態(tài)、機箱溫度、箱門狀態(tài)、磁盤剩余容量、CPU占有率、車牌設備編號和卡口設備IP地址等。系統(tǒng)功能截圖(略)未上傳數(shù)據(jù)查詢功能選擇所有設備及查詢時間范圍進行查詢,得到該時間段內(nèi)該設備的所有未上傳數(shù)據(jù),方便運維人員對該設備的數(shù)據(jù)進行手動強制補傳操作。信息服務業(yè)務子系統(tǒng)這個系統(tǒng)主要針對向外部系統(tǒng)推送數(shù)據(jù)與服務,現(xiàn)在主要針
34、對微信平臺做功能推廣,以后將在微博與APP端進行開發(fā)。微信平臺專題主動信息推送功能可以主動向用戶推送諸如宣傳信息或者活動信息等內(nèi)容。查詢功能XXXX查詢根據(jù)車牌號碼查詢車輛的XX信息。路況查詢根據(jù)路段名稱進行路況的查詢。上報功能輕微道路事故上報用于輕微事故處理,上報時需要進行驗證,并上傳圖片、文字與位置信息。道路設施故障上報用于對道路設施故障的上報,上傳圖片、文字與位置信息。路況上報用于對路況擁堵情況的上報,上傳圖片或文字以及位置信息。其他功能綁定綁定后無需再對進行驗證。民意調(diào)查可進行民意調(diào)查。用戶體驗反饋可對使用滿意度進行回饋。微博平臺專題能夠通過微博平臺發(fā)送實時路況、封路信息和突發(fā)情況等信
35、息。APP平臺專題與APP建立服務器和客戶端的關系,根據(jù)用戶的選擇進行諸如XX查詢、路況查詢、事故上報以及其他更為多樣的查詢和互動。公文管理業(yè)務子系統(tǒng)這個系統(tǒng)主要針對在平臺用戶之間的文件存儲、管理和流轉,并且依托于數(shù)據(jù)中心的海量存儲能力,形成一個巨大的電子檔案存儲中心。文件存儲功能文件通過公文管理系統(tǒng)上傳后就會被永遠保存在數(shù)據(jù)中心內(nèi),可經(jīng)由管理員設置每個人的最大存儲空間,以及歷史文件的最長保存時間,避免垃圾文件占用空間。文件管理功能存儲在數(shù)據(jù)中心的數(shù)據(jù)會通過權限管理進行嚴格管控,只有在權限允許的情況下才可以對文件進行添加、刪除或者修改操作。文件流轉功能文件流轉功能主要面向點對點或點對多點的文件
36、收發(fā)功能。主要文件收發(fā)流程如下:然后通過查詢功能可以查看接收人的操作狀態(tài),分為未查看、已查看節(jié)點發(fā)血磔M如2013-09-091P.1Q三星號2D13-MOTP;14.012013-09-0911J;47集成接口設計與XXXX的接口方案我們將通過兩種方式將實戰(zhàn)應用平臺與現(xiàn)有的XXXXS相兼容,使兩個平臺在功能區(qū)域劃分上相對獨立,但是對使用者來說是一個整體。首先,底層數(shù)據(jù)方面,我們會將實戰(zhàn)平臺的數(shù)據(jù)庫與現(xiàn)有指揮調(diào)度平臺的數(shù)據(jù)庫進行同步,使數(shù)據(jù)在底層互通和共享。其次,在此基礎上我們也通過對原有XXXXR頁嵌入的方式,把諸如軌跡追蹤、黑名單顯示等功能在GIS地圖上顯示出來。同時我們也將保持與XXXX
37、M格一致的嵌入式網(wǎng)頁形式,使原有XXXXf實戰(zhàn)應用平臺之間的切換不會顯得突兀。與XXX系統(tǒng)的接口功能實戰(zhàn)平臺將是一個主要負責收集XX市所有電子XX與卡口設備數(shù)據(jù),并對此數(shù)據(jù)做處理的平臺,同時我們也將會預留與XX部XXX系統(tǒng)進行數(shù)據(jù)傳輸?shù)慕涌?。XXXX信息系統(tǒng)及XXX備份庫建設設計方案XXX備份庫建設方案.在XX支隊建立XXX分發(fā)庫,同時在XX大隊建立XXX備份庫;.所有XX大隊所需要的數(shù)據(jù)由XX支隊傳輸?shù)椒职l(fā)庫;.通過支隊現(xiàn)有的oracleDataGuard軟件對分發(fā)庫和XX的備份庫定期做同步;.XX大隊可從本地備份庫中獲取相應數(shù)據(jù),供統(tǒng)計、查詢、分析的應用系統(tǒng)使用;.對于需要辦理的具體業(yè)務數(shù)
38、據(jù),需通過外掛系統(tǒng)與支隊XXX平臺的集成交互,跑完整個業(yè)務流程,最終完成業(yè)務的辦理。非現(xiàn)場XX處理建設系統(tǒng)架構系統(tǒng)架構圖(略)系統(tǒng)功能設計XX證據(jù)采集數(shù)據(jù)采集是整個系統(tǒng)的基礎,XX執(zhí)法證據(jù)采集模塊負責將XX證據(jù)導入非現(xiàn)場執(zhí)法系統(tǒng)中,執(zhí)法證據(jù)來源包括超速抓拍、數(shù)碼抓拍、視頻監(jiān)控、攝像機等,介質可以包括視頻、圖像等。導入模式包括自動和手工二種方式。4222XX證據(jù)校對采集證據(jù)后需要對XXXX息進行校驗,丟棄無效或不可靠的XXXXE據(jù),并根據(jù)辨認的號牌號碼從支隊、全省的機動車數(shù)據(jù)庫中獲取機動車的相關信息保存。針對證據(jù)信息來源功能需求及處理手段差異,此部分劃分為超速校對、數(shù)碼校對、視頻校對及校對糾錯四
39、個功能,以下簡單介紹下這四個功能:超速校對實現(xiàn)超速抓拍系統(tǒng)所有采集到的圖片、基礎信息等XX數(shù)據(jù)自動的寫入本系統(tǒng)的XX庫。流程如下:系統(tǒng)流程圖(略)數(shù)碼校對數(shù)碼校對數(shù)據(jù)來源主要是數(shù)碼攝像機提供的XX圖片數(shù)據(jù)文件或通過視頻設系統(tǒng)流程圖(略)備抓取成視頻文件,通過本功能,民警能對數(shù)碼證據(jù)圖片進行校對,并由業(yè)務接口寫入中心數(shù)據(jù)庫。流程如下:系統(tǒng)流程圖(略)視頻校對此功能校對流程與超速校對、數(shù)碼機校對基本相同。數(shù)據(jù)來源主要是者是移動電子xx或其它視頻設備抓獲的xxxxk頻。流程如下:系統(tǒng)流程圖(略)校對糾錯和復查由于采集到的各種諸如視頻、圖像等電子證據(jù)是實施非現(xiàn)場交通處罰的主要依據(jù),涉及交通執(zhí)法的公平性
40、、公正性。所以必須對這些電子證據(jù)進行嚴格管理和控制,防止證據(jù)信息的隨意修改和刪除,同時為了防止一些誤操作所導致的數(shù)據(jù)修改或刪除,必須提供有效的數(shù)據(jù)糾錯與管理功能。該功能提供了一種可管理的分級XX證據(jù)糾錯和復查機制,既方便了一線操作員的操作,又提供了嚴格的可管理性。流程如下:系統(tǒng)流程圖(略)XX通知本功能提供xx通知功能,能對生成的通知書格式進行自定義修改,提供標準格式通知書及通知書格式初始化模板。對XX結果可進行單張或批量打印通知書,或者通知書也可以不打印,而進行通知處理。流程如下:系統(tǒng)流程圖(略)XX處理XXXX輛的車主或駕駛人在接到通知書以后,接受處理時,打印車輛XX確認單,車主或駕駛人確
41、認后,錄入XXXXS駛人的駕駛證號或檔案編號,從駕駛人管理系統(tǒng)獲取駕駛人的其他信息。流程如下:查詢統(tǒng)計查詢統(tǒng)計功能是提供給不同人員使用的信息統(tǒng)計的門戶,該功能提供了XX校隊數(shù)據(jù)查詢、特殊數(shù)據(jù)查詢、簡易處罰決定書查詢等查詢平臺。系統(tǒng)管理系統(tǒng)管理提供:用戶管理、權限管理。用戶管理此功能直接調(diào)用XX系統(tǒng)的用戶信息,對用戶信息按所屬單位進行分類,方便用戶進檢索。權限管理此功能提供用戶功能權限管理及數(shù)據(jù)訪問權限配置。與相關系統(tǒng)的集成設計系統(tǒng)需要保證與周邊相關系統(tǒng)的集成,具體如下:.實現(xiàn)與支隊指揮中心集成平臺的對接系統(tǒng)需要與支隊指揮中心集成平臺實現(xiàn)對接,共享過車的軌跡信息、黑名單信息以及查緝布控等信息。.
42、實現(xiàn)與市XX局監(jiān)控系統(tǒng)的對接本期項目將在保持原有數(shù)據(jù)共享機制基礎上,向市局提供Webservice封裝的接口方式來實現(xiàn)數(shù)據(jù)的對接。.實現(xiàn)與現(xiàn)有XX支隊非現(xiàn)場執(zhí)法系統(tǒng)的集成實現(xiàn)與非現(xiàn)場執(zhí)法系統(tǒng)的對接,對接方式為非現(xiàn)場直接連接道路監(jiān)控庫,對道路XX原始數(shù)據(jù)進行校對,校對后有效數(shù)據(jù)入XXXXX綜合應用平臺(XXX平臺)。.與現(xiàn)有XX支隊XXX系統(tǒng)的對接監(jiān)控平臺調(diào)用XXX平臺的統(tǒng)一外掛請求接口服務,從XXX平臺獲取機動車基本信息和XX相關信息,為監(jiān)控平臺提供基礎的靜態(tài)信息集成。與浙江省、市支隊道路智能監(jiān)控一體化平臺的集成實現(xiàn)與省、市監(jiān)控平臺的對接,監(jiān)控平臺調(diào)用省局、市局道路智能監(jiān)控一體化平臺的接入服務
43、,上傳過車信息,并通過訪問省局、市局軌跡庫關聯(lián)查詢到全省的車輛軌跡與相關XX處理信息。與被盜搶庫和黑名單庫的集成從被盜搶庫和黑名單庫中獲取數(shù)據(jù),為監(jiān)控平臺提供布控黑名單。系統(tǒng)預設接口開放統(tǒng)一的Webservice接口,其他應用系統(tǒng)可以按照統(tǒng)一接入服務協(xié)議進行數(shù)據(jù)交互。數(shù)據(jù)中心建設設計方案及其應用概述從數(shù)據(jù)中心的需求中可以發(fā)現(xiàn)整個數(shù)據(jù)中心建設工作包括以下幾個部分:?結構化數(shù)據(jù)存儲系統(tǒng)的建設?非結構化存儲系統(tǒng)的建設?數(shù)據(jù)匯聚與共享系統(tǒng)的建設?數(shù)據(jù)檢索系統(tǒng)的建設為此,我們建議數(shù)據(jù)中心采用分層方式進行建設,其層次結構如下:分層結構圖(略)其中,用綠色標出的部分為本工程所涉及的內(nèi)容。其中結構化存儲系統(tǒng)擬
44、利用已建成的ORACL數(shù)據(jù)庫進行建設,按照新增的數(shù)據(jù)存儲需求進行相應的升級、修改與擴容;將一同建設非結構化存儲系統(tǒng)與數(shù)據(jù)檢索系統(tǒng),以充分利用非結構化存儲系統(tǒng)的特性進行定制化的數(shù)據(jù)檢索與分析;將利用我們的數(shù)據(jù)通信中間件平臺RationalMQ進行數(shù)據(jù)匯聚與共享系統(tǒng)的建設。數(shù)據(jù)匯聚與共享系統(tǒng)方案在進行數(shù)據(jù)匯聚與共享系統(tǒng)建設時,我們關注以下兩大類不同的需求:實時信息傳輸關注傳輸信息的實時性。這類信息只在很短的一個時期內(nèi)有效,如果超過這個時期,數(shù)據(jù)信息將失去具體的使用意義,典型的如用于交通狀態(tài)計算的實時交通參數(shù)(20s數(shù)據(jù))。歷史信息傳輸關注傳輸信息的可靠性。這類信息的實時應用意義往往不大,通常是用于
45、事后的歷史統(tǒng)計分析,為此對數(shù)據(jù)的丟失率要求比較高,有些情況下甚至會要求補傳,典型的如用于交通規(guī)劃分析用的歷史交通參數(shù)(5min數(shù)據(jù))針對這兩類需求,我們在進行系統(tǒng)設計時從以下幾個方面進行考慮:傳輸過程中的流量控制管理,以保證實時傳輸?shù)膸捴貍鳈C制的控制管理,以適應不同的重傳要求直通式傳輸與存儲轉發(fā)式傳輸,以平衡實時與歷史信息傳輸?shù)囊罅⒓创_認與逐級端到端確認,以平衡可靠性與實時性的要求數(shù)據(jù)緩存控制與管理為此,數(shù)據(jù)中心通信系統(tǒng)涉及了整體構架中的以下幾個層次:數(shù)據(jù)通信中間件信息匯聚層信息預處理與標準化層數(shù)據(jù)中心服務層中的信息共享與存儲為了實現(xiàn)這些層次中的相應功能,我們建議圍繞成熟數(shù)據(jù)通信中間件Ra
46、tionalMQ結合定制開發(fā)的軟件實現(xiàn)這些層次。在工程中我們將會涉及以下四類軟件系統(tǒng):數(shù)據(jù)通信中間件、數(shù)據(jù)采集、數(shù)據(jù)分發(fā)、數(shù)據(jù)存儲。構架圍繞XX數(shù)據(jù)中心的需求,結合上述四類軟件,我們建議的系統(tǒng)構架如下:物理網(wǎng)網(wǎng)-XX網(wǎng)數(shù)據(jù)共享架構:物理網(wǎng)通信傳輸(RationalMQ )物理網(wǎng)/XX網(wǎng)內(nèi)數(shù)據(jù)匯聚架構:數(shù)據(jù)存儲(ITSDataStorage) 一1 通信傳輸(RationalMQ )構架中:RationalMQ ,提供透明傳輸接口 ,數(shù)據(jù)通信中間件該軟件為獨立、透明傳輸?shù)耐ㄐ胖虚g件目前支持實時數(shù)據(jù)和歷史數(shù)據(jù)傳輸。數(shù)據(jù)采集功能為從數(shù)據(jù)庫、文件、Socket、FTP等數(shù)據(jù)源獲取數(shù)據(jù),按配置要求組織數(shù)
47、據(jù)完成數(shù)據(jù)打包,并通過通信傳輸軟件提供的接口傳輸數(shù)據(jù)。這一軟件根據(jù)需求需要按照給定的接口方式進行定制開發(fā)。數(shù)據(jù)存儲功能為從數(shù)據(jù)傳輸軟件接收數(shù)據(jù),按照平臺間數(shù)據(jù)通信協(xié)議解析數(shù)據(jù)并將數(shù)據(jù)存儲,目前存儲支持數(shù)據(jù)庫、文件、FTP以及數(shù)據(jù)轉發(fā)功能。這一軟件根據(jù)需求需要按照給定的接口方式進行定制開發(fā)。數(shù)據(jù)分發(fā)/共享功能為從數(shù)據(jù)傳輸軟件(數(shù)據(jù)通信中間件)接受數(shù)據(jù),按照數(shù)據(jù)轉發(fā)配置,將數(shù)據(jù)按規(guī)則分發(fā)到不同的應用:數(shù)據(jù)共享或數(shù)據(jù)存儲。這一軟件根據(jù)需求需要按照給定的接口方式進行定制開發(fā)。數(shù)據(jù)通信中間件(RationalMQ)獨立自主開發(fā)的數(shù)據(jù)通信中間件RationalMQ,是基于TCP/IP協(xié)議的數(shù)據(jù)通信服務軟件
48、,采用典型的Client-Server通信模式,通過配置,它既能滿足各類實時消息的即時傳輸,同時又能滿足大批量數(shù)據(jù)可靠傳輸?shù)囊?。對?shù)據(jù)傳輸做到“有且僅有一次數(shù)據(jù)被接收”。由于獨立自主開發(fā),具有定制化特性功能,無需考慮復雜的通用性,數(shù)據(jù)傳輸效率高。在開發(fā)過程中可充分考慮項目的實際情況進行代碼優(yōu)化和性能優(yōu)化。針對實際項目的數(shù)據(jù)特性,數(shù)據(jù)分類成實時數(shù)據(jù)和歷史數(shù)據(jù):實時數(shù)據(jù)具有數(shù)據(jù)包小,傳輸時延小,效率高的特性;歷史數(shù)據(jù)具有數(shù)據(jù)包比較大,傳輸時延小要求不高但需要確??煽康臄?shù)據(jù)傳輸質量,做到時效期內(nèi)不丟包。產(chǎn)品上線后維護簡單,排錯容易,具有詳細的日志記錄,可設置調(diào)試級日志記錄,能分析每個數(shù)據(jù)包的走向,
49、精確到毫秒級的數(shù)據(jù)傳輸效率。客戶端數(shù)據(jù)服務層數(shù)據(jù)存儲層I數(shù)據(jù)傳輸層TCP/IP串口整個通信軟件分為三層:數(shù)據(jù)服務層、數(shù)據(jù)存儲層、數(shù)據(jù)鏈路層。每層只與其相關聯(lián)的層通信交互,各層的功能作用如下:數(shù)據(jù)服務層:提供客戶端連接接口,提供API供用戶調(diào)用,提供客戶端認證機制,維護客戶端-服務器間連接,維護客戶端節(jié)點,從數(shù)據(jù)存儲層獲取數(shù)據(jù)及發(fā)送數(shù)據(jù)到數(shù)據(jù)存儲層。數(shù)據(jù)存儲層:從數(shù)據(jù)服務層獲取數(shù)據(jù),根據(jù)數(shù)據(jù)存儲層協(xié)議對數(shù)據(jù)包進行拆解包操作,本地存儲數(shù)據(jù),提交數(shù)據(jù)到數(shù)據(jù)鏈路層,收到數(shù)據(jù)鏈路層應答成功發(fā)送后刪除本地數(shù)據(jù),否則啟用重發(fā)機制,直至發(fā)送成功為止,確保數(shù)據(jù)完整性。數(shù)據(jù)鏈路層:建立并維護RationalMQ服
50、務器間數(shù)據(jù)鏈路,根據(jù)數(shù)據(jù)鏈路層問定義的協(xié)議對數(shù)據(jù)包進行拆解包操作,接收數(shù)據(jù)存儲層發(fā)送的數(shù)據(jù)及提交數(shù)據(jù)給數(shù)據(jù)存儲層。.硬件方案機器用途數(shù)量型號配置信息匯聚服務器2HPDL3882*4核32GSATA1T*4(RAID5)信息共享服務器1HPDL3882*4核32GSATA1T*4(RAID5)數(shù)據(jù)存儲與檢索方案背景隨著信息采集手段的日益成熟和普及,各種各樣的數(shù)據(jù)匯聚至中心平臺,數(shù)據(jù)量呈現(xiàn)爆炸性的增長,達到TB級,PB級,甚至ZB級。如何對這些海量數(shù)據(jù)進行存儲,檢索,分析處理,成為系統(tǒng)建設的關鍵。通過公司一年多對大數(shù)據(jù)技術的分析和研究,結合XX卡口項目需求和未來系統(tǒng)建設的要求,本方案采用傳統(tǒng)數(shù)據(jù)庫
51、技術和大數(shù)據(jù)處理技術相結合的形式,充分的利用傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)一致性和點查詢優(yōu)勢,以及大數(shù)據(jù)處理技術在海量數(shù)據(jù)檢索分析的優(yōu)勢。其中大數(shù)據(jù)處理技術采用Hadoop平臺技術架構。總體技術方案總體系統(tǒng)架構分為4層(設備層,接入層,存儲層,應用層),接入層通過通信機軟件和預處理軟件,將號牌識別設備抓拍到的圖片寫入文件系統(tǒng)(磁盤陣列)中,將號牌數(shù)據(jù)寫入關系型數(shù)據(jù)庫中(oracle),大數(shù)據(jù)分析平臺定期的將車牌歷史數(shù)據(jù)和圖片數(shù)據(jù)定期抽取到Hadoop系統(tǒng)中,供海量數(shù)據(jù)檢索,分析,數(shù)據(jù)挖掘等用,應用系統(tǒng)提供最終的人機交互界面。應用系統(tǒng)(實時查詢.檢索,分析,數(shù)據(jù)挖掘)實時在統(tǒng)查詢大數(shù)據(jù)分析平臺doobs接入層
52、通信機軟件預處理軟件設備層號碼識別設備1號碼識別設備2號碼識別設備口大數(shù)據(jù)存儲方案基于hadoop技術的海量數(shù)據(jù)處理架構越來越多運用到電子商務,金融等多個行業(yè)的海量數(shù)據(jù)處理之中。交通行業(yè)同樣面臨著大數(shù)據(jù)的考驗,采用hadoop技術,構建海量交通數(shù)據(jù)中心,利用多服務器集群完成分布式并行計算,存儲與處理成為了一種趨勢??紤]到XX原有大量陣列存儲存在因此我們將整個大數(shù)據(jù)中心分為處理車牌記錄等結構化數(shù)據(jù)的Hadoop系統(tǒng)和存放車牌圖片等非結構化數(shù)據(jù)的存儲系統(tǒng)兩塊。原有陣列可以繼續(xù)用于存儲車牌圖片,而Hadoop系統(tǒng)則主要負責處理平臺不斷產(chǎn)生的結構化數(shù)據(jù),進行快速的數(shù)據(jù)分析與處理,達到數(shù)據(jù)實時展示的目的
53、。這樣一方面可以大大提高XX市的平臺數(shù)據(jù)處理能力,另一方面保證原有存儲資源的不浪費和未來擴容的低成本和簡易性。Hadoop核心組成:?HDFS對外部客戶機而言,HDFS就像一個傳統(tǒng)的分級文件系統(tǒng)??梢詣?chuàng)建、刪除、移動或重命名文件,等等。但是HDFS的架構是基于一組特定的節(jié)點構建的,這是由它自身的特點決定的。這些節(jié)點包括NameNode它在HDFS內(nèi)部提供元數(shù)據(jù)服務;DataNode,它為HDFS提供存儲塊。存儲在HDFS中的文件被分成塊,然后將這些塊復制到多個計算機中(DataNode。這與傳統(tǒng)的RAID架構大不相同。塊的大?。ㄍǔ?4MB)和復制的塊數(shù)量在創(chuàng)建文件時由客戶機決定。NameN
54、ode以控制所有文件操作。HDFS內(nèi)部的所有通信都基于標準的TCP/IP協(xié)議。?NameNodeNameNodel一個通常在HDFS實例中的單獨機器上運行的軟件。它負責管理文件系統(tǒng)名稱空間和控制外部客戶機的訪問。NameNod歐定是否將文件映射到DataNode上的復制塊上。對于最常見的3個復制塊,第一個復制塊存儲在同一機架的不同節(jié)點上,最后一個復制塊存儲在不同機架的某個節(jié)點上。實際的I/O事務并沒有經(jīng)過NameNode只有表示DataNode和塊的文件映射的元數(shù)據(jù)經(jīng)過NameNode當外部客戶機發(fā)送請求要求創(chuàng)建文件時,NameNode會以塊標識和該塊的第一個副本的DataNodeIP地址作為
55、響應。這個NameNode還會通知其他將要接收該塊的副本的DataNode。NameNode一個稱為FsImage的文件中存儲所有關于文件系統(tǒng)名稱空間的信息。這個文件和一個包含所有事務的記錄文件(EditLog)將存儲在NameNode的本地文件系統(tǒng)上。FsImage和EditLog文件也需要復制副本,以防文件損壞或NameNode系統(tǒng)丟失。?DataNodeDataNode也是一個通常在HDFS實例中的單獨機器上運行的軟件。Hadoop集群包含一個NameNode和大量DataNode。DataNode通常以機架的形式組織,機架通過一個交換機將所有系統(tǒng)連接起來。DataNode響應來自HDF
56、S客戶機的讀寫請求。它們還響應創(chuàng)建、刪除和復制來自NameNode的塊的命令。NameNodeR賴來自每個DataNode的定期心跳(heartbeat)消息。每條消息都包含一個塊報告,NameNode以根據(jù)這個報告驗證塊映射和其他文件系統(tǒng)元數(shù)據(jù)。如果DataNode不能發(fā)送心跳消息,NameNode等采取修復措施,重新復制在該節(jié)點上丟失的塊。?SparkSpark是一個基于內(nèi)存計算的集群系統(tǒng),可用來構建大型的、低延遲的數(shù)據(jù)分析應用程序,運行速度比Mapreduce快10-100倍,且易于使用,支持Java,ScalaorPython,具有通用性,并能結合SQL和流處理進行復雜分析。Hadoo
57、p基礎架構Replicateddatablacks硬件集群方案大數(shù)據(jù)分析平臺采用Hadoop集群的方案,通過對XX數(shù)據(jù)中心數(shù)據(jù)量的初步分析,建立總共12臺服務器的集群,分別如下,3臺主節(jié)點服務器、6臺DataNode節(jié)點服務器、1臺管理配置節(jié)點服務器、2臺應用服務器。集群部署結構:數(shù)據(jù)節(jié)點1數(shù)據(jù)節(jié)點2數(shù)據(jù)節(jié)點3數(shù)據(jù)節(jié)點4 數(shù)據(jù)節(jié)點5數(shù)據(jù)節(jié)點6硬件方案:Hadoop集群中對不同角色的服務器,在內(nèi)存,CPUS硬盤存儲方面有不同的配置要求,針對XX數(shù)據(jù)中心的項目情況,服務器具體配置如下:機器用途數(shù)量配置NameNode1InterE5-26XX8核CPU64G內(nèi)存;4*1TSATAa(RAID1);
58、至少兩個1GbE以太網(wǎng)電口;做Raid1SecondaryNameNode1InterE5-26XX8核CPU64G內(nèi)存;4*1TSATA盤;至少兩個1GbE以太網(wǎng)電口BackupNameNode1InterE5-26XX8核CPU64G內(nèi)存;4*1TSATA盤(RAID1);至少兩個1GbE以太網(wǎng)電口數(shù)據(jù)節(jié)點6InterE5-24XX6核CPU128G內(nèi)存;8*1TSATA盤(RAID1);至少兩個1GbE以太網(wǎng)電口,不做Raid,8塊磁盤分開應用服務器2InterE5-24XX6核CPU48G內(nèi)存;4*1TSATA盤(RAID5);至少兩個1GbE以太網(wǎng)電口管理配置節(jié)點1InterE5-2
59、6XX8核CPU48G內(nèi)存;4*1TSATA盤(RAID5);至少兩個1GbE以太網(wǎng)電口交換機1臺千兆交換機24電口+4光模塊(單模)KVM1套16口17寸液晶管理節(jié)點軟件3套數(shù)據(jù)節(jié)點軟件6套系統(tǒng)運維管理軟件1套應用調(diào)度管理模塊軟件1套數(shù)據(jù)訪問接口模塊軟件1套磁盤總容量S=6X8=48T數(shù)據(jù)存儲能力:S=6X8X0.8/3=T效益分析從現(xiàn)狀分析,整個大數(shù)據(jù)平臺將從兩個方面改善現(xiàn)在XX的數(shù)據(jù)處理和存儲情況,并且隨著XX數(shù)據(jù)量的逐年提升,這兩個問題將日益突出,因此在問題出現(xiàn)之前通過這個系統(tǒng)將使現(xiàn)在和未來的問題得以解決,凸顯建設的經(jīng)濟價值。實時數(shù)據(jù)處理能力的提高運用Hadoop系統(tǒng)我們可以將數(shù)據(jù)分析
60、提升至秒級,根據(jù)我們Hadoop實驗室的測算,以2010年上海實時車牌模糊查詢?yōu)槔?,正常情況下運用oracle數(shù)據(jù)庫做車牌模糊查詢分析的結果產(chǎn)生在1015分鐘,運用Hadoop系統(tǒng)這個結果會在25秒內(nèi)產(chǎn)生。因此我們可以看到運用Hadoop系統(tǒng)使原本需要等待很長時間的任務大大縮短,達到實時展示的效果,這在某些諸如XX刑偵等方面會有突出的表現(xiàn)。海量歷史數(shù)據(jù)查詢能力的提高例如我們對2010年的數(shù)據(jù)(總量為15億條)將車牌記錄進行出行頻次統(tǒng)計的應用中,原Oracle系統(tǒng)中需要計算15分鐘,在Hadoop系統(tǒng)中只需要1分鐘左右,并且統(tǒng)計分析的復雜進一步提高,之間的差距還會進一步拉大,我們根據(jù)XX市平臺歷
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024年橡膠、橡塑制品項目資金申請報告
- 《數(shù)字交換與交換機》課件
- 經(jīng)濟法課件專利法上
- 教育社會實踐報告范文(24篇)
- 《信用管理實務》課件
- 《骨髓腔輸液技術》課件
- 貴州省銅仁市2023-2024學年高一上學期期末考試 生物 含解析
- 期貨糾紛案例分析(于學會)
- 中國化工網(wǎng)案例剖析
- 《數(shù)值積分習題》課件
- 項目農(nóng)民工考勤管理制度
- 《寧夏閩寧鎮(zhèn):昔日干沙灘今日金沙灘》教案- 2023-2024學年高教版(2023)中職語文職業(yè)模塊
- 碳排放監(jiān)測員(高級)技能鑒定考試題及答案
- 2024-2030年中國消防安裝和維保市場經(jīng)營發(fā)展及運行狀況分析報告
- 數(shù)學家華羅庚課件
- 10.2+文化自信與文明交流互鑒【中職專用】高一思想政治《中國特色社會主義》(高教版2023基礎模塊)
- 專項訓練:坐標的變化(30題)(原卷版+解析)
- 2024年新人教版一年級數(shù)學上冊課件 第六單元 復習與關聯(lián) 1.數(shù)與運算
- Unit 4 Ready for school(教學設計)-2024-2025學年人教PEP版(一起)(2024)英語一年級上冊
- 2024秋期國家開放大學《公共政策概論》一平臺在線形考(形考任務1至4)試題及答案
- 《2024版 CSCO非小細胞肺癌診療指南》解讀
評論
0/150
提交評論