應(yīng)用于智能交通中的大數(shù)據(jù)技術(shù)

1、應(yīng)用于智能交通中的大數(shù)據(jù)技術(shù)畢 業(yè) 論 文（設(shè)計）題 目： 應(yīng)用于智能交通中的大數(shù)據(jù)技術(shù) 姓 名： 坑選手 系 別： 工學部 專 業(yè)： 交通運輸專業(yè) 指導教師： Mr.zhuang 完成日期： 2015 年 4 月 10 日 摘要 隨著經(jīng)濟全球化的發(fā)展和時代的變遷，人們不知不覺地走進了信息化時代。大量數(shù)據(jù)的爆棚成為了這個時代的新特征，在這種特征下人們依然追求生活質(zhì)量的提高。發(fā)展智能交通使人們生活水平得到提高是現(xiàn)實社會的需要，然而在智能交通的構(gòu)建中，大量的信息數(shù)據(jù)變化也給其增添了難度，如何在大數(shù)據(jù)時代構(gòu)建一個智能化、安全化、低成本、高效便捷化的智能交通系統(tǒng)成為了當今人們研究的課題。本文從大數(shù)據(jù)時

2、代給智能交通帶來的變化及優(yōu)缺點、大數(shù)據(jù)時代給智能交通帶來的問題與挑戰(zhàn)、智能交通需求與大數(shù)據(jù)的融合以及智能交通海量數(shù)據(jù)的平臺搭建等方面做了簡單闡述，可以給以后研究該領(lǐng)域的人員提供一些可行性建議。關(guān)鍵字：智能交通；大數(shù)據(jù)；應(yīng)用；平臺構(gòu)建Abstract Information age has been come in our life with the development of economic globalization and the changes of the times. There are a large amount of date bursting, which become

3、a new characteristic in this new era, people still pursue the quality of life. It is of great need and necessity for people to improve the quality of life in contemporary society depend on developing a intelligent transportation. However, we meet some difficulties in building intellig

4、ent transportation because of the changes of various information date. How to develop a intelligent transportation that safety, low cost,efficient and convenient is the subject for the study of people. The thesis simply discusses the changes,advantages and disadvantages, problems

5、 and challenges of the intelligent transportation that information age brought. In addition, the thesis discuss the demands of the intelligent transportation, the amalgamation of numbers of date and the establishment of date platform in intelligent transportation system. The thesis is

6、 contributing to putting forward some practical suggestions for peoples future study.Key words:Intelligent Transportation；Big Data；Application；Platform目錄1緒論11.1引言11.2國內(nèi)研究概況11.3國外研究概況11.4 本文主要研究內(nèi)容和研究方法22大數(shù)據(jù)時代給智能交通帶來的變化及優(yōu)缺點32.1大數(shù)據(jù)時代改變傳統(tǒng)公共交通管理的路徑32.2大數(shù)據(jù)下智能交通的優(yōu)勢42.3大數(shù)據(jù)下智能交通的弊端43大數(shù)據(jù)時代給智能交通帶來的問題與挑戰(zhàn)53.1數(shù)據(jù)關(guān)

7、聯(lián)復雜53.2數(shù)據(jù)遷移問題53.3數(shù)據(jù)接收實時性63.4海量數(shù)據(jù)計算63.5城市交通的大數(shù)據(jù)環(huán)境帶來的挑戰(zhàn)74智能交通需求與大數(shù)據(jù)的融合94.1智能交通需求94.2相互融合95智能交通海量數(shù)據(jù)的平臺搭建105.1針對戰(zhàn)略調(diào)控的數(shù)據(jù)密集型分析的技術(shù)路徑105.2系統(tǒng)架構(gòu)115.3遷移數(shù)據(jù)方案115.4存儲數(shù)據(jù)方案125.5數(shù)據(jù)倉庫系統(tǒng)135.6處理數(shù)據(jù)方案145.7數(shù)據(jù)安全策略155.8未來發(fā)展建議156結(jié)語15致謝17參考文獻18V1緒論1.1引言信息化時代催生了大數(shù)據(jù)技術(shù)，已經(jīng)來臨的大數(shù)據(jù)時代對于城市交通道路來說既是機遇也是挑戰(zhàn)，如何應(yīng)對和利用，這是一個很大的課題。大城市在經(jīng)濟快速發(fā)展的過程

8、中面臨著交通事故頻發(fā)、交通堵塞以及交通環(huán)境污染日趨嚴重的問題。在傳統(tǒng)交通中，城市交通是中流砥柱，具有基礎(chǔ)性的作用。大數(shù)據(jù)時代的特征人們用四個V字開頭的英文單詞來表達即速度（Velocity）、多樣性（Variety）、體量（Volume）以及價值密度（Value）。在大數(shù)據(jù)時代，城市交通與大數(shù)據(jù)必定會產(chǎn)生各種聯(lián)系，通過大數(shù)據(jù)帶來的技術(shù)突破，推進城市交通邁向全面信息化時代，通過城市交通的快速發(fā)展推進大數(shù)據(jù)更加落地，產(chǎn)生實效城市交通大數(shù)據(jù)的集成和將來的開發(fā)利用對于現(xiàn)代軌道的發(fā)展具有重要作用。1 對大數(shù)據(jù)的需求，不論哪一個傳統(tǒng)行業(yè)，都要既掌握技術(shù)又深諳內(nèi)情。能夠駕馭行業(yè)大數(shù)據(jù)的人，需要比互聯(lián)網(wǎng)更懂互

9、聯(lián)網(wǎng)，比建筑更懂建筑，比金融更懂金融，交通也是如此。對于交通大數(shù)據(jù)方案商來說，需要充分了解乘客的實際需求，需要對高峰期充分了解。1.2國內(nèi)研究概況2013年12月中國智能交通與大數(shù)據(jù)技術(shù)峰會在北京召開。數(shù)十家領(lǐng)軍企業(yè)，近七十場主題演講，對大數(shù)據(jù)的技術(shù)方向進行了探討和研究。還對互聯(lián)網(wǎng)、金融、電信、交通、醫(yī)療等創(chuàng)新案例，大數(shù)據(jù)資源的法律法規(guī)、大數(shù)據(jù)商業(yè)利用的政策管制等進行了深入的討論。中國智能交通協(xié)會理事長吳忠澤為我們闡述了大數(shù)據(jù)背景下，智能交通的發(fā)展趨勢和發(fā)展過程中所面臨的機遇與挑戰(zhàn)。他指出交通數(shù)據(jù)的深層價值挖掘和開發(fā)要突破技術(shù)和政策層面上的問題，使數(shù)據(jù)資源的安全性問題得到保障。深圳市綜合交通運

10、行指揮中心總工關(guān)志超用“監(jiān)測、模型、仿真、評價”八字概括了智能交通的特點。為我們詳細介紹了大數(shù)據(jù)的數(shù)據(jù)監(jiān)測，大數(shù)據(jù)下城市智能交通模型體系的建設(shè)以及構(gòu)建基于城市交通模型系統(tǒng)的智能仿真平臺。毫無疑問，中國智能交通已經(jīng)迎來大數(shù)據(jù)時代。1.3國外研究概況早在20世紀80年代國外就產(chǎn)生了“大數(shù)據(jù)”這個概念，國外對大數(shù)據(jù)的研究早于中國。到了20世紀90年代開始，歐美和日本等發(fā)達國家逐步加快了對智能交通研究和應(yīng)用的速度。應(yīng)用于智能交通中的大數(shù)據(jù)技術(shù)也逐步在發(fā)展和成熟。2014年1月，美國官方打算將car-to-car智能通訊系統(tǒng)搭載在新汽車上，讓汽車與汽車之間隨時有個通訊，這樣就能確保車距防止交通事故的發(fā)生

11、。據(jù)悉，這項技術(shù)已經(jīng)在多個城市試點，美國將要在2017年普及這項技術(shù)。因此，國外對智能交通大數(shù)據(jù)技術(shù)的研究已經(jīng)步入了應(yīng)用階段。圖一：美國car-to-car智能通訊系統(tǒng)1.4 本文主要研究內(nèi)容和研究方法 改善城市道路交通的關(guān)鍵所在就是智能交通，建設(shè)智能交通的前提需要及時、準確地獲取交通數(shù)據(jù)并構(gòu)建交通數(shù)據(jù)處理模型，而大數(shù)據(jù)技術(shù)可以解決這個難題。2本文從大數(shù)據(jù)時代給智能交通帶來的變化及優(yōu)缺點、大數(shù)據(jù)時代給智能交通帶來的問題與挑戰(zhàn)、智能交通需求與大數(shù)據(jù)的融合以及智能交通海量數(shù)據(jù)的平臺搭建等方面的進行了簡單的概述，可以給相關(guān)的研究人員提供一些有用的參考。本文通過查找文獻和研究，定量定性的分析，對比國內(nèi)

12、外相關(guān)技術(shù)，而采取文獻法，描述法，對比法等研究方法。2大數(shù)據(jù)時代給智能交通帶來的變化及優(yōu)缺點隨著網(wǎng)絡(luò)信息技術(shù)以及相關(guān)配套技術(shù)的快速發(fā)展，使得當今時代在不知不覺中走進一個“大數(shù)據(jù)”時代階段。就目前而言，國際上還沒有給予“大數(shù)據(jù)”一個明確的具有權(quán)威性的定義，但是其在本質(zhì)上的認識各個國家基本相同。一些研究人士認為“大數(shù)據(jù)”是數(shù)量極大的一堆數(shù)據(jù)，其作用性非常強，并且其可以對其應(yīng)用領(lǐng)域大體上做出預測。還有一些研究人士認為，在大量信息數(shù)據(jù)技術(shù)處理應(yīng)用當中，“大數(shù)據(jù)”是一項大的數(shù)據(jù)集合，并且該種集合不僅數(shù)據(jù)量大，而且還非常復雜。但是無論怎樣大數(shù)據(jù)時代已經(jīng)走來，我們必須接受并且要利用好其在各個領(lǐng)域的應(yīng)用。因此

13、在今天的智能交通領(lǐng)域，利用大數(shù)據(jù)技術(shù)已經(jīng)成為了時代發(fā)展的必然，因為其可以給現(xiàn)代智能交通帶來諸多大的變化。2.1大數(shù)據(jù)時代改變傳統(tǒng)公共交通管理的路徑大數(shù)據(jù)可以跨越行政區(qū)域的限制。行政區(qū)域的劃分是國家為了有效統(tǒng)治和管理，而將一個國家劃分不同行政區(qū)域。這個劃分在促進各個行政區(qū)域自治的同時，也導致各個地方政府追求各自轄區(qū)利益的最大化，而將用戶可能利用的各種交通數(shù)據(jù)納入系統(tǒng)，構(gòu)建公共交通信息集成利用模式，發(fā)揮整體性交通功能，通過在大數(shù)據(jù)中進行集成檢索、利用和分析來提取相關(guān)信息，滿足各種交通需求，以解決實時交通障礙。9圖二：日本三大都市圈交通模式的演變 從圖一我們可以看出從1970年至2004年，名古屋所

14、處的中京都市圈小汽車分班比呈現(xiàn)上升的勢頭，且軌道與巴士出現(xiàn)下降的趨勢，說明城市交通模式趨于偏離公共交通的發(fā)展。2.2大數(shù)據(jù)下智能交通的優(yōu)勢智能交通數(shù)據(jù)處理體系的構(gòu)成一般由輸入交通數(shù)據(jù)（靜態(tài)與動態(tài)數(shù)據(jù)）數(shù)據(jù)處理（實時數(shù)據(jù)處理）數(shù)據(jù)存儲（大數(shù)據(jù)）數(shù)據(jù)查詢，檢索，可規(guī)劃用戶等組成。大數(shù)據(jù)能較好的配置公共交通信息資源。傳統(tǒng)的交通管理部門職能重疊，在運營上浪費大量人力、物力。大數(shù)據(jù)能合理配置各個交通部門之間的交通職能，輔助人們制定出較好的統(tǒng)籌與協(xié)調(diào)解決方案，能合理配置有關(guān)道路的信息資源。4大數(shù)據(jù)在解決公共交通問題上具有以下優(yōu)勢：1)、在對公共交通的車輛進行配置過程中，配置成本會隨著大數(shù)據(jù)的聚合而減小，這

15、種高效配置能提高車輛的有效路段里程，進而提高交通運輸效率；2)、確保交通的連貫性和持續(xù)性，一旦某個路段發(fā)生問題，能即刻從大數(shù)據(jù)中調(diào)出相關(guān)信息；3)、大數(shù)據(jù)具有很高的預測能力，可降低漏報和誤報的概率，可隨時實時監(jiān)控公共交通的動態(tài)性。5從經(jīng)濟效益方面來說，大數(shù)據(jù)的超級計算機的引入和維護需要一定的資金，但是從長遠來說，其經(jīng)濟效益更大。1)、應(yīng)用大數(shù)據(jù)可以減小交通堵塞。將用戶分析之后，轉(zhuǎn)化為一張完整的道路交通狀況地圖，并在地圖上以同顏色標示各個路段的運行現(xiàn)狀，以確定造成交通堵塞的地點。2)、應(yīng)用大數(shù)據(jù)處理惡劣天氣的道路狀況。使用來自氣象信息站和交通高速數(shù)據(jù)的信息，以評估對關(guān)鍵路線的道路進行清理所要耗費

16、的時間，從而提高處理道路狀況的效率。3）、應(yīng)用大數(shù)據(jù)可以評估路況。使用交通的高速數(shù)據(jù)和分析，以評估出關(guān)鍵路段的行駛可靠性。定位擁擠路段，為擁堵路段的司機指明疏通路段。62.3大數(shù)據(jù)下智能交通的弊端大數(shù)據(jù)加快了共享速度和信息傳遞，擴大了信息范圍，使得其所含的私密信息和商業(yè)信息存在著泄露的風險。例如個人的家庭住址、個人出行路線以及常使用的出行工具等。一旦這些信息泄露，則會在一定程度上影響到個人的私生活，用戶產(chǎn)生的自我保護意識就會抵制大數(shù)據(jù)管理系統(tǒng)的廣泛應(yīng)用。各地機構(gòu)都具有交通數(shù)據(jù)并能被大數(shù)據(jù)管理系統(tǒng)應(yīng)用，但很多車輛計數(shù)（計算交通車輛數(shù)目）的數(shù)據(jù)都以靜態(tài)格式存儲，使得系統(tǒng)所具備的計數(shù)特性無法被除人之

17、外的事物進行檢索，這種傳統(tǒng)“人對物”的互聯(lián)網(wǎng)連接方式不符合物聯(lián)網(wǎng)的“物對物”特性。交通數(shù)據(jù)的物聯(lián)化是通過智能手機、傳感器和機載車輛等硬件,不間斷收集、通信和處理諸如交通條件、天氣狀況等移動數(shù)據(jù)。63大數(shù)據(jù)時代給智能交通帶來的問題與挑戰(zhàn)3.1數(shù)據(jù)關(guān)聯(lián)復雜根據(jù)相關(guān)部門統(tǒng)計，隨著互聯(lián)網(wǎng)信息時代的到來，在當今三年里產(chǎn)生的信息數(shù)據(jù)相當于上一個時代四萬年產(chǎn)生的數(shù)據(jù)量，并且隨著時代的發(fā)展信息量要成上升趨勢。大量信息數(shù)據(jù)產(chǎn)生的時代已經(jīng)毋庸置疑的來了。在這些大量數(shù)據(jù)的產(chǎn)生中其來源來自于方方面面，無論從生活的互聯(lián)網(wǎng)電子商務(wù)購物，還是到工業(yè)企業(yè)中各產(chǎn)線的的生產(chǎn)制造，還是到社交網(wǎng)站等媒體信息的溝通，還是到在線視頻影像

18、資料的制作與傳輸都是大量信息數(shù)據(jù)產(chǎn)生的源頭。就現(xiàn)今時代發(fā)展而言無論從工業(yè)企業(yè)的信息自動化管理系統(tǒng)，還是政府機關(guān)等服務(wù)部門的電子窗口政務(wù)以及居民所使用的網(wǎng)絡(luò)信息娛樂與服務(wù)均會產(chǎn)生大量的信息數(shù)據(jù)。同樣在現(xiàn)代交通領(lǐng)域也不例外，就目前而言浮動車數(shù)據(jù)、智能交通卡等信息數(shù)據(jù)已經(jīng)大量的分布各地。就浮動車的GPS數(shù)據(jù)而言，僅按照一座城市20000輛pcu作為估算依據(jù)，那樣車輛軌跡產(chǎn)生的實時傳輸記錄就可以產(chǎn)生平均為50200 B數(shù)據(jù)長度的數(shù)據(jù)。如果按照一輛車1560 s次的回報頻率。這樣僅該項數(shù)據(jù)就可每天產(chǎn)生475 GB的數(shù)據(jù)量，175 TB的年數(shù)據(jù)量。如果再加上視頻、圖像、音頻等各項數(shù)據(jù)流，那么整個數(shù)據(jù)系統(tǒng)就

19、會存在諸多錯綜復雜的關(guān)系，并且這些相互關(guān)聯(lián)的關(guān)系還會發(fā)生動態(tài)的不可確定的變化，因而導致數(shù)據(jù)關(guān)聯(lián)模式非常復雜，并且難以處理。3.2數(shù)據(jù)遷移問題受到各種信息服務(wù)終端的影響，各類信息系統(tǒng)均會產(chǎn)生大量信息數(shù)據(jù)，這樣便使得各類信息數(shù)據(jù)的存儲規(guī)模呈現(xiàn)迅猛爆炸式增長。就目前發(fā)展階段而言，個人用戶端的信息數(shù)據(jù)存儲規(guī)模已經(jīng)從過去的GB級別逐漸上升到了TB級別；在一些大中型信息化企業(yè)當中其信息數(shù)據(jù)存儲規(guī)模也已經(jīng)上升到了PB級別有的甚上升到了EB級別。近年來，隨著互聯(lián)網(wǎng)和云計算等技術(shù)的迅猛發(fā)展，由于其有明顯的技術(shù)優(yōu)勢和服務(wù)優(yōu)點，已經(jīng)越來越多個人和企業(yè)選擇將大量的信息數(shù)據(jù)業(yè)務(wù)遷移到云計算平臺等大規(guī)模數(shù)據(jù)中心中去，進而

20、以降低本地硬件的投入和維護成本以及安全性的保證。但是我們知道超大海量的數(shù)據(jù)遷移并非那么容易其必須要以可行可靠安全的技術(shù)方案作為支撐，一旦出現(xiàn)錯誤將會給現(xiàn)實社會和實體經(jīng)濟帶來影響以及增加安全隱患。此外超大海量數(shù)據(jù)遷移任務(wù)需要較大帶寬作為傳輸技術(shù)支撐，就目前的帶寬技術(shù)發(fā)展而言，雖然其已經(jīng)發(fā)展較快，但隨著時代的發(fā)展其發(fā)展速度將滿足不了超大海量信息傳輸?shù)囊?，可能會成為?shù)據(jù)遷移的一項發(fā)展瓶頸。3.3數(shù)據(jù)接收實時性隨著現(xiàn)代智能交通的發(fā)展，交通領(lǐng)域已經(jīng)呈現(xiàn)多樣化的發(fā)展，現(xiàn)代交通的發(fā)展已經(jīng)要求大量的數(shù)據(jù)需要進行在線接受、記錄和處理。例如在交通領(lǐng)域中出租車行車軌跡數(shù)據(jù)記錄、長途客車行車軌跡數(shù)據(jù)記錄、公務(wù)性用車

21、行車車軌跡數(shù)據(jù)記錄以及出租車營運交易信息數(shù)據(jù)的記錄，類似這樣的信息數(shù)據(jù)均需要大量的實時接收、記錄和處理。除此之外這些交通實際應(yīng)用對于信息數(shù)據(jù)的完整性以及安全性均要求較高。其中完整性的要求要使得信息數(shù)據(jù)做到無丟失并且實時接收用戶的信息數(shù)據(jù)傳輸需求，同時還要做好并將信息數(shù)據(jù)的存儲和備份。對于安全性的要求要使得數(shù)據(jù)的實時傳輸通道始終保持在授權(quán)的情況下運行，不能夠在無授權(quán)的情況下被訪問和監(jiān)聽進而盜取和破壞數(shù)據(jù)。與信息數(shù)據(jù)遷移性問題一樣，信息數(shù)據(jù)的實時性接受也會受到帶寬的制約，一般實時數(shù)據(jù)的接受功能需要在至少獨享10 Mbps帶寬上運行，同時在信息數(shù)據(jù)需要人機互動時還存在著IO設(shè)備接口的瓶頸。3.4海量

22、數(shù)據(jù)計算由于大數(shù)據(jù)的計算和處理特性，對于傳統(tǒng)的數(shù)據(jù)分析、挖掘、處理方式已經(jīng)無法滿足大數(shù)據(jù)的要求。這樣計算和處理大數(shù)據(jù)就需要打破傳統(tǒng)思維模式，進而利用密集型計算和新型計算的模式，該模式需要有數(shù)據(jù)計算效率的評估方法加上數(shù)據(jù)計算復雜性的研究基礎(chǔ)理論作為技術(shù)支撐，而這些數(shù)據(jù)計算均要針對交通行業(yè)的特性以及現(xiàn)階段存的問題組建成相應(yīng)的數(shù)學模型才能夠解決實際問題。因此大數(shù)據(jù)時代，數(shù)據(jù)量不僅龐大，更重要的是大部分數(shù)據(jù)長時期按照分布式的形式存在，使得數(shù)據(jù)很難得到集中處理，這樣便會給移動數(shù)據(jù)帶來巨大的消耗。所以大數(shù)據(jù)時代的數(shù)據(jù)計算需要將自頂向下的中心化模式轉(zhuǎn)換為以自底向上的以數(shù)據(jù)為核心的計算模式。3.5城市交通的大

23、數(shù)據(jù)環(huán)境帶來的挑戰(zhàn)城市交通的大數(shù)據(jù)環(huán)境帶來以下變化：數(shù)量大但信息密度相對較低，且有一定程度的不確定性；單一數(shù)據(jù)源只能從某角度描述研究對象，但不能給出完整的描述圖像；不同的數(shù)據(jù)源具有不同的參照系，并且服從不同的誤差分布；更加需要關(guān)注數(shù)據(jù)關(guān)聯(lián)分析，以求發(fā)現(xiàn)新的知識和規(guī)律。為此以上海為例城市擴展對交通帶來新的挑戰(zhàn)如下上海社會經(jīng)濟發(fā)展趨勢及對交通的影響研究2030年GDP總量達6719億元，為2010年的4倍；2020年崗位總規(guī)模達到1430-1450萬，較現(xiàn)狀增26%；常住人口：2020年2800萬，2030年超過3000萬；流動人口從現(xiàn)狀的224萬人，增長到2020年的250萬人。中心城規(guī)模仍在擴

24、大：十一五期間中心城建筑量年均增加2000萬平方米，建筑開發(fā)量接近4.5億平方方米，據(jù)規(guī)劃院分析，2020年中心城建筑量將達到6.5億平方米。常住人口呈現(xiàn)向中心區(qū)以外蔓延擴展的態(tài)勢，2009年起，2批38個大型居住社區(qū)發(fā)展規(guī)劃，用地70平方公里，估計可容納300萬人。圖三：上海第三產(chǎn)業(yè)從業(yè)人口比例逐步增加趨勢圖表一：上海城市發(fā)展變化趨勢表（表一：上海城市發(fā)展變化趨勢，其中情景一為當前模式，核心集聚中心城整體處于飽和狀態(tài)，進出中心城的潮汐特征突出。情景二為多核發(fā)展中心城路網(wǎng)整體處于可接受的服務(wù)水平，郊區(qū)交通量比重明顯增加。）從以上分析我們不難得出以上海為例城市發(fā)展的變化將帶來以下挑戰(zhàn)：1）、如何

25、適應(yīng)融入城市群發(fā)展的上海，自身結(jié)構(gòu)擴展調(diào)整的上海，產(chǎn)業(yè)結(jié)構(gòu)轉(zhuǎn)型的上海，提升國際航運中心能級的上海；2）、如何引導城市交通模式的可持續(xù)發(fā)展，城市交通的理性消費，現(xiàn)代交通意識的建立；3）、如何應(yīng)對城市空間資源的緊缺，城市環(huán)境容量的制約，交通建設(shè)資金的緊缺，交通安全形勢的嚴峻。因此我們必須要使智能交通需求與大數(shù)據(jù)的融合并且構(gòu)建智能交通海量數(shù)據(jù)的平臺。 4智能交通需求與大數(shù)據(jù)的融合4.1智能交通需求所謂智能交通其整體框架主要應(yīng)該包括物理感知層面、數(shù)字軟件應(yīng)用平臺、數(shù)字分析預測以及優(yōu)化應(yīng)用管理系統(tǒng)，在這其中物理感知層面主要包括對交通狀況、交通環(huán)境以及交通數(shù)據(jù)的物理感知采集；而數(shù)字軟件應(yīng)用平臺包括對各個感

26、知系統(tǒng)終端的信息數(shù)據(jù)進行整合并通過載體進行轉(zhuǎn)換處理進而支撐和分析各項應(yīng)用系統(tǒng)的建設(shè)；對于分析預測以及優(yōu)化應(yīng)用管理系統(tǒng)主要包括交通規(guī)劃、交通疏導、交通監(jiān)控、智能指揮、智能停車、智能管理等應(yīng)用系統(tǒng)。對于智能交通的系統(tǒng)應(yīng)用其可以利用視頻監(jiān)控系統(tǒng)配合智能識別系統(tǒng)以及信息技術(shù)手段的融合，使得其管理空間、時間和范圍得到不斷加大，使得其管理手段在廣度、深度以及精細度上均得到提高。對于現(xiàn)代智能交通系統(tǒng)整個應(yīng)用平臺而言，其平臺的構(gòu)成主要是由視頻監(jiān)控系統(tǒng)、信號控制系統(tǒng)、電子報警識別系統(tǒng)、智能卡口系統(tǒng)、信息采集和傳輸系統(tǒng)以及信號和信息處理發(fā)布系統(tǒng)等基本單元組成，這些結(jié)構(gòu)單元組成的系統(tǒng)平臺主要實現(xiàn)的目的和目標應(yīng)包含以

27、下四個方面：1）、該系統(tǒng)平臺致力于提高交通通行能力，2）、該系統(tǒng)平臺的重要目標之一是為了減少和降低交通事故危險，3）、該系統(tǒng)的核心手段是打擊道路違章違法事件，4）、該系統(tǒng)平臺要經(jīng)過不斷的優(yōu)化和提升。為此現(xiàn)代智能交通的功能需要就使得大數(shù)據(jù)技術(shù)與其必須進行融合。4.2相互融合在智能交通信息數(shù)據(jù)需求的的基礎(chǔ)上，現(xiàn)代智能交通與大數(shù)據(jù)技術(shù)的相互融合具備以下基本條件：1）、成熟度的融合，無論是現(xiàn)代智能交通還是大數(shù)據(jù)技術(shù)其在現(xiàn)代技術(shù)應(yīng)用領(lǐng)域已經(jīng)愈發(fā)成熟，在當今現(xiàn)代化城市社會無論是智能卡口還是電子警察再到智能視頻監(jiān)控系統(tǒng)其都已經(jīng)對視頻和影像數(shù)據(jù)處理技術(shù)進行了語意化的應(yīng)用，并且已經(jīng)成熟應(yīng)用，而且完整度和深度正在

28、逐步加深。為此對于大數(shù)據(jù)時代智能交通極為可能成為在大數(shù)據(jù)新興技術(shù)領(lǐng)域應(yīng)用中最先推廣和成熟應(yīng)用的領(lǐng)域。2）、技術(shù)融合，就目前大數(shù)據(jù)技術(shù)以及基礎(chǔ)云計算技術(shù)的發(fā)展，其技術(shù)的應(yīng)用構(gòu)架與智能交通的系統(tǒng)平臺構(gòu)架融合度較高，而對于大數(shù)據(jù)技術(shù)在智能交通領(lǐng)域率先的融合和應(yīng)用，因其能夠帶來巨大的社會效應(yīng)，因此其必將引領(lǐng)該項技術(shù)在整個智能城市的建設(shè)中帶領(lǐng)各子模塊快速發(fā)展。3）、群眾基礎(chǔ)，對于智能交通而言其面向的服務(wù)群體依然是廣大群眾，從智能交通面向的使用者角度來看，智能化交通可以影響到各類群體出行的信息服務(wù)。智能交通的全面應(yīng)用不僅能夠使得廣大群眾生活更加方便，同時也降低了城市運營成本，特別是能夠讓廣大群眾更加秩序化

29、使得公安、交警的執(zhí)法執(zhí)勤頻率降低。因其智能交通的發(fā)展有一個極強的群眾基礎(chǔ)作為支撐。因此這樣一來，智能交通的信息數(shù)據(jù)的采集、存儲與計算就會與廣大群眾個體相結(jié)合，使得對數(shù)據(jù)的采集、計算、甄別和處理上均需要大數(shù)據(jù)技術(shù)作為支撐。 5智能交通海量數(shù)據(jù)的平臺搭建5.1針對戰(zhàn)略調(diào)控的數(shù)據(jù)密集型分析的技術(shù)路徑從本質(zhì)上來說，大數(shù)據(jù)環(huán)境下交通分析技術(shù)的完成是一種將數(shù)據(jù)組織成為信息，從信息提煉特征，從特征變化中發(fā)現(xiàn)規(guī)律，就對策進行追蹤評估的信息處理過程。而模型所處理的問題領(lǐng)域可以劃分為系統(tǒng)狀態(tài)分析和交通行為分析兩個基本板塊。圖四：戰(zhàn)略調(diào)控的技術(shù)應(yīng)用架構(gòu)5.2系統(tǒng)架構(gòu)針對現(xiàn)代智能交通的海量數(shù)據(jù)特點，結(jié)合與其融合的大數(shù)

30、據(jù)典型平臺架構(gòu)，搭建一種智能交通海量數(shù)據(jù)平臺其基本架構(gòu)應(yīng)包含以下三個部分，即數(shù)據(jù)采集層、數(shù)據(jù)架構(gòu)層以及數(shù)據(jù)服務(wù)層。其中數(shù)據(jù)采集層采集的數(shù)據(jù)就是智能交通系統(tǒng)的所有所需處理信息數(shù)據(jù)，采集后得到的數(shù)據(jù)通過數(shù)據(jù)傳輸?shù)浇煌ㄔ破脚_，交通云平臺會根據(jù)不同的應(yīng)用需求進行分類存儲到相應(yīng)的內(nèi)存數(shù)據(jù)庫中，此后便按照處理的不同需求選用不同的數(shù)據(jù)架構(gòu)層進行處理，最終實現(xiàn)數(shù)據(jù)服務(wù)層對其提供實時快速高效的服務(wù)。圖五：智能交通海量數(shù)據(jù)共享分析平臺5.3遷移數(shù)據(jù)方案由于現(xiàn)有智能交通數(shù)據(jù)一般均存儲在關(guān)系型數(shù)據(jù)庫當中，我們?yōu)榱四軌蜃寯?shù)據(jù)統(tǒng)計分析更為精準，所以必須要讓歷史數(shù)據(jù)遷移到大數(shù)據(jù)平臺當中，而Hadoop大數(shù)據(jù)平臺則是首選。經(jīng)

31、過多次反復測試，其中以開放oracle數(shù)據(jù)庫數(shù)據(jù)瀏覽端口為最佳方案，因為其可以使用開源數(shù)據(jù)轉(zhuǎn)移工具Sqoop直接將數(shù)據(jù)導入HDFS當中去，但其傳輸速度卻要受限于網(wǎng)絡(luò)帶寬的限制。此方案在實際的測試過程當中，有著較高的安全性，試驗中始終保持著0次傳輸間斷和O數(shù)據(jù)傳輸丟失。12Sqoop是一個能夠?qū)adoop與關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)實現(xiàn)相互轉(zhuǎn)移的工具，其不僅可以將一個關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)導入Hadoop的HDFS中去，其還可以將HDFS中的數(shù)據(jù)導入到關(guān)系型數(shù)據(jù)庫當中去 。圖六：Hadoop與關(guān)系型數(shù)據(jù)庫的相互轉(zhuǎn)移5.4存儲數(shù)據(jù)方案對于任何信息數(shù)據(jù)計算系統(tǒng)數(shù)據(jù)的存儲與數(shù)據(jù)計算是不可分割的，因此在系統(tǒng)的

32、架構(gòu)之初其就包含海量數(shù)據(jù)存儲功能以及海量數(shù)據(jù)計算功能。為了保證該項功能的實現(xiàn)，這就要求通信客戶端可以在接收數(shù)據(jù)源層中所采集的數(shù)據(jù)這一過程當中保證無丟失，并且能夠無丟失的發(fā)送到云平臺當中去。就在這一過程當中，系統(tǒng)的存儲功能就需要保持所有數(shù)據(jù)無丟失并且持久性儲存。一般情況下系統(tǒng)平臺接收到需要上傳文件的請求信號之后，這樣在云平臺上的Hadoop集群將會按照預定啟動一項Job任務(wù)進而將需要上傳的數(shù)據(jù)文件塊上傳到HDFS當中的HBase當中進行持久性的儲存，進而實現(xiàn)存儲功能。Hbase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，并且利用HBase技術(shù)可在廉價PC Server上搭建起大規(guī)模結(jié)

33、構(gòu)化存儲集群。為了保證儲存不丟失，一旦遇到多項任務(wù)上傳時，這樣擁有整個集群的作業(yè)控制和資源管理的功能的JobTracker就會對任務(wù)進行調(diào)配并在架構(gòu)層中提前配置多種工具進而實現(xiàn)多種數(shù)據(jù)的快速分析、甄別和處理。于此同時，存儲模塊也會相應(yīng)的啟動Job任務(wù)對數(shù)據(jù)進行處理和分析。從而實現(xiàn)了海量數(shù)據(jù)存儲功能和計算功能。圖七：數(shù)據(jù)存儲過程5.5數(shù)據(jù)倉庫系統(tǒng)在構(gòu)建智能交通大數(shù)據(jù)系統(tǒng)平臺少不了數(shù)據(jù)倉庫系統(tǒng)。近些年來，數(shù)據(jù)倉庫系統(tǒng)已經(jīng)成為數(shù)據(jù)管理研究領(lǐng)域的熱點，而其中的主要因為數(shù)據(jù)倉庫系統(tǒng)在當前所面臨在數(shù)據(jù)源的需求以及所處的硬件環(huán)境加上需提供的數(shù)據(jù)服務(wù)等都發(fā)生了諸多本質(zhì)性的變化，這些本質(zhì)性的變化就必須讓我們重新

34、改進和利用數(shù)據(jù)倉庫系統(tǒng)。而對于智能交通海量大數(shù)據(jù)，其應(yīng)該在現(xiàn)有數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ)上完成對方案的重新審視，并需要具備以下幾個重要的特性：1）、高度的可擴展性：面對現(xiàn)代交通的發(fā)展其數(shù)據(jù)呈現(xiàn)幾何增長的趨勢，數(shù)據(jù)庫已經(jīng)不能僅依靠l臺或幾臺機器進行縱向擴展（ scale up）的升級來滿足爆炸式的數(shù)據(jù)量增長。我們必須要能夠在橫向可擴展(scale out)等方面方便地實現(xiàn)高度的可擴展性目標；2）、高度容錯性：對于現(xiàn)代智能交通大數(shù)據(jù)系統(tǒng)其數(shù)據(jù)來源較為復雜，應(yīng)當具備高度的容錯性，其容錯性的要求要在系統(tǒng)的查詢執(zhí)行過程中一旦發(fā)生某個節(jié)點失效的情況時，不需要重新進行整個查詢并滿足于現(xiàn)代智能交通數(shù)據(jù)的實時交通信息查

35、詢。為此要在大規(guī)模機群環(huán)境下，重點考慮利用軟件完成容錯而不是依賴系統(tǒng)硬件來完成；3）、支持異構(gòu)環(huán)境，在以上基礎(chǔ)之上由于計算機硬件更新較快，建設(shè)大規(guī)模機群同構(gòu)系統(tǒng)難度較大，并且一次性購置大量同構(gòu)計算機也是不合理的。為此，解決這一問題異構(gòu)環(huán)境便可以有效對一些閑置計算基資源進行利用，進而降低系統(tǒng)硬件的投入成本。5.6處理數(shù)據(jù)方案系統(tǒng)的數(shù)據(jù)處理是大數(shù)據(jù)系統(tǒng)平臺在現(xiàn)代智能交通領(lǐng)域內(nèi)的核心模塊，一般系統(tǒng)的數(shù)據(jù)處理要實時與統(tǒng)計應(yīng)用相互分離，進而適用不同應(yīng)用的需求。該模塊運用大規(guī)模并行計算以及增量式計算方法保證了能夠全面性、準確性和實時性處理系統(tǒng)數(shù)據(jù)。在這一過程當中所應(yīng)用的關(guān)鍵技術(shù)包括：1）軌跡數(shù)據(jù)快速檢索技

36、術(shù)：該技術(shù)是以二進制文件取代原始數(shù)據(jù)的轉(zhuǎn)存，設(shè)計Key-Value儲存作為記錄。其能夠利用Key進行快速檢索Value的特性，并再將數(shù)據(jù)子集存儲在Value之中。此外還可以用HDFS分布式文件系統(tǒng)以及MapReduce分布式計算編程取代過去的關(guān)系數(shù)據(jù)庫查找進而實現(xiàn)快速統(tǒng)計功能。該項技術(shù)的數(shù)據(jù)壓縮比可以達到40，運算速度可以提升50倍以上，因此可實現(xiàn)對固化后的數(shù)據(jù)實現(xiàn)快速檢索與統(tǒng)計分析功能。2）分布式軌跡聚類技術(shù)：該技術(shù)是利用MapReduce分布式計算架構(gòu)對分布式軌跡進行一定的規(guī)則化處理，從而實現(xiàn)KMeans聚類算法。一般其都會指定起始點位置，然后對常跑路徑聚類分析進而快速探測異常值實現(xiàn)對分布

37、式軌跡進行一定的規(guī)則化處理。該項技術(shù)一般提供對常規(guī)路線或指定路線的快速提取以及處理異常分析的比照等。3）分布式停車點聚類技術(shù)：該技術(shù)是一種在Mahout與Hadoop分布式機器學習庫平臺的一項協(xié)作功能，其主要是分布式實現(xiàn)Mapreduce的可迭代式數(shù)據(jù)。以此來快速檢索和統(tǒng)計分析所需軌跡停車點后的數(shù)據(jù)提取，在利用Mahout中的Clustering（聚類）數(shù)據(jù)中的挖掘模塊實現(xiàn)多維空間下的快速聚類分析功能。4）地圖匹配技術(shù)：該技術(shù)是一項通過對傳感器功能帶來的觀測數(shù)據(jù)進行分析進而確定傳感器載體的地理空間位置。在智能交通領(lǐng)域當中一般的傳感器指的均是GPS接收器，這是因為GPS接收器能夠提供經(jīng)緯度坐標等

38、地理信息，并且其已經(jīng)在諸多領(lǐng)域得到應(yīng)用。大部分車載GPS接收器，其實際使用意義在于確定車輛正確的行駛道路，因此其對于車載實時導航系統(tǒng)具有至關(guān)重要的作用。在現(xiàn)在和未來應(yīng)用當中車載GPS設(shè)備還會對交通流速度等交通狀況進行數(shù)據(jù)傳輸，因此地圖匹配技術(shù)在位置信息數(shù)據(jù)當中具有十分的關(guān)鍵的作用。5.7數(shù)據(jù)安全策略對于現(xiàn)代智能交通大數(shù)據(jù)系統(tǒng)平臺數(shù)據(jù)的安全性應(yīng)占據(jù)構(gòu)建該平臺的首要重要性位置，其包括數(shù)據(jù)的安全存儲、安全遞交、安全訪問以及安全共享等方面的構(gòu)建。對于數(shù)據(jù)的安全備份策略，其系統(tǒng)可靠性需要來自于對HDFS文件系統(tǒng)進行冗余存儲設(shè)計。HDFS系統(tǒng)的復制因子參數(shù)決定了資源利用率和數(shù)據(jù)可靠性之間的權(quán)衡關(guān)系。因此對

39、于系統(tǒng)數(shù)據(jù)的備份設(shè)計需要將某數(shù)據(jù)節(jié)點中的本地數(shù)據(jù)在不同和相同機架的遠程遠端節(jié)點各備份l份，對此這樣的設(shè)計既保障了數(shù)據(jù)可靠性，同時也能夠按照就近備份原則提高了數(shù)據(jù)的可用性。對于數(shù)據(jù)的訪問安全策略應(yīng)當權(quán)衡精準服務(wù)和位置隱私之間的矛盾。利用Hadoop權(quán)限設(shè)計在HDFS相應(yīng)文件夾當中設(shè)置相應(yīng)的用戶權(quán)限，并對HDFS和HBase的訪問時進行監(jiān)控，從而能夠?qū)崟r生成追蹤日志記錄每次數(shù)據(jù)訪問，此外進行數(shù)據(jù)匿名策略并適時替換敏感字段。使得現(xiàn)代智能交通大數(shù)據(jù)系統(tǒng)能夠具備大規(guī)模、實時、可擴展的優(yōu)勢，并能夠安全支持海量數(shù)據(jù)的存儲為交通的安全管理做好有效的保障性支撐。5.8未來發(fā)展建議通過開放交通數(shù)據(jù)，有助于形成良好的公私伙伴關(guān)系，促使交通主管部門利用私營機構(gòu)的專業(yè)信息技術(shù)知識，通過第三方應(yīng)用程序開發(fā)者以及專業(yè)開發(fā)人員來完善交通信息服務(wù)，根據(jù)具體人群需求來定制個性交通服務(wù)。6政府應(yīng)制定一部完整的數(shù)據(jù)隱私