智能交通系統(tǒng)交通流數(shù)據(jù)質(zhì)量檢測

1、摘要IABSTRACTII1 緒 論11.1 本課題研究背景11.2 本課題研究意義11.3 國內(nèi)外研究現(xiàn)狀21.4 本課題研究內(nèi)容32 交通流特性的相關(guān)研究5交通流的概念5交通流的基本參數(shù)52.2.1 交通流量52.2.2 平均速度62.2.3 密集度62.3 交通流特性72.3.1 速度密度（u-k）模型82.3.2 速度流量（u-q）模型102.3.3 流量密度 (q-k) 模型11數(shù)據(jù)模型概述13數(shù)據(jù)流研究背景13不確定數(shù)據(jù)研究背景143 交通流數(shù)據(jù)質(zhì)量檢測算法研究163.1 交通流數(shù)據(jù)質(zhì)量檢測理論163.1.1 交通流數(shù)據(jù)常見問題163.1.2 交通數(shù)據(jù)故障識別方法17數(shù)據(jù)問題的處理

2、方法183.2 故障數(shù)據(jù)檢測算法223.2.1 故障數(shù)據(jù)檢測步驟243.2.2 故障數(shù)據(jù)檢測263.3 特長高速公路隧道交通流故障數(shù)據(jù)檢測273.4 本章小結(jié)304 全文總結(jié)與展望31致謝32參考文獻(xiàn)33摘 要隨著特長高速公路隧道交通安全研究的深入，特長高速公路隧道實(shí)時(shí)交通流數(shù)據(jù)質(zhì)量逐漸受到重視和關(guān)注，對特長高速公路隧道交通流數(shù)據(jù)進(jìn)行故障數(shù)據(jù)檢測是提高數(shù)據(jù)質(zhì)量的關(guān)鍵。在智能交通系統(tǒng)（ITS, intelligent transportation system）的大背景下，如何利用豐富的交通檢測數(shù)據(jù)，對現(xiàn)在的交通流狀態(tài)，特別是在城市中處于重要地位的快速路的交通狀態(tài)進(jìn)行檢測，對于提高交通運(yùn)輸效率，

3、特別是物流企業(yè)的效率具有重要的理論意義和實(shí)用價(jià)值。智能交通系統(tǒng)（ITS, intelligent transportation system）運(yùn)行的基礎(chǔ)是ITS數(shù)據(jù)。當(dāng)路上采集到的ITS數(shù)據(jù)源源不斷地傳輸?shù)浇煌ㄖ笓]中心后，中心會對數(shù)據(jù)進(jìn)行相應(yīng)的處理和應(yīng)用，如集成、抽樣、壓縮、存儲、發(fā)布等。由于傳輸設(shè)備故障、路面交通狀況和環(huán)境因素的異常以及ITS設(shè)備的連續(xù)性工作特點(diǎn)所引發(fā)的間歇性工作故障，都會使所采集的數(shù)據(jù)出現(xiàn)錯誤、丟失及不精確的情況，若直接采用包含有質(zhì)量問題的數(shù)據(jù)提供給道路交通應(yīng)用，必將給應(yīng)用帶來不穩(wěn)定和不安全隱患的后果。因此，有必要對ITS數(shù)據(jù)進(jìn)行質(zhì)量檢測，降低問題數(shù)據(jù)對整體數(shù)據(jù)精確度的影響

4、，保證對ITS數(shù)據(jù)的成功處理和安全應(yīng)用。就ITS數(shù)據(jù)而言，質(zhì)量檢測意味著用一定的方法產(chǎn)生高質(zhì)量的數(shù)據(jù)信息來滿足數(shù)據(jù)用戶的需求，ITS數(shù)據(jù)質(zhì)量檢測技術(shù)旨在對錯誤、丟失和不精確等問題數(shù)據(jù)進(jìn)行判別并且給予修正，最終得到更為準(zhǔn)確的數(shù)據(jù)。本文在綜合學(xué)習(xí)相關(guān)學(xué)者關(guān)于交通流故障數(shù)據(jù)研究成果基礎(chǔ)上，針對特長高速公路隧道交通特點(diǎn)，綜合考慮特長高速公路隧道交通流特性，對特長高速公路隧道歷史交通流數(shù)據(jù)質(zhì)量進(jìn)行檢測。關(guān)鍵字：智能交通系統(tǒng)、數(shù)據(jù)錯誤、交通流數(shù)據(jù)質(zhì)量、故障數(shù)據(jù)檢測AbstractWith the deepening of specialty highway tunnel traffic safety re

5、search, real-time traffic flow data quality expertise highway tunnel gradually more attention and concern, the specialty highway tunnel traffic flow data for fault data detection is the key to improving data quality. Context of intelligent transportation system (the ITS, intelligent transportation s

6、ystem), how to use the wealth of data on traffic detection, traffic flow state, especially in an important position in the highway traffic in the city state for testing, for improving the transportation efficiency, especially the efficiency of logistics enterprises has important theoretical signific

7、ance and practical value.Intelligent transportation system (the ITS, intelligent transportation system) running on the basis of ITS data. Way acquisition to the ITS data are continuously transmitted to the traffic control center, the center will data processing and applications such as integrated sa

8、mpling, compression, storage, release. Intermittent failures caused due to the continuity of the work characteristics of the transmission equipment failure, road traffic conditions and environmental factors, abnormal and ITS equipment will make the data collected by an error, missing and inaccurate,

9、 if used directly contains the quality of the data available to road traffic applications, bound to the application of the consequences of the hidden dangers of instability and insecurity. Therefore, it is necessary for the ITS data quality testing to reduce the impact of the problem data on the ove

10、rall data accuracy, and to ensure the success of the ITS data processing and security applications. ITS data quality testing means that a certain way to produce high-quality data to meet the needs of data users, the ITS data quality detection technology is designed to distinguish and give the correc

11、t error, missing and inaccurate data, and ultimately get more accurate data.Integrated learning and scholars on the basis of the results of the fault data traffic flow on specialty highway tunnel traffic characteristics, considering the expertise highway tunnel traffic flow characteristics, the hist

12、orical traffic flow data quality expertise highway tunnel detection.Keywords:Intelligent transportation systems, data errors, the quality of traffic flow data, fault data detection1 緒 論1.1 本課題研究背景解決交通問題的傳統(tǒng)方法是修建道路，但無論是哪個國家，對于越來越復(fù)雜的交通大系統(tǒng)，單獨(dú)從車輛或道路方面考慮，都很難完美地解決交通問題。另一方面，信息技術(shù)的飛速進(jìn)步為綜合解決交通問題帶來了機(jī)遇。在此背景下，把車輛

13、、道路及環(huán)境綜合起來，系統(tǒng)地解決交通問題的思想便產(chǎn)生了，這就是智能交通系統(tǒng)（ITS）。智能交通系統(tǒng)中采集的交通流數(shù)據(jù)中承載著眾多交通信息，通過對交通流數(shù)據(jù)進(jìn)行分析，發(fā)掘數(shù)據(jù)中存在的有用信息。面對智能交通系統(tǒng)海量的交通流數(shù)據(jù)，在數(shù)據(jù)采集或數(shù)據(jù)傳輸中由于技術(shù)原因或設(shè)備原因造成數(shù)據(jù)故障，使得數(shù)據(jù)質(zhì)量下降、可信度降低，因此需要對智能交通系統(tǒng)交通流數(shù)據(jù)質(zhì)量展開研究，通過數(shù)據(jù)檢測和修正，提高智能交通系統(tǒng)交通流數(shù)據(jù)質(zhì)量。隨著特長高速公路隧道交通安全研究的深入，特長高速公路隧道實(shí)時(shí)交通流數(shù)據(jù)質(zhì)量逐漸受到重視和關(guān)注，對特長高速公路隧道交通流數(shù)據(jù)進(jìn)行故障數(shù)據(jù)檢測是提高數(shù)據(jù)質(zhì)量的關(guān)鍵。并且隨著數(shù)據(jù)采集技術(shù)的提高，目

14、前交通流數(shù)據(jù)采集設(shè)備采樣周期越來越短，并且智能交通安全管理系統(tǒng)對交通流數(shù)據(jù)更新時(shí)間也越來越精確。在實(shí)際交通管理過程中，采集到的原始交通流數(shù)據(jù)利用率欠佳，美國得克薩斯州的每5分鐘時(shí)間間隔交通流采樣數(shù)據(jù)樣本中將近約20%的實(shí)時(shí)交通數(shù)據(jù)不能得到有效歸檔利用。實(shí)時(shí)的交通流數(shù)據(jù)信息為交通安全管理與控制提供正確的交通信息，并為下一個采樣周期內(nèi)交通安全控制策略提供可靠依據(jù)，正確的高效的智能交通安全控制策略又為實(shí)時(shí)交通提供準(zhǔn)確及時(shí)的誘導(dǎo)方案。1.2本課題研究意義智能交通系統(tǒng)在歐洲也稱道路交通信息通訊系統(tǒng),是基于系統(tǒng)工程、電子、通信、信息等多種高新技術(shù),并已滲透到航空、水運(yùn)、鐵路交通領(lǐng)域的新型交通系統(tǒng). ITS

15、的建立可以提高路網(wǎng)通行能力和服務(wù)水平,改善環(huán)保質(zhì)量,提高能源利用率.“國家中長期科學(xué)與技術(shù)發(fā)展規(guī)劃綱要(2006-2020)”中明確提出“發(fā)展一個系統(tǒng)，解決三個熱點(diǎn)問題”。其中，一個系統(tǒng)就是綜合運(yùn)輸系統(tǒng)，三個熱點(diǎn)問題就是交通能源和環(huán)境、交通安全和大城市交通擁堵問題。隨著智能交通系統(tǒng)交通流數(shù)據(jù)應(yīng)用研究的深入，采集的交通流數(shù)據(jù)的質(zhì)量逐漸受到重視和關(guān)注，對智能交通系統(tǒng)交通流數(shù)據(jù)進(jìn)行質(zhì)量檢測是提高交通流數(shù)據(jù)質(zhì)量和數(shù)據(jù)可信度的關(guān)鍵，因此針對智能交通系統(tǒng)交通流數(shù)據(jù)質(zhì)量檢測算法展開相應(yīng)研究有利于提高智能交通系統(tǒng)的服務(wù)效率和服務(wù)水平。智能交通系統(tǒng)(ITS)是交通發(fā)展的必然趨勢，利用交通檢測器獲取海量信息，經(jīng)過

16、有效處理進(jìn)行信息發(fā)布。但在智能交通系統(tǒng)(ITS)交通流數(shù)據(jù)采集或數(shù)據(jù)傳輸中，由于技術(shù)原因或設(shè)備原因造成的丟失數(shù)據(jù)、故障數(shù)據(jù)或時(shí)間點(diǎn)不規(guī)則等數(shù)據(jù)質(zhì)量問題，若直接采用具有質(zhì)量問題的交通流數(shù)據(jù)進(jìn)行交通研究，將會為應(yīng)用帶來不穩(wěn)定或不安全的隱患。通過研究智能交通系統(tǒng)交通流數(shù)據(jù)質(zhì)量檢測算法，促使交通流數(shù)據(jù)質(zhì)量得到有效控制，可以為智能公共信息平臺所提供的交通數(shù)據(jù)查詢子系統(tǒng)提供高質(zhì)量的數(shù)據(jù)支持服務(wù)，可以提高智能交通系統(tǒng)交通信息服務(wù)平臺發(fā)布數(shù)據(jù)的精度，可以為用戶提供高質(zhì)量的實(shí)時(shí)交通流數(shù)據(jù)從而提供快速高效的交通決策等。因此關(guān)于智能交通系統(tǒng)交通流數(shù)據(jù)質(zhì)量檢測算法研究預(yù)期成果的應(yīng)用前景良好，交通流數(shù)據(jù)質(zhì)量控制可以給智

17、能交通系統(tǒng)提供有力的數(shù)據(jù)質(zhì)量保障和較高的數(shù)據(jù)運(yùn)行效率，預(yù)期成果所帶來的效益表現(xiàn)為提高道路通行能力和道路服務(wù)水平，有利于緩解城市交通擁堵和促進(jìn)道路交通安全。 國內(nèi)外研究現(xiàn)狀對動態(tài)交通系統(tǒng)所采集到的數(shù)據(jù)進(jìn)行研究之前，首先要對數(shù)據(jù)進(jìn)行記錄檢查，找出負(fù)值或缺損數(shù)據(jù)，然后除去這些記錄。宏觀交通數(shù)據(jù)的篩選主要分為兩類：閾值檢查和基于交通流理論的檢查，以保證數(shù)據(jù)的有效性完備性等質(zhì)量指標(biāo)。目前應(yīng)用最普遍的檢查就是通過閾值確定數(shù)據(jù)的有效性，另外，通過應(yīng)用交通流理論中交通流參數(shù)之間的關(guān)系，可以進(jìn)行進(jìn)一步更復(fù)雜、更深入的數(shù)據(jù)篩選。國外自從Hawkins D給異常數(shù)據(jù)本質(zhì)定義之后，數(shù)據(jù)檢測算法研究慢慢受到關(guān)注，先后由

18、Rousseeuw和Ruts提出了基于深度算法、Clifford和Berndt提出了基于統(tǒng)計(jì)算法、Ng和Knorr進(jìn)行了基于距離算法研究、Kriegel 和Breuning基于密度算法研究還有Aggarwal和Yu提出對于高維數(shù)據(jù)進(jìn)行降低維數(shù)異常檢測思路等。Clifford J和Berndt J.D將統(tǒng)計(jì)學(xué)運(yùn)用到數(shù)據(jù)異常數(shù)據(jù)檢測；Ruts和Rousseeuw將空間映射運(yùn)用到層次劃分從而提出了基于深度的數(shù)據(jù)檢測算法；Breuning和 Kriegel將數(shù)據(jù)聚類算法與數(shù)據(jù)檢測算法相結(jié)合，對基于距離檢測算法進(jìn)行改進(jìn)，賦予了每個數(shù)據(jù)相應(yīng)局部異常因子來反映數(shù)據(jù)異常程度，提出了基于密度檢測算法；Knorr

19、和Ng應(yīng)用聚類劃分提出了基于距離的數(shù)據(jù)檢測算法，采用設(shè)定閾值對數(shù)據(jù)進(jìn)行檢測，通過各個數(shù)據(jù)點(diǎn)對應(yīng)相應(yīng)聚類中心距離來實(shí)現(xiàn)數(shù)據(jù)檢測功能；Aggarwal 和 Yu提出了針對高維數(shù)據(jù)進(jìn)行降低維數(shù)處理，通過降低維數(shù)來實(shí)現(xiàn)數(shù)據(jù)檢測算法。將高維數(shù)據(jù)映射到低維子空間，并根據(jù)子空間的映射數(shù)據(jù)稀疏程序來判斷是否存在異常數(shù)據(jù)。我國在ITS領(lǐng)域的研究起步較晚，但隨著全球范圍智能交通系統(tǒng)研究的興起，進(jìn)入20世紀(jì)90年代，我國明顯加快了對智能交通技術(shù)研究的步伐。70年代中期至80年代初，理論研究重點(diǎn)圍繞交通流理論、交通工程學(xué)、城市路口自動控制數(shù)學(xué)模型等工作展開，技術(shù)開發(fā)包括點(diǎn)、線、面控計(jì)算機(jī)軟件、北京前三門交通控制試驗(yàn)系

20、統(tǒng)、天津線控、面控試驗(yàn)系統(tǒng)、信號機(jī)、檢測器的開發(fā)等。80年代中期至90年代初，公路系統(tǒng)的ITS理論研究主要有高速公路監(jiān)控系統(tǒng)數(shù)據(jù)模型、交通堵塞自動判斷模型、標(biāo)志和標(biāo)線視認(rèn)性研究，駕駛心理研究等；開發(fā)應(yīng)用包括天津疏港公路交通工程技術(shù)研究(通信、監(jiān)控、安全設(shè)施)，可變情報(bào)板、可變限速標(biāo)志、通信適配器、通信控制器、緊急電話的研制，廣佛高速公路監(jiān)控系統(tǒng)、交通和氣象數(shù)據(jù)采集設(shè)備的研制、電子收費(fèi)系統(tǒng)和不停車收費(fèi)的試驗(yàn)，以及交通工程CAD等。1.4 本課題研究內(nèi)容隨著智能交通系統(tǒng)交通流數(shù)據(jù)應(yīng)用研究的深入，交通流數(shù)據(jù)質(zhì)量逐漸受到重視和關(guān)注，對交通流數(shù)據(jù)進(jìn)行故障數(shù)據(jù)檢測是提高數(shù)據(jù)質(zhì)量的關(guān)鍵。尤其是交通流各指標(biāo)值

21、違背交通流指標(biāo)特性關(guān)系而造成的不合理的錯誤數(shù)據(jù)，得不到充分檢測。本課題在綜合學(xué)習(xí)相關(guān)學(xué)者關(guān)于交通流數(shù)據(jù)質(zhì)量檢測研究成果基礎(chǔ)上，針對智能交通系統(tǒng)交通流特性，綜合考慮交通流特性，對歷史交通流數(shù)據(jù)進(jìn)行聚類，并根據(jù)聚類結(jié)果進(jìn)行運(yùn)算，通過交通流量-速度-時(shí)間占有率曲線擬合，實(shí)現(xiàn)智能交通系統(tǒng)交通流數(shù)據(jù)檢測。對于實(shí)時(shí)交通流數(shù)據(jù)進(jìn)行質(zhì)量檢測，包括不規(guī)則時(shí)間點(diǎn)、丟失數(shù)據(jù)和故障數(shù)據(jù).針對不規(guī)則時(shí)間點(diǎn)檢測，采用原始交通流數(shù)據(jù)樣本中的時(shí)間值與正常情況下的采集時(shí)間點(diǎn)相對比，通過比較容許時(shí)間偏差范圍進(jìn)行不規(guī)則時(shí)間點(diǎn)檢測；針對丟失數(shù)據(jù)檢測，采用交通流數(shù)據(jù)指標(biāo)進(jìn)行判斷，通過比較交通流數(shù)據(jù)各指標(biāo)參數(shù)閾值范圍，進(jìn)行交通流丟失數(shù)據(jù)

22、檢測；故障數(shù)據(jù)檢測，指針對各項(xiàng)指標(biāo)均在閾值范圍內(nèi)，但不符合交通流數(shù)據(jù)特性的故障數(shù)據(jù)，綜合考慮交通流特性，對歷史交通流數(shù)據(jù)按照聚類結(jié)果進(jìn)行交通流量-速度-時(shí)間占有率曲線擬合；確定不規(guī)則時(shí)間點(diǎn)檢測算法和丟失數(shù)據(jù)檢測算法；提出故障數(shù)據(jù)檢測算法；提高智能交通系統(tǒng)實(shí)時(shí)交通流數(shù)據(jù)質(zhì)量。2交通流特性的相關(guān)研究交通流的概念交通流是指道路上的人、車、貨從甲地到乙地的流動形態(tài)，其分類如圖2一1所示。沒有特指的交通流一般指機(jī)動車流。2.2交通流的基本參數(shù)交通流運(yùn)行狀態(tài)的定性、定量特征稱為交通流特性，用以描述交通流特性的一些物理量稱為交通流參數(shù)，參數(shù)的變化反映了交通流的基本性質(zhì)。表征交通流特性的三個基本參數(shù)分別是:交

23、通流量、速度和密集度。交通流量交通流量是指在單位時(shí)間內(nèi)，通過道路某一點(diǎn)、某一斷面或某一條車道的交通實(shí)體數(shù)(對于機(jī)動車而言就是車輛數(shù))。流量可以通過調(diào)查車頭時(shí)距獲得。車頭時(shí)距H:指同一地點(diǎn)車輛經(jīng)過的時(shí)間間距。如圖2-2所示，交通量q可以表示為平均車頭時(shí)距萬的倒數(shù):q = (2-1)圖2-2 車輛行駛軌跡的時(shí)空圖 平均速度一般分為地點(diǎn)速度和平均速度。地點(diǎn)速度就是平常所說的瞬時(shí)速度，即速度儀表上某時(shí)刻的顯示速度。在交通分析中，一般采用的平均速度v，即觀測時(shí)間內(nèi)通過道路某斷面的所有車輛速度的算術(shù)平均值:v=(2-2)2.2.3密集度密集度，包括占有率和密度兩種含義。密度是表示交通流擁擠狀態(tài)的恰當(dāng)指標(biāo)，

24、它是指一定長度的車道內(nèi)擁有的車輛數(shù)，因此觀測困難，在交通控制與管理中，多采用時(shí)間占有率作為參數(shù)。 交通流特性通過特長高速公路隧道各段的數(shù)據(jù)采集設(shè)備獲得通過該檢測點(diǎn)某個采集時(shí)間間隔內(nèi)的交通流量、交通速度、交通密度、車頭時(shí)距、以及時(shí)間占有率等特征指標(biāo)，在進(jìn)行交通流特性分析時(shí)，采用交通流量、交通速度以及交通密度三項(xiàng)指標(biāo)進(jìn)行分析。由于交通系統(tǒng)中的主要元素車輛和人到達(dá)的隨機(jī)性，這些變量組成的交通流必然也是隨機(jī)的，也就是說交通量、速度、占有率三大參數(shù)也是隨機(jī)變量。當(dāng)?shù)缆吠〞?，交通流平穩(wěn)均勻時(shí)，由交通流量-交通密度-交通速度三項(xiàng)指標(biāo)得到交通流基本模型，如式(2-3)所示。 (2-3)取某特長高速公路隧道交通

25、流實(shí)測數(shù)據(jù)樣本，共816組，密度采用實(shí)測時(shí)間占有率代替，速度-時(shí)間占有率-交通流量實(shí)際交通流數(shù)據(jù)分布如圖2-3所示。圖2-3 實(shí)測交通流v-o-q分布速度-密度（u-k）模型在u-k模型中，每個密度值都對應(yīng)唯一的速度值，多用于理論研究。qk模型和q-u模型則不是。由于流量與密度、速度之間存在密切的相互影響關(guān)系，一旦知道了密度和速度，就可以計(jì)算出流量。1934 年，Greenshields 從航拍照片中獲得了速度和密度的數(shù)據(jù)，據(jù)此提出了第一個線性模型；而后，Greenberg認(rèn)為非線性模型更適合描述交通流的關(guān)系，于1959年提出了對數(shù)模型，Underwood關(guān)注暢通狀態(tài)的交通流，提出了指數(shù)模型，

26、分別描述了大密度和小密度狀態(tài)下的速度密度關(guān)系；后來，有關(guān)研究者提出了u-k關(guān)系的 S 型曲線模型，用一組單段式曲線族來描述u-k關(guān)系，Drew 在 Greenshields 模型的基礎(chǔ)上引入了另外一個參數(shù)，得到了一個通用模型；Pipes-Munjal 提出了與 Drew 類似但是更加一般化的通用模型；Edie和 Dick 則考慮在不同流量下各模型的適用性的基礎(chǔ)上，提出多段式組合模型。具體模型見圖 2-4 所示。 圖 2-4 速度密度關(guān)系圖由于密度數(shù)據(jù)很難直接采集，而本文主要數(shù)據(jù)來源于快速路路面鋪設(shè)環(huán)形線圈，可以直接得到占有率的數(shù)據(jù)。占有率直接反映了交通密度的高低，更能表明道路被實(shí)際占用的情況，

27、因此多通過占有率來反映密度特征，同時(shí)本文研究u-o模型來替代u-k模型。根據(jù)對 NX03 檢測斷面的檢測數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，并盡量用一個函數(shù)來描述其關(guān)系。u-o散點(diǎn)關(guān)系圖和擬合曲線見圖 2-5。圖 2-5 速度占有率散點(diǎn)關(guān)系圖及擬合曲線曲線擬合的具體結(jié)果見表2-1。從圖2-5和表2-1中的具體擬合判決系數(shù)2R 來看，曲線的擬合程度還是比較高的，而且2R 除了對數(shù)擬合模型之外，都達(dá)到了0.95 左右，而對數(shù)模型也達(dá)到了 0.85 以上。表21 速度占有率關(guān)系的模型回歸 速度流量（u-q）模型速度和流量數(shù)據(jù)容易直接采集，因此國內(nèi)外對速度流量關(guān)系的研究也比較多。速度流量模型通常用于評價(jià)交通運(yùn)行狀況、估

28、算服務(wù)水平。最早且經(jīng)典的速度流量模型是 Greenshields 的拋物線模型，其表達(dá)式為：。它是在u-k線性模型的基礎(chǔ)上得到的，基本反映了速度和流量的變化趨勢，多年來一直被廣泛采用。然而 H.B.James、和 H.C.Chin的研究結(jié)果表明：根據(jù)實(shí)際數(shù)據(jù)來研究u-q關(guān)系，u-q曲線應(yīng)該分為三段：第一段表示暢通狀況，第二段表示排隊(duì)后消散過程，第三段表示擁堵（伴隨有排隊(duì)）狀況；交通流在暢通狀態(tài)和擁擠狀態(tài)之間過渡時(shí)并不一定要經(jīng)過通行能力，交通狀態(tài)可以從暢通直接跳到擁擠的狀態(tài)。給出的u-q關(guān)系如圖 2-6 所示，這種曲線并不是某一種函數(shù)式，而是從大量的實(shí)測數(shù)據(jù)中分析出的結(jié)果。圖 2-6 速度流量曲

29、線模,如圖 2-7所示：圖 2-7 速度流量散點(diǎn)圖及其二次多項(xiàng)式回歸從圖 2-7 中，可以看到速度流量關(guān)系的曲線擬合程度還是相當(dāng)高的，判決系數(shù)2R 達(dá)到了 0.8854。從散點(diǎn)圖來看，可以對交通流狀態(tài)進(jìn)行一個初步判斷：速度流量數(shù)據(jù)大多主要集中在等待部分，即阻塞狀態(tài)；在自由流狀態(tài)的數(shù)據(jù)相對較少，主要集中在小密度狀態(tài)下；而阻塞與自由流之間的過渡過程，即等待隊(duì)列消散的過程的數(shù)據(jù)最少。 流量密度(q-k)模型早期的通行能力研究，主要遵循兩個途徑：一是探討交通密度小時(shí)的速度流量關(guān)系式；二是探討交通密度大時(shí)的車頭時(shí)距規(guī)律。而流量密度模型把這兩種途徑同一起來。并且流量密度模型在交通控制中也有重要的作用，常把

30、密度作為控制參數(shù)，流量作為目標(biāo)函數(shù)對快速路進(jìn)行控制，所以經(jīng)常把q-k曲線稱為“交通基本圖表”。Greenshields、Greenburg、Underwood 根據(jù)基本的u-k模型推導(dǎo)了各自的q-k模型；此外，Koshi 提出了反 模型，Hall 提出了倒V 模型。此外，與多段式 u-k模型對應(yīng)，一些學(xué)者還提出了不連續(xù)的 q-k曲線模型如圖 2-8所示：圖 2-8 流量密度關(guān)系模由于密度數(shù)據(jù)難以獲得，Aothl（1965）建議使用q-o關(guān)系確定擁擠的發(fā)生。根據(jù)實(shí)地采集的數(shù)據(jù)所作的q-o散點(diǎn)圖以及擬合曲線如圖 2-9，可以看到，流量占有率的二次多項(xiàng)式擬合曲線的判決系數(shù)2R 高達(dá) 0.9864，擬

31、合程度相當(dāng)高。圖 2-9 流量占有率散點(diǎn)圖及二次多項(xiàng)式回歸擬2.4數(shù)據(jù)模型概述近些年來，隨著科學(xué)技術(shù)的不斷進(jìn)步，人們收集處理數(shù)據(jù)的方式發(fā)生了巨大的變化。一方面，在很多應(yīng)用中出現(xiàn)了數(shù)據(jù)流，其廣泛存在于網(wǎng)絡(luò)監(jiān)控、日志分析、傳感器網(wǎng)絡(luò)、金融預(yù)測等領(lǐng)域中，數(shù)據(jù)流數(shù)據(jù)規(guī)模龐大、到達(dá)速率極快、且每個數(shù)據(jù)只能夠被訪問一次，這些與傳統(tǒng)數(shù)據(jù)模型截然不同的特征給數(shù)據(jù)的查詢和管理工作提出了新的要求;另一方面，隨著數(shù)據(jù)采集技術(shù)的進(jìn)步，人們對數(shù)據(jù)不確定性的認(rèn)識也逐步深入，在諸如經(jīng)濟(jì)、軍事、物流、金融、電信等領(lǐng)域的具體應(yīng)用中，數(shù)據(jù)的不確定性普遍存在，不確定性數(shù)據(jù)的表現(xiàn)形式多種多樣，它們以關(guān)系型數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、流數(shù)據(jù)或

32、移動對象數(shù)據(jù)等形式出現(xiàn)，這同樣給數(shù)據(jù)的進(jìn)一步處理工作帶來了新的挑戰(zhàn)。2.4.1數(shù)據(jù)流研究背景有關(guān)數(shù)據(jù)流(dataStream)的聚類分析與異常檢測是目前國際數(shù)據(jù)庫領(lǐng)域的一個研究熱點(diǎn)。自上個世紀(jì)末以來，隨著計(jì)算機(jī)技術(shù)在諸如網(wǎng)絡(luò)流量監(jiān)控、金融信息處理、Web訪問和傳感器網(wǎng)絡(luò)等領(lǐng)域應(yīng)用的普及和深入，傳統(tǒng)數(shù)據(jù)庫技術(shù)面臨新的挑戰(zhàn)。數(shù)據(jù)流應(yīng)用場景中所處理的數(shù)據(jù)通常具有如下特點(diǎn):1.數(shù)據(jù)都是實(shí)時(shí)到達(dá)的。2.數(shù)據(jù)到達(dá)的次序往往是獨(dú)立的，不受系統(tǒng)所控制。3.數(shù)據(jù)流的速度和規(guī)模大小不是預(yù)知的，也就是說往往不能夠?qū)ζ渌俣群鸵?guī)模進(jìn)行預(yù)定義。4.數(shù)據(jù)一經(jīng)處理，除非特意保存，否則不能夠被再次取出處理，或者再次提取數(shù)據(jù)代價(jià)

33、昂貴。盡管主要的數(shù)據(jù)流處理模型與傳統(tǒng)數(shù)據(jù)庫技術(shù)息息相關(guān)，但是兩者仍然存在諸多差異。例如，如果利用傳統(tǒng)技術(shù)進(jìn)行數(shù)據(jù)處理，必須將數(shù)據(jù)全部存儲到介質(zhì)(如關(guān)系數(shù)據(jù)庫)中，然后通過相應(yīng)的算法來尋求挖掘結(jié)果。但是，當(dāng)數(shù)據(jù)規(guī)模宏大且到達(dá)速度很快時(shí)，因執(zhí)行查詢操作需要大量的I/O交換，效率低下，往往難以滿足實(shí)時(shí)性要求。此時(shí)，數(shù)據(jù)流處理技術(shù)的解決策略是:不保存整個數(shù)據(jù)集，僅維護(hù)一個遠(yuǎn)小于其規(guī)模的概要數(shù)據(jù)結(jié)構(gòu)，該概要數(shù)據(jù)結(jié)構(gòu)能夠常駐內(nèi)存。此時(shí)數(shù)據(jù)流挖掘算法將包含兩部分:一部分監(jiān)控流中的數(shù)據(jù)，實(shí)時(shí)更新概要數(shù)據(jù)結(jié)構(gòu);另一部分響應(yīng)用戶查詢或挖掘處理請求，返回近似查詢結(jié)果。一般來說，想直接應(yīng)用傳統(tǒng)的OLAP或數(shù)據(jù)挖掘算法

34、到高速，大流量的數(shù)據(jù)流場景中往往是行不通的，其主要原因表現(xiàn)在如下幾個方面:1.數(shù)據(jù)流中的數(shù)據(jù)是海量的，無法通過內(nèi)存，甚至硬盤來存儲整個流數(shù)據(jù)。2.由于數(shù)據(jù)量巨大，無法全部存儲的特點(diǎn)使傳統(tǒng)的多遍掃描數(shù)據(jù)的挖掘方法變得不可行，因此對數(shù)據(jù)流的挖掘算法應(yīng)該是一個單遍掃描過程(one-passsean)。3.數(shù)據(jù)流是時(shí)序的，對流中的數(shù)據(jù)元素只能按其流入順序依次讀取，如關(guān)系數(shù)據(jù)庫那種的隨機(jī)訪問是不現(xiàn)實(shí)的。4.數(shù)據(jù)流應(yīng)用要求較快的響應(yīng)時(shí)間，挖掘過程應(yīng)該是一個連續(xù)的過程，而不是偶然進(jìn)行一次。5.數(shù)據(jù)流往往天生就是高維的(High-Dimensional)，有時(shí)會帶來嚴(yán)重的“維度災(zāi)難”。2.4.2不確定數(shù)據(jù)研究

35、背景在數(shù)據(jù)流技術(shù)研究方興未艾之時(shí)，一種更加廣泛存在于數(shù)據(jù)本身中的問題一不確定性(uncertainty)，近些年來也逐步引起學(xué)術(shù)界的關(guān)注。在此之前，確定性數(shù)據(jù) (deterministic data)管理與挖掘技術(shù)得到了充分的發(fā)展，在確定性數(shù)據(jù)應(yīng)用中，數(shù)據(jù)的存在性和精確性均確鑿無疑。然而，近幾年來，不確定性數(shù)據(jù)(uncertain data)在越來越多的應(yīng)用中扮演關(guān)鍵角色，例如經(jīng)濟(jì)、軍事、物流、金融、電信等，而傳統(tǒng)數(shù)據(jù)管理技術(shù)無法有效處理這類新問題，墮需開發(fā)新型數(shù)據(jù)管理技術(shù)。不確定性數(shù)據(jù)的產(chǎn)生原因復(fù)雜，例如原始數(shù)據(jù)不準(zhǔn)確、使用粗粒度數(shù)據(jù)集合、滿足特殊應(yīng)用目的、處理缺失值、數(shù)據(jù)集成等。1. 原始

36、數(shù)據(jù)不準(zhǔn)確。這是產(chǎn)生不確定性數(shù)據(jù)最直接的原因。首先，物理儀器所采集數(shù)據(jù)的準(zhǔn)確度受儀器的精度制約。其次，在網(wǎng)絡(luò)傳輸過程(特別是無線網(wǎng)絡(luò)傳輸)中，數(shù)據(jù)的準(zhǔn)確性受到帶寬、傳輸延時(shí)、能量等因素影響。最后，在傳感器網(wǎng)絡(luò)應(yīng)用睜s與RFID應(yīng)用中，周圍環(huán)境也將影響原始數(shù)據(jù)的準(zhǔn)確度。2. 使用粗粒度數(shù)據(jù)集合。從粗粒度數(shù)據(jù)集合轉(zhuǎn)換到細(xì)粒度數(shù)據(jù)集合的過程會引入不確定性。例如，假設(shè)某人口分布數(shù)據(jù)庫記錄了全國各鄉(xiāng)的總?cè)丝跀?shù)，而某應(yīng)用要求查詢以村為基礎(chǔ)單位的人口數(shù)量，查詢結(jié)果就存在不確定性。3. 滿足特殊應(yīng)用目的。出于隱私保護(hù)等特殊目的，某些應(yīng)用無法獲取原始的精確數(shù)據(jù)，而僅能夠得到變換之后的不精確數(shù)據(jù)。4. 處理缺失值

37、。缺失值的產(chǎn)生原因很多，例如裝備故障、無法獲取、與其他字段不一致、歷史原因等。一種典型的處理方法是插值，插值之后的數(shù)據(jù)可看作服從特定概率分布。另外，也可以刪除所有含缺失值的記錄，但是這個操作也從側(cè)面變動了原始數(shù)據(jù)的分布特性。與以上的單一不確定性產(chǎn)生原因相比，某些應(yīng)用中的不確定性數(shù)據(jù)往往是多種因素共同作用產(chǎn)生的。例如，基于位置的服務(wù)(Location一 BasedService，LBS)是移動計(jì)算領(lǐng)域的核心問題，在軍事、通信、交通、服務(wù)業(yè)等中有著廣泛的應(yīng)用。LBS應(yīng)用獲取各移動對象的位置，為用戶提供定制服務(wù)，該過程存在若干不確定性。首先，受技術(shù)手段(例如GPS技術(shù))限制，移動對象的位置信息存在一

38、定誤差。其次，某些查詢要求保護(hù)用戶的隱私信息，必須采用“位置隱私”等方式處理查詢。實(shí)際上，針對不確定數(shù)據(jù)的研究工作已經(jīng)有幾十年歷史了。從二十世紀(jì)八十年代末開始，針對概率數(shù)據(jù)庫(Probabilisti。database)的研究工作就從未間斷，這類研究工作將不確定性引入到關(guān)系數(shù)據(jù)模型中去，取得較大成果。近年來，針對不確定性數(shù)據(jù)的研究工作則在更廣的范圍內(nèi)取得了更大的進(jìn)展，即在更豐富的數(shù)據(jù)類型上處理更多種類的查詢?nèi)蝿?wù)。3交通流數(shù)據(jù)質(zhì)量檢測算法研究3.1 交通流數(shù)據(jù)質(zhì)量檢測理論 交通流數(shù)據(jù)常見問題交通流數(shù)據(jù)常見問題分為數(shù)據(jù)缺失、數(shù)據(jù)失真和數(shù)據(jù)時(shí)間點(diǎn)3類問題，針對這些問題,提出了一種交通流數(shù)據(jù)質(zhì)量檢驗(yàn)方

39、法。(1)數(shù)據(jù)缺失由于設(shè)備老化、線路故障等原因，交通流數(shù)據(jù)中偶爾會發(fā)生數(shù)據(jù)點(diǎn)缺失的現(xiàn)象，屬于比較常見的問題。通常是丟失一個時(shí)間點(diǎn)的一組數(shù)據(jù)。雖然丟失的數(shù)據(jù)不多，但如果沒有及時(shí)發(fā)現(xiàn)此問題，對于間隔固定行數(shù)循環(huán)提取數(shù)據(jù)的交通流分析方法，有著嚴(yán)重的影響。(2)數(shù)據(jù)無效數(shù)據(jù)無效指的是獲得的交通流數(shù)據(jù)有數(shù)據(jù)突變點(diǎn)或不符合交通流三要素相互關(guān)系，主要依據(jù)閾值理論和交通流理論判定數(shù)據(jù)的有效性，由于無效的概念比較模糊，相對不易判別。另一個比較常見的問題是，在車流量比較少的時(shí)候，常測得不符合實(shí)際情況的較高速度，顯然是錯誤數(shù)據(jù)，需要有針對性地予以處理。(3)數(shù)據(jù)時(shí)間點(diǎn)問題比如理論上一些交通流數(shù)據(jù)獲取頻率應(yīng)為120s

40、(秒)一次，但實(shí)際上間隔通常小于120s，如1 19s、1 18s等，而且因?yàn)榫W(wǎng)絡(luò)傳輸問題，沒有明顯的規(guī)律可循。經(jīng)過時(shí)間的積累，會帶來比較大的誤差。如6車道一周的數(shù)據(jù)理論上應(yīng)為6 (車道) 30 (次每小時(shí))*24(小時(shí)) 7 (天)=30240條，而實(shí)際獲得30462條，多了222條，即37組，74分鐘的數(shù)據(jù)。此外，還發(fā)現(xiàn)交通流數(shù)據(jù)記錄順序有時(shí)會改變，如本來各道路記錄順序?yàn)椋?、2、3、11、12、13，會突然改變?yōu)椋?、3、1、12、13、11。這對于不識別路段編號，直接間隔固定的行數(shù)、循環(huán)提取數(shù)據(jù)的方法也有很嚴(yán)重的影響。如果各個監(jiān)測點(diǎn)記錄順序的差異較大，沒有統(tǒng)一的順序，就造成了對于不同的

41、檢測點(diǎn)數(shù)據(jù)需使用不同的分析程序代碼，也會給科研人員帶來了不必要的工作量。 交通數(shù)據(jù)故障識別方法在城市道路交通數(shù)據(jù)采集過程中，由于存在各種干擾，使采集到的數(shù)據(jù)信息常出現(xiàn)丟失和偏離真值等情況。因此要進(jìn)行交通流數(shù)據(jù)的質(zhì)量檢測，首先需要對其中的丟失數(shù)據(jù)、不精確數(shù)據(jù)、和錯誤數(shù)據(jù)進(jìn)行判別。（1） 丟失數(shù)據(jù)故障識別無論是固定檢測器，還是移動檢測器都是按照一定的時(shí)間間隔來采集數(shù)據(jù)，但是在實(shí)際情況中，檢測器掃描頻率不固定，傳輸線路出現(xiàn)故障，車輛過度密集造成檢測器無法檢測車輛等多種原因都會使采集到的交通數(shù)據(jù)無法嚴(yán)格按照一定的時(shí)間間隔上傳，甚至?xí)胁糠謹(jǐn)?shù)據(jù)丟失，給以后的數(shù)據(jù)處理和交通預(yù)測工作帶來不利的影響。本文設(shè)計(jì)

42、了一種丟失數(shù)據(jù)的識別方法，把在一定時(shí)間段內(nèi)得到的數(shù)據(jù)定義成某一時(shí)段的數(shù)據(jù)，例如，將采集數(shù)據(jù)的時(shí)間間隔規(guī)定為5min，則在8:00到8:05這個時(shí)間段內(nèi)得到的數(shù)據(jù)均視為8:00的數(shù)據(jù)，然后對數(shù)據(jù)的時(shí)間段進(jìn)行掃描，如果在某一時(shí)間段內(nèi)沒有得到數(shù)據(jù)，則認(rèn)為該時(shí)段的數(shù)據(jù)產(chǎn)生了丟失，按照第一類數(shù)據(jù)故障的修復(fù)方法對其進(jìn)行處理。（2） 失真數(shù)據(jù)故障識別當(dāng)交通檢測器或傳輸線路出現(xiàn)故障時(shí)，采集到的數(shù)據(jù)通常都是錯誤的，不能反應(yīng)真實(shí)的交通狀況。錯誤的數(shù)據(jù)通常表現(xiàn)為0，或是數(shù)值超過路段允許的最大流量，將數(shù)值等于0和超過流量允許最大值的數(shù)據(jù)定義為第二類異常數(shù)據(jù)。定義允許的流量最大值為 Q = fCT/60 (3-1)式中

43、: f為修正系數(shù);C為道路通行能力(veh/h);T為檢測時(shí)間間隔(min)。由于車輛的計(jì)數(shù)是在一個相當(dāng)短的時(shí)間內(nèi)完成的(數(shù)十秒或數(shù)分鐘)，所以測得的隨機(jī)流量值可能會大于道路的通行能力，因此，用道路的通行能力 C與修正系數(shù)f的乘積來確定流量的最大值。（3）異常數(shù)據(jù)故障識別在正常交通狀態(tài)下，網(wǎng)絡(luò)交通流的變化是一個平穩(wěn)的隨機(jī)過程，流量數(shù)據(jù)的幅值應(yīng)該在某一區(qū)間內(nèi)變化，但是當(dāng)?shù)缆分谐霈F(xiàn)交通事件時(shí)，流量數(shù)據(jù)與正常情況下的數(shù)據(jù)之間會出現(xiàn)很大的偏差。本文采用t時(shí)段之前n個數(shù)據(jù)的平均值和方差來識別此類數(shù)據(jù)故障。當(dāng)時(shí)，認(rèn)為數(shù)據(jù)是正常的，否則認(rèn)為此時(shí)的交通數(shù)據(jù)為第三類故障數(shù)據(jù)。3.1.3數(shù)據(jù)問題的處理方法針對以上

44、問題，我們提出了一種交通流數(shù)據(jù)檢驗(yàn)與修復(fù)方法：為了方便的檢測數(shù)據(jù)點(diǎn)的缺失情況，先把數(shù)據(jù)的時(shí)間點(diǎn)標(biāo)準(zhǔn)化，使所有數(shù)據(jù)具有相同的記錄順序；然后修復(fù)丟失數(shù)據(jù)和無效數(shù)據(jù)。本檢驗(yàn)程序已使用Matlab 7實(shí)現(xiàn)，總體流程如圖3-l所示。圖3-1 交通流數(shù)據(jù)檢驗(yàn)與修復(fù)方法總體流程1) 數(shù)據(jù)時(shí)間點(diǎn)順序標(biāo)準(zhǔn)化。統(tǒng)一記錄順序標(biāo)準(zhǔn)為:由外環(huán)到內(nèi)環(huán),路編號由小到大。標(biāo)準(zhǔn)化后,不但有利于下一步準(zhǔn)確發(fā)現(xiàn)缺失的數(shù)據(jù),而且也為編寫后期分析程序提供了較大便利。算法的詳細(xì)流程如下:(1)相關(guān)變量初始化。(2)導(dǎo)入交通流數(shù)據(jù)。(3)初始化交通流數(shù)據(jù)車道數(shù)、編號等特征信息。(4)由特征信息確定一個標(biāo)準(zhǔn)車道編號排序,如1、2、3、11、

45、12、13。(5)從第1條數(shù)據(jù)開始,將每2 m in內(nèi)的數(shù)據(jù)分為1組。(6)將每組內(nèi)以道路編號為準(zhǔn)將數(shù)據(jù)順序標(biāo)準(zhǔn)化。(7)如組內(nèi)的數(shù)據(jù)值小于應(yīng)有車道數(shù),將相應(yīng)的數(shù)據(jù)缺失情況記錄到日志文件。(8)依次處理每組數(shù)據(jù),直至結(jié)束。(9)輸出標(biāo)準(zhǔn)化后的數(shù)據(jù)至文件?，F(xiàn)以北京市環(huán)路數(shù)據(jù)為例,詳細(xì)介紹本文所提算法的數(shù)據(jù)處理效果。表3-1所示為未經(jīng)處理的2006203204北京市環(huán)路交通流原數(shù)據(jù)的2組(每2min為1組)數(shù)據(jù),來自二環(huán)路上編號為02023的檢測點(diǎn),地點(diǎn)為左安門橋西800 m處。表3-1交通流原數(shù)據(jù)(檢測點(diǎn)02023)由表3-1可以看出,數(shù)據(jù)庫中的數(shù)據(jù)是按照記錄到來的時(shí)間先后排序的,并不是按照道路

46、編號的順序排序。以表3-1所示數(shù)據(jù)為例,所示數(shù)據(jù)道路順序?yàn)? 1、12、13、11、2、3,而且此順序還可能會因?yàn)榫€路傳輸?shù)葐栴}產(chǎn)生變化。這就給數(shù)據(jù)的使用帶來了很多不便,我們通過1. 2所述的方法將其標(biāo)準(zhǔn)化為1、2、3、11、12、13的順序。效果如表3-2所列。表3-2順序標(biāo)準(zhǔn)化后的交通流數(shù)據(jù)(檢測點(diǎn)02023)雖然修正了時(shí)間點(diǎn)順序,但因未檢測缺失的數(shù)據(jù),這會導(dǎo)致數(shù)據(jù)讀取時(shí)造成了“串行”的現(xiàn)象。需要在下一步進(jìn)行解決。2)缺失/無效數(shù)據(jù)的判別與補(bǔ)充。將數(shù)據(jù)時(shí)間點(diǎn)標(biāo)準(zhǔn)化后,再判別缺失或無效的數(shù)據(jù),并予以補(bǔ)充。通過線性插值法對錯誤數(shù)據(jù)和丟失數(shù)據(jù)進(jìn)行修正和補(bǔ)齊。若tj對應(yīng)的數(shù)據(jù)組是錯誤數(shù)據(jù),ti和t

47、k分別是與tj最為接近的左鄰和右鄰正確數(shù)據(jù)組對應(yīng)的時(shí)間點(diǎn)。則 (3-2)式中: xtj為tj所對應(yīng)的交通量、速度和占有率修正后的數(shù)據(jù)值。算法的詳細(xì)流程如下: 相關(guān)變量初始化; 導(dǎo)入標(biāo)準(zhǔn)化后的交通流數(shù)據(jù); 初始化交通流數(shù)據(jù)車道數(shù)、編號等特征信息; 依據(jù)標(biāo)準(zhǔn)數(shù)據(jù)判斷數(shù)據(jù)是否缺失; 如缺失則依據(jù)線性插值法補(bǔ)充數(shù)據(jù); 判斷數(shù)據(jù)的有效性并修正; 依次處理每組數(shù)據(jù),直至結(jié)束; 輸出標(biāo)準(zhǔn)化后的數(shù)據(jù)至文件。此交通流數(shù)據(jù)檢驗(yàn)與修復(fù)方法的整體流程如圖3-2所示。圖3-2 交通流數(shù)據(jù)檢驗(yàn)與修復(fù)方法整體流程經(jīng)過上一節(jié)的數(shù)據(jù)時(shí)間點(diǎn)標(biāo)準(zhǔn)化后,再對標(biāo)準(zhǔn)化后的數(shù)據(jù)進(jìn)行缺失 無效數(shù)據(jù)的判別與補(bǔ)充,如在表1、表3-2中第2組缺失

48、的11車道數(shù)據(jù)使用線性插值法得到了補(bǔ)充,如表3-3所列。表3-3修復(fù)缺失的交通流數(shù)據(jù)(檢測點(diǎn)02023)分別打開原始數(shù)據(jù)與完成修正的數(shù)據(jù),可以發(fā)現(xiàn)修正數(shù)據(jù)的時(shí)間點(diǎn)已被標(biāo)準(zhǔn)化,實(shí)現(xiàn)了統(tǒng)一的記錄順序,并且之前缺失或無效的數(shù)據(jù)也得到了補(bǔ)充和修正。處理后的數(shù)據(jù)即為最終完成修正的數(shù)據(jù),將原始數(shù)據(jù)與最終完成修正的數(shù)據(jù)進(jìn)行比較,效果分別如圖3-3、圖3-4所示。圖3-305: 0009: 00原始數(shù)據(jù)與修正數(shù)據(jù)對比圖3-415: 0019: 00原始數(shù)據(jù)與修正數(shù)據(jù)對比3.2故障數(shù)據(jù)檢測算法利用最小二乘法對歷史交通流數(shù)據(jù)進(jìn)行離線曲線擬合，對實(shí)時(shí)交通流數(shù)據(jù)進(jìn)行在線故障數(shù)據(jù)檢測，對交通流密度、速度和流量三項(xiàng)指標(biāo)進(jìn)

49、行綜合檢測，即基于交通流量-速度-時(shí)間占有率的交通流故障數(shù)據(jù)檢測算法VSO-ADDM (Abnormal Data Detection Method based on the Traffic Volume、Traffic Speed and Time Occupancy，VSO-ADDM)。首先，根據(jù)原始交通流數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，確定相應(yīng)指標(biāo)變化均值；其次，得到不同速度均值對應(yīng)的平均流量值，按照速度值進(jìn)行變換，得到一致的平均密度、平均速度和平均流量值，并對其進(jìn)行曲線擬合；然后根據(jù)均方差進(jìn)行閾值估算，得到一定確信度的安全區(qū)域和待定安全區(qū)域；在安全區(qū)域范圍內(nèi)數(shù)據(jù)為正常數(shù)據(jù)，待定安全區(qū)域數(shù)據(jù)再次進(jìn)行二

50、次檢測；超出待定安全區(qū)域數(shù)據(jù)認(rèn)定為交通流指標(biāo)間不合理異常數(shù)據(jù)，即故障數(shù)據(jù)。MATLAB 作為一種應(yīng)用廣泛的科學(xué)計(jì)算軟件，不僅可以通過直接交互的指令和操作方式進(jìn)行強(qiáng)大的數(shù)值計(jì)算、繪圖等，還可以像 C、C+ 等高級程序語言一樣，根據(jù)自己的語法規(guī)則來進(jìn)行程序設(shè)計(jì)。編寫的程序文件以 .m 作為擴(kuò)展名，稱之為M文件。通過編寫M文件，用戶可以像編寫批處理命令一樣，將多個MATLAB命令集中在一個文件中，既能方便地進(jìn)行調(diào)用，又便于修改；還可以根據(jù)用戶自身的情況，編寫用于解決特定問題的M文件，這樣就實(shí)現(xiàn)了結(jié)構(gòu)化程序設(shè)計(jì)，并降低代碼重用率。實(shí)際上，MATLAB 自帶的許多函數(shù)就是M函數(shù)文件。MATLAB 提供的

51、編輯器可以使用戶方便地進(jìn)行M文件的編寫。本課題采用MATLAB M文件編程實(shí)現(xiàn)故障數(shù)據(jù)檢測算法，具體操作步驟如下,先打開MATLAB，如圖3-5所示:圖3-5 MATLAB原始界面然后新建M文件編程: File New M-File，M文件如圖3-6所示：圖3-6M文件編程3.2.1故障數(shù)據(jù)檢測步驟故障檢測部分分為歷史交通流數(shù)據(jù)離線曲線擬合，得到相應(yīng)閾值；在線獲得實(shí)時(shí)交通流數(shù)據(jù)，對其進(jìn)行在線檢測。歷史交通流數(shù)據(jù)樣本，首先對其進(jìn)行聚類分析，確定其高速交通流聚類中心和低速交通流聚類中心；然后確定不同速度安全區(qū)域范圍；通過判斷交通流數(shù)據(jù)所處的區(qū)域進(jìn)行檢測；最后對檢測結(jié)果進(jìn)行按誤差比糾正偏差。Step

52、1將原始數(shù)據(jù)樣本按照高速交通流速度和低速交通流速度進(jìn)行更新數(shù)據(jù)，將原數(shù)據(jù)更新為對應(yīng)高速交通流速度的高速交通流和低速交通流速度的低速交通流；按照時(shí)間占有率對平面進(jìn)行區(qū)域劃分得到L個區(qū)域，按照平均速度和分別進(jìn)行流量調(diào)整，獲得不同速度條件下不同占有率的平均流量值； Step2按照平均時(shí)間占有率-平均交通流量進(jìn)行曲線擬合，得到相應(yīng)平均速度對應(yīng)的擬合曲線；擬合曲線將L個區(qū)域又劃分為高區(qū)域和低區(qū)域共2L個高速交通流子區(qū)域；按照平均時(shí)間占有率-平均交通流量進(jìn)行曲線擬合，得到相應(yīng)平均速度對應(yīng)的擬合曲線；擬合曲線將L個區(qū)域又劃分為高區(qū)域和低區(qū)域共2L個低速交通流子區(qū)域；Step3高速交通流子區(qū)域上半平面交通流均

53、值以及高速交通流子區(qū)域下半平面交通流均值；低速交通流子區(qū)域的上半平面交通流均值以及低速交通流子區(qū)域的下半平面交通流均值；Step4對高低區(qū)域上下半平面各點(diǎn)均方差運(yùn)算確定安全區(qū)域邊界值，得到針對原始?xì)v史交通流數(shù)據(jù)的高速安全區(qū)域最高邊界值、最低邊界值和低速安全區(qū)域最高邊界值、最低邊界值；Step5對高速安全區(qū)域和低速安全區(qū)域各自最高邊界值和最低邊界值分別進(jìn)行曲線擬合，得到交通流量的高速安全區(qū)域上下限曲線以及低速安全區(qū)域上下限曲線；Step6當(dāng)時(shí)安全區(qū)域范圍為；當(dāng)時(shí)安全區(qū)域；當(dāng)時(shí)安全區(qū)域；Step7若，該數(shù)據(jù)歸為正常數(shù)據(jù)，轉(zhuǎn)到step9；若，則暫時(shí)將該數(shù)據(jù)歸為待定故障數(shù)據(jù)，轉(zhuǎn)到step8；Step8

54、當(dāng)為待定故障數(shù)據(jù)時(shí)，需要進(jìn)一步進(jìn)行誤差比計(jì)算，若誤差比，則將該數(shù)據(jù)糾正為正常數(shù)據(jù)，否則確定為故障數(shù)據(jù)。Step9數(shù)據(jù)為正常數(shù)據(jù)，保存更新交通流數(shù)據(jù)，本次檢測結(jié)束；由于交通流數(shù)據(jù)樣本越多，對數(shù)據(jù)檢測算法越有效，因此可根據(jù)實(shí)際需要選擇每天或每周進(jìn)行一次樣本數(shù)據(jù)更新，從而不斷更新完善安全區(qū)域邊界值。3.2.2故障數(shù)據(jù)檢測待檢測數(shù)據(jù)為，原始數(shù)據(jù)交通流量，則該數(shù)據(jù)為正常數(shù)據(jù)；當(dāng)，則為待定狀態(tài)，需要進(jìn)一步判斷：l對應(yīng)速度平均值，安全區(qū)域邊界曲線分別取高速和低速相應(yīng)邊界曲線的均值。當(dāng)，安全區(qū)域由式(3-3)得到： (3-3)當(dāng)時(shí)，若，則該數(shù)據(jù)為正常數(shù)據(jù)；否則歸為待定故障數(shù)據(jù)。l當(dāng)，安全區(qū)域如式(3-4)：(

55、3-4)當(dāng)時(shí)，若，則該數(shù)據(jù)為正常數(shù)據(jù)；否則歸為待定故障數(shù)據(jù)。l當(dāng)，安全區(qū)域如式(3-5)：(3-5)當(dāng)時(shí)，若，則該數(shù)據(jù)為正常數(shù)據(jù)；否則歸為待定故障數(shù)據(jù)。對于第ie個待定故障數(shù)據(jù)，按照其安全區(qū)域邊界值進(jìn)行誤差和誤差比計(jì)算，如式(3-6)所示：(3-6)若誤差比或時(shí)，認(rèn)為待定故障數(shù)據(jù)為正常數(shù)據(jù)；否則待定故障數(shù)據(jù)確認(rèn)為故障數(shù)據(jù)，進(jìn)行刪除或修正。 3.3 特長高速公路隧道交通流故障數(shù)據(jù)檢測對某特長高速公路隧道y方向交通流數(shù)據(jù)為例進(jìn)行分析。首先對樣本數(shù)據(jù)流進(jìn)行聚類分析，得到高速交通流聚類中心和低速交通流聚類中心，數(shù)據(jù)樣本如圖3-7所示的藍(lán)色數(shù)據(jù)。圖3-7 隧道交通流數(shù)據(jù)樣本觀察其速度變化對影響，由圖3-

56、7可知，交通流速度變化較大時(shí)，相對應(yīng)相同時(shí)間占有率的交通流量值會發(fā)生較大變化。數(shù)據(jù)分析時(shí)，需要將綜合考慮速度影響因素。由于該隧道交通流較小，在所取時(shí)間間隔內(nèi)其最大時(shí)間占有率小于10。本系統(tǒng)中，特長高速公路隧道交通流密度低，兼顧計(jì)算時(shí)間和算法精度兩者要求，按照實(shí)際交通流時(shí)間占有率處于低密度狀態(tài)，故本系統(tǒng)將按照占有率高低進(jìn)行劃分區(qū)域取，得到個子區(qū)域。進(jìn)行交通流數(shù)據(jù)檢測，特將原有816組數(shù)據(jù)樣本中任意加入13組故障數(shù)據(jù)，將這些數(shù)據(jù)存入EXCEL表格中，對其命名并設(shè)置好存放路徑，例如設(shè)置路徑為：D:shuchushujux0.按照第檢測算法進(jìn)行MATLAB編程對EXCEL表格中的數(shù)據(jù)進(jìn)行故障檢測，檢測

57、結(jié)果還是存入到EXCEL表格中，路徑還是為：D:shuchushujux0.檢測到13組故障數(shù)據(jù)結(jié)果如圖3-8所示：圖3-8 檢測故障數(shù)據(jù)結(jié)果由圖3-8檢測結(jié)果可看出原樣本數(shù)據(jù)中存在的故障數(shù)據(jù)。按照流量閾值計(jì)算，根據(jù)時(shí)間占有率-流量經(jīng)驗(yàn)知識可知，其可擬合為三次多項(xiàng)式。在曲線擬合時(shí)，樣本點(diǎn)數(shù)要大于多項(xiàng)式未知參數(shù)。按照故障數(shù)據(jù)檢測算法對歷史交通流數(shù)據(jù)進(jìn)行分析，當(dāng)時(shí)間占有率在0,10時(shí)，得到低速安全區(qū)域邊界擬合曲線和高速安全區(qū)域邊界擬合曲線，對應(yīng)時(shí)間占有率-交通流量變化區(qū)域邊界曲線如圖3-9所示：圖3-9 時(shí)間占有率-交通流量變化區(qū)域邊界曲線由于樣本數(shù)量有限，其安全區(qū)域擬合曲線有待更多樣本學(xué)習(xí)進(jìn)行完善，另外當(dāng)故障數(shù)據(jù)各指標(biāo)未明顯違背指標(biāo)特性關(guān)系時(shí)，故障數(shù)據(jù)被漏檢，因此故障數(shù)據(jù)檢測算法需要大量樣本進(jìn)行學(xué)習(xí)，逐漸完善安全區(qū)域邊界曲線，從而提高算法檢測效率。3.4本章小結(jié)本章對特長高速公路隧道實(shí)時(shí)交通流故障數(shù)據(jù)展開相關(guān)研究，根據(jù)特長高速公路隧道交通流指標(biāo)特性，提出了基于流量-速度-時(shí)間占有率的故障數(shù)據(jù)檢測算法。通過對歷史交通