15(薛美根)上海大數(shù)據(jù)信息挖掘應(yīng)用2015

1、大數(shù)據(jù)環(huán)境下上海創(chuàng)新交通綜合管理的實(shí)踐大數(shù)據(jù)環(huán)境下上海創(chuàng)新交通綜合管理的實(shí)踐與探索與探索執(zhí)筆：薛美根執(zhí)筆：薛美根 副院長(zhǎng)副院長(zhǎng)演講：陳必壯演講：陳必壯 副所長(zhǎng)副所長(zhǎng)上海市城鄉(xiāng)建設(shè)和交通發(fā)展研究院上海市城鄉(xiāng)建設(shè)和交通發(fā)展研究院一、背景二、數(shù)據(jù)挖掘技術(shù)三、大數(shù)據(jù)應(yīng)用四、展望提綱1背景一、開(kāi)展交通信息數(shù)據(jù)挖掘的必要性（一一）交通信息化迅速發(fā)展為信息數(shù)據(jù)挖掘奠定基礎(chǔ)交通信息化迅速發(fā)展為信息數(shù)據(jù)挖掘奠定基礎(chǔ)（二二）交通信息化數(shù)據(jù)挖掘是交通調(diào)查技術(shù)的發(fā)展趨勢(shì)交通信息化數(shù)據(jù)挖掘是交通調(diào)查技術(shù)的發(fā)展趨勢(shì)（三三）對(duì)獲得全面、真實(shí)的交通數(shù)據(jù)至關(guān)重要對(duì)獲得全面、真實(shí)的交通數(shù)據(jù)至關(guān)重要（四四）對(duì)傳統(tǒng)人工調(diào)查的輔助、補(bǔ)

2、充和校核對(duì)傳統(tǒng)人工調(diào)查的輔助、補(bǔ)充和校核二、現(xiàn)狀數(shù)據(jù)基礎(chǔ)車牌識(shí)別系統(tǒng)數(shù)據(jù)用地?cái)?shù)據(jù)手機(jī)信令數(shù)據(jù)運(yùn)營(yíng)車輛GPS數(shù)據(jù)信息平臺(tái)統(tǒng)計(jì)數(shù)據(jù)交通一卡通數(shù)據(jù)三、數(shù)據(jù)挖掘成果在本次交通大調(diào)查的應(yīng)用信息數(shù)據(jù)挖掘調(diào)查共有信息數(shù)據(jù)挖掘調(diào)查共有6 6個(gè)分項(xiàng)，是其他綜合交通調(diào)查的彌補(bǔ)、輔助校核。個(gè)分項(xiàng)，是其他綜合交通調(diào)查的彌補(bǔ)、輔助校核。1.城市用地2.調(diào)查期實(shí)有人口3.小客車實(shí)有量1.出租汽車出行特征2.貨運(yùn)車輛出行特征3.進(jìn)出市境車輛出行特征1.區(qū)域間人員出行2.外來(lái)人員住宿特征1.道路斷面流量及車速2.軌道客流進(jìn)出站及換乘特征3.公共交通方式間客流換乘特征4.潮汐交通特征2信息數(shù)據(jù)挖掘關(guān)鍵技術(shù)一、基于遙感技術(shù)的交通

3、相關(guān)用地?cái)?shù)據(jù)挖掘技術(shù) 解譯獲得全市23萬(wàn)個(gè)分析單元用地信息，是城市用地調(diào)查的主要方法。數(shù)據(jù)來(lái)源：城市信息中心數(shù)據(jù)時(shí)間：2008年、2013年高分辨率航空遙感用地（解譯）房屋建筑（統(tǒng)計(jì)）數(shù)據(jù)來(lái)源：房屋土地資源信息中心、測(cè)繪建筑數(shù)據(jù)時(shí)間：2013年獲取最新上海市市域紅外航空遙感影像、遙感影像定位匹配以住建部城市用地分類與規(guī)劃建設(shè)用地標(biāo)準(zhǔn)（GB50137-2011）為指導(dǎo)，對(duì)上海市全陸域進(jìn)行用地分類遙感解譯、同步進(jìn)行外業(yè)采樣核對(duì)在ArcGIS環(huán)境下實(shí)施土地利用航空遙感解譯制圖，并以區(qū)縣為單位，計(jì)算每個(gè)區(qū)縣內(nèi)所有圖斑的面積，按土地利用類型進(jìn)行面積匯總、特征分析。 通過(guò)解譯，將全市28類用地細(xì)分到23萬(wàn)

4、個(gè)單位，同時(shí)結(jié)合房地管理中心房屋建筑信息庫(kù)、測(cè)院數(shù)據(jù)進(jìn)行建筑量的校核，得到全市細(xì)分為13類的建筑量，是分析人口崗位布局、交通與用地發(fā)展的重要基礎(chǔ)數(shù)據(jù)。二、基于手機(jī)信令的人員出行特征挖掘技術(shù)原始數(shù)據(jù)主要字段列表字段含義MSID唯一用戶標(biāo)識(shí)TIMESTAMP時(shí)間戳LAC位置區(qū)編號(hào)CELL小區(qū)編號(hào)EVENTID事件類型（位置更新、小區(qū)切換、收發(fā)短信等）移動(dòng)基站分布 日均1800萬(wàn)移動(dòng)通信用戶的信令數(shù)據(jù)，輔助校核人口分布、出行分布等人工調(diào)查。數(shù)據(jù)來(lái)源：由市交通信息中心協(xié)調(diào)獲取2013年-2014年移動(dòng)手機(jī)信令數(shù)據(jù)基站分布：全市約6萬(wàn)個(gè)基站，中心城平均半徑約130米，郊區(qū)平均半徑約360米采樣原理：短信

5、、通話、LAC區(qū)切換或每隔1-2小時(shí)定時(shí)與基站通訊的信令數(shù)據(jù)基于移動(dòng)通信用戶基于移動(dòng)通信用戶電子腳印的手機(jī)信令數(shù)據(jù)分析技術(shù)的手機(jī)信令數(shù)據(jù)分析技術(shù) 利用地下軌道線路與移動(dòng)通信LAC區(qū)、地下軌道車站與基站的唯一對(duì)應(yīng)關(guān)系進(jìn)行路徑識(shí)別 將手機(jī)檢測(cè)與申通統(tǒng)計(jì)乘距相比對(duì)，地下軌道車站比例超過(guò)90%的軌道線路看，如2、7、10、13號(hào)線，兩個(gè)渠道數(shù)據(jù)的絕對(duì)差小于5%1、地下軌道車站客流換乘特征分析技術(shù) 將移動(dòng)通信網(wǎng)絡(luò)的出行軌跡映射至道路網(wǎng)絡(luò)，并在校核線周邊設(shè)置100-500米的緩沖區(qū)過(guò)濾信號(hào)漂移產(chǎn)生的影響 對(duì)穿越校核線地下軌道斷面的樣本客流進(jìn)行擴(kuò)樣，并與申通統(tǒng)計(jì)斷面客流進(jìn)行比對(duì)，兩個(gè)渠道數(shù)據(jù)的絕對(duì)差平均為7

6、%。2、校核線手機(jī)客流穿越特征分析技術(shù) 跟蹤一段時(shí)期手機(jī)數(shù)據(jù)，按出現(xiàn)天數(shù)比例判定分析對(duì)象，并按累計(jì)停留時(shí)間最長(zhǎng)為原則判斷用戶的夜間 、白天固定地分布 夜間分布與“六普”數(shù)據(jù)比對(duì)，行政區(qū)人口比例的絕對(duì)差均在2%以內(nèi)。3、手機(jī)用戶晝夜分布分析技術(shù)三、基于牌照識(shí)別的車輛出行特征挖掘技術(shù)市境道口快速路車牌斷面數(shù)據(jù)來(lái)源：市交通信息中心協(xié)調(diào)獲取市交警2013年-2014年車牌識(shí)別數(shù)據(jù)數(shù)據(jù)內(nèi)容：車輛號(hào)牌、號(hào)牌顏色、途徑時(shí)間、途徑車速、車輛屬地及設(shè)備斷面編號(hào)等市境道口車牌識(shí)別車流量與高速收費(fèi)流量對(duì)比，高速道口的平均捕捉精度約93%；快速路車牌識(shí)別車流量與高架線圈相比，車牌設(shè)備的平均捕捉率為96%。 42個(gè)市境

7、道口、343個(gè)中心城快速路斷面和14個(gè)越江橋隧車牌識(shí)別數(shù)據(jù)，輔助校核小客車實(shí)有量、車輛出行分布等人工調(diào)查。（1 1）基于）基于停留時(shí)長(zhǎng)分析的長(zhǎng)期在上海使用的外地牌照小客車規(guī)模推算分析的長(zhǎng)期在上海使用的外地牌照小客車規(guī)模推算技術(shù)一年內(nèi)累計(jì)在上海停留超過(guò)180天單次來(lái)滬平均停留時(shí)間超過(guò)5天市境道口車牌識(shí)別市境道口車牌識(shí)別外牌車輛累計(jì)在滬天數(shù)(除當(dāng)日往返)交強(qiáng)險(xiǎn)停車調(diào)查車牌識(shí)別年檢站居民家訪調(diào)查車牌識(shí)別數(shù)據(jù)挖掘結(jié)果與推薦值絕對(duì)誤差為車牌識(shí)別數(shù)據(jù)挖掘結(jié)果與推薦值絕對(duì)誤差為5%5%（2 2）基于）基于行駛路徑整理的車輛出行特征分析技術(shù)整理的車輛出行特征分析技術(shù)1、篩選問(wèn)題車牌 車牌至少有一位被錯(cuò)誤識(shí)別的

8、概率為6%-12%2、誤識(shí)別車牌的較正 按斷面相近，路徑可循，采集時(shí)間差合理為原則進(jìn)行車牌數(shù)據(jù)校正3、出行鏈整理 與線圈數(shù)據(jù)，收費(fèi)數(shù)據(jù)相比對(duì)，整理路徑信息p 入境車輛基于地帶的目的地分布入境車輛基于地帶的目的地分布p 中心城快速路不同號(hào)牌車輛行駛特征中心城快速路不同號(hào)牌車輛行駛特征市境道口車牌識(shí)別車流量與高速收費(fèi)流量對(duì)比，高速道口的平均捕捉精度約93%；以郊區(qū)為目的的入境車輛數(shù)量，收費(fèi)數(shù)據(jù)和車牌數(shù)據(jù)推算結(jié)果的絕對(duì)差為5%快速路車牌識(shí)別車流量與高架線圈相比，車牌識(shí)別的平均捕捉率為96%四、基于GPS的車輛出行特征數(shù)據(jù)挖掘技術(shù)出租車軌跡圖貨車軌跡圖 2.9萬(wàn)輛出租車，1萬(wàn)輛貨車GPS信息，是調(diào)查中

9、心城地面道路車速的主要途徑，是輔助校核出租車、貨運(yùn)車輛出行特征的主要手段?；谲壽E信息的車輛出行特征分析技術(shù) 數(shù)據(jù)預(yù)處理（檢驗(yàn)排除數(shù)據(jù)飄逸、傳輸延遲等） 地圖匹配（50*50米網(wǎng)格） 基于最短距離的出行路徑推算 路段行程車速計(jì)算（出租車重車）1 1、基于出租車、基于出租車GPSGPS信息的路段行程車速分析技術(shù)信息的路段行程車速分析技術(shù) 出租車出行OD（利用空、重車狀態(tài)切換信息） 集裝箱卡車出行OD（結(jié)合用地、車速、停留時(shí)間）2 2、基于、基于GPSGPS信息的車輛出行信息的車輛出行ODOD分析技術(shù)分析技術(shù)五、基于交通信息平臺(tái)的道路交通信息挖掘技術(shù)高架快速路線圈（分3種車型車流量、車速等）地面S

10、CATS線圈（機(jī)動(dòng)車流量、飽和度等）高速公路收費(fèi)站OD（分11種車型機(jī)動(dòng)車流量） 478個(gè)快速路線圈、3043個(gè)地面SCATS線圈和104個(gè)高速公路收費(fèi)站數(shù)據(jù)，數(shù)據(jù)甄別、清洗后形成不同空間、時(shí)間的統(tǒng)計(jì)指標(biāo)，與人工調(diào)查相結(jié)合，獲得道路交通運(yùn)行狀況。數(shù)據(jù)來(lái)源：市交通信息中心時(shí)間顆粒度：5分鐘六、基于一卡通的交通特征數(shù)據(jù)挖掘技術(shù) 日均刷卡約400萬(wàn)張，超過(guò)1000萬(wàn)次的交通一卡通數(shù)據(jù)，輔助校核公共交通客流出行特征。交通卡原始刷卡記錄字段列表交通信息平臺(tái)統(tǒng)計(jì)指標(biāo)列表基于刷卡時(shí)間間隔的公交客流換乘特征分析技術(shù)換乘時(shí)耗分布軌道車站公交接駁比例交通卡挖掘結(jié)果與推算值絕對(duì)誤差為軌道車站公交接駁比例交通卡挖掘結(jié)

11、果與推算值絕對(duì)誤差為4%4%軌道換乘公交軌道換乘出租公交換乘軌道公交換乘公交3大數(shù)據(jù)在上海城市綜合交通管理中的應(yīng)用 以遙感用地?cái)?shù)據(jù)挖掘?yàn)橹鳎o以建造量信息統(tǒng)計(jì)，獲得現(xiàn)狀上海用地以遙感用地?cái)?shù)據(jù)挖掘?yàn)橹鳎o以建造量信息統(tǒng)計(jì)，獲得現(xiàn)狀上海用地開(kāi)發(fā)類型、分布及用地強(qiáng)度等指標(biāo)，并反映歷史演變趨勢(shì)。開(kāi)發(fā)類型、分布及用地強(qiáng)度等指標(biāo)，并反映歷史演變趨勢(shì)。1、城市用地基本情況2008-2013新增建設(shè)用地2008年底建設(shè)用地全市全市20132013年建設(shè)用地年建設(shè)用地29182918平方公里，平方公里，較較0808年年增加220km220km2 2，增幅為8%8%居住用地占36.2%36.2%，工業(yè)及物流用地占

12、30%30%，公共與商業(yè)用地占10.0%10.0%建設(shè)用地中建設(shè)用地中： 全市全市建筑量建筑量11.611.6億平方米，較億平方米，較0808年新增年新增3.43.4億平方米。住宅億平方米。住宅建筑量占新增建筑量的建筑量占新增建筑量的43%43%，近近八成八成增加增加在中心區(qū)在中心區(qū)外。外。商業(yè)行政商務(wù)辦公商業(yè)行政商務(wù)辦公建筑占新增建筑量的建筑占新增建筑量的16%16%，近七近七成增加在中心城。成增加在中心城。20132013全市居住建筑全市居住建筑密度密度20132013年全市非居建筑密度年全市非居建筑密度2、城市人口分布充分利用充分利用手機(jī)手機(jī)信令數(shù)據(jù)，信令數(shù)據(jù)，是校核調(diào)查期實(shí)有人口分布的

13、重要依據(jù)。是校核調(diào)查期實(shí)有人口分布的重要依據(jù)。地帶地帶夜間手機(jī)人口數(shù)（萬(wàn)人）夜間手機(jī)人口數(shù)（萬(wàn)人） 夜間手機(jī)人口比例夜間手機(jī)人口比例中心區(qū)浦西中心區(qū)浦西134.2 11.4%中心區(qū)浦東中心區(qū)浦東27.4 2.3%中心區(qū)小計(jì)中心區(qū)小計(jì)161.6 13.7%外圍區(qū)浦西外圍區(qū)浦西279.0 23.7%外圍區(qū)浦東外圍區(qū)浦東120.0 10.2%外圍區(qū)小計(jì)外圍區(qū)小計(jì)399.0 33.9%中心城合計(jì)中心城合計(jì)560.6 47.7%近郊區(qū)近郊區(qū)267.2 22.7%遠(yuǎn)郊區(qū)遠(yuǎn)郊區(qū)348.6 29.6%合計(jì)合計(jì)1176.4 100.0%20142014年年夜間手機(jī)人口地帶分布比例夜間手機(jī)人口地帶分布比例3、人員

14、出行特征 手機(jī)手機(jī)數(shù)據(jù)挖掘數(shù)據(jù)挖掘成果是校核職住分布的重要依據(jù)。另外，綜合手機(jī)信令、成果是校核職住分布的重要依據(jù)。另外，綜合手機(jī)信令、出租車出租車GPSGPS、中心城快速路線圈、軌道閘機(jī)數(shù)據(jù)反映潮汐交通特征。、中心城快速路線圈、軌道閘機(jī)數(shù)據(jù)反映潮汐交通特征。陸家嘴區(qū)域人流來(lái)向分布陸家嘴區(qū)域人流來(lái)向分布人民廣場(chǎng)區(qū)域人流來(lái)向分布人民廣場(chǎng)區(qū)域人流來(lái)向分布中心城浦西：41% 中心城浦東：50%郊區(qū)：9%中心城浦西：77% 中心城浦東：14%郊區(qū)：9%職住等剛性出行需求的平均出行距離約為職住等剛性出行需求的平均出行距離約為 公里，公里，90%90%的出行在的出行在 公里以內(nèi)。公里以內(nèi)。早高峰軌道交通（流

15、量）進(jìn)：出進(jìn)：出2 ：1早高峰道路交通（車速）進(jìn)：出進(jìn)：出0.6：1早高峰進(jìn)出內(nèi)環(huán)手機(jī)用戶數(shù)進(jìn)：出進(jìn)：出1.5 ：1內(nèi)環(huán)線的潮汐交通現(xiàn)象最為明顯，內(nèi)環(huán)線、中環(huán)線、外環(huán)線早高峰以入城客流為主中心城周邊與遠(yuǎn)郊連接區(qū)域出城方向客流略高蘇州河潮汐交通明顯，以北向南客流為主黃浦江潮汐交通不明顯，浦東至浦西客流略高。4、小客車實(shí)有規(guī)模大類小類統(tǒng)計(jì)量（輛）道口系統(tǒng)采集的長(zhǎng)期在滬的外牌小型車1、僅在郊區(qū)出行（未在中心城出行）11萬(wàn)2、在中心城快速路出行95萬(wàn) 交強(qiáng)險(xiǎn)3、未在道口和中心城快速路出行的車輛6萬(wàn)總計(jì)112萬(wàn)小客車（88%）98萬(wàn)根據(jù)收費(fèi)流量數(shù)據(jù)，小型車中小客車與小貨車的比值為88%:12% 經(jīng)本次調(diào)

16、查檢驗(yàn)，基于車牌識(shí)別數(shù)據(jù)挖掘是今后調(diào)查小客車實(shí)有規(guī)模的主經(jīng)本次調(diào)查檢驗(yàn)，基于車牌識(shí)別數(shù)據(jù)挖掘是今后調(diào)查小客車實(shí)有規(guī)模的主要手段。經(jīng)要手段。經(jīng)綜合推算綜合推算，20142014年年長(zhǎng)期在滬使用的外牌小客車規(guī)模約為長(zhǎng)期在滬使用的外牌小客車規(guī)模約為9898萬(wàn)輛。萬(wàn)輛。5、道路交通車流特征 充分挖掘線圈、車牌識(shí)別、出租車充分挖掘線圈、車牌識(shí)別、出租車GPSGPS和高速公路收費(fèi)數(shù)據(jù)反映道路交通和高速公路收費(fèi)數(shù)據(jù)反映道路交通車流特征，是調(diào)查道路交通運(yùn)行狀況的主要手段，與人工調(diào)查相互補(bǔ)充。車流特征，是調(diào)查道路交通運(yùn)行狀況的主要手段，與人工調(diào)查相互補(bǔ)充。外牌車輛滬牌車輛早高峰高架道路運(yùn)行車速內(nèi)環(huán)線： 23%

17、30%全天午間平峰中環(huán)線： 29% 40%南北高架：22% 31%延安高架：17% 23%逸仙高架：24% 32%滬閔高架：23% 32%p 中心城快速路（不含外環(huán)線）工作日外牌車輛比例全天占25%，午間平峰占32%p 高峰進(jìn)一步向午后和早晨延長(zhǎng)15.0 15.0 19.2 19.2 12.6 12.6 13.9 13.9 16.6 16.6 22.9 22.9 11.8 11.8 15.5 15.5 0.0 5.0 10.0 15.0 20.0 25.0 浦東內(nèi)環(huán)內(nèi)浦東內(nèi)外環(huán)浦西內(nèi)環(huán)內(nèi)浦西內(nèi)外環(huán)浦東內(nèi)環(huán)內(nèi)浦東內(nèi)外環(huán)浦西內(nèi)環(huán)內(nèi)浦西內(nèi)外環(huán)早高峰晚高峰地面道路區(qū)域工作日擁堵頻率地面干道工作日平均車

18、速空間分布p 分區(qū)域地面干道高峰運(yùn)行狀況保持穩(wěn)定，但放射性干道服務(wù)水平有所下降，與2013年同比下下降降6%-16%6%-16%。p 地面道路擁堵區(qū)域數(shù)增加明顯。按照信息中心在中心城區(qū)劃分68個(gè)區(qū)域，有1515個(gè)區(qū)域個(gè)區(qū)域全年超過(guò)100100個(gè)工作日擁堵個(gè)工作日擁堵。p 2014年9月工作日均高速公路駛出量約為90萬(wàn)車次，與2011年相比，年均增長(zhǎng)10萬(wàn)車次。p 新城范圍內(nèi)，工作日松江新城和青浦新城高速公路出入口車流增長(zhǎng)最為明顯，在25%-30%左右。工作日高速入口流量增長(zhǎng)比例（ 2014/2011年）工作日高速公路流量分布圖6、公共交通客流特征 基于基于軌道閘機(jī)數(shù)據(jù)，并運(yùn)用軌道交通模型平臺(tái)進(jìn)行分析，反映軌道交通的客流分布及運(yùn)行狀軌道閘機(jī)數(shù)據(jù)，并運(yùn)用軌道交通模型平臺(tái)進(jìn)行分析，反映軌道交通的客流分布及運(yùn)行狀況。利用手機(jī)信令挖掘反映軌道系統(tǒng)內(nèi)部客流的換乘特征。充分挖掘交通一卡通數(shù)據(jù)，反映公共況。利用手機(jī)信令挖掘反映軌道系統(tǒng)內(nèi)部客流的換乘特征。充分挖掘交通一卡通數(shù)據(jù)，反映公共交通方式間的換乘特征，是校核軌道交通接駁方式結(jié)構(gòu)，地面公交內(nèi)部換乘率的重要手段。交通方式間的換乘特征，是校核軌道交通接駁方式結(jié)構(gòu)，地