基于全域交通大腦的智慧交通一體化出行服務(wù)云平臺

1目標(biāo)和概述隨著物聯(lián)網(wǎng)、5G、云計算、大數(shù)據(jù)、人工智能、區(qū)塊鏈、北斗高精度定位等新一代信息技術(shù)的發(fā)展以及交通強國、新基建、數(shù)字交通的提出，構(gòu)建以數(shù)據(jù)驅(qū)動的綜合交通數(shù)字治理和服務(wù)體系，實現(xiàn)綜合交通政府多元化治理、企業(yè)精細(xì)化運營、公眾智慧化出行，推動綜合交通管理及服務(wù)從智能化向智慧化的轉(zhuǎn)變成為當(dāng)前迫切需求。北京華錄高誠科技有限公司（以下簡稱：高誠科技）作為一家交通運輸大數(shù)據(jù)AI的運營服務(wù)商，創(chuàng)新性地推出“基于全域交通大腦的智慧交通一體化出行服務(wù)云平臺”（以下簡稱：智行云），以“數(shù)據(jù)入湖、算法入云、服務(wù)入戶”為建設(shè)理念，以數(shù)據(jù)湖為基礎(chǔ)、全域交通大腦為核心，作為交通運輸“智慧型、中樞型、服務(wù)型”的信息化基礎(chǔ)設(shè)施，面向政府、企業(yè)、公眾三類用戶，提供“智管、智運、智行”數(shù)據(jù)應(yīng)用場景服務(wù)，涵蓋城市運輸、公路、港航、軌道、民航、物流、樞紐、旅游八大產(chǎn)業(yè)方向，提供700多個應(yīng)用場景，打造“云享、云管、云服”新業(yè)態(tài)，助力政府現(xiàn)代化治理、企業(yè)高效化運營、百姓便捷化出行。2方案介紹智行云基于北斗高精度定位、5G、大數(shù)據(jù)、云計算、區(qū)塊鏈、人工智能、物聯(lián)網(wǎng)等新一代信息技術(shù)，依托數(shù)據(jù)湖云融合新基建，通過重構(gòu)TOCC（交通綜合運行協(xié)調(diào)和應(yīng)急指揮平臺），以云服務(wù)的方式，提供可靈活配置、按需定制、持續(xù)運營的信息化建設(shè)及數(shù)據(jù)服務(wù)模式?；诤迫诤弦约敖煌ù竽X面向政府、企業(yè)、公眾開展綜合交通大數(shù)據(jù)云服務(wù)場景應(yīng)用，構(gòu)建“湖+云+邊+端+協(xié)同”服務(wù)模式，實現(xiàn)湖、云、邊、端四位一體，湖匯數(shù)據(jù)、云中心管控、邊緣自治、端數(shù)據(jù)服務(wù)。以此為基礎(chǔ)，智行云構(gòu)建“1+1+1+3”的總體架構(gòu)，“1”為數(shù)據(jù)湖，匯聚綜合交通海量多源異構(gòu)數(shù)據(jù)，打造交通數(shù)據(jù)資產(chǎn)銀行；“1”為綜合交通大數(shù)據(jù)服務(wù)云，支持綜合交通及關(guān)聯(lián)產(chǎn)業(yè)多源數(shù)據(jù)要素的融合和協(xié)同，支持多云協(xié)作以及跨云數(shù)據(jù)及業(yè)務(wù)融合；“1”為交通運輸大腦，基于算法、模型，提供綜合交通AI應(yīng)用管理和服務(wù)；“3”為智管、智運、智行，智管面向政府提供城市治理、行業(yè)管理、監(jiān)測預(yù)警、指揮調(diào)度、決策支持、信息服務(wù)六大場景及城市運輸、智慧公路、智慧樞紐、智慧物流、智慧旅游、智慧港航、智慧軌道、智慧民航八大行業(yè)智慧管理服務(wù)；智運，創(chuàng)新政企數(shù)據(jù)融合應(yīng)用，開展車路協(xié)同、安全生產(chǎn)、精準(zhǔn)運營、安全生產(chǎn)大數(shù)據(jù)云服務(wù)；智行，基于政府、企業(yè)、和互聯(lián)網(wǎng)數(shù)據(jù)，打通市內(nèi)與城際高速公路出行鏈服務(wù)，開展綜合交通一體化出行云服務(wù)。總體架構(gòu)如圖1所示。圖1總體架構(gòu)圖2.1技術(shù)架構(gòu)

智行云技術(shù)架構(gòu)采用IaaS、Paas、DaaS、SaaS/Maas四層架構(gòu)，不同層次實現(xiàn)主機安全、網(wǎng)絡(luò)安全、數(shù)據(jù)安全、應(yīng)用安全。如圖2所示。圖2數(shù)據(jù)架構(gòu)圖2.1.1

IaaS層云主機：采用云服務(wù)商的云主機服務(wù)相比于物理主機，整合了計算、存儲與網(wǎng)絡(luò)資源的IT基礎(chǔ)設(shè)施能力，能夠根據(jù)業(yè)務(wù)需求，按需使用、隨時擴展、部署所需的服務(wù)器環(huán)境，并且能夠保障主機穩(wěn)定、安全運行。存儲：數(shù)據(jù)采用云存儲、湖存儲的方式，云存儲通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù)，實現(xiàn)云存儲中多個存儲設(shè)備之間的協(xié)同工作，使多個存儲設(shè)備可以對外提供同一種服務(wù)，具備更大更強更好的數(shù)據(jù)訪問性能，并通過各種數(shù)據(jù)備份和容災(zāi)技術(shù)及措施保證云存儲自身的安全和穩(wěn)定；湖存儲以藍(lán)光技術(shù)將冷數(shù)據(jù)存儲于湖中，降低存儲成本。2.1.2PaaS層高誠基礎(chǔ)開發(fā)平臺整合人工智能、大數(shù)據(jù)、指標(biāo)計算、電子地圖、統(tǒng)一認(rèn)證、微服務(wù)、消息總結(jié)以支撐對外數(shù)據(jù)、算法、地圖服務(wù)。人工智能：采用成熟人工智能框架TensorFlow、Caffe等，完成巨量數(shù)據(jù)的分析與挖掘、模式識別（如生物識別、文字識別、文件分類等）。大數(shù)據(jù)：采用Hadoop集群技術(shù)存儲海量數(shù)據(jù)（如車輛GPS、公交刷卡、航空器軌跡及其它感知數(shù)據(jù)），對外提供數(shù)據(jù)存儲服務(wù)；再利用Spark引擎完成各種各樣的運算，包括SQL查詢、文本處理、機器學(xué)習(xí)等，對外提供實時計算服務(wù)。指標(biāo)計算：集成TOCC平臺成熟的指標(biāo)算法體系，通過統(tǒng)一API對外提供算法服務(wù)。電子地圖：集成Arcgis、互聯(lián)網(wǎng)地圖及其它專業(yè)地圖，統(tǒng)一GCMAP對外提供地圖服務(wù)。

統(tǒng)一認(rèn)證：為保證API服務(wù)安全通過Token認(rèn)證，所有API通過統(tǒng)一認(rèn)證保證接口安全性及數(shù)據(jù)安全。微服務(wù)：提供業(yè)務(wù)數(shù)據(jù)服務(wù)，整合業(yè)務(wù)需求，通過微服務(wù)橫向擴展能力，對外統(tǒng)一數(shù)據(jù)服務(wù)。消息總線：利用成熟消息中間件（Kafka等），對億級數(shù)據(jù)接入、分發(fā)。2.1.3DaaS層整合PaaS層服務(wù)，為業(yè)務(wù)層提供數(shù)據(jù)管理、數(shù)據(jù)共享交換、數(shù)據(jù)分析、數(shù)據(jù)運營管理服務(wù)。數(shù)據(jù)管理：將數(shù)據(jù)清洗、抽取的規(guī)范化數(shù)據(jù)按領(lǐng)域、維度分類對用戶提供不同維度管理、元數(shù)據(jù)管理、數(shù)據(jù)計算管理、元數(shù)據(jù)查詢、數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范引用等。數(shù)據(jù)共享交換：構(gòu)建一個統(tǒng)一數(shù)據(jù)共享交換平臺，將已經(jīng)規(guī)范化的數(shù)據(jù)，以規(guī)范的格式、服務(wù)對外提供數(shù)據(jù)接口服務(wù)，實現(xiàn)數(shù)據(jù)的最大化利用。數(shù)據(jù)分析：通過PaaS層指標(biāo)計算服務(wù)，再通過BI工具形成統(tǒng)一報表服務(wù)。數(shù)據(jù)運營管理：對每條數(shù)據(jù)進行標(biāo)簽化管理，對數(shù)據(jù)進行運營，計算數(shù)據(jù)費用。2.1.4SaaS/MaaS層高誠云服務(wù)支撐平臺定位ToG、ToB、ToC，為不同類型用戶提供多種形式展板（PC、大屏、移動端）。ToG端應(yīng)用方便行業(yè)監(jiān)管、領(lǐng)導(dǎo)參觀展示。ToB應(yīng)用于企業(yè)業(yè)務(wù)運營。ToC滿足公眾出行服務(wù)。2.2數(shù)據(jù)架構(gòu)

智行云數(shù)據(jù)管理服務(wù)，以云平臺基礎(chǔ)架構(gòu)為支撐，對數(shù)據(jù)的接入、存儲、分析、共享與交換、安全各個環(huán)節(jié)提供一體化解決方案。如圖3所示。圖3數(shù)據(jù)架構(gòu)與傳統(tǒng)數(shù)據(jù)管理不同，智行云數(shù)據(jù)管理服務(wù)增強了對實時數(shù)據(jù)的接入能力，通過自研的高性能數(shù)據(jù)接入網(wǎng)關(guān)，利用云平臺提供的動態(tài)擴容能力，可根據(jù)實際的接入數(shù)據(jù)量對接入服務(wù)進行動態(tài)調(diào)整，節(jié)省成本的同時，大大減少了數(shù)據(jù)的延時，增強了對業(yè)務(wù)的快速響應(yīng)能力。在數(shù)據(jù)接入和數(shù)據(jù)存儲、計算服務(wù)之間，構(gòu)建了一層中間層，能夠幫助上層應(yīng)用，通過其對外提供的標(biāo)準(zhǔn)化接口（如HTTP、JDBC、Java等），快速連接到多種底層計算存儲引擎（如Spark、Hive、TiSpark、MySQL、Python等），提交執(zhí)行各種類型的計算任務(wù)，并實現(xiàn)跨上層應(yīng)用間的計算任務(wù)運行時上下文和依賴的互通和共享。且通過提供多租戶、高并發(fā)、任務(wù)分發(fā)和管理策略、資源管控等特性支持，各種計算任務(wù)更靈活、可靠、可控地提交執(zhí)行，成功返回結(jié)果，大大降低了上層應(yīng)用在計算治理層的開發(fā)和運維成本。2.2.1數(shù)據(jù)接入采用ETL工具、標(biāo)準(zhǔn)協(xié)議、定制化的私有協(xié)議，可接入不同數(shù)據(jù)源、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)?？山尤氩煌瑓f(xié)議的終端數(shù)據(jù)：車載終端、物聯(lián)網(wǎng)終端；可接入不同平臺的數(shù)據(jù)，包括路網(wǎng)、基礎(chǔ)設(shè)施、交通各領(lǐng)域、各企業(yè)平臺的數(shù)據(jù)，包括靜態(tài)數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、音視頻數(shù)據(jù)。將采集到的數(shù)據(jù)經(jīng)過統(tǒng)一的接入網(wǎng)關(guān)，傳輸?shù)较到y(tǒng)。2.2.2數(shù)據(jù)接收處理從多租戶管理角度，服務(wù)可區(qū)分為租戶相關(guān)服務(wù)和租戶無關(guān)服務(wù)兩種類型。租戶相關(guān)服務(wù)，包括一些任務(wù)邏輯處理負(fù)荷重、資源消耗高，或需要根據(jù)具體租戶、用戶、物理機器等做隔離劃分，避免相互影響的服務(wù)。Eureka承擔(dān)了微服務(wù)動態(tài)注冊與發(fā)現(xiàn)中心及所有租戶無關(guān)服務(wù)的負(fù)載均衡、故障轉(zhuǎn)移功能。租戶相關(guān)的計算服務(wù)，由服務(wù)調(diào)度框架向計算服務(wù)傳遞租戶信息，由計算服務(wù)進行相關(guān)的計算。在數(shù)據(jù)的入口處，把數(shù)據(jù)打上租戶的標(biāo)簽，此標(biāo)簽可追溯數(shù)據(jù)的整個生命周期中。2.2.3數(shù)據(jù)存儲租戶的數(shù)據(jù)的隔離分為多個層級：分表、分庫隔離。數(shù)據(jù)存儲標(biāo)準(zhǔn)化，把外部不符合標(biāo)準(zhǔn)的數(shù)據(jù)梳理為標(biāo)準(zhǔn)的數(shù)據(jù)格式。數(shù)據(jù)按領(lǐng)域、維度、事實分類，業(yè)務(wù)表職責(zé)清晰，對開發(fā)和業(yè)務(wù)人員更加友好。為減少重復(fù)開發(fā)，統(tǒng)一輸入輸出數(shù)據(jù)格式，數(shù)據(jù)存儲分為三層：數(shù)據(jù)運營層（ODS）、數(shù)據(jù)倉庫層（DW）和數(shù)據(jù)應(yīng)用層（DAS）。ODS：數(shù)據(jù)源中的數(shù)據(jù)，經(jīng)過抽取、洗凈、傳輸，在ETL之后裝入本層。本層的數(shù)據(jù)，總體上大多是按照源頭業(yè)務(wù)系統(tǒng)的分類方式而分類的?？紤]后續(xù)可能需要追溯數(shù)據(jù)問題，因此對于這一層就不做過多的數(shù)據(jù)清洗工作，接入原始數(shù)據(jù)即可，數(shù)據(jù)的去噪、去重、異常值處理等過程可以放在后面的DW層完成。DW：從ODS層中獲得的數(shù)據(jù)按照主題建立各種數(shù)據(jù)模型。對通用的核心維度進行聚合操作，算出相應(yīng)的統(tǒng)計指標(biāo)。一張表會涵蓋比較多的業(yè)務(wù)內(nèi)容，其字段較多，因此一般也會稱該層的表為寬表，即一個事實字段、多上維度字段，方便業(yè)務(wù)系統(tǒng)查詢。DAS：主要是提供給數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析使用的數(shù)據(jù)，一般會存放在ES、MySql、Redis、Hive中。2.2.4數(shù)據(jù)分析和指標(biāo)計算通過數(shù)據(jù)計算框架，調(diào)用數(shù)據(jù)計算服務(wù)，包括指標(biāo)計算服務(wù)、分類服務(wù)、特征分析服務(wù)等。服務(wù)之間的依賴關(guān)系、先后執(zhí)行順序，由計算框架統(tǒng)一調(diào)度，大體上分為實時計算和離線計算。通過Spark、Hive腳本，按照事先定義好的維度表和算法庫，計算結(jié)果。將計算結(jié)果保存到DW中。2.2.5業(yè)務(wù)應(yīng)用數(shù)據(jù)訪問接口把DAS層數(shù)據(jù)統(tǒng)一提供給各種應(yīng)用，包括大屏、PC、手機端。

3代表性及推廣價值本創(chuàng)新解決方案已在交通運輸部-交通運輸調(diào)度與應(yīng)急指揮系統(tǒng)工程（部長一號工程）、北京大興國際機場綜合交通樞紐項目、北京交通委綜合交通運行協(xié)調(diào)指揮中心二期、泰州姜堰綜合交通大數(shù)據(jù)平臺、寧波海曙TOCC平臺、智慧順德之智慧交通一期、四川省交通廳交通旅游大數(shù)據(jù)融合平臺、武漢市交通運輸行業(yè)運行指數(shù)系統(tǒng)等項目實現(xiàn)核心功能落地應(yīng)用，下一步將在全國各大城市進行應(yīng)用示范，立足京津冀、輻射全國城市群。本解決方案對服務(wù)模式的創(chuàng)新具體如下：（1）數(shù)字交通創(chuàng)新創(chuàng)業(yè)服務(wù)模式創(chuàng)新行業(yè)數(shù)據(jù)資源開發(fā)利用模式，激活數(shù)據(jù)增值能力，引導(dǎo)鼓勵企業(yè)和社會機構(gòu)開展交通運輸服務(wù)大數(shù)據(jù)創(chuàng)新應(yīng)用，推動交通運輸服務(wù)聯(lián)動創(chuàng)新、融合創(chuàng)新、萬眾創(chuàng)新。吸引人才與社會資源，帶動物流服務(wù)降本增效、交通政務(wù)一體化服務(wù)、交通旅游融合服務(wù)等。（2）綜合運輸大數(shù)據(jù)挖掘與AI應(yīng)用通過不斷創(chuàng)新性研發(fā)數(shù)據(jù)的智慧化應(yīng)用，準(zhǔn)確研判交通運行態(tài)勢，實時感知突發(fā)事件，準(zhǔn)確分析視頻圖像資源，提供精細(xì)化信息服務(wù)，有效支撐交通主管部門的交通決策，更好地推動交通行業(yè)運行監(jiān)管。（3）全出行鏈一體化的智慧服務(wù)打造全出行鏈一體化的智慧服務(wù)平臺，實現(xiàn)出行等待時間的最小化、響應(yīng)時間的最小化、狀態(tài)切換時間的最小化，推動“門到門”的全過程服務(wù)，打造一次支付，全程換乘無縫銜接，統(tǒng)一規(guī)劃行程并調(diào)配多模式的交通資源，最大程度地實現(xiàn)不同交通工具間的換乘銜接，減少中轉(zhuǎn)過程的時間損耗，改善交通系統(tǒng)內(nèi)部的服務(wù)和外部的銜接，使整個出行過程更高效，最終減少整個社會的出行成本。（4）數(shù)據(jù)運營通過數(shù)據(jù)開放，實現(xiàn)價值挖掘，獲得收入分成。在政府助力之下實現(xiàn)數(shù)據(jù)的先期匯聚，通過數(shù)據(jù)脫敏交易或數(shù)據(jù)分析服務(wù)，獲得運營回報，并在政府授權(quán)基礎(chǔ)上，將部分?jǐn)?shù)據(jù)脫敏面向企業(yè)、公眾有序開放。通過提供產(chǎn)業(yè)基金及眾創(chuàng)空間實現(xiàn)數(shù)據(jù)資產(chǎn)化和證券化，對一些有價值的行業(yè)中小微企業(yè)進行培育，完善行業(yè)大數(shù)據(jù)產(chǎn)業(yè)鏈，將傳統(tǒng)的行業(yè)數(shù)據(jù)資源管理升級