內(nèi)河船舶大數(shù)據(jù)關(guān)鍵技術(shù)研究

1、    內(nèi)河船舶大數(shù)據(jù)關(guān)鍵技術(shù)研究    萬輝+張建雄+高嵩+蔡浩摘 要：為了解決內(nèi)河船舶信息孤島、屏障問題，實現(xiàn)船舶海量數(shù)據(jù)的快速整合應(yīng)用，本文對內(nèi)河船舶數(shù)據(jù)互聯(lián)互通、共享交換的實際情況進行了綜合分析，對內(nèi)河船舶大數(shù)據(jù)關(guān)鍵技術(shù)展開研究。厘清內(nèi)河各類船舶數(shù)據(jù)間的關(guān)系，確定船舶大數(shù)據(jù)建設(shè)內(nèi)容，探索船舶大數(shù)據(jù)處理技術(shù)方法、船舶大數(shù)據(jù)存儲、船舶大數(shù)據(jù)共享與服務(wù)，為船舶大數(shù)據(jù)平臺建設(shè)打下理論技術(shù)基礎(chǔ)。關(guān)鍵詞：船舶；大數(shù)據(jù)；數(shù)據(jù)倉庫；數(shù)據(jù)挖掘；etl；數(shù)據(jù)抓?。簎662.3 ：a ：10067973（2017）11-0047-04大數(shù)據(jù)是一種新處理模式下具備更強決

2、策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)比較有代表性的定義是4v定義，即規(guī)模性（volume）、多樣性（variety）、高速性（velocity）和價值性（value）。大數(shù)據(jù)的特點決定了在大數(shù)據(jù)時代，傳統(tǒng)的數(shù)據(jù)處理技術(shù)必需有革命性的提升。長江是我國的“黃金水道”，長江流域創(chuàng)造超過40%的國內(nèi)生產(chǎn)總值和約35%的外貿(mào)進出口額，是沿江地區(qū)交通物流和經(jīng)濟社會可持續(xù)發(fā)展的重要命脈。船舶作為長江航運體系的載體，它承載著長江航運機構(gòu)的各類業(yè)務(wù)。各航運機構(gòu)間種類繁多的船舶業(yè)務(wù)系統(tǒng)運行時產(chǎn)生的數(shù)據(jù)龐大、增長快速、類型豐富，符合大數(shù)據(jù)的特征。伴隨著長江航運信息化的加速發(fā)展，各

3、類船舶業(yè)務(wù)數(shù)據(jù)會持續(xù)爆炸式的增長，由于各自機構(gòu)系統(tǒng)之間相互獨立運行，難以實現(xiàn)信息共享交換，各機構(gòu)間各司其責，行政管理上的缺失，造成了人為的行政壁壘，阻礙了信息數(shù)據(jù)的整合應(yīng)用，形成內(nèi)河數(shù)據(jù)孤島， 傳統(tǒng)的數(shù)據(jù)處理技術(shù)遇到瓶頸，不能滿足航運機構(gòu)從海量數(shù)據(jù)中快速獲取船舶信息的需求，內(nèi)河船舶大數(shù)據(jù)技術(shù)的研究是長江航運信息化、智能化發(fā)展的必然要求；也是充分整合利用現(xiàn)有內(nèi)河船舶數(shù)據(jù)資源，徹底解決內(nèi)河船舶數(shù)據(jù)孤島、屏障問題，實現(xiàn)內(nèi)河船舶數(shù)據(jù)的互聯(lián)互通、共享應(yīng)用的手段。鑒于此，本文開展內(nèi)河船舶大數(shù)據(jù)關(guān)鍵技術(shù)研究，厘清內(nèi)河各類船舶數(shù)據(jù)間的關(guān)系，探索船舶大數(shù)據(jù)整合技術(shù)、方法。1 船舶大數(shù)據(jù)建設(shè)分析1.1 內(nèi)河船舶數(shù)

4、據(jù)現(xiàn)狀目前，長江航運機構(gòu)開發(fā)的各類業(yè)務(wù)應(yīng)用系統(tǒng)均建立了各自的后臺數(shù)據(jù)庫，基本涵蓋了所有航運業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)庫存儲。但由于各業(yè)務(wù)應(yīng)用系統(tǒng)相對獨立，條塊分割的建設(shè)模式使得這些應(yīng)用系統(tǒng)的后臺數(shù)據(jù)庫成為了一個個信息孤島。系統(tǒng)間所需信息需要人工轉(zhuǎn)錄，或通過數(shù)據(jù)接口進行異步共享。不同系統(tǒng)間數(shù)據(jù)結(jié)構(gòu)交叉嚴重，數(shù)據(jù)在不同系統(tǒng)間重復(fù)錄入，數(shù)據(jù)接口過多過雜，數(shù)據(jù)同步不及時，導(dǎo)致數(shù)據(jù)的時效性、一致性、準確性差。1.2 船舶數(shù)據(jù)關(guān)系分析長江航運船舶業(yè)務(wù)主要包括：船舶ais動態(tài)監(jiān)管、船舶vts交管、lrit、船舶登記、船舶安檢、在港作業(yè)、船舶簽證、危險品管理、綜合統(tǒng)計等業(yè)務(wù)處理，主要業(yè)務(wù)涉及的數(shù)據(jù)項如下：船舶ais動態(tài)監(jiān)

5、管：mmsi、船名、航艏向、航速、經(jīng)度、緯度、更新時間等。船舶vts交管：編號、船名、船舶位置、航速、更新時間等。船舶登記：船舶編號、船舶登記號、中文船名、英文船名、船舶呼號、imo編號、船舶曾用名、船籍港等。安全檢查：船舶編號、檢查日期、檢查地點、是否有缺陷、滯留時間、滯留原因、船級社、安全檢查缺陷、安全檢查項目等。在港作業(yè)：船舶編號、作業(yè)代碼、單位名稱、單位地址、申請時間、聯(lián)系人、聯(lián)系電話等。船舶簽證：船舶編號、進出港代碼、預(yù)到日期、船舶類型、開往港口、旅客總數(shù)、本港卸貨數(shù)、本港裝貨數(shù)、載貨種類、聯(lián)系人、聯(lián)系電話等。通過分析，船舶信息間的關(guān)系都是通過船舶動態(tài)系統(tǒng)中船舶編號來唯一關(guān)聯(lián)。船員、

6、船公司等船舶輔助信息，要建立與船舶基本信息的關(guān)聯(lián)，同樣是通過船舶編號進行關(guān)聯(lián)。船舶ais、vts系統(tǒng)中并未包含船舶編號數(shù)據(jù)，要想實現(xiàn)與船舶基本信息的關(guān)聯(lián)，需要從船舶名稱入手，采用數(shù)據(jù)庫（oracle/sqlserver）中間件實現(xiàn)中英文船名自動匹配關(guān)聯(lián)及人工預(yù)處理關(guān)聯(lián)，最終得到完整的船舶綜合數(shù)據(jù)。船舶ais、vts系統(tǒng)都包含了船舶位置信息，要實現(xiàn)數(shù)據(jù)關(guān)聯(lián)的同時，還要解決數(shù)據(jù)融合問題，利用ais、vts的位置數(shù)據(jù)，通過kalman濾波器進行信號的預(yù)處理，得到相對準確的船舶定位信息。將定位信息進行匯總?cè)诤希〝?shù)據(jù)的時空對準、坐標轉(zhuǎn)換，結(jié)合上面描述的關(guān)聯(lián)數(shù)據(jù)，通過融合算法進行船舶動態(tài)數(shù)據(jù)的整體融合

7、，得到準確的船舶動態(tài)融合數(shù)據(jù)。1.3 船舶大數(shù)據(jù)建設(shè)內(nèi)容分析船舶大數(shù)據(jù)建設(shè)要遵循組織合理、結(jié)構(gòu)清晰、冗余度低、便于操作、易于維護、安全可靠、擴充性好的原則，并建立大數(shù)據(jù)實時更新機制，以及各區(qū)域和各部門單位船舶協(xié)同管理的數(shù)據(jù)共享機制。船舶大數(shù)據(jù)的建設(shè)將以船舶基礎(chǔ)信息為核心，重構(gòu)并形成支撐船舶管理的基礎(chǔ)數(shù)據(jù)庫（船舶基礎(chǔ)庫、船員基礎(chǔ)庫、船公司基礎(chǔ)庫）、船舶動態(tài)庫、數(shù)據(jù)應(yīng)用庫，數(shù)據(jù)庫的框架結(jié)構(gòu)應(yīng)以便于后期完善、擴展和改造等為標準進行搭建。基礎(chǔ)數(shù)據(jù)庫：數(shù)據(jù)共享程度最高，是多個業(yè)務(wù)應(yīng)用系統(tǒng)的基礎(chǔ)，具有基礎(chǔ)性、全局性特征。包括船舶基礎(chǔ)數(shù)據(jù)、船員基礎(chǔ)數(shù)據(jù)、船公司基礎(chǔ)數(shù)據(jù)，以及相關(guān)證書基礎(chǔ)數(shù)據(jù)。動態(tài)數(shù)據(jù)庫：數(shù)據(jù)

8、主要用于支撐時間敏感性業(yè)務(wù)應(yīng)用的開展，由動態(tài)業(yè)務(wù)過程產(chǎn)生。包括船舶ais、vts、進出口岸查驗、船舶申報、船舶簽證、船舶安全檢查、事故處理、船舶違章、危險品申報數(shù)據(jù)等。數(shù)據(jù)應(yīng)用數(shù)據(jù)庫：此類數(shù)據(jù)主要為了滿足第三方開發(fā)系統(tǒng)業(yè)務(wù)應(yīng)用的需求，進行深度挖掘、抽取、整合形成。2 船舶大數(shù)據(jù)關(guān)鍵技術(shù)建立船舶大數(shù)據(jù)，是要在網(wǎng)絡(luò)互聯(lián)互通及各業(yè)務(wù)系統(tǒng)共同提供數(shù)據(jù)信息的前提下，讓各類離散業(yè)務(wù)數(shù)據(jù)資源能夠?qū)崿F(xiàn)多角度、全方位的共享應(yīng)用。endprint通過船舶大數(shù)據(jù)，可以把各類船舶相關(guān)數(shù)據(jù)進行異構(gòu)重組，形成統(tǒng)一、虛擬、完整的業(yè)務(wù)信息整合平臺，同時能夠提供一種資源協(xié)同、高性能計算、管理及應(yīng)用服務(wù)的能力。船舶大數(shù)據(jù)的數(shù)據(jù)處

9、理包括采集與加工、存儲與處理、共享與服務(wù)三大層次。2.1 數(shù)據(jù)的采集與加工技術(shù)船舶大數(shù)據(jù)建設(shè)的核心既是對各類船舶數(shù)據(jù)的采集與加工，從圖1可以分析得到，信息采集層由四部分組成，一是由外部的信息采集來組成；二是來源于分布在各地、各單位的異源數(shù)據(jù)庫；三是來至網(wǎng)絡(luò)的信息抓??；最后是人工錄入數(shù)據(jù)。所有這些數(shù)據(jù)源的特點都是異構(gòu)、分布、具備相關(guān)性、大小規(guī)模不等。2.1.1 數(shù)據(jù)采集技術(shù)由于各種數(shù)據(jù)不是在統(tǒng)一的時間生成，數(shù)據(jù)在進入數(shù)據(jù)倉庫之前需要經(jīng)過大量的運算，為了不影響原有系統(tǒng)的正常運行和保證導(dǎo)入數(shù)據(jù)倉庫數(shù)據(jù)的正確性與有效性，可設(shè)置中間（臨時）數(shù)據(jù)庫。中間（臨時）數(shù)據(jù)庫起所有數(shù)據(jù)從傳統(tǒng)數(shù)據(jù)庫導(dǎo)入到數(shù)據(jù)倉庫的

10、過渡作用。 數(shù)據(jù)標準化歸一不同來源所得到的相同字段數(shù)據(jù)定義可能不一樣，因此首先需要將數(shù)據(jù)字段的定義標準化，把它們的定義和取值區(qū)間統(tǒng)一起來，從而消除變量之間不同類型數(shù)值之間的懸殊差異。進行數(shù)據(jù)標準化需要定義各類數(shù)據(jù)標準化整合規(guī)則。包括：定義數(shù)據(jù)屬性、字典、數(shù)據(jù)解析規(guī)則、整合對照表、對應(yīng)的數(shù)據(jù)整合處理方式及數(shù)據(jù)檢測條件等六項內(nèi)容。消除數(shù)據(jù)的主體差異。對各類船舶主題數(shù)據(jù)進行人工梳理及分析，然后將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)抽取到臨時中間層后進行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫。 異源數(shù)據(jù)庫及文件數(shù)據(jù)采集技術(shù)對于只需一次性導(dǎo)入的數(shù)據(jù)可以遵循“數(shù)據(jù)元提取-數(shù)據(jù)清理-數(shù)據(jù)入庫

11、”的基本步驟完成數(shù)據(jù)采集。而對于需要定期或?qū)崟r進行數(shù)據(jù)同步與交換的數(shù)據(jù)源，應(yīng)通過數(shù)據(jù)交換平臺同步交換抽取源數(shù)據(jù)，再進行上述處理。數(shù)據(jù)同步交換規(guī)則及內(nèi)容：利用中間件直接訪問各數(shù)據(jù)系統(tǒng)（數(shù)據(jù)庫或者文件系統(tǒng)），同時建立靈活的數(shù)據(jù)導(dǎo)入方式；向中間（臨時）數(shù)據(jù)庫導(dǎo)入數(shù)據(jù)，創(chuàng)建統(tǒng)一規(guī)則的數(shù)據(jù)導(dǎo)入環(huán)境；設(shè)定用戶權(quán)限，來區(qū)分不同用戶應(yīng)導(dǎo)入的相應(yīng)的數(shù)據(jù)內(nèi)容，確保不同用戶間導(dǎo)入數(shù)據(jù)時不出現(xiàn)混亂操作?；旧夏苻D(zhuǎn)換當下流行的數(shù)據(jù)庫數(shù)據(jù)（例如sqlserver、oracle、sybase、db2、文件型excel數(shù)據(jù)表及其它的文本存儲的數(shù)據(jù)格式。各類的數(shù)據(jù)的同步交換處理都有相應(yīng)的接口模塊，都會有統(tǒng)一數(shù)據(jù)接口對接規(guī)則，這

12、樣能夠?qū)崿F(xiàn)對新的數(shù)據(jù)格式的快速增加、識別、轉(zhuǎn)換。實際操作時可以根據(jù)具體情況，靈活選擇數(shù)據(jù)抽取方案。如對于船舶基礎(chǔ)數(shù)據(jù)進行采集時，可以采用etl工具直接連接各應(yīng)用系統(tǒng)數(shù)據(jù)庫將數(shù)據(jù)抽取到集中數(shù)據(jù)庫中進行處理。而對于動態(tài)過程中產(chǎn)生的數(shù)據(jù)（如船舶簽證、ais、vts等），由于涉及到實時數(shù)據(jù)抽取，可根據(jù)情況選擇如下方案：將實時和歷史數(shù)據(jù)分開處理。周期性的將各單位的歷史數(shù)據(jù)抽取到集中數(shù)據(jù)庫中。通過跨數(shù)據(jù)源訪問功能直接使用穿透鉆取技術(shù)從應(yīng)用服務(wù)中鉆取到實時的數(shù)據(jù)。使用數(shù)據(jù)同步工具對數(shù)據(jù)庫進行實時同步。對于手工填報數(shù)據(jù)和文件數(shù)據(jù)，建議采用指定格式（如excel、word）上傳填報或者基于系統(tǒng)交互頁面的填報，通

13、過etl工具導(dǎo)入數(shù)據(jù)庫中。 數(shù)據(jù)抓取技術(shù)船舶大數(shù)據(jù)還有一類數(shù)據(jù)來源依靠網(wǎng)絡(luò)爬蟲形式的數(shù)據(jù)抓取，數(shù)據(jù)抓取方案由目標設(shè)定、規(guī)則配置、任務(wù)執(zhí)行、解析處理、人工判定五部分組成。（1）利用工具來配置數(shù)據(jù)抓取目標。（2）配置規(guī)則來實現(xiàn)數(shù)據(jù)的完整抓取。（3）根據(jù)配置文件執(zhí)行抓取任務(wù)。（4）抓取程序訪問數(shù)據(jù)列表地址來解析每一個數(shù)據(jù)項，利用正則匹配實現(xiàn)對html內(nèi)容解析抓取。（5）人工判斷。抓取只是簡單的實現(xiàn)了網(wǎng)絡(luò)數(shù)據(jù)的采集，信息內(nèi)容的準確性需要人工判定校準。2.1.2 數(shù)據(jù)清洗加工技術(shù) 數(shù)據(jù)的清洗過濾或者修改那些不符合要求的數(shù)據(jù)是作為數(shù)據(jù)清洗的主要任務(wù)。數(shù)據(jù)清洗不是簡單的更新數(shù)據(jù)記

14、錄，而是對數(shù)據(jù)進行預(yù)處理，清洗過后的數(shù)據(jù)應(yīng)能滿足沒有數(shù)據(jù)異常、沒有近似重復(fù)記錄的要求，并可以支持船舶數(shù)據(jù)的集成。技術(shù)手段：數(shù)據(jù)人工調(diào)整：通過匹配檢查，發(fā)現(xiàn)并標識出違反規(guī)則的一類數(shù)據(jù)，然后經(jīng)過人工操作對這類數(shù)據(jù)進行相應(yīng)的結(jié)構(gòu)調(diào)整。計算機自動調(diào)整：通過分析樣本預(yù)先制定出數(shù)據(jù)清洗規(guī)則的集合，再利用專門的etl工具或自行編制的批處理工具完成數(shù)據(jù)的清洗。 缺失值的處理對于數(shù)據(jù)集中的數(shù)據(jù)，存在有這樣兩種情況：（1）數(shù)據(jù)中有大量缺失值的屬性，如確定是無效數(shù)據(jù)，通常采取的措施可以有：從整合后的數(shù)據(jù)集中直接刪除；作刪除標記。（2）對于比較重要的屬性，也會存在少量缺失值，需要將數(shù)據(jù)補充完整后進行一系

15、列的數(shù)據(jù)挖掘。可以采取以下方式進行數(shù)據(jù)填補：需要用一個相同的并且不會引起使用歧義的常數(shù)對象來替換缺失的屬性值，例如字符串就直接填入空格；數(shù)值類直接填入0或者允許的缺省數(shù)據(jù)值；利用該屬性的最可能的值填充缺失值。（3）清洗相似的重復(fù)數(shù)據(jù)。相似重復(fù)記錄清洗內(nèi)容包括如下兩項，一是針對兩個數(shù)據(jù)集的清洗，另外一個是針對合并后的數(shù)據(jù)集進行清洗。首先是記錄匹配過程，即識別相似重復(fù)記錄并標識與這個重復(fù)記錄相同現(xiàn)實實體對象。然后，將找出的相似重復(fù)記錄采用特定規(guī)則來合并成一個包含更多屬性的新的實體對象，確保信息記錄無冗余，最終在數(shù)據(jù)集中刪除多余的記錄。（4）數(shù)據(jù)規(guī)模的消減。對數(shù)據(jù)進行了缺失值清理后，考慮進行人選或機

16、選，刪除冗余屬性或者與船舶數(shù)據(jù)無關(guān)的屬性。2.2 采集數(shù)據(jù)的存儲及處理技術(shù)endprint船舶數(shù)據(jù)的存儲與處理，它的任務(wù)是對采集到的各種信息進行分析、存儲、處理、發(fā)布。服務(wù)的動態(tài)創(chuàng)建及服務(wù)的即時發(fā)現(xiàn)是船舶大數(shù)據(jù)進行信息服務(wù)時要具備的重點功能。要實現(xiàn)異構(gòu)數(shù)據(jù)的共享，可以將采集到的信息作為服務(wù)，來動態(tài)的創(chuàng)建、發(fā)現(xiàn)來自于不同分布范圍的服務(wù)信息，做到對數(shù)據(jù)的集中、分類并深度處理分析。內(nèi)容如下：創(chuàng)建數(shù)據(jù)管理中心，通過交互操作實現(xiàn)對信息的請求、識別、接收、融合、編輯、更新、管理等。大數(shù)據(jù)庫創(chuàng)建，制定數(shù)據(jù)建設(shè)標準，將采集到的船舶信息存儲在數(shù)據(jù)庫或者其他存儲介質(zhì)。數(shù)據(jù)倉庫挖掘，分析原數(shù)據(jù)庫、擬建數(shù)據(jù)庫、exc

17、el等數(shù)據(jù)文件的基本結(jié)構(gòu)及內(nèi)容，設(shè)計挖掘規(guī)則與概念模型，進行etl深度分析處理。2.3 數(shù)據(jù)的共享與服務(wù)技術(shù)船舶數(shù)據(jù)的共享與服務(wù)可以針對不同用戶的需求，直接aoc將核心層處理分析后的數(shù)據(jù)發(fā)送到各用戶終端，用戶即可得到所需業(yè)務(wù)數(shù)據(jù)服務(wù)。建設(shè)數(shù)據(jù)交換平臺，數(shù)據(jù)交換平臺可基于數(shù)據(jù)中間件產(chǎn)品實現(xiàn)，組成一套完整的數(shù)據(jù)交換節(jié)點，在每個前置及數(shù)據(jù)采集點部署該交換節(jié)點，實現(xiàn)對內(nèi)對外的數(shù)據(jù)交換。實現(xiàn)數(shù)據(jù)應(yīng)用共享服務(wù)，將核心數(shù)據(jù)層分析處理過的數(shù)據(jù)推送到不同的用戶終端，并將這些信息利用中間件的方式進行匯總、整理，實現(xiàn)業(yè)務(wù)應(yīng)用層面的數(shù)據(jù)共享，并能提供共享的數(shù)據(jù)接口服務(wù)。采用webservice+ssl+xml+jso

18、n接口技術(shù)，按船舶、船員、業(yè)務(wù)分類設(shè)計開發(fā)一套標準統(tǒng)一的船舶大數(shù)據(jù)接口服務(wù)，用來對內(nèi)對外提供數(shù)據(jù)存儲、更新、查詢服務(wù)，保障船舶大數(shù)據(jù)運行的安全性、穩(wěn)定性、可靠性及高可用性。3 結(jié)語通過內(nèi)河船舶大數(shù)據(jù)關(guān)鍵技術(shù)研究，能夠理清內(nèi)河各類船舶數(shù)據(jù)間的關(guān)系，解決內(nèi)河船舶信息孤島問題，實現(xiàn)船舶數(shù)據(jù)的共享應(yīng)用；能夠為船舶大數(shù)據(jù)平臺建設(shè)打下技術(shù)理論基礎(chǔ)；能夠獲得一些大型船舶綜合應(yīng)用平臺開發(fā)的思路、方法；能夠獲得更多關(guān)于船舶大數(shù)據(jù)行業(yè)應(yīng)用的啟發(fā)。參考文獻：1 gartner. top ten strategic technology trend for 2012eb/ol.（2011-11-05）2014-08-17. http：/.2 孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)j.計算機研究與發(fā)展， 2013，50（1）：146-169.3 張笛， 萬程鵬， 嚴新平. 基于事故特征分析的長江礙航風險研究j. 中國航海， 2013， 36（2）：94-99.4 徐武雄， 初秀民， 劉興龍. 海事業(yè)務(wù)數(shù)據(jù)挖掘和共享關(guān)鍵技術(shù)研究c/ 中國智能交通年會. 2015.5 文哲， 何正偉， 辛旭日，等. 基于云計算的海事信息處理模式j(luò). 中國航海， 2016， 39（2）：50-54.6 整合海事系統(tǒng)業(yè)務(wù)信息資源促進海事協(xié)同管理 盧艷民 - 天津航海- 2011-03-