淺析機車智能視頻監(jiān)控系統(tǒng)研究

淺析機車智能視頻監(jiān)控系統(tǒng)研究摘要：在機車運行中需通過視頻監(jiān)控系統(tǒng)對乘務(wù)員的行為操作進行監(jiān)控，以判斷其是否符合相關(guān)規(guī)范，但既有視頻監(jiān)控系統(tǒng)存在數(shù)據(jù)結(jié)構(gòu)異狀，視頻分析方法受限、系統(tǒng)兼容性差、系統(tǒng)綜合聯(lián)動分析工作量大等問題，無法滿足實際運營需求，本文設(shè)計了一套機車智能視頻監(jiān)控系統(tǒng)，利用圖像識別技術(shù)、行為即時分析算法等智能分析技術(shù)，對機車運行中乘務(wù)員的作業(yè)行為圖像進行分析，監(jiān)督乘務(wù)員崗位行為操作是否符合規(guī)范要求，徹底消除重載鐵路高位運輸中存在的重大行車安全隱患，提高視頻監(jiān)控的效率。關(guān)鍵詞：智能視頻監(jiān)控系統(tǒng)；圖像識別；行為分析；操作規(guī)范根據(jù)《鐵路機車操作規(guī)則》機車乘務(wù)員確認呼喚標準，要求機車乘務(wù)員在行車過程中進行信號確認時，必須使用一套規(guī)范的手勢，以此來提高機車運行的安全性。但在實際行車中，從技術(shù)角度看，既有的機車視頻監(jiān)控系統(tǒng)無法對乘務(wù)員的動作行為進行實時監(jiān)控，因缺乏對乘務(wù)員規(guī)范行為操作的有效監(jiān)督，導(dǎo)致很多乘務(wù)員并未按照機車標準操作規(guī)范行車，從管理角度看，也無法實現(xiàn)添乘監(jiān)督全覆蓋；從高位運輸密度看，神朔鐵路線路特殊，線路隨山勢起伏曲折，重車線12‰的長達下坡道或長達上坡道，就存在三處，線路曲線半徑最少400米，機車乘務(wù)員的操作是否規(guī)范標準，對行車安全至關(guān)重要，因此存在著極其嚴重的行車安全隱患。一、既有機車視頻監(jiān)控系統(tǒng)存在以下問題。1）數(shù)據(jù)結(jié)構(gòu)異狀現(xiàn)場運用的視頻系統(tǒng)頗多，因廠家相異，視頻系統(tǒng)功能、性能、清晰度以及軟硬件兼容性等技術(shù)參數(shù)不一而足，不相類似，考慮知識產(chǎn)權(quán)保護，主要表現(xiàn)在視頻類型多樣、格式不一；轉(zhuǎn)儲、調(diào)閱軟件多樣化；數(shù)據(jù)缺失無法卡控等。2）現(xiàn)場場景多樣化因前期視頻系統(tǒng)功能建設(shè)的需要，以及受當時視頻系統(tǒng)等技術(shù)發(fā)展的限制，視頻系統(tǒng)建設(shè)比較片面、單一，缺乏后期建設(shè)的兼容性，主要表現(xiàn)在視頻系統(tǒng)功能建設(shè)重點考慮作業(yè)過程、機車信息以及機車環(huán)境等方面。3）視頻分析方法受限因現(xiàn)場視頻系統(tǒng)旁雜，生產(chǎn)廠家眾多，導(dǎo)致多種分析軟件數(shù)據(jù)匹配起來相當困難；或者各種視頻系統(tǒng)無法綜合聯(lián)動；甚至現(xiàn)場關(guān)鍵處所、重要地段、關(guān)鍵作業(yè)環(huán)節(jié)、重點操作行為等覆蓋率嚴重不足，或者考慮不周全，更主要的是缺乏大數(shù)據(jù)概念，缺少系統(tǒng)智能分析功能。4）勞產(chǎn)率底下，綜合資源浪費多因現(xiàn)場視頻系統(tǒng)多，產(chǎn)生的視頻信息量大，正常情況一臺車一天就能產(chǎn)生上百G的視頻，導(dǎo)致視頻分析工作量非常巨大，各生產(chǎn)單位、生產(chǎn)崗位的職責(zé)相異，導(dǎo)致在LKJ、音視頻分析崗需要大量的人力物力成本；現(xiàn)場需要設(shè)置專崗專人進行轉(zhuǎn)儲、分析行車違規(guī)行為，不僅浪費人力成本，且耗時長，易出錯，勞動效率不高；導(dǎo)致人力協(xié)調(diào)、資源配置投入頗多。因此，在此背景下，迫切需要進行機車視頻智能分析系統(tǒng)的研究，將機車視頻圖像結(jié)合機車運行實時信息數(shù)據(jù)，自動實時檢索乘務(wù)員違規(guī)行為，發(fā)現(xiàn)違規(guī)行為時，通過車載顯示終端向乘務(wù)員進行提示；同時通過網(wǎng)絡(luò)向地面系統(tǒng)傳輸報警信息，實現(xiàn)遠程跟蹤；用技術(shù)手段代替人工添乘，通過地面系統(tǒng)結(jié)合LKJ文件實現(xiàn)更加細致準確的行為分析，實現(xiàn)視頻檢查全覆蓋，達到提高乘務(wù)員操作規(guī)范性，保障行車安全的目的；隨著物聯(lián)網(wǎng)、人工智能、當前圖像識別能力、大數(shù)據(jù)等技術(shù)的快速發(fā)展，使通過技術(shù)手段實現(xiàn)視頻自動智能分析化成為可能。不僅可降低大量的人工重復(fù)勞動，同時提高視頻檢測效率，實現(xiàn)對機車視頻管理自動化，大大提高視頻分析效率，而且可以實現(xiàn)行車現(xiàn)場乘務(wù)員行為即時分析，發(fā)現(xiàn)違規(guī)行為并及時提醒，從而降低行車安全事故發(fā)生的幾率。二、機車智能視頻監(jiān)控系統(tǒng)的必要性研究1）研究內(nèi)容系統(tǒng)主要研究地面視頻智能分析，通過圖像識別技術(shù)和行為分析算法，實現(xiàn)對從機車轉(zhuǎn)儲下來的視頻文件加速分析，同時結(jié)合乘務(wù)員行車操作規(guī)范和LKJ監(jiān)控文件，實現(xiàn)離線視頻中違規(guī)行為的快速檢索并自動生成文件報告。同時研究在離線視頻（機車轉(zhuǎn)儲下來的視頻）分析基礎(chǔ)上，利用已經(jīng)研究的行為分析算法，研究車載視頻智能分析主機，將地面算法進行優(yōu)化并移植到車載智能視頻分析主機，結(jié)合機車運行實時數(shù)據(jù)，實現(xiàn)乘務(wù)員行為分析結(jié)果實時預(yù)報警提示，報警警告；并通過機車視頻監(jiān)控預(yù)警系統(tǒng)自帶的傳輸功能模塊將分析結(jié)果及視頻片段上傳至地面服務(wù)器，實時通知地面管理人員。（1）圖像識別技術(shù)是基于人工智能發(fā)展的一個重要科研范疇，它依托大量數(shù)據(jù)信息，在模擬專家經(jīng)驗和已有感知認識的基礎(chǔ)上，利用計算機和數(shù)學(xué)推理的方法對形狀、模式、曲線、數(shù)字、字符格式和圖形進行自動識別完成、評價，通過編制模擬人類圖像識別活動的計算機程序，建立不同的圖像識別模型，是立體視覺、運動分析、數(shù)據(jù)融合等實用技術(shù)的科學(xué)基礎(chǔ)，在導(dǎo)航、地圖與地形配準、自然資源分析、天氣預(yù)報、環(huán)境監(jiān)測、生理病變研究等許多重要領(lǐng)域有著無可代替的實用應(yīng)用價值。因此本文基于鐵路機車運行中，乘務(wù)員行為手勢圖像進行研究，通過研判即時分析識別乘務(wù)員行車過程中不安全行為圖像，達到消除行車嚴重安全隱患之目的。（2）行為分析算法在人工智能分析領(lǐng)域有著廣泛的應(yīng)用背景,如智能監(jiān)控、人機交互、運動員輔助訓(xùn)練、視頻編碼等等，近年來，這些技術(shù)在科研應(yīng)用領(lǐng)域的驅(qū)動之下,行為分析已經(jīng)成為圖像分析、心理學(xué)、神經(jīng)生理學(xué)等相關(guān)領(lǐng)域的研究重點和熱點。本文通過機車視頻智能分析系統(tǒng)研究，著重研究機車運行現(xiàn)狀及目前存在的主要安全隱患問題，通過研究機車運行實時數(shù)據(jù)和操作行為規(guī)矩，實現(xiàn)了對乘務(wù)員手比、站立、開側(cè)窗、離崗、姿勢異常、做無關(guān)行為的圖像行為進行實時分析，并通過車載顯示終端報警，同時對所有分析結(jié)果通過機車視頻監(jiān)控預(yù)警系統(tǒng)自帶的傳輸功能模塊實時傳至地面服務(wù)器，同時將違規(guī)行為的圖片、視頻片段上傳。（3）智能視頻監(jiān)控系統(tǒng)根據(jù)分析邏輯實現(xiàn)乘務(wù)員以下行為即時分析：①手比，主要是確認信號機前、特殊地段，乘務(wù)員是否手比、是否無聲手比、調(diào)車作業(yè)時首架信號是否二人同側(cè)手比確認；②起身開側(cè)窗并探頭窗外，主要判斷機車升弓、動車前乘務(wù)員是否起身開側(cè)窗并探頭窗外；③站立，主要時針對副司機需要站立的區(qū)段判斷副司機是否站立；④司機室人數(shù)，主要用于判斷雙人值乘是否少人、是否有閑雜人或超過設(shè)定人數(shù)；⑤司機離崗，主要是確認行車中是否離開座位、停輪后司機室是否無人值守；⑥姿勢異常，主要是確認行車過程中是否有腳搭操作臺、停輪后是否平躺座椅；⑦無關(guān)行為，主要是確認行車過程中是否玩手機等電子設(shè)備；⑧巡檢，主要是確認聯(lián)動分析，行車過程中副司機是否去另一端巡檢，次數(shù)是否滿足要求；⑨運行中精神狀態(tài)，主要是確認機車運行中，乘務(wù)員是否精神不振、頻繁點頭、趴著、躺著等不了行為；⑩視頻質(zhì)量問題分析，主要是確認視頻攝像頭角度不正、攝像頭模糊、無語音、雜音大等。三、機車智能視頻監(jiān)控系統(tǒng)架構(gòu)及技術(shù)要求1.機車智能視頻監(jiān)控系統(tǒng)原理機車智能視頻監(jiān)控系統(tǒng)由地面視頻智能分析系統(tǒng)、車載智能設(shè)備和數(shù)據(jù)傳輸系統(tǒng)三部分組成，詳見機車視頻智能分析系統(tǒng)原理圖。機車運行中車載攝像頭自動對乘務(wù)員作業(yè)行為進行視頻錄制，并通過車載時實分析系統(tǒng)將違規(guī)視頻片段通過4G網(wǎng)絡(luò)傳輸至地面服務(wù)器并報警。等機車回到神木北機務(wù)段內(nèi)，自動與整備場5G基站連接，快速將所有視頻資料傳輸至地面服務(wù)器，地面智能分析系統(tǒng)自動對所有視頻進行分析（地面分析系統(tǒng)相對車載分析系統(tǒng)要復(fù)雜的多，分析的內(nèi)容更詳細，準確率更高）。違規(guī)視頻片段用紅色標記，再通過分析人員確認將分析結(jié)果通報至機務(wù)段安全監(jiān)察部，達到控制和減少乘務(wù)員違規(guī)作業(yè)的目的。(1)地面智能分析系統(tǒng)由地面網(wǎng)絡(luò)交換機、地面視頻智能分析服務(wù)器、地面分析終端等組成，通過對機車視頻監(jiān)控轉(zhuǎn)儲下來的視頻文件與LKJ文件結(jié)合，并結(jié)合乘務(wù)員操縱規(guī)范，以視頻智能分析服務(wù)器為硬件基礎(chǔ)，視頻算法為核心實現(xiàn)乘務(wù)員行為的快速分析，并自動生成行為分析報告。同時自動將機車傳輸?shù)乃形募M行聯(lián)動分析，并將結(jié)果傳輸至地面分析終端。(2)車載智能設(shè)備由車載智能視頻分析主機、數(shù)字高清攝像頭、車載顯示終端組成；主要是對乘務(wù)員操作行為進行分析，結(jié)合機車運行實時數(shù)據(jù)，如果發(fā)現(xiàn)違規(guī)行為自動將違規(guī)視頻截取并通過機車視頻監(jiān)控預(yù)警系統(tǒng)自帶的傳輸功能模塊上傳至地面視頻智能分析服務(wù)器，并通過地面分析終端進行預(yù)警，同時車載智能分析主機自動語音提示乘務(wù)員及時糾正違規(guī)行為。(3)數(shù)據(jù)傳輸網(wǎng)由4G和5G傳輸網(wǎng)絡(luò)等組成，其中4G網(wǎng)絡(luò)的主要作用是：一是、當車載智能視頻分析主機報警時將違規(guī)視頻片段傳輸?shù)降孛娣?wù)器，地面工作人員可以實時了解到乘務(wù)員狀況，防止事故進一步擴大。二是、地面工作人員可以通過4G網(wǎng)絡(luò)實時觀察乘務(wù)員操作情況及乘務(wù)員工作狀態(tài)。5G網(wǎng)絡(luò)主要作用是：當機車回到神木北機務(wù)段整備場，5G基站自動與機車5G模塊聯(lián)通，將機車視頻文件、LKJ文件、BCU文件、DTE文件及LCU文件等全部傳輸至地面視頻智能分析服務(wù)器。2.機車智能視頻監(jiān)控系統(tǒng)技術(shù)要求（1）車載視頻智能分析主機的性能指標。主機支持12路數(shù)字高清攝像頭接入，并滿足傳統(tǒng)視頻監(jiān)控功能如本地硬盤視頻存儲、U盤存儲；并所有接入攝像頭支持實時數(shù)據(jù)疊加；能夠通過機車視頻監(jiān)控預(yù)警系統(tǒng)自帶的傳輸功能模塊實現(xiàn)視頻遠程實時瀏覽、回放；遠程實時視頻數(shù)據(jù)傳輸支持根據(jù)網(wǎng)絡(luò)狀態(tài)碼率動態(tài)可調(diào)。主機支持2*2.5寸硬盤存儲，最大支持2T,硬盤盒采用快拆設(shè)計；視頻編碼值滿足H.265/H.264,音頻壓縮標準滿足G7111A/G711U/ADPCM；智能分析模塊可同時分析不小于4路的視頻圖像，功耗不大于25W；（2）車載顯示終端性能指標顯示終端屏幕滿足10.4英寸；分辨率大于等于1024X768。支持U盤實際存儲視頻監(jiān)控數(shù)據(jù)；支持車地?zé)o線對講；支持觸摸操作；工作溫度滿足-20℃∽+70℃。（3）視頻離線分析性能指標智能系統(tǒng)能夠根據(jù)操規(guī)實現(xiàn)乘務(wù)員手比、站立、開側(cè)窗、離崗、姿勢異常、做無關(guān)行為進行分析，并自動生成行為分析報表。報表內(nèi)容包含違規(guī)項點、違規(guī)項點對應(yīng)的視頻和圖片、違規(guī)時間點的監(jiān)控數(shù)據(jù)等。一是所有行為分析準確率分為確認和疑似兩類，其中確認準確率在90%以上，疑似準確率80%以上；二是離線視頻采用加速分析模式，分析速度是正常視頻播放速度的10倍以上；三是視頻存儲服務(wù)器及視頻存儲備用服務(wù)器系統(tǒng)配置，必須滿足主頻不低于2.0GHz的10核心CPU，最大支持1T內(nèi)存硬盤容量不小于200T，不少于4個千兆網(wǎng)口的網(wǎng)絡(luò)接口。（4）視頻實時分析性能指標視頻智能系統(tǒng)能夠滿足實時分析行車過程中乘務(wù)員的作業(yè)行為，并將結(jié)果實時給乘務(wù)員報警且同時傳至地面服務(wù)器。視頻實時分析主要由車載智能視頻分析主機、車載顯示終端及各種數(shù)據(jù)采集攝像頭組成。能夠結(jié)合機車運行實時數(shù)據(jù)和操作規(guī)范行為，實現(xiàn)對乘務(wù)員手比、站立、開側(cè)窗、離崗、姿勢異常、做與工作無關(guān)行為的實時分析，并通過車載顯示終端報警。所有分析結(jié)果通過機車視頻監(jiān)控預(yù)警系統(tǒng)自帶的傳輸功能模塊實時傳至地面服務(wù)器，同時將違規(guī)行為的圖片、視頻片段上傳。達到實時行為分析準確率不低于80%。行為分析結(jié)果延遲不超過1s。四、預(yù)期目標通過對機車運行過程中乘務(wù)員行為規(guī)范的檢測監(jiān)控，形成一套智能化的基于圖像技術(shù)的機車智能視頻監(jiān)控自動分析系統(tǒng)，實現(xiàn)視頻文件自動分析并生成分析報告，在滿足當前視頻監(jiān)控功能基礎(chǔ)上，實現(xiàn)乘務(wù)員值乘行為實時分析并通過機車視頻監(jiān)控預(yù)警系統(tǒng)自帶的傳輸功能模塊傳至地面服務(wù)器。（1）機車視頻離線分析自動化，實現(xiàn)轉(zhuǎn)儲到地面到機車視頻，主要是司機室視頻與LKJ文件同步自動、加速分析，實現(xiàn)行車過程中乘務(wù)員行為分析并自動生成分析報告；（2）乘務(wù)員行為實時分析，在完成現(xiàn)有視頻功能同時，結(jié)合機車運行實時數(shù)據(jù)，實現(xiàn)乘務(wù)員行為提示、行為分析，分析后違規(guī)行為及相應(yīng)的視頻片段實時上傳至地面服務(wù)器；（3）視頻存儲輕量化，對當前視頻監(jiān)控主機采用全時段存儲模式，通過行為分析及行車安全項點為觸發(fā)條件，實現(xiàn)有問題、關(guān)鍵點視頻存儲，減輕視頻存儲量及下載量，為視頻無線轉(zhuǎn)儲提供技術(shù)基礎(chǔ)；（4）行車安全分析數(shù)據(jù)化，通過對乘務(wù)員行車行為自動分析，結(jié)合當前已有對乘務(wù)員行車安全項點分析，實現(xiàn)從操縱數(shù)據(jù)、乘務(wù)行為等多維度反應(yīng)乘務(wù)員值乘質(zhì)量。五、結(jié)論機車智能視頻監(jiān)控系統(tǒng)的研發(fā)使用，不僅可降低大量的人工重復(fù)勞動，同時提高視頻檢測效率，實現(xiàn)機車視頻圖像行為分析智能化，實現(xiàn)機車視頻管理自動化，實現(xiàn)視頻分析數(shù)據(jù)追蹤，及時防范預(yù)警，大大提高視頻分析效率；實現(xiàn)自動違章關(guān)聯(lián)，擴大分析覆蓋面；實現(xiàn)視頻文件統(tǒng)一轉(zhuǎn)儲方式，實現(xiàn)自動轉(zhuǎn)儲，取消轉(zhuǎn)儲專崗；實現(xiàn)數(shù)據(jù)格式統(tǒng)一，消除分析壁壘；實現(xiàn)多系統(tǒng)聯(lián)動，綜合分析，多崗合一，而且可以實現(xiàn)行車現(xiàn)場乘務(wù)員行為即時分析，發(fā)現(xiàn)違規(guī)行為并及時提醒，從而降低行車安全事故發(fā)生的幾率，提高數(shù)據(jù)檢索、回放效率。參考文獻：[1]鐵道部.TB10085—2009.鐵路圖像通信設(shè)計規(guī)范.北京：中國鐵道出版社，2009.[2]周潔云.廣深鐵路視頻監(jiān)控系統(tǒng)方案淺析.鐵道勘測與設(shè)計,2010年第1期[3]黃垠瑜.鐵路沿線重要場所遠程視頻監(jiān)控系統(tǒng)的建設(shè)與應(yīng)用.鐵道技術(shù)監(jiān)督,2007年第35卷第6