基于深度學(xué)習(xí)的水泥發(fā)運(yùn)碼頭輔助裝船模型研發(fā)及應(yīng)用

作為連接水陸運(yùn)輸?shù)臉屑~，碼頭不僅起到了銜接不同運(yùn)輸模式的橋梁作用，還可以對(duì)貨物的到達(dá)時(shí)間、移動(dòng)軌跡進(jìn)行跟蹤和記錄，掌握物流信息，提高物流效率。此外，碼頭的建設(shè)也為當(dāng)?shù)靥峁┝私?jīng)濟(jì)發(fā)展的機(jī)遇和更多的就業(yè)機(jī)會(huì)。由于碼頭復(fù)雜的現(xiàn)場(chǎng)環(huán)境，當(dāng)碼頭的操作人員進(jìn)行裝船機(jī)作業(yè)時(shí)會(huì)遇到許多問題。（1）人員無法全面監(jiān)控作業(yè)過程信息，裝船機(jī)操作室可視角度有限，無法準(zhǔn)確掌握裝船作業(yè)過程中的整體安全情況、環(huán)境情況等信息。（2）因漲潮、角度等原因，導(dǎo)致操作員觀察角度不足，受不可控因素影響，會(huì)進(jìn)一步影響操作員的作業(yè)準(zhǔn)確性。（3）溜筒抬高過快或過慢，在角度、水位等影響下，操作員部分操作需要通過經(jīng)驗(yàn)補(bǔ)足，但仍然可能存在誤判的情況，裝船作業(yè)過度依賴操作員的經(jīng)驗(yàn)。（4）操作室視角影響裝船穩(wěn)定性，如物料需要投放至船艙中間，操作室視角無法滿足，可能導(dǎo)致船只傾斜甚至側(cè)翻。（5）可能存在冒灰、揚(yáng)塵情況，在視線受阻的情況下，溜筒抬高過快可能引起冒灰、揚(yáng)塵。以上問題會(huì)對(duì)碼頭的人員安全、財(cái)產(chǎn)安全，以及工作效率產(chǎn)生重大的影響。然而，現(xiàn)有的工作大多是針對(duì)集裝箱碼頭所設(shè)計(jì)的智能裝船方案，目前針對(duì)裝船機(jī)下料而設(shè)計(jì)的智能輔助裝船方法還很少。本文結(jié)合基于深度學(xué)習(xí)的YOLOv7檢測(cè)和YOLOv8分割算法，輔助操作人員進(jìn)行裝船機(jī)作業(yè)。具體來說，該模型實(shí)現(xiàn)了以下幾個(gè)功能。（1）溜筒位置識(shí)別：利用YOLOv8分割模型對(duì)相機(jī)中溜筒的位置進(jìn)行定位并返回溜筒質(zhì)心的坐標(biāo)。（2）溜筒高度識(shí)別：利用分割得到的溜筒位置信息對(duì)當(dāng)前溜筒下放的高度進(jìn)行預(yù)測(cè)。（3）溜筒碰壁預(yù)警：利用YOLOv8分割算法對(duì)船艙邊緣進(jìn)行分割，并結(jié)合溜筒的位置信息，當(dāng)溜筒距離船艙邊緣過近時(shí)發(fā)出預(yù)警。（4）溜筒偏移識(shí)別：結(jié)合分割得到的船艙邊緣信息和溜筒的位置信息，對(duì)裝船過程中的溜筒偏移情況進(jìn)行預(yù)測(cè)。（5）物料偏移識(shí)別：利用YOLOv8分割算法對(duì)物料區(qū)域進(jìn)行分割，并結(jié)合溜筒的位置信息以及船艙邊緣信息，對(duì)裝船過程中的物料偏移情況進(jìn)行預(yù)測(cè)。避免操作員因?yàn)檠b料不均導(dǎo)致船體出現(xiàn)傾斜的情況。（6）冒灰識(shí)別：利用YOLOv7檢測(cè)算法對(duì)冒灰的區(qū)域進(jìn)行檢測(cè)，同時(shí)結(jié)合YOLOv8分割算法得到的溜筒位置信息對(duì)下料過程中是否出現(xiàn)冒灰進(jìn)行判定，如有冒灰情況則發(fā)出報(bào)警。以安徽池州海螺碼頭項(xiàng)目為例。池州海螺利用長(zhǎng)江的航運(yùn)優(yōu)勢(shì)，建造了年吞吐量達(dá)千萬噸的專用碼頭，利用該碼頭可大幅度提升運(yùn)輸效率、降低成本。試驗(yàn)顯示，該輔助裝船模型為裝船機(jī)操作員提供了更加全面的裝船視野，并可以對(duì)操作員的不當(dāng)操作進(jìn)行提前預(yù)警（溜筒碰壁）和報(bào)警（冒灰）且該輔助裝船模型誤報(bào)率在1%以下。1、方法1.1算法背景近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，人工智能算法在圖像的理解和生成上展現(xiàn)出了越來越強(qiáng)的準(zhǔn)確性和創(chuàng)造力。1.1.1物體檢測(cè)對(duì)于物體檢測(cè)方向來說，它的目標(biāo)是找到圖像中感興趣的物體，畫出它的檢測(cè)框并預(yù)測(cè)該物體的類別。常用的深度學(xué)習(xí)算法可以分為雙階段算法和單階段算法。雙階段算法在第一階段時(shí)會(huì)先產(chǎn)生候選區(qū)域，然后用另一個(gè)網(wǎng)絡(luò)從候選區(qū)域中找到物體的位置并預(yù)測(cè)該物體的分類標(biāo)簽。單階段算法只使用一個(gè)深度網(wǎng)絡(luò)，對(duì)于一張輸入圖片來說，單階段算法并不會(huì)產(chǎn)生候選區(qū)域，而是直接預(yù)測(cè)物體的位置坐標(biāo)和分類標(biāo)簽。雙階段算法通常擁有更高的準(zhǔn)確率，但是處理速度慢，不適合在實(shí)時(shí)檢測(cè)的環(huán)境中使用。單階段算法的速度更快，且近年來隨著算法的不斷研究，單階段算法的準(zhǔn)確率也在不斷提高，所以利用YOLOv7單階段算法進(jìn)行相關(guān)目標(biāo)物體（例如冒灰）的檢測(cè)。YOLOv7是一種單階段物體檢測(cè)算法。它提出了一種高效的聚合網(wǎng)絡(luò)模塊E-ELAN，利用展開、打亂、合并基數(shù)等方法，在ELAN算法的基礎(chǔ)上讓網(wǎng)絡(luò)可以堆疊更多的模塊。此外，它使用了模型重參數(shù)化技術(shù)，在計(jì)算損失函數(shù)時(shí)，YOLOv7提出了一種由粗到細(xì)的引導(dǎo)頭標(biāo)簽分配器，可以更好地指導(dǎo)輔助頭和引導(dǎo)頭的學(xué)習(xí)。1.1.2物體分割不同于物體檢測(cè)，物體分割會(huì)將圖像中目標(biāo)物體的區(qū)域摳出來，分類精確到每個(gè)像素。其中語義分割會(huì)直接對(duì)圖像中的每一個(gè)像素進(jìn)行分類。實(shí)例分割則更進(jìn)一步，將目標(biāo)檢測(cè)和語義分割相結(jié)合，可以將每一個(gè)目標(biāo)物體單獨(dú)分割出來。本文采用最近提出的YOLOv8分割算法來對(duì)目標(biāo)物體（例如溜筒、船艙邊緣）進(jìn)行實(shí)例分割。YOLOv8分割算法結(jié)合了YOLOv8檢測(cè)算法和YOLACT實(shí)例分割算法，所以它也是一種實(shí)例分割模型。相比較之前基于錨框的YOLO模型，YOLOv8采用了無錨的設(shè)計(jì)思路，直接預(yù)測(cè)對(duì)象的中心，使其更加的靈活。同時(shí)，YOLOv8獲取到的梯度流信息更加豐富。在損失函數(shù)上，YOLOv8也引入了最近提出的DistributionFocalLoss（與回歸邊界有關(guān)的損失函數(shù)）來優(yōu)化邊框信息的預(yù)測(cè)。1.2輔助裝船算法輔助裝船算法的整體框架如圖1所示。圖1輔助裝船算法整體框架輸入的圖像將分別通過YOLOv7檢測(cè)模型和YOLOv8分割模型，檢測(cè)模型得到冒灰區(qū)域的邊界框，分割模型將得到溜筒、船邊和物料的分割區(qū)域，之后將不同的分類分割結(jié)果進(jìn)行后處理實(shí)現(xiàn)我們所需的輔助裝船功能。下面分別介紹每一種功能的實(shí)現(xiàn)過程。1.2.1溜筒位置和高度識(shí)別溜筒的位置識(shí)別是“溜筒碰壁預(yù)警”“溜筒偏移識(shí)別”和“物料偏移識(shí)別”的基礎(chǔ)。利用YOLOv8分割模型可以得到當(dāng)前圖片中溜筒的分割點(diǎn)的集合，通過這些點(diǎn)的集合可以得到溜筒的質(zhì)心，得到的質(zhì)心就是溜筒的位置，而其中的縱向坐標(biāo)可以用于溜筒的高度預(yù)測(cè)。1.2.2溜筒碰壁預(yù)警在裝船過程中應(yīng)時(shí)刻警惕溜筒碰觸船體邊緣，避免溜筒或船體的損壞。在一定的溜筒高度范圍內(nèi)，檢測(cè)溜筒和船體邊緣的距離。當(dāng)溜筒距離船體邊緣小于100個(gè)像素點(diǎn)的時(shí)候，算法會(huì)產(chǎn)生碰壁預(yù)警的錯(cuò)誤警告，畫面中會(huì)標(biāo)識(shí)出綠色的船體邊緣、紅色的距離線和相應(yīng)的數(shù)值。1.2.3溜筒偏移識(shí)別溜筒偏移用來計(jì)算溜筒距離船體兩側(cè)邊緣的偏移度，以防出現(xiàn)溜筒偏向某一側(cè)船體裝料導(dǎo)致船體傾斜的情況。該識(shí)別是在“溜筒碰壁預(yù)警”的基礎(chǔ)上進(jìn)行的。當(dāng)相機(jī)畫面中出現(xiàn)溜筒和船體兩側(cè)邊緣的時(shí)候，算法會(huì)計(jì)算實(shí)時(shí)的溜筒偏移量并在畫面中顯示“toolshift”標(biāo)識(shí)和相應(yīng)的百分比數(shù)值。偏移量數(shù)值的含義為：溜筒向左偏移的時(shí)候，數(shù)值顯示為負(fù)；溜筒向右偏移的時(shí)候，數(shù)值顯示為正；溜筒在船體正中心的時(shí)候數(shù)值為0%，數(shù)值范圍為-50%~50%。1.2.4物料偏移識(shí)別在裝船過程中，物料的整體質(zhì)量在船艙的前后平衡和左右平衡指標(biāo)是安全生產(chǎn)的重要指標(biāo)，所以物料偏移的識(shí)別至關(guān)重要。在“溜筒位置識(shí)別”的基礎(chǔ)上繼續(xù)識(shí)別圖片中料堆的分割點(diǎn)的集合。當(dāng)裝船機(jī)進(jìn)行放料的時(shí)候，算法會(huì)計(jì)算實(shí)時(shí)的物料偏移量，即溜筒質(zhì)心到船體邊緣和到物料邊緣的距離差，并在畫面中顯示“materialshift”標(biāo)識(shí)和相應(yīng)的百分比數(shù)值。偏移量數(shù)值的含義為：物料向左偏移的時(shí)候，數(shù)值顯示為負(fù)；物料向右偏移的時(shí)候，數(shù)值顯示為正；不偏移的時(shí)候數(shù)值為0%，數(shù)值范圍為-50%~50%。1.2.5冒灰識(shí)別裝船機(jī)作業(yè)過程中如果產(chǎn)生大量的冒灰、揚(yáng)塵，一方面會(huì)對(duì)附近工作人員的健康產(chǎn)生危害；另一方面這些灰塵可能會(huì)污染周圍環(huán)境，影響空氣質(zhì)量；此外，落入水中的灰塵還可能影響水質(zhì)和相關(guān)的生態(tài)系統(tǒng)。因此，在裝船機(jī)作業(yè)過程中需要對(duì)冒灰的情況進(jìn)行報(bào)警，提醒操作員對(duì)操作進(jìn)行調(diào)整。所以，首先使用YOLOv7檢測(cè)算法來尋找冒灰區(qū)域的邊界框，此外，由于冒灰都發(fā)生在溜筒附近，將YOLOv8分割算法得到的溜筒區(qū)域也計(jì)算進(jìn)來，只有在溜筒區(qū)域附近的冒灰才會(huì)發(fā)出報(bào)警，這種將檢測(cè)和分割相結(jié)合的方法可以顯著減少周圍環(huán)境帶來的干擾，降低誤檢率。2、試驗(yàn)結(jié)果2.1數(shù)據(jù)集和參數(shù)設(shè)置我們?cè)诎不粘刂莺Ｂ荽a頭的每個(gè)裝船機(jī)上部署了6個(gè)相機(jī)，以方便觀察裝船過程中整個(gè)船體的情況，一共部署了7個(gè)裝船機(jī)。采集并標(biāo)注了8?736張圖像用于訓(xùn)練YOLOv7檢測(cè)模型，3?367張圖像用于訓(xùn)練YOLOv8分割模型。我們訓(xùn)練的YOLOv7檢測(cè)模型采用了論文中適用于一般GPU的“YOLOv7”框架，輸入圖片的像素為1?024×1?024；我們訓(xùn)練的YOLOv8分割模型采用了“YOLOv8n-seg”框架，輸入的圖片像素為1?088×1?088。2.2輔助裝船模型效果圖2展示了溜筒碰壁預(yù)警的報(bào)警圖。紅色的圓圈代表了檢測(cè)到的溜筒質(zhì)心位置；綠色的直線表示識(shí)別到的船體邊緣；左下方的紅字“Height”表示溜筒高度，具體指的是溜筒質(zhì)心距離畫面下邊緣的像素點(diǎn)個(gè)數(shù)；左下方的紅字“Distance”表示溜筒和船邊的距離，單位為像素，對(duì)應(yīng)于圖中的紅色直線。圖2溜筒碰壁預(yù)警圖3展示了溜筒偏移和物料偏移的識(shí)別結(jié)果。圖中紅色的圓圈為溜筒質(zhì)心的位置；藍(lán)色的直線代表了船艙的兩個(gè)邊緣；綠色的箭頭代表了溜筒到兩個(gè)邊緣的距離；左下方的紅字“toolheight”代表溜筒高度，單位為像素；紅字“toolshift”表示溜筒的偏移量；紅字“materialshift”表示物料偏移量。圖3溜筒偏移和物料偏移識(shí)別冒灰識(shí)別的報(bào)警圖片如圖4所示，綠色的邊界框是檢測(cè)到的冒灰場(chǎng)景，由于冒灰只會(huì)發(fā)生在溜筒作業(yè)時(shí)，所以在進(jìn)行冒灰檢測(cè)框的篩選時(shí)，只保留在溜筒附近的檢測(cè)框，該策略可以大大減少背景環(huán)境對(duì)冒灰識(shí)別的干擾，降低誤報(bào)率。圖4冒灰識(shí)別在池州海螺碼頭的實(shí)際應(yīng)用中，溜筒碰壁預(yù)警和冒灰識(shí)別會(huì)向后臺(tái)發(fā)送報(bào)警圖片并在平臺(tái)上展示。在最新上線的模型中，經(jīng)實(shí)際檢測(cè)，溜筒碰壁預(yù)警算法，在最近的100張報(bào)警圖片中（采集時(shí)間為2023年11月6日至2023年11月9日），99張圖片都準(zhǔn)確地定位到了溜筒和船邊的位置，并在溜筒靠近船邊時(shí)發(fā)出了報(bào)警，誤報(bào)率只有1%。冒灰識(shí)別算法，在最近的100張報(bào)警圖片中（采集時(shí)間為2023年10月13日至2023年11月8日）沒有出現(xiàn)一張誤報(bào)，誤報(bào)率為0%。圖5展示了輔助裝船算法在池州海螺碼頭不同時(shí)間、不同視野下溜筒碰壁預(yù)警的報(bào)警圖。其中，第一列展示的是白天的報(bào)警圖片，第二列展示的是夜晚的報(bào)警圖片?？梢钥闯觯徽撌前滋爝€是夜晚，模型都能準(zhǔn)確地預(yù)測(cè)溜筒和船邊的位置，給出報(bào)警信息。此外，最后一行的兩張圖片顯示了即使在相機(jī)視野不清晰的情況下，模型依然可以準(zhǔn)確定位到溜筒和船邊的位置。圖5溜筒碰壁預(yù)警示例圖6展示了輔助裝船模型在池州海螺碼頭不同時(shí)間、不同視野下識(shí)別到的冒灰報(bào)警圖。其中，左列展示的是白天的報(bào)警圖片，右列展示的是夜晚的報(bào)警圖片。不論是白天還是夜晚，模型都能準(zhǔn)確識(shí)別溜筒出現(xiàn)冒灰的情況，即使夜晚環(huán)境出現(xiàn)復(fù)雜的光影變化，該模型依然擁有很高的冒灰定位準(zhǔn)確性。此外，左下角的圖片顯示，在相機(jī)的圖片出現(xiàn)模糊不清晰的情況下，該模型依然可以正確定位到冒灰的位置，而不會(huì)把模糊的圖片部分誤識(shí)別為冒灰。圖6冒灰識(shí)別示例從這些圖片中可以看出，該輔助裝船算法對(duì)于不同時(shí)間、不同光照、鏡頭模糊等情況都具有很強(qiáng)的魯棒性。2.3碼頭輔助安防的應(yīng)用該輔助裝船模型可以進(jìn)一步應(yīng)用到碼頭的輔助安防場(chǎng)景中。在裝船過程中，員工有時(shí)會(huì)出現(xiàn)未佩戴安全帽、未穿戴救生衣的情況；船只在泊岸以后，船員有時(shí)還會(huì)出現(xiàn)在危險(xiǎn)區(qū)域行走的行為，例如在溜筒下方行走，在裝船過程中在料堆上違規(guī)清料，在船艙橫梁上違規(guī)行走等。這些違規(guī)行為對(duì)人員的生命安全造成了極大的隱患，而人工巡檢很難及時(shí)發(fā)現(xiàn)并制止這些行為。因此，在輔助裝船模型的基礎(chǔ)上進(jìn)一步開發(fā)了一個(gè)碼頭輔助安防模型，實(shí)現(xiàn)了對(duì)裝船過程中人員違規(guī)行為的自動(dòng)檢測(cè)，大大緩解了人工巡檢的壓力，并增強(qiáng)了對(duì)員工自身安全的保護(hù)。該功能依然利用輔助裝船模型中的YOLOv7檢測(cè)算法和YOLOv8分割算法，其中YOLOv7檢測(cè)算法用來檢測(cè)人員的位置、安全帽和救生衣，YOLOv8分割算法用來分割溜筒、料堆、橫梁等關(guān)注區(qū)域。安全帽和救生衣的檢測(cè)結(jié)果可以直接判斷人員是否佩戴安全帽救生衣；人員位置的檢測(cè)可以和分割算法定位到的關(guān)注區(qū)域一起來判斷人員是否出現(xiàn)違規(guī)行為。在池州海螺碼頭最新上線的輔助安防模型經(jīng)實(shí)際檢測(cè)，在2023年10月23日至2023年10月29日收集到的3?230張輔助安防報(bào)警圖片中，正確報(bào)警圖片3?049張，誤報(bào)率僅為5.6%。這個(gè)結(jié)果體現(xiàn)出利用人工智能技術(shù)輔助進(jìn)行人員違規(guī)行為的檢測(cè)，對(duì)提高人員的安全意識(shí)、保護(hù)人員的生命安全具有重要意義。3、結(jié)論（1）本文提出了一種基于深度學(xué)習(xí)算法的碼頭輔助裝船模型，通過將YOLOv7檢測(cè)算法和YOLOv8分割算法相結(jié)合，可以在裝船機(jī)作業(yè)的過程中對(duì)溜筒位置、溜筒高度、溜筒偏移量、物料偏移量進(jìn)行