【專家觀點(diǎn)】基于多傳感器融合和多智能體協(xié)同的AI人工智能技術(shù)在智慧煉鋼中的應(yīng)用與實(shí)踐-WATTMAN

基于多傳感器融合和多智能體協(xié)同的AI人工智能技術(shù)在智慧煉鋼中的應(yīng)用與實(shí)踐北京瓦特曼智能科技有限公司馬雙事業(yè)部總經(jīng)理2024年4月人工智能浪潮下核心技術(shù)、人工智能浪潮下核心技術(shù)、進(jìn)展及應(yīng)用S當(dāng)前AI技術(shù)與鋼鐵冶煉生產(chǎn)工藝深度融合同類場(chǎng)景的延展應(yīng)用和拓展同類場(chǎng)景的延展應(yīng)用和拓展智能化鋼鐵冶煉的技術(shù)產(chǎn)品和工藝場(chǎng)景路線01.人工智能浪潮下核心技術(shù)、進(jìn)展及應(yīng)用多智能體通過(guò)高效通信機(jī)制可以實(shí)時(shí)共享信息，通過(guò)信息交換，多智能體可以協(xié)調(diào)他們的行為和決策，實(shí)現(xiàn)更高效的協(xié)作，尤其是在需要團(tuán)隊(duì)協(xié)作解決問(wèn)題的場(chǎng)景下能夠顯著提高系統(tǒng)的整體性能和效率。智慧城市更科學(xué)、更高效、更美好、更低碳。以信息技術(shù)和通信技術(shù)為支撐，通過(guò)透明、充分的信息獲取，廣泛、安全的信息傳遞和有效、科學(xué)的信息處理。5G、IOT、大數(shù)據(jù)…01.人工智能浪潮下核心技術(shù)、進(jìn)展及應(yīng)用多模態(tài)機(jī)器學(xué)習(xí)——多模態(tài)學(xué)習(xí)是在單模態(tài)學(xué)習(xí)的基礎(chǔ)上，通過(guò)不同類型的數(shù)據(jù)（如文本、圖像、語(yǔ)音、視頻等）進(jìn)行學(xué)習(xí)和推理的方法。模態(tài)是指表達(dá)或感知事物的形式，每一種信息的來(lái)源或者方式，都可以稱為一種模態(tài)。人有觸覺(jué)、聽(tīng)覺(jué)、視覺(jué)、嗅覺(jué)。信息的媒介，有語(yǔ)音、視頻、文字等。多種多樣的傳感器，如雷達(dá)、紅外、加速度計(jì)等等。以上的每一種都可以稱為一種模態(tài)。大模型：多模態(tài)+多任務(wù)ChatGptSora01.人工智能浪潮下核心技術(shù)、進(jìn)展及應(yīng)用無(wú)人駕駛中，多模態(tài)學(xué)習(xí)可以通過(guò)結(jié)合不同類型的傳感器數(shù)據(jù)，提高無(wú)人駕駛系統(tǒng)的準(zhǔn)確性和可靠性。例如，通過(guò)結(jié)合圖像、激光雷達(dá)、高精地圖數(shù)據(jù)，可以更準(zhǔn)確地判斷車周圍目標(biāo)的距離速度、車當(dāng)前具體位置；通過(guò)結(jié)合語(yǔ)音和文本信息，可以更準(zhǔn)確地識(shí)別交通信號(hào)和道路標(biāo)志、更智能地人車語(yǔ)音交互。城市NOA（NavigateonAutopilot，導(dǎo)航輔助駕駛）目前已經(jīng)逐步成為智能電動(dòng)汽車中的標(biāo)準(zhǔn)配置。01.人工智能浪潮下核心技術(shù)、進(jìn)展及應(yīng)用腦機(jī)接口，在運(yùn)動(dòng)康復(fù)中表現(xiàn)出廣泛的潛力，主要依靠神經(jīng)可塑性來(lái)恢復(fù)運(yùn)動(dòng)功能并改善中風(fēng)患者術(shù)后的生活質(zhì)量。單純依靠腦電信號(hào)輸入很難自然地實(shí)時(shí)傳達(dá)多任務(wù)軟體機(jī)器人所需的各種控制命令。多模態(tài)人機(jī)界面系統(tǒng)，集合腦電信號(hào)、眼電信號(hào)和肌電信號(hào)等多模態(tài)特征來(lái)生成多維控制指令，構(gòu)建出更友好、更人性化的腦機(jī)系統(tǒng)，幫助殘疾人及運(yùn)動(dòng)障礙患者更便捷地完成各種動(dòng)作。01.人工智能浪潮下核心技術(shù)、進(jìn)展及應(yīng)用環(huán)境場(chǎng)景限制集合下視覺(jué)感知與圖像處理環(huán)境感知與障礙物檢測(cè)力觸覺(jué)感知與力控制實(shí)時(shí)定位與導(dǎo)航實(shí)時(shí)異常檢測(cè)與故障診斷機(jī)器人機(jī)器人1傳感器外傳感器視覺(jué)感知六維力矩傳感器內(nèi)傳感器…關(guān)節(jié)編碼器1關(guān)節(jié)編碼器n外傳感器外傳感器視覺(jué)六維力矩感知傳感器內(nèi)傳感器…關(guān)節(jié)編關(guān)節(jié)編碼器1碼器n圖像處理裝夾工件位置信息位姿誤差測(cè)量工件位姿標(biāo)定加工位置、力信息處理軌跡誤差計(jì)算多機(jī)協(xié)作誤差補(bǔ)償加工特征軌跡運(yùn)動(dòng)速度力矩機(jī)器人n傳感器檢測(cè)粗糙度、粒度圖像處理裝夾工件位置信息位姿誤差測(cè)量工件位姿標(biāo)定加工位置、力信息處理軌跡誤差計(jì)算多機(jī)協(xié)作誤差補(bǔ)償加工特征軌跡運(yùn)動(dòng)速度力矩機(jī)器人n傳感器檢測(cè)粗糙度、粒度紋理差異辨別加工質(zhì)量加工特征質(zhì)量多源感知信息融合多源感知信息融合率、不同精度、不同物理量的融合）狀態(tài)檢測(cè)狀態(tài)檢測(cè)各機(jī)器人末端位姿、環(huán)境作用力等）作業(yè)效果評(píng)價(jià)軌跡誤差作業(yè)效果評(píng)價(jià)軌跡誤差、協(xié)作同步性、協(xié)作誤差提供輸入任務(wù)分配與決策!軌跡規(guī)劃!協(xié)同控制協(xié)同控制01.人工智能浪潮下核心技術(shù)、進(jìn)展及應(yīng)用智能柔性執(zhí)行，目前在機(jī)器狗、具身機(jī)器人和機(jī)械臂上加裝智能柔性關(guān)節(jié)或力傳感器等裝置，通過(guò)智能控制算法，使得機(jī)器能夠?qū)崿F(xiàn)各種各種柔性動(dòng)作，比如行走、跑步、跳舞、跳躍、前后空翻、做飯炒菜、收拾家務(wù)等柔性動(dòng)作。柔性：干的活的類型多。n歷時(shí)3年研發(fā)周期世界首套基于多智能體協(xié)同的鋼包熱修無(wú)人化平臺(tái)02.當(dāng)前AI技術(shù)與鋼鐵冶煉生產(chǎn)工藝深度融合n智能柔性執(zhí)行n智能化、安全化02.當(dāng)前AI技術(shù)與鋼鐵冶煉生產(chǎn)工藝深度融合02.當(dāng)前AI技術(shù)與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——自動(dòng)水口燒眼n視覺(jué)力覺(jué)融合感知決策n智能柔性控制執(zhí)行n智能判斷槍長(zhǎng)短殘鋼下水口上水下水口口02.當(dāng)前AI技術(shù)與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——下水口拆裝n智能柔性控制執(zhí)行n視覺(jué)力覺(jué)融合感知02.當(dāng)前AI技術(shù)與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——滑板拆裝n視覺(jué)力覺(jué)融合感知n智能柔性控制執(zhí)行n多智能體配合協(xié)同02.當(dāng)前AI技術(shù)與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——水口和滑板自動(dòng)抹泥系統(tǒng)n多智能體配合協(xié)同n智能檢測(cè)泥量涂抹均勻02.當(dāng)前AI技術(shù)與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——?dú)鍤夤懿灏蝞視覺(jué)力覺(jué)融合感知n智能柔性控制執(zhí)行n多智能體配合協(xié)同02.當(dāng)前AI技術(shù)與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——自動(dòng)油缸拆裝n視覺(jué)力覺(jué)融合感知n智能柔性控制執(zhí)行n多智能體配合協(xié)同02.當(dāng)前AI技術(shù)與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——自動(dòng)底磚試氣吹掃n視覺(jué)力覺(jué)融合感知n智能柔性控制執(zhí)行n多智能體配合協(xié)同02.當(dāng)前AI技術(shù)與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——鋼包內(nèi)襯檢測(cè)n視覺(jué)紅外融合感知02.當(dāng)前AI技術(shù)與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——自動(dòng)加引流砂n視覺(jué)力覺(jué)融合感知n智能柔性控制執(zhí)行n加砂全過(guò)程視覺(jué)監(jiān)控效果判別n多智能體配合協(xié)同03.同類場(chǎng)景的延展應(yīng)用和拓展大包澆注無(wú)人化平臺(tái)n大包換長(zhǎng)水口、測(cè)溫取樣、加覆蓋劑、油缸插拔n視覺(jué)力覺(jué)融合感知n智能柔性控制執(zhí)行n多智能體配合協(xié)同03.同類場(chǎng)景的延展應(yīng)用和拓展測(cè)溫取樣、破樣、送樣全流程無(wú)人化平臺(tái)n視覺(jué)融合感知n智能柔性控制執(zhí)行n多智能體配合協(xié)同03.同類場(chǎng)景的延展應(yīng)用和拓展超薄鋼卷卷芯焊接n視覺(jué)融合感知n智能柔性控制執(zhí)行n超薄鋼卷內(nèi)帶頭高精視覺(jué)感知03.同類場(chǎng)景的延展應(yīng)用和拓展大型破碎機(jī)無(wú)規(guī)則齒頭焊接n視覺(jué)融合感知n智能柔性控制執(zhí)行03.同類場(chǎng)景的延展應(yīng)用和拓展一鍵倒罐魚(yú)雷罐插拔電n視覺(jué)力覺(jué)融合感知n智能柔性控制執(zhí)行n鐵包插拔電類似場(chǎng)景03.同類場(chǎng)景的延展應(yīng)用和拓展多種熔爐耐材CTn視覺(jué)紅外融合感知n鋼包鐵包電爐轉(zhuǎn)爐場(chǎng)景03.同類場(chǎng)景的延展應(yīng)用和拓展冷軋酸洗無(wú)人值守n視覺(jué)融合感知模型n鋼卷鞍座對(duì)中檢測(cè)n鋼卷質(zhì)量檢測(cè)03.同類場(chǎng)景的延展應(yīng)用和拓展非規(guī)則柔性立體打磨n視覺(jué)力覺(jué)融合感知n智能柔性控制執(zhí)行n方坯端面、鋼棒打磨等類似場(chǎng)景全智能化工廠全智能化車間多智能體協(xié)作平臺(tái)單智能體產(chǎn)品鋼包熱修無(wú)人化機(jī)器人集群魚(yú)雷罐車插拔電機(jī)器人大包澆鑄無(wú)人化機(jī)器人集群智能測(cè)溫取樣機(jī)器人系統(tǒng)智能清理打機(jī)器人系統(tǒng)智能標(biāo)印焊接機(jī)器人冷軋酸洗段無(wú)人值守系統(tǒng)鋼包熱修無(wú)人化機(jī)器人集群魚(yú)雷罐車插拔電機(jī)器人大包澆鑄無(wú)人化機(jī)器人集群智能測(cè)溫取樣機(jī)器人系統(tǒng)智能清理打機(jī)器人系統(tǒng)智能標(biāo)印