2023AICheck工業(yè)視覺檢測平臺V1.0使用手冊

山東省春秋季秸稈焚燒火點遙感監(jiān)測系統(tǒng)V1.0AICheck工業(yè)視覺檢測平臺V1.0使用說明文檔 目錄1 軟件概述 軟件概述AICheck工業(yè)視覺檢測平臺，集數(shù)據(jù)采集、在線樣本標注、一鍵模型訓練、任務(wù)管理、在線檢測和結(jié)果輸出于一體，提供一站式AI服務(wù)，用戶可快速應(yīng)用海量的成熟算法，實現(xiàn)了端到端服務(wù)。本軟件核心技術(shù)涉及人工智能、2D/3D視覺和云計算，核心功能包括目標識別、OCR識別、瑕疵檢測和目標測量，應(yīng)用場景包括但不限于家電領(lǐng)域、汽車制造、電力巡檢、氣象服務(wù)、電子工業(yè)等。AICheck工業(yè)視覺檢測平臺將應(yīng)用于工業(yè)生產(chǎn)中的各個工序，包括制造、質(zhì)檢等環(huán)節(jié)，其中質(zhì)檢是應(yīng)用最為廣泛的場景，涉及產(chǎn)品外觀缺陷檢測、缺失性檢測，如金屬表面的劃痕、斑點、孔洞，紙張表面的色差、壓痕，玻璃等非金屬表面的夾雜、破損、污點，PCB板電阻電容等元件瑕疵檢測等等。人工質(zhì)檢耗費大量的人力，并且由于視覺疲勞，效率低，質(zhì)量低，AICheck工業(yè)視覺檢測平臺質(zhì)檢檢測指標優(yōu)于人工，檢測指標更穩(wěn)定，有效提升缺陷檢測質(zhì)量；簡單操作與快捷部署圖形化、零代碼，一鍵式模型下發(fā)，非專業(yè)人員快速上手，具有良好的可擴展性。AICheck工業(yè)視覺檢測平臺致力于賦能行業(yè)應(yīng)用，助力智能化工業(yè)。平臺集成了豐富的目標識別、OCR識別、瑕疵檢測和目標測量算法，涵蓋Pytorch等多種深度學習框架，支持在線標注、一鍵式模型訓練、靈活部署，降低AI算法使用門檻，簡化操作，使AI算法落地工業(yè)應(yīng)用，服務(wù)企業(yè)生產(chǎn)，使企業(yè)提質(zhì)、降本、增效，逐步實現(xiàn)自動化和智能化水平。本文檔面向的讀者對象主要是軟件用戶，為用戶提供使用說明。版本號V1.0。運行環(huán)境客戶端采用Windows7及以上操作系統(tǒng)。推薦使用火狐瀏覽器、谷歌瀏覽器。開發(fā)環(huán)境硬件品牌GPU運行內(nèi)存操作系統(tǒng)主頻DELLNVIDIAGeforceRTX3080Ti(11G)16gWindows103.3GHZ開發(fā)軟件開發(fā)軟件：VScode，pycharm2021，Visualstudio2019。開發(fā)語言：JavaScript和Python。GPU相關(guān)：CUDA11.1軟件功能與使用操作說明用戶登錄點擊系統(tǒng)網(wǎng)址(http://localhost:8010/)進入系統(tǒng)登錄界面（圖1），初次登錄用戶需要注冊,點擊右上角“注冊”按鈕，進行用戶注冊，注冊需要“用戶名”、“真實姓名”、“密碼”、“確認密碼”（圖2）。注冊后經(jīng)管理員進行身份驗證，通過后方可使用。圖4登錄界面圖7注冊用戶界面主界面和功能模塊介紹AICheck工業(yè)視覺檢測平臺主界面如圖3所示，包括【模型訓練】【在線服務(wù)】和【系統(tǒng)管理】三大功能，涵蓋目標識別、OCR識別、瑕疵檢測和目標測量四個應(yīng)用場景。下面分別進行詳細介紹：圖8模型訓練首頁模型訓練模型訓練功能模塊主要包括不同場景項目的創(chuàng)建和管理、數(shù)據(jù)傳輸、在線數(shù)據(jù)集制作、一鍵模型訓練、在線訓練報告、模型驗證以及生成測試報告并導(dǎo)出。項目創(chuàng)建和管理【模型訓練】模塊主要為用戶提供目標識別、OCR識別、瑕疵檢測和目標測量等模型的訓練平臺，用戶可以自主選擇訓練場景和需要的訓練功能，進入實現(xiàn)模型訓練功能。在界面中提供“創(chuàng)建項目”和“項目總覽”功能?！皠?chuàng)建項目”項目類型一共有“目標識別”，“OCR識別”，“瑕疵監(jiān)測”，“圖像分類”四個模塊，根據(jù)需求，點擊其中任意模塊，會彈出新建項目的信息（圖4），選擇任務(wù)相關(guān)產(chǎn)業(yè)類型（圖5），填寫項目名稱，點擊創(chuàng)建即可創(chuàng)建新項目，新創(chuàng)建的項目會顯示在【項目總覽】列表中。圖9創(chuàng)建項目圖10創(chuàng)建項目在【項目總覽】界面可以通過搜索功能查找指定項目，進行刪除或進入指定項目功能?？傆[列表顯示各個項目的類型、ID、名稱、創(chuàng)建時間、創(chuàng)建者、任務(wù)類型，進入項目可對項目進行具體操作。圖11項目總覽數(shù)據(jù)導(dǎo)入點擊“項目總覽”表相應(yīng)項目的“進入”按鈕可進入項目，進入項目可進行上傳圖片、刪除圖片、在線樣本標注、圖像縮放顯示、訓練模型、驗證模型等操作，如圖7。頁面左側(cè)為圖片列表，中間為圖像顯示區(qū)，右側(cè)作為結(jié)果區(qū)。圖12模型訓練交互界面點擊左上角按鈕選擇圖片或拖拽到指定區(qū)域再點擊上傳即可上傳樣本圖片，如圖8，9，10所示。圖13上傳圖片圖14上傳圖片圖15確認上傳選擇想要刪除的樣本圖片，點擊左上角按鈕可刪除樣本。按鈕可對數(shù)據(jù)進行數(shù)據(jù)劃分、導(dǎo)出等一系列操作。圖16圖片管理在線樣本標注模型訓練之前需要對數(shù)據(jù)進行數(shù)據(jù)集制作，本平臺提供在線樣本標注工具。樣本標注流程為：上傳圖片->定義標簽->選擇標簽->矩形框工具標注->點擊保存。樣本標工具如圖所示，具體步驟如下：圖17在線樣本標注工具首先，點擊界面右上方“”添加標簽，用戶自定義標簽的名字，比如“defect”,目前版本僅支持標簽為數(shù)字和英文，不支持中文格式，平臺自動給不同的標簽類型分配顏色，用戶也可以自主選擇顏色。點擊按鈕可以刪除標簽。圖18定義標簽圖19標簽顯示創(chuàng)建好標簽后，選中標簽，點擊中間圖像顯示界面上方的按鈕可以對圖像中的目標進行矩形框標注，標注時要將目標包裹完全，矩形框不宜過大過小，圖像中有幾個目標則需要標注幾次，標注完成后點擊保存按鈕，即可完成圖片標簽的生成。如果標注過程中，矩形框標注不準確，選中矩形框后點擊后可刪除矩形框。另外，點擊可拖動圖片，滾動滑輪可縮放圖片，可以撤銷可恢復(fù)操作。對所有圖片打完標簽則形成了樣本數(shù)據(jù)集。圖SEQ圖\*ARABIC20樣本標注一鍵模型訓練數(shù)據(jù)集制作完成后，點擊按鈕進行模型訓練。訓練界面如圖所示，可以進行數(shù)據(jù)增強模塊的選擇，算法類型的選擇（目前支持R-ODY，R-DDY算法，），學習次數(shù)設(shè)置和GPU選項。開始訓練后在右側(cè)訓練報告模塊展示訓練過程，可以實時監(jiān)測訓練狀態(tài)，包括訓練時間、進度、模型精度等信息，如圖12所示。另外，本平臺提供歷史版本模型管理。圖21模型訓練參數(shù)設(shè)置圖SEQ圖\*ARABIC22訓練報告模型驗證點擊按鈕，可對訓練完成的模型進行模型效果的驗證，選擇進行驗證的模型，一鍵驗證，右側(cè)同樣展示驗證過程，包括驗證進度和模型評價指標統(tǒng)計（每一類的精準率、召回率和F1-score），如圖所示。點擊右側(cè)“導(dǎo)出報告”展示檢測圖片和對應(yīng)的檢測結(jié)果，“ctrl+s”可以下載html格式驗證報告。圖23模型驗證參數(shù)設(shè)置圖24驗證報告圖25驗證報告圖26下載驗證報告在線服務(wù)【在線服務(wù)】模塊（圖13）實現(xiàn)了硬件和平臺的連接，即能夠完成相機實時拍攝和平臺的實時處理，能夠?qū)F(xiàn)場采集的圖片上傳到服務(wù)器，服務(wù)器調(diào)用模型完成圖像檢測，將結(jié)果顯示在平臺上。界面包含“項目創(chuàng)建”和“項目總覽”兩個功能。項目創(chuàng)建和管理項目創(chuàng)建功能可創(chuàng)建四個類別的項目，分別為【目標識別】、【OCR識別】、【瑕疵監(jiān)測】、【目標測量】。點擊任意類型創(chuàng)建項目彈出項目創(chuàng)建界面，彈出創(chuàng)建項目的詳細信息（圖13），包括【項目名稱】、【任務(wù)類型】、【ip地址】、【端口地址】、【廠商名稱】、【描述】、【輸入路徑】、【輸出路徑】、【選擇模型】。填寫完畢點擊創(chuàng)建新項目，在下方項目總覽模塊查找。項目總覽模塊界面可以通過搜索功能查找指定項目，進行刪除或進入指定項目功能。圖27在線服務(wù)界面圖28創(chuàng)建項目相機連接完成相機、光電傳感器和串口通信485電路板的硬件連通之后，相機與平臺應(yīng)在統(tǒng)一局域網(wǎng)范圍內(nèi)，目前平臺支持的相機品牌包括大華和?？低?。啟動相機拍攝執(zhí)行器，此時平臺界面會顯示發(fā)現(xiàn)的相機列表，選擇串口信息，點擊開啟相機，即可進行相機拍攝和數(shù)據(jù)傳輸，另外根據(jù)拍攝的需求可進行曝光時間的調(diào)整。實時檢測實時檢測部分將實時拍攝的照片傳輸?shù)狡脚_，平臺實時對圖片進行檢測處理，實時反饋檢測結(jié)果并顯示。在線服務(wù)模塊項目詳情界面（圖15）分為四部分，分別為【項目信息及模型信息】、【圖片顯示】、【圖片列表】、【相機參數(shù)】四部分。在【項目信息及模型信息】部分展示項目詳情和模型詳情，在【相機參數(shù)】部分展示設(shè)備連接狀態(tài)，在【圖片列表】實時結(jié)果部分展示實時接進來的圖片列表，在歷史結(jié)果中展示過往傳進來的圖片信息，選中列表中任意圖片，可在【圖片顯示】部分顯示出來原始圖片和相應(yīng)的檢測結(jié)果，點擊刪除按鈕，即可把該圖片刪除。圖29在線檢測系統(tǒng)管理【系統(tǒng)管理】功能用于管理員查看用戶的信息以及對項目類型、在線服務(wù)類型進行配置，如圖16所示。用戶對象、角色列表、在線用戶功能可對用戶進行管理。圖30在【項目類型配置】模塊點擊，補充類型名稱、類型編碼、類型描述、類型圖片點擊確定按鈕可添加項目類型，如圖18所示，對于選中想要刪除的