2022年AI工業(yè)視覺(jué)解決方案白皮書(shū)-2023.11

2022AI工業(yè)視覺(jué)解決方案白皮書(shū)AI

INDUSTRIAL

VISIONSOLUTIONS·2022Microvision.Allrightsreserved.COPYRIGHT版權(quán)聲明本白皮書(shū)出品方為維視智造科技股份有限公司，版權(quán)受法律保護(hù)。轉(zhuǎn)載、摘編或利用其他方式使用本白皮書(shū)文字或者觀點(diǎn)，應(yīng)注明“來(lái)源”：“維視智造科技股份有限公司”。違反上述聲明者，出品方將追究其相關(guān)法律責(zé)任。CONTENTS目錄工業(yè)視覺(jué)技術(shù)發(fā)展趨勢(shì)1.1

工業(yè)視覺(jué)技術(shù)概述1.2

工業(yè)視覺(jué)典型應(yīng)用場(chǎng)景1.3

工業(yè)視覺(jué)面臨的挑戰(zhàn)及發(fā)展趨勢(shì)050607深度學(xué)習(xí)技術(shù)發(fā)展趨勢(shì)2.1

深度學(xué)習(xí)技術(shù)概述2.2

工業(yè)視覺(jué)深度學(xué)習(xí)技術(shù)發(fā)展趨勢(shì)1012AI工業(yè)視覺(jué)落地痛點(diǎn)及關(guān)鍵技術(shù)3.1

AI工業(yè)視覺(jué)落地痛點(diǎn)1818181819202020213.1.1

額外的硬件3.1.2

發(fā)熱量和功耗3.1.3

大量的訓(xùn)練數(shù)據(jù)3.1.4

大量的人工標(biāo)注工作3.2

AI工業(yè)視覺(jué)落地關(guān)鍵技術(shù)解析3.2.1

基于CPU進(jìn)行訓(xùn)練及推理3.2.2

缺陷檢測(cè)深度學(xué)習(xí)過(guò)濾及圖像自動(dòng)采集標(biāo)注技術(shù)3.2.3

小樣本訓(xùn)練及神經(jīng)網(wǎng)絡(luò)模型再訓(xùn)練技術(shù)AI工業(yè)視覺(jué)解決方案4.1

AI工業(yè)視覺(jué)解決方案架構(gòu)及組成2424252627272832333434434748574.1.1

基于本地算力的AI工業(yè)視覺(jué)解決方案4.1.2

基于邊緣側(cè)的AI工業(yè)視覺(jué)解決方案4.1.3

基于5G+云端的AI工業(yè)視覺(jué)解決方案4.2

AI工業(yè)視覺(jué)解決方案實(shí)施流程4.2.1

數(shù)據(jù)收集4.2.2

分類(lèi)及數(shù)據(jù)標(biāo)記4.2.3

模型訓(xùn)練4.2.4

在線推理及優(yōu)化4.3

AI工業(yè)視覺(jué)解決方案典型應(yīng)用場(chǎng)景4.3.1

缺陷檢測(cè)4.3.2

圖像分類(lèi)4.3.3

字符識(shí)別4.3.4

深度學(xué)習(xí)與傳統(tǒng)算法的融合4.4

AI工業(yè)視覺(jué)解決方案發(fā)展前景預(yù)測(cè)工業(yè)視覺(jué)技術(shù)發(fā)展趨勢(shì)AI工業(yè)視覺(jué)解決方案白皮書(shū)1.1工業(yè)視覺(jué)技術(shù)概述工業(yè)視覺(jué)也稱(chēng)機(jī)器視覺(jué)，是人工智能正在快速發(fā)展的一個(gè)分支，是在工業(yè)上為自動(dòng)檢查、過(guò)程控制和機(jī)器人引導(dǎo)等應(yīng)用提供基于圖像的自動(dòng)檢查和分析的技術(shù)及方法。機(jī)器視覺(jué)系統(tǒng)是通過(guò)機(jī)器視覺(jué)產(chǎn)品（CMOS

和CCD）將被攝取目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給專(zhuān)用的圖像處理系統(tǒng)，得到被攝目標(biāo)的形態(tài)信息，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào);

圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。如果我們將1969年CCD芯片的產(chǎn)生作為機(jī)器視覺(jué)技術(shù)的起點(diǎn)，該項(xiàng)技術(shù)的發(fā)展已經(jīng)有半個(gè)世紀(jì)的歷史，經(jīng)過(guò)長(zhǎng)時(shí)間的發(fā)展，機(jī)器視覺(jué)技術(shù)日益取得重大突破和廣泛應(yīng)用，當(dāng)前已經(jīng)遍布工業(yè)生產(chǎn)的各個(gè)環(huán)節(jié)，在一些不適合于人工作業(yè)的危險(xiǎn)工作環(huán)境或人工視覺(jué)難以滿(mǎn)足要求的場(chǎng)合，常用機(jī)器視覺(jué)來(lái)替代人工視覺(jué)；同時(shí)在大批量工業(yè)生產(chǎn)過(guò)程中，用人工視覺(jué)檢查產(chǎn)品質(zhì)量效率低且精度不高，用機(jī)器視覺(jué)檢測(cè)方法可以大大提高生產(chǎn)效率和生產(chǎn)的自動(dòng)化程度。而且機(jī)器視覺(jué)易于實(shí)現(xiàn)自動(dòng)化集成，軟件集成，是實(shí)現(xiàn)智能制造的基礎(chǔ)技術(shù)。根據(jù)不完全統(tǒng)計(jì)，目前廣泛應(yīng)用工業(yè)視覺(jué)的工業(yè)生產(chǎn)行業(yè)包括：半導(dǎo)體、電子、汽車(chē)、光伏、能源、交通、印刷、食品、醫(yī)藥、物流、輕工等。中國(guó)的機(jī)器視覺(jué)市場(chǎng)需求近幾年處于持續(xù)高速增長(zhǎng)階段，年復(fù)合增長(zhǎng)率保持在23%。截至2021年，國(guó)內(nèi)機(jī)器視覺(jué)市場(chǎng)規(guī)模達(dá)163.8億元。5AI工業(yè)視覺(jué)解決方案白皮書(shū)1.2工業(yè)視覺(jué)典型應(yīng)用場(chǎng)景機(jī)器視覺(jué)在工業(yè)領(lǐng)域應(yīng)用廣泛，按功能和場(chǎng)景主要分為四大類(lèi)：識(shí)別、定位、測(cè)量、檢測(cè)。識(shí)別包括有無(wú)、顏色和條碼/二維碼識(shí)別，主要通過(guò)甄別目標(biāo)物體的物體特征來(lái)進(jìn)行判定，在工業(yè)應(yīng)用場(chǎng)景中占比約24%。定位功能是在識(shí)別出物體的基礎(chǔ)上，經(jīng)過(guò)測(cè)量準(zhǔn)確的給出目標(biāo)物體的坐標(biāo)位置，制造業(yè)自動(dòng)生產(chǎn)裝配過(guò)程中，機(jī)器人需要知道來(lái)料的位置，才能完成后續(xù)的加工、裝配、搬運(yùn)等一系列動(dòng)作。在工業(yè)應(yīng)用場(chǎng)景中，定位需求占比約為16%。測(cè)量泛指利用被測(cè)物體特征進(jìn)行全局或局部尺寸數(shù)據(jù)獲取的應(yīng)用，包括：長(zhǎng)度、平行度、角度、圓弧長(zhǎng)、圓直徑、半徑、點(diǎn)到線的距離、點(diǎn)點(diǎn)距離等等，尺寸測(cè)量既可以用于產(chǎn)品生產(chǎn)過(guò)程中的尺寸數(shù)據(jù)管控，也可以用于數(shù)據(jù)的獲取，在工業(yè)應(yīng)用場(chǎng)景中占比約為10%。檢測(cè)指的是對(duì)目標(biāo)物體表面的缺陷進(jìn)行檢出。產(chǎn)品生產(chǎn)制造過(guò)程中產(chǎn)生的表面缺陷會(huì)影響其性能及客戶(hù)體驗(yàn)，傳統(tǒng)人工檢測(cè)的方法需要耗費(fèi)大量的人力，且無(wú)法滿(mǎn)足現(xiàn)代生產(chǎn)工藝和節(jié)奏的要求，利用機(jī)器視覺(jué)的方法進(jìn)行智能化檢測(cè)可以有效的解決這一問(wèn)題，同時(shí)節(jié)省成本、提高產(chǎn)能。因此，表面缺陷檢測(cè)是機(jī)器視覺(jué)最重要的應(yīng)用方向之一，在整個(gè)工業(yè)應(yīng)用場(chǎng)景中占比約為50%。6AI工業(yè)視覺(jué)解決方案白皮書(shū)1.3工業(yè)視覺(jué)面臨的挑戰(zhàn)及發(fā)展趨勢(shì)總體來(lái)說(shuō)，工業(yè)視覺(jué)在定位、測(cè)量、識(shí)別、檢測(cè)等各個(gè)方向上的應(yīng)用都面臨著精度越來(lái)越高、速度越來(lái)越快、準(zhǔn)確率要求越來(lái)越高的挑戰(zhàn)。這其中的部分問(wèn)題隨時(shí)硬件水平的提高得到了有效的解決，比如采集硬件的分辨率、傳輸帶寬、運(yùn)算效率方面，但是也有一部分問(wèn)題，需要長(zhǎng)周期的實(shí)踐和迭代升級(jí)才有解決的可能，這其中的典型代表，就是復(fù)雜場(chǎng)景下的缺陷檢測(cè)。以下是幾類(lèi)傳統(tǒng)算法難以解決的機(jī)器視覺(jué)代表性場(chǎng)景：1.缺陷檢測(cè)2.特征分割OKNG難點(diǎn)：缺陷特征被隨機(jī)的螺牙背景干擾，難以獨(dú)立分割出缺陷區(qū)域難點(diǎn)：缺陷區(qū)域呈現(xiàn)隨機(jī)灰度等級(jí)的黑色或白色，難以提取全部缺陷區(qū)域3.特征定位4.產(chǎn)品分類(lèi)好爛難點(diǎn)：待定位的特征呈現(xiàn)相對(duì)隨機(jī)的輪廓，無(wú)法以特定模板匹配難點(diǎn)：不同類(lèi)別的棗無(wú)任何歸一的特征規(guī)律，無(wú)法基于特征參數(shù)區(qū)分7AI工業(yè)視覺(jué)解決方案白皮書(shū)此類(lèi)問(wèn)題在工業(yè)現(xiàn)場(chǎng)是普遍存在且用戶(hù)需求迫切希望得到解決的，這為工業(yè)視覺(jué)的算法發(fā)展提出了新的挑戰(zhàn)。同時(shí)，如果這些問(wèn)題得到解決，那么工業(yè)視覺(jué)的應(yīng)用邊界，將會(huì)得到極大的拓展，由原來(lái)只能在產(chǎn)品標(biāo)準(zhǔn)化、一致性極高的場(chǎng)景，變成幾乎可以替代人眼進(jìn)行任意場(chǎng)景下的視覺(jué)檢測(cè)應(yīng)用，而且不止是工業(yè)生產(chǎn)方面，在農(nóng)業(yè)、民用等領(lǐng)域也可以取得良好的應(yīng)用效果。解決這一問(wèn)題的最核心關(guān)鍵點(diǎn)，就是深度學(xué)習(xí)技術(shù)的發(fā)展和應(yīng)用。8深度學(xué)習(xí)技術(shù)發(fā)展趨勢(shì)AI工業(yè)視覺(jué)解決方案白皮書(shū)2

.1深度學(xué)習(xí)技術(shù)概述深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中一種基于對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法。在給予它一組輸入后，它使我們能夠訓(xùn)練AI來(lái)預(yù)測(cè)結(jié)果。其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)，例如圖像、聲音和文本。深度學(xué)習(xí)是學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，這些學(xué)習(xí)過(guò)程中獲得的信息對(duì)諸如文字，圖像和聲音等數(shù)據(jù)的解釋有很大的幫助。它的最終目標(biāo)是讓機(jī)器能夠像人一樣具有分析學(xué)習(xí)能力，能夠識(shí)別文字、圖像和聲音等數(shù)據(jù)。深度學(xué)習(xí)是一個(gè)復(fù)雜的機(jī)器學(xué)習(xí)算法，在語(yǔ)音和圖像識(shí)別方面取得的效果，遠(yuǎn)遠(yuǎn)超過(guò)先前相關(guān)技術(shù)。深度學(xué)習(xí)在搜索技術(shù)，數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)，機(jī)器翻譯，自然語(yǔ)言處理，多媒體學(xué)習(xí)，語(yǔ)音，推薦和個(gè)性化技術(shù)，以及其他相關(guān)領(lǐng)域都取得了很多成果。深度學(xué)習(xí)使機(jī)器模仿視聽(tīng)和思考等人類(lèi)的活動(dòng)，解決了很多復(fù)雜的模式識(shí)別難題，使得人工智能相關(guān)技術(shù)取得了很大進(jìn)步。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：(1)強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多層的隱層節(jié)點(diǎn)；(2)明確了特征學(xué)習(xí)的重要性。也就是說(shuō)，通過(guò)逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而使分類(lèi)或預(yù)測(cè)更容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來(lái)學(xué)習(xí)特征，更能夠刻畫(huà)數(shù)據(jù)豐富的內(nèi)在信息。10AI工業(yè)視覺(jué)解決方案白皮書(shū)(3)通過(guò)設(shè)計(jì)建立適量的神經(jīng)元計(jì)算節(jié)點(diǎn)和多層運(yùn)算層次結(jié)構(gòu)，選擇合適的輸入層和輸出層，通過(guò)網(wǎng)絡(luò)的學(xué)習(xí)和調(diào)優(yōu)，建立起從輸入到輸出的函數(shù)關(guān)系，雖然不能100%找到輸入與輸出的函數(shù)關(guān)系，但是可以盡可能的逼近現(xiàn)實(shí)的關(guān)聯(lián)關(guān)系。使用訓(xùn)練成功的網(wǎng)絡(luò)模型，就可以實(shí)現(xiàn)我們對(duì)復(fù)雜事務(wù)處理的自動(dòng)化要求。典型的深度學(xué)習(xí)模型有卷積神經(jīng)網(wǎng)絡(luò)(

convolutional

neural

network)、DBN和堆棧自編碼網(wǎng)絡(luò)(stackedauto-encodernetwork)模型等。11AI工業(yè)視覺(jué)解決方案白皮書(shū)2

.2工業(yè)視覺(jué)深度學(xué)習(xí)技術(shù)發(fā)展趨勢(shì)在工業(yè)視覺(jué)方面，深度學(xué)習(xí)的典型應(yīng)用領(lǐng)域是異常檢測(cè)、圖像分類(lèi)、缺陷檢測(cè)和物體定位。與傳統(tǒng)的機(jī)器視覺(jué)方法相比，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)適應(yīng)性更好，通用性更廣。1.異常檢測(cè)

:

是指將整個(gè)圖像劃分為“好”或“壞”，例如藥片的好壞，是對(duì)圖像整體的屬性進(jìn)行判斷。2.圖像分類(lèi)

:

是指將整個(gè)圖像劃分為已定義的類(lèi)型，例如對(duì)僅包含單個(gè)物體的圖像進(jìn)行類(lèi)型分類(lèi)。例如，貓狗分類(lèi)，或者同一種產(chǎn)品的不同狀態(tài)進(jìn)行分類(lèi)。12AI工業(yè)視覺(jué)解決方案白皮書(shū)3.缺陷檢測(cè)

:

也稱(chēng)像素分割缺陷檢測(cè)，是指逐像素進(jìn)行分割，在圖像中判斷是否存在局部區(qū)域的缺陷，是工業(yè)場(chǎng)景中進(jìn)行質(zhì)量檢查最典型的應(yīng)用之一。13AI工業(yè)視覺(jué)解決方案白皮書(shū)4.物體定位

:

指的是確認(rèn)某項(xiàng)固定或類(lèi)似特征在圖像中的位置，例如我們經(jīng)常用到的人臉識(shí)別。14AI工業(yè)視覺(jué)解決方案白皮書(shū)深度學(xué)習(xí)和傳統(tǒng)機(jī)器視覺(jué)方法的差異主要在于，傳統(tǒng)機(jī)器學(xué)習(xí)的步驟是人工分析圖片的特征，通過(guò)圖像算法提取特征，然后通過(guò)特征的數(shù)值來(lái)區(qū)分物品。在分析的時(shí)候不需要大量的圖片，只需要幾種分類(lèi)的典型圖片，和類(lèi)別之間的臨界圖片。人工分析在整個(gè)過(guò)程當(dāng)中起到了主導(dǎo)的作用。而深度學(xué)習(xí)的步驟是采集大量圖片，標(biāo)注圖片，把圖片放進(jìn)網(wǎng)絡(luò)訓(xùn)練，查看訓(xùn)練結(jié)果，調(diào)節(jié)參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)，再次訓(xùn)練，得到最好的結(jié)果。深度學(xué)習(xí)在標(biāo)注和訓(xùn)練的時(shí)候不需要專(zhuān)業(yè)，網(wǎng)絡(luò)會(huì)自動(dòng)提取和篩選特征，規(guī)劃分割閾值。只是在調(diào)整參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)時(shí)需要專(zhuān)業(yè)工程師，但是在一些項(xiàng)目中可以不用調(diào)整參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)調(diào)整數(shù)據(jù)來(lái)解決準(zhǔn)確性問(wèn)題。機(jī)器學(xué)習(xí)特征提取分類(lèi)深度學(xué)習(xí)特征提取+分類(lèi)15AI工業(yè)視覺(jué)解決方案白皮書(shū)其次，當(dāng)檢測(cè)不同的物體和特征時(shí)，深度學(xué)習(xí)方法的優(yōu)勢(shì)是能夠檢測(cè)以不同形式出現(xiàn)的物體或特征，例如表面劃痕、不同形狀的天然產(chǎn)品或手寫(xiě)字跡。例如在異常檢測(cè)中，只需使用完美無(wú)瑕的物體圖像來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，即可識(shí)別物體在使用過(guò)程中造成的損壞。再次，經(jīng)過(guò)適當(dāng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可以很好地識(shí)別出變量環(huán)境（如變化的背景、不同的分辨率或光源條件）中的物體，無(wú)需針對(duì)每個(gè)可能的特性進(jìn)行專(zhuān)門(mén)訓(xùn)練。但是需要大量的圖片數(shù)據(jù)。當(dāng)然，深度學(xué)習(xí)工業(yè)視覺(jué)的實(shí)施也需要具備一定的條件和成本。在硬件配置方面，通常需要增加額外的GPU作為算力支撐，在實(shí)施方面，需要準(zhǔn)備大量的訓(xùn)練樣本數(shù)據(jù)，大量的人工標(biāo)注工作量等，但是，考慮到期在識(shí)別能力上，算法的適應(yīng)力上和特征提取和分類(lèi)的流程上的優(yōu)勢(shì)，隨著市場(chǎng)需求、行業(yè)技術(shù)水平的發(fā)展，硬件性能提升，成本有所下降之后，深度學(xué)習(xí)在工業(yè)視覺(jué)的應(yīng)用一定會(huì)更加的普及。16AI工業(yè)視覺(jué)落地痛點(diǎn)及發(fā)展趨勢(shì)AI工業(yè)視覺(jué)解決方案白皮書(shū)3

.1AI工業(yè)視覺(jué)落地痛點(diǎn)與傳統(tǒng)方法相比，為了在應(yīng)用中充分發(fā)揮純深度學(xué)習(xí)方法的優(yōu)勢(shì)，往往需要對(duì)使用的硬件進(jìn)行額外投資，并需要大量的示例圖像來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。3.1.1

額外的硬件深度學(xué)習(xí)架構(gòu)復(fù)雜精巧、功能強(qiáng)大，其突出特點(diǎn)在于它是由大量的神經(jīng)網(wǎng)絡(luò)層構(gòu)成。因此，運(yùn)行深度學(xué)習(xí)的應(yīng)用程序需要用到大量的內(nèi)存和計(jì)算能力。通常只有將計(jì)算任務(wù)轉(zhuǎn)移到額外的處理器（如GPU顯卡）上同時(shí)執(zhí)行計(jì)算，才能在可接受的短時(shí)間內(nèi)完成處理工作。在目前的市場(chǎng)條件下，增加GPU顯卡對(duì)于很多用戶(hù)來(lái)說(shuō)是一項(xiàng)不小的成本開(kāi)支。3.1.2

發(fā)熱量和功耗大型神經(jīng)網(wǎng)絡(luò)對(duì)計(jì)算能力的要求較高，因此增加了應(yīng)用的功耗，并相應(yīng)地增加了發(fā)熱量。這尤其會(huì)對(duì)嵌入式系統(tǒng)造成問(wèn)題，因?yàn)橥ǔＰ枰獙?duì)嵌入式系統(tǒng)的低功耗和熱管理方面進(jìn)行優(yōu)化。3.1.3

大量的訓(xùn)練數(shù)據(jù)要想可靠地識(shí)別物體，首先需要大量的訓(xùn)練圖像，這些圖像會(huì)描述和標(biāo)記所有物體和屬性，以便讓系統(tǒng)能在盡可能多的不同變量和環(huán)境中完成識(shí)別。用于訓(xùn)練的不同圖像數(shù)據(jù)量越多，深度學(xué)習(xí)網(wǎng)絡(luò)就越容易學(xué)會(huì)如何識(shí)別物體。在開(kāi)發(fā)機(jī)器視覺(jué)應(yīng)用時(shí)，要獲取成百上千幅所需的圖像往往是一項(xiàng)艱巨的任務(wù)。更多的時(shí)候，工廠可能根本就不具備條件產(chǎn)生足夠多的訓(xùn)練樣本，尤其是負(fù)樣本。18AI工業(yè)視覺(jué)解決方案白皮書(shū)3.1.4

大量的人工標(biāo)注工作獲取到的大量數(shù)據(jù)是不能立即使用的，需要人給這些數(shù)據(jù)進(jìn)行標(biāo)注，對(duì)于圖像分割，需要精準(zhǔn)的標(biāo)準(zhǔn)圖像中要分割的區(qū)域，這樣才能在推理圖片的時(shí)候得到精準(zhǔn)的區(qū)域。這些標(biāo)注工作都只能是人工手動(dòng)完成，所以在數(shù)據(jù)大的時(shí)候，還需要檢測(cè)是否有標(biāo)注錯(cuò)誤的問(wèn)題。上述幾個(gè)應(yīng)用的條件正是深度學(xué)習(xí)工業(yè)視覺(jué)項(xiàng)目落地的阻礙，也是用戶(hù)的痛點(diǎn)，相對(duì)的，在技術(shù)上能夠解決這些痛點(diǎn)的算法，將能夠得到更好的推廣和應(yīng)用。額外的硬件：思路之一是實(shí)現(xiàn)基于平價(jià)的CPU進(jìn)行訓(xùn)練和推理。發(fā)熱量和功耗：思路之一能將深度學(xué)習(xí)與傳統(tǒng)算法進(jìn)行深度融合，采用傳統(tǒng)算法解決一部分問(wèn)題后交接給深度學(xué)習(xí)處理。大量的訓(xùn)練數(shù)據(jù)：行業(yè)內(nèi)通用的解決方案是采用小樣本訓(xùn)練，然后在推理過(guò)程中不斷迭代。大量的人工標(biāo)注：自動(dòng)標(biāo)注工具的研發(fā)將有助于該問(wèn)題的解決和落地。19AI工業(yè)視覺(jué)解決方案白皮書(shū)3.

2AI工業(yè)視覺(jué)落地關(guān)鍵技術(shù)解析對(duì)應(yīng)3.1提出的用戶(hù)痛點(diǎn)問(wèn)題及解決思路，結(jié)合實(shí)際落地的項(xiàng)目經(jīng)驗(yàn)，目前AI工業(yè)視覺(jué)落地的關(guān)鍵技術(shù)包括如下幾個(gè)方面：3.2.1

基于CPU進(jìn)行訓(xùn)練及推理深度學(xué)習(xí)算法對(duì)計(jì)算資源的需求是確定的，如何提高深度學(xué)習(xí)應(yīng)用部署效率，降低運(yùn)行成本，幫助算法及業(yè)務(wù)團(tuán)隊(duì)快速落地應(yīng)用和服務(wù)，讓

AI

發(fā)揮真正的生產(chǎn)力，是深度學(xué)習(xí)算法平臺(tái)努力的目標(biāo)

。由于工業(yè)領(lǐng)域深度學(xué)習(xí)應(yīng)用的特殊性，可以把訓(xùn)練與推理分開(kāi)實(shí)施，模型訓(xùn)練完畢后的運(yùn)行機(jī)往往裝在設(shè)備上交付給終端用戶(hù)，不再需要大規(guī)模的持續(xù)訓(xùn)練和升級(jí)，這就使得深度學(xué)習(xí)在CPU上運(yùn)行具備了基礎(chǔ)條件。由于大量的算法訓(xùn)練及推理服務(wù)需求，使用

CPU

進(jìn)行的推理服務(wù)常常由于性能問(wèn)題，無(wú)法滿(mǎn)足服務(wù)指標(biāo)。然而通過(guò)提升推理服務(wù)在CPU上的性能，可以幫助實(shí)現(xiàn)GPU遷移到CPU上的目的。目前在Intel的處理器上使用OpenVINO，在Arm的處理器上使用NCNN/MNN等，在Nvidia

GPU上使用TensorRT均可以大幅提升深度學(xué)習(xí)推理的效率，使用CPU進(jìn)行推理的設(shè)想得以實(shí)現(xiàn)，并且變成了各大廠家角逐的關(guān)鍵技術(shù)點(diǎn)之一。3.2.2

缺陷檢測(cè)深度學(xué)習(xí)過(guò)濾及圖像自動(dòng)采集標(biāo)注技術(shù)針對(duì)一些代表性的場(chǎng)景如特征明顯但存在異物干擾的情況，使用傳統(tǒng)算法唯一的問(wèn)題是會(huì)造成一定程度的過(guò)殺，但是其實(shí)施效率高、消耗的算力和功耗少，是深度學(xué)習(xí)無(wú)法比擬的優(yōu)勢(shì)。在這種場(chǎng)景下，使用傳統(tǒng)算法進(jìn)行過(guò)殺，然后對(duì)NG的圖片進(jìn)行深度學(xué)習(xí)標(biāo)注和訓(xùn)練，將傳統(tǒng)算法與深度學(xué)習(xí)有機(jī)的結(jié)合在一起，可以實(shí)現(xiàn)事半功倍的效果稱(chēng)之為缺陷檢測(cè)深度學(xué)習(xí)過(guò)濾技術(shù)。此外，傳統(tǒng)軟件和深度學(xué)習(xí)的結(jié)合還可以用于圖20AI工業(yè)視覺(jué)解決方案白皮書(shū)像的自動(dòng)采集、自動(dòng)標(biāo)注等方向，為深度學(xué)習(xí)的實(shí)施提供了更好的落地條件。案例：鍵盤(pán)表面缺陷，會(huì)有毛發(fā)、指紋、灰塵等異物干擾3.2.3

小樣本訓(xùn)練及神經(jīng)網(wǎng)絡(luò)模型再訓(xùn)練技術(shù)目前大部分的深度學(xué)習(xí)模型，都是監(jiān)督學(xué)習(xí)的方式進(jìn)行的，需要海量的數(shù)據(jù)支持。而現(xiàn)實(shí)生產(chǎn)環(huán)境中，數(shù)據(jù)集通常較小，只有幾萬(wàn)甚至幾百個(gè)樣本。此時(shí)，通常我們采用以下兩種技術(shù)進(jìn)行解決。第一：利用預(yù)訓(xùn)練模型進(jìn)行遷移微調(diào)（?ne-tuning），預(yù)訓(xùn)練模型通常在特征上擁有很好的語(yǔ)義表達(dá)。此時(shí)，只需將模型在小數(shù)據(jù)集上進(jìn)行微調(diào)就能取得不錯(cuò)的效果。這也是目前大部分小數(shù)據(jù)集常用的訓(xùn)練方式。視覺(jué)領(lǐng)域內(nèi)，通常會(huì)ImageNet上訓(xùn)練完成的模型。第二：?jiǎn)螛颖净蛘咝颖緦W(xué)習(xí)（one-shot，few-shot

learning），這種方式適用于樣本類(lèi)別遠(yuǎn)遠(yuǎn)大于樣本數(shù)量的情況等極端數(shù)據(jù)集。例如有1000個(gè)類(lèi)別，每個(gè)類(lèi)別只提供1-5個(gè)樣本。少樣本學(xué)習(xí)同樣也需要借助預(yù)訓(xùn)練模型，但有別于微調(diào)的點(diǎn)在于，微調(diào)通常仍然在學(xué)習(xí)不同類(lèi)別的語(yǔ)義，而少樣本學(xué)習(xí)通常需要學(xué)習(xí)樣本之間的距離度量。例21AI工業(yè)視覺(jué)解決方案白皮書(shū)如孿生網(wǎng)絡(luò)（Siamese

Neural

Networks）就是通過(guò)訓(xùn)練兩個(gè)同種結(jié)構(gòu)的網(wǎng)絡(luò)來(lái)判別輸入的兩張圖片是否屬于同一類(lèi)。

以上兩種是常用訓(xùn)練小樣本數(shù)據(jù)集的方式。此外，也有些常用的方式：數(shù)據(jù)集增強(qiáng)、正則或者半監(jiān)督學(xué)習(xí)等方式來(lái)解決小樣本數(shù)據(jù)集的訓(xùn)練問(wèn)題。此外，也有深度學(xué)習(xí)廠家研發(fā)了一些幫助用戶(hù)進(jìn)行樣本圖片生成的工具，可以將收集到的少量NG圖片進(jìn)行算法加工，生成近似真實(shí)的樣本圖片用于深度學(xué)習(xí)訓(xùn)練。22AI工業(yè)視覺(jué)解決方案AI工業(yè)視覺(jué)解決方案白皮書(shū)4.1AI工業(yè)視覺(jué)解決方案架構(gòu)及組成4.1.1

基于本地算力的AI工業(yè)視覺(jué)解決方案典型的基于本地算力的AI工業(yè)視覺(jué)解決方案可以理解為在傳統(tǒng)工業(yè)視覺(jué)系統(tǒng)的基礎(chǔ)之上，增加深度學(xué)習(xí)訓(xùn)練機(jī)以及深度學(xué)習(xí)算法軟件，具體來(lái)說(shuō)，由如上圖所示的幾部分組成：1、圖像采集部分：通常由一套或者多套這樣的成像系統(tǒng)組成，包括工業(yè)相機(jī)、工業(yè)鏡頭等。成像系統(tǒng)包含的部件種類(lèi)繁多，需要根據(jù)應(yīng)用需求進(jìn)行選擇；2、照明光源：光源是影響機(jī)器視覺(jué)系統(tǒng)輸入的重要因素，它直接影響輸入數(shù)據(jù)的質(zhì)量和應(yīng)用效果；3、控制單元：控制單元一般包含光電傳感器、I/O、運(yùn)動(dòng)控制、電平轉(zhuǎn)化單元等，用以判斷被測(cè)對(duì)象的位置和狀態(tài)，

告知圖像傳感器進(jìn)行正確的采集或根據(jù)圖像處理結(jié)果完成對(duì)生產(chǎn)過(guò)程的控制；24AI工業(yè)視覺(jué)解決方案白皮書(shū)4、圖像處理算力設(shè)備：工控機(jī)或

GPU

服務(wù)器，是視覺(jué)系統(tǒng)的核心算力，部署于靠近相機(jī)的端側(cè)，完成圖像數(shù)據(jù)的處理和絕大部分的控制邏輯，對(duì)于檢測(cè)識(shí)別類(lèi)型或采用深度學(xué)習(xí)算法的應(yīng)用，通常都需要高性能的

CPU/GPU，減少處理的時(shí)間。工控機(jī)內(nèi)的機(jī)器視覺(jué)軟件用來(lái)完成輸入的圖像數(shù)據(jù)的處理，通過(guò)圖像識(shí)別得出結(jié)果，這個(gè)輸出的結(jié)果可能是PASS/FAIL信號(hào)、坐標(biāo)位置、字符串等。5、執(zhí)行機(jī)構(gòu)：可能是機(jī)械臂、氣動(dòng)裝置等，用于執(zhí)行運(yùn)算結(jié)構(gòu)后進(jìn)行相應(yīng)的剔除、抓取、裝配等工作?；诒镜厮懔Φ腁I工業(yè)視覺(jué)解決方案是目前主流的方案類(lèi)型。4.1.2

基于邊緣側(cè)的AI工業(yè)視覺(jué)解決方案邊緣學(xué)習(xí)將基于規(guī)則的高效機(jī)器視覺(jué)嵌入到一套預(yù)先訓(xùn)練的深度學(xué)習(xí)算法中，以創(chuàng)建針對(duì)工廠自動(dòng)化優(yōu)化過(guò)的一個(gè)集成工具集。該技術(shù)無(wú)需機(jī)器視覺(jué)和深度學(xué)習(xí)方面的專(zhuān)業(yè)知識(shí)。相反，生產(chǎn)線工程師可以基于其對(duì)所需解決任務(wù)的現(xiàn)有了解來(lái)訓(xùn)練邊緣學(xué)習(xí)技術(shù)。邊緣學(xué)習(xí)與現(xiàn)有深度學(xué)習(xí)框架的不同之處在于，其并非通用的解決方案，而是專(zhuān)門(mén)為工業(yè)自動(dòng)化應(yīng)用量身定制的。邊緣學(xué)習(xí)與其他深度學(xué)習(xí)產(chǎn)品的不同之處在于，其專(zhuān)注于確保在應(yīng)用部署的所有階段都易于使用。舉例來(lái)說(shuō)，邊緣學(xué)習(xí)僅需更少的圖像即可實(shí)現(xiàn)概念驗(yàn)證，圖像設(shè)置和采集時(shí)間也更少，并且無(wú)需專(zhuān)門(mén)編程。邊緣側(cè)AI工業(yè)視覺(jué)解決方案的優(yōu)勢(shì)是其易用性和低成本，但是受制于算力，單品適用的場(chǎng)景非常受限，復(fù)用性和擴(kuò)展性都比較差。25AI工業(yè)視覺(jué)解決方案白皮書(shū)4.1.3

基于5G+云端的AI工業(yè)視覺(jué)解決方案隨著5G技術(shù)和云端算力的提升，基于5G+云端的AI工業(yè)視覺(jué)解決方案被提出并實(shí)現(xiàn)。如上圖所示，工控機(jī)和

AI

視覺(jué)云平臺(tái)通過(guò)

5G

網(wǎng)絡(luò)連接，實(shí)現(xiàn)設(shè)備狀態(tài)和軟件版本的在線可視化管理，同時(shí)將瑕疵、誤殺、疑似等圖像上傳到視覺(jué)

AI

云平臺(tái)，實(shí)現(xiàn)了AI工業(yè)視覺(jué)在云端的部署。26AI工業(yè)視覺(jué)解決方案白皮書(shū)4.2AI工業(yè)視覺(jué)解決方案實(shí)施流程4.2.1

數(shù)據(jù)收集數(shù)據(jù)收集是AI工業(yè)視覺(jué)解決方案落地的第一步。首先我們要關(guān)注AI算法對(duì)數(shù)據(jù)數(shù)量和質(zhì)量的要求，然后在實(shí)際生產(chǎn)中去收集足夠的對(duì)應(yīng)樣本數(shù)據(jù)。通常情況下，訓(xùn)練用的數(shù)據(jù)集必須要有足夠的代表性，需要包含實(shí)際生產(chǎn)中各種可能的情況，而且對(duì)應(yīng)各種情況的圖像數(shù)量分布要均勻。在數(shù)量方面，訓(xùn)練用的數(shù)據(jù)集樣本一定要相對(duì)較多，根據(jù)模型的復(fù)雜程度，高質(zhì)量的圖片數(shù)量，以及負(fù)樣本的數(shù)量必須足夠。樣本圖片的收集往往可以借助工廠搭建好的機(jī)器視覺(jué)硬件系統(tǒng)自動(dòng)進(jìn)行采集和存儲(chǔ)。27AI工業(yè)視覺(jué)解決方案白皮書(shū)圖像數(shù)據(jù)的收集工作在某些場(chǎng)景下需要耗費(fèi)大量的人力以及時(shí)間，且往往對(duì)深度學(xué)習(xí)項(xiàng)目最終能否成功實(shí)施、或最終的檢出率是否達(dá)標(biāo)具有至關(guān)重要的意義。因此在評(píng)估深度學(xué)習(xí)項(xiàng)目時(shí)，要格外關(guān)注此部分工作的實(shí)現(xiàn)難度，對(duì)工作量做出客觀和準(zhǔn)確的評(píng)估，并入系統(tǒng)成本考量維度。另外值得注意的是，負(fù)樣本的收集往往是瓶頸站點(diǎn)，因?yàn)楣S自動(dòng)化生產(chǎn)過(guò)程中NG產(chǎn)品的比例是相對(duì)較低且無(wú)法人為制造的，但是檢出所有NG產(chǎn)品恰恰是上線深度學(xué)習(xí)項(xiàng)目的目的，因此必須要有足夠的負(fù)樣本數(shù)量。4.2.2

分類(lèi)及數(shù)據(jù)標(biāo)記在獲取了足夠的圖像數(shù)據(jù)之后，依據(jù)圖像的屬性進(jìn)行準(zhǔn)確的分類(lèi)，如果是缺陷檢測(cè)目的，通常只需要?jiǎng)澐譃镺K/NG兩類(lèi)，如果是圖像分類(lèi)，則需要根據(jù)特征劃分為對(duì)應(yīng)的類(lèi)別，方便接下來(lái)的數(shù)據(jù)標(biāo)記工作開(kāi)展。不同的深度學(xué)習(xí)軟件提供不同的標(biāo)記方式，目前AI工業(yè)視覺(jué)領(lǐng)域比較典型的有兩種，一種是全圖標(biāo)記（也稱(chēng)全圖分類(lèi)），一種是像素分割。典型的全圖分類(lèi)模式下標(biāo)記主界28AI工業(yè)視覺(jué)解決方案白皮書(shū)面如圖所示，界面上可以顯示多幅圖像形成的圖像列表。這種標(biāo)記方式的好處是效率較高，可以支持超大規(guī)模的圖像快速標(biāo)記。他允許用戶(hù)對(duì)整幅圖片進(jìn)行類(lèi)別的標(biāo)記，比如OK或NG，這樣做的前提是，圖像中的缺陷占據(jù)全圖的較大幅面，也就意味著在準(zhǔn)備用于樣本訓(xùn)練的圖片時(shí)，通常需要從高分辨率的圖片中預(yù)先裁切出缺陷所在的區(qū)域，產(chǎn)生分辨率較小的一系列圖片用于標(biāo)記和訓(xùn)練。全圖標(biāo)記由于分辨率較小，通?？梢钥焖俚耐瓿蓸?biāo)記和訓(xùn)練，取得準(zhǔn)確的判定結(jié)果。同時(shí)，由于標(biāo)記所需圖片可以從高分辨率圖像中裁切獲得，對(duì)樣本的數(shù)據(jù)量依賴(lài)問(wèn)題得到了較好的解決，在樣本圖片的裁切時(shí)，通常還可以與傳統(tǒng)算法相結(jié)合進(jìn)行，使得整體項(xiàng)目落地的效率較高。當(dāng)然，全圖標(biāo)記的標(biāo)注方法也有其局限性。當(dāng)被測(cè)物的缺陷種類(lèi)眾多、產(chǎn)品背景復(fù)雜、產(chǎn)品本身類(lèi)型眾多、缺陷位置無(wú)法自動(dòng)定位時(shí)，全圖標(biāo)記在小分辨率訓(xùn)練圖像自動(dòng)獲取時(shí)就存在較大障礙，此時(shí)一般使用像素分割模式進(jìn)行。相對(duì)于全圖分類(lèi)的對(duì)整幅圖像進(jìn)行標(biāo)記，像素分割是在圖片中對(duì)缺陷區(qū)域進(jìn)行標(biāo)記，訓(xùn)練缺陷區(qū)域的像素和背景像素的差異，從而智能的找出特定的缺陷。29AI工業(yè)視覺(jué)解決方案白皮書(shū)這種方法可以解決兩個(gè)難點(diǎn)問(wèn)題：不明顯的裂紋第一、如上圖所示的不明顯裂紋，利用傳統(tǒng)算法很難分割出來(lái)，就算分割出來(lái)了，也會(huì)同時(shí)把其他的一些干擾因素分割出來(lái)，造成誤檢。基于深度學(xué)習(xí)像素分割，可以不通過(guò)閾值等傳統(tǒng)方法分割，而是通過(guò)大量類(lèi)似的數(shù)據(jù)訓(xùn)練出類(lèi)腦模型后，進(jìn)行裂紋區(qū)域推理，從而找到缺陷的位置。基于像素分割模型的推理效果30AI工業(yè)視覺(jué)解決方案白皮書(shū)第二、當(dāng)干擾因素和缺陷類(lèi)似，或干擾因素的層次感比缺陷還高時(shí)，用傳統(tǒng)分割算法就很容易造成誤檢。但是用深度學(xué)習(xí)像素分割模型進(jìn)行推理，就可以根據(jù)訓(xùn)練的“經(jīng)驗(yàn)數(shù)據(jù)”進(jìn)行類(lèi)腦判斷，從而準(zhǔn)確的只檢測(cè)出真實(shí)缺陷。盡管右下角的臟污比中間的裂紋更明顯，但是依然只準(zhǔn)確的檢測(cè)出裂紋隱約的裂紋缺陷也不會(huì)和其他非裂紋特征混淆盡管“纖維”的灰度等級(jí)更高，模型依然可以智能的只推理出裂紋缺陷。311、圖像采集部分：通常由一套或者多套這樣的成像系統(tǒng)組成，包括工業(yè)相機(jī)、工業(yè)鏡頭等。成像系統(tǒng)包含的部件種類(lèi)繁多，需要根據(jù)應(yīng)用需求進(jìn)行選擇；2、照明光源：光源是影響機(jī)器視覺(jué)系統(tǒng)輸入的重要因素，它直接影響輸入數(shù)據(jù)的質(zhì)量和應(yīng)用效果；3、控制單元：控制單元一般包含光電傳感器、I/O、運(yùn)動(dòng)控制、電平轉(zhuǎn)化單元等，用以判斷被測(cè)對(duì)象的位置和狀態(tài)，

告知圖像傳感器進(jìn)行正確的采集或根據(jù)圖像處理結(jié)果完成對(duì)生產(chǎn)過(guò)程的控制；AI工業(yè)視覺(jué)解決方案白皮書(shū)支持像素分割的AI工業(yè)視覺(jué)軟件通常會(huì)提供各種便捷的標(biāo)注方法，如矩形、圓形、自定義形狀或鼠標(biāo)涂抹標(biāo)記等。圖像的標(biāo)記往往是整個(gè)深度學(xué)習(xí)項(xiàng)目落地過(guò)程中最為耗費(fèi)人工和時(shí)間的階段之一，大量的圖像數(shù)據(jù)需要人工進(jìn)行缺陷類(lèi)型以及位置的準(zhǔn)確標(biāo)記以及復(fù)核，才能獲得更為準(zhǔn)確的訓(xùn)練模型。按照目前行業(yè)較為常規(guī)的工作量評(píng)估，一個(gè)熟練的深度學(xué)習(xí)圖像標(biāo)注人員，每天可以標(biāo)注五千到一萬(wàn)張圖片。4.2.3

模型訓(xùn)練相較于傳統(tǒng)的民用級(jí)深度學(xué)習(xí)開(kāi)發(fā)過(guò)程中“創(chuàng)建數(shù)據(jù)集-加載數(shù)據(jù)集-創(chuàng)建神經(jīng)網(wǎng)絡(luò)模型-創(chuàng)建損失函數(shù)-設(shè)置優(yōu)化器-設(shè)置訓(xùn)練網(wǎng)絡(luò)的超參數(shù)-開(kāi)始訓(xùn)練并記錄訓(xùn)練結(jié)果-保存訓(xùn)練后的模型”這八個(gè)典型步驟，工業(yè)應(yīng)用級(jí)別的深度學(xué)習(xí)模型訓(xùn)練集成度更高，操作更簡(jiǎn)便，對(duì)人員的開(kāi)發(fā)能力要求大大降低。無(wú)論是全圖分類(lèi)還是像素分割，標(biāo)記工作完成之后，即可進(jìn)行深度學(xué)習(xí)模型訓(xùn)練的工作。深度學(xué)習(xí)軟件區(qū)別于傳統(tǒng)軟件最重要的特點(diǎn)之一，就是不需要具備圖像處理的基礎(chǔ)知識(shí)，不需要進(jìn)行復(fù)雜的算子選擇和程序創(chuàng)建，模型的訓(xùn)練完全是自動(dòng)化進(jìn)行的，操作極其簡(jiǎn)單，只需要借助GPU強(qiáng)大的算力支持，一鍵即可完成深度學(xué)習(xí)模型的訓(xùn)練工作。32AI工業(yè)視覺(jué)解決方案白皮書(shū)在模型訓(xùn)練的過(guò)程中，我們往往比較關(guān)注訓(xùn)練時(shí)間、準(zhǔn)確率/損失值等數(shù)據(jù)。訓(xùn)練時(shí)間的長(zhǎng)短主要取決于廠家算法性能、訓(xùn)練用圖片分辨率、樣本數(shù)量、計(jì)算機(jī)提供的算力等。而準(zhǔn)確率/損失值數(shù)據(jù)，跟圖片標(biāo)注的準(zhǔn)確率、樣本質(zhì)量、算法性能、訓(xùn)練輪數(shù)等有較大關(guān)系。對(duì)于支持小樣本訓(xùn)練的算法軟件，通常可以先使用少量樣本進(jìn)行標(biāo)注和訓(xùn)練多輪次，將準(zhǔn)確率提升至一定程度后進(jìn)行試運(yùn)行，過(guò)程中將檢測(cè)錯(cuò)誤的圖片進(jìn)行重新標(biāo)注和訓(xùn)練，以快速、高效的提升模型準(zhǔn)確率。支持繼續(xù)訓(xùn)練也是這一方法可以實(shí)施的必要條件。使用大量圖片進(jìn)行驗(yàn)證、校驗(yàn)原有的標(biāo)注數(shù)據(jù)準(zhǔn)確性，也是模型訓(xùn)練必須要進(jìn)行的工作之一。4.2.4

在線推理及優(yōu)化完成訓(xùn)練得到模型之后，深度學(xué)習(xí)項(xiàng)目即具備了上線運(yùn)行的基本條件，此時(shí)需要專(zhuān)門(mén)的人員進(jìn)行一定時(shí)長(zhǎng)的跟機(jī)工作，在推理過(guò)程中，進(jìn)行模型準(zhǔn)確度的驗(yàn)證，實(shí)時(shí)發(fā)現(xiàn)誤檢、漏檢的圖片案例并進(jìn)行收集、再訓(xùn)練，不斷完善模型的準(zhǔn)確率，直至達(dá)到驗(yàn)收要求。通常需要預(yù)設(shè)一定的時(shí)間或樣本的數(shù)量，來(lái)驗(yàn)證項(xiàng)目是否達(dá)到了需求中的識(shí)別率、準(zhǔn)確率等數(shù)據(jù)，因?yàn)橹挥性谡鎸?shí)的在線生產(chǎn)過(guò)程中滿(mǎn)足了這些指標(biāo)要求，深度學(xué)習(xí)才能真正替代傳統(tǒng)算法或者人工，完成質(zhì)量檢查的工作。在工業(yè)生產(chǎn)中用戶(hù)經(jīng)常面臨的痛苦之一，是由于產(chǎn)品的種類(lèi)更換、設(shè)備本身磨損帶來(lái)的產(chǎn)品一致性問(wèn)題，會(huì)有新的種類(lèi)及不良類(lèi)型不斷產(chǎn)生，相比傳統(tǒng)視覺(jué)，使用深度學(xué)習(xí)帶來(lái)的額外好處是，在這種情況下，只需要在原來(lái)模型的基礎(chǔ)上進(jìn)行簡(jiǎn)單的操作，繼續(xù)訓(xùn)練對(duì)模型進(jìn)行優(yōu)化即可完成檢測(cè)工作。33AI工業(yè)視覺(jué)解決方案白皮書(shū)4.3AI工業(yè)視覺(jué)解決方案典型應(yīng)用場(chǎng)景4.3.1

缺陷檢測(cè)缺陷檢測(cè)顯然是AI工業(yè)視覺(jué)解決方案最大的用武之地，機(jī)器視覺(jué)技術(shù)誕生以來(lái)，最大的使命就是執(zhí)行檢查任務(wù)，例如檢測(cè)制造產(chǎn)品中的缺陷、污染物、功能缺陷等異常。相比人類(lèi)視覺(jué)，機(jī)器視覺(jué)因其速度、準(zhǔn)確性和可重復(fù)性而在結(jié)構(gòu)化場(chǎng)景的定量測(cè)量中具有優(yōu)勢(shì)。利用適當(dāng)?shù)南鄼C(jī)分辨率和光學(xué)件配置制造的機(jī)器視覺(jué)系統(tǒng)可以輕松檢測(cè)人眼難以看到的物體細(xì)節(jié)，并且檢測(cè)的可靠性較高，錯(cuò)誤也較少。在生產(chǎn)線上，機(jī)器視覺(jué)系統(tǒng)可以可靠且重復(fù)地每分鐘檢查數(shù)百或數(shù)千個(gè)部件，遠(yuǎn)遠(yuǎn)超過(guò)人類(lèi)的檢測(cè)能力。但是與傳統(tǒng)的機(jī)器視覺(jué)不同，人類(lèi)擅長(zhǎng)區(qū)分細(xì)微的表面和功能缺陷，以及區(qū)分可能影響感知質(zhì)量的部分外觀變化。雖然人類(lèi)處理信息的速度有限，但人類(lèi)有特殊的概念化和概括的能力。人類(lèi)擅長(zhǎng)通過(guò)實(shí)例學(xué)習(xí)，并且在部件有小異常時(shí)，能夠區(qū)分真正重要的部分。在很多情況下，這使人類(lèi)視覺(jué)成為定性解釋復(fù)雜、非結(jié)構(gòu)化場(chǎng)景的理想選擇，尤其是那些有微小缺陷和不可預(yù)測(cè)缺陷的場(chǎng)景。而深度學(xué)習(xí)技術(shù)的出現(xiàn)使得在這些場(chǎng)景下使用機(jī)器替代人眼變成了可能。以下是幾個(gè)AI工業(yè)視覺(jué)技術(shù)進(jìn)行缺陷檢測(cè)的具體案例。案例一、螺紋裂紋檢測(cè)項(xiàng)目背景：在螺紋的生產(chǎn)加工過(guò)程中，因?yàn)楦鞣N原因會(huì)產(chǎn)生一定比例的不合格品，如果不能夠?qū)⒉缓细衿窓z測(cè)出來(lái)，會(huì)對(duì)產(chǎn)品本身的強(qiáng)度造成嚴(yán)重影響，采用傳統(tǒng)的視覺(jué)檢測(cè)方法對(duì)螺紋進(jìn)行檢測(cè)，因?yàn)槁菁y本身的紋理干擾等因素，在檢測(cè)的過(guò)程中無(wú)法檢34AI工業(yè)視覺(jué)解決方案白皮書(shū)測(cè)或者誤判率非常高，采用的深度學(xué)習(xí)功能，將誤判率大大的降低，良品率能夠達(dá)到99.9%以上。項(xiàng)目實(shí)施步驟：第一步、采集圖像：對(duì)樣品（包含OK品和NG品的圖片）的圖片進(jìn)行采集并保存35AI工業(yè)視覺(jué)解決方案白皮書(shū)第二步、截圖（截取需要用深度學(xué)習(xí)標(biāo)記的圖像）用深度學(xué)習(xí)缺陷過(guò)濾模塊截圖截圖保存路徑設(shè)置36AI工業(yè)視覺(jué)解決方案白皮書(shū)截取的圖像第三步、標(biāo)記圖像：用深度學(xué)習(xí)訓(xùn)練器進(jìn)行標(biāo)記37AI工業(yè)視覺(jué)解決方案白皮書(shū)第四步、訓(xùn)練導(dǎo)出測(cè)試圖像集第五步、訓(xùn)練模型：OK品和NG品都分類(lèi)導(dǎo)出完成后，使用軟件進(jìn)行模型訓(xùn)練38AI工業(yè)視覺(jué)解決方案白皮書(shū)第六步、啟用深度學(xué)習(xí)推理案例二、鍵盤(pán)缺陷檢測(cè)項(xiàng)目背景：在電腦鍵盤(pán)字符印刷的過(guò)程中，經(jīng)常會(huì)產(chǎn)生各種印刷不良，采用傳統(tǒng)的視覺(jué)檢測(cè)方法進(jìn)行檢測(cè)，粉塵、毛屑、指紋等如果殘留在鍵盤(pán)上，就會(huì)對(duì)視覺(jué)檢測(cè)造成干擾，在檢測(cè)過(guò)程中將其誤檢為字符的印刷不良，使合格品被誤檢為不合格品，從而影響產(chǎn)線的生產(chǎn)效率，針對(duì)以上存在的問(wèn)題，使用深度學(xué)習(xí)功能對(duì)鍵盤(pán)進(jìn)行檢測(cè)，使產(chǎn)線的誤檢率大大的降低，從而提高了產(chǎn)線的檢測(cè)生產(chǎn)效率和產(chǎn)品質(zhì)量。鍵盤(pán)缺陷檢測(cè)實(shí)施步驟：第一步、采集圖像：對(duì)樣品（包含OK品和NG品的圖片）的圖片進(jìn)行采集并保存。39AI工業(yè)視覺(jué)解決方案白皮書(shū)第二步、截圖（截取需要用深度學(xué)習(xí)標(biāo)記的圖像）40AI工業(yè)視覺(jué)解決方案白皮書(shū)第三步、標(biāo)記圖像41AI工業(yè)視覺(jué)解決方案白皮書(shū)第四步、訓(xùn)練導(dǎo)出第五步、訓(xùn)練模型42AI工業(yè)視覺(jué)解決方案白皮書(shū)第六步、啟用深度學(xué)習(xí)推理4.3.2

圖像分類(lèi)圖像分類(lèi)技術(shù)在民用領(lǐng)域最典型的應(yīng)用是人臉識(shí)別，人臉識(shí)別目前已經(jīng)是計(jì)算機(jī)視覺(jué)中非常成熟的技術(shù)了，完成不同人臉的識(shí)別后，算法工程師又把目光轉(zhuǎn)向了更為復(fù)雜的“表情識(shí)別”。表情相對(duì)于人臉的特征來(lái)說(shuō)，其變化更加微小，不同人的表情差別是很大的。比如：A的“微笑”有可能和B的“哭泣”類(lèi)似。所以表情識(shí)別對(duì)神經(jīng)網(wǎng)絡(luò)模型的架構(gòu)要求非常高，模型訓(xùn)練的挑戰(zhàn)更大。神經(jīng)網(wǎng)絡(luò)是基于感知機(jī)發(fā)展而來(lái)，感知機(jī)是一個(gè)有若干輸入和一個(gè)輸出的模型。深度神經(jīng)網(wǎng)絡(luò)可以有更復(fù)雜的輸入數(shù)據(jù)和多個(gè)輸出結(jié)果。所以，它可以把不同人群的相同表情歸一到一個(gè)輸出結(jié)果上。43AI工業(yè)視覺(jué)解決方案白皮書(shū)調(diào)用“模型分類(lèi)”工具并加載訓(xùn)練好的表情識(shí)別模型基于深度學(xué)習(xí)的表情識(shí)別歸一化44AI工業(yè)視覺(jué)解決方案白皮書(shū)基于深度學(xué)習(xí)的表情識(shí)別相對(duì)于工業(yè)場(chǎng)景的分類(lèi)來(lái)說(shuō)，實(shí)現(xiàn)難度是比較小的，因?yàn)楸砬椴町惖奶卣髟趫D片上的數(shù)據(jù)差異是非常大的。以1000萬(wàn)像素的手機(jī)圖片來(lái)說(shuō)，同一個(gè)人的“高興”和“哭泣”圖像的差別可以達(dá)到800萬(wàn)個(gè)像素點(diǎn)。如果用傳統(tǒng)算法是無(wú)法承受之重，但是對(duì)于神經(jīng)網(wǎng)絡(luò)模型來(lái)說(shuō)卻是大有可為的。而真正的難點(diǎn)是工業(yè)領(lǐng)域的分類(lèi)。以目前算法比較成熟的紅棗分類(lèi)檢測(cè)舉例，以500萬(wàn)像素的工業(yè)相機(jī)來(lái)說(shuō)，不同類(lèi)型紅棗之間的特征差異，可能只有幾百個(gè)像素，而且差異的像素深度很低。這個(gè)時(shí)候要準(zhǔn)確的進(jìn)行分類(lèi)，就很難了。首先我們要選取合適的標(biāo)注方式，結(jié)合前文的介紹，紅棗的分類(lèi)顯然更適合全圖分類(lèi)方式進(jìn)行：1、使用自動(dòng)圖片采集工具針對(duì)不同的樣品采集足夠的分類(lèi)樣本。45AI工業(yè)視覺(jué)解決方案白皮書(shū)2、使用截圖工具截取紅棗占據(jù)較大畫(huà)面比例的小分辨率圖像，得到全圖標(biāo)注所需要的足夠數(shù)據(jù)集。46AI工業(yè)視覺(jué)解決方案白皮書(shū)3、進(jìn)行圖像標(biāo)注及模型訓(xùn)練，即可得到可用的深度學(xué)習(xí)分類(lèi)模型。采用這種標(biāo)注方式實(shí)現(xiàn)深度學(xué)習(xí)圖像分類(lèi)的好處是顯而易見(jiàn)的，首先缺陷過(guò)濾模型相對(duì)輕量級(jí)，模型訓(xùn)練用的圖片是“可能存在”缺陷的區(qū)域，相對(duì)于使用全局圖像訓(xùn)練，正負(fù)樣本的差異性會(huì)大很多，訓(xùn)練成熟網(wǎng)絡(luò)模型需要的圖像數(shù)量相對(duì)較少，模型復(fù)雜程度相對(duì)較低。其次數(shù)據(jù)標(biāo)注相對(duì)容易，效率更高，因?yàn)閿?shù)據(jù)標(biāo)注時(shí)都是針對(duì)指定區(qū)域截取的圖像塊，是否有缺陷是很明確的，不容易出錯(cuò)。4.3.3

字符識(shí)別OCR(OpticalCharacterRecognition，光學(xué)字符識(shí)別)是指對(duì)圖片中的文字進(jìn)行查找、提取、識(shí)別的一種技術(shù)，通過(guò)檢測(cè)暗、亮的模式確定其形狀，然后用字符識(shí)別方法將形狀翻譯成計(jì)算機(jī)文字的過(guò)程。OCV則是在OCR的基礎(chǔ)上對(duì)提取出的內(nèi)容進(jìn)行比對(duì)，從而判斷圖片中的文字內(nèi)容是否符合要求。由于文字（字母數(shù)字等）可能產(chǎn)生自激光雕刻、噴碼印刷、油墨印刷等不同渠道，一致性不能保證，且存在文本大小、長(zhǎng)度不固定，文本存在多個(gè)方向、多種字體、語(yǔ)言混合等各種挑戰(zhàn)，準(zhǔn)確的進(jìn)行字符識(shí)別一直是圖像處理領(lǐng)域的難題之一。47AI工業(yè)視覺(jué)解決方案白皮書(shū)基于深度學(xué)習(xí)的字符識(shí)別可以比較有效的解決這一問(wèn)題，字符識(shí)別也是深度學(xué)習(xí)技術(shù)典型的應(yīng)用場(chǎng)景之一。在工業(yè)生產(chǎn)尤其是包裝生產(chǎn)線上，存在大量的包裝袋、包裝盒體上的生產(chǎn)日期、批號(hào)字符需要進(jìn)行檢測(cè)，利用深度學(xué)習(xí)進(jìn)行小樣本的訓(xùn)練即可獲得一個(gè)比較理想的深度學(xué)習(xí)模型，可以獲得良好的落地效果。4.3.4

深度學(xué)習(xí)與傳統(tǒng)算法的融合由于視覺(jué)檢測(cè)場(chǎng)景的復(fù)雜性，往往需要傳統(tǒng)算法和深度學(xué)習(xí)相互結(jié)合才能很好的解決具體場(chǎng)景問(wèn)題。從項(xiàng)目實(shí)施的角度來(lái)說(shuō)，深度學(xué)習(xí)在復(fù)雜性和成本方面要比傳統(tǒng)算法高很多，所以在項(xiàng)目選型來(lái)看，深度學(xué)習(xí)一般都用來(lái)解決傳統(tǒng)算法無(wú)法解決的場(chǎng)景問(wèn)題。缺陷檢測(cè)的原理就是就是檢測(cè)產(chǎn)品表面異常的“點(diǎn)、線、塊”特征，這些特征往往表現(xiàn)的比“背景”顏色“深”（黑色）或比“背景”顏色“淺”（白色），我們通過(guò)圖像處理的方式把這些“點(diǎn)、線、塊”量化出來(lái)，如果量化結(jié)果超過(guò)某個(gè)閾值（要求檢測(cè)精度）則判定為NG。缺陷顏色比背景“深”48AI工業(yè)視覺(jué)解決方案白皮書(shū)缺陷顏色比背景“淺”對(duì)于背景單一，真實(shí)缺陷和干擾因素比較明顯的缺陷，可以用傳統(tǒng)BLOB分析的方法檢測(cè)出感興趣的缺陷區(qū)域?；凇白赃m應(yīng)缺陷檢測(cè)”的所有異常黑色區(qū)域上圖為金屬產(chǎn)品的表面碰傷檢測(cè)，基于傳統(tǒng)BLOB分析工具，可以把“真實(shí)缺陷”、“過(guò)小的凹坑紋理”及“記號(hào)筆畫(huà)線”都作為“缺陷”檢測(cè)出來(lái)，通過(guò)面積大小可以很容易區(qū)分“真實(shí)缺陷”和“干擾因素”的差異。下圖是按照面積大小篩選后的結(jié)果，可以發(fā)現(xiàn)只有真實(shí)缺陷被檢測(cè)出來(lái)。49AI工業(yè)視覺(jué)解決方案白皮書(shū)基于“斑塊面積”過(guò)濾后的缺陷區(qū)域但是還有一些場(chǎng)景，通過(guò)傳統(tǒng)BLOB分析檢測(cè)出來(lái)的缺陷，很難通過(guò)如下可以量化的斑塊參數(shù)進(jìn)行過(guò)濾，這個(gè)時(shí)候就可以訓(xùn)練一個(gè)專(zhuān)門(mén)用來(lái)區(qū)分這些真實(shí)缺陷和干擾因素的模型來(lái)進(jìn)行過(guò)濾?；趥鹘y(tǒng)量化參數(shù)過(guò)濾缺陷斑塊50AI工業(yè)視覺(jué)解決方案白皮書(shū)基于傳統(tǒng)BLOB分析得出的所有異常區(qū)域上圖所示的真實(shí)缺陷和干擾因素很難通過(guò)面積、周長(zhǎng)等可量化的斑塊指標(biāo)進(jìn)行過(guò)濾，這個(gè)時(shí)候就可以基于深度學(xué)習(xí)訓(xùn)練“斑塊過(guò)濾”模型來(lái)過(guò)濾干擾因素，從而只檢測(cè)出真實(shí)缺陷。相關(guān)步驟如下：1、基于自適應(yīng)缺陷檢測(cè)，將所有異常黑色斑塊全部檢測(cè)出來(lái)，這個(gè)時(shí)候會(huì)有大量干擾因素被當(dāng)作缺陷，但是真實(shí)缺