機器視覺技術(shù)與應用-課件 第10章 深度學習技術(shù)與應用

機器視覺技術(shù)與應用德創(chuàng)，讓機器視覺更簡單08機器視覺二次開發(fā)應用10093D視覺技術(shù)與應用深度學習技術(shù)與應用07機器視覺測量應用機器視覺引導應用CHAPTER章06Section節(jié)10.1深度學習技術(shù)10.2

深度學習技術(shù)應用TASK任務10.1

深度學習技術(shù)一、深度學習概念二、深度學習模型三、深度學習框架四、深度學習應用案例常用3D相機品牌有哪些？V+中，和3D相關(guān)的工具有哪些？課前回顧1、深度學習概念人工智能、機器學習和深度學習的關(guān)系

概括來說，人工智能、機器學習和深度學習覆蓋的技術(shù)范疇是逐層遞減的，三者的關(guān)系如下圖所示。一、深度學習技術(shù)人工智能、機器學習和深度學習的關(guān)系1、深度學習概念人工智能（ArtificialIntelligence，AI）

是最寬泛的概念，是研究、開發(fā)用于模擬、延伸、擴展人的智能的理論、方法、技術(shù)及應用系統(tǒng)的一門技術(shù)科學，通過了解智能的實質(zhì)，產(chǎn)生一種新的能以人類智能相似的方式做出反應的智能機器。機器學習（MachineLearning，ML）是當前比較有效的一種實現(xiàn)人工智能的方式，是研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。深度學習（DeepLearning）是一種新的機器學習方法，它基于神經(jīng)網(wǎng)絡（NeuralNetworks）來處理和分析大量數(shù)據(jù)，是通過建立能模擬人腦進行分析學習的神經(jīng)網(wǎng)絡模型，計算觀測數(shù)據(jù)的多層特征或表示。與傳統(tǒng)的機器學習算法相比，深度學習具有更強的表達能力和更高的準確性，其在許多領域都有廣泛的應用，如機器視覺、自然語言處理、語音識別、推薦系統(tǒng)、游戲AI等。隨著計算能力的提高和大數(shù)據(jù)的普及，深度學習將進一步推動人工智能技術(shù)的發(fā)展。一、深度學習技術(shù)2、深度學習模型深度學習模型有很多種，常見的深度學習模型有卷積神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡、長短記憶網(wǎng)絡、強化學習模型等。其中，卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetwork，簡稱CNN）主要用于模式分類、物體檢測等計算機視覺任務。該網(wǎng)絡避免了對圖像的復雜前期預處理，可以直接輸入原始圖像，因而得到了更為廣泛的應用。CNN的核心思想是利用局部連接權(quán)值共享的方式來減少網(wǎng)絡參數(shù)和計算量。與傳統(tǒng)的神經(jīng)網(wǎng)絡相比，CNN可以更好地處理高維數(shù)據(jù)，并且具有平移不變性和局部相關(guān)性等特點。在傳統(tǒng)的工業(yè)視覺任務中，算法的性能好壞很大程度上取決于是否能選擇合適的特征，而這恰恰是最耗費時間和人力的，所以在圖像、語言、視頻處理中就顯得更加困難。CNN可以做到從原始數(shù)據(jù)出發(fā)，避免前期的特征提取，在數(shù)據(jù)中找出規(guī)律，進而完成任務。一、深度學習技術(shù)2、深度學習模型卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡一般由輸入層、隱含層、全連接層以及輸出層組成，如下圖所示。卷積神經(jīng)網(wǎng)絡典型結(jié)構(gòu)一、深度學習技術(shù)2、深度學習模型卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)特點及作用

其中，輸入層用于接受對應的輸入圖像數(shù)據(jù)；隱含層通常由若干卷積層和池化層連接而成，負責特征的提取和組合；提取的特征送入全連接層，并通過激活函數(shù)得到最終的輸出層判別結(jié)果。值得注意的是，整個網(wǎng)絡中每一層均由不同權(quán)重值的神經(jīng)元構(gòu)成，連接著前后層網(wǎng)絡，起到正向傳輸預測值和反向調(diào)整權(quán)重參數(shù)的作用。卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)特點及作用如圖所示。卷積神經(jīng)網(wǎng)絡作用及特點一、深度學習技術(shù)2、深度學習模型卷積層

在卷積層中，輸入數(shù)據(jù)被滑動到一定大小的窗口內(nèi)，然后與每個窗口內(nèi)的所有卷積核進行卷積運算。由于卷積核的大小和數(shù)量可以根據(jù)具體任務進行調(diào)整，因此可以提取不同大小、不同形狀的特征。這一層的主要目的就是將數(shù)據(jù)與權(quán)重矩陣（濾波器）進行線性乘積并輸出特征圖。池化層

在卷積神經(jīng)網(wǎng)絡中，池化層對輸入的特征圖進行壓縮，一方面使特征圖變小，簡化網(wǎng)絡計算復雜度。另一方面進行特征壓縮，提取主要特征。采用池化層可以忽略目標的傾斜、旋轉(zhuǎn)之類的相對位置的變化，以提高精度，同時降低了特征圖的維度，并且在一定程度上可以避免過擬合。池化層通常非常簡單，通常取最大值或平均值來創(chuàng)建自己的特征圖，如右圖所示。全連接層

在全連接層中，前面的卷積層和池化層提取出的特征圖被展開成一維向量，并通過一系列全連接層進行分類或回歸等任務。由于全連接層的參數(shù)數(shù)量非常大，因此可以使用反向傳播算法進行訓練。池化層一、深度學習技術(shù)3、深度學習框架深度學習框架是指通過高級編程接口為深度神經(jīng)網(wǎng)絡的設計、訓練、驗證提供的組件和構(gòu)建模塊。常用的深度學習框架有TensorFlow、PyTorch、Keras、Caffe、MXNet等。一、深度學習技術(shù)4、深度學習在工業(yè)視覺領域的應用案例工件顏色分類

在實際生產(chǎn)快速上下料分類的過程中，產(chǎn)品常常不能保持固定的位姿和角度，加之產(chǎn)品顏色的多樣化，使其在同種同角度光源下，常存在不同視覺效果。傳統(tǒng)的視覺方案常通過多種光源、多種角度進行拍攝，獲取穩(wěn)定的圖片效果，但生產(chǎn)效率較低，且仍然存在一定幾率的產(chǎn)品超出視野范圍、圖像模糊、過曝等情況，如下圖所示。工件顏色分類圖像一、深度學習技術(shù)4、深度學習在工業(yè)視覺領域的應用案例訓練多姿態(tài)、多顏色、多種打光效果的圖片，使用深度學習分類工具，即可正確區(qū)分顏色，并將顏色名稱和得分情況顯示在圖片當中。工件顏色分類深度學習結(jié)果一、深度學習技術(shù)4、深度學習在工業(yè)視覺領域的應用案例柱狀塞芯外觀缺陷檢測

柱狀塞芯一般為柱狀體，相機架設于產(chǎn)品柱狀側(cè)面，機構(gòu)帶動產(chǎn)品旋轉(zhuǎn)一周取圖，如下圖所示。柱狀塞芯外觀缺陷檢測圖像一、深度學習技術(shù)（a）劃傷1（b）劃傷2（c）白斑1（d）白斑2（e）黑斑1（f）黑斑24、深度學習在工業(yè)視覺領域的應用案例產(chǎn)品本身體積較小，出現(xiàn)缺陷的位置、種類、圖像效果都不一致，且有些缺陷并不明顯，用傳統(tǒng)視覺較難實現(xiàn)找出外觀缺陷，此時需要用深度學習缺陷檢測工具實現(xiàn)該項目功能，如下圖所示。一、深度學習技術(shù)4、深度學習在工業(yè)視覺領域的應用案例模穴號字符識別

產(chǎn)品表面雕刻模穴號時，常常存在字體不同、凹凸狀態(tài)不同、金屬材質(zhì)不同導致的圖像效果差異大的問題。使用傳統(tǒng)OCR工具進行識別時，需要人工訓練大量的字符；而導入通用的OCR字符識別深度學習模型，即可快速識別不同場景不同字符，配置簡單，準確性更高，如下圖所示。（a）模穴號1（b）模穴號2（c）模穴號3（d）模穴號4一、深度學習技術(shù)TASK任務10.2深度學習技術(shù)應用一、深度學習工具二、深度學習應用一、深度學習工具一、深度學習工具1、DCCKDeepLearning工具包DCCKDeepLearning工具包

DCCKDeepLearning工具包，是專為工廠自動化設計的深度學習視覺軟件，其包含了用于對象和場景分類的Classify工具；用于缺陷探測和分割的Detection工具；用于文本和字符讀取的OCR工具，如下圖所示。本章節(jié)僅介紹DCCKOCRTool及其應用。DCCKDeepLearning工具包一、深度學習工具2、DCCKOCRToolDCCKClassifyTool提供了圖形用戶界面，該工具可通過加載分類模型的方式，快速對產(chǎn)品進行分類，并將識別出的產(chǎn)品類型和分數(shù)顯示在圖像中。其默認界面，如下圖所示。DCCKClassifyTool默認界面一、深度學習工具3、DCCKDetectionToolDCCKDetectionTool提供了圖形用戶界面，該工具可通過加載檢測模型的方式，快速檢測圖像中缺陷、污損等目標的位置和類別，并顯示在圖像中。其默認界面，如下圖所示。DCCKDetectionTool默認選項卡界面一、深度學習工具4、DCCKOCRToolDCCKOCRTool提供了圖形用戶界面，該工具可通過加載訓練后模型的方式，快速識別字符文本并顯示在圖像中。OCR模型較為成熟，無需外部軟件多次訓練不同場景下的字符，基本支持包含英文、數(shù)字和標點符號的全部場景的字符識別，如卷曲、折頁、污損、亮度不同、凹凸不同等多種場景，無需多次訓練不同的字體格式。其默認界面，如下圖所示。DCCKOCRTool默認選項卡界面二、深度學習應用（1）-顏色分類1、新建解決方案，添加信號和取像二、深度學習應用（1）-顏色分類新建解決方案，保存并命名為“10.2.2-1.顏色分類深度學習-XXX”。添加“內(nèi)部觸發(fā)”和“Cog取像”工具，并相互鏈接。打開“Cog取像”工具，選擇本地文件夾“顏色分類圖片”2、添加DCCKClassifyTool二、深度學習應用（1）-顏色分類添加“ToolBlock”工具，進行鏈接，并輸入圖像。打開“ToolBlock”工具欄，選擇“DCCK”→“DeepLearning”，添加DCCKClassifyTool，并鏈接輸入圖像“Input1”3、配置DCCKClassifyTool二、深度學習應用（1）-顏色分類打開并配置DCCKClassifyTool1。在“Current.InputImage”圖像緩沖區(qū)中框選左側(cè)工件，點擊【分類模型未加載】，在彈窗中選擇本地“顏色分類模型”并確定4、運行DCCKClassifyTool查看結(jié)果二、深度學習應用（1）-顏色分類運行該工具，切換至“LastRun.InputImage”圖像緩沖區(qū)，切換至“結(jié)果統(tǒng)計”選項卡界面，即可查看分類結(jié)果即分數(shù)5、再添加一個DCCKClassifyTool二、深度學習應用（1）-顏色分類再添加并配置一個DCCKClassifyTool，選擇相同的分類模型，區(qū)域為右側(cè)工件6、配置并查看第二個DCCKClassifyTool二、深度學習應用（1）-顏色分類運行并查看DCCKClassifyTool2的結(jié)果7、輸出DCCKClassifyTool終端二、深度學習應用（1）-顏色分類分別給2個顏色分類工具添加分數(shù)的終端，并分別將2個顏色分類工具的結(jié)果名稱、分數(shù)拖至“[Outputs]”和重命名8、添加并配置“邏輯運算”工具二、深度學習應用（1）-顏色分類添加“邏輯運算”工具并配置。添加“字符串比較”，添加比較方法為“ToolBlock.Result1==ToolBlock.Result2”9、添加并配置“Cog結(jié)果圖像”工