機(jī)器視覺技術(shù)與應(yīng)用課件：3D視覺技術(shù)與應(yīng)用

機(jī)器視覺技術(shù)應(yīng)用CHAPTER

08061007

機(jī)器視覺測(cè)量應(yīng)用

機(jī)器視覺軟件二次開發(fā)應(yīng)用

深度學(xué)習(xí)技術(shù)與應(yīng)用

機(jī)器視覺引導(dǎo)應(yīng)用093D視覺技術(shù)與應(yīng)用Section節(jié)9.13D視覺技術(shù)9.23D視覺技術(shù)應(yīng)用1、3D視覺技術(shù)TASK任務(wù)任務(wù)一、3D視覺及其相機(jī)二、3D視覺成像原理三、3D數(shù)據(jù)表示四、3D幾何測(cè)量五、3D視覺應(yīng)用案例一、3D視覺及其相機(jī)3D視覺技術(shù)分類一、3D視覺及其相機(jī)需要一個(gè)特殊的光學(xué)投射器來產(chǎn)生一定的光模式基于一幅或多幅圖像中來獲取物體三維形狀信息,對(duì)光源沒有嚴(yán)格的要求工業(yè)3D傳感器類型一、3D視覺及其相機(jī)常見的工業(yè)領(lǐng)域3D傳感器類型二、3D視覺成像原理3D視覺成像方法有很多種，其原理和實(shí)現(xiàn)過程也不盡相同，這里以TOF技術(shù)、單目視覺、雙目立體視覺和結(jié)構(gòu)光為例詳細(xì)說明各自的成像原理二、3D視覺成像原理iTOF成像原理示意式中c=2.9979×108m/s，為光速，fm為光波頻率。iTOF雖然工作原理復(fù)雜，但實(shí)現(xiàn)過程簡(jiǎn)單且依賴的額外硬件單一、成本較低。飛行時(shí)間(TOF)技術(shù)可分為直接TOF（簡(jiǎn)稱dTOF）和間接TOF（簡(jiǎn)稱iTOF）。TOF相機(jī)的每個(gè)像素利用光飛行的時(shí)間差來獲取物體的深度。iTOF相機(jī)工作時(shí)，從發(fā)射極向目標(biāo)發(fā)射近紅外（~850nm或940nm）的脈沖波，遇到目標(biāo)后反射，由于光在空氣中的傳播速度是不變的，通過發(fā)射和接收的光波的相位偏移Δφ確定目標(biāo)的距離，進(jìn)而確定產(chǎn)生的深度信息3D視覺成像方法有很多種，其原理和實(shí)現(xiàn)過程也不盡相同，這里以TOF技術(shù)、單目視覺、雙目立體視覺和結(jié)構(gòu)光為例詳細(xì)說明各自的成像原理二、3D視覺成像原理對(duì)dTOF相機(jī)成像而言，探測(cè)器系統(tǒng)在發(fā)射光脈沖的同時(shí)啟動(dòng)探測(cè)接收單元進(jìn)行計(jì)時(shí)，當(dāng)探測(cè)器接收到目標(biāo)反射的光回波時(shí)，探測(cè)器直接存儲(chǔ)往返時(shí)間Δt，則目標(biāo)距離可表示為dTOF測(cè)距方式為直接，原理簡(jiǎn)單易懂，抗干擾性好，在復(fù)雜環(huán)境、遠(yuǎn)距離場(chǎng)景下表現(xiàn)較好，但相機(jī)的分辨率較低，隨機(jī)誤差較高，通常會(huì)有厘米級(jí)的抖動(dòng)單目視覺系統(tǒng)是指使用一臺(tái)攝像機(jī)進(jìn)行三維重建。其常見的實(shí)現(xiàn)方法為X恢復(fù)形狀法(shapefromX)，這里的X包含圖像的一些二維特征如明暗度、紋理、焦點(diǎn)、輪廓或者相機(jī)的運(yùn)動(dòng)。下面以運(yùn)動(dòng)法和調(diào)焦法為例介紹單目視覺成像原理二、3D視覺成像原理運(yùn)動(dòng)法可從靜態(tài)目標(biāo)場(chǎng)景的有序或無序圖像集合估計(jì)相機(jī)運(yùn)動(dòng)軌跡并恢復(fù)三維場(chǎng)景結(jié)構(gòu)，如圖9.4所示。求解運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)問題主要包含三個(gè)階段：圖像特征提取與匹配、根據(jù)特征匹配關(guān)系估計(jì)相機(jī)運(yùn)動(dòng)、結(jié)合相機(jī)運(yùn)動(dòng)與特征匹配重建三維結(jié)構(gòu)調(diào)焦法簡(jiǎn)稱SFF(Shapefromfocus)，這種方法通過分析相機(jī)的光圈、焦距和拍攝圖像的清晰度之間的關(guān)系獲取物體表面的深度信息，從而重建出物體的三維模型。雙目視覺重建過程雙目立體視覺系統(tǒng)基于視差原理，由三角法原理進(jìn)行三維信息的獲取，即由兩個(gè)相機(jī)的圖像平面和被測(cè)物體之間構(gòu)成一個(gè)三角形。已知兩個(gè)相機(jī)的位置關(guān)系，便可以獲取兩個(gè)相機(jī)公共視場(chǎng)內(nèi)物體的特征點(diǎn)三維坐標(biāo)二、3D視覺成像原理根據(jù)兩個(gè)相機(jī)安裝位置的不同可分為兩種雙目視覺系統(tǒng)，一種稱為平行式光軸雙目視覺系統(tǒng)，另一種被稱為匯聚式光軸雙目視覺系統(tǒng)。為獲取更大的視場(chǎng)，通常將左右相機(jī)分別繞光心順時(shí)針和逆時(shí)針旋轉(zhuǎn)一定角度形成匯聚式雙目視覺系統(tǒng)雙目視覺成像原理雙目視覺重建過程雙目視覺重建過程結(jié)構(gòu)光的成像技術(shù)包括點(diǎn)結(jié)構(gòu)光、線結(jié)構(gòu)光和面結(jié)構(gòu)光二、3D視覺成像原理結(jié)構(gòu)光法根據(jù)投射光束的形態(tài)不同分為點(diǎn)結(jié)構(gòu)光法、線結(jié)構(gòu)光法和面結(jié)構(gòu)光法，其實(shí)現(xiàn)過程主要通過觀察物體表面結(jié)構(gòu)光圖案的形變程度來計(jì)算對(duì)應(yīng)的三維形狀和深度信息點(diǎn)結(jié)構(gòu)光線結(jié)構(gòu)光面結(jié)構(gòu)光三、3D數(shù)據(jù)表示雙目視覺重建過程深度圖三、3D數(shù)據(jù)表示深度圖深度圖：深度圖是表征場(chǎng)景中物體與3D相機(jī)之間的空間距離的圖像。因?yàn)樯疃葓D包含三維場(chǎng)景下的深度信息，可以利用深度圖的這一特點(diǎn)，結(jié)合相機(jī)內(nèi)參數(shù)，完全解出圖像中每一像素點(diǎn)在相機(jī)坐標(biāo)系下的三維坐標(biāo)，從而得到物體或者場(chǎng)景的三維點(diǎn)云模型。深度圖比普通的RGB圖像多出的一維空間信息更有助于構(gòu)建物體的空間幾何結(jié)構(gòu)，因此深度圖在機(jī)器視覺研究領(lǐng)域中具有重要地位雙目視覺重建過程點(diǎn)云圖三、3D數(shù)據(jù)表示點(diǎn)云：用來描述物體特征的3D空間中點(diǎn)的集合，每個(gè)點(diǎn)具有特定的位置信息(x,y,z)并且還會(huì)包含一些被測(cè)物體屬性信息，如激光反射強(qiáng)度可以反映物體表面反射率，有利于區(qū)別被測(cè)物體表面材質(zhì)；RGB顏色信息可以反映物體表面紋理，還有回波信息可以反映物體表面穿透能力。點(diǎn)云按照特征點(diǎn)的密度可分為稀疏點(diǎn)云和稠密點(diǎn)云兩種。稀疏點(diǎn)云中特征點(diǎn)數(shù)量較少，可用于表示物體的幾何結(jié)構(gòu)如平面、路徑等。稀疏點(diǎn)云的數(shù)據(jù)量小、可快速生成和處理，常被用于快速加載空間的結(jié)構(gòu)信息，例如自動(dòng)駕駛、掃地機(jī)器人等領(lǐng)域。稠密點(diǎn)云中特征點(diǎn)的數(shù)量較多，能夠精細(xì)的表示物體的形狀和外觀，可實(shí)現(xiàn)三維場(chǎng)景或物體的全貌構(gòu)建，這類基于點(diǎn)云的三維重建技術(shù)，被廣泛應(yīng)用于數(shù)字化城市建設(shè)、虛擬增強(qiáng)現(xiàn)實(shí)、古文物復(fù)原、醫(yī)學(xué)研究等領(lǐng)域點(diǎn)云圖雙目視覺重建過程體素三、3D數(shù)據(jù)表示體素：體素是體積像素的簡(jiǎn)稱，是3D空間中量化的、大小固定的點(diǎn)，相當(dāng)于三維空間中的最小單位體素化的主要思想都是將物體切割劃分，并與空白數(shù)據(jù)加以區(qū)分，只要分辨率足夠大（即把目標(biāo)物體分割的足夠細(xì)密），物體的細(xì)節(jié)和體積都會(huì)完整的呈現(xiàn)在體素?cái)?shù)據(jù)中體素雙目視覺重建過程網(wǎng)格三、3D數(shù)據(jù)表示網(wǎng)格：網(wǎng)格是點(diǎn)云的細(xì)化分割的一種呈現(xiàn)形式，可實(shí)現(xiàn)將多面體表示為頂點(diǎn)與面片的集合，包含了物體表面的拓?fù)湫畔ⅲ跈C(jī)器視覺中為了快速處理數(shù)據(jù)用三角形居多。三角形網(wǎng)格在計(jì)算機(jī)中存儲(chǔ)表示為一個(gè)頂點(diǎn)數(shù)據(jù)和一個(gè)三角形數(shù)組，其中頂點(diǎn)數(shù)組包含頂點(diǎn)的坐標(biāo)、法向量、顏色和紋理坐標(biāo)等信息，三角形數(shù)組則存儲(chǔ)著三角形頂點(diǎn)數(shù)組中的索引點(diǎn)云數(shù)據(jù)的稠密化過程需要在網(wǎng)格化的基礎(chǔ)上完成，由于Delaunay三角剖分法進(jìn)行細(xì)分時(shí)對(duì)網(wǎng)格曲面的細(xì)節(jié)進(jìn)行了較好的控制同時(shí)遵循了嚴(yán)格的數(shù)學(xué)基礎(chǔ)，因此該方法形成的網(wǎng)格為最佳網(wǎng)格網(wǎng)格四、3D幾何測(cè)量雙目視覺重建過程激光掃描系統(tǒng)的構(gòu)成四、3D幾何測(cè)量3D幾何測(cè)量的點(diǎn)云可以通過激光掃描系統(tǒng)進(jìn)行采集，激光掃描系統(tǒng)一般由激光發(fā)射器、成像系統(tǒng)、運(yùn)動(dòng)機(jī)構(gòu)組成，線激光發(fā)射器與移動(dòng)平臺(tái)垂直，相機(jī)和激光器呈一定夾角，掃描時(shí)物體沿著Y軸方向移動(dòng)在3D空間中，X方向分辨率是沿著激光線方向各測(cè)量點(diǎn)之間的水平距離，這個(gè)值和相機(jī)分辨率和視野大小有關(guān)，越靠近傳感器，X方向分辨率越高；Z方向分辨率指示各點(diǎn)處可檢測(cè)的最小高度差，即被測(cè)物高度的測(cè)量精度。被測(cè)物位于固定位置時(shí)，任意給定時(shí)刻各點(diǎn)上的高度值的變化限制了Z方向分辨率。這種變化由相機(jī)和傳感器電子元件造成。雙目視覺重建過程激光三角測(cè)量法原理四、3D幾何測(cè)量激光三角法的原理是根據(jù)被測(cè)物體表面高度不同，激光光斑在圖像上的位置也不同，根據(jù)激光發(fā)射器、相機(jī)和被測(cè)點(diǎn)之間的三角關(guān)系來計(jì)算出被測(cè)點(diǎn)距離和圖像位置的關(guān)系五、3D視覺應(yīng)用案例3D視覺應(yīng)用案例五、3D視覺應(yīng)用案例曲面屏測(cè)量食品缺陷檢測(cè)連接器測(cè)量汽車裝配檢測(cè)3D視覺應(yīng)用案例五、3D視覺應(yīng)用案例AGV小車祝融號(hào)火星車刷臉支付刷掌支付3D視覺技術(shù)的發(fā)展趨勢(shì)五、3D視覺應(yīng)用案例3D視覺系統(tǒng)底層元器件、核心算法等技術(shù)的快速發(fā)展使得成像分辨率不斷提高、圖像采集速度和傳輸可靠性明顯增強(qiáng)，豐富了工業(yè)視覺系統(tǒng)的應(yīng)用場(chǎng)景。高性能和多場(chǎng)景智能化和實(shí)時(shí)性集成化和融合化隨著人工智能、大數(shù)據(jù)和云計(jì)算等新技術(shù)的引入，工業(yè)3D視覺系統(tǒng)將變得更智能化、實(shí)時(shí)化。工業(yè)3D視覺系統(tǒng)也將朝著集成化、小型化的方向發(fā)展，各種模組（如光學(xué)模組、通信模組和計(jì)算模組等）會(huì)逐漸集成在一個(gè)設(shè)備中2、3D視覺技術(shù)應(yīng)用TASK任務(wù)任務(wù)一、3D取像工具二、3D視覺測(cè)量及應(yīng)用一、3D取像工具V+平臺(tái)軟件可方便使用者快速進(jìn)行3D視覺方案的制作和實(shí)施，其取像工具的說明如下一、3D取像工具V+平臺(tái)軟件可方便使用者快速進(jìn)行3D視覺方案的制作和實(shí)施，其取像工具的說明如下一、3D取像工具（1）3D取像工具：該工具實(shí)現(xiàn)從3D傳感器或本地3D數(shù)據(jù)獲取圖像的功能（2）Z轉(zhuǎn)CogImage16Range工具：從3D取像工具獲取的圖像需要經(jīng)過該工具格式轉(zhuǎn)換為高度圖，方可在工具塊中進(jìn)行圖像處理V+平臺(tái)軟件可方便使用者快速進(jìn)行3D視覺方案的制作和實(shí)施，其取像工具的說明如下一、3D取像工具源：可選擇相機(jī)或者本地圖像設(shè)備：選擇已連接的3D傳感器圖像模式：可選擇灰度或者彩色保存：勾選保存即在取像完成后并保存路徑：設(shè)置圖像的存儲(chǔ)路徑，可選擇指定文件夾或鏈接前置工具拼接的路徑文件名：自定義所取像的名稱行數(shù)：需要和“批處理點(diǎn)數(shù)”保持一致超時(shí)（s）：取像工具最長運(yùn)行時(shí)間3D取像工具V+平臺(tái)軟件可方便使用者快速進(jìn)行3D視覺方案的制作和實(shí)施，其取像工具的說明如下一、3D取像工具inputImage：默認(rèn)鏈接前置工具的輸出圖像，可選擇本地文件夾圖像imagewidth：默認(rèn)鏈接前置工具的輸出寬度，可輸入?yún)?shù)imageHeight：默認(rèn)鏈接前置工具的輸出高度，可輸入?yún)?shù)xScale：X軸方向的分辨率，由傳感器型號(hào)決定yScale：Y軸方向的分辨率與xScale保持一致zScale：Z軸方向的分辨率，該分辨率為16位圖像中的參數(shù)，故等于傳感器的Z軸高度值/65536Z轉(zhuǎn)CogImage16Range工具二、3D視覺測(cè)量及應(yīng)用3D測(cè)量技術(shù)指利用各種方法對(duì)被測(cè)物體進(jìn)行全方位測(cè)量，在V+平臺(tái)軟件中能實(shí)現(xiàn)的3D測(cè)量功能如下二、3D視覺測(cè)量及應(yīng)用常見的3D測(cè)量工具平面夾角測(cè)量工具測(cè)高工具平面提取工具體積測(cè)量工具在測(cè)量高度時(shí)，其測(cè)量流程為：首先，要使用平面提取工具確定測(cè)高的基準(zhǔn)平面，其次，使用測(cè)高工具確定被測(cè)平面并完成高度測(cè)量二、

3D視覺測(cè)量及應(yīng)用平面提取工具在使用過程中需要如下配置：（1）平面擬合算法選擇（2）擬合算法所需參數(shù)設(shè)置在測(cè)量高度時(shí)，其測(cè)量流程為：首先，要使用平面提取工具確定測(cè)高的基準(zhǔn)平面，其次，使用測(cè)高工具確定被測(cè)平面并完成高度測(cè)量二、

3D視覺測(cè)量及應(yīng)用測(cè)高工具在使用過程中需要如下配置：（1）設(shè)定高度的正方向（2）選擇需要測(cè)高的平面采用深視智能(SSZN)8060型號(hào)的激光線掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量二、3D視覺測(cè)量及應(yīng)用待測(cè)樣品及其高度SSZN8060傳感器采用深視智能(SSZN)8060型號(hào)的激光線掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量二、

3D視覺測(cè)量及應(yīng)用1.新建項(xiàng)目9解決方案，并保存為“項(xiàng)目9-任務(wù)2-3D視覺技術(shù)應(yīng)用-XXX”2.單擊“菜單”→“設(shè)備”→“3D相機(jī)”，雙擊“深視”3.參照左圖設(shè)置“深視”傳感器參數(shù)采用深視智能(SSZN)8060型號(hào)的激光線掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量二、3D視覺測(cè)量及應(yīng)用1.添加“001_內(nèi)部觸發(fā)”工具2.雙擊或拖出“圖像”工具包中的“3D取像”工具，并鏈接至“001_內(nèi)部觸發(fā)”工具采用深視智能(SSZN)8060型號(hào)的激光線掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量二、3D視覺測(cè)量及應(yīng)用1.雙擊或拖出“Cognex”工具包中的“Z轉(zhuǎn)CogImage16Range”工具2.同理，添加“004_ToolBlock”并鏈接至“Z轉(zhuǎn)CogImage16Range”工具采用深視智能(SSZN)8060型號(hào)的激光線掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量二、

3D視覺測(cè)量及應(yīng)用1.“002_取像”工具屬性配置：源：相機(jī)設(shè)備：深視1圖像模式：彩色保存：勾選路徑：根路徑下的“Images”文件名：3D_Data文件類型：ZMAP行數(shù)：8700超時(shí)（s）：202.單擊①處運(yùn)行取像采用深視智能(SSZN)8060型號(hào)的激光線掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量二、

3D視覺測(cè)量及應(yīng)用“003_Z轉(zhuǎn)CogImage16Range”工具屬性配置：inputImage：鏈接“002_3D取像”工具的輸出“Data”imageWidth：鏈接“002_3D取像”工具的輸出“Width”imageHeight：鏈接“002_3D取像”工具的輸出“Height”xScale：0.012yScale：0.012zScale：0.000275采用深視智能(SSZN)8060型號(hào)的激光線掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量二、

3D視覺測(cè)量及應(yīng)用“ToolBlock”工具配置：1.添加輸入項(xiàng)為“003_Z轉(zhuǎn)CogImage16Range”工具2.添加平面提取和測(cè)高工具3.將“Input1”依次鏈接至兩個(gè)3D工具的輸入圖像即⑤和⑥處采用深視智能(SSZN)8060型號(hào)的激光線掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量二、

3D視覺測(cè)量及應(yīng)用“Cog3DRangeImagePlaneEstimat