視覺傳感技術(shù)

1、第第7章章 視覺傳感技術(shù)視覺傳感技術(shù)v7.1 概述概述v7.1.1 生物視覺與機器視覺生物視覺與機器視覺v7.1.2 Marr 計算機視覺理論計算機視覺理論v7.1.3 視覺傳感技術(shù)的發(fā)展視覺傳感技術(shù)的發(fā)展7.1.1 生物視覺與機器視覺生物視覺與機器視覺所謂視覺視覺，直觀理解就是通過對環(huán)境場景（組成成分、空間關(guān)系、質(zhì)地質(zhì)感等）成像，一次性得到包含大量場景信息的“圖、像”，經(jīng)過分層次處理，最終達到理解和表達的目的。生物視覺生物視覺功能建立在生物組織、器官的基礎(chǔ)上。環(huán)境場景通過成像器官（眼睛）成像，視覺神經(jīng)感受到亮度信號，形成神經(jīng)脈動，進而傳輸至中樞神經(jīng)系統(tǒng)（大腦），上述路徑構(gòu)成視覺通路。生物視覺

2、系統(tǒng)是一個結(jié)構(gòu)復(fù)雜、功能強大、高度智能的信息系統(tǒng)。7.1.1 生物視覺與機器視覺生物視覺與機器視覺借助于信息處理理論、電子器件和計算機技術(shù)的進步，人們試圖用攝像機獲取環(huán)境場景圖像，轉(zhuǎn)化為計算機處理的數(shù)字信號，由計算機平臺進行視覺信息處理，由此誕生一門新興學(xué)科計算機視覺計算機視覺。7.1.1 生物視覺與機器視覺生物視覺與機器視覺出于工程應(yīng)用的考慮，在計算機視覺中可以將視覺傳感（信息獲?。?、視覺信息處理、理解和認知等環(huán)節(jié)分開考慮，一方面簡化了類生物視覺系統(tǒng)復(fù)雜的相互作用體系結(jié)構(gòu)，同時便于現(xiàn)有計算機平臺的實現(xiàn)。將計算機視覺用于工程應(yīng)用，產(chǎn)生了一門新的學(xué)科機器視覺機器視覺。7.1.2 Marr 計算機

3、視覺理論計算機視覺理論20世紀(jì)70年代中后期，D.Marr教授從信息處理的角度，綜合了當(dāng)時圖像處理、心理物理學(xué)、神經(jīng)生理學(xué)及臨床精神病學(xué)等方面的研究成果，提出了一個較為完善的人工視覺系統(tǒng)架構(gòu)。Marr的計算視覺理論把視覺過程看作信息處理過程，對該過程的研究分為三個不同的層次：u計算理論層次計算理論層次要回答的是計算目的與策略問題u表達與算法層次表達與算法層次則進一步回答如何實現(xiàn)上述計算理論的問題u 硬件實現(xiàn)層次硬件實現(xiàn)層次是回答如何物理（硬件）上實現(xiàn)上述表示表達和算法的問題7.1.2 Marr 計算機視覺理論計算機視覺理論Marr將視覺過程區(qū)分為三個階段： 圖像圖像要素圖要素圖2.5維圖維圖-

4、三維表示三維表示第一階段，稱為早期視覺，由輸入二維圖像獲得要素圖。第二階段，稱為中期視覺，由要素圖獲取2.5維圖。第三階段，稱為后期視覺，由輸入圖像、要素圖和2.5維圖獲得環(huán)境場景的三維表示。缺陷缺陷1）物理成像過程在數(shù)學(xué)上是一個透視投影過程，深度和被視線遮擋的信息被丟棄了，使得相同場景在不同視角下得到的二維圖像是完全不同的；2）二維圖像是依靠圖像灰度（亮度）來反映視覺信息的，在成像過程中很多無關(guān)因素都會和有用信息綜合在一起生成二維圖像。7.1.3 視覺傳感技術(shù)的發(fā)展視覺傳感技術(shù)的發(fā)展由圖像信息恢復(fù)三維場景問題由圖像信息恢復(fù)三維場景問題 Marr的視覺計算理論是通過三維場景映射到的二維圖像來研

5、究和感知場景三維物理結(jié)構(gòu)的理論，強調(diào)的是識別和理解功能，側(cè)重于基本理論研究；而視覺傳感則是從工程應(yīng)用的角度出發(fā)，研究定量提取三維空間內(nèi)有用信息的理論和方法。精度問題精度問題傳統(tǒng)的計算機視覺研究，側(cè)重于定性的三維場景識別和理解，定量的精度分析很少涉及或不涉及；視覺傳感測量則是以計算機視覺為理論基礎(chǔ)，結(jié)合精密測量、測試理論，解決工程應(yīng)用領(lǐng)域內(nèi)的測量問題，要求在滿足一定的精度前提下，實現(xiàn)被測對象的可靠測量。7.1.3 視覺傳感技術(shù)的發(fā)展視覺傳感技術(shù)的發(fā)展視覺傳感應(yīng)用于測量是多方面的，一個主要的研究領(lǐng)域就是基于視覺傳感的幾何量測量視覺測量，尤其是3D坐標(biāo)尺寸測量，在現(xiàn)代工業(yè)制造領(lǐng)域內(nèi)有著廣泛的應(yīng)用背景

6、。視覺像機是視覺測量的基礎(chǔ)。視覺像機技術(shù)一直在迅速發(fā)展，成本不斷降低，為高性能視覺測量系統(tǒng)的開發(fā)和普及應(yīng)用奠定了堅實的基礎(chǔ)。7.1.3 視覺傳感技術(shù)的發(fā)展視覺傳感技術(shù)的發(fā)展視覺測量的分析方法發(fā)生顯著變化I.采用多參數(shù)的非線性模型和誤差補償措施；II.將精密測量領(lǐng)域內(nèi)的標(biāo)定方法、設(shè)備和技術(shù)引入到計算機視覺中；III.結(jié)合近景攝影測量理論和計算機視覺。視覺測量的應(yīng)用范圍不斷擴大早期主要用于特定的、有非接觸要求的場合；現(xiàn)今可以滿足絕大多數(shù)工業(yè)測量需求。7.2 圖像傳感器圖像傳感器v7.2.1 攝像管工作原理攝像管工作原理v7.2.2 電荷耦合攝像器件工作原理電荷耦合攝像器件工作原理v7.2.3 CM

7、OS圖像傳感器圖像傳感器v7.2.4 CCD圖像傳感器圖像傳感器典型的光電攝像管包含三個基本部分，鑲嵌板、集電環(huán)和電子槍。當(dāng)光線照在光電管上，電子被打出，投影在鑲嵌板上的圖像將變成一幅正電荷的分布圖。集電環(huán)收集光電管所放出的電子，移出光電發(fā)像管電子槍發(fā)射電子形成電子束。電子束逐個掃描鑲嵌板上的個光電管時，便形成一系列電脈沖。 7.2.1 攝像管工作原理攝像管工作原理7.2.2 電荷耦合攝像器件工作原理電荷耦合攝像器件工作原理電荷耦合器件CCD（Charge Coupled Device）傳感器使用一種高感光度的半導(dǎo)體材料制成，能把光信號轉(zhuǎn)變成電荷信號。當(dāng)CCD表面受到光線照射時，每個感光單位會

8、將電荷反映在組件上；所有的感光單位所產(chǎn)生的信號加在一起，就構(gòu)成了一幅完整的畫面。uCCD的突出特點就是以電荷作為信號。uCCD的基本功能是信號電荷的產(chǎn)生、存儲、傳輸和檢測(即輸出)。7.2.2 電荷耦合攝像器件工作原理電荷耦合攝像器件工作原理當(dāng)光入射到CCD的光敏面時，便產(chǎn)生了光電荷。CCD在某一時刻所獲得的光電荷與前期所產(chǎn)生的光電荷進行累加，稱為電荷積分。入射光越強，通過電荷積分所得到的光電荷量越大?；竟δ芤换竟δ芤?光電荷的產(chǎn)生光電荷的產(chǎn)生構(gòu)成CCD的基本單元是MOS結(jié)構(gòu)。如圖7-1所示，UG=0時， P型半導(dǎo)體中的空穴(多數(shù)載流子)的分布是均勻的；UG Uth時，表面勢s變得很高，形

9、成反型層，反型層電荷的存在表明了MOS結(jié)構(gòu)存儲電荷的功能?；竟δ芏竟δ芏?電荷的存儲電荷的存儲7.2.2 電荷耦合攝像器件工作原理電荷耦合攝像器件工作原理如圖7-2(a)空勢阱的情況。在沒有反型層時，勢阱的深度和UG成正比例關(guān)系。如圖7-2(b)，當(dāng)反型層電荷填充勢阱時，表面勢收縮，如圖7-2(c)所示，反型層電荷濃度繼續(xù)增加，勢阱被填充更多，此時表面不再束縛多余的電子，電子將產(chǎn)生“溢出”現(xiàn)象。7.2.2 電荷耦合攝像器件工作原理電荷耦合攝像器件工作原理通過按一定的時序在電極上施加高低電平，可以實現(xiàn)光電荷在相鄰勢阱間的轉(zhuǎn)移。如圖7-3來示意CCD中勢阱中電荷的轉(zhuǎn)移：(a) 初始狀態(tài)； (

10、b) 電荷由(1)電極向 (2)電極轉(zhuǎn)移； (c) 電荷在(1) (2)電極 下均勻分布；(d) 電荷繼續(xù)由(1)電 極向(2)電極轉(zhuǎn)移；(e) 電荷完全轉(zhuǎn)移到(2) 電極；(f) 三相轉(zhuǎn)移脈沖轉(zhuǎn)移?；竟δ苋竟δ苋?電荷的轉(zhuǎn)移電荷的轉(zhuǎn)移7.2.2 電荷耦合攝像器件工作原理電荷耦合攝像器件工作原理光電荷的輸出是指在光電荷轉(zhuǎn)移通道的末端，將電荷信號轉(zhuǎn)換為電壓或電流信號輸出，也稱為光電荷的檢測。CCD電荷的檢出方式還有浮置擴散輸出、浮置柵放大器輸出等。其結(jié)構(gòu)示意如圖7-6、圖7-7所示?；竟δ芩幕竟δ芩?光電荷的輸出光電荷的輸出7.2.3 CCD圖像傳感器圖像傳感器CCD圖像傳感器線陣CC

11、D傳感器面陣CCD傳感器單溝道線陣CCD雙溝道線陣CCD幀轉(zhuǎn)移型面陣CCD電荷耦合器件行間轉(zhuǎn)移型面陣CCD電荷耦合器件幀-行轉(zhuǎn)移型面陣CCD電荷耦合器件7.2.3 CCD圖像傳感器圖像傳感器圖7-8所示是三相單溝道線陣CCD的結(jié)構(gòu)圖。光敏元陣列與轉(zhuǎn)移區(qū)-移位寄存器是分開的，移位寄存器被遮擋。這種結(jié)構(gòu)的CCD轉(zhuǎn)移次數(shù)多，效率低，只適用于像敏元較少的攝像器件。圖7-9為雙溝道線陣CCD的結(jié)構(gòu)圖。它具有兩列移位寄存器A和B，分別位于像敏陣列的兩邊。當(dāng)轉(zhuǎn)移柵為高電平時，光積分陣列的信號電荷包同時按箭頭所示方向轉(zhuǎn)移到對應(yīng)的移位寄存器中，然后在驅(qū)動脈沖的作用下分別向右轉(zhuǎn)移，最后以視頻信號輸出。7.2.3

12、CCD圖像傳感器圖像傳感器幀轉(zhuǎn)移型面陣CCD電荷耦合器件(FT-CCD)由成像區(qū)、存儲區(qū)和讀出寄存器3個基本區(qū)域組成，由三相脈沖驅(qū)動，又稱三相驅(qū)動式面陣CCD電荷耦合器件。優(yōu)點優(yōu)點： 電極結(jié)構(gòu)簡單； 較高的分辨率 和靈敏度。缺點缺點： 尺寸較大； 易形成光“污 染”嚴重時形成 垂直拖尾現(xiàn)象。7.2.3 CCD圖像傳感器圖像傳感器行間轉(zhuǎn)移型面陣CCD電荷耦合器件(IT-CDD)的感光行與垂直位移寄存器相間排列，由轉(zhuǎn)移柵極控制電荷的轉(zhuǎn)移和輸出。優(yōu)點：優(yōu)點： 結(jié)構(gòu)簡單，面積??； 較高的空間頻率； 垂直拖尾減輕。缺點：缺點：防止漏光，總的感 光面積減小，靈敏度 降低； 有部分入射光到達 垂直位移寄存器

13、，形 成光污染。7.2.3 CCD圖像傳感器圖像傳感器幀-行轉(zhuǎn)移型面陣CCD電荷耦合器件(FIT-CCD)是在行間轉(zhuǎn)移型的基礎(chǔ)上加上場存儲區(qū)而構(gòu)成的，其結(jié)構(gòu)如圖7-17所示。優(yōu)點優(yōu)點：垂直轉(zhuǎn)移速度極映，可有效消除光污染，使垂直拖尾消失。缺點：缺點：尺寸較大，材料利用率較低。7.2.4 CMOS圖像傳感器圖像傳感器CMOS圖像傳感器(CIS)由許多光敏單元組成。 根據(jù)光敏像元結(jié)構(gòu)的不同，可分為光柵型和光電二極管型。 根據(jù)敏感單元內(nèi)是否具有放大功能，可分為無源像素圖像傳感器（PPS）和有源像素圖像傳感器(APS)。7.2.4 CMOS圖像傳感器圖像傳感器1、無源像素結(jié)構(gòu)無源像素結(jié)構(gòu)無源像素傳感器的

14、像元結(jié)構(gòu)簡單，沒有信號放大作用，是由一個反向偏置的光敏二極管(MOS管或p-n結(jié)二極管)和一個行選擇開關(guān)管Tx構(gòu)成。優(yōu)點：優(yōu)點：在給定的單元尺寸下，可 設(shè)計出最高的填充系數(shù) 在給定的設(shè)計填充系數(shù)下， 單元尺寸可設(shè)計得最小 可獲得較高的“量子效率” 有利于提高器件的靈敏度不足不足: 存在較大的固有圖形噪聲 列線不宜過長以減小其分 布參數(shù)的影響7.2.4 CMOS圖像傳感器圖像傳感器2、有、有源像素結(jié)構(gòu)源像素結(jié)構(gòu)（1）光敏二極管型有源像素結(jié)構(gòu)光敏二極管型有源像素結(jié)構(gòu)光敏二極管型有源像素結(jié)構(gòu)如圖7-11，每個像元包括三個晶體管和一個光敏二極管。光敏面沒有多晶硅層疊，光敏二極管型APS量子效率較高；難

15、以設(shè)計在片相關(guān)雙取樣電路，讀出噪聲出復(fù)位噪聲限制，典型值為75100個均方根電子。CMOS光敏二極管型APS適宜于大多數(shù)中低性能的應(yīng)用。7.2.4 CMOS圖像傳感器圖像傳感器2、有、有源像素結(jié)構(gòu)源像素結(jié)構(gòu)（2）光柵型有源像素結(jié)構(gòu)光柵型有源像素結(jié)構(gòu)光柵型有源像素傳感器結(jié)合了CCD和X-Y尋址的優(yōu)點，其結(jié)構(gòu)如圖7-12所示，每個像元采用了五個晶體管。采用0.25um工藝將允許達到5um的像元間距。由于可以設(shè)置CDS電路和雙取樣DDS)電路，其讀出噪聲小，一般為1020個均方根電子，可接近高檔CCD水平，目前已有讀出噪聲為5個均方根電子的報道。CMOS光柵型APS適用于高性能科學(xué)成像和低光照成像。

16、7.2.5 CCD與與CMOS圖像傳感器比較圖像傳感器比較與與CCD圖像傳感器相比，圖像傳感器相比，CMOS圖像傳感器具有明圖像傳感器具有明顯的優(yōu)勢。顯的優(yōu)勢。uCCD存儲的電荷轉(zhuǎn)移和讀取電路較為復(fù)雜，速度較慢； CMOS信號讀取十分簡單，能同時處理各單元的圖像信息，速度比CCD快得多。uCCD器件的成像點為X-Y縱橫矩陣排列且僅能輸出模擬電 信號；CMOS器件的集成度高、體積小、重量輕 ，具有高 度系統(tǒng)整合的條件。u從功耗和兼容性來看，CCD功耗大；而CMOS-APS具有功 耗低、兼容性好的特點。uCCD傳感器成本高；CMOS傳感器成品率高，制造成本低。uCMOS-APS比CCD圖像質(zhì)量高。

17、u高速性是CMOS電路的固有特性。CMOS圖像傳感器具有 更強的靈活性7.2.5 CCD與與CMOS圖像傳感器比較圖像傳感器比較7.3 3D視覺傳感技術(shù)視覺傳感技術(shù)v7.3.1 3D視覺傳感原理視覺傳感原理v7.3.2 攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)v7.3.3 結(jié)構(gòu)光視覺傳感器結(jié)構(gòu)光視覺傳感器v7.3.4 雙目視覺傳感器雙目視覺傳感器v7.3.5 組合視覺測量系統(tǒng)組合視覺測量系統(tǒng)7.3.1 3D視覺傳感原理視覺傳感原理u3D視覺傳感是指采用一個或多個圖象傳感器（攝像機等）作為傳感元件，在特定的結(jié)構(gòu)設(shè)計的支持下，綜合利用其它輔助信息，實現(xiàn)對被測物體的尺寸及空間位姿的三

18、維非接觸測量。u基于三角法的主動和被動視覺測量原理具有抗干擾能力強、效率高、精度合適、組成簡潔等優(yōu)點，非常適合制造現(xiàn)場的在線、非接觸測量，是實際應(yīng)用的主流。7.3.1 3D視覺傳感原理視覺傳感原理基于三角法的基于三角法的3D視覺測量方法視覺測量方法結(jié)構(gòu)光方法結(jié)構(gòu)光方法通過構(gòu)造結(jié)構(gòu)光，使得結(jié)構(gòu)光平面和攝像機之間配置成三角測量關(guān)系，依靠被測點成像光束和結(jié)構(gòu)光平面的交匯約束，求解3D信息。立體視覺方法立體視覺方法采用兩個以上的攝像機在空間構(gòu)成三角配置，利用被測點在多個攝像機中成像位置的不同（所謂“視差”），由多個攝像機的成像光束在空間交匯，由此得到被測點3D信息。3D視覺測量模型包括三個層次：攝像機

19、成像模型、3D傳感器測量模型、3D測量系統(tǒng)模型，與此對應(yīng)，標(biāo)定問題也分為三個層次。7.3.2 攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)攝像機模型攝像機模型基于像機成像過程和自基于像機成像過程和自身物理參數(shù)的成像模型身物理參數(shù)的成像模型基于投影變換關(guān)系的基于投影變換關(guān)系的模型模型針孔成像模型針孔成像模型直接線性變換模直接線性變換模型型攝影測量模型攝影測量模型7.3.2 攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)針孔成像模型針孔成像模型PQzox y攝像機針孔模型攝像機針孔模型P為物點，Q為像點，像機針孔模型的數(shù)學(xué)表示： FMTPq 式中，q=（x，y）為像點Q在攝像

20、機像平面上的坐標(biāo)；p=（xw,，yw，zw）為P在攝像機坐標(biāo)系中的三維坐標(biāo)；F 透視變換矩陣；M 旋轉(zhuǎn)矩陣；T 平移矩陣；（7-1）式中， 表示刻度因子；F、M、T三個矩陣，它們與針孔模型中具有相同的含義；V、B兩個矩陣是補償矩陣。7.3.2 攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)直接線性變換模型直接線性變換模型pAq（7-2）DLT模型由下式表述：式中，p，q與（7-1）中相同；A為矩陣，可分解為FMTBVA11（7-3）07.3.2 攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)攝影測量模型攝影測量模型假設(shè) (xu, yu) 為空間物點P 在像平面上理想像點坐標(biāo)

21、實際像點位置為 (xd, yd)，則yCyyxCxxyduxdu（7-4）其中，Cx、 Cy為像面中心，x、y為成像綜合畸變（修正因子），可采用下列模型：2221362412212122362412)2(22)2(PryyxPkrykrykryyybxbyxPPrxkrxkrxkrxx（7-5）式中：ydxdCyyCxx22yxr7.3.2 攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)直接標(biāo)定及技術(shù)直接標(biāo)定及技術(shù)直接標(biāo)定模型參數(shù)可以通過建立已知空間點（控制點）三維坐標(biāo)（Xw, Yw, Zw）及其對應(yīng)成像點的二維像面坐標(biāo)（xd，yd）之間的對應(yīng)關(guān)系：對于較小視場的成像，可以通過精確的

22、共面或非共面的靶標(biāo)建立控制點的三維物點和二維特征像點的對應(yīng)；對于較大視場的成像，可以通過大型CMM 構(gòu)造較大空間的三維控制點。（b）（c）（a）標(biāo)定控制點（a）CMM虛擬控制點 （b）共面控制點 （c）非共面控制點7.3.2 攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)以攝影測量模型為例，由成像模型得到：直接標(biāo)定技術(shù)直接標(biāo)定技術(shù)0),(0),(21213212121321zyxyxddwwwyzyxyxddwwwxtttPPbbkkkfCCyxZYXftttPPbbkkkfCCyxZYXf式中：（Xw, Yw, Zw）為控制點空間坐標(biāo)（已知量）， （xd，yd）為控制點對應(yīng)象點的象

23、素坐標(biāo)（已知量）， f、Cx、Cy、k1、k2、k3、b1、b2、P1、P2 為模型 參數(shù)（未知量）， 為像機坐標(biāo)系OXYZ到世界坐 標(biāo)系OwXwYwZw之間的變換關(guān)系，即像機姿態(tài)外 參數(shù)（未知量），解算上述非線性方程組，可以得到模型參數(shù)。zyxttt、7.3.2 攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)自標(biāo)定技術(shù)自標(biāo)定技術(shù)基本思路：在空間簡單設(shè)置標(biāo)定控制點，控制點的空間坐標(biāo)未知，像機在不同的姿態(tài)（ ）條件下，獲取視場中控制點的圖像，處理得到控制點的象面坐標(biāo)。nznynxnnnttt,nznynxnnnttt,222222,zyxtttxm,ym,zm222222,zyxttt

24、OXYZ光束定向交匯自標(biāo)定原理光束定向交匯自標(biāo)定原理7.3.2 攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)攝像機模型及結(jié)構(gòu)參數(shù)標(biāo)定技術(shù)自標(biāo)定技術(shù)自標(biāo)定技術(shù)本質(zhì)：將像機的姿態(tài)、控制點的空間坐標(biāo)以及模型參數(shù)均作為未知量，以控制點的成像光束在空間交匯作為已知條件，建立高度非線性的大規(guī)模方程組，從中解算像機模型參數(shù)，原理上消除了直接標(biāo)定方法中要求控制點三維坐標(biāo)已知的局限性。優(yōu)點：1. 對工作環(huán)境要求不高，易于實現(xiàn)2. 標(biāo)定結(jié)果不受控制點坐標(biāo)精度影響，標(biāo)定精度高3. 標(biāo)定過程可以和測量過程有機結(jié)合4. 適合大尺寸視覺測量7.3.3 結(jié)構(gòu)光視覺傳感器結(jié)構(gòu)光視覺傳感器攝像機OXYZ投射器l1lnOXfYfZfFOwXwY

25、wZw結(jié)構(gòu)光傳感器測量原理結(jié)構(gòu)光傳感器測量原理設(shè)攝象機坐標(biāo)系為OXYZ ，光平面和被測物體相交形成光條l ，記光條上一特征點P 在OXYZ中的坐標(biāo)為（X，Y，Z），光平面在OXYZ 中的方程已知，特征點P在攝象機象素坐標(biāo)系中的坐標(biāo)為（xm，ym），由攝象機數(shù)學(xué)模型知),(),(zyxfyzyxfxymxm（7-6）又，P點在光平面內(nèi)0),(zyxfp（7-7）其中，fx，fy是攝象機的模型函數(shù)，可以通過精確的攝象機標(biāo)定過程得到；fp為光平面在OXYZ坐標(biāo)系中的方程，在標(biāo)定傳感器時精確求得。聯(lián)立（7-6）（7-7）可解出被測物體上特征點P在坐標(biāo)系OXYZ 中的三維坐標(biāo)。測量原理測量原理7.3.3

26、 結(jié)構(gòu)光視覺傳感器結(jié)構(gòu)光視覺傳感器標(biāo)定標(biāo)定OXYZ光平面投射器象平面PwPl結(jié)構(gòu)光傳感器標(biāo)定結(jié)構(gòu)光傳感器標(biāo)定標(biāo)定借助一個細絲靶標(biāo)進行，細絲靶標(biāo)上固定n個（相互近似平行）細直鋼絲l1，ln。將細絲靶標(biāo)固定在傳感器的工作空間，取細絲方向和光平面的法向一致。光平面入射到靶標(biāo)細絲上時產(chǎn)生n個散射亮點Pi（i=1,n），Pi對應(yīng)像點的象素坐標(biāo)由計算機處理得到。相應(yīng)地，Pi的空間三維坐標(biāo)（xw，yw，zw）可用另外的空間坐標(biāo)測量設(shè)備測量。設(shè)Pi在OXwYwZw坐標(biāo)系中的坐標(biāo)為（xwi，ywi，zwi），Pi對應(yīng)像點的象素坐標(biāo)為（xdi，ydi）。在光平面F內(nèi)，取P0點為原點，P0 P1為X方向，光平面法線

27、方向為Z方向，由X、Z方向按右手法則，在F上建立坐標(biāo)系OXfYfZf。由空間坐標(biāo)轉(zhuǎn)換關(guān)系，容易將Pi在OXwYwZw坐標(biāo)系中的三維坐標(biāo)轉(zhuǎn)換到坐標(biāo)系OXfYfZf中，設(shè)經(jīng)轉(zhuǎn)換后Pi在OXfYfZf坐標(biāo)系中的坐標(biāo)為（xfi，yfi，zfi），因為Pi在OXfYfZf的xy平面內(nèi)，所以zfi=0。7.3.3 結(jié)構(gòu)光視覺傳感器結(jié)構(gòu)光視覺傳感器假設(shè)坐標(biāo)系OXfYfZf到攝像機坐標(biāo)系OXYZ的旋轉(zhuǎn)矩陣為R，平移矩陣為T，則 11001000000001fififitcicizyxTRffyx （7-8）且 )1)(/ )1)(iydicixixdicikqcyyskqcxx（7-9）22)()(ydixd

28、iicycxq展開（7-8），利用矩陣元素之間的對應(yīng)關(guān)系，得到y(tǒng)fificizfifixfificizfififtyfrxfrytryrxftyfrxfrxtryrx54872187式中：r1, r9為Rt矩陣中的元素；tx ty tz為T矩陣中的元素。R為旋轉(zhuǎn)矩陣，存在正交約束 011875421282522272421rrrrrrrrrrrr由（7- 9）、（7-10），采用一般的非線性方程組解法，可以解出R矩陣中的元素r1, r9，T矩陣中的元素tx ty tz。（7-10）7.3.3 結(jié)構(gòu)光視覺傳感器結(jié)構(gòu)光視覺傳感器光平面F在攝像機坐標(biāo)系中的位姿可理解為：經(jīng)過OXfYfZf坐標(biāo)系原點，

29、平面法線矢量為OXfYfZf的Z軸方向。令F0=（tx，ty，tz）；n0=（r1，r4，r7）（r2，r5，r8），于是，光平面F在OXYZ坐標(biāo)系中的點法式平面方程為000FXn（7-11）式中：X=（x，y，z）為光平面F上的點在OXYZ坐標(biāo)系中的坐標(biāo)。方程（7-11）表明了光平面在攝像機坐標(biāo)系中的位姿，是光條結(jié)構(gòu)光傳感器的結(jié)構(gòu)參數(shù)。7.3.4 雙目視覺傳感器雙目視覺傳感器左攝象機坐標(biāo)系為O1X1Y1Z1 ，右攝象機坐標(biāo)系為O2X2Y2Z2 ，空間被測點P 在左、右攝象機坐標(biāo)系中的坐標(biāo)分別為（x1，y1，z1），（x2，y2，z2），P點在左、右攝象機象素坐標(biāo)系中的象素坐標(biāo)分別為（x1m，

30、y1m），（x2m，y2m），由攝象機模型知),(),(1111111111zyxfyzyxfxymxm),(),(2222222222zyxfyzyxfxymxm（7-12）（7-13）測量原理測量原理式中， f1x，f1y 和 f2x，f2y分別為左、右攝象機的模型函數(shù)，通過標(biāo)定攝象機準(zhǔn)確得到。設(shè)左、右攝象機坐標(biāo)系O1X1Y1Z1 ，O2X2Y2Z2 之間的關(guān)系可表示為TRXX12（7-14）式中 ),(1111zyxX),(2222zyxX R為3X3階坐標(biāo)系間旋轉(zhuǎn)變換矩陣； T為3X1階坐標(biāo)系間平移變換矩陣；R，T在立體視覺傳感器中是已知的，可通過傳感器標(biāo)定嚴格求出。由（7-12）（7

31、-13）（7-14）解出被測空間點P在左攝象機坐標(biāo)系O1X1Y1Z1中的三維坐標(biāo)。P象平面象平面O1X1Y1Z1O2X2Y2Z2雙目立體視覺測量原理雙目立體視覺測量原理7.3.4 雙目視覺傳感器雙目視覺傳感器左攝像機坐標(biāo)系為OX1Y1Z1，右攝像機坐標(biāo)系為OX2Y2Z2，靶標(biāo)坐標(biāo)系為OXYZ。設(shè)OXYZ到OX1Y1Z1的旋轉(zhuǎn)矩陣為R1，平移矩陣為T1，OXYZ到OX2Y2Z2的旋轉(zhuǎn)矩陣為R2，平移矩陣為T2，有111TXRX（7-15）2122TXRX（7-16）式中：X1=（x1，y1，z1）為點在OX1Y1Z1坐標(biāo)系中的坐標(biāo)； X2=（x2，y2，z2）為點在OX2Y2Z2坐標(biāo)系中的坐標(biāo)；

32、 X=（x，y，z）為點在OXYZ坐標(biāo)系中的坐標(biāo)；標(biāo)定原理標(biāo)定原理攝象機攝象機O1X1Y1Z1O2X2Y2Z2OXYZ雙目特征傳感器的標(biāo)定雙目特征傳感器的標(biāo)定由（7-15）（7-16）式得：TRRTXRRX121121211（7-17）即：OX2Y2Z2坐標(biāo)系到OX1Y1Z1坐標(biāo)系之間的旋轉(zhuǎn)矩陣，平移矩陣分別為7.3.4 雙目視覺傳感器雙目視覺傳感器121RRR（7-18）21211TRRTT（7-19）（7-18）和（7-19）式是雙目特征傳感器的結(jié)構(gòu)參數(shù)，其中R1，R2，T1，T2，矩陣分別為采用同一靶標(biāo)標(biāo)定傳感器中兩個攝像機同時得到的攝像機外部參數(shù)。標(biāo)定原理標(biāo)定原理以上分析知道：雙目特征

33、傳感器中兩個攝像機的標(biāo)定，以及攝像機之間關(guān)系的結(jié)構(gòu)參數(shù)標(biāo)定可以同時進行，標(biāo)定工作量可明顯減少。O2X2Y2Z2控制點Pi (i=1,n)O1X1Y1Z1光束定向交匯約束標(biāo)定雙攝像機位姿光束定向交匯約束標(biāo)定雙攝像機位姿光束定向交匯約束光束定向交匯約束在雙攝像機的重合視場中任意設(shè)置控制點（點的空間坐標(biāo)無需已知）P Pi i，控制點在兩個攝像機中的成像光束必定在空間交匯，以此為約束可以精確求解攝像機之間的空間變換關(guān)系，。對于較小視場（測量空間）的傳感器，也可以采用固定靶標(biāo)產(chǎn)生控制點。7.3.5 組合視覺測量系統(tǒng)組合視覺測量系統(tǒng)OXYZOiXiYiZi多視覺傳感器組成的視覺檢測系統(tǒng)多視覺傳感器組成的視

34、覺檢測系統(tǒng)多個傳感器安裝在剛性支架上形成統(tǒng)一的視覺檢測系統(tǒng)，每個傳感器實現(xiàn)對大型被測物體一個局部區(qū)域的測量，所有傳感器組合實現(xiàn)對物體多個不同區(qū)域的測量，從而實現(xiàn)對被測物體的整體測量。系統(tǒng)基準(zhǔn)坐標(biāo)系傳感器局部坐標(biāo)系精密靶標(biāo)外部坐標(biāo)測量裝置全局標(biāo)定原理全局標(biāo)定原理7.3.5 組合視覺測量系統(tǒng)組合視覺測量系統(tǒng)令傳感器（測頭）坐標(biāo)系為OsXsYsZs，外部測量坐標(biāo)系為OoXoYoZo ，靶標(biāo)坐標(biāo)系為OTXTYTZT，系統(tǒng)測量坐標(biāo)系為ObXbYbZb，標(biāo)定時：首先，測頭和外部測量裝置同時測量靶標(biāo)，分別建立測頭坐標(biāo)系OsXsYsZs和靶標(biāo)坐標(biāo)系OTXTYTZT，靶標(biāo)坐標(biāo)系OTXTYTZT和外部測量坐標(biāo)系O

35、oXoYoZo之間的關(guān)系，此外，用外部測量裝置測量系統(tǒng)測量坐標(biāo)系（基準(zhǔn)點位置），建立外部測量坐標(biāo)系OoXoYoZo和系統(tǒng)坐標(biāo)系ObXbYbZb之間的關(guān)系，經(jīng)過坐標(biāo)變換鏈：可以得到每一個測頭坐標(biāo)系到系統(tǒng)測量坐標(biāo)系的變換關(guān)系，即系統(tǒng)標(biāo)定。OsXsYsZs OTXTYTZT OoXoYoZo ObXbYbZb7.4 智能視覺傳感技術(shù)智能視覺傳感技術(shù)v7.4.1 智能視覺傳感器及其結(jié)構(gòu)組智能視覺傳感器及其結(jié)構(gòu)組v7.4.2 智能視覺傳感器的特點及其發(fā)展趨勢智能視覺傳感器的特點及其發(fā)展趨勢v7.4.3 幾種典型的智能視覺傳感器幾種典型的智能視覺傳感器7.4.1 智能視覺傳感器及其結(jié)構(gòu)組成智能視覺傳感器及

36、其結(jié)構(gòu)組成 智能視覺傳感器智能視覺傳感器(Intelligent Vision Sensor)通常也稱為智能相機(Smart Camera)，是一種集圖像采集、分析處理和信息傳輸于一體的微小型視覺檢測系統(tǒng)，是一種嵌入式視覺傳感器。智能視覺傳感器智能視覺傳感器結(jié)構(gòu)組成結(jié)構(gòu)組成作用作用器件器件圖像采集單元圖像采集單元將光學(xué)影像轉(zhuǎn)換成數(shù)字圖像，傳遞給圖像處理單元CCD圖像傳感器、CMOS圖像傳感器圖像處理單元圖像處理單元完成圖像信息的分析處理工作通用處理器、ASIC、DSP、Media DSP和FPGA圖像處理軟件圖像處理軟件圖像的預(yù)處理、圖像特征的提取、針對特定檢測任務(wù)的分析處理針對具體應(yīng)用的完整

37、軟件、具有圖形開發(fā)接口的軟件包、基本的圖像處理算法庫智能視覺傳感器智能視覺傳感器結(jié)構(gòu)組成結(jié)構(gòu)組成作用作用器件器件信息存儲單元信息存儲單元負責(zé)有選擇性地將有用的信息存儲起來，以用來顯示或傳輸給其它計算機或控制設(shè)備小型硬盤或存儲卡信息通訊單元信息通訊單元完成智能視覺傳感器和其它計算機或計算控制設(shè)備之間的圖像數(shù)據(jù)傳輸和控制信息傳遞任務(wù)以太網(wǎng)接口、IEEE 1394、Camera Link、USB或I/O接口顯示單元顯示單元負責(zé)顯示智能視覺傳感器的相關(guān)信息7.4.2 智能視覺傳感器的特點及其發(fā)展趨勢智能視覺傳感器的特點及其發(fā)展趨勢智能視覺傳感器的特點智能視覺傳感器的特點基于基于PCPC的視覺系統(tǒng)的特點

38、的視覺系統(tǒng)的特點結(jié)構(gòu)緊湊，尺寸小，易于安裝在生產(chǎn)線和各種設(shè)備上，便于裝卸和移動結(jié)構(gòu)復(fù)雜、體積相對龐大，安裝難度相對較大，便攜性差高度的系統(tǒng)集成大大降低了系統(tǒng)的安裝和調(diào)試難度，提高了系統(tǒng)的穩(wěn)定性，系統(tǒng)使用簡單方便由于其復(fù)雜的結(jié)構(gòu)，安裝和調(diào)試相對困難得多，需要一定的視覺經(jīng)驗系統(tǒng)配置了功能齊全、性能強大的圖像分析處理軟件，無需編程，極大的提高了應(yīng)用系統(tǒng)的開發(fā)速度軟件一般完全或部分由用戶自己開發(fā)，難度相對較大，大大減慢了視覺系統(tǒng)的應(yīng)用開發(fā)速度7.4.2 智能視覺傳感器的特點及其發(fā)展趨勢智能視覺傳感器的特點及其發(fā)展趨勢進一步優(yōu)化系統(tǒng)的體系結(jié)構(gòu)，提高硬件系統(tǒng)的效進一步優(yōu)化系統(tǒng)的體系結(jié)構(gòu)，提高硬件系統(tǒng)的效率

39、和可靠性率和可靠性開發(fā)性能更好、可靠性更高的嵌入式圖像處理軟開發(fā)性能更好、可靠性更高的嵌入式圖像處理軟件件建立智能視覺傳感器相關(guān)產(chǎn)品標(biāo)準(zhǔn)建立智能視覺傳感器相關(guān)產(chǎn)品標(biāo)準(zhǔn)智能視覺傳感器的發(fā)展趨勢智能視覺傳感器的發(fā)展趨勢7.4.3 幾種典型的智能視覺傳感器幾種典型的智能視覺傳感器德國德國Feith公司的公司的CanCam智能視覺傳感器智能視覺傳感器采用Progressive Scan CMOS圖像傳感器，分辨率為12801024采用Motorola ColdFire 66MHz作為處理器，操作系統(tǒng)為Embedded Linux，具有64Mb的SDRAM和8Mb的Flash支持以太網(wǎng)接口和串口RS23

40、2的數(shù)據(jù)通訊，支持CAN總線提供SCA Coake圖像處理軟件，支持用戶編程7.4.3 幾種典型的智能視覺傳感器幾種典型的智能視覺傳感器德國德國Vision Component公司的公司的VC40XX系列系列智能視覺傳感器智能視覺傳感器功耗7W采用Progressive Scan CCD圖像傳感器，分辨率為640480采用T I TM320C64 400MHz作為處理器，操作系統(tǒng)為VCRT，具有32Mb的SDRAM和4Mb的Flash支持以太網(wǎng)接口和串口RS232的數(shù)據(jù)通訊，可選擇VGA視頻輸出提供VCLIB基礎(chǔ)圖像處理函數(shù)庫，支持用戶編程7.4.3 幾種典型的智能視覺傳感器幾種典型的智能視覺

41、傳感器加拿大加拿大Matrox公司的公司的Iris系列智能視覺傳感器系列智能視覺傳感器功耗9W采用Progressive Scan CCD圖像傳感器，分辨率有640480和1024768兩種采用Inter ULP Celeron 400MHz作為處理器，操作系統(tǒng)為Windows CE.NET，具有128Mb的SDRAM和64Mb的Flash支持以太網(wǎng)接口和串口RS232的數(shù)據(jù)通訊提供Mil基礎(chǔ)圖像處理函數(shù)庫，支持用戶編程7.4.3 幾種典型的智能視覺傳感器幾種典型的智能視覺傳感器美國美國Cognex公司的公司的InSight智能視覺傳感器智能視覺傳感器功耗9W采用1/3“ CCD圖像傳感器，分

42、辨率640480采用specific Image processor作為處理器，不支持操作系統(tǒng)，具有64Mb的SDRAM和16Mb的Flash支持以太網(wǎng)接口和串口RS232的數(shù)據(jù)通訊提供INSight Explorer圖像處理軟件，支持用戶編程7.4.3 幾種典型的智能視覺傳感器幾種典型的智能視覺傳感器美國美國Cognex公司的公司的InSight智能視覺傳感器智能視覺傳感器功耗大于5W采用1/3 CCD和1/3 CMOS兩種圖像傳感器，分辨率為640480采用Motorola Power PC/TI DSP作為處理器，不支持操作系統(tǒng)，具有32Mb的SDRAM和16Mb的Flash支持以太網(wǎng)接

43、口和串口RS232的數(shù)據(jù)通訊提供專門的圖像處理工具，支持用戶編程7.5 視覺傳感應(yīng)用技術(shù)視覺傳感應(yīng)用技術(shù)v7.5.1 汽車車身視覺檢測系統(tǒng)汽車車身視覺檢測系統(tǒng)v7.5.2 鋼管直線度、截面尺寸在線視覺測量系統(tǒng)鋼管直線度、截面尺寸在線視覺測量系統(tǒng)v7.5.3 三維形貌視覺測量三維形貌視覺測量v7.5.4 光學(xué)數(shù)碼三維坐標(biāo)測量光學(xué)數(shù)碼三維坐標(biāo)測量7.5.1 汽車車身視覺檢測系統(tǒng)汽車車身視覺檢測系統(tǒng)汽車車身視覺檢測系統(tǒng)組成原理汽車車身視覺檢測系統(tǒng)組成原理汽車車身視覺檢測系統(tǒng)的主體是多個視覺傳感器，包括機械運送機構(gòu)、機械定位機構(gòu)、電氣控制設(shè)備、計算機等相關(guān)組成部分。7.5.1 汽車車身視覺檢測系統(tǒng)汽車

44、車身視覺檢測系統(tǒng)汽車車身視覺檢測系統(tǒng)的優(yōu)點：l測量效率高l測量工作全部自動完成l車身視覺測量系統(tǒng)的組成靈活基于機器人的柔性視覺測量裝置基于機器人的柔性視覺測量裝置多傳感器車身視覺測量應(yīng)用系統(tǒng)多傳感器車身視覺測量應(yīng)用系統(tǒng)7.5.2 鋼管直線度、截面尺寸在線視覺測量系統(tǒng)鋼管直線度、截面尺寸在線視覺測量系統(tǒng)測量原理：測量原理：測量系統(tǒng)由多個結(jié)構(gòu)光傳感器組成，傳感器上結(jié)構(gòu)光投射器投射的光平面和被測鋼管相交，得到鋼管截面圓周上的部分圓弧，傳感器測量部分圓弧在空間中的位置。系統(tǒng)中每一個傳感器實現(xiàn)一個截面上部分圓弧的測量，通過適當(dāng)?shù)臄?shù)學(xué)方法，由圓弧擬合得到截面尺寸和截面圓心的空間位置，由圓心分布的空間包絡(luò)，得到直線度參數(shù)。7.5.2 鋼管直線度、截面尺寸在線視覺測量系統(tǒng)鋼管直線度、截面尺寸在線視覺測量