機(jī)器視覺系統(tǒng)構(gòu)成

機(jī)器視覺系統(tǒng)構(gòu)成概述構(gòu)成各部分介紹項目開發(fā)圖像與視覺圖像安防監(jiān)控、顯微成像、醫(yī)療影像、天文觀測；航天測繪、智能交通視覺（視+覺）表面質(zhì)量檢測、工件尺寸測量和定位、各種標(biāo)識的識別等，電子、半導(dǎo)體、包裝、印刷…機(jī)器視覺（Machine

Vision)機(jī) 器（Machine)視

覺（Vision)+機(jī)械運(yùn)動控制覺(軟件)視(硬件)包括光源、鏡頭、相機(jī)、圖像采集卡等。機(jī)器視覺是一個系統(tǒng)的概念，運(yùn)用現(xiàn)代先進(jìn)的控制技術(shù)、計算機(jī)技術(shù)及傳感技術(shù)，表現(xiàn)為光機(jī)電的結(jié)合。

凌云公司的口號：“致力于為機(jī)器植入眼睛和大腦！”為什么要采用機(jī)器視覺節(jié)省時間降低生產(chǎn)成本優(yōu)化物流過程縮短機(jī)器停工期提高生產(chǎn)率和產(chǎn)品質(zhì)量減輕測試及檢測人員勞動強(qiáng)度減少不合格產(chǎn)品的數(shù)量提高機(jī)器利用率機(jī)器視覺應(yīng)用簡介GIGI(Gauge、Inspection、Guide、dentification)一、Gauge(Measurement)機(jī)器視覺應(yīng)用簡介二、Inspection(應(yīng)用范圍最廣）機(jī)器視覺應(yīng)用簡介三、Guide機(jī)器視覺應(yīng)用簡介四、Identification機(jī)器視覺原理簡介系統(tǒng)構(gòu)成：機(jī)器視覺原理簡介一、光源（光源是基準(zhǔn)，打光是藝術(shù)）種類：LED、螢光燈、鹵素?zé)簦ü饫w光源)、特殊光源Garbage In,

Garbage

Out特點(diǎn)：LED壽命長/可以有各種顏色/便于做成各種復(fù)雜形狀/光均勻穩(wěn)定/可以閃光；螢光燈光場均勻/價格便宜/亮度較LED高；鹵素?zé)袅炼忍貏e高/通過光纖傳輸后可做成有效的合作與溝通客戶：“提高質(zhì)量我們才能占領(lǐng)越來越多的市場”

銷售：“我們需要零缺陷發(fā)貨”管理者：“制訂消除（降低）缺陷的計劃，如采用視覺系統(tǒng)”

品保：“為達(dá)到6Sigma目標(biāo)，我們有100多個缺陷要解決”

MV供應(yīng)商：“將每種缺陷詳細(xì)定義并歸類”光源供應(yīng)商：“我們應(yīng)該按照這樣的方法來做！”

MV供應(yīng)商：“這樣做的花費(fèi)是這么多！”品保：“也許只檢10個缺陷就足夠了”管理者：“如何才能避免我們將這類有缺陷的貨發(fā)出去？”

銷售：“多壞才是足夠好呢？”光源為什么好的打光方式等于成功了一大半(Garbage

in，Garbage

out)光源調(diào)制目標(biāo)信息后傳遞探測器給（將目標(biāo)想成我們自己）探測器所獲得的光線必須包含足夠的信息以便分離感興趣的主要特征信息，并便于處理器將它們區(qū)分開來(光源是基準(zhǔn)，打光有技巧）我們的目標(biāo)就是最大化感興趣區(qū)域的特征同時抑制其他的特征（噪聲）光源為什么光源（光源是基準(zhǔn)，打光有技巧）種類：LED、螢光燈、鹵素?zé)簦ü饫w光源)、特殊光源Garbage In,

Garbage

Out特點(diǎn)：LED壽命長/可以有各種顏色/便于做成各種復(fù)雜形狀/光均勻穩(wěn)定/可以閃光；螢光燈光場均勻/價格便宜/亮度較LED高；鹵素?zé)袅炼忍貏e高/通過光纖傳輸后可做成照明規(guī)則1、光線太暗會影響視覺系統(tǒng)2、

光線太亮?xí)绊懸曈X系統(tǒng)3、照明的主要功能是產(chǎn)生光學(xué)信號4、減少噪聲是照明要解決的主要問題之一5、只有來自于目標(biāo)并到達(dá)鏡頭的光線才是有效的光線6、進(jìn)入鏡頭但非來自目標(biāo)的光線為雜散光，它降低圖像質(zhì)量7、

來自目標(biāo)任意點(diǎn)的光線都應(yīng)填滿鏡頭的入瞳光學(xué)器件鏡頭聚焦或分散光線反射器（鏡面）改變光路（角度）分光器半透半反棱鏡分光偏光片---抑制反光，應(yīng)力探測漫射片---柔化光的分布，提高均勻性濾光片過濾修正光源的光譜屬性

光纖固定的光傳播系統(tǒng)光源選擇的注意事項影響因素：相機(jī)的光譜響應(yīng)特性、形狀、打光方式（darkfield,

bright

field,

low

angle,

structure

light)、

LED器件（顏色、發(fā)光角、

亮度、壽命等）、輔助手段（偏光片、濾光片、漫射片等）即結(jié)構(gòu)、光譜、強(qiáng)度、壽命、修正手段、價格等）選擇原則：滿足應(yīng)用、綜合考慮；理論分析+實驗；解決問題的一般過程提出問題定義檢測目標(biāo)收集制訂完整的規(guī)格列表可行性研究這個零件是如何被肉眼看到的？這個零件將如何照在其上的光的特性？將自己想成是那個零件概念設(shè)計實驗室的反復(fù)實驗原型機(jī)生產(chǎn)批量生產(chǎn)，先進(jìn)制造光源選擇的注意事項影響因素：相機(jī)的光譜響應(yīng)特性、LED器件（顏色、發(fā)光角、

亮度、壽命等）、形狀、打光方式（dark

field, bright

field, low

angle,

structure

light)、輔助手段（偏光片、濾光片、漫射片等）選擇原則：滿足應(yīng)用、綜合考慮；理論分析+實驗；機(jī)器視覺原理簡介二、鏡頭（低通濾波器，完成信號傳遞）

接口形式：C-Mount/CS-Mount/F-Mount/Others鏡頭類型：標(biāo)準(zhǔn)、遠(yuǎn)心、廣角、近攝、遠(yuǎn)攝等選擇依據(jù)：相機(jī)接口/物距/拍攝范圍/CCD尺寸/畸變的允許范圍/放大率/焦距/光圈等幾何光學(xué)成象公式（Basic

Formula）放大率（Magnification）視場（Field

of

View）工作距離（Working

Distance）

分辨率（Resolution）光圈與景深光圈（Aperture）景深（Depth

of

Field）光圈越大景深越小鏡頭相關(guān)參數(shù)放大率焦距對焦范圍f-N

F數(shù)失真視場f-number收集光線的能力景深分辨率失真分辨率和調(diào)制傳遞函數(shù)MTF成像系統(tǒng)的品質(zhì)通常用調(diào)制傳遞函數(shù)

MTF來描述，其定義如下：VB 低頻暗區(qū)最低亮度

。VW 低頻亮區(qū)最高亮度。Vmin 頻率

f

處的最低亮度

。Vmax 頻率

f

處的最高亮度

。低頻對比度 C(0)

=(VW-

VB

)/(VW+VB)。頻率

f

處的對比度C(

f

)

=(Vmax

-

Vmin)/(Vmax

+

Vmin)MTF(

f

)=

100%*C(

f

)/C(0)分辨率和調(diào)制傳遞函數(shù)MTF表征分辨率的指標(biāo)是MTF。MTF

描述的是成像系統(tǒng)的空間頻率響應(yīng)。右圖為佳能鏡頭實例。蘭實線：鏡頭＋膠片的MTF；蘭虛線：鏡頭的MTF。分辨率和調(diào)制傳遞函數(shù)MTF由

100%

到2%

的對比度圖形。MTF=50%為中等對比度，MTF

=

2%被認(rèn)為是人視覺對比度的極限，低于2%

無法分辯。分辨率和調(diào)制傳遞函數(shù)MTF其中

p

為像元間距，

a

為像元尺寸，

k

為角頻率，而

h(x)

為單位脈沖響應(yīng)CCD傳遞函數(shù)系統(tǒng)傳遞函數(shù)MTF系統(tǒng)＝MTF鏡頭

MTFCCD

MTF像移

MTF大氣分辨率和調(diào)制傳遞函數(shù)MTFCCD像面上，每毫米像元數(shù)的1/2稱為該CCD的Nyquist

頻率。如XC－75CE，水平像元尺寸為8.6μm

，垂直像元尺寸為8.3μm。該CCD水平和垂直Nyquist

頻率分別為1000/(2×8.6)=

58

lp/mm1000/(2×8.3)=

60

lp/mm機(jī)器視覺光學(xué)系統(tǒng)光學(xué)系統(tǒng)鏡頭（低通濾波器，完成信號傳遞）反光鏡（改變光路）棱鏡、分光鏡、聚光棒（鏡）光源、偏光片、濾光片等接口主要有螺口和卡口兩種螺口：0.75（M42/M58/M72等）、C/CS(32thread/inch)卡口：F口(Nikon)、Cannon、Petax等遠(yuǎn)心鏡頭在測量系統(tǒng)中，物距常發(fā)生變化，從而使像高發(fā)生變化，所以測得的物體尺寸也發(fā)生變化，即產(chǎn)生了測量誤差；即使物距是固定的，也會因為CCD敏感表面不易精確調(diào)整在像平面上，同樣也會產(chǎn)生測量誤差。采用遠(yuǎn)心物鏡中的像方遠(yuǎn)心物鏡可以消除物距變化帶來的測量誤差，而物方遠(yuǎn)心物鏡則可以消除CCD位置不準(zhǔn)帶來的測量誤差。Standard

LensTelecentric

lens機(jī)器視覺系統(tǒng)的構(gòu)成—光學(xué)系統(tǒng)遠(yuǎn)心鏡頭遠(yuǎn)心鏡頭遠(yuǎn)心鏡頭遠(yuǎn)心鏡頭在機(jī)器視覺中的應(yīng)用在用于測量的機(jī)器視覺中，有一些因素影響測量精度或重復(fù)性。物體位置變化引起比例尺改變；畸變投影誤差物體邊緣測量誤差大有一種鏡頭可以很大程度上降低以上誤差，甚至消除這些誤差，這種鏡頭就是遠(yuǎn)心鏡頭。遠(yuǎn)心鏡頭在機(jī)器視覺中的應(yīng)用如果一個鏡頭的投影中心在無窮遠(yuǎn)，稱其為物方遠(yuǎn)心鏡頭。普通鏡頭物方遠(yuǎn)心鏡頭鏡頭遠(yuǎn)心鏡頭在機(jī)器視覺中的應(yīng)用普通鏡頭

f

=

12

mm,相機(jī)CCD為1/3”，

觀察距離

s

=200mm，高為

H

=20mm的物體。如果物體由原位置移動了s=

1mm，則高度測量值的變化為DH=(ds/s)·H=(1/200)·20

mm

=

0,1

mm在焦深范圍內(nèi)像面移動有什么影響？遠(yuǎn)心鏡頭在機(jī)器視覺中的應(yīng)用遠(yuǎn)心鏡頭中，這種比例尺的變化取決于遠(yuǎn)心斜率。較好的遠(yuǎn)心鏡頭，其遠(yuǎn)心斜率為

0,1°

(1.7mrad)

左右。這就意味著，在與前面物體同樣移動

1mm

的情況下，測量值只變化了

0,0017mm。遠(yuǎn)心鏡頭在機(jī)器視覺中的應(yīng)用投影誤差的改善遠(yuǎn)心鏡頭在機(jī)器視覺中的應(yīng)用遠(yuǎn)心鏡頭可以改善普通鏡頭測量中的邊緣效應(yīng)左圖：普通鏡頭測量時，由于投影誤差（物體晃動）和周圍雜光的影響，測量精度降低。左圖：遠(yuǎn)心鏡頭可以改善由于物體晃動和周圍雜光的影響，提高測量精度。遠(yuǎn)心鏡頭在機(jī)器視覺中的應(yīng)用為了更大程度的消除邊緣效應(yīng)的影響，采用與鏡頭匹配的遠(yuǎn)心光路照明系統(tǒng)。遠(yuǎn)心鏡頭在機(jī)器視覺中的應(yīng)用遠(yuǎn)心鏡頭的優(yōu)點(diǎn)：沒有視差畸變是尺寸測量的理想鏡頭可以在工作距離變化的條件下精密測量下面的觀點(diǎn)也是不對的：遠(yuǎn)心鏡頭景深長只有遠(yuǎn)心鏡頭才能完成精密測量遠(yuǎn)心鏡頭在機(jī)器視覺中的應(yīng)用遠(yuǎn)心光路成像是機(jī)器視覺中一個很重要的原

理。但是它有一個很大的缺點(diǎn)，那就是遠(yuǎn)心鏡頭

的口徑至少要與需要觀察的物體尺寸相等或更大。這也是為什么遠(yuǎn)心鏡頭非常貴的原因之一。鏡頭的畸變像面彎曲球面像差枕形失真桶形失真色散像散，散光原則一:相機(jī)芯片尺寸鏡頭尺寸≧相機(jī)芯片尺寸CCD芯片尺寸特殊之處：1inch

=

16mm

≠25.4mm機(jī)器視覺系統(tǒng)的構(gòu)成—光學(xué)系統(tǒng)鏡頭的接口形式卡口名稱鏡后距離內(nèi)口徑外口徑Bronica

ETR

Mount74mmφ74mmBronica

GS

Mount85mmφ81mmCanon

EOS

Mount44.0mmφ51.2mm(53.9mm)φ64.9mmContax

Mount31.75mmφ44mmHasselblad

Mount74.9mmφ69mmLeica

R

Mount47.15mmφ49mmMamiya

645

Mount63mmφ62mmMamiya

RZ

Mount104mmφ60mmNikon

F

Mount46.5mmφ44mm(47mm?)Nikon

S

Mount31.95mmφ44mmOlympus

Pen

F

Mount29.3mmφ41mmPentax

645

Mount71mmφ61.2mmPentax

67

Mount85mmφ72mmRolei

6006

Mount82mmφ66.5mm幾種常用卡口鏡頭的參數(shù)可選用照相機(jī)鏡頭例子原則二:相機(jī)接口類型相機(jī)接口的種類接口類型后截距接口C

Mount17.526mm螺口CS

Mount12.5mm螺口F

Mount46.5mm卡口接口配套的原則相機(jī)接口C

MountCS

MountF

Mount可配鏡頭接口C/F+轉(zhuǎn)接器CS/C+節(jié)圈F原則三:鏡頭工作距離系統(tǒng)設(shè)計與鏡頭工作距離的選擇先選擇鏡頭，后設(shè)計系統(tǒng)盡可能選擇成熟已有的產(chǎn)品鏡頭的工作距離包含了一個區(qū)間的概念原則四:鏡頭視場角視場－視場角工作距離與視場－焦距像元分辨率是系統(tǒng)設(shè)計的一項關(guān)鍵指標(biāo)確定放大率具體應(yīng)用的約束條件測量，檢測（顏色）→確定畸變率、色差物距與安裝尺寸→確定焦距與變焦范圍光強(qiáng)及其一致性→確定光圈及調(diào)整范圍相機(jī)

→確定接口方式與靶面檢測目標(biāo)和要求的一致性→確定是否需要變焦、變倍、變光圈輔助手段接圈轉(zhuǎn)接環(huán)定做三、芯片及相機(jī)（光電轉(zhuǎn)換器）填充因子（Fill

factor）機(jī)器視覺原理簡介機(jī)器視覺相機(jī)：種類：線&面、隔/逐、黑/彩、數(shù)/模、低/高、CCD/CMOS指標(biāo)：象元尺寸、分辨率、靶面大小、感應(yīng)曲線、動態(tài)范圍、靈敏度、速度、噪聲、填充因子、體積、質(zhì)量、工作環(huán)境等工作模式：Free

run、Trigger（多種）、長時間曝光等A/DCCD線掃描系統(tǒng)EncoderLine

triggerPage

triggerSensor工業(yè)面陣相機(jī)系統(tǒng)TriggerProximity

sensor隔行/逐行Vertical

ccdregisterHorizontal

ccd

registerXsub

ShutterXsg1

Xsg2Odd

EvenPhoto

diode(pixel)VideooutXsubVerticalccdregisterHorizontal

ccd

registerShutterPhoto

diode

(pixel)Xsg1ProgressiveInterlaceMoving

object彩色相機(jī)b=1/2(Bu+Bl)r=1/2(Ru+Rl)Bub

BlBl

b

Brb=1/2(Br+Bl)Rur

RlRr

r

Rlr=1/2(Rr+Rl)BulBur Rulb rBll Blr Rll RlrRurGleGlGug Grb=1/4(Bur+Bul+Bll+Blr)

r=1/4(Rur+Rul+Rll+Rlgr)=1/4(Gu+Gr+Gl+Gle)GBGBGRGRGRGBGBGRGRGRGBGBGRGRGRBayer

Filter

CV-M77彩色相機(jī)CCD

Format1”

formatType

116

mm1/2”

formatType

1/28

mm2/3”

formatType

2/311

mm1/3”

formatType

1/36

mm12.8

mm9.3

mm16

mm8.8

mm6.6mm11

mm6.4

mm4.8

mm8

mm4.4

mm3.3

mm6

mmSony:Diagonal:Imagesize外觸發(fā)Edge

Pre

Select

(EPS)Exposure(fixed)Video

read

out

Trigger自觸發(fā)信號下降沿開始曝光曝光時間為事先設(shè)定的常數(shù)Pulse

WidthControl

(PWC)Exposure Video

read

outTrigger自觸發(fā)信號下降沿開始曝光曝光時間由觸發(fā)信號脈寬控制自觸發(fā)信號下降沿開始曝光曝光時間為事先設(shè)定的常數(shù)Video

read

out延遲輸出至下一觸發(fā)信號的下降沿Frame

Delay

Readout

(FDR)Trigger Exposure Delay(fixed)Moving

object多相機(jī)同時工作外同步外同步信號輸入各相機(jī)用自己的時鐘來運(yùn)行Camera

1 Camera2如果目標(biāo)運(yùn)動，則會出現(xiàn)圖像位置不一致現(xiàn)象,在1個H內(nèi)所有相機(jī)都使用同一個時鐘源Camera

1 Camera

2 Camera

3所有圖像位置都非常一致Camera

3Binning和Partial

scnan1280

pixelsFull

1024lines1280

pixels512linesNormal

output

imageImagewithvertical2:1binningSmear

and

antibloomingNoise隨機(jī)噪聲暗電流固定噪聲

(FPN)響應(yīng)不一致

(PRNU)壞點(diǎn)DarkSignalAveragefor

1

lineAveragefor

1

lineSignalFactor<1Factor

>1隨機(jī)噪聲Peak-to-peak

at

outputRMS

at

outputDynamic

rangeSignal

tonoiseratioDecibelsNoiseequivalent

exposureMeasuredwithminimum

gainDark

CurrentDue

to

semiconductor

physicsDoubles

every

7°CGlobal

correction

in

camera

is

commonUsually

not

a

problemHigh

temperature10

or

12

bit

digitizationFixed

PatternNoise(FPN)Causedbynon-uniformitiesof

readout

circuits

and

signal

cross-talkLargelyremovedinCCDsbydouble

correlated

samplingUsually

not

a

problem

with

8

bit

digitizationGraph

courtesy

of

JAI相機(jī)靈敏度變化：光譜分布紅外截止濾光片輸出光線的如何被測量（位置）相機(jī)的增益設(shè)置輸出放大倍數(shù)曝光時間選型時主要考慮因素分辨率速度

靈敏度體積/重量接口…機(jī)器視覺原理簡介四、采集卡（完成信號的采集與格式轉(zhuǎn)換）分類：模擬(標(biāo)準(zhǔn)和非標(biāo)準(zhǔn)）/數(shù)字、單通道/多通道主要指標(biāo)：采集頻率（速度）、接口、Buffer大小、預(yù)處理功能、支持相機(jī)的種類、控制功能、I/O點(diǎn)數(shù)代理公司：CORECO、COGNEX、Epix機(jī)器視覺原理簡介相機(jī)配置文件（開放式的、非開放式的cognex）附加功能：LUT、DMA、Buffer、

Pixel

ResequencTrigger-to-image

Reliability等選擇原則：接口（相機(jī)）、速度、可靠性等滿足要求、軟件平臺、性價比等機(jī)器視覺原理簡介機(jī)器視覺原理簡介模擬相機(jī)：CCIR/EIA,

Non-Standard

RS-422/LVDS高速，可靠性高，傳輸距離遠(yuǎn)，支持多相機(jī)連接。管腳定義不統(tǒng)一，

電纜成本高。Camera

Link高速，高可靠性。不便于多相機(jī)連接和集中控制，電纜價格高。IEE1394靈活性高，成本低。傳輸距離短，可靠性低。USB2.0靈活性高，成本低。傳輸距離短，可靠性低，技術(shù)不成熟。Gigabit

Ethernet靈活性高，可擴(kuò)充性強(qiáng)，支持遠(yuǎn)距離傳輸，支持多點(diǎn)傳輸，技術(shù)成熟，魯棒性強(qiáng)，成本低。機(jī)器視覺原理簡介五、圖像處理卡（完成圖像處理的各種運(yùn)算）種類：DSP、FPGA、PowerPC。嵌入式系統(tǒng)也是發(fā)展趨勢之一機(jī)器視覺原理簡介六、圖像處理軟件（機(jī)器視覺的核心）平臺：VisionPro，Sapera，eVision，Halcon，Mil，CVB，Labview，OPCV，etc國產(chǎn)機(jī)器視覺軟件凌云公司的自主軟件-VisionWare,中國首個機(jī)器視覺軟件平臺國內(nèi)第一家具有自主知識產(chǎn)權(quán)的機(jī)器視覺平臺軟件提供商！VisionWare特點(diǎn)類庫的封裝方式，適于采用VC6的開發(fā)，便于整合AvtiveX