[labview經(jīng)驗(yàn)]機(jī)器視覺系列—— vision 基礎(chǔ)知識(shí)上集

1、labview經(jīng)驗(yàn)機(jī)器視覺系列 vision 基礎(chǔ)知識(shí)上集骨灰級(jí)發(fā)燒友當(dāng)前離線經(jīng)驗(yàn)233窺視卡 雷達(dá)卡第1章節(jié)（上）1.1 機(jī)器視覺簡(jiǎn)介與硬體介紹1.1.1 前言對(duì)于首次接觸機(jī)器視覺的朋友來說，對(duì)這個(gè)名詞肯定有點(diǎn)陌生，所以我們先來簡(jiǎn)單介紹一下這個(gè)專有名詞。機(jī)器視覺是泛指搭載視覺影像系統(tǒng)的檢測(cè)設(shè)備，影像系統(tǒng)主要是由相機(jī)、鏡頭與光源等光學(xué)儀器所建構(gòu)而成的。利用這些檢測(cè)器材廣泛地投入各種應(yīng)用，如產(chǎn)品的瑕疵檢測(cè)（inspection）、辨識(shí)產(chǎn)品外觀（recognition）與量測(cè)產(chǎn)品尺寸（measurement），而視覺對(duì)位（alignment）與自動(dòng)化做結(jié)合，搭配運(yùn)動(dòng)控制或機(jī)械手臂，可進(jìn)行物料的定位

2、與校正，完成手眼協(xié)調(diào)的視覺伺服系統(tǒng)（visual servo system）。圖1.1 - 搭載相機(jī)的機(jī)器手臂所構(gòu)成的視覺伺服系統(tǒng)架構(gòu) 機(jī)器視覺一直以來都受到相關(guān)產(chǎn)業(yè)的重視，這邊列出幾項(xiàng)機(jī)械視覺的特色： 安全性高 具備高解析度 擁有全檢能力 資料重現(xiàn)性好 可降低人工成本 可搭配高速運(yùn)動(dòng)控制 可配合運(yùn)動(dòng)控制系統(tǒng)進(jìn)行回饋控制（智慧型自動(dòng)化）目前使用機(jī)器視覺的領(lǐng)域非常廣泛，與它相關(guān)的熱門產(chǎn)業(yè)包括半導(dǎo)體、光電、機(jī)密工業(yè)與製造業(yè)等，主要的應(yīng)用是將這些技術(shù)導(dǎo)入產(chǎn)品檢測(cè)與自動(dòng)化生產(chǎn)，目的就是為了提升產(chǎn)能、增加良率與減少人員配置。接著，我們來簡(jiǎn)單的了解一些與機(jī)器視覺相關(guān)的專有名詞：影像系統(tǒng)（image sys

3、tem）構(gòu)成機(jī)器視覺最基本架構(gòu)就是包含相機(jī)與鏡頭的影像系統(tǒng)，最重要的五個(gè)基本參數(shù)必須先弄清楚：圖1.2 - 影像系統(tǒng)的示意圖1. 感光元件大小（sensor size）：相機(jī)內(nèi)部感光元件的尺寸2. 工作距離（working distance）：相機(jī)鏡頭前緣到物體表面的距離3. 景深（depth of field）：能維持影像距焦清晰的有效距離4. 視野範(fàn)圍（field of view）：相機(jī)所能擷取到物體的實(shí)際範(fàn)圍5. 解析度（resolution）：指的是相機(jī)拍攝物體可辨識(shí)的最小尺寸，解析度越高，檢測(cè)精度也較好，表示能從影像中獲取有用的資訊越多光圈（f）用來表示所控制的光源進(jìn)入鏡頭的總量，類

4、似人類的瞳孔，光圈越大，表示能進(jìn)入的光越多，反之越少。鏡頭上都會(huì)標(biāo)示最大光圈值，如標(biāo)示值為1:1.8，表示該鏡頭的最大光圈值為1.8，而數(shù)字越小，代表大光圈，反之越小。圖1.3 - 不同f值所代表的光圈大小焦距（f）：光通過鏡頭后匯集的點(diǎn)，該點(diǎn)到鏡頭之間的距離稱為焦距。圖1.4 - 光通過凸透鏡聚焦于一點(diǎn)（from wikipedia）放大倍率（m）定義為影像與實(shí)體的比值，假設(shè)，表示拍攝到的影像只有實(shí)體的50%。圖1.5 - 單鏡面的光學(xué)成像塬理（from wikipedia）計(jì)算公式如下：其中m表示放大倍數(shù)，do代表物距，ho代表實(shí)體大小，而d1代表像距，h1代表影像大小。景深（depth

5、of field）：定義為能維持影像距焦的有效距離。想得到一張清晰的影像，影像需在距焦範(fàn)圍內(nèi)，景深就是決定這個(gè)範(fàn)圍有多長(zhǎng)。若發(fā)現(xiàn)取到的影像位于距焦區(qū)內(nèi)只有部分是保存清晰，可能使用的鏡頭景深過短，此時(shí)可將鏡頭光圈調(diào)小、或替換短焦聚的鏡頭，再不然就是將物距（do）拉長(zhǎng)，透過這叁種調(diào)整方式都有機(jī)會(huì)改善景深不足的現(xiàn)象。圖1.6 - 調(diào)整光圈來改善景深1.1.2 相機(jī)介紹以上的專有名詞后，再來要介紹工業(yè)相機(jī)，它是構(gòu)成影像系統(tǒng)最重要的光學(xué)元件之一，成像塬理是透過內(nèi)建的感光元件來吸收光線，轉(zhuǎn)換成儲(chǔ)存電荷，再將這些電荷傳輸?shù)椒糯蠼獯a器，經(jīng)由類比數(shù)位轉(zhuǎn)換后來呈現(xiàn)一張完整影像。以掃描方式分類相機(jī)的掃描方式可依據(jù)

6、senor size 類型分為 line scan 與 area scan 兩種：目前市售的 line scan 相機(jī)，解析度有1k（1024 pixel）/2k/8k/16k，使用 line scan 必需搭配運(yùn)動(dòng)掃描才能獲得一張完整的影像，適用于檢測(cè)需求為大面積與高檢測(cè)精度的應(yīng)用。圖1.7 - basler line scan 相機(jī)&感光元件（*2*4）area scan 的相機(jī)應(yīng)用比較普及，在不需搭配運(yùn)動(dòng)裝置情況下就可以獲得完整影像依據(jù)檢測(cè)精度的要求，可選擇的像素有30（640*480） / 100 / 200 /500 mp（mega pixel），而更高解析度的相機(jī)，價(jià)格也相對(duì)高昂。

7、圖1.8 - basler area scan相機(jī)&感光元件（*2*4）感光元件尺寸（sensor size）對(duì)于 area sensor與line sensor 描述方法也有所不同；以 area sensor 來說，以對(duì)角線的長(zhǎng)度來表示大小，單位為吋 （inch），值得注意的是，工業(yè)相機(jī)的1吋是16mm，非 25.4mm，可參考附圖。圖1.9 - area sensor感光元件尺寸而 line sensor 則是用影像長(zhǎng)度 （image length）來描述，單位為mm，計(jì)算公式如下：這邊的 pixel number單位的轉(zhuǎn)換是1k=1024 pixel，假設(shè)使用pixel size為 5u

8、m，而pixel number為 2k 的 line sensor，套入公式可以得到一條 line sensor 所能擷取到的影像長(zhǎng)度為10.24mm。以感光元件分類若以感光元件做區(qū)分有 cmos 與 ccd 兩類：感光元件的感光度與製程有關(guān)，一般的 cmos 感光度會(huì)比 ccd 還差，若影像變化速度過快，記錄訊號(hào)的電流變化過于頻繁，就會(huì)產(chǎn)生過熱的現(xiàn)象，使得雜訊難以抑制。圖1.10 - ccd 與 cmos 的成像方式 （from 睿怡科技）不過近年來，cmos 在製程上有所突破，感光能力有明顯提升，加上新的抑制雜訊技術(shù)，使得 cmos 目前擁有更好的競(jìng)爭(zhēng)優(yōu)勢(shì)，下面列出兩者的優(yōu)缺點(diǎn)比較表：1.

9、jpg (9.53 kb, 下載次數(shù): 1)下載附件 保存到相冊(cè)2015-1-21 10:09 上傳以影像色彩分類單以顏色做區(qū)分，相機(jī)又可以分為灰階（mono）和彩色（color）；所謂的灰階影像，是將色階由黑到白共切割為255等分所組成的8bit影像；而彩色影像分別由3組8bit的rgb顏色所組成的24bit影像，理論上最高可組合出1677萬種顏色，而彩色影像也可透過extract g color來轉(zhuǎn)換成灰階影像。圖1.11 - 8bit灰階動(dòng)態(tài)範(fàn)圍圖1.12 - 二種彩色相機(jī)顏色組合方式（*2）以訊號(hào)傳輸類型分類最后相機(jī)依據(jù)傳輸?shù)姆绞娇煞譃間ige、camera link、usb2.0/3

10、.0等類型（其他類型的傳輸介面這邊不多做闡述），可依據(jù)應(yīng)用來評(píng)估應(yīng)該選哪一類的相機(jī)，針對(duì)上述提到的相機(jī)類別整理一張比較表：2.jpg (10.38 kb, 下載次數(shù): 2)下載附件 保存到相冊(cè)2015-1-21 10:11 上傳basler gige介面相機(jī) basler camera link介面相機(jī) basler usb3.0介面相機(jī)圖1.13 - 各種傳輸介面的相機(jī)（*4）簡(jiǎn)單來說，若檢測(cè)條件有高速取像的要求，盡可能選擇高傳輸率的相機(jī)來做為取像來源，如 camera link 或 usb3.0，而使用 camera link 介面的相機(jī)需額外購(gòu)買一張 pci介面的影像擷取卡，建置成本較高

11、；若考量成本與方便性，比較建議使用gige或者usb3.0的相機(jī)，這兩款相機(jī)在一般工業(yè)電腦上都有對(duì)應(yīng)的io port，使用usb3.0優(yōu)勢(shì)在于無須額外再購(gòu)置擷取卡且傳輸速度快，而使用gige介面的相機(jī)還有傳輸距離較長(zhǎng)的優(yōu)勢(shì)，唯一比較麻煩的是還需外接電源，若不想外接電源，可購(gòu)買一張有poe（power of ethernet）功能的網(wǎng)路卡或電源供應(yīng)器，整體的建置成本還是會(huì)比camera link的相機(jī)便宜。pci插卡式poe網(wǎng)路卡 具電源供應(yīng)的adapter圖1.14 - 供電源的網(wǎng)路介面（*2）1.1.3 鏡頭一般鏡頭分類選完相機(jī)，接著需要挑選一顆適合影像系統(tǒng)的鏡頭，常見的鏡頭有兩類：1. c

12、ctv lens，2. telecentric lens；各類優(yōu)點(diǎn)在于，cctv lens鏡頭價(jià)格便宜且容易取得而 telecentric lens 則是不需要調(diào)整光圈，取像品質(zhì)好，在有效的景深（dof） 內(nèi)，既使晃動(dòng)下還是能保持清晰的影像。cctv lens telecentric lens圖1.15 - 常見的鏡頭類型（*2）什么情況下可能會(huì)需要選用 cctv 或 telecentric 的鏡頭呢一般平面檢測(cè)項(xiàng)目，cctv 鏡頭就足夠，但 cctv 的鏡頭有個(gè)致命傷，那就是成像尺寸會(huì)受待測(cè)物距離鏡頭的位置會(huì)影響，下圖解釋使用cctv 與 telecentric 拍攝 45 度斜面所得到的影

13、像差異若今天要檢測(cè)的項(xiàng)目與尺寸量測(cè)有關(guān)，而待測(cè)物體的外型又剛好較立體，此時(shí)就必須考慮使用telecentric 鏡頭，在有效的景深內(nèi)，不管物體遠(yuǎn)近，拍攝到的影像尺寸會(huì)表現(xiàn)一致。圖1.16 - 不同類型鏡頭，會(huì)因距離鏡頭遠(yuǎn)近所造成的像差另外，在選擇鏡頭時(shí)，可以注意一下規(guī)格書上是否有標(biāo)示變形量 （distortion），變形量越少，表示影像失真度越低，檢測(cè)的尺寸誤差就會(huì)越少。理想的取像畫面應(yīng)該與待測(cè)物成比例，由于鏡頭本身有弧度，所以鏡頭中心點(diǎn)到周圍會(huì)產(chǎn)生些許的變形量，一般的 cctv 鏡頭或多或少都會(huì)有輕微枕狀變形或桶狀變形，而好一點(diǎn)的鏡頭因鏡頭材質(zhì)與加工都比較優(yōu)良，所以變形量會(huì)降低不少。圖1.1

14、7 - 鏡頭失真造成的變形量挑選鏡頭步驟我們要如何挑選符合檢測(cè)需求的鏡頭呢？提供一些參考步驟：1. 評(píng)估目前檢測(cè)要求的解析度（resolution），選擇符合的相機(jī)規(guī)格，判斷是否有變焦需求，若無，一般定焦且低失真的鏡頭即可。2. 根據(jù)影像系統(tǒng)規(guī)劃，可以得到工作距離（wd）與實(shí)際觀測(cè)物體所需的可視範(fàn)圍（fov）的資訊，利用這些參 數(shù)來計(jì)算鏡頭實(shí)際所需要的焦距，首先計(jì)算符合需求的放大倍率（m）：再代入計(jì)算焦距f公式：可以得到符合需求的鏡頭實(shí)際的焦距需大于該數(shù)值。3. 若嫌計(jì)算公式麻煩的話，市面上有多家鏡頭廠商都有提供鏡頭目錄或軟體查詢，只要將目前環(huán)境所需要的參數(shù)填入，便可快速找到適當(dāng)?shù)溺R頭。4.

15、如果影像系統(tǒng)在固定的工作距離（wd）範(fàn)圍內(nèi)找不到適當(dāng)焦距的鏡頭，此時(shí)可搭配延伸環(huán)增加焦距，或者利用滑臺(tái)設(shè)計(jì)來微調(diào)工作距離，這些方法都有助于找出適用的鏡頭組合。1.1.4 光源前面解說的相機(jī)與鏡頭，在挑選上比較沒有問題，主要依據(jù)檢測(cè)條件來尋找適合的規(guī)格就可以了，但如何挑選適當(dāng)?shù)墓庠磪s沒有想像中輕鬆容易，只能依現(xiàn)場(chǎng)環(huán)境因素與使用者經(jīng)驗(yàn)來做篩選，藉由搭配不同光源類型與各種打光技巧，反覆測(cè)試驗(yàn)證，才能找到適當(dāng)?shù)墓庠唇M合，擷取到的影像是可以找到待測(cè)物的特徵。目前主流光源都採(cǎi)用 led 燈，與傳統(tǒng)鹵素?zé)艋蛭灩鉄粝啾?，具備高亮度、低耗電、低發(fā)熱量等特色，且使用壽命也較長(zhǎng)。光源類型1. 環(huán)形光源：又依角度可分

16、為高角度環(huán)型光與低角度環(huán)形光等圖1.18 - 不同尺寸與色彩的環(huán)形光2. 同軸光源：依據(jù)不同鏡頭類型可搭配外同軸或內(nèi)同軸外同軸 內(nèi)同軸圖1.19 - 同軸光類型3. 條形光源：也可將4組條形光源圍繞成方形光源圖1.20 - 條形光4. 背光光源：主要功能在于凸顯物體的整體輪廓圖1.21 - 背光光源5. 特殊光源：有專門減少陰影影響的碗狀型光源，或者由四個(gè)條狀燈源組合的回型光源回型光源 碗狀光源圖1.22 - 特殊類型光源（*2）光源控制器光源主要的動(dòng)力來源，可依據(jù)需求選擇支援多 channel 的光源控制器，另外部分控制器支援利用軟體來控制光源強(qiáng)度，透過 rs-232 進(jìn)行參數(shù)設(shè)定，有利于后

17、續(xù)將光源調(diào)控功能整合。圖1.23 - 手動(dòng)光源控制器（*2）圖1.24 - 可用軟體控制的光源控制器（*2）打光方式單純使用環(huán)境光源來取像是不夠的，會(huì)常發(fā)現(xiàn)取到的像不是不能用，就是特徵不明顯，此時(shí)需為影像系統(tǒng)搭配一組光源來強(qiáng)化影像特徵。挑選步驟可依據(jù)環(huán)境的配置以及產(chǎn)品的樣式來評(píng)估適合那些光源類型，接著嘗試各種打光方式來調(diào)整影像輸出的結(jié)果例如將光源拉近拉遠(yuǎn)，或者利用混搭光源來減少陰影的影響，這些手法都只是為了強(qiáng)化影像的特徵與減少外部光源的干擾。雖然調(diào)整光源過程非常耗時(shí)，但若能得到比較清晰的辨識(shí)特徵，可以減少影像后處理的必要性，得到的回饋是非常值得的，這也是在學(xué)習(xí)機(jī)器視覺的必經(jīng)之路。下面為各種光源類型的打光方式供大家做參考 ：高角度環(huán)形光打光方