機器視覺技術與應用實戰(zhàn)-工業(yè)相機基礎知識

工業(yè)相機基礎知識

機器視覺系統(tǒng)一般由光源、鏡頭、工業(yè)相機、圖像處理單元、通信輸入輸出等單元組成。相機作為機器視覺系統(tǒng)中的關鍵組件，其最本質的功能就是將光信號轉變?yōu)橛行虻碾娦盘枏亩纬蓤D像輸出，以便視覺軟件處理。相機在工業(yè)應用場景中稱為“工業(yè)相機”，它不同于普通相機的地方在于，它是工業(yè)級的產品，每周7天、每天24小時工作，穩(wěn)定性和可靠性要高。如下圖就是一款工業(yè)相機的外形。什么是工業(yè)相機工業(yè)相機如何分類

任何東西分類一定有它自己的分類標準，工業(yè)相機也不例外，工業(yè)相機按照芯片類型、傳感器結構特性、掃描方式、分辨率大小、輸出信號方式、輸出色彩、輸出信號速度、響應頻率范圍等有著不同的分類方法。1、按照芯片類型：可以分為CCD相機、CMOS相機；2、按照傳感器的結構特性：可以分為線陣相機、面陣相機；3、按照掃描方式：可以分為隔行掃描相機、逐行掃描相機；4、按照分辨率大小：可以分為普通分辨率相機、高分辨率相機；5、按照輸出信號方式：可以分為模擬相機、數字相機；6、按照輸出色彩：可以分為單色（黑白）相機、彩色相機；7、按照輸出信號速度：可以分為普通速度相機、高速相機；8、按照響應頻率范圍：可以分為可見光（普通）相機、紅外相機、紫外相機。

本節(jié)將主要介紹工業(yè)相機基礎知識，主要有相機傳感器芯片的對比、相機接口規(guī)格、觸發(fā)方式及其部件性能和操作說明等。3.1.1CCD傳感器芯片和CMOS傳感器芯片工業(yè)相機傳感器芯片又稱為感光芯片，是相機的核心部件（如圖相機成像原理所示），其主要功能是將光信號轉換成電信號，是機器視覺系統(tǒng)最為關鍵的部分之一。3.1相機的基礎知識相機成像原理3.1.1CCD傳感器芯片和CMOS傳感器芯片傳感器是相機的核心部件，目前相機常用的感光芯片有CCD（ChargeCoupledDevice電荷耦合器件）和CMOS（ComplementaryMetalOxideSemiconductor互補金屬氧化半導體）兩類。?CCD感光芯片：把光線轉變成電荷，用電荷量表示信號大小，用耦合方式進行傳送，所有的電荷全部經過一個“放大器”進行電壓轉變，形成電子信號，所有的感光單位所產生的信號加在一起，就構成了一幅完整的畫面。?CMOS感光芯片：和CCD原理基本一樣，只是處理光電轉換的方法不一樣，其每一個像素點都有一個單獨的放大器轉換輸出，能夠在短時間內處理大量數據。3.1.1CCD傳感器芯片和CMOS傳感器芯片1、CCD傳感器芯片CCD傳感器是一種新型光電轉換器件，光電效應能使半導體元件表面產生電荷，所有的電荷全部經過一個“放大器”進行電壓轉變，形成電信號，當對它施加特定時序的脈沖時，其存儲的信號電荷便可在CCD內做定向傳輸而實現(xiàn)自掃描。它主要由光敏單元、輸入結構和輸出結構等組成。常用CCD的三種結構如下。常用CCD的三種結構全幀轉移行轉移幀傳輸（1）全幀轉移（Fullframe）

感光區(qū)和儲存區(qū)在一起，即感光單元也是電荷寄存器，如圖3.2。優(yōu)點是填充因子(fillfactor)可達到100%，傳感器靈敏度高。缺點是由于傳輸和讀出使用的時鐘相同，因此Sensor上面的部分曝光時間比下面的長這會造成Smear（漏光）現(xiàn)象。通過使用機械快門、使用頻閃燈的方法，或者使曝光時間遠遠大于讀出時間，以盡量減少漏光。圖3.2全幀轉移示意圖（2）

幀傳輸（Frametransfer）

感光區(qū)和存儲區(qū)完全分開，且大小相等，如圖3.3所示。優(yōu)點是填充因子(fillfactor)可達到100%，在讀出過程中，可對下一幀曝光。在曝光時間較長的情況下，Smear現(xiàn)象比FullFrameArraySensor小很多。缺點是需要兩個Sensor，成本高。圖3.3幀傳輸示意圖（3）

行轉移（InterlineTransfer）

單個像素面積中包含了感光區(qū)和存儲區(qū)，如圖3.4所示。優(yōu)點是轉移時間非常短，約為1us，因此不會出現(xiàn)Smear現(xiàn)象，不需要使用機械快門或閃光燈。缺點是由于屏蔽區(qū)占用了Sensor的部分面積，因此使得此種傳感器填充因子只能在20%~70%。添加微透鏡可以增加填充因子。

圖3.4行轉移示意圖2、CMOS傳感器芯片

每一個像素點都有一個單獨的放大器轉換輸出，能夠在短時間內處理大量數據。在每個像素單元中，除感光部分外，還有放大器和讀出電路部分，整個CMOS傳感器還集成了尋址電路、放大器和A/D，如圖3.5所示。圖3.5CMOS傳感器工作原理示意圖3、CCD傳感器芯片和CMOS傳感器芯片的區(qū)別對比CCDCMOS設計單一感光器，電荷耦合器件感光器連接放大器，互補金屬氧化物半導體成本質量要求程度高成本高CMOS整合集成，成本低解析度連接復雜度低，解析度高低、新技術噪聲單一放大，噪點低百萬放大、噪點高功耗需要外加電壓，功耗高直接放大、功耗低靈敏度同樣面積下高感光開口小，靈敏度低信息讀取方式光電荷電流電路需要外加電路（三路電源）單一電路優(yōu)點聲噪低、分辨率高、動態(tài)范圍大、顏色還原好、靈敏度高、對比度高功耗??；傳輸速度快；價格低；集成度高、體積小；幀率更高；片上數字化、含片上處理功能；沒有Blooming現(xiàn)象；直接訪問單個像素；高動態(tài)范圍（120dB）缺點功耗大、傳輸速度慢、成本高、結構復雜、尺寸難做等；噪聲高、分辨率低、光敏性小、顏色還原差、一致性差成像過程不同：CCD僅有一個（或少數幾個）輸出節(jié)點統(tǒng)一輸出數據，信號一致性好，而CMOS芯片中每個像素都有自己的信號放大器，各自進行電荷到電壓的轉換，輸出信號的一致性較差，比CCD的信號噪聲更多，但是CMOS的一個顯著優(yōu)點是功效較低。集成性不同：CCD的制造工藝復雜，輸出的只是模擬電信號，還需要后續(xù)的譯碼器，模擬轉換器，圖像信號處理器等，集成度低。COMS可以把信號放大器，模數轉換器等集成在一塊芯片上，集成度高，成本低。隨著CMOS成像技術的進步，CMOS未來會有越來越多的應用場景。圖像輸出速度不同：CCD采用逐個光敏輸出，速度較慢，CMOS每個電荷元件都有獨立的裝換控制器，讀出速度很快，F(xiàn)PS在500以上的高速相機大部分使用的都是CMOS。噪聲方面：CCD技術較為成熟，成像質量相較CMOS具有一定優(yōu)勢，CMOS的集成度更高，各元器件間距距離更近，干擾更多。3.1.2相機的靶面尺寸和分辨率

相機的靶面尺寸也叫做感光芯片尺寸或者傳感器尺寸，圖像傳感器感光區(qū)域的面積大小。這個尺寸直接決定了整個系統(tǒng)的物理放大率。如：1/3“、1/2”等。絕大多數模擬相機的傳感器的長寬比例是4：3(H：V)，數字相機的長寬比例則包括多種：1英寸，2/3英寸，1/2英寸，1/3英寸，1/4英寸等，如圖3.6所示。相機的分辨率是芯片靶面排列的像元數量。通常面陣相機的分辨率用水平和垂直分辨率兩個數字表示，如：1920（H）x1080(V)，前面的數字表示每行的像元數量，即共有1920個像元，后面的數字表示像元的行數，即1080行。相機靶面尺寸3.1.3相機的幀率/行頻

由于人類眼睛的特殊生理結構，如果所看畫面之幀率高于16fps的時候，就會認為是連貫的，此現(xiàn)象稱之為視覺暫留。這也就是為什么電影膠片是一格一格拍攝出來，然后快速播放的。

線性相機通常用行頻表示，單位KHz,如12KHz表示相機在1秒鐘內最多能采集12000行圖像數據。

通常面陣相機用幀率表示，單位fps（FramePerSecond），它是用于測量顯示幀數的量度。所謂的測量單位為每秒顯示幀數(FramesperSecond)，簡稱：FPS或“赫茲”（Hz）。如30fps,表示相機在1秒鐘內最多能采集30幀圖像；

通常相機的幀率/行頻表示相機采集圖像的頻率3.1.4相機的快門速度和曝光方式快門速度（ShutterSpeed）快門速度就是控制曝光時間。傳統(tǒng)的照相機是通過機械快門對照射在底片上的光進行遮光動作實現(xiàn)曝光控制。在CCD或CMOS相機中是利用電子快門實現(xiàn)曝光控制。照射在傳感器上的光不斷發(fā)生光電轉換，電子快門的原理是只儲存一定曝光時間的信號電荷，然后進行輸出。對于一般性能的的相機快門速度可以達到1/10000-1/100000秒，這個速度是可以設定的，時間與圖像亮度成正比。卷簾快門（RollingShutter）：多數CMOS圖像傳感器上使用的快門，其特征是逐行曝光，每一行的曝光時間不一致。全局快門（GlobalShutter）：CCD傳感器和越來越多的CMOS傳感器采用的快門，傳感器上所有像素同時刻曝光。3.1.4相機的快門速度和曝光方式幀曝光（globalshutter）：傳感器陣列中所有像素同時曝光，曝光周期由預先設定的快門時間確定，拍攝運動物體，圖像不會偏移，不會失真。行曝光（rollingshutter）：同一行上的像素同時曝光，不同行的曝光起始時間不同，每行的曝光時間是相同的，行間的延遲不變，適用于拍攝靜止的物體，拍攝運動物體時，圖像會偏移。曝光方式相機的快門速度和曝光方式是決定圖像亮度和質量的重要參數。曝光方式幀曝光和行曝光都是針對面陣相機而言的，一般只有CMOS的芯片分幀曝光和行曝光，幀曝光是整個芯片同時曝光，所以拍攝運動的物體不會產生變形；行曝光的芯片是一行一行曝光的，由于所有行不能同時曝光，所以拍攝運動的物體會產生變形。拍攝靜止的物體兩者沒有差別3.1.5相機的增益和白平衡增益:相機的模擬信號可以被放大，當模擬信號過于弱小而導致成像質量很差時可以對其模擬信號進行放大進而改善效果。而所謂的相機增益便是放大倍數，工業(yè)相機不同增益時圖像的成像質量不一樣，增益越小，噪點越??；增益越大，噪點越多，特別是暗處。白平衡：是一個很抽象的概念，最通俗的理解就是讓白色所成的像依然為白色，針對彩色相機，白平衡就是針對不同色溫條件下，通過調整攝像機內部的色彩電路使拍攝出來的影像抵消偏色，更接近人眼的視覺習慣。

源圖像藍色色值過低紅色色值過低3.1.6相機的觸發(fā)模式硬件觸發(fā)：一般工業(yè)相機都內置了物理IO，通過IO觸發(fā)相機拍照取圖的方式叫做相機硬件觸發(fā)。軟件觸發(fā)：通過取圖軟件或者視覺處理軟件觸發(fā)相機拍照取圖的方式叫做相機軟件觸發(fā)。

相機支持兩種輸出模式：連續(xù)和觸發(fā)。連續(xù)模式下，相機將輸出動態(tài)圖。觸發(fā)是一種被動模式，觸發(fā)模式下，相機進入準備狀態(tài)，觸發(fā)信號產生后，相機開始曝光，輸出圖像，相機分兩種觸發(fā)模式，即硬件觸發(fā)和軟件觸發(fā)。3.1.7相機的分辨率

相機的分辨率是芯片靶面排列的像元數量。通常面陣相機的分辨率用水平和垂直分辨率兩個數字表示，如：2592（H）x1944(V)，前面的數字表示每行的像元數量，即共有2592個像元，后面的數字表示像元的行數，即1944行，這就是我們常說的500萬像素的相機。

相機每次采集圖像的像素點數（Pixels）。由工業(yè)相機所采用的芯片分辨率決定，是芯片靶面排列的像元數量。分辨率影響采集圖像的質量，在對同樣大的視場（景物范圍）成像時，分辨率越高，對細節(jié)的展示越明顯.30萬像素130萬像素200萬像素500萬像素1000萬像素2000萬像素

656（H）×492（V）1292（H）×964（V）1628（H）×1236（V）2592（H）×1944（V）3840（H）×2748（V）5120（H）×3840（V）3.1.8相機的像元尺寸像元尺寸就是每個像素的面積，一般單位為μm比如30萬相機的相元尺寸為5.6μm×5.6μm單個像素面積小，單位面積內的像素數量多，相機的分辨率增加，利于對細小缺陷的檢測和增大檢測視場。隨著像素面積的縮小，滿阱能力（每個像素能夠儲存的電荷數量）也隨之減小，造成相機動態(tài)范圍的降低。3.1.9相機的常用參數最大行頻：是指線陣相機每秒鐘能夠輸出的最大行數。最大幀率：指面陣相機每秒鐘能夠采集并輸出的最大幀數。像素深度：是指每個像素用多少比特位表示。通常，每個像素的比特位數多，表達圖像細節(jié)的能力強。動態(tài)范圍：用來描述每個像素能夠分辨出的灰度等級。它是飽和電壓（最大的輸出電平）相機輸出的噪聲之比。寬動態(tài)范圍能夠使場景中非常亮和非?；璋挡糠值募毠?jié)同時被清晰的顯示。感光度：（響應度）定義相機在固定曝光量下的靈敏性特性，它與照射的光波的波長有關。3.1.10相機的接口USB2.01394A1394BCameraLinkGigEUSB3.0速度48MB/s32MB/s64MB/s600MB/s100MB/s400MB/s距離5M4.5M10M10M100M5M優(yōu)勢1.易用2.價格低3.多相機1.易用，價格低，多相機2.傳輸距離遠，實際線纜可達到17.5m，光纖傳輸可達100m3.有標準DCAM協(xié)議4.CPU占用最低1.帶寬高2.有帶預處理功能的采集設備3.抗干擾能力強1.易用，價格低，多相機2.傳輸距離遠，線纜價格低3.標準GigEVision協(xié)議1.易用2.價格低3.多相機4.傳輸速度快缺點1.無標準協(xié)議2.CPU占用高1.長距離傳輸線纜價格稍貴1.價格高2.線中不帶供電1.CPU占用稍高2.對主機配置要求高3.有時存在丟包現(xiàn)象1.線長受限

相機接口指的是相機與計算機的通信接口，相機接口用的較多的有USB接口、1394接口、千兆網和CameraLink等。選擇相機接口主要根據信息的傳輸速率，還應考慮穩(wěn)定性（工作環(huán)境對相機的影響），下表3.2所示為幾種常見的接口的樣式?，F(xiàn)在市場上已經出現(xiàn)萬兆網口相機了。表3.2常見的接口樣式相機的常見接口：Gige接口1394A接口1394B接口USB接口CameraLink接口3.1.11相機的取圖協(xié)議GigEVision與標準千兆以太網相機在硬件架構上基本完全一樣（對網卡的要求有微小區(qū)別），只是在底層的驅動軟件上有所區(qū)別。它主要解決標準千兆網的兩個問題：數據包小而導致的傳輸效率低。標準千兆網的數據包為1440字節(jié)，而GigEVision采用所謂的“Jumbopacket”,其最大數據包可達16224字節(jié)。CPU占用率過高。標準千兆網采用TCP/IP協(xié)議，在部分使用DMA控制以提高傳輸效率的情況下，可做到82MB/s時CPU占用率15%。GigEVision驅動采用UDP/IP協(xié)議，采用完全的DMA控制，大大降低了CPU的占用率，在同等配置情況下可做到108MB/s時CPU占用率為2%。GigEVision與標準千兆以太網相機的區(qū)別：

相機取圖是指相機拍攝的圖像傳輸到控制器，以便軟件處理。根據相機不同接口，在通信上需要不同的協(xié)議，有USB通信協(xié)議、1394通信協(xié)議等，目前市面上用的最多還是Gige千兆網口，以此為案例介紹它的協(xié)議：GigEVision視覺標準:優(yōu)勢特點概覽帶寬可達到1000Mbps，圖像可以無損失實時傳輸。在圖像無損失的情況下，最遠可傳輸100米,傳輸效率高。標準的網絡連接器，電纜線成本低。帶寬易于升級，包括10M,100M,1000M，10000M等，在工業(yè)機器視覺中將被廣泛應用。通信控制方便、軟硬件互換性強、可靠性高。GigEVision標準委員會的主要成員都是國際知名的圖像系統(tǒng)軟硬件提供商。千兆網視覺標準GigEVision包含了下面四種技術內容：TheGigEVisionControlProtocol(GVCP)，運行在UDPIPv4協(xié)議上，定義了如何控制和配置如攝像頭等兼容設備，定義流通道，并且提供攝像頭發(fā)送圖像，傳輸數據到計算機的控制。TheGigEVisionStreamProtocol(GVSP)，定義數據類型并且詳細描述圖像如何通過千兆網傳輸。TheGigEDeviceDiscoveryMechanism(GDDM)，定義工業(yè)攝像頭或者其他兼容設備如何獲取IP地址?；贕enICam標準的XML描述文件，提供等效于計算機可以讀取的數據表文件，實現(xiàn)工業(yè)攝像頭控制和圖像流獲取。3.1.12相機選型1、明確客戶需求

首先確定是動態(tài)檢測還是靜態(tài)檢測，如果是運動檢測，則需確定檢測物體的運動速度；其次要確定相機要觀測的視野大小，確定檢測產品的精度要求。2、根據客戶需求確定硬件參數

硬件的相關參數會影響其性能，因此在確定硬件類型前要先確定其相關參數。3、確定色彩要求工業(yè)相機分彩色與黑白兩種，兩者之間存在差異，彩色相機的清晰度相對較低，黑白相機的靈敏度相對較低。只有在需要檢測顏色信息的場合，如醫(yī)學電子目鏡、彩色印刷品檢測等場合，才需要使用彩色相機，其他的如文字識別、尺寸測量等，一般選用黑白相機。特殊情況：有一些檢測場合不需要檢測顏色信息，但因為檢測物體是彩色的，而且目標和背景的灰度級接近，這時，如果使用黑白相機，則對比度不強烈，而使用彩色相機，可以通過設置不同的RGB增益，起到增強對比度的效果。這時，會選擇彩色相機。4、確定精度要求

相機的像素大小（多少）是指相機的分辨率，我們所說的130萬象素相機的分辨率為1280*1024，如果客戶對檢測的精度有要求的話，我們就必須選擇一種合適的分辨率的相機，因為檢測的精度和相機分辨率、檢測視場的大小是密切相關的。確定了視場和精度后可以根據以下公式來選擇相機的分辨率：分辨率=視場/精度，精度=視場/分辨率。X方向系統(tǒng)精度(X方向像素值)=視野范圍(X方向)/CCD芯片像素數量(X方向)；Y方向系統(tǒng)精度(Y方向像素值)=視野范圍(Y方向)/CCD芯片像素數量(Y方向)。5、相機芯片的選擇

同等分辨率的情況下，CCD的成像效果要比CMOS好一些，價格也要貴上很多，越高分辨率的CCD價格則是越貴，所以在精度要求不是那么高的情況下可選擇CMOS相機，在個別精度要求很高的條件下則是CCD相機。

實際上近年來，得益于根本性的新發(fā)展，COMS也趕上了CCD芯片。憑借高速（幀速率）、高分辨率（像素數）、低功耗以及新改良的噪聲指數、動態(tài)范圍、量子效率及色彩概念等各方面優(yōu)勢，CMOS芯片逐漸在由CCD芯片統(tǒng)治的領域里取得了一席之地，所以在考慮性價比的情況下，還是選用CMOS相機較為合適。3.1.13不同品牌相機介紹1、大恒圖像水星相機

水星(MERCURY)家族的MER-G-P系列數字相機是由大恒圖像自主研發(fā)的GigEPoE接口數字相機，支持PoweroverEthernet(PoE，兼容IEEE802.3af標準)，安裝、使用方便。該系列相機性能出色、外殼小巧、性價比高，提供多種分辨率、幀率的型號，并配備有各大領先制造商生產的CCD或CMOS感光芯片可供選擇。MER-G-P系列相機集成I/O(GPIO)接口，提供線纜鎖緊裝置，能穩(wěn)定工作在各種惡劣環(huán)境下，是高可靠性、高性價比的工業(yè)數字相機產品，適用于工業(yè)檢測、醫(yī)療、科研、教育及安防等領域，如圖3.7所示。圖3.7水星相機2、德國Basler相機Baslerace系列設計小巧、價格實惠、頗具成效，該系列不但具有卓越的品質和出色的性能，并且經濟實惠。相機外殼小巧，提供29mm*29mm*44mm以及30mm*4mm*44mm兩種外形尺寸：ace系列正是憑借這些優(yōu)點躋身熱賣相機系列的行列，讓成千上萬的用戶滿意。ace系列共有150多種相機型號，是市面上產品線最豐富的工業(yè)圖像處理相機系列之一，如圖3.8所示。圖3.8Basler相機3.1.13不同品牌相機介紹3、視覺龍VDC相機

視覺龍的VDC相機超小尺寸29*29*29MM，支持曝光完成事件通知功能，增益、曝光時間、白平衡可編程設置。支持查找表、參數組功能?？奢敵龆喾N格式圖像數據：MONO08，MONO12，BAYERRG8，BAYERRG1。支持輸出閃光燈同步信號實施曝光和補光的精確同步。彩色相機提供顏色校正功能，提高采集圖像的色彩還原度。可直接連接DragonVision等第三方軟件，如圖所示。3.1.13不同品牌相機介紹

工業(yè)相機的選型一定要讀懂相機文檔手冊，以便根據技術要求合理選擇工業(yè)相機。以視覺龍VDC相機舉例，如圖所示。

如VDC-M030-A120-E：表示像素為30萬，幀率為120fps，GigE-PoE接口，支持網卡供電的黑白相機。感光芯1/4英寸CCD芯片（圖表信息解讀）。

選型圖