機器視覺系統(tǒng)原理及基礎(chǔ)知識剖析

機器視覺系統(tǒng)原理及基礎(chǔ)知識主講人：王亞鵬2005.10中國大恒（集團）有限公司北京圖像視覺技術(shù)分公司第一頁，共五十五頁。機器視覺系統(tǒng)基本原理照明光源鏡頭工業(yè)攝像機圖像采集/處理卡圖像處理系統(tǒng)第二頁，共五十五頁。

第1章機器視覺系統(tǒng)基本原理1.1機器視覺系統(tǒng)的原理

1.2機器視覺系統(tǒng)與人的視覺的對比1.3機器視覺系統(tǒng)的構(gòu)成第三頁，共五十五頁。1.1機器視覺系統(tǒng)的原理

機器視覺系統(tǒng)的目的就是給機器或自動生產(chǎn)線添加一套視覺系統(tǒng)，其原理是由計算機或圖像處理器以及相關(guān)設(shè)備來模擬人的視覺行為，完成得到人的視覺系統(tǒng)所得到的信息。人的視覺系統(tǒng)是由眼球、神經(jīng)系統(tǒng)及大腦的視覺中樞構(gòu)成，計算機視覺系統(tǒng)則是由圖像采集系統(tǒng)、圖像處理系統(tǒng)及信息綜合分析處理系統(tǒng)構(gòu)成。第四頁，共五十五頁。1.1機器視覺系統(tǒng)的原理圖像處理技術(shù)彩色圖像轉(zhuǎn)換技術(shù)圖像分割技術(shù)模式識別技術(shù)數(shù)學形態(tài)學方法專家系統(tǒng)及人工智能技術(shù)視覺神經(jīng)網(wǎng)絡(luò)技術(shù)小波分析技術(shù)分形學方法第五頁，共五十五頁。1.2機器視覺系統(tǒng)與人的視覺的對比第六頁，共五十五頁。人類視覺機器視覺適應(yīng)性適應(yīng)性強，可在復(fù)雜及變化的環(huán)境中識別目標適應(yīng)性差，容易受復(fù)雜背景及環(huán)境變化的影響智能具有高級智能，可運用邏輯分析及推理能力識別變化的目標，并能總結(jié)規(guī)律雖然可利用人工智能及神經(jīng)網(wǎng)絡(luò)技術(shù)，但智能很差，不能很好地識別變化的目標彩色識別能力對色彩的分辨能力強，但容易受人的心理影響，不能量化受硬件條件的制約，目前一般的圖像采集系統(tǒng)對色彩的分辨能力較差，但具有可量化的優(yōu)點灰度分辨力差，一般只能分辨64個灰度級強，目前一般使用256灰度級，采集系統(tǒng)可具有10bit、12bit、16bit等灰度級空間分辨力分辨率較差，不能觀看微小的目標目前有4K×4K的面陣攝像機和8K的線陣攝像機，通過備置各種光學鏡頭，可以觀測小到微米大到天體的目標速度0.1秒的視覺暫留使人眼無法看清較快速運動的目標快門時間可達到10微妙左右，高速像機幀率可達到1000以上，處理器的速度越來越快感光范圍400nm-750nm范圍的可見光從紫外到紅外的較寬光譜范圍，另外有X光等特殊攝像機環(huán)境要求對環(huán)境溫度、濕度的適應(yīng)性差，另外有許多場合對人有損害對環(huán)境適應(yīng)性強，另外可加防護裝置觀測精度精度低，無法量化精度高，可到微米級，易量化其它主觀性，受心理影響，易疲勞客觀性，可連續(xù)工作第七頁，共五十五頁。1.3機器視覺系統(tǒng)的構(gòu)成照明光源鏡頭工業(yè)攝像機圖像采集/處理卡圖像處理系統(tǒng)其它外部設(shè)備第八頁，共五十五頁。第九頁，共五十五頁。第十頁，共五十五頁。第2章照明光源第十一頁，共五十五頁。2.照明光源在我國國家標準GB5698－85中，顏色定義為：“色是光作用于人眼引起除形象以外的視覺特性”。既：顏色是一種光學現(xiàn)象，是光刺激人眼的結(jié)果，有光才有色。彩色也是一種心理感覺，它與照明光源的輻射能力分布及觀看者的視覺生理結(jié)構(gòu)有關(guān)。人眼可以感知的光譜范圍為380nm-780nm，但人感知一個物體的顏色一般是指在日光照明的環(huán)境下所顯示的色彩，對于同一物體在不同光線的照射下人會感覺到不同的色彩，可見光源對于正確認知物體的色彩是至關(guān)重要的。第十二頁，共五十五頁。2.照明光源簡單視功能原理：人眼視網(wǎng)膜里存在著大量光敏細胞，按其形狀可分為桿狀和錐狀兩種。桿狀光敏細胞的靈敏度極高，主要靠它在低照度時辨別明暗，但它對彩色是不敏感的；而錐狀細胞既可辨別明暗，也可辨別彩色。白天的視覺過程主要靠錐狀細胞來完成，夜晚視覺則由桿狀細胞起作用。所以在較暗處無法辨別彩色。

第十三頁，共五十五頁。2.照明光源 三原色學說：該學說認為在視網(wǎng)膜上分布有三種不同的視錐細胞，分別含有對紅(700nm)、綠(546.1nm)、藍(435.8nm)三種光敏感的視色素；當某一定波長的光線作用于視網(wǎng)膜時，以一定的比例使三種視錐細胞分別產(chǎn)生不同程度的興奮，這樣的信息傳至中樞，就產(chǎn)生某一種顏色的感覺。第十四頁，共五十五頁。2.照明光源 所以，當我們用某光源照明時，若光源只發(fā)出三條人眼最敏感的譜線，即：藍、綠、紅。這樣似乎是達到了人眼對照明的需求和防止了人眼無法察覺和有害射線對人眼視力的影響。但我們由前面提到的，物體只能反射和透射與該物體顏色相同的光線，因此上面我們假設(shè)的光源的顯色性一定是很差的。第十五頁，共五十五頁。2.照明光源－主要參數(shù) 光源的光譜分布： 對于色彩檢測的應(yīng)用，應(yīng)選擇與日光接近的光源，光譜要寬，而且連續(xù)。光源照射在物體上，物體所產(chǎn)生的顏色效果要客觀、真實，既光源的顯色性好。其它場合可使用各種單色光和特殊光源。第十六頁，共五十五頁。2.照明光源－主要參數(shù) 色溫，單位是開爾文（K）：當光源所發(fā)出的光的顏色與“黑體”在某一溫度下輻射的顏色相同時，“黑體的溫度就稱為該光源的色溫。“黑體”的溫度越高，光譜中藍色的成分則越多，而紅色的成分則越少。例如：白熾燈的光色是暖白色，其色溫為2700K左右，而日光色熒光燈的色溫則是6400K左右。白熾燈的色溫一般在2700K左右、日光燈的色溫在2700-6400K左右、鈉燈的色溫在2000K左右第十七頁，共五十五頁。2.照明光源－主要參數(shù)照度：單位被照面上接收到的光通量稱為照度。如果每平方米被照面上接收到的光通量為1（lm），則照度為1(lx)。單位：勒克斯（lx或Lux）。1勒克斯（lx）相當于每平方米被照面上光通量為1流明（lm）時的照度。在高速運動條件下拍攝圖像，曝光時間很短，只有高亮度的光源才能得到足夠亮度的圖像。第十八頁，共五十五頁。夏日陽光下100000Lux陰天室外10000Lux電視臺演播室1000Lux距60W臺燈60cm桌面300Lux室內(nèi)日光燈100Lux黃昏室內(nèi)10Lux20cm處燭光10-15Lux晴朗的月夜地面照度約0.2lx第十九頁，共五十五頁。2.照明光源－主要參數(shù)壽命。光源的半衰期要長，且在半衰期內(nèi)，光譜穩(wěn)定，亮度衰減小。發(fā)熱特性。光源的工作溫度要低，避免高溫損壞被檢測物。信噪比高，抗干擾能力強。閃爍頻率，交流、直流。外形尺寸，便于安裝。第二十頁，共五十五頁。2.照明光源－分類按照射方式可分為四大類:背向照明前向照明結(jié)構(gòu)光頻閃照明。 各種照明方式：平面照明、環(huán)形光源、同軸光源、平行光源、點光源、低角度光源、線光源、光柵；第二十一頁，共五十五頁。2.照明光源－分類熱輻射光源白熾燈、鹵鎢燈氣體放電光源熒光燈、鈉燈、氫燈、氙燈、金屬鹵化物燈、空心陰極燈、汞燈、高壓汞燈、超高壓汞燈固體放電光源發(fā)光二極管、空心陰極燈激光器氣體激光器、固體激光器、半導體激光器、染料激光器第二十二頁，共五十五頁。2.照明光源－光纖照明光纖照明系統(tǒng)：可彎曲的光纖束＋專用鏡頭點照明線照明環(huán)形照明第二十三頁，共五十五頁。第3章鏡頭第二十四頁，共五十五頁。3.鏡頭－影響圖像質(zhì)量的因素

圖像質(zhì)量的參數(shù)影響圖像質(zhì)量的因素分辨力（Resolution），指能分清楚物體的能力，單位LP/mm（Linepairs/Milimeter）鏡頭攝像機圖像采集卡顯示器對比度（Contrast）鏡頭照明光源攝像機景深（DepthofField），指鏡頭當物體在對焦清晰范圍內(nèi)，維持一定品質(zhì)的能力鏡頭失真（Distortion），也叫畸變鏡頭投影誤差鏡頭第二十五頁，共五十五頁。3.鏡頭機器視覺系統(tǒng)的基本光學參數(shù)：視場角工作距離分辨率景深第二十六頁，共五十五頁。第二十七頁，共五十五頁。3.鏡頭－鏡頭的理想模型

薄透鏡模型，薄透鏡是指透鏡沒有厚度，當然這種透鏡是不存在的，而且我們一般用的鏡頭都是多組鏡片組合在一起的。我們通常使用中會忽略厚度對透鏡的影響，在去除透鏡參數(shù)中的厚度后，可簡化許多光學計算公式。第二十八頁，共五十五頁。3.鏡頭－鏡頭的理想模型

第二十九頁，共五十五頁。3.鏡頭－鏡頭的理想模型

兩個重要公式：1/f=1/S1+1/S2

S1＝f*(H/h+1)第三十頁，共五十五頁。3.鏡頭－有關(guān)鏡頭的基本概念

第三十一頁，共五十五頁。3.鏡頭－有關(guān)鏡頭的基本概念焦距（F）：視場角：物距：像距：光圈：一般用口徑系數(shù)f表示，指鏡頭口徑與焦距之比，f/2.8即指1:2.8景深（DOF）：在焦點前后各有一個容許彌散圓，這兩個彌散圓之間的距離就叫景深，即：在被攝主體(對焦點)前后，其影像仍然有一段清晰范圍的，就是景深。分辨力：指能分清楚物體的能力，單位LP/mm（Linepairs/Milimeter）快門，決定曝光時間數(shù)值孔徑，NumericalAperture(NA)

基本放大倍數(shù)(光學放大倍數(shù)），PrimaryMagnification(PMAG)調(diào)制傳遞函數(shù)（MTF），MTF好的鏡頭有利于低對比度景物的再現(xiàn)，拍出的圖像層次豐富、細節(jié)明顯、質(zhì)感細膩?；儯阂步惺д娴谌摚参迨屙?。3.鏡頭－有關(guān)鏡頭的基本概念第三十三頁，共五十五頁。3.鏡頭－有關(guān)鏡頭的基本概念第三十四頁，共五十五頁。3.鏡頭－常見光學鏡頭的種類

按光學放大倍率及焦距劃分顯微鏡：體視顯微鏡、生物顯微鏡、金相顯微鏡、測量顯微鏡常規(guī)鏡頭：魚眼鏡頭：6-16mm超廣角：17-21mm廣角：24-35mm標頭：45-75mm長焦：150-300mm超長焦：300mm以上特殊鏡頭：微距鏡頭遠距鏡頭遠心鏡頭紅外鏡頭紫外鏡頭第三十五頁，共五十五頁。3.鏡頭－常見光學鏡頭的種類按其它性能劃分固定焦距鏡頭變焦鏡頭自動變焦手動變焦不同接口方式的鏡頭C接口（后截距17.526mm）CS接口（后截距12.5mm）F接口（尼康口）M42其它：哈蘇、徠卡、AK第三十六頁，共五十五頁。3.鏡頭－各種鏡頭常用配件近拍接圈偏振鏡濾色片UV鏡雷登鏡增溫鏡各色濾鏡帶通濾鏡增倍鏡分光鏡棱鏡第三十七頁，共五十五頁。第4章工業(yè)攝像機第三十八頁，共五十五頁。4.工業(yè)攝像機按不同芯片類型劃分：CCD攝像機，CCD稱為電荷耦合器件，CCD實際上只是一個把從圖像半導體中出來的電子有組織地儲存起來的方法。CMOS攝像機，CMOS稱為“互補金屬氧化物半導體”，CMOS實際上只是將晶體管放在硅塊上的技術(shù)，沒有更多的含義。CMOS可以將光敏元件、放大器、A/D轉(zhuǎn)換器、存儲器、數(shù)字信號處理器和計算機接口控制電路集成在一塊硅片上，具有結(jié)構(gòu)簡單、處理功能多、速度快、耗電低、成本低等特點。第三十九頁，共五十五頁。4.工業(yè)攝像機 但是不論CCD或者CMOS對于圖像感應(yīng)都沒有用，真正感應(yīng)的傳感器稱做“圖像半導體”，CCD和CMOS傳感器實際使用的都是同一種傳感器“圖像半導體”，圖像半導體是一個PN結(jié)合半導體，能夠轉(zhuǎn)換光線的光子爆炸結(jié)合處成為成比例數(shù)量的電子。電子的數(shù)量被計算信號的電壓，光線進入圖像半導體得越多，電子產(chǎn)生的也越多，從傳感器輸出的電壓也越高。第四十頁，共五十五頁。4.工業(yè)攝像機CMOS攝像機存在成像質(zhì)量差、像敏單元尺寸小、填充率低等問題，1989年后出現(xiàn)了“有源像敏單元”結(jié)構(gòu)，不僅有光敏元件和像敏單元的尋址開關(guān)，而且還有信號放大和處理等電路，提高了光電靈敏度、減小了噪聲，擴大了動態(tài)范圍，使得一些參數(shù)與CCD攝像機相近，而在功能、功耗、尺寸和價格方面要優(yōu)于CCD，逐步得到廣泛的應(yīng)用。第四十一頁，共五十五頁。4.工業(yè)攝像機按輸出圖像信號格式劃分模擬攝像機PAL（黑白為CCIR），中國，625行，50場NTSC（黑白為EIA），日本，525行，60場SECAMS-VIDEO分量傳輸數(shù)字攝像機IEEE1394USB2.0DCOM3RS-644LVDSChannelLinkCameraLink千兆網(wǎng)第四十二頁，共五十五頁。4.工業(yè)攝像機按像素排列方式劃分面陣攝像機黑白攝像機采用BAYER轉(zhuǎn)化的單片相機3CCD彩色攝像機（分光棱鏡）線陣攝像機黑白攝像機3Line彩色攝像機3CCD彩色攝像機（分光棱鏡）第四十三頁，共五十五頁。4.工業(yè)攝像機－3CCD第四十四頁，共五十五頁。4.工業(yè)攝像機－3LineCCD第四十五頁，共五十五頁。4.工業(yè)攝像機－BAYER轉(zhuǎn)換第四十六頁，共五十五頁。4.工業(yè)攝像機－主要參數(shù)

分辨率幀率/行頻成像靈敏度靶面尺寸快門速度光譜響應(yīng)特性白平衡外同步與外觸發(fā)第四十七頁，共五十五頁。第5章圖像采集/處理卡

第四十八頁，共五十五頁。5.圖像采集/處理卡

5.1圖像采集卡的主要功能：A/D轉(zhuǎn)換圖像傳輸圖像采集控制圖像處理（FPGA、DSP）第四十九頁，共五十五頁。5.圖像采集/處理卡模擬量圖像采集卡:標準視頻信號采集:PAL、NTSC非標準視頻信號采集數(shù)字量圖像采集卡IEEE1394卡RS-644LVDSChannelLinkLVDSCameraLinkLVDS千兆網(wǎng)圖像傳輸卡/傳輸器第五十頁，共五十五頁。第6章圖像處理系統(tǒng)第五十一頁，共五十五頁。6.圖像處理系統(tǒng) 圖像處理系統(tǒng)或計算機的作用是執(zhí)行圖像處理及分析軟件，調(diào)用根據(jù)檢測功能所特殊設(shè)計的一系列圖像處理及分析算法模塊，對圖像數(shù)據(jù)進行復(fù)雜的計算和處理，最終得到系統(tǒng)設(shè)計所需要的信息，然后通過與之相連接的外部設(shè)備以各種形式輸出檢測結(jié)果及響應(yīng)。其外部輸出設(shè)備可以包括顯示器、網(wǎng)絡(luò)、打印機、報警器及各種控制信號。第五十二頁，共五十五頁。6.圖像處理系統(tǒng)嵌入式圖像處理系統(tǒng)：DSP、FPGA、CPU基于PC的視覺系統(tǒng)：結(jié)構(gòu)及功能復(fù)雜，可多路并行處理。小型機器視覺系統(tǒng)：結(jié)構(gòu)簡單，穩(wěn)定性好，開發(fā)周期長。可二次開發(fā)的視覺系統(tǒng)：PPT、DVT、VC、Halcon等第五十三頁，共五十五頁。機器視覺及圖像處理常用算法：

濾波（平滑、降噪）增強邊緣銳化紋理分析（去骨架、連通性）圖像分割，灰度、色彩、頻譜特征、紋理特征、空間特征；變換(空域和頻域、幾何變換、色度變換）幾何形態(tài)分析（Blob分