機器視覺系統(tǒng)國內(nèi)外應用現(xiàn)狀

隨著社會的發(fā)展以及科技水平的不斷提高，人體生物特征識別技術作為一種智能的人機交互技術在自動化工業(yè)生產(chǎn)中越來越受到人們的重視。為了解決人與機器人協(xié)同工作時目標的精確定位問題，設計了一種基于USB攝像頭的視覺測距系統(tǒng)，本論文中，人眼定位通過USB攝像頭采集圖像，系統(tǒng)對采集的人臉圖像進行處理，利用直方圖均衡化和中值濾波對采集的人臉圖像進行增強和降噪處理，針對眉毛和眼鏡框等區(qū)域?qū)θ搜鄱ㄎ辉斐奢^大影響的問題,根據(jù)人眼周圍區(qū)域各部位灰度值變化特征,提出了一種新的人眼定位及開閉狀態(tài)識別算。該算法使用AdaBoost算法粗略定位人眼。圖像的水平積分法是根據(jù)人眼特征的極值點特征，通過人眼特征際瞳孔和圖像中人眼的信息計算人物到相機的距離。具有良好的應用前景。隨著機器人和人工智能研究的興起，現(xiàn)在自動化工業(yè)的不斷發(fā)展，視覺測量作為機器人視覺的重要應用，受到了機器人領域的廣泛關注。在視覺測量中，機器人使用攝像頭采集目標圖像的二維信息，并通過計算機處理器對圖像進行處理，以獲根據(jù)視覺系統(tǒng)中使用的攝像機數(shù)量，它可以分為單目、雙目和多目視覺系統(tǒng)。檢測、瞳孔定位和單目測距算法。系統(tǒng)中采用了數(shù)字圖像處理和小孔成像測距的相關算法。可以滿足機器人對于工作中對測距對象的精準測距?；贏daboost算法的由于科技的不斷發(fā)展，工業(yè)生產(chǎn)中的智能制造不斷興起，但智能制造離不開機器視覺。像這種機器視覺系統(tǒng)，就是需要機器人通過攝像頭和電腦代替人眼對目標器視覺。像這種機器視覺系統(tǒng)，就是需要機器人通過攝像頭和電腦代替人眼對目標進行識別、跟蹤和測量等機器視覺，并進一步做圖形處理，與人類形成良好的協(xié)同傳統(tǒng)的機器人和自動化設備通過編程來執(zhí)行特定的動作，已經(jīng)不能滿足制造業(yè)發(fā)展機器視覺就是用機器代替人眼來做測量和判斷。機器視覺是通過高清工業(yè)攝像機器視覺伴隨著信息技術，現(xiàn)場總線技術的發(fā)合材料、食品醫(yī)藥、金屬加工等行業(yè)。視覺所以說，機器視覺是實現(xiàn)工業(yè)自動化和智能工件加工要求和相應的先進生產(chǎn)線為中國帶來了許多具有國際先進水平和設備；單層、雙層和多層電路、鍍銅層壓板以及所需的材料和附件；輔助設備和隨著社會的發(fā)展以及科技水平的不斷提高，人體生物特征識別技術作為一種智將成為未來社會的主要工作模式，因此機器人對伙伴進行準確的目標定位已成為目前重要方向?；谡n題任務書，研究一種人機測距系統(tǒng)設計及相關控制技術，主要（1）攝像機標定方案設計該系統(tǒng)利用Matlab工具箱對攝像機進行標定，采用二維平面靶標法對攝像本文中使用的平面目標是黑白方形板，它提供了明顯的特征點。通過從不同角度采集多幅圖像，根據(jù)特征點位置的變化、特征（2）USB攝像頭對人臉數(shù)據(jù)進行采集本步驟采用了圖像的增強與降噪、灰度曲線分析與位置標定的方法，精確檢測到人（4）基于針孔攝像機模型，計算人眼到攝像機的距離機器學習在工業(yè)生產(chǎn)中的優(yōu)勢，精簡概括了課題的主要研究內(nèi)容和具體的幾個主要第二章控制系統(tǒng)總體方案設計2.1系統(tǒng)總體方案確定及分析在查閱瞳孔定位和人眼測距等相關資料和文獻的基礎上，確定系統(tǒng)總體結(jié)構方案，瞳孔定位的單目測距是機器視覺的一種子問題，是用計算機技術處理視覺，計算出攝像頭到目標距離的一種技術。當該系統(tǒng)通過相關算法識別到前方的人時，可以利用瞳孔定位的測距原理計算出攝像頭到人之間的距離，從而保持良好的距離，更好完成人機協(xié)同?？蓱糜谥悄苤圃斓阮I域。一般來說，瞳孔定位包括檢測人眼區(qū)域和定位人眼。人眼區(qū)域檢測通常在USB攝像頭采集的大范圍面部圖像中檢測人眼區(qū)域。常用的方法有模型匹配法、基于奇異值特征的方法、子空間分析法、人工神經(jīng)網(wǎng)絡法、支持向量機法等。人眼的定位是通過一系列算法對人眼檢測區(qū)域的圖像進行精確定位。常用的方法有基于投影的機器學習人臉與非人臉的判別與比較，得到最接近的數(shù)值并輸出正確的人臉圖像。本文就基于瞳孔定位的單目測距的步驟展開論述，從所羅列的方法中選出來效率最高，精確率最好的方法，應用于本設計之中。2.2瞳孔定位和測距算法的選擇高，精確度好，而對視覺系統(tǒng)影響的因素有光照、姿態(tài)、遮擋、圖像變化、樣本缺位置后，利用模型圖片定位和調(diào)整人臉特征的位置。一旦人臉圖像發(fā)生變化，可能無法正確識別人臉。基于奇異值特征的方法是利用了人臉圖像矩陣的奇異值特征反無法正確識別人臉?；谄娈愔堤卣鞯姆椒ㄊ抢昧巳四槇D像矩陣的奇異值特征反映了圖像的本質(zhì)屬性，一旦出現(xiàn)姿態(tài)上的變化，發(fā)生了遮擋，就很難識別出人臉。攝像頭標定使用Matlab工具箱標定攝像頭的內(nèi)部參數(shù)。使用張正友博士的標定攝像機到人眼的測距則采用了小孔成像相似三攝像機到人眼的測距則采用了小孔成像相似三角形原理，通過相關公式的計算本章主要介紹了基于瞳孔定位的單目測距系統(tǒng)的總體結(jié)構設計方案，包括人眼瞳孔定位、人眼區(qū)域檢測這兩個部分，并分別對這兩個部分進行了一定的敘述，以及瞳孔定位和測距標定算法的選擇以及主要原因。第三章攝像機標定算法設計本系統(tǒng)利用Matlab工具箱對攝像機進行標定，采用二維平面靶標法對攝像機進行標定。該方法簡單實用，只需采集不同角度和方向的平面目標圖像?；诙S平面目標關鍵點的世界坐標和相應的圖像坐標，可以解析相機的內(nèi)部和外部參數(shù)。本文中使用的平面目標是黑白方形板，它提供了明顯的特征點。通過從不同角度采3.1攝像機標定方法本文采用張正友教授1999年提出的基于單平面棋盤格的攝像機標定方法——張正友標定法。該方法綜合了傳統(tǒng)標定方法和自標定方法的優(yōu)點。它不需要額外的輔助設備，只需要一個打印的黑白方格圖。它簡單實用。它不僅克服了傳統(tǒng)校準方法設三維空間點坐標為=[XYZ1]T，其對應的二維相機平面像素點坐標a0cuo~=HMH即為單應性矩陣。將H矩陣定義為r2h2h3]=r2h2=0=令=B=A1a2ca2βcv0u0βB=β[B21Bca2β+a2β2β2c(cv0u0β)a2β2B22Bv0β2BB23]Bcv0u0βa2βc(cv0u0β)a2β2v0β2(cv0u0β)2+v02+1a2β2β2]B矩陣是一個對稱矩陣，其未知量可表示為一個六維向量bBB22BB23{=[1112+2122=31+1332+2333]v]==0V矩陣是一個2x6矩陣，即每個單位應性矩陣可以建立兩個方程，內(nèi)部參數(shù)矩陣包括五個未知參數(shù)。要解決這些問題，必須至少使用三張棋盤圖像進行校準。在計要顏色信息，因此在攝像機標定過程中，可以將彩色圖像轉(zhuǎn)換為灰度圖像。這不僅權，以獲得最終灰度值。由于人眼對綠色的感受最為敏感，對紅色的敏感度次之，對藍色最不敏感，因此從人體生理學的角度提出了一種平均權值加權方法，以獲得重投影法能有效地顯示出攝像機標定的精度，通常被用作評價標定結(jié)果的一種使用標定攝像機得來的參數(shù)，計算從反方向角點投影獲得的圖像點坐標，然后與實際檢測到的圖像點坐標進行差值運算，以獲得總體平均誤差條。該方法可以定量、直接地評價標定結(jié)果，對攝像機標定算法進行評價。給出了重投影法誤差的計=√Q=‖Q‖[??????]?S=si人眼對角線點的檢測通常發(fā)生在一個小窗口或一個小型局部區(qū)域中。如果具有此功能的小窗口在任何方向上移動，且窗口區(qū)域的灰度發(fā)生顯著改變，則認為窗口中存在角點。如果特定窗口在圖像的所有方向上移動，如果窗口中圖像的灰度沒有則窗口圖像可以是直線的線段。會導致角點變?yōu)檫吘?，如圖2所示:I(x+u,y+v)~I(x,y)+uIx+vIy(3-14)δI(x,δI(x,y)δI(x,y)E(u,v)=Σ(x,y)幼(x,y)x[I(x,y)+uIx+vIy一I(x,y)]2,=Σ(x,y)幼(x,y)x(uIx+vIy)2=Σ(x,y)φ(x,y)x(u2I+v2I+2uvIxIy)(3-16)(x,y)I2IxIyI00λ2]得到E(u,v)的最終形式，我們的目的是要找到會引起較大的灰度值變化的那些忽略余項之后的表達式為一個二項式函數(shù)，然而二項式函數(shù)的本質(zhì)上就是一個橢圓函數(shù)，橢圓的扁率和尺寸是由M(x.y)的特征值入1、入2決定的，橢圓的方向是由M(x,y)的特征矢量決定的，如下圖所示，橢圓方程為:如果1和2都很小，圖像窗口在所有方向上移動都無明顯灰度變化。由于我們是通過M的兩個特征值的大小對圖像進行分=12tTaceM=λ1+λ2.(3-21)detM=λ1λ2(3-22)平面:該窗口在平坦區(qū)域上滑動，窗口內(nèi)的灰度值基本不會發(fā)生變化，所以IRHarris角點檢測的結(jié)果是帶有這些分數(shù)R的灰度圖像，設定一個閾值，R>），本章主要介紹了本系統(tǒng)所采用的張氏標定法、加權平均法灰度化、重投影法、Harris角點檢測對攝像機進行標定的方法，并一一進行論述。又介紹了相機標定需第四章人眼區(qū)域檢測算法設計4.1AdaBoost算法簡介測方法。這種方法首先使用一種叫做積分圖的方法，該方法快速計算出大量特征，然后用AdaBoost學習算法從大量特征中選擇少量具有強分類能力的關鍵特征，構建一系列弱分類器，然后通過線性組合將這些弱分類器組合成強分類器最后通過點:4.2AdaBoost矩形特征4.2.1矩形特征定義），鼻梁兩側(cè)的顏色應該比鼻梁深；嘴巴的顏色比周圍的顏色深。用于24×24檢測器。其中矩形特征的數(shù)量超過150000個。必須通過特定的算法選擇合適的矩形特征，并4.2.2擴展的矩形特征時，這些垂直特征的性能將大大降低。許多研究人員已經(jīng)擴展了類似的Haar特征，其中最具代表性的是Lienhart等人提出的45度旋轉(zhuǎn)Haar特征，這些特征可以解決一定傾斜角度下的人面部檢測問題。這些Haar特征可分為三類：邊緣特征、線條特征和中央環(huán)繞特征，如圖9所示:他特征的方法是：對于沒有旋轉(zhuǎn)的矩形特征原改變。對于旋轉(zhuǎn)45度的特征，矩形的橫向長度可以在正個檢測窗口內(nèi)的特征非常巨大，計算其數(shù)量是下分辨率的檢測窗口為例,在此窗口中，假設矩形特征原型的大小為w×h，系數(shù)?=?,?=?,若其為????×(?+1)(?)??×(?+1)(?)4.2.3特征值的計算???????=∑?????????(??)?∈{1......?}積成反比。假設組成矩形特征的兩個矩形?1和?2的權值分別為?1和?2，面積分別為Area(?1)和Area(?2)，則必須滿足?1Area(?1)=-?2Area(?2)，一般令?1=-1，則ω2=Area(r2)4.3AdaBoost積分圖4.3.1積分圖原理特征的數(shù)量很多,計算特征值看起來是一個很大的工作量。然而,積分圖像可以幫助我們解決這個問題。積分圖的思想是將圖像從起點到每個點形成的矩形區(qū)域中的像素灰度值之和作為數(shù)組存放在內(nèi)存中。在計算矩形區(qū)域的像素灰度和時，可以直接索引數(shù)組中的元素，并使用這些元素先進行加減，而無需重新計算該區(qū)域的像素灰度之和，以提高每天的計算速度；積分圖可以同時解決各種尺度和位置特征的特征值問題，大大提高了訓練和檢測效率。Haar-like特征分為傾斜和非傾斜兩種，因此我們需要建立兩種積分圖來分別(,)=(,),計算公式如下:(,)=(,1)+(+)利用積分圖可以我們可以快速的計算出圖像中任意矩形區(qū)域內(nèi)的像素灰度和，兩矩形的Haar特征值可以通過積分圖上的六個點計算得到，而三矩形的Ha特征值可以通過積分圖上的八個點計算得到，從而使得Haar-like特征的計算變得非常簡單。(,)=(,)上述公式計算從點（x，y）向上延伸的45度傾斜區(qū)域與原始圖像相交區(qū)域內(nèi)所有像(,)=(+(,1)+(+1,1)(,1)=(,2)=(,2)+(,)(2,)=0在實現(xiàn)時只需按行或按列遍歷圖像一次，便可以得到原圖像的積分圖。4.3.2利用積分圖計算矩形特征積分圖的出現(xiàn)讓計算矩形特征變得更加簡易，只要少量的計算每個像素點，將積分圖的運算結(jié)果存儲起來，當要對某個區(qū)域的像素和進行計算時可以直接檢索出相關的頂點積分值，并對其進行簡單的加減，從而大大減少了重復運算，提高了檢測的效率，使得實時人臉檢測系統(tǒng)由不可能變?yōu)榭赡堋?1)對于傾角為0的矩形r=(x,y,w,h,0)，如圖11(a)所示，通過下列公式計算出其矩形中像素灰度積分值:()=(1,1)+(+1,+1)(1,+()=(+,+)+(,+)(,)(+,++)矩形頂點的積分值即可。因此，不管矩形特征的尺度如何，其訐算所消耗的的間均和同。在Voila人臉檢測系統(tǒng)中，每個矩形特征的計算需要最多9個光素的加減，在多尺度檢測中，仍然可以使用相反的積分圖，因此，檢測過程只需掃描原始圖像一次，并且可以在任意尺度上進行搜索，這使得檢測過程非?？焖偾腋咝?。4.4AdaBoost學習算法Freund在1995年提出了AdaBoost算法。他的基本思想是利用大量具有一般分類Boosting算法有兩個缺點：首先，算法必須提前知道弱弱學習器精度的下限，這在些具有較強分類能力的特征，并將這些個體特征的分類器組合成具有更復雜和更強較較困難的樣本，最終得到一個檢測精度較高的強分類器。基于AdaBoost算法的人然后將多個弱分類器組合成一個強分類器，最后將多個強分類器連接成一個級聯(lián)分每個Haar特征對應一個弱分類器。弱分類器是一些分類能力較弱的分類器。只的。利用上述Haar特征的位置信息，可以通過對所有訓練樣本進行統(tǒng)計來獲得相應特征的參數(shù)。下面是弱分類器的定義公式:hj(x)={pjfj(pjθj根據(jù)AdaBoost算法的流程，每輪訓練的目的是在這輪訓練中選擇最優(yōu)的弱分類a、計算每個訓練樣本對應于當前特征j的特征值，對所有的特征值進行升序排序b、計算所有人臉樣本的權重和T+以及所有非人臉樣本的權重和Tc、fori)計算在此元素之前的所有人臉樣本權重和sj+，在此元素之前的所有非人臉樣i本權重和Tjiεj=min(sj++(Tsj),sj+(TJ+sj+))iiii最后計算:ε=mini{minj{ε=mini{minj{???(?(??),?(???))即找到分類錯誤率最低的弱分類器，記錄實時不等式的方向p、閾值θ和相應的特征類型，然后在循環(huán)中找到最佳弱分類器。由此得出，弱分類器的閾值必須是使分類錯誤率最小化的閾值?；诂F(xiàn)有的訓練樣本，它必然屬于某一個矩形特征，而這個特征矩形是我們需要選擇的最佳分類器。此外，我們還可以看到，樣本的權重在弱分類器的構造中起著舉足輕重的作用，不僅影響矩形特征的選擇，還對確定閥為了實現(xiàn)具有更高分類能力的強分類器，必須通過AdaBoost算法將多個弱分類器結(jié)合成一個強分類器。在AdaBoost訓練開始時，訓練集中每個樣本的權重相同，這個新的訓練集突出顯示有分類錯誤的樣本，以便在下一次迭代中得到更多關注。在新的訓練集下再次訓練弱分類器，得到具有最佳分類能力的弱分類器?？梢缘玫狡?，將這些弱分類器與一些權重相結(jié)合可以得到一個強分類器，其算法如下:（1）給定一系列訓練樣本(x1,y1)......(xn,yn),yi=0,1分別代表非人臉和人臉。ww=t,it,iΣnwj=1t,i(4-15)2)對每個特征j訓練一個分類器h,使得該分類器只用這個特征進行分類。相應j的錯誤率為:)-yi|4)更新到每個樣本所對應的權重wt1.i=wt.iβ-eiεtβatβ4.4.4級聯(lián)分類器級聯(lián)分類器是由一系列強分類器串聯(lián)而成的分類器。每個層級都是由AdaBoost算法訓練而來的強分類器。該分類器在保證檢測率的基礎上，大大降低了誤檢率和檢測時間，其形式如下:如圖13所示，級聯(lián)分類器是將很多個強分類器串聯(lián)起來。強分類器將比前一個級別更復雜、更嚴苛。在檢測過程中，前端會排除掉非人臉圖像。只有人臉圖像才能克服所有級別的強分類器的檢測。此外，由于大量非人臉圖像將被快速排除在級聯(lián)分類器的早期階段，因此整個檢測速度將大大加快。級聯(lián)分類器的運行流程如圖14所示:級聯(lián)分類器需要各級分類器，由易入難，每一級都比前一級更嚴格，以確保在最短的時間內(nèi)排除大多數(shù)非人臉。這就要求我們在級聯(lián)分類器的設計過程中遵循一定的原則，但到目前為止還沒有固定的設計模式，這主要是由于訓練樣本不同，訓級聯(lián)分類器的訓練算法如下:設每層的最大錯誤率為f，每層的最小通過率a、使用訓練樣本訓練第i層，并設定闕值b使誤報率fi小于f，通過率大于d；臉圖像會被錯誤地排除。因此，在生成級聯(lián)分類器時，我們必須抓住將各級強分類器作為一個整體進行分類的能力。隨著級聯(lián)分類器數(shù)量的持續(xù)增加，錯誤檢測概率而且加速了非人臉的清除，從而優(yōu)化了檢測過程。級聯(lián)分類器的設計和使用基于訓練結(jié)果，因此級聯(lián)分類器對訓練樣本的檢測結(jié)果應保持收斂；另一方面，也可能出現(xiàn)過度訓練的問題。所謂過度訓練通常是指訓練過程中樣本數(shù)量相對較少或樣本的形式過于單調(diào)，導致訓練結(jié)果與訓練樣本趨同，但不適用于其他情況。4.5人臉區(qū)域檢測的實現(xiàn)征構成一個弱分類器,從而形成弱分類器集通過Adaboost算法訓練強分類器,形成強分類器集最后將強分類器串聯(lián)起來形成一個級聯(lián)分類器。從待檢測圖像中提取被檢測子窗口,利用訓練部分得到的級聯(lián)分類器對每個檢測子窗口進行檢測,然后畫出圖像中人臉的位置和范圍。本章詳細分析了Viola等人提出的AdaBoost級聯(lián)人臉檢測算法，詳細的介紹了AdaBoost算法的Haar特征、積分圖像、弱分類器、強分類器的概念，在研究基于AdaBoost算法的人臉檢測方法的同時，構建了一個人臉區(qū)域檢測系統(tǒng)。第五章人眼瞳孔定位算法設計5.1灰度投影算法簡介灰度投影法是一種利用灰度投影對圖像中眼睛進行定位的方法。利用人臉圖像該方法不僅可以適用于正立側(cè)臉，還可以適用于正立側(cè)臉、提上臉和低臉。當圖像中的人臉是斜面時，可以采用分塊灰度投影。因此，該方法可以處理旋轉(zhuǎn)圖像。方法簡單，計算量少。實驗結(jié)果表明，利用灰度投影可以較準確地定位眼睛。積分投影是一種常用的投影方法。假設(,)表示(,)點的灰度值，x在12范圍內(nèi)，水平積分投影函數(shù)定義如下：2()=(,)=12()=(,)=1()=()=112=12=1積分投影會反應整個水平方向和垂直方向的灰度情況，圖19表示沿兩個方向?qū)D19表示了水平積分投影可以顯示垂直方向上的灰度變化，而垂直積分投影可11112=2=1()=──1()=──2=12=111(差分投影可以反映水平方向或垂直方向上的灰度變化情況。圖20顯示在圖像上圖20說明了水平差分投影可以顯示垂直方向上的灰度差異變化，而垂直差分投影可以顯示水平方向上的灰度差異變化。直方圖均衡化包括非線性延長原始圖像的直方圖，以便直方圖均勻分布在整個灰度范圍內(nèi)。通過重新分配灰度像素值，讓一定灰度范圍內(nèi)的像素數(shù)量大致相同，從而提高圖像的對比度。在圖像處理或計算機視覺應用中，在正式的圖像分析和處主要是為了提供具有足夠體積和信息的圖像，并且只提供進一步處理所需的信息。這里通常使用一些過濾技術。濾波實際上是信號處理中的一個概念，圖像本身也可噪聲。用一個數(shù)字序列中的一個點的中值或一個數(shù)字值來代替圖像中的一個點的中據(jù)序列。經(jīng)過直方圖畫質(zhì)增強和圖片降噪處理，對比結(jié)果如下。人眼區(qū)域有兩個特點，一是它的區(qū)域比周圍區(qū)域暗，其灰度值較低。另一個原因是它的灰度變化更大。所以我們可以使用積分投影和差分投影來定位人眼。對于水平投影來說，眼睛的灰色不是最小的。但這是一個極值點。許多學者利在非直立人臉圖像中，我們使用塊灰度投影。當人臉圖像旋轉(zhuǎn)角度較小時，我們將圖像沿垂直