機器人控制技術(shù)基礎(chǔ)：環(huán)境識別

機器人的環(huán)境識別

Enviroment

RecognizationofRobotics5.1觸覺信息的處理5.2基本的圖象處理方法5.32維圖象的處理5.43維圖象的處理在已經(jīng)獲得傳感器信息條件下，依據(jù)如何處理傳感器信息的問題;識別物體確定位置，姿態(tài)為機器人完成任務(wù)提供必要的信息Robotics環(huán)境識別觸覺與視覺：觸覺局部，視覺范圍廣，詳細觸覺不受光照限制，視覺受光照條件，視角影響Robotics環(huán)境識別5.1觸覺信息的處理5.1.1利用識別函數(shù)的形狀識別①物體特征參量，排成向量X②這些向量分布到n維空間；同類將積聚③構(gòu)造識別函數(shù)g(X)？＝0

如：顏色，材質(zhì)，加權(quán)向量通過大量學習獲得一次識別函數(shù)的應(yīng)用等于一次二分Robotics環(huán)境識別5.1觸覺信息的處理5.1.1利用識別函數(shù)的形狀識別

測量量：6維力，7維轉(zhuǎn)角力測量進行形狀分類，轉(zhuǎn)角測量進行模式分類，學習加權(quán)觸覺轉(zhuǎn)角轉(zhuǎn)角Robotics環(huán)境識別5.1觸覺信息的處理5.1.2按輪廓特征識別形狀從重心（特征點）到邊界畫輪廓曲線假定未知物體的方向角已知，并且與示范物體同形主軸：慣性矩最小的軸Robotics環(huán)境識別5.1觸覺信息的處理5.1.2按輪廓特征識別形狀利用觸覺建立輪廓曲線線特征是指影像的“邊緣”與“線”“邊緣”可定義為影像局部區(qū)域特征不相同的那些區(qū)域間的分界線，而“線”則可以認為是具有很小寬度的其中間區(qū)域具有相同的影像特征的邊緣對常用方法有差分算子、拉普拉斯算子、LOG算子等Robotics環(huán)境識別5.2基本的圖像處理方法Robotics環(huán)境識別5.2基本的圖像處理方法Robotics環(huán)境識別5.2基本的圖像處理方法5.2.1二值化處理按某一閾值二值化。（白紙黑字）頻度分布上的峰值模態(tài),在某個頻段上的能量分布提取物體和背景時，注意透鏡影響,放大作用。Robotics環(huán)境識別5.2基本的圖像處理方法5.2.2微分處理由于投影亮度影響，同一表面亮度不同（反射角度）,有許多中間狀態(tài),不能進行二值化。在邊緣/棱線處亮度突變——邊緣檢測橫向差分縱向差分方向角強度遍歷整幅圖像,求積和i,jRobotics環(huán)境識別5.2基本的圖像處理方法Sobel算子:考察它上下、左右鄰點灰度的加權(quán)差。與之接近的鄰點的權(quán)大：遍歷整幅圖像,求積和-101-101-101-1-1-1000111Prewitt算子與Sobel算子-101-202-101-1-21-101-121加大模扳抑制噪聲Prewitt算子Sobel

算子Robotics環(huán)境識別SobelRobertsPrewittCannyLaplacianofGaussian原始圖像一階水平方向銳化效果Robotics環(huán)境識別單方向一階銳化效果圖例Robotics環(huán)境識別Roberts梯度銳化效果圖例Robotics環(huán)境識別Laplacian銳化算子效果Robotics環(huán)境識別Laplacian類算法效果圖Robotics環(huán)境識別Sobel銳化效果圖Robotics環(huán)境識別Prewitt銳化效果圖例Robotics環(huán)境識別Wallis算法效果圖Robotics環(huán)境識別Kirsch算法效果圖Robotics環(huán)境識別Robotics環(huán)境識別5.2基本的圖像處理方法5.2.3邊緣像素提取和細線化與直線近似

邊緣上的點具有大的微分值微分圖像二值化,邊緣由點陣構(gòu)成點陣基本連續(xù)用直線連接所有點陣,得到邊緣?如何用直線連接Robotics環(huán)境識別5.2基本的圖像處理方法5.2.4Hough變換噪點多,背景復(fù)雜微分二值化,不能檢測的連續(xù)邊緣點陣從不完全的像素中如何提取直線和曲線？考慮噪聲影響參數(shù)表示通過定點的線群Hough變換,直線方程如果x,y常數(shù),

,

為變量對于影像空間直線上任一點(x，y）變換將其映射到參數(shù)空間(

，

)的一條正弦曲線上

Robotics環(huán)境識別5.2基本的圖像處理方法5.2.4Hough變換

從

,

空間上多數(shù)正弦曲線的交點可以提取出x,y空間上的直線圖像空間參數(shù)空間正弦曲線共線映射正弦曲線正弦曲線共點Robotics環(huán)境識別尋找參數(shù)空間上多數(shù)正弦曲線的交點，去除噪聲影響Robotics環(huán)境識別5.2基本的圖像處理方法5.2.5模板匹配目的:已知圖像特征,尋找特征在圖像中的位置途徑:模板掃描絕對失配測度為祛除光照影響規(guī)范匹配測度Robotics環(huán)境識別5.32維圖像的處理5.3.1物體的位置檢測（1）軟管的組裝I

1.假定孔是暗相同的，周邊是亮的

2.二值化,圓在孔內(nèi)黑色圖像中心

孔的中心可以看到對面內(nèi)壁目的:已知攝像機在物體正上方的圖像,求圓心途徑:投射原理Robotics環(huán)境識別5.32維圖像的處理5.3.1物體的位置檢測（2）軟管的組裝II

1.孔暗度不同,圖像背景復(fù)雜,圓在圖像任意位置

2.微分處理,細線化或極大值處理

3.(Hough變換提取不完整的圓)4.確定微分值和微分最大值方向

5.方向已知,半徑已知,求得一個點Pi6.Pi的均值視為圓心Hough變換不只對直線，也可以用于圓：這時需要三個參數(shù)的參數(shù)空間,三重循環(huán)檢驗圓心和半徑Robotics環(huán)境識別5.32維圖像的處理5.3.2復(fù)雜背景的物體識別

目的:復(fù)雜，重疊背景下識別曲軸途徑:依據(jù)幾何模型,利用幾何關(guān)系拾取直線:1,2,3,4,5曲軸線:6,2,7曲軸線:8,4,9

1.找到元素12.找到多個可能的元素23.元素1和2的連線上找3,4,54.元素2,4上找曲軸6,7和8,9缺一不可Robotics環(huán)境識別5.32維圖像的處理5.3.2復(fù)雜背景的物體識別

Robotics環(huán)境識別5.32維圖像的處理5.3.2復(fù)雜背景的物體識別

R→A→BA點在圖像平面,位置已知,焦距已知2.B點與A點共線3.限位開關(guān)探測相對位置,實現(xiàn)抓取Robotics環(huán)境識別5.33維圖像的處理5.4.1雙目視覺

目的:求雙目視覺的對應(yīng)點途徑:考慮約束(三角測量法)的模板匹配存在外極線約束在外極線上進行模板匹配同一點，像也近似。在整幅圖像上找對應(yīng)點？Robotics環(huán)境識別5.33維圖像的處理5.4.2時空圖像

目的:記錄圖像隨時間的變化途徑:引入時間軸概念建立三維時空長方體用水平面截三維時空長方體截面為時空圖像,截面上顯示點P隨時間的變化攝像機由正面移到正側(cè)面Robotics環(huán)境識別5.33維圖像的處理5.4.2時空圖像

Robotics環(huán)境識別5.33維圖像的處理5.4.2時空圖像

攝像機固定，道路檢測圖像的處理微分圖像,得到車輛的側(cè)面邊緣邊緣圖像投影到y(tǒng)軸,得到一維圖像按照時間排列,得到時空圖像Robotics環(huán)境識別5.33維圖像的處理5.4.2時空圖像

高速行駛低速行駛停止Robotics環(huán)境識別5.33維圖像的處理5.4.2時空圖像

攝像機移動時,移動方向與光軸垂直,點P的外極線是y值相同的水平線.而一般情況為斜直線.外極面斜率和速度成反比攝像機模型s是速度Robotics環(huán)境識別5.33維圖像的處理5.4.2時空圖像

攝像機水平移動距離攝像機越遠,斜率越大斜率大的直線被斜率小的直線遮擋Robotics環(huán)境識別5.33維圖像的處理5.4.3狹縫圖像

用狹縫光投射改變投射角度圖像直線近似,迭加有高度差,狹縫光不連續(xù)依據(jù)斜率,分割圖像密度,取決于距離,細分端點得到棱線,線段,分割物體補充:視覺控制視覺控制：利用攝像機的圖像信息，對機器人的運動進行控制。如機器人足球，機器人裝配等視覺測量：利用攝像機的圖像信息獲取目標位置、速度等的測量方法。如工件的三維測量視覺跟蹤：通過調(diào)整攝像機的位姿、焦距等，使目標圖像保持在一定的尺度。如人臉跟蹤，足球跟蹤視覺伺服：利用攝像機的圖像信息作為反饋，對機器人的運動進行伺服控制。如機器人裝配、機器人焊接基于位置、圖像的視覺控制補充:視覺控制利用圖像信息獲得機器人的實際三維姿態(tài)，在實際三維空間中求誤差，進行控制（三維重建）利用圖像空間和任務(wù)空間的運動關(guān)系，直接在圖像空間內(nèi)進行控制（圖像雅克比矩陣的實時計算）基于位置視覺控制的特點需要通過圖像進行三維重構(gòu)在三維笛卡兒空間計算誤差誤差信號和關(guān)節(jié)控制器的輸入信號都是空間位姿，實現(xiàn)起來比較容易。由于根據(jù)圖像估計目標的空間位姿，沒有對圖像進行控制，機器人的運動學模型誤差和攝像機的標定誤差都直接影響系統(tǒng)的控制精度。

基于位置、圖像的視覺控制補充:視覺控制標定：攝像機內(nèi)部參數(shù)標定，機器人運動學標定，手眼關(guān)系標定攝像機校正可以分為：1.用數(shù)學方法對攝像機的物理和光學參數(shù)進行估計。2.采用直接法或迭代法估計參數(shù)值。攝像機模型共有兩類參數(shù)需要進行校正估計：內(nèi)部參數(shù)：攝像機坐標系與世界坐標系之間的關(guān)系外部參數(shù)：攝像機在世界坐標系中所處的位置以及方向?；谖恢?、圖像的視覺控制補充:視覺控制基于位置、圖像的視覺控制補充:視覺控制攝像機校正一般有如下應(yīng)用:(1)三維場景重建(2)視覺檢測(3)物體定位(4)機器人空間位置定位拍攝標志物基于圖像視覺控制的特點不需要通過圖像進行三維重構(gòu)需要計算圖像Jacobian矩陣對標定誤差和空間模型誤差不敏感設(shè)計控制器困難伺服過程中容易進入圖像Jacobian矩陣的奇異點一般需要估計目標的深度信息只在目標位置附近的鄰域范圍內(nèi)收斂且穩(wěn)定性分析比較困難。

基于位置、圖像的視覺控制補充:視覺控制圖像雅可比表示了在某個關(guān)節(jié)角附近圖像特征變化與機器人關(guān)節(jié)角變化之間的關(guān)系盡管系統(tǒng)誤差產(chǎn)生在圖像平面空間，但是伺服控制系統(tǒng)的輸人仍然是世界坐標系中的位置坐標基于位置、圖像的視覺控制補充:視覺控制根據(jù)攝像機的安裝位置可分為eye-in-hand安裝方式和其它安裝方式。前者在攝像機與機器人末端之間存在固定的位置關(guān)系，后者的攝像機則固定于工作區(qū)的某個位置根據(jù)攝像機觀測到的內(nèi)容可分為EOL和ECL系統(tǒng)。EOL系統(tǒng)中攝像機只能觀察到目標物體。ECL系統(tǒng)中攝像機同時可觀察到目標物體和機械手末端。這種情況的攝像機一般固定于工作區(qū)，其優(yōu)點是控制精度與攝像機和末端之間的標定誤差無關(guān)，缺點是執(zhí)行任務(wù)時機械手會擋住攝像機視線基于位置、圖像的視覺控制補充:視覺控制機械手視覺伺服中常見的是采用幾何特征，早期視覺伺服中用到的多是簡單的局部幾何特征，如點，線，圓圈，矩形，區(qū)域面積等以及它們的組合特征。近來在視覺控制中利用全局的圖像特