機(jī)器人控制技術(shù)基礎(chǔ)：環(huán)境識(shí)別

機(jī)器人的環(huán)境識(shí)別

Enviroment

RecognizationofRobotics5.1觸覺(jué)信息的處理5.2基本的圖象處理方法5.32維圖象的處理5.43維圖象的處理在已經(jīng)獲得傳感器信息條件下，依據(jù)如何處理傳感器信息的問(wèn)題;識(shí)別物體確定位置，姿態(tài)為機(jī)器人完成任務(wù)提供必要的信息Robotics環(huán)境識(shí)別觸覺(jué)與視覺(jué)：觸覺(jué)局部，視覺(jué)范圍廣，詳細(xì)觸覺(jué)不受光照限制，視覺(jué)受光照條件，視角影響Robotics環(huán)境識(shí)別5.1觸覺(jué)信息的處理5.1.1利用識(shí)別函數(shù)的形狀識(shí)別①物體特征參量，排成向量X②這些向量分布到n維空間；同類將積聚③構(gòu)造識(shí)別函數(shù)g(X)？＝0

如：顏色，材質(zhì)，加權(quán)向量通過(guò)大量學(xué)習(xí)獲得一次識(shí)別函數(shù)的應(yīng)用等于一次二分Robotics環(huán)境識(shí)別5.1觸覺(jué)信息的處理5.1.1利用識(shí)別函數(shù)的形狀識(shí)別

測(cè)量量：6維力，7維轉(zhuǎn)角力測(cè)量進(jìn)行形狀分類，轉(zhuǎn)角測(cè)量進(jìn)行模式分類，學(xué)習(xí)加權(quán)觸覺(jué)轉(zhuǎn)角轉(zhuǎn)角Robotics環(huán)境識(shí)別5.1觸覺(jué)信息的處理5.1.2按輪廓特征識(shí)別形狀從重心（特征點(diǎn)）到邊界畫輪廓曲線假定未知物體的方向角已知，并且與示范物體同形主軸：慣性矩最小的軸Robotics環(huán)境識(shí)別5.1觸覺(jué)信息的處理5.1.2按輪廓特征識(shí)別形狀利用觸覺(jué)建立輪廓曲線線特征是指影像的“邊緣”與“線”“邊緣”可定義為影像局部區(qū)域特征不相同的那些區(qū)域間的分界線，而“線”則可以認(rèn)為是具有很小寬度的其中間區(qū)域具有相同的影像特征的邊緣對(duì)常用方法有差分算子、拉普拉斯算子、LOG算子等Robotics環(huán)境識(shí)別5.2基本的圖像處理方法Robotics環(huán)境識(shí)別5.2基本的圖像處理方法Robotics環(huán)境識(shí)別5.2基本的圖像處理方法5.2.1二值化處理按某一閾值二值化。（白紙黑字）頻度分布上的峰值模態(tài),在某個(gè)頻段上的能量分布提取物體和背景時(shí)，注意透鏡影響,放大作用。Robotics環(huán)境識(shí)別5.2基本的圖像處理方法5.2.2微分處理由于投影亮度影響，同一表面亮度不同（反射角度）,有許多中間狀態(tài),不能進(jìn)行二值化。在邊緣/棱線處亮度突變——邊緣檢測(cè)橫向差分縱向差分方向角強(qiáng)度遍歷整幅圖像,求積和i,jRobotics環(huán)境識(shí)別5.2基本的圖像處理方法Sobel算子:考察它上下、左右鄰點(diǎn)灰度的加權(quán)差。與之接近的鄰點(diǎn)的權(quán)大：遍歷整幅圖像,求積和-101-101-101-1-1-1000111Prewitt算子與Sobel算子-101-202-101-1-21-101-121加大模扳抑制噪聲Prewitt算子Sobel

算子Robotics環(huán)境識(shí)別SobelRobertsPrewittCannyLaplacianofGaussian原始圖像一階水平方向銳化效果Robotics環(huán)境識(shí)別單方向一階銳化效果圖例Robotics環(huán)境識(shí)別Roberts梯度銳化效果圖例Robotics環(huán)境識(shí)別Laplacian銳化算子效果Robotics環(huán)境識(shí)別Laplacian類算法效果圖Robotics環(huán)境識(shí)別Sobel銳化效果圖Robotics環(huán)境識(shí)別Prewitt銳化效果圖例Robotics環(huán)境識(shí)別Wallis算法效果圖Robotics環(huán)境識(shí)別Kirsch算法效果圖Robotics環(huán)境識(shí)別Robotics環(huán)境識(shí)別5.2基本的圖像處理方法5.2.3邊緣像素提取和細(xì)線化與直線近似

邊緣上的點(diǎn)具有大的微分值微分圖像二值化,邊緣由點(diǎn)陣構(gòu)成點(diǎn)陣基本連續(xù)用直線連接所有點(diǎn)陣,得到邊緣?如何用直線連接Robotics環(huán)境識(shí)別5.2基本的圖像處理方法5.2.4Hough變換噪點(diǎn)多,背景復(fù)雜微分二值化,不能檢測(cè)的連續(xù)邊緣點(diǎn)陣從不完全的像素中如何提取直線和曲線？考慮噪聲影響參數(shù)表示通過(guò)定點(diǎn)的線群Hough變換,直線方程如果x,y常數(shù),

,

為變量對(duì)于影像空間直線上任一點(diǎn)(x，y）變換將其映射到參數(shù)空間(

，

)的一條正弦曲線上

Robotics環(huán)境識(shí)別5.2基本的圖像處理方法5.2.4Hough變換

從

,

空間上多數(shù)正弦曲線的交點(diǎn)可以提取出x,y空間上的直線圖像空間參數(shù)空間正弦曲線共線映射正弦曲線正弦曲線共點(diǎn)Robotics環(huán)境識(shí)別尋找參數(shù)空間上多數(shù)正弦曲線的交點(diǎn)，去除噪聲影響Robotics環(huán)境識(shí)別5.2基本的圖像處理方法5.2.5模板匹配目的:已知圖像特征,尋找特征在圖像中的位置途徑:模板掃描絕對(duì)失配測(cè)度為祛除光照影響規(guī)范匹配測(cè)度Robotics環(huán)境識(shí)別5.32維圖像的處理5.3.1物體的位置檢測(cè)（1）軟管的組裝I

1.假定孔是暗相同的，周邊是亮的

2.二值化,圓在孔內(nèi)黑色圖像中心

孔的中心可以看到對(duì)面內(nèi)壁目的:已知攝像機(jī)在物體正上方的圖像,求圓心途徑:投射原理Robotics環(huán)境識(shí)別5.32維圖像的處理5.3.1物體的位置檢測(cè)（2）軟管的組裝II

1.孔暗度不同,圖像背景復(fù)雜,圓在圖像任意位置

2.微分處理,細(xì)線化或極大值處理

3.(Hough變換提取不完整的圓)4.確定微分值和微分最大值方向

5.方向已知,半徑已知,求得一個(gè)點(diǎn)Pi6.Pi的均值視為圓心Hough變換不只對(duì)直線，也可以用于圓：這時(shí)需要三個(gè)參數(shù)的參數(shù)空間,三重循環(huán)檢驗(yàn)圓心和半徑Robotics環(huán)境識(shí)別5.32維圖像的處理5.3.2復(fù)雜背景的物體識(shí)別

目的:復(fù)雜，重疊背景下識(shí)別曲軸途徑:依據(jù)幾何模型,利用幾何關(guān)系拾取直線:1,2,3,4,5曲軸線:6,2,7曲軸線:8,4,9

1.找到元素12.找到多個(gè)可能的元素23.元素1和2的連線上找3,4,54.元素2,4上找曲軸6,7和8,9缺一不可Robotics環(huán)境識(shí)別5.32維圖像的處理5.3.2復(fù)雜背景的物體識(shí)別

Robotics環(huán)境識(shí)別5.32維圖像的處理5.3.2復(fù)雜背景的物體識(shí)別

R→A→BA點(diǎn)在圖像平面,位置已知,焦距已知2.B點(diǎn)與A點(diǎn)共線3.限位開(kāi)關(guān)探測(cè)相對(duì)位置,實(shí)現(xiàn)抓取Robotics環(huán)境識(shí)別5.33維圖像的處理5.4.1雙目視覺(jué)

目的:求雙目視覺(jué)的對(duì)應(yīng)點(diǎn)途徑:考慮約束(三角測(cè)量法)的模板匹配存在外極線約束在外極線上進(jìn)行模板匹配同一點(diǎn)，像也近似。在整幅圖像上找對(duì)應(yīng)點(diǎn)？Robotics環(huán)境識(shí)別5.33維圖像的處理5.4.2時(shí)空?qǐng)D像

目的:記錄圖像隨時(shí)間的變化途徑:引入時(shí)間軸概念建立三維時(shí)空長(zhǎng)方體用水平面截三維時(shí)空長(zhǎng)方體截面為時(shí)空?qǐng)D像,截面上顯示點(diǎn)P隨時(shí)間的變化攝像機(jī)由正面移到正側(cè)面Robotics環(huán)境識(shí)別5.33維圖像的處理5.4.2時(shí)空?qǐng)D像

Robotics環(huán)境識(shí)別5.33維圖像的處理5.4.2時(shí)空?qǐng)D像

攝像機(jī)固定，道路檢測(cè)圖像的處理微分圖像,得到車輛的側(cè)面邊緣邊緣圖像投影到y(tǒng)軸,得到一維圖像按照時(shí)間排列,得到時(shí)空?qǐng)D像Robotics環(huán)境識(shí)別5.33維圖像的處理5.4.2時(shí)空?qǐng)D像

高速行駛低速行駛停止Robotics環(huán)境識(shí)別5.33維圖像的處理5.4.2時(shí)空?qǐng)D像

攝像機(jī)移動(dòng)時(shí),移動(dòng)方向與光軸垂直,點(diǎn)P的外極線是y值相同的水平線.而一般情況為斜直線.外極面斜率和速度成反比攝像機(jī)模型s是速度Robotics環(huán)境識(shí)別5.33維圖像的處理5.4.2時(shí)空?qǐng)D像

攝像機(jī)水平移動(dòng)距離攝像機(jī)越遠(yuǎn),斜率越大斜率大的直線被斜率小的直線遮擋Robotics環(huán)境識(shí)別5.33維圖像的處理5.4.3狹縫圖像

用狹縫光投射改變投射角度圖像直線近似,迭加有高度差,狹縫光不連續(xù)依據(jù)斜率,分割圖像密度,取決于距離,細(xì)分端點(diǎn)得到棱線,線段,分割物體補(bǔ)充:視覺(jué)控制視覺(jué)控制：利用攝像機(jī)的圖像信息，對(duì)機(jī)器人的運(yùn)動(dòng)進(jìn)行控制。如機(jī)器人足球，機(jī)器人裝配等視覺(jué)測(cè)量：利用攝像機(jī)的圖像信息獲取目標(biāo)位置、速度等的測(cè)量方法。如工件的三維測(cè)量視覺(jué)跟蹤：通過(guò)調(diào)整攝像機(jī)的位姿、焦距等，使目標(biāo)圖像保持在一定的尺度。如人臉跟蹤，足球跟蹤視覺(jué)伺服：利用攝像機(jī)的圖像信息作為反饋，對(duì)機(jī)器人的運(yùn)動(dòng)進(jìn)行伺服控制。如機(jī)器人裝配、機(jī)器人焊接基于位置、圖像的視覺(jué)控制補(bǔ)充:視覺(jué)控制利用圖像信息獲得機(jī)器人的實(shí)際三維姿態(tài)，在實(shí)際三維空間中求誤差，進(jìn)行控制（三維重建）利用圖像空間和任務(wù)空間的運(yùn)動(dòng)關(guān)系，直接在圖像空間內(nèi)進(jìn)行控制（圖像雅克比矩陣的實(shí)時(shí)計(jì)算）基于位置視覺(jué)控制的特點(diǎn)需要通過(guò)圖像進(jìn)行三維重構(gòu)在三維笛卡兒空間計(jì)算誤差誤差信號(hào)和關(guān)節(jié)控制器的輸入信號(hào)都是空間位姿，實(shí)現(xiàn)起來(lái)比較容易。由于根據(jù)圖像估計(jì)目標(biāo)的空間位姿，沒(méi)有對(duì)圖像進(jìn)行控制，機(jī)器人的運(yùn)動(dòng)學(xué)模型誤差和攝像機(jī)的標(biāo)定誤差都直接影響系統(tǒng)的控制精度。

基于位置、圖像的視覺(jué)控制補(bǔ)充:視覺(jué)控制標(biāo)定：攝像機(jī)內(nèi)部參數(shù)標(biāo)定，機(jī)器人運(yùn)動(dòng)學(xué)標(biāo)定，手眼關(guān)系標(biāo)定攝像機(jī)校正可以分為：1.用數(shù)學(xué)方法對(duì)攝像機(jī)的物理和光學(xué)參數(shù)進(jìn)行估計(jì)。2.采用直接法或迭代法估計(jì)參數(shù)值。攝像機(jī)模型共有兩類參數(shù)需要進(jìn)行校正估計(jì)：內(nèi)部參數(shù)：攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系外部參數(shù)：攝像機(jī)在世界坐標(biāo)系中所處的位置以及方向?；谖恢?、圖像的視覺(jué)控制補(bǔ)充:視覺(jué)控制基于位置、圖像的視覺(jué)控制補(bǔ)充:視覺(jué)控制攝像機(jī)校正一般有如下應(yīng)用:(1)三維場(chǎng)景重建(2)視覺(jué)檢測(cè)(3)物體定位(4)機(jī)器人空間位置定位拍攝標(biāo)志物基于圖像視覺(jué)控制的特點(diǎn)不需要通過(guò)圖像進(jìn)行三維重構(gòu)需要計(jì)算圖像Jacobian矩陣對(duì)標(biāo)定誤差和空間模型誤差不敏感設(shè)計(jì)控制器困難伺服過(guò)程中容易進(jìn)入圖像Jacobian矩陣的奇異點(diǎn)一般需要估計(jì)目標(biāo)的深度信息只在目標(biāo)位置附近的鄰域范圍內(nèi)收斂且穩(wěn)定性分析比較困難。

基于位置、圖像的視覺(jué)控制補(bǔ)充:視覺(jué)控制圖像雅可比表示了在某個(gè)關(guān)節(jié)角附近圖像特征變化與機(jī)器人關(guān)節(jié)角變化之間的關(guān)系盡管系統(tǒng)誤差產(chǎn)生在圖像平面空間，但是伺服控制系統(tǒng)的輸人仍然是世界坐標(biāo)系中的位置坐標(biāo)基于位置、圖像的視覺(jué)控制補(bǔ)充:視覺(jué)控制根據(jù)攝像機(jī)的安裝位置可分為eye-in-hand安裝方式和其它安裝方式。前者在攝像機(jī)與機(jī)器人末端之間存在固定的位置關(guān)系，后者的攝像機(jī)則固定于工作區(qū)的某個(gè)位置根據(jù)攝像機(jī)觀測(cè)到的內(nèi)容可分為EOL和ECL系統(tǒng)。EOL系統(tǒng)中攝像機(jī)只能觀察到目標(biāo)物體。ECL系統(tǒng)中攝像機(jī)同時(shí)可觀察到目標(biāo)物體和機(jī)械手末端。這種情況的攝像機(jī)一般固定于工作區(qū)，其優(yōu)點(diǎn)是控制精度與攝像機(jī)和末端之間的標(biāo)定誤差無(wú)關(guān)，缺點(diǎn)是執(zhí)行任務(wù)時(shí)機(jī)械手會(huì)擋住攝像機(jī)視線基于位置、圖像的視覺(jué)控制補(bǔ)充:視覺(jué)控制機(jī)械手視覺(jué)伺服中常見(jiàn)的是采用幾何特征，早期視覺(jué)伺服中用到的多是簡(jiǎn)單的局部幾何特征，如點(diǎn)，線，圓圈，矩形，區(qū)域面積等以及它們的組合特征。近來(lái)在視覺(jué)控制中利用全局的圖像特