《機器人學及其應用-導論》課件 第四章 機器人傳感器與視覺

《機器人學及其應用—導論》第四章機器人傳感器與視覺提綱124機器人傳感器信息融合

機器人視覺及圖像處理

機器人傳感器3

機器人視覺核心技術2一、機器人傳感器機器人傳感器概述定義：傳感器是借助檢測元件將一種形式的信息轉換成另一種信息的裝置。傳感器轉換后的信號大多為電信號。因而從狹義上講，傳感器是把外界輸入的非電信號轉換成電信號的裝置。敏感器件的作用是感受被測物理量，并對信號進行轉換輸出。輔助器件則是對敏感器件輸出的電信號進行放大、阻抗匹配，以便于后續(xù)儀表接入。一、機器人傳感器4一、機器人傳感器內部傳感器速度、角速度傳感器加速度傳感器位置、角度傳感器力/力矩傳感器其他光電開關霍爾傳感器電位計光電碼盤磁柵傳感器旋轉變壓器加速度計其他增量編碼器脈沖發(fā)電機測速發(fā)電機角加速度計其他彈性梁應變片其他姿態(tài)傳感器慣性傳感器其他限位開關內部傳感器：以其自己的坐標系統(tǒng)確定其位置，是安裝在機器人自身中用來感知它自己的狀態(tài)，以調整并控制機器人的行動。5一、機器人傳感器外部傳感器外部傳感器：檢測機器人所處環(huán)境及目標狀況，如是什么物體，離物體的距離有多遠，抓取的物體是否滑落等。從而使得機器人能夠與環(huán)境發(fā)生交互作用并對環(huán)境具有自我校正和適應能力。機器人外部傳感器就是具有人類五官的感知能力的傳感器。外部傳感器視覺傳感器力覺傳感器觸覺傳感器測距傳感器其它6一、機器人傳感器外部傳感器7一、機器人傳感器外部傳感器舉例：歐姆龍視覺傳感器FZ3通過攝像頭捕捉圖像信息，檢測拍攝對象的數(shù)量、位置關系、形狀等特點，用于判斷產品是否合格或將檢驗數(shù)據傳送給機器人等其它生產設備。提綱124機器人傳感器信息融合

機器人視覺及圖像處理

機器人傳感器3

機器人視覺核心技術二、機器人視覺及圖像處理WhyVision？視覺是人類最重要的感覺，人類認識外界信息80%來自視覺計算機視覺的概念利用各種成像系統(tǒng)代替人類的視覺器官作為輸入手段，由計算機來代替大腦完成處理和解釋計算機視覺的最終目標使計算機像人那樣，通過視覺觀察和理解世界，具有自主適應環(huán)境的能力計算機視覺當前的研究目標使計算機具有通過二維圖像認知三維環(huán)境的能力：感知三維環(huán)境中物體的幾何信息，包括形狀、位置、姿態(tài)、運動等對它們進行描述、存儲、識別與理解FANUC工業(yè)機器人視覺裝配圖像處理是信號處理的一種形式。這里,輸入信號是一個圖像(諸如照片或視頻);輸出或是圖像,或是與圖像關聯(lián)的一組參數(shù)。大多數(shù)圖像處理技術,將圖像處理為一個二維信號I（x,y）。此處，x與y是空間的圖像坐標。在任意坐標對（x,y）的I幅度,稱作該點圖像的強度或灰度圖像處理是一個很大的領域,且在許多其他操作中,典型的是:濾波、圖像增強、邊緣檢測。圖像恢復與重構小波與多分辨率處理。圖像壓縮(例如,JPEG)。歐幾里德幾何變換,諸如放大、縮小與旋轉。顏色校正，諸如亮度與對比度調整、定量化?；蝾伾儞Q到一個不同的色彩空間圖像配準（兩幅或多幅圖像的排列）圖像對準(二個或二個以上圖像的對準)圖像識別(例如,使用某些人臉識別算法從圖像中抽取人臉)。圖像分割(根據顏色、邊緣或其它特征,將圖像劃分成特征區(qū))。二、機器人視覺及圖像處理12二、機器人視覺及圖像處理圖像處理--圖像濾波圖像濾波是圖像處理中的主要工具之一。傳送低頻的濾波器為低通濾波器。低通濾波器所產生的效應是模糊(平滑)一個圖像,它有減少圖像噪聲的主效應。反之,傳送高頻的濾波器稱為高通濾波器,它典型地用作邊緣檢測。圖像濾波器既可以在頻率域實施也可在空間域實施。13二、機器人視覺及圖像處理圖像處理---邊緣檢測邊緣的定義：圖像中像素灰度有階躍變化或屋頂變化的那些像素的集合邊緣檢測算子基本思想：計算局部微分算子

幾種常用的邊緣檢測算子：梯度算子Roberts算子Prewitt算子Sobel算子Kirsch算子Laplacian算子Marr算子14二、機器人視覺及圖像處理計算機視覺---立體視覺一個相機提供的二維圖像無法給出清楚的深度信息，深度信息即被觀測目標到相機的距離。假如目標的幾何模型是已知的,深度信息可以根據該幾何模型間接獲得。當同一場景可以從不同視角獲得兩幅圖像時,點的深度信息可以直接計算得到。這兩幅圖像可用兩個照相機拍攝,或用一個移動相機次序拍攝。這種情況稱作立體視覺。雙目視覺第二個像機可解決單目存在的深度歧義可通過三角測量獲得深度15二、機器人視覺及圖像處理計算機視覺---運動場與光流運動場的定義：攝影機和空間環(huán)境存在相對運動；圖像中的每一個點都對應于一個空間點；每一個空間點相對于攝影機的速度向量都可以投影為像平面上一個點上的二維速度向量，圖像上每個像素的二維速度向量就構成運動場。當攝影機和被攝影物體之間存在相對運動時，在物體所成的圖像序列中，可以觀測到的亮度模式的明顯變化稱為光流。16二、機器人視覺及圖像處理計算機視覺---運動場與光流運動場不為0，光流為0！運動場為0，光流不為0！17二、機器人視覺及圖像處理計算機視覺---運動場與光流提綱124機器人傳感器信息融合

機器人視覺及圖像處理

機器人傳感器3

機器人視覺核心技術19三、機器人視覺核心技術人類視覺機器視覺適應性適應性強，可在復雜及變化的環(huán)境中識別目標適應性差，容易受復雜背景及環(huán)境變化的影響智能具有高級智能，可運用邏輯分析及推理能力識別變化的目標，并能總結規(guī)律雖然可利用人工智能及神經網絡技術，但智能性差，不能很好地識別變化的目標彩色識別能力對色彩的分辨能力強，但容易受人的心理影響，不能量化受硬件條件的制約，目前一般的圖像采集系統(tǒng)對色彩的分辨能力較差，但具有可量化的優(yōu)點灰度分辨力差，一般只能分辨64個灰度級強，目前一般使用256灰度級，采集系統(tǒng)可具有10bit、12bit、16bit等灰度級標定算法研究1966年B.Hallert首先考慮畸變，引入最小二乘法，對結果進行優(yōu)化。1975年W.Fig建立復雜的成像模型，并用非線性優(yōu)化求解。1986年，R.Y.Tsai建立經典的Tsai攝像機模型，提出兩部標定法1999年張正友提出了基于移動模板的攝像機標定法，張正友標定法21三、機器人視覺核心技術機器人手眼標定攝像機標定分類序號分類方式標定方法1是否要標定參照物傳統(tǒng)的攝像機標定、攝像機自標定2所用模型不同線性（小孔模型）和非線性3攝像機個數(shù)單攝像機、多攝像機4求解參數(shù)的結果顯式（設置具有物理意義參數(shù)）、隱式（轉換矩陣元素為定標參數(shù)）5解題方法解析法、神經網絡、遺傳算法6標定塊的不同立體、平面7定標步驟兩步法、三步法、四步法8內部參數(shù)是否可變可變內部參數(shù)的標定、不可變內部參數(shù)的標定9攝像機運動方式非限定運動方式攝像機標定、限定運動方式攝像機標定22三、機器人視覺核心技術機器人手眼標定張正友標定法，要求攝像機在可兩個以上不同的方位拍攝一個平面靶標，攝像機和2D平面靶標都以自由移動。通過線性模型分析就可計算出攝像機參數(shù)的優(yōu)化解，然后用基干最大似然法進行非線性求精。在這個過程中得出考慮鏡頭畸變的目標函數(shù)后就可求出所需的攝像機內、外部參數(shù)23三、機器人視覺核心技術位姿估計場景鏡頭光源攝像機圖像存儲體計算機輸出鏡頭攝像機鏡頭攝像機控制電纜視覺系統(tǒng)流程圖單目視覺：一個攝像組件（鏡頭+攝像機）多目視覺：多個攝像組件（鏡頭+攝像機）24三、機器人視覺核心技術位姿估計---雙目立體視覺測量原理25三、機器人視覺核心技術位姿估計雙目立體視覺測量原理——鍛件測量26三、機器人視覺核心技術機器人視覺伺服系統(tǒng)控制視覺伺服：把視覺傳感信號嵌入到機器人的伺服循環(huán)中，通過對視覺特征的控制，實現(xiàn)對機器人的定位閉環(huán)控制。優(yōu)越性：簡化了機器人控制系統(tǒng)的設計，伺服任務可靈活定義，控制器形式多樣，更能滿足不同場合需求。

視覺伺服控制系統(tǒng)之間映射關系27三、機器人視覺核心技術機器人視覺伺服系統(tǒng)控制基于位置的視覺伺服（PBVS）

視覺反饋控制信號直接在3D任務空間中以笛卡爾坐標形式定義基本原理：結合已知的目標幾何模型及攝像機模型，在三維笛卡爾坐標系中對目標位姿進行估計，然后控制系統(tǒng)根據機械手當前位姿與估計出的目標位姿之間的差分信息，進行軌跡規(guī)劃并計算出控制量。28三、機器人視覺核心技術機器人視覺伺服系統(tǒng)控制基于圖像的視覺伺服(IBVS)誤差信號直接用圖像特征定義，無需對目標進行位姿估計，而是直接利用圖像特征進行視覺信息反饋控制?；驹?由圖像誤差信號計算控制量，再將此控制量變換到機器人運動空間，從而驅動機械手向目標運動。提綱124機器人傳感器信息融合

機器人視覺及圖像處理

機器人傳感器3

機器人視覺核心技術30四、機器人傳感器信息融合多傳感器信息融合技術是通過對這些傳感器及其觀測信息合理支配和使用，把多個傳感器在時間和空間上的冗余或互補信息依據某種準則進行組合，以獲取被觀測對象的一致性解釋或描述。31四、機器人傳感器信息融合32四、機器人傳感器信息融合機器人傳感器信息融合多傳感器融合常用的方法有：加權平均法、貝葉斯估計、卡爾曼濾波、DS證據推理、模糊邏輯、產生式規(guī)則、人工神經網絡等信息融合過程：首先將被測對象它們轉換為電信號，然后經過A/D變換將它們轉換為數(shù)字量。數(shù)字化后電信號需經過預處理，以濾除數(shù)據采集過程中的干擾和噪聲。對經處理后的有用信號作特征抽取，再進行數(shù)據融合；或者直接對信號進行數(shù)據融合。最后，輸出融合的結果。33四、機器人傳感器信息融合機器人傳感器信息融合三種結構形式：串