機器人感知智能 課件 第3、4章 機器人視覺感知、機器人接近覺感知

機器人感知智能第三章機器人視覺感知3.1機器人視覺感知介紹定義機器人視覺是指使機器人具有視覺感知功能的系統(tǒng)，是機器人系統(tǒng)組成的重要部分之一。它涉及使用相機硬件和計算機算法的結合，讓機器人處理來自現(xiàn)實世界的視覺數(shù)據(jù)，實現(xiàn)對外界環(huán)境的感知與理解，進而執(zhí)行復雜任務。組成機器人視覺系統(tǒng)主要由軟件和硬件兩部分組成。硬件方面包括視覺傳感器、圖像采集卡、計算機和機器人及其附屬的通信和控制模塊等。軟件方面則包括圖像處理軟件和機器人控制軟件，共同協(xié)作完成圖像的采集、處理與分析，以及機器人的控制指令生成。3.1.1機器人視覺感知概述-機器人視覺的族譜光學在機器人視覺中至關重要，光源選擇需根據(jù)具體應用挑選，常見類型有LED環(huán)形光源、低角度光源和背光源。光學圖像處理是對圖像進行分析以達到特定結果的技術，而計算機視覺則側重于模擬人類視覺功能，實現(xiàn)目標的識別、跟蹤和測量。圖像處理與計算機視覺圖3.1機器人視覺的族譜3.1.1機器人視覺感知概述-機器人視覺的族譜圖形識別與機器學習機器視覺用于工業(yè)自動檢測、過程控制和機器人導引，側重工程應用，使用計算機視覺和圖像處理技術。機器視覺機器人視覺結合光學、圖像處理、信號處理和機器學習等技術，使機器人能感知理解環(huán)境，實現(xiàn)復雜任務。機器人視覺信號處理在機器人視覺中用于圖像的預處理、增強和分析，以提取有用信息，常見技術包括濾波、變換和特征提取。信號處理機器學習通過算法使計算機模擬人類學習行為，提升性能，在機器人視覺中用于圖形識別，增強系統(tǒng)智能化。3.1.2機器人視覺感知系統(tǒng)的組成機器人視覺系統(tǒng)的硬件包括視覺傳感器、圖像采集卡、計算機和機器人模塊，它們協(xié)同工作，使機器人能準確感知和響應環(huán)境。硬件系統(tǒng)機器人視覺系統(tǒng)的軟件包括系統(tǒng)軟件、視覺處理軟件和機器人控制軟件，共同確保系統(tǒng)的高效運行和精準控制。軟件系統(tǒng)圖3.2機器人視覺系統(tǒng)的硬件系統(tǒng)3.1.2機器人視覺感知系統(tǒng)的組成-硬件系統(tǒng)光電傳感器含單一光感元件，而視覺傳感器能捕獲高分辨率圖像，并與內存中的基準圖像對比分析，如邦納工程公司的某些產品可達130萬像素。視覺傳感器圖像采集卡圖像采集卡負責模擬信號到數(shù)字信號的轉換，支持多相機同時工作，具備硬件壓縮功能，通過PCI接口傳輸壓縮后的數(shù)字視頻，確保實時采集處理。計算機＆機器人根據(jù)系統(tǒng)需求選擇合適的計算機及其外設和機器人或機械手及其控制器，以滿足視覺信息處理和機器人控制的需要。圖3.3邦納視覺傳感器P40MNI3.1.2機器人視覺感知系統(tǒng)的組成-軟件系統(tǒng)計算機系統(tǒng)軟件選用不同類型的計算機就有不同的操作系統(tǒng)和它所支持的各種語言、數(shù)據(jù)庫等。計算機系統(tǒng)軟件機器視覺處理軟件通過計算輸入圖像數(shù)據(jù)得出結果，形式多樣，涵蓋專用和通用功能，主流軟件包括OpenCV、Halcon、VisionPro、MATLAB、LabVIEW和eVision等。視覺處理軟件CODESYS是一款付費的PLC軟件開發(fā)工具，包括用于編程的DevelopmentSystem和運行在控制硬件上的RuntimeSystem，廣泛應用于歐洲工業(yè)控制領域。機器人控制軟件3.1.2機器人視覺感知系統(tǒng)的分類

單目視覺雙目立體視覺多目視覺全景視覺混合視覺單目視覺系統(tǒng)成本低、易實現(xiàn)，但缺乏深度信息，適合物體識別和追蹤；雙目視覺系統(tǒng)通過兩個攝像頭利用三角測量獲取深度信息，類似于人眼功能，廣泛應用于機器人導航和三維重建；多目視覺系統(tǒng)增加額外攝像頭，解決匹配多義性，提高深度信息的準確性，適用于高精度需求場景；全景視覺系統(tǒng)提供360度視野，適合無人機監(jiān)控和安全監(jiān)控等需要全方位感知的場合；混合視覺系統(tǒng)結合多種視覺系統(tǒng)的優(yōu)勢，提高感知的準確性和魯棒性，適應更復雜環(huán)境，適用于多種應用場景。3.1.3機器人視覺感知發(fā)展-國外機器人視覺自20世紀初提出，1959年首臺工業(yè)機器人誕生后迅速發(fā)展。90年代以來，嵌入式視覺和半導體技術的進步推動了視覺傳感器的廣泛應用，如康耐視的In-Sight系列。深度學習的興起進一步提升了目標識別與檢測的性能。如今，機器人視覺在工業(yè)制造、醫(yī)療、農業(yè)、交通和安全監(jiān)控等領域廣泛應用，顯著提高了效率和安全性。圖3.4康耐視IN-SIGHT2000視覺傳感器（產品圖）圖3.5KEYENCE基恩士IV-H2000MA圖像識別傳感器圖3.6SIMATICVS120視覺傳感器圖3.7德國SICK公司的Inspector視覺傳感器3.1.3機器人視覺感知發(fā)展-國內1999年至2003年，中國機器視覺行業(yè)處于啟蒙階段，主要通過代理業(yè)務了解圖像采集和傳輸，初步掌握圖像品質判斷。2004年至2007年，行業(yè)進入發(fā)展階段，本土企業(yè)推出多種軟硬件產品，如模擬接口和USB2.0相機及采集卡，在PCB、SMT和LCD檢測等領域取得突破。自2008年起，行業(yè)進入高速發(fā)展期，核心器件研發(fā)廠商涌現(xiàn)，產品線擴展，技術水平顯著提升，與國際先進水平的差距迅速縮小。圖3.8?？低?1MPCXP-12相機圖3.9VM算法開發(fā)平臺3.1.3機器人視覺研究存在的問題及其未來的發(fā)展機器人視覺研究存在的問題及其未來的發(fā)展存在的問題①如何準確、高速地識別目標。②如何有效構造和組織可靠的識別算法并實現(xiàn)③實時性是難以解決的重要問題。④穩(wěn)定性未來發(fā)展①圖像特征的選擇問題。②建立機器人視覺系統(tǒng)的專用軟件庫。③加強系統(tǒng)動態(tài)性能研究。④利用智能技術成果。⑤利用主動視覺成果。⑥多傳感器融合。機器人是一種復雜的智能機電設備，它將機械、電氣、控制、感知等系統(tǒng)集結為一體，在研究、設計和制造過程中，由以上多個系統(tǒng)共同協(xié)調進行。視覺感知系統(tǒng)在機器人眾多系統(tǒng)中占據(jù)重要位置，它可以獲取外部的感知視覺信息，相當于人類的“眼睛”。人類從外界獲取的70%以上的信息都來自于視覺系統(tǒng)。機器人視覺感知傳感器就是機器人為了模仿人類的視覺感知系統(tǒng)，從外部環(huán)境中獲取信息進行形態(tài)和運動識別，完成一系列任務所安裝的“眼睛”。3.2.機器人視覺感知傳感器位置探測器PSD全稱位置敏感器件（PositionSensitiveDetector），它是一種利用光敏面上的光信號轉化為電信號再轉化為位置信號的器件。PSD還被稱為坐標光電池，它具有原理簡單、外形輕便、檢測靈敏、檢測范圍大、噪聲低、分辨率高、處理速度快等優(yōu)點。PSD位置探測器的實物圖如圖所示。3.2.1位置敏感探測器PSD圖3.10

PSD實物圖下左圖顯示了PSD的結構原理圖。PSD的結構由三層構成，分別為最上層P層，最下層N層，中間層I層，形成PIN結構。I層為較厚的高阻層，它具有耗盡區(qū)寬，結電容小的特點。光照產生的載流子幾乎全在該高阻層中產生。PSD位置探測器還分為一維和二維探測器。二維探測器如右圖所示，有四個電極，一對為x方向，另一對為y方向。3.2.1位置敏感探測器PSD-結構與工作原理圖3.11PSD結構原理圖圖3.12二維PSD結構原理圖3.2.1位置敏感探測器PSD-PSD的特性參數(shù)PSD的主要特性參數(shù)有：感光面積、光源頻率響應范圍、位置檢測誤差、位置分辨率和線性度等。1）感光面積。在測量位置信息時，位置不同感光面上的光點也隨之移動，所以感光面積與能夠檢測的位置范圍，位移距離等同，都與PSD的長度密切相關。2）信號光源頻率響應范圍。PSD的輸出電流隨信號光源的頻率變化而變化的關系稱為信號光源頻率響應范圍。3）位置檢測誤差。位置檢測誤差是指光斑位置與檢測位置的差值，在測量移動距離時，也指光斑的實際變化與兩側輸出電極輸出電流計算得到的移動量之間的差值。這個誤差最大約為全受光面長度的2%～3%。4）位置分辨率。位置分辨率是指PSD光敏面能檢測到的最小位置變化量，PSD器件的尺寸越大，其位置分辨率就越高。5）飽和光電流。3.2.1位置敏感探測器PSD-PSD的應用PSD主要用于位置檢測，同時也可用來測距、測角、測位移（含角位移）、測振動體旋轉體的狀態(tài)、機加工零部件的定位，以及做機器人的“眼睛”等。下面為應用于直線度測量及自準直儀的示例。

圖3.14PSD在直線度測量下的應用原理圖圖3.15PSD在自準直儀中的應用圖3.13

某數(shù)控機床直線測量現(xiàn)場圖3.2.2CCD圖像傳感器CCD圖像傳感器又稱電荷耦合器件（ChargeCoupledDevice），是一種可以將信號大小轉換為電荷量大小，并利用耦合方式進行信號傳輸?shù)臋z測元件。CCD圖像傳感器的實物圖如圖所示。它的核心器件是組合成排的感光元件和電荷耦合元件，可以直接將光信號轉化為電流模擬信號，并通過放大器和數(shù)模轉換器件，實現(xiàn)對圖像信息的獲取、傳輸、儲存和處理等功能。圖3.16CCD圖像傳感器實物圖3.2.2CCD圖像傳感器-深耗盡狀態(tài)和表面勢阱CCD圖像傳感器中最基本的單元是MOS電容器，MOS（Metal-Oxide-Semicondudor）就是金屬氧化物半導體。MOS電容結構如圖3.17所示，其中金屬電極就是MOS結構的電極，也稱為“柵極”。P型Si半導體作為襯底電極，在兩電極之間加上一層SiO2絕緣體。圖3.17MOS電容的結構3.2.2CCD圖像傳感器-結構與原理CCD的結構示意圖如左圖所示，CCD圖像傳感器的最小單元就是MOS電容器，將大量MOS電容陣列集合到同一襯底下，再加上輸入和輸出端就構成了CCD器件的主要組成部分。CCD的基本工作原理主要是信號電荷的產生、存儲、轉移和檢測。下圖為三相時鐘控制方式CCD的工作過程。圖3.19組成CCD的MOS結構圖3.20電荷在三相CCD中的工作過程3.2.2CCD圖像傳感器的分類圖3.21線型CCD圖像傳感器線型CCD圖像傳感器由一列光敏元陣列和一列CCD并行而構成。線型CCD圖像傳感器面型CCD圖像傳感器的結構是一排光敏元件與一排不透明存儲單元交替排列。面型CCD圖像傳感器圖3.22面型CCD圖像傳感器3.2.2CCD圖像傳感器的特性參數(shù)CCD器件的物理性能可以用特性參數(shù)描述，它的特性參數(shù)可以分為內部參數(shù)和外部參數(shù)兩類。內部參數(shù)描述的是與CCD存儲和轉移信號電荷有關的性能，是器件理論設計的重要依據(jù)，外部參數(shù)描述的是與CCD應用有關的性能指標。具體參數(shù)如下：電荷轉移效率與轉移損失率驅動頻率光譜響應分辨率電荷存儲容量靈敏度暗電流3.2.2CCD圖像傳感器的應用CCD圖像傳感器在工業(yè)機器人中廣泛應用，可替代人工完成高精度重復任務?；贑CD圖像傳感器的工業(yè)機械臂分揀系統(tǒng)，通過捕捉和處理圖像，將物品信息傳遞給機器人，實現(xiàn)跟蹤、抓取或分揀。CCD圖像傳感器還用于工業(yè)探測內窺鏡，通過熒光屏顯示清晰圖像，幫助檢查人員識別裂縫、應力等缺陷。其工作原理如左圖所示，光源照射物體，反射光被CCD傳感器捕獲并處理，顯示在顯示器上，支持高質量圖像并具有伽馬校正功能。圖3.23

機械臂物品分揀實物圖圖3.24CCD圖像傳感器應用原理圖圖3.25CCD工業(yè)探測內窺鏡3.2.3CMOS圖像傳感器CMOS圖像傳感器及其主要應用實物圖如圖所示。CMOS中一對由MOS組成的門電路在瞬間要么PMOS導通，要么NMOS導通，要么都截至，比線性三極管的效率高得多，因此其功耗很低。與CCD不同的是，CMOS的每個像素點都有一個單獨的放大器轉換輸出，因此CMOS沒有CCD的“瓶頸”問題，能夠在短時間內處理大量數(shù)據(jù)，輸出高清影像，滿足HDV的需求。除此之外CMOS圖像傳感器還適合批量生產，在低價格和攝像質量無極高要求的應用領域中占據(jù)較大的市場。圖3.27CMOS圖像傳感器與其應用實物圖3.2.3CMOS圖像傳感器的結構CMOS圖像傳感器的結構如下圖所示，主要組成部分為像敏單元陣列、列放大器、多路模擬開關、輸出放大器、AD轉換器、接口電路和時序控制邏輯電路等。他們被集成到硅片上。像敏單元陣列有橫軸和數(shù)軸兩個方向排列形成方陣，其中每一個單元格又有其對應的X、Y地址，并且該地址可由地址譯碼器進行選擇。圖3.28CMOS圖像傳感器的組成結構圖3.2.3CMOS圖像傳感器的工作原理CMOS圖像傳感器的核心是像敏單元陣列中的每個單元格，結構包括三個場效應管：VT1作為光電二極管的負載，VT2作為跟隨放大器的源極，VT3作為選址模擬開關。復位脈沖使VT1導通，光電二極管復位；脈沖結束后，VT1截止，光電二極管積分光信號。VT2放大光電二極管輸出的電流，選通信號使VT3導通，放大后的電流沿列方向輸出，最終經輸出放大器輸出。像敏陣列的X軸和Y軸方向上有X移位寄存器和Y移位寄存器，光照信號出現(xiàn)時，Y地址譯碼器依次打開每行的模擬開關S，信號經X地址譯碼器控制傳輸?shù)椒糯笃?。圖3.29COMS像敏單元結構圖3.30像敏單元工作時序圖3.31CMOS像敏單元陣列工作原理（1）填充因子CMOS圖像傳感器的填充因子是指光敏面積和全部像敏面積之比。（2）像素總數(shù)和有效像素數(shù)在CMOS圖像傳感器中，像素分為不成像的像素和成像像素，像素總數(shù)是指這兩者所有像素的總和，像素總數(shù)是衡量CMOS圖像傳感器的主要技術指標之一。（3）動態(tài)范圍CMOS圖像傳感器的動態(tài)范圍知識傳感器的工作范圍，是輸出信號的最高電壓和噪聲電壓的均方根之比。（4）噪聲噪聲一直是限制CMOS圖像傳感器占領市場的重要因素之一。噪聲來源主要是光敏器件的噪聲、MOS場效應晶體管中的噪聲和CMOS圖像傳感器中的工作噪聲。3.2.3CMOS圖像傳感器的特性參數(shù)CMOS圖像傳感器每個像敏單元有獨立的XY地址和放大器，支持任意興趣像素讀取，讀取速度快，功耗低，且易于將周邊電路集成到傳感器芯片中，成本低。相比之下，CCD圖像傳感器依賴電荷移位寄存器按序讀取信號，限制了興趣像素操作的靈活性和速度，耗電量高，約為CMOS的8到10倍。然而，CCD圖像傳感器的耗盡層較深，對紅光和近紅外光響應好，噪聲低，動態(tài)范圍高，更適合對噪聲敏感的應用。3.2.3CMOS圖像傳感器與CCD圖像傳感器比較隨機讀取能力不同光譜響應范圍和靈敏度不同信號讀取速度不同噪聲與動態(tài)范圍不同耗電量不同成本不同3.2.3CMOS圖像傳感器的應用圖3.32佳能EOSCMOS數(shù)碼相機目前在應用領域，CCD憑借其低噪聲、高分辨率、高靈敏度等高性能牢固占據(jù)著圖像傳感器的高端市場，如精密測量、軍事目標探測與跟蹤。CMOS圖像傳感器則以其高集成度、高速、小體積、低價格、低功耗、使用方便等特點在低端市場如視頻通信、手機、家用攝像機、文字識別或低噪聲應用等場合占據(jù)著巨大的份額。圖3.34華為Mate手機攝像頭圖3.36自動駕駛場景圖3.3機器人視覺感知先進技術3.3.1單目標跟蹤概述如圖所示，單目標跟蹤為在有噪聲的傳感器測量時間序列中確定單個目標的狀態(tài)，包括：位置、描述目標運動的狀態(tài)量、一些其他感興趣的特征。本質上單目標跟蹤就是一個濾波問題。單目標跟蹤的基本流程：輸入初始幀（第一幀）并初始化目標框在下一幀中產生眾多候選框（產生有可能的目標框）提取這些候選框的特征（特征提?。┤缓髮@些候選框評分（計算候選框的置信分數(shù)）最后在這些評分中找一個得分最高的候選框作為預測的目標或者對多個預測值進行融合得到更優(yōu)的預測目標。圖3.37單目標跟蹤3.3.1多目標追跟蹤目標跟蹤為在有噪聲的傳感器測量時間序列中確定多個目標的如下特性：動態(tài)目標的個數(shù)、每個動態(tài)目標的狀態(tài)（和單目標跟蹤相同）。對比單目標跟蹤與多目標跟蹤后發(fā)現(xiàn)其處理問題多了一個確定動態(tài)目標個數(shù)，如圖所示。圖3.38多目標跟蹤3.3.1多目標跟蹤-目標檢測方法R-CNN＆FastR-CNN：R-CNN通過選擇性搜索生成候選區(qū)域并用CNN提取特征，但時間復雜度高；FastR-CNN通過整圖輸入CNN和ROI池化提取候選區(qū)域特征，避免重復計算，大幅提升運行速度。YOLO：YOLO算法通過將圖像分割成網格，每個網格預測邊界框和置信度，實現(xiàn)端到端的實時目標檢測，運算效率高、泛化能力強，但對小物體和非尋常比例物體的檢測效果不佳。SSD：SSD算法通過多尺度特征圖和不同尺寸的先驗框，直接用CNN進行目標檢測，提升了對小目標的檢測效果和邊界框的精度，相比YOLO準確度更高。3.3.1多目標跟蹤-目標檢測和目標跟蹤的異同1）目標檢測可以在靜態(tài)圖像上進行而目標跟蹤就是需要基于錄像或視頻。如果對每秒的畫面進行目標檢測也可以實現(xiàn)目標跟蹤。2）目標跟蹤不需要目標識別可以根據(jù)運動特征來進行跟蹤而無需確切知道跟蹤的是什么所以如果利用視頻畫面之間的臨時關系單純的目標跟蹤可以很高效的實現(xiàn)。3）基于目標檢測的目標跟蹤算法計算非常昂貴就如之前講的需要對每幀畫面進行檢測才能得到目標的運動軌跡。而且只能追蹤已知的目標這個容易理解因為目標檢測算法就只能實現(xiàn)已知類別的定位識別。圖3.39目標檢測3.3.1多目標跟蹤-經典跟蹤算法基于目標建模的方法目標跟蹤通過建模目標外觀特征，如SIFT、SURF、Harris角點等，在后續(xù)幀中找到最相似的特征進行定位?；谒阉鞯姆椒▊鹘y(tǒng)目標跟蹤算法通過建模目標外觀特征和預測目標位置來減少搜索范圍，如Meanshift和粒子濾波，但存在未考慮背景信息和執(zhí)行速度慢的問題，易在遮擋、光照變化等情況下失敗?；谙嚓P濾波的跟蹤算法基于相關濾波的跟蹤算法（如MOSSE、CSK、KCF、BACF、SAMF）通過衡量信號相似度，實現(xiàn)高速跟蹤，速度可達數(shù)百幀每秒，適用于實時跟蹤系統(tǒng)?；谏疃葘W習的跟蹤算法深度學習在目標跟蹤中的應用通過提取更強的深度特征，初期將這些特征應用于相關濾波框架，顯著提升了跟蹤效果。3.3.1多目標跟蹤-多目標跟蹤任務-傳感器檢測照相機照相機是多目標跟蹤中常用的傳感器，提供高分辨率圖像和目標邊界框，但受光照和遮擋影響較大，需結合其他傳感器數(shù)據(jù)提高魯棒性。雷達雷達通過發(fā)射和接收電磁波檢測目標，不受光照影響，提供目標的方位和速度信息，但分辨率低，需結合其他傳感器使用。激光雷達激光雷達通過發(fā)射激光脈沖構建三維點云，提供高精度目標位置和形狀信息，適用于多目標跟蹤，但成本高且在惡劣天氣下性能受影響。3.3.1多目標跟蹤-多目標跟蹤類型傳統(tǒng)多目標跟蹤基于“小目標”假設，每個目標被視為獨立的點，初始幀中選取有跟蹤價值的點并描述其特征，在后續(xù)幀中根據(jù)特征尋找點的新位置，需解決點的選取、特征描述和位置更新三個問題。擴展目標跟蹤處理形狀未知且可動態(tài)變化的目標，通過遞歸濾波更新目標形狀，適用于復雜非線性場景，如汽車形狀檢測，利用設備跟蹤器保持目標模型。目標群跟蹤將多個目標視為一組，不關注細節(jié)，只需檢測大致范圍，適用于障礙物躲避等場景。圖3.40目標群示意圖3.3.1多目標跟蹤-多目標跟蹤的挑戰(zhàn)1）視場范圍內多少個目標不知道每個目標的位置不知道。2）目標在視場內到處移動。3）存在舊目標離開視場或新目標進入視場涉及到目標的出現(xiàn)與消失術語叫“路徑誕生”與“路徑死亡”需要進行航跡管理。4）遮擋問題：某一幀一個目標把另外目標遮擋傳感器檢測不到。傳感器的缺陷傳感器的漏檢和虛警是多目標跟蹤中常見的問題，漏檢可能由環(huán)境遮擋或目標特性引起，虛警可能由反射或誤識別造成，這些問題需要多目標跟蹤模塊進行兜底處理。數(shù)據(jù)關聯(lián)數(shù)據(jù)關聯(lián)是多目標跟蹤中的關鍵挑戰(zhàn)，需在不同時間點將檢測到的目標正確對應起來，避免關聯(lián)錯誤，主要難點包括缺乏先驗信息、傳感器噪聲影響和目標間距離過近?；谝曈X的三維重建在計算機領域是一個重要的研究內容，主要通過使用相關儀器來獲取物體的二維圖像數(shù)據(jù)信息，然后對獲取的數(shù)據(jù)信息進行分析處理，最后利用三維重建的相關理論重建出真實環(huán)境中物體表面的輪廓信息?；谝曈X的三維重建具有速度快、實時性好等優(yōu)點，能夠廣泛應用于機器人領域，具有重要的研究價值，也是未來發(fā)展的重要研究方向。3.3.2基于視覺的三維重建圖3.43三維重建技術分類機器人視覺的關鍵技術三維重建技術在機器人視覺中至關重要，通過獲取環(huán)境的三維信息，提高機器人的導航、避障和交互能力，增強其在復雜環(huán)境中的自主性。三維環(huán)境感知的重要性三維環(huán)境感知對機器人至關重要，提供豐富的環(huán)境信息和結構布局，幫助機器人做出更合理的決策和行動。3.3.2基于視覺的三維重建背景和意義三維重建技術主要通過視覺傳感器來獲取外界的真實信息，然后通過信息處理技術或者投影模型得到物體的三維信息（以深度圖、點云、體素、網格等形式），即三維重建是一種利用二維投影恢復三維信息的技術。常見的三維重建表達方式有以下四種：深度圖，其每個像素值代表的是物體到相機XY平面的距離；體素是三維空間中的一個有大小的點，一個小方塊相當于是三維空間種的像素；點云是某個坐標系下的點的數(shù)據(jù)集，點包含了豐富的信息包括三維坐標（XYZ）、顏色、分類值、強度值、時間等，如圖所示。3.3.2基于視覺的三維重建-三維重建的定義圖3.44常見的三維重建表達方式（a）深度圖（b）體素（c）點云（d）三角網格激光掃描法結構光法陰影法TOF技術雷達技術Kinect技術3.3.2基于視覺的三維重建的類型-主動視覺法圖3.45激光掃描法過程圖3.46結構光法示意圖圖3.47陰影法示意圖基于主動視覺的三維重建技術：3.3.2基于視覺的三維重建的類型-被動視覺法根據(jù)視覺傳感器的數(shù)量和特性單目視覺法:通過單個相機獲取圖像，利用明暗、紋理、光度立體、運動和輪廓等信息恢復三維形狀，適用于不同場景，但精度受限。雙目視覺法:利用兩個相機從不同視角獲取圖像，通過視差計算深度信息，實現(xiàn)高精度三維重建，廣泛應用于立體視覺系統(tǒng)，但需解決圖像匹配難題。多目視覺法:在雙目基礎上增加更多攝像頭，提高對復雜場景的適應性和魯棒性，尤其在目標表面傾斜時表現(xiàn)更佳。根據(jù)匹配方法分類三維環(huán)境重建技術中，區(qū)域視覺法利用對極幾何約束和連續(xù)性提高稠密匹配效率，而特征視覺法則通過提取圖像中的角點作為特征點，利用匹配算法和三角測量原理獲取深度值，從而重建物體表面的三維模型。根據(jù)應用方法三維環(huán)境重建技術中，區(qū)域視覺法利用對極幾何約束和連續(xù)性提高稠密匹配效率，而特征視覺法則通過提取圖像中的角點作為特征點，利用匹配算法和三角測量原理獲取深度值，從而重建物體表面的三維模型。3.3.2基于視覺的三維重建的類型-單目視覺法常用方法圖3.51單目視覺法結果展示（紅色表示近距離藍色表示遠距離）圖3.50單目視覺三維重建流程單目視覺的三維重建流程及結果展示：單目視覺中常用的方法有多種恢復形狀法：A.從明暗恢復形狀法B.由紋理恢復形狀方法C.光度立體法D.由運動恢復形狀方法E.由輪廓恢復形狀方法

3.3.2基于視覺的三維重建的類型-雙目視覺法流程與模塊圖3.52雙目視覺法光路

雙目視覺的工作原理來源于人類的雙目視覺系統(tǒng)，即從不同的視角通過兩個相同的相機捕獲同一個位置下的左右兩側圖像，然后再利用三角測量原理獲取物體的深度信息通過這些深度信息重建出物體的三維模型。3.53雙目視覺法流程

3.3.2基于視覺的三維重建的類型-運動恢復結構法圖3.57運動恢復結構法效果（a使用傳統(tǒng)數(shù)碼相機b使用無人機c圖像重建）圖3.54雙目視覺法結果展示多目視覺是雙目視覺的一種延伸它是在雙目視覺的基礎上增加一臺或者多臺攝像機作為輔助進行測量從而獲得不同角度下同一物體的多對圖像。3.3.2基于視覺的三維重建的類型-統(tǒng)計學習法圖3.58統(tǒng)計學習法（大型場景）圖3.59統(tǒng)計學習法（人臉識別）需要通過不斷地學習再學習的過程。該方法是以大型數(shù)據(jù)庫為基礎。3.3.2基于視覺的三維重建的類型-深度學習與語義法圖3.61深度學習與語義法（建筑三維重建）圖3.62深度學習與語義法（范圍性建筑三維重建）圖3.63深度學習與語義法（場景細節(jié)重建）3.3.2基于視覺的三維重建的類型-深度學習與語義法圖3.63深度學習與語義法（場景細節(jié)重建）基于深度學習的三維重建最近幾年取得了非常大進展是當前計算機視覺領域比較流行的方法之一。基于語義的三維重建可以運用在移動的行人或車輛等大的場景，這種方法能夠精確地對環(huán)境中的目標物體進行識別，而深度學習技術也是最近幾年剛剛興起的比較有優(yōu)勢的識別方法。圖3.61深度學習與語義法（建筑三維重建）圖3.62深度學習與語義法（范圍性建筑三維重建）3.3.2基于視覺的三維重建的挑戰(zhàn)基于主動視覺的三維重建技術可用于不同環(huán)境下的三維重建。該類方法不足的是成本高昂需要購買掃描儀等專用設備如果操作稍有差錯就會導致重構的結果不精確。另外，由于環(huán)境的限制主動視覺法不大可能對大規(guī)模復雜場景進行掃描導致其只能應用在小規(guī)模領域，并且其后期處理過程也較為復雜?；诒粍右曈X的三維重建技術法對物體的細節(jié)特征重建還不夠精確。基于其他被動視覺的三維重建方法在三維重建中的時間比較長，實時性不高。應用此類方法需要相機精確的內外參數(shù)，因此在相機內外參數(shù)估計的過程上花費了較長的時間。3.3.3基于深度學習的高分辨率重建的背景和意義圖像是人類獲取信息的重要手段。隨著計算機多媒體技術和數(shù)字圖像處理技術的發(fā)展人們對數(shù)字圖像的分辨率要求越來越高。高分辨率意味著圖像的像素密度高能夠提供更多的圖像細節(jié)，在醫(yī)療、生物、遙感等諸多領域有非常廣泛的應用。但是由于數(shù)字圖像的分辨率受限于下面兩個因素：①由于圖像傳感器是由像敏單元陣列組成這就從原理上決定了數(shù)字圖像的空間分辨率受限于像敏單元的大小（物理因素）；②數(shù)字圖像的灰度分辨率受成像系統(tǒng)的傳遞函數(shù)影響算法因素?；谏疃葘W習的高分辨率重建應用領域如下:圖片壓縮醫(yī)學成像遙感成像公共安防視頻感知3.3.3基于深度學習的高分辨率重建技術的定義和過程超分辨率（SuperResolution,SR）重建技術是指由一些低分辨率（LowResolution,LR）模糊的圖像或視頻序列來估計具有更高分辨率（HighResolutionHR）的圖像或視頻序列同時能夠消除噪聲以及由有限檢驗器尺寸和光學元件產生的模糊是提高降質圖像或序列分辨率的有效手段。深度學習近年來在圖像領域發(fā)展迅猛，它的引入即基于深度學習的超分辨率重建為單張圖片超分辨率重構帶來了新的發(fā)展前景。圖3.64基于深度學習的超分辨率重建過程3.3.3算法類型-超分辨率卷積神經網絡SRCNN（Super-ResolutionConvolutionalNeuralNetwork）是首個應用于超分辨率重建的卷積神經網絡模型，通過雙立方插值放大低分辨率圖像，利用三層卷積神經網絡進行非線性映射，最終輸出高分辨率圖像。圖3.65SRCNN網絡模型示意圖3.3.3算法類型-FSRCNN算法FSRCNN（FastSuper-ResolutionConvolutionalNeuralNetworks）是SRCNN的改進版，通過在最后添加反卷積層、減少網絡規(guī)模和共享卷積層，實現(xiàn)了40倍的加速和略高的輸出質量，主要步驟包括特征提取、收縮、非線性映射、擴張和反卷積。圖3.66SRCNN與FSRCNN的網絡結構對比圖3.3.3算法類型-ESPCN算法ESPCN通過引入亞像素卷積層間接實現(xiàn)圖像放大，避免了SRCNN中依賴粗糙高分辨率圖像進行計算的問題，顯著降低了計算量，提高了重建效率。圖3.67ESPCN網絡模型圖3.68亞像素卷積原理圖3.3.3算法類型-視頻超分算法ESPCN（Real-TimeVideoSuper-ResolutionwithSpatio-TemporalNetworksandMotionCompensation，VESPCN）是一種SISR方法但也可以針對視頻做超分（視頻只不過是連續(xù)多幀的圖像）。它利用亞像素卷積實現(xiàn)了非常高效的性能但其只能處理獨立幀對視頻的簡單擴展未能利用幀間冗余也無法實現(xiàn)時間一致性。對此提出了能夠利用時間冗余信息的時空亞像素卷積網絡VESPCN該方法主要針對視頻超分將ESPCN結構擴展成時序空間網絡結構（Spatio-temporalNetwork）將時間信息加入到網絡中可以有效地利用時間冗余信息提高重建精度同時保持實時速度。3.3.3算法類型-超分辨率生成對抗網絡SRGAN利用生成對抗網絡中的生成器和鑒別器進行對抗學習，有效解決了傳統(tǒng)方法中因使用均方誤差作為損失函數(shù)而導致的高頻信息丟失問題，提升了超分辨率圖像的質量。圖3.69SRGAN網絡模型示意圖3.3.3算法類型-DRCN算法DRCN（Deeply-RecurisiveConvolutionalNetwork）通過嵌入網絡、遞歸推理網絡和重構網絡三個主要組成部分，利用遞歸機制在超分辨率任務中實現(xiàn)高效的特征提取、非線性映射及最終的圖像重建，同時引入了遞歸監(jiān)督和跳過連接來優(yōu)化模型性能。圖3.70DRCN網絡模型示意圖圖3.71DRCN展開推理網絡示意圖3.3.3算法類型-VDSR算法VDSR在SRCNN基礎上進行了多項改進，通過增加網絡深度來擴大感受野，加快收斂速度，并實現(xiàn)多尺度超分辨率。具體來說，VDSR解決了SRCNN的三個主要缺點：1）SRCNN的學習信息有限，僅有三層網絡導致感受野僅為13×13；2）SRCNN收斂速度慢，訓練時間長達一周；3）SRCNN無法實現(xiàn)統(tǒng)一模型的多尺度方法，每個放大倍數(shù)需要單獨訓練。VDSR通過這些改進顯著提升了超分辨率重建的準確性和效率。3.3.3算法類型-RED算法卷積層——反卷積層結構有點類似與編碼——解碼結構。其網絡結構是對稱的每個卷積層都對應有反卷積層卷積層將輸入圖像尺寸減小后再通過反卷積層上采樣變大使得輸入輸出的尺寸一樣。卷積層用于提取圖像的特征相當于編碼的作用。而反卷積層用于放大特征的尺寸并恢復圖像細節(jié)。而每一組鏡像對應的卷積和反卷積有skipconnection將兩部分具有同樣尺寸的特征（要輸入卷積層的特征和對應的反卷積層輸出的特征）做相加操作（ResNet那樣的操作）后再輸入到下一個反卷積層。這樣的結構能夠讓反向傳播信號能夠直接傳遞到底層解決了梯度消失問題同時能將卷積層的細節(jié)傳遞給反卷積層能夠恢復出更干凈的圖片。3.3.3算法類型-DRRN算法DRRN（DeepRecursiveResidualNetwork）算法可以看作：ResNet+VDSR+DRCN的結果。DRRN中的每個殘差單元都共同擁有一個相同的輸入即遞歸塊中的第一個卷積層的輸出。每個殘差單元都包含2個卷積層。在一個遞歸塊內每個殘差單元內對應位置相同的卷積層參數(shù)都共享。VDSR是全局殘差學習。DRCN是全局殘差學習+單權重的遞歸學習+多目標優(yōu)化。3.3.3算法類型-LapSRN算法LapSRN可以看成由多級組成的分級網絡每一級完成一次2倍的上采樣（若要實現(xiàn)8倍就要3級）。在每一級中先通過一些級聯(lián)的卷積層提取特征接著通過一個反卷積層將提取出的特征的尺寸上采樣2倍。反卷積層后連有兩個卷積層一個卷積層的作用是繼續(xù)提取特征另外一個卷積層的作用是預測出這一級的殘差。輸入圖像在每一級也經過一個反卷積層使尺寸上采樣2倍再與對應級的殘差相加就能重構出這一級的上采樣結果。LapSRN網絡結構其結構如圖所示。圖3.72LapSRN網絡結構示意圖3.3.3算法類型-SRDenseNet算法DenseNet在稠密塊（denseblock）中將每一層的特征都輸入給之后的所有層使所有層的特征都串聯(lián)起來而不是像ResNet那樣直接相加。這樣的結構給整個網絡帶來了減輕梯度消失問題、加強特征傳播、支持特征復用、減少參數(shù)數(shù)量的優(yōu)點。一個稠密塊的結構如下圖所示。圖3.73SRDenseNet網絡一個稠密快結構示意圖3.3.3算法類型-EDSR算法EDSR單幅圖像超分辨率增強深度殘差網絡。EDSR最有意義的模型性能提升是去除掉了SRResNet的批量標準化（batchnormalizationBN）層。由于批量標準化層對特征進行了規(guī)范化因此通過規(guī)范化特征可以擺脫網絡的范圍可變性最好將其刪除從而可以擴大模型的尺寸來提升結果質量。相當于SRResNet的改進。3.3.3基于深度學習的高分辨率重建的現(xiàn)實意義和發(fā)展空間深度學習在圖像超分辨率重建領域已經展現(xiàn)出了巨大的潛力極大的推動了該領域的蓬勃發(fā)展發(fā)展。但距離重建出既保留原始圖像各種細節(jié)信息、又符合人的主觀評價的高分辨率圖像這一目標深度學習的圖像超分辨率重建技術仍有很長的一段路要走。主要存在著以下幾個問題：1）深度學習的固有性的約束。深度學習存在著需要海量訓練數(shù)據(jù)、高計算性能的處理器以及過深的網絡容易導致過擬合等問題。2）類似傳統(tǒng)的基于人工智能的學習方法深度學習預先假定測試樣本與訓練樣本來自同一分布但現(xiàn)實中二者的分布并不一定相同甚至可能沒有相交的部分。3）盡管當前基于深度學習的重建技術使得重建圖像在主觀評價指標上取得了優(yōu)異的成績但重建后的圖像通常過于平滑丟失了高頻細節(jié)信息。因此進一步研究基于深度學習的圖像超分辨率技術仍有較大的現(xiàn)實意義和發(fā)展空間。3.4機器人視覺感知的發(fā)展趨勢影響機器人視覺感知的關鍵技術圖像識別與追蹤技術識別即從獲取的圖像中找尋需要的目標信息這期間涉及到硬件設備的選取及識別追蹤算法的確定。機器人定位技術定位技術是在識別技術的基礎上對機器人的運動姿態(tài)進行定位控制。機器人定位技術主要包括兩個方面：一方面是根據(jù)周圍環(huán)境特征結合輸入的環(huán)境模型對機器人的整體目標位置進行定位；另一方面是根據(jù)操作對象的特征對機器人的運動進行控制如進行分揀焊接貼片鑄造等工作。視覺與機器人的關聯(lián)技術直觀來講視覺與機器人的關聯(lián)技術是通過將感知到的視覺信息傳遞能夠到機器人本體使得機器人能夠對相關視覺信息做出及時有效的處理與決策。3.4.1機器人視覺感知技術——識別與追蹤硬件設備優(yōu)化光源、視覺傳感器、工業(yè)相機、圖像采集卡和顯示器等硬件設備，提升圖像質量，對機器人視覺感知技術的發(fā)展具有重要意義，貫穿整個技術發(fā)展歷程。識別與追蹤算法圖像信息獲取后需進行成像識別與追蹤算法處理，機器視覺領域經典的算法仍為主流，深度學習的結合取得了顯著效果，如Caffe等開源框架因其功能完善、速度快、易用等優(yōu)點成為研究者的首選工具。基于學習的目標識別方法隨著計算機性能的提升，基于學習的方法，特別是基于卷積神經網絡的學習，成為單目圖像物體識別和姿態(tài)估計的主流方案，推動了機器人視覺感知技術的快速發(fā)展?；谏疃葘W習的三維重建算法基于深度學習的三維重建算法通過融合深度學習和多視圖幾何的優(yōu)勢，如Deepvo、BA-Net和CNN-SLAM等方法，顯著提升了三維重建的性能和精度。3.4.2機器人視覺感知技術——定位雙目立體視覺通過計算兩幅圖像中的視差獲得空間點的三維坐標，廣泛應用于三維掃描和虛擬現(xiàn)實等領域，提高機器人感知環(huán)境的能力，機器人視覺定位包括二維和三維定位，主要依靠圖像信息和其他傳感器的結合。定位方式2006年前定位算法主要依賴模板匹配，計算簡便但僅適用于簡單物體，當前主流定位算法包括卡爾曼濾波、粒子濾波、擴展卡爾曼濾波、無跡卡爾曼濾波及基于單目視覺結合里程計的算法。定位算法3.4.3機器人視覺感知技術——視覺與機器人的關聯(lián)基于圖像分析的視覺技術在機器人引導相關應用中的主要作用是精確獲取對象物（待抓取物體）和目標物（待組裝物體）的坐標位置和角度并將圖像坐標轉換為機器人能識別的機器人坐標指導機器人進行糾偏和組裝。因此手眼標定和定位引導是機器視覺在機器人感知系統(tǒng)中應用的的核心。一般手眼標定方法分為3類：標準手眼標定基于旋轉運動的手眼標定及在線手眼標定。在機器人與視覺的關聯(lián)方面著重于Eye-in-Hand技術的更新迭代提高機器人作業(yè)的靈活性與穩(wěn)定性將進一步促進機器人視覺感知技術的發(fā)展。3.4.4機器人視覺感知技術應用及未來發(fā)展1）普及度的提升。其實機器視覺由于專業(yè)度和應用領域方面的局限性在大眾認知上還存在一定陌生感不過隨著市場的逐漸擴大應用逐漸從工業(yè)領域向人們日常生活深入未來機器視覺越來越“親民”會有更多消費者了解和接受到相關產品。2）應用度會加速深化。當前隨著智能化趨勢的不斷凸顯機器視覺的應用領域將會進一步拓展和深化從工業(yè)、制藥、印刷、檢測等逐漸向更多新興領域邁進。未來在智能機器人、自動駕駛、人臉識別、安防、醫(yī)療等領域的應用將會越來越多。3）競爭度會日臻激烈。隨著普及度和應用度的不斷變化未來進軍機器視覺的企業(yè)將會越來越多那時不管是國內外企業(yè)競爭還是國內企業(yè)競爭都會加速白熱化群雄逐鹿之際有可能強強聯(lián)合、強弱兼并、后來居上等戲碼都將上演直到新的平衡到來之前全球機器視覺市場都將是一派火熱景象。3.5機器人視覺感知的實際應用3.5.1三維成像-系統(tǒng)硬件組成三維視覺系統(tǒng)分為圖像采集、圖像處理和運動控制三部分。圖像采集部分包括相機和鏡頭，相機可能輸出標準單色視頻（RS-170/CCIR）、復合信號（Y/C）、RGB信號等，鏡頭焦距和光圈影響成像質量和景深。多路相機可能由圖像卡切換或同步控制獲取數(shù)據(jù)。工業(yè)相機鏡頭焦距常規(guī)有6mm、8mm、12mm、16mm、25mm、35mm、50mm、75mm，不同焦距對應不同的視角和適用距離。光圈控制通光量，影響景深。景深隨光圈值、焦距和拍攝距離變化。工業(yè)相機鏡頭接口有C接口、CS接口、F接口、M42接口、M72接口等，C接口和CS接口的區(qū)別在于后截距不同，分別為17.5mm和12.5mm。CS接口相機可使用C口和CS口鏡頭，但C接口相機不能使用CS口鏡頭。相機視場角分為物方視場角和像方視場角，通常以矩形感光面對角線計算，也有以矩形長邊尺寸計算。3.5機器人視覺感知的實際應用3.5.1三維成像-系統(tǒng)硬件組成圖3.74三維成像系統(tǒng)示意圖圖3.75成像原理圖傳統(tǒng)的編程來執(zhí)行某一動作的機器人已經很難滿足現(xiàn)今的自動化需求了在很多應用場景下需要為機器人安裝一雙眼睛即機器人視覺成像感知系統(tǒng)使機器人具備識別物體、分析、處理等更高級功能可以正確對目標場景的狀態(tài)進行判斷與分析做到靈活地自行解決發(fā)生的問題。3.5.1三維成像的結構形式三維視覺系統(tǒng)通過圖像傳感技術獲取目標信息，進行處理和理解，用于機器人系統(tǒng)的測量、檢測、識別與定位等任務，手眼系統(tǒng)分為固定成像眼看手系統(tǒng)和隨動成像眼在手系統(tǒng)，兩者可混合協(xié)同工作，結合全局視場和局部高分辨率的優(yōu)勢。圖3.79兩種手眼系統(tǒng)的結構形式（a）眼在手系統(tǒng)（b）眼看手系統(tǒng)圖3.80協(xié)同視覺系統(tǒng)原理圖3.5.1機器人視覺三維成像方法（1）飛行時間3D成像飛行時間（TOF）相機每個像素都是利用光的飛行時間差來獲取物體的深度信息。TOF成像可用于大視野、遠距離、低精度、低成本的三維圖像采集其特點是檢測速度快、視野范圍較大、工作距離遠等但精度較低易受環(huán)境光干擾。（2）掃描3D成像掃描三維成像方法包括掃描測距、主動三角法和色散共焦法。掃描測距通過1D測距掃描實現(xiàn)高精度3D測量，色散共焦法在測量透明和光滑物體時具有獨特優(yōu)勢，但速度慢、效率低，適合高精度測量但不適用于實時3D引導與定位。主動三角掃描適用于復雜結構面形測量，但容易產生遮擋，需合理規(guī)劃機械臂路徑與姿態(tài)。（3）立體視覺3D成像立體視覺通常是指從不同的視點獲取兩幅或多幅圖像重構目標物體3D結構或深度信息通俗地將就是用一只眼睛或兩只眼睛感知三維結構。3.5.1機器人視覺三維成像方法圖3.81線結構光掃描三維點云生成示意圖圖3.82色散共焦掃描三維成像示意圖圖3.83立體視覺三維成像示意圖3.5.2同步定位與地圖構建同步定位與地圖構建（SLAM）最早由HughDurrant-Whyte和JohnJ.Leonard提出，主要用于解決移動機器人在未知環(huán)境中運行時的定位導航與地圖構建問題。SLAM通常包括特征提取、數(shù)據(jù)關聯(lián)、狀態(tài)估計、狀態(tài)更新以及特征更新等部分。SLAM技術不僅適用于2D運動領域，也可應用于3D運動領域。SLAM的核心在于通過傳感器數(shù)據(jù)不斷更新機器人的位置估計信息，即使在復雜的環(huán)境中也能保持較高的定位精度。3.5.2同步定位與地圖構建-SLAM的一般過程SLAM的一般過程包括機器人的運動估計、特征提取、數(shù)據(jù)關聯(lián)、狀態(tài)估計和狀態(tài)更新等步驟。當機器人移動時，位置傳感器會提取環(huán)境中的特征點，并通過擴展卡爾曼濾波器（EKF）將這些特征點與機器人運動前后的觀測數(shù)據(jù)相結合，更新機器人的當前位置和環(huán)境信息。這一過程不斷迭代，逐步優(yōu)化機器人的位置估計和地圖構建，確保在未知環(huán)境中實現(xiàn)高精度的導航和定位。圖3.84SLAM的-般過程圖3.85機器人當前位置和環(huán)境信息進行估計過程3.5.2同步定位與地圖構建-機器人自身運動模型機器人自身運動模型是SLAM系統(tǒng)中的重要組成部分，通過對機器人輪胎運行圈數(shù)的估計來獲取機器人的位置信息。這種估計可以作為擴展卡爾曼濾波（EKF）的初始估計數(shù)據(jù)。為了確保數(shù)據(jù)的同步性，通常采用插值方法對機器人自身位置數(shù)據(jù)進行前處理。由于機器人的運動規(guī)律是連續(xù)的，因此對機器人自身位置數(shù)據(jù)進行插值是可行的，而測距單元數(shù)據(jù)的不連續(xù)性使得其插值變得困難。3.5.2同步定位與地圖構建-特征提取Spike方法Spike方法通過檢測測距單元返回數(shù)據(jù)中相鄰數(shù)據(jù)的顯著差異來識別特征點，適用于室內環(huán)境中的靜態(tài)物體檢測，但對活動物體的魯棒性較差。RANSAC方法RANSAC方法通過從激光測距數(shù)據(jù)中提取直線特征，適用于室內環(huán)境中的墻壁等直線結構，對活動物體有較好的適應性，提取的直線可用于EKF估計機器人位置和環(huán)境地圖。圖3.86三角幾何方法3.5.2同步定位與地圖構建-數(shù)據(jù)關聯(lián)數(shù)據(jù)關聯(lián)是將不同時刻位置傳感器提取到的地標信息進行關聯(lián)的過程，也稱為重觀察過程。在實際應用中，可能會遇到以下問題：1)上一次看到了某個地標，但下一次卻沒有看到；2)這次看到了地標，但之后卻再也看不到這個地標；3)錯誤地將現(xiàn)在看到的某個地標與之前看到的某個地標進行關聯(lián)。為了解決這些問題，通常會建立一個特征數(shù)據(jù)庫，并設定規(guī)則：除非某特征已經出現(xiàn)了N次，否則不將其加入數(shù)據(jù)庫。當新的傳感器信息到來時，提取特征并與數(shù)據(jù)庫中已出現(xiàn)N次且距離最近的特征進行關聯(lián)，通過驗證環(huán)節(jié)確認關聯(lián)是否正確。如果驗證通過，則特征出現(xiàn)次數(shù)加1；否則，視為新的特征并加入數(shù)據(jù)庫。3.5.2SLAM技術中機器人常用的定位導航技術分類視覺定位導航超聲波定位導航紅外線定位導航iBeacon定位導航燈塔定位導航激光定位導航圖3.87超聲波定位導航原理示意圖圖3.88iBeacon定位導航原理示意圖圖3.89激光定位導航原理示意圖圖3.90時間飛行法原理示意圖3.5.3機器人圖像識別圖像識別技術原理圖像識別原理主要涉及處理具有一定復雜性的信息處理技術。這一技術的實現(xiàn)基于人類對圖像識別的基本原理，通過計算機程序模擬實現(xiàn)。計算機圖像識別與人類視覺識別類似，通過提取圖像的重要特征并排除無用特征，使圖像識別得以實現(xiàn)。計算機對特征的提取有時明顯，有時普通，這直接影響圖像識別的效率。圖像識別技術不僅需要識別對象是什么，還需要確定其位置和姿態(tài)，這在交通、軍事、安全等多個領域都有廣泛應用。3.5.3機器人圖像識別過程1、獲取信息將聲音和光等信息通過傳感器向電信號轉換也就是對識別對象的基本信息進行獲取并將其向計算機可識別的信息轉換。2、信息預處理采用去噪、變換及平滑等操作對圖像進行處理基于此使圖像的重要特點提高。3、抽取及選擇特征指在模式識別中抽取及選擇圖像特征概括而言就是識別圖像具有種類多樣的特點如采用一定方式分離就要識別圖像的特征獲取特征也被稱為特征抽取。4、設計分類器及分類決策設計分類器就是根據(jù)訓練對識別規(guī)則進行制定基于此識別規(guī)則能夠得到特征的主要種類進而使圖像識別的不斷提高辨識率此后再通過識別特殊特征最終實現(xiàn)對圖像的評價和確認。3.5.3機器人圖像識別常見形式圖像識別的發(fā)展經歷了三個階段：文字識別、數(shù)字圖像處理與識別、物體識別。文字識別的研究是從1950年開始的一般是識別字母、數(shù)字和符號從印刷文字識別到手寫文字識別應用非常廣泛。數(shù)字圖像處理和識別的研究開始于1965年。數(shù)字圖像與模擬圖像相比具有存儲傳輸方便可壓縮、傳輸過程中不易失真、處理方便等巨大優(yōu)勢這些都為圖像識別技術的發(fā)展提供了強大的動力。物體的識別主要指的是對三維世界的客體及環(huán)境的感知和認識屬于高級的計算機視覺范疇。它是以數(shù)字圖像處理與識別為基礎的結合人工智能、系統(tǒng)學等學科的研究方向其研究成果被廣泛應用在各種工業(yè)及探測機器人上。3.5.3機器人圖像識別-基于神經網絡的圖像識別技術基于神經網絡的圖像識別技術是一種新型的技術，以傳統(tǒng)圖像識別方式為基礎，有效融合了神經網絡算法。神經網絡主要是指人工神經網絡，即人類采用人工模擬動物神經網絡方式的一種神經網絡。目前，基于神經網絡的圖像識別技術中，遺傳算法有效結合BP神經網絡是最經典的一種模型，該模型在智能汽車監(jiān)控、人臉識別、醫(yī)學影像分析等諸多領域中得到了廣泛應用。例如，在智能汽車監(jiān)控中，若檢測設備啟動圖像采集裝置獲取汽車正反面的特征圖像，對車牌字符進行識別的過程中就采用了基于神經網絡和模糊匹配的兩類算法。3.5.3機器人圖像識別-基于非線性降維的圖像識別技術非線性降維與線性降維降維方法可以大致分為非線性降維與線性降維兩類。線性降維如主成分分析（PCA）和線性奇異值分解（SVD），其特點是簡單且易于理解，適用于數(shù)據(jù)集的線性結構。而非線性降維方法，如流形學習，能夠更好地捕捉數(shù)據(jù)的內在結構，尤其適用于處理具有復雜非線性關系的數(shù)據(jù)集。主成分分析與線性奇異分析主成分分析（PCA）和線性奇異值分解（SVD）是最常見的線性降維方法。它們通過將高維數(shù)據(jù)映射到一個低維空間，來保留數(shù)據(jù)的主要特征，同時減少冗余信息。這種方法在處理圖像數(shù)據(jù)時特別有效，因為它能顯著降低計算成本，同時保持圖像的關鍵特征，從而提高識別效率。機器人視覺感知技術，包括其概念、系統(tǒng)組成、發(fā)展歷程，多種視覺感知傳感器如PSD,CCD,CMOS先進技術:多目標跟蹤、三維重建、高分辨率圖像重建也展望了技術發(fā)展趨勢，并探討了其在三維成像、同步定位、圖像識別等

領域的應用?？傮w來說，視覺感知技術對于機器人智能化進程具有關鍵意義。本章小結機器人感知智能第四章機器人接近覺感知4.1機器人接近覺感知的介紹4.1.1接近覺感知的定義及功能隨著科學技術的發(fā)展，機器人的發(fā)展逐漸呈現(xiàn)智能化，這要求覆蓋在機器人表面的大面積、多功能傳感系統(tǒng)能夠完美地實現(xiàn)交互過程中各類信息的量化。在日常生活中，接近覺感知傳感器最常見的使用場景就是各個場所的自動感應裝置。圖4.1日常生活中接近覺感知傳感器的常見使用場景常見的接近覺感知傳感器光電式接近覺感知傳感器光電式接近覺感知傳感器種類多、用途廣，能檢測直徑小至1mm或距離大至幾米的目標，有測速度快、抗干擾能力強、測量點小、適用范圍廣等優(yōu)點。電容式接近覺感知傳感器電容式接近覺感知傳感器可以檢測粉末、顆粒、液體和固體形式的金屬和非金屬目標。電感式接近覺感知傳感器電感式接近覺感知傳感器由四個主要部分組成：帶線圈的鐵氧體磁芯，一個振蕩器，一個施密特觸發(fā)器和一個輸出放大器。超聲波式接近覺感知傳感器超聲波接近覺感知傳感器是利用超聲波的特性研制而成的傳感器，超聲波在碰到雜質或者是處于分界面的時候能產生顯著的反射形成回波，當碰到運動的物體時會產生多普勒效應。4.1機器人接近覺感知的介紹4.1.2接近覺感知傳感器的發(fā)展自1916年法國朗之萬發(fā)明了世界上第一部超聲波傳感器到現(xiàn)在，超聲波傳感器己經完成從簡單的借助回聲定位到能夠分析處理復雜信號的轉變，其測量精度和可靠性都非常的高。超聲波傳感器自身的缺陷，如：鏡面反射、有限的波束角

交叉相關聯(lián)和正弦發(fā)生器技術應用在超聲波測距系統(tǒng)中，將超聲測距系統(tǒng)的分辨率進一步的提高，將超聲波測距技術繼續(xù)向前推進。圖4.12超聲系統(tǒng)裝置的示意圖4.1機器人接近覺感知的介紹4.1.2接近覺感知傳感器的發(fā)展在實際應用中，電容式接近覺感知傳感器具有對光線、噪音、待測物的顏色、表面紋理等不敏感、檢測范圍較大等優(yōu)點，這使得電容式接近覺感知傳感器機器人的實際操作場景下具有極大的穩(wěn)定性。單一性能的傳感器不能滿足高性能機器人的需求，兼?zhèn)溆|覺和接近覺感知能力的電容-電感雙模式接近覺感知傳感器應運而生圖4.13兼具觸覺與接近覺感知的傳感器4.1機器人接近覺感知的介紹4.1.2接近覺感知傳感器的發(fā)展隨著制作工藝的提高，現(xiàn)有工藝可以滿足更精細的加工需求。因此，采用MEMS工藝制作加工的垂直結構的雙模式電容電感接近式傳感器逐漸被使用。為了讓具備電容式接近傳感器的服務型機器人安全完成與人交互的任務，需要提高傳感器的柔性。柔性的器件能夠在發(fā)生碰撞時，產生減震緩沖，提高安全性，還能夠在曲面、被拉伸等苛刻環(huán)境中正常工作。圖4.14垂直結構的電容圖4.15絲網印刷多功能傳感器4.1機器人接近覺感知的介紹4.1.3接近覺感知傳感器的現(xiàn)狀在過去的幾十年里，接近覺感知傳感器的發(fā)展并不如力覺傳感器、視覺傳感器樂觀，除了發(fā)展緩慢外，目前還存在一些有待于解決的問題，如光電式容易受到對象物顏色、粗糙度和環(huán)境亮度的限制。我國開展機器人接近覺感知傳感器的研究時間并不長，在研究水平上與國外相比，還有一段差距。因此，我國接近覺傳感器重點應放在提高現(xiàn)有傳感器的性能穩(wěn)定性、可靠性上，并將成本降低到可接受的程度。在此基礎上，要進一步提高傳感器的其他性能，如探測精度等，并進一步增加傳感器的功能。在今后的兩到三年內，隨著人工智能機器人的快速發(fā)展，市場對于接近覺感知傳感器的需求將達到一個新的高度。4.1機器人接近覺感知的介紹4.2.1概述和系統(tǒng)組成接近覺感知傳感器的主要優(yōu)點是無接觸，而由于所有的物質都會在溫度的作用下將內能轉化為電磁波向外輻射能量。所以為了實現(xiàn)電磁波的無接觸測量，紅外檢測傳感器應運而生。紅外檢測技術借助紅外線對溫度的敏感性，實現(xiàn)對目標物無接觸檢測，成為接近覺傳感器的重要分類，被廣泛應用于距離測試、溫度測試、氣體檢測、生物監(jiān)測等方面。4.2紅外傳感器4.2.1概述和系統(tǒng)組成普朗克定律說明溫度、能量和波長三者之間存在對應關系，紅外總能量與溫度呈正相關，峰值波長與溫度呈負相關。它給出輻射場能量密度按頻率的分布，式中T是熱力學溫度,k是玻耳茲曼常數(shù)。普朗克公式在高頻范圍hvkT的極限條件下，過渡到維恩公式4.2紅外傳感器4.2.1概述和系統(tǒng)組成在現(xiàn)代社會中，遠距離實現(xiàn)目標物的檢測是發(fā)展熱點輻射計：主要用于檢測微波輻射和光譜測量。微波輻射檢測通常用于雷達和衛(wèi)星通信等領域，而光譜測量則常用于化學和環(huán)境監(jiān)測等領域。搜索和跟蹤系統(tǒng)：主要用于跟蹤目標并確定其位置，能夠持續(xù)跟蹤目標運動軌跡。熱成像系統(tǒng)：主要用于獲取目標物紅外輻射的分布圖像。這種傳感器能夠在夜間或低光照條件下檢測目標物體表面的溫度分布。紅外測距和通信系統(tǒng)：主要用于無接觸測距和實時通信。這種傳感器可以通過紅外輻射來測量距離，并能夠實現(xiàn)短距離通信?；旌舷到y(tǒng)：這種傳感器結合了多種不同的傳感器技術，能夠實現(xiàn)更加復雜和精確的檢測任務。圖4.16紅外檢測傳感器4.2紅外傳感器4.2.2傳感器原理1.檢測基本原理紅外光作為太陽光譜的一部分其具有光熱效應和輻射能量，相比于其他的光譜范圍，由于大氣無法吸收固定波長的紅外線，所以物體的紅外輻射能量產生的損耗小。所有的物體包括冰在內，均具有輻射能量，當紅外光穿過介質時光能量會產生衰減，其中由于金屬的固有材料損耗，使得其傳播衰減很大，在液體中也存在對紅外輻射吸收較大的情況。不同介質對紅外輻射的吸收程度不同，而在外界環(huán)境中，大氣層也對不同波長的紅外光產生不同的吸收帶。在現(xiàn)實生活中的任何物體，只要其溫度在絕對零度以上，都會產生紅外輻射，區(qū)別在于輻射的強度以及輻射的方式，這與介質和物體表面的粗糙程度有關。4.2紅外傳感器4.2.2傳感器原理2.紅外探測器紅外探測器本質上就是指將不同的光熱效應轉化為電信號實現(xiàn)檢測的裝置，是整個紅外測試系統(tǒng)的核心，其余為輔助電路。紅外探測器按照檢測機理可分為光電探測器和熱電探測器。光電探測器主要利用的是光電效應和光電磁效應熱電探測器主要利用的是熱輻射效應，探測敏感元件將輻射轉化為熱能，表現(xiàn)為溫度升高，探測器將其轉化為可處理的信號（大部分為電信號）。4.2紅外傳感器4.2.3功能與目前研究實現(xiàn)1.溫度檢測溫度檢測在生產生活中具有十分重要的作用，從大型設備保持正常運轉到農作物的正常生長以及人類生活的適宜程度都與溫度息息相關。國外衛(wèi)星熱紅外傳感器國內衛(wèi)星熱紅外傳感器圖4.17

AVHRR

傳感器4.2紅外傳感器4.2.3功能與目前研究實現(xiàn)2.故障檢測紅外無損缺陷檢測是利用紅外輻射對材料的透過、反射、散射特性進行缺陷檢測的一種方法。其機理是利用紅外輻射在材料表面與內部缺陷之間的不同反射和透過特性來檢測缺陷的存在和位置。當紅外輻射照射到材料表面時，會紅外輻射在材料表面和內部缺陷之間發(fā)生反射、透射和散射。通過檢測這些反射、透射和散射的紅外輻射，可以判斷材料內部的缺陷情況，例如裂紋、氣泡、缺陷等。圖4.18卷揚機的可見光圖與紅外熱像圖4.2紅外傳感器4.2.3功能與目前研究實現(xiàn)圖4.19兩種紅外無損檢測方法4.2紅外傳感器2.故障檢測有源紅外檢測法又稱主動紅外檢測其存在外部熱源，通過外部熱源向待測物體發(fā)射能量，待測物體中原本的熱平衡被打破，出現(xiàn)熱流的變化，而在經過內部缺陷時，這種熱流的變化會出現(xiàn)異常，表面溫度分布區(qū)發(fā)生變化。4.2.3功能與目前研究實現(xiàn)圖4.19兩種紅外無損檢測方法4.2紅外傳感器2.故障檢測無源紅外檢測法不附加熱源對待測物體進行能量注入，僅僅依靠物體本身中的熱流動異常進行檢測。紅外檢測方法最早應用在大型儀器設備的電力行業(yè)中，近年來，隨著技術的發(fā)展和進步，開始廣泛應用于其他行業(yè)例如建筑業(yè)、軋鋼、冶煉等等。4.2.3功能與目前研究實現(xiàn)3.氣體檢測紅外成像技術能夠實現(xiàn)危險氣體的遠距離非接觸探測，具有靈敏度高、響應時間短、檢測范圍大等優(yōu)點且成像動態(tài)直觀，能夠實現(xiàn)危險氣體泄漏的在線實時監(jiān)控，故被廣泛應用于氣體儲運、油礦開采、工業(yè)制造等領域。紅外檢測傳感器可以實現(xiàn)無接觸氣體檢測，其中一種方式是利用紅外吸收光譜技術。其具體實現(xiàn)方式如下：發(fā)射紅外輻射：將發(fā)射器發(fā)出的紅外輻射照射到被測氣體中。氣體吸收紅外輻射：被測氣體中的分子會吸收部分紅外輻射，吸收量與氣體濃度成正比。接收紅外輻射：利用接收器接收被測氣體吸收后的紅外輻射。分析處理：分析接收到的紅外輻射，計算出被測氣體的濃度。4.2紅外傳感器4.2.3功能與目前研究實現(xiàn)3.氣體檢測這種無接觸氣體檢測方式具有以下幾個特點：非接觸式測量，避免了接觸式測量可能帶來的污染和損傷等問題?？梢詫崿F(xiàn)實時測量，能夠及時監(jiān)測被測氣體的濃度變化。精度高，可以檢測到非常小的氣體濃度變化。圖4.20非分光型紅外氣體傳感器檢測原理示意圖4.2紅外傳感器4.2.3功能與目前研究實現(xiàn)3.氣體檢測AdilShah等人提出一種NDIR甲烷氣體傳感器。該傳感器被應用于向大氣中排放甲烷氣體的測試點。2019年，意大利的VincenzoSpagnolo和山西大學的董磊課題組開發(fā)了一種多通道石英光聲光譜傳感器，可同時檢測近紅外和中紅外波段。光腔衰蕩光譜（CRDS）技術是一種基于光腔衰蕩現(xiàn)象的紅外傳感器技術，用于氣體檢測。圖4.21NIDR傳感器及無人機系統(tǒng)圖4.22多氣體QEPAS傳感器圖4.23基于CRDS原理的氣體傳感器的檢測原理4.2紅外傳感器4.2.3功能與目前研究實現(xiàn)4.生物監(jiān)測人體動作識別指的是對目標的動作方式進行識別。從人體散發(fā)的紅外熱輻射信號上尋找與人體運動和位置相關的隱含信息的方法被提出。基于PassiveInfrared（PIR）傳感器的室內定位PIR（被動式紅外檢測技術”或“熱釋電傳感器技術）是指通過感應人體的紅外輻射來實現(xiàn)人體檢測和控制的技術。PIR傳感器可以感應靜態(tài)或移動的熱源，例如人體、動物、車輛等，通過檢測其輻射的紅外能量來判斷其是否存在?；赑IR傳感器的室內人體動作識別PIR傳感器除了能檢測到某區(qū)域的人體目標，還可以發(fā)現(xiàn)人體在檢測區(qū)域中的運動特征信息，包括動作頻率、幅度和姿態(tài)等多種信息。4.2紅外傳感器4.3.1概述和系統(tǒng)組成微波是一種電磁波，具有易于集聚成束、高度定向性以及直線傳播的特性，可用來在無阻擋的視線自由空間傳輸高頻信號。微波作為一種電磁波具有波粒二象性。微波相對于波長較長的電磁波具有下列特點：①定向輻射的裝置容易制造；②碰到各種障礙物易于反射；③繞射能力較差；④傳輸特性良好，傳輸過程中受煙、灰塵、強光等的影響很小；⑤介質對微波的吸收與介質的介電常數(shù)成正比例、水對微波的吸收作用最強。4.3微波傳感器4.3.2微波特點微波的基本性質通常呈現(xiàn)為穿透、反射、吸收三個特性。從電子學和物理學觀點來看，微波這段電磁頻譜具有不同于其他波段的重要特點：穿透性微波比其他用于輻射加熱的電磁波，如紅外線、遠紅外線等波長更長，因此具有更好的穿透性。選擇性加熱物質吸收微波的能力，主要由其介質損耗因數(shù)來決定。介質損耗因數(shù)大的物質對微波的吸收能力就強，相反，介質損耗因數(shù)小的物質吸收微波的能力也弱。熱慣性小微波對介質材料是瞬時加熱升溫，升溫速度快，消耗能量低。似光性微波波長很短，比地球上的一般物體（如飛機，艦船，汽車建筑物等）尺寸相對要小得多，或在同一量級上。使得微波的特點與幾何光學相似，即所謂的似光性。4.3微波傳感器4.3.3微波傳感器原理1.微波傳感器原理與分類微波傳感器是利用微波特性來檢測某些物理量，如物體的存在、運動速度、距離、濃度等信息。反射式：發(fā)生天線和接收天線位于檢測物體的同一側，反射式微波傳感器通過檢測微波信號從發(fā)出到接收到的時間間隔或者相位偏移來檢測被測物體的位置、厚度和位移等參數(shù)。遮斷式：發(fā)射天線和接受天線位于檢測物體的兩邊，間斷式微波傳感器通過接收天線接收到的微波信號功率的大小，判斷發(fā)射天線和接收天線之間是否有被測物體、被測物體的厚度和位置等參數(shù)信息。圖4.25西門子微波物位計圖4.26西門子智能雷達物位計工作原理:由微波發(fā)射器定向發(fā)出微波信號，遇到被測物體時，微波信號部分被檢測物體吸收，部分則被反射，使微波功率發(fā)生變化。4.3微波傳感器4.3.3微波傳感器原理2.微波傳感器組成與特點微波傳感器通常由微波振蕩器（微波發(fā)射器）、微波天線及微波檢測器三部分組成。微波振蕩器和微波天線是微波傳感器的重要組成部分。微波振蕩器是一種產生微波的裝置。微波檢測器：電磁波作為空間的微小電場變動而傳播，所以使用電流-電壓特性呈現(xiàn)非線性的電子元件作為探測它的敏感探頭，敏感探頭在其工作頻率范圍內必須有足夠快的響應速度。作為非線性的電子元件，在幾兆赫茲以下的頻率通?？捎冒雽wPN結，而對于頻率比較高的可使用肖特基結。圖4.27常用的微波天線4.3微波傳感器4.3.4微波傳感器的常見應用1.微波測距利用接收天線接收被測物反射回來的微波信號，檢測其電磁參數(shù)，再由測量電路處理，就實現(xiàn)了微波檢測。將微波發(fā)射器和微波接收器架設在相距為d的位置，當發(fā)射器發(fā)出移動功率的微波信號，該微波信號到接收器將有一部分功率損耗，微波接收天線接收到的微波功率大小即可換算出待測面和微波發(fā)射器的距離h，從而實現(xiàn)了微波測距。圖4.28微波測距原理4.3微波傳感器4.3.4微波傳感器的常見應用1.微波測距雷達是微波最早的應用之一。多普勒和干涉測量雷達系統(tǒng)通常，多普勒雷達發(fā)出頻率為f_t的單音無線電信號。當擊中一個物體時，根據(jù)物體移動時的多普勒效應，相關的返回信號頻率從發(fā)射頻率偏移。調頻連續(xù)波系統(tǒng)FMCW雷達能夠確定系統(tǒng)與目標之間的絕對距離。發(fā)射信號的各種調制是可能的，發(fā)射頻率能夠作為正弦波、鋸齒波、三角波或方波向上和向下倒轉。圖4.29用于位移監(jiān)測的干涉測量操作圖4.30FMCW操作用于距離檢測4.3微波傳感器4.3.4微波傳感器的常見應用1.微波測距德國羅伯特-博世公司于2013年推出中程雷達，自2016年以來，該公司已向市場交付了超過1000萬部毫米波雷達。德國大陸集團是全球最大的汽車零部件供應商之一。大陸集團的毫米波雷達產品涵蓋24GHz和77GHz，以77GHz產品為主。森斯泰克是國內專業(yè)從事毫米波雷達和激光雷達智能傳感器產品研發(fā)、生產和銷售的高新技術企業(yè)。圖4.31博世遠程雷達傳感器：LRR4圖4.32德國大陸ARS411長距離毫米波雷達圖4.33STA79-2近程雷達4.3微波傳感器4.3.4微波傳感器的常見應用1.微波測距德國ADC公司依據(jù)脈沖測距法制造出ASR1100毫米波雷達，NISSAN，F(xiàn)ord和Mercedes-Benz等汽車品牌公司積極研制了汽車主動避撞系統(tǒng)VCAS(VehicleCollisionAvoidanceSystem)和自適應巡航系統(tǒng)ACC(AdaptiveCruiseControl)。圖4.34使用微波雷達對人行天橋及其運動進行成像4.3微波傳感器4.3.4微波傳感器的常見應用2.微波液位計液位是各種工業(yè)過程中的一個重要參數(shù)。液位測量方法很多，如：差壓式、浮力式、磁翻轉式、磁致伸縮式、射頻電容式、超聲波式等。微波液位計可分為天線式微波液位計和導波式微波液位計。通過天線來發(fā)射微波并接收回波，為非接觸式測量，也稱自由空間雷達(FreeSpaceRadar)，是微波液位計的主要形式。圖4.35雷達液位計4.3微波傳感器4.3.4微波傳感器的常見應用3.微波探測儀微波探測儀會持續(xù)發(fā)射微波，并接收反射回的微波信號，根據(jù)時間差就可以求出物體的運動速度與位移。當探測區(qū)內的目標移動時，原發(fā)射信號與反射的信號之間會有頻率差異，即觸發(fā)報警，通常稱為多普勒效應。圖4.36微波探測儀4.3微波傳感器4.3.4微波傳感器的常見應用4.微波無損檢測系統(tǒng)微波無損檢測技術始于20世紀60年代，現(xiàn)在微波無損檢測技術已經在大多數(shù)復合材料和非金屬內部的缺陷檢測和和各種非電量測量等方面獲得了廣泛的應用。微波無損檢測主要有穿透法、反射法、干涉法、散射法、全息法以及CT法等。穿透法：將發(fā)射和接收天線分別放在試件的兩邊，通過檢測接收的微波波束相位或幅值的變化，可得到被檢測量的情況。反射法：發(fā)射法是指利用被檢試件表面和內部所反射的微波對試件進行檢測的方法。散射法：散射法是通過測試回波強度變化來確定散射特性。微波全息技術：微波干涉法與光導全息照相技術結合可以形成微波全息技術。圖4.37微波檢測缺陷示意圖4.3微波傳感器4.4.1概述和系統(tǒng)組成1.概述激光技