機(jī)器視覺(jué)測(cè)量技術(shù)1概論

機(jī)器視覺(jué)測(cè)量技術(shù)MachineVisionMeasurementTechnology合肥工業(yè)大學(xué)儀器科學(xué)學(xué)院機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第1頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)教師：楊永躍副教授

機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第2頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)參考教材：賈云得《機(jī)器視覺(jué)》科學(xué)出版社，2000參考書目：張廣軍《機(jī)器視覺(jué)》科學(xué)出版社，2005章毓晉《圖像理解與計(jì)算機(jī)視覺(jué)》清華大學(xué)出版社，2000課程教材：機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第3頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)第一章概論Chapter1Introduction機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第4頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)耳眼鼻舌身1.1引言感知系統(tǒng)：視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)、味覺(jué)和觸覺(jué).其中約80%的信息是由視覺(jué)獲取的．機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第5頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)智能機(jī)器:能模擬人類的功能，能感知外部世界并有效地解決人所能解決問(wèn)題.賦予機(jī)器以人類視覺(jué)功能是及其重要的，也由此形成了一門新的學(xué)科—機(jī)器視覺(jué)。

機(jī)器視覺(jué)：研究用機(jī)器來(lái)模擬生物外顯或宏觀視覺(jué)功能的科學(xué)和技術(shù)．機(jī)器視覺(jué)系統(tǒng)的首要目標(biāo)是用圖像創(chuàng)建或恢復(fù)現(xiàn)實(shí)世界模型，然后認(rèn)知現(xiàn)實(shí)世界．機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第6頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)

20世紀(jì)50年代歸入模式識(shí)別----主要集中在二維圖像分析和識(shí)別上，如，光學(xué)字符識(shí)別，工件表面、顯微圖片和航空?qǐng)D片的分析和解釋等．60年代MIT的Roberts通過(guò)計(jì)算機(jī)程序從數(shù)字圖像中提取出諸如立方體、楔形體、棱柱體等多面體的三維結(jié)構(gòu)，并對(duì)物體形狀及物體的空間關(guān)系進(jìn)行描述．Roberts的研究工作開(kāi)創(chuàng)了以理解三維場(chǎng)景為目的的三維計(jì)算機(jī)視覺(jué)的研究．“積木世界”．70年代出現(xiàn)一些視覺(jué)應(yīng)用系統(tǒng)．70年代中期，麻省理工學(xué)院(MIT)人工智能(AI)實(shí)驗(yàn)室正式開(kāi)設(shè)“機(jī)器視覺(jué)”(

MachineVision)課程．1.2機(jī)器視覺(jué)的發(fā)展機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第7頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)MITAI實(shí)驗(yàn)室，DavidMarr于1977年提出了不同于“積木世界”分析方法的計(jì)算視覺(jué)理論(computationalvision)．20世紀(jì)80年代機(jī)器視覺(jué)獲得了蓬勃發(fā)展，新概念、新方法、新理論不斷涌現(xiàn)。比如，基于感知特征群的物體識(shí)別理論框架，主動(dòng)視覺(jué)理論框架，視覺(jué)集成理論框架等．機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第8頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)許多國(guó)際會(huì)議都反應(yīng)了該領(lǐng)域的最新進(jìn)展，比如：Int.Conf.onComputerVisionandPatternRecognition(CVPR);Int.Conf.onComputerVision(ICCV);Int.Conf.onPatternRecognition(ICPR);Int.Conf.onRoboticsandAutomation(ICRA);WorkshoponComputerVision,SPIE．還有許多學(xué)報(bào)期刊也包含了這一領(lǐng)域的最新研究成果,如：IEEETrans.onPatternAnalysisandMachineIntelligence(PAMI);ComputerVision,Graphics,andImageProcessing(CVGIP);IEEETrans.onImageProcessing;MachineVisionandApplications;ImageandVisionComputing;PatternRecognition．機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第9頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)

1.3.1信息處理三個(gè)層次1.3Marr的視覺(jué)計(jì)算理論

Marr的視覺(jué)計(jì)算理論[Marr1982]立足于計(jì)算機(jī)科學(xué)，系統(tǒng)地概括了心理生理學(xué)、神經(jīng)生理學(xué)等方面取得的所有重要成果，大大推動(dòng)了機(jī)器視覺(jué)研究的發(fā)展．Marr視覺(jué)理論中的方法論.機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第10頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)1.3.2視覺(jué)信息處理第一階段(早期階段)是將輸入的原始圖像進(jìn)行處理，抽取圖像中諸如角點(diǎn)、邊緣、紋理、線條、邊界等基本特征，這些特征的集合稱為基元圖.第二階段(中期階段)是指在以觀測(cè)者為中心的坐標(biāo)系中，由輸入圖像和基元圖恢復(fù)場(chǎng)景可見(jiàn)部分的深度、法線方向、輪廓等，這些信息的包含了深度信息，但不是真正的物體三維表示，因此，稱為二維半圖.第三階段(后期階段)是在以物體為中心的坐標(biāo)系中，由輸入圖像、基元圖、二維半圖來(lái)恢復(fù)、表示和識(shí)別三維物體.機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第11頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)

¤視覺(jué)處理框架中的輸入是被動(dòng)的，給什么圖像就處理什么圖像。

¤視覺(jué)處理框架中的目的是固定的，總是恢復(fù)場(chǎng)景中的物體位置和形狀。

¤沒(méi)有足夠地重視高層知識(shí)的交互指導(dǎo)應(yīng)用。

¤視覺(jué)處理框架基本上是自下而上，單向流動(dòng)，沒(méi)有反饋。1.3.3Marr視覺(jué)理論的不足機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第12頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第13頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)1.4計(jì)算機(jī)視覺(jué)的應(yīng)用零件識(shí)別與定位（工業(yè)生產(chǎn)線）產(chǎn)品檢驗(yàn)（紡織工業(yè)棉花質(zhì)量檢驗(yàn)）移動(dòng)機(jī)器人導(dǎo)航（星球機(jī)器人）遙感圖像分析（植被分析）醫(yī)學(xué)圖像分析（骨骼定位）安全鑒別、監(jiān)視與跟蹤（門禁系統(tǒng)）國(guó)防系統(tǒng)（目標(biāo)自動(dòng)識(shí)別與目標(biāo)跟蹤）其它（動(dòng)畫、體育、考古）機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第14頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)A.零件識(shí)別與定位機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第15頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)B.產(chǎn)品檢驗(yàn)機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第16頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)C.機(jī)器人機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第17頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第18頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)無(wú)人駕駛機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第19頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)D.遙感圖像機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第20頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)制導(dǎo)機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第21頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)紅外機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第22頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)生態(tài)環(huán)境自然災(zāi)害農(nóng)業(yè)調(diào)查海岸形貌機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第23頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)E.醫(yī)學(xué)分析、專家系統(tǒng)機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第24頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)F.安全檢驗(yàn)、監(jiān)視跟蹤機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第25頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第26頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)G.影視制作、虛擬環(huán)境機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第27頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第28頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)三維重建機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第29頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)多目立體視覺(jué)機(jī)機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第30頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)1.5.機(jī)器視覺(jué)的研究?jī)?nèi)容(1)輸入設(shè)備(inputdevice)包括成像設(shè)備和數(shù)字化設(shè)備．成象設(shè)備是指通過(guò)光學(xué)攝像機(jī)或紅外、激光、超聲、X射線對(duì)周圍場(chǎng)景或物體進(jìn)行探測(cè)成象，得到關(guān)于場(chǎng)景或物體的二維或三維數(shù)字化圖像．(2)低層視覺(jué)(lowlevel)對(duì)輸入的原始圖像進(jìn)行處理．借用圖像處理技術(shù)和算法，如圖像濾波、圖像增強(qiáng)、邊緣檢測(cè)等，以便從圖像中抽取諸如角點(diǎn)、邊緣、線條、邊界以及色彩等關(guān)于場(chǎng)景的基本特征；各種圖像變換、圖像紋理檢測(cè)、圖像運(yùn)動(dòng)檢測(cè)等．機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第31頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)(3)中層視覺(jué)（middlelevel）主要任務(wù)是恢復(fù)場(chǎng)景的深度、表面法線方向、輪廓等有關(guān)場(chǎng)景的2．5維信息，實(shí)現(xiàn)的途徑有立體視覺(jué)、測(cè)距成像運(yùn)動(dòng)估計(jì)、明暗特征、紋理特征等估計(jì)方法．系統(tǒng)標(biāo)定、系統(tǒng)成像模型等研究?jī)?nèi)容一般也在這個(gè)層次上．(4)高層視覺(jué)（highlevel）主要任務(wù)是在以物體為中心的坐標(biāo)系中，在原始輸入圖像、圖像基本特征、2．5維圖的基礎(chǔ)上，恢復(fù)物體的完整三維圖，建立物體三維描述，識(shí)別三維物體并確定物體的位置和方向．機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第32頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)(5)體系結(jié)構(gòu)（systemarchitecture）

在高度抽象的層次上，根據(jù)系統(tǒng)模型而不是根據(jù)實(shí)現(xiàn)設(shè)計(jì)的具體例子來(lái)研究系統(tǒng)的結(jié)構(gòu)．好比于建筑設(shè)計(jì)中某一時(shí)期的建筑風(fēng)格和根據(jù)這一風(fēng)格設(shè)計(jì)出來(lái)的具體建筑之間的區(qū)別．體系結(jié)構(gòu)研究涉及一系列相關(guān)的課題：并行結(jié)構(gòu)、分層結(jié)構(gòu)、信息流結(jié)構(gòu)、拓?fù)浣Y(jié)構(gòu)以及從設(shè)計(jì)到實(shí)現(xiàn)的途徑．機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第33頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)1.6.計(jì)算機(jī)視覺(jué)研究面臨的困難（1）圖像多義性：三維場(chǎng)景被投影為二維圖像，深度和不可見(jiàn)部分的信息被丟失，因而會(huì)出現(xiàn)不同形狀的三維物體投影在圖像平面上產(chǎn)生相同圖像的問(wèn)題．機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第34頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)（2）環(huán)境影響：場(chǎng)景中的諸多因素，包括照明、物體形狀、表面顏色、攝像機(jī)以及空間關(guān)系變化都會(huì)對(duì)成像有影響.（3）知識(shí)導(dǎo)引：同樣的圖像在不同的知識(shí)導(dǎo)引下，將會(huì)產(chǎn)生不同的識(shí)別結(jié)果．機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第35頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)（4）大量數(shù)據(jù)：灰度圖像，彩色圖像，深度圖像的信息量十分巨大，需要很大的存貯空間，不易實(shí)現(xiàn)快速處理．機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第36頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)1.7機(jī)器視覺(jué)與其它學(xué)科領(lǐng)域（1）圖像處理：圖像處理通常是把一幅圖像變換成另外一幅圖像，也就是說(shuō)，圖像處理系統(tǒng)的輸入是圖像，輸出仍然是圖像，信息恢復(fù)任務(wù)則留給人來(lái)完成.（2）計(jì)算機(jī)圖形學(xué)：通過(guò)幾何基元，如線、圓和自由曲面，來(lái)生成圖像，它在可視化和虛擬現(xiàn)實(shí)中起著很重要的作用．(計(jì)算機(jī)視覺(jué)正好是解決相反的問(wèn)題—圖像分析．)（3）模式識(shí)別：用于識(shí)別各種符號(hào)、圖畫等平面圖形．模式一般指一類事物區(qū)別于其它事物所具有的共同特征。機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第37頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)（3）人工智能（AI）：涉及到智能系統(tǒng)的設(shè)計(jì)和智能計(jì)算的研究．在經(jīng)過(guò)圖像處理和圖像特征提取過(guò)程后，用人工智能方法對(duì)場(chǎng)景特征進(jìn)行表示，并分析和理解場(chǎng)景．人工智能有三個(gè)過(guò)程：感知、認(rèn)知和行動(dòng)．（4）生物物理學(xué)與認(rèn)知科學(xué)：將人類視覺(jué)作為主要的研究對(duì)象．計(jì)算機(jī)視覺(jué)中已有的許多方法與人類視覺(jué)極為相似．希望計(jì)算機(jī)視覺(jué)更加自然化，更加接近生物視覺(jué).機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第38頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)可見(jiàn)光譜:380-780nm1.8人類視覺(jué)簡(jiǎn)介機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第39頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)人類視覺(jué)構(gòu)造角膜、虹膜、瞳孔晶狀體、睫狀肌玻璃體視軸、光軸視網(wǎng)膜當(dāng)前第40頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第41頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)視網(wǎng)膜:φ6.中央黃斑φ2.中央凹φ1.1萬(wàn)萬(wàn)桿體細(xì)胞：暗視覺(jué)650萬(wàn)錐體細(xì)胞：明視覺(jué)430*540*570nm機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第42頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第43頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)任何一種神經(jīng)細(xì)胞的輸出都依賴于視網(wǎng)膜上的許多光感受器.任何一個(gè)光感受器的輸出將對(duì)許多神經(jīng)細(xì)胞的輸出有貢獻(xiàn).感受野：影響神經(jīng)細(xì)胞的光感受細(xì)胞的全體.

感受野當(dāng)前第44頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第45頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)視覺(jué)通路入視網(wǎng)膜（桿體和錐體細(xì)胞?神經(jīng)信號(hào)→神經(jīng)節(jié)細(xì)胞?神經(jīng)信號(hào)）出視網(wǎng)膜→視神經(jīng)束→視交叉神經(jīng)纖維?形成新視束→中樞的各個(gè)部位；第一通路外膝體或外膝核、四疊體上丘頂蓋前區(qū)和皮層等第二通路上丘和頂蓋前區(qū)>丘腦枕>視皮層機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第46頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)視覺(jué)第一通路機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第47頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)視覺(jué)信息的并行處理機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第48頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)視覺(jué)視差機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第49頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)1)非視覺(jué)性深度線索:

視覺(jué)的空間知覺(jué)眼睛聚焦調(diào)節(jié):晶狀體的調(diào)節(jié).共焦測(cè)距.雙眼視軸的幅合：視軸偏轉(zhuǎn)角.三角測(cè)距.2)雙眼深度線索:中央眼.機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第50頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)3)單眼深度線索:大小：近：成像大；遠(yuǎn)：成像小.物體遮擋：遮擋來(lái)判斷物體的前后距離.光亮陰影：近：物體明亮；遠(yuǎn)：物體灰暗.顏色分布：近：黃或紅；遠(yuǎn)：藍(lán).空氣透視：近：輪廓清晰；遠(yuǎn)：模糊不清.紋理：近：紋理稀疏；遠(yuǎn)：紋理密集.運(yùn)動(dòng)：近：視角變化大；遠(yuǎn)：視角變化小.機(jī)器視覺(jué)測(cè)量技術(shù)當(dāng)前第51頁(yè)\共有59頁(yè)\編于星期三\2點(diǎn)視覺(jué)特性B.空間特性覺(jué)察：檢測(cè)在視野中某個(gè)給定物體存在與否。定位：對(duì)兩個(gè)物體相對(duì)位置精確辨別的能力。解像：對(duì)某視覺(jué)形狀各組成部分之間距離的辨別能力(顯示分辨)認(rèn)知：綜合的能力和方法，一定的解像力和定位能力。A、時(shí)間特性累積效應(yīng)：視覺(jué)受光總量E∝物體可見(jiàn)面積S＋表面亮度L＋觀察時(shí)間T光感受潛伏期：多次閃光導(dǎo)