計(jì)算機(jī)視覺發(fā)展史

計(jì)算機(jī)視覺發(fā)展史19五月202321.引言

智能機(jī)器:能模擬人類的功能，能感知外部世界并有效地解決人所能解決問題．感知系統(tǒng)：人類感知外部世界主要是通過視覺、觸覺、聽覺和嗅覺等感覺器官，其中約80%的信息是由視覺獲取的．因此,對于智能機(jī)器來說，賦予機(jī)器以人類視覺功能對發(fā)展智能機(jī)器是及其重要的，也由此形成了一門新的學(xué)科—計(jì)算機(jī)視覺(也稱機(jī)器視覺或圖像分析與理解等)．計(jì)算機(jī)視覺的發(fā)展不僅將大大推動(dòng)智能系統(tǒng)的發(fā)展，也將拓寬計(jì)算機(jī)與各種智能機(jī)器的研究范圍和應(yīng)用領(lǐng)域．

計(jì)算機(jī)視覺：研究用計(jì)算機(jī)來模擬生物視覺功能的科學(xué)和技術(shù)．計(jì)算機(jī)視覺系統(tǒng)的首要目標(biāo)是用圖像創(chuàng)建或恢復(fù)現(xiàn)實(shí)世界模型，然后認(rèn)知現(xiàn)實(shí)世界．19五月20233

20世紀(jì)50年代歸入模式識別----主要集中在二維圖像分析和識別上，如，光學(xué)字符識別，工件表面、顯微圖片和航空圖片的分析和解釋等．60年代MIT的Roberts通過計(jì)算機(jī)程序從數(shù)字圖像中提取出諸如立方體、楔形體、棱柱體等多面體的三維結(jié)構(gòu)，并對物體形狀及物體的空間關(guān)系進(jìn)行描述．Roberts的研究工作開創(chuàng)了以理解三維場景為目的的三維計(jì)算機(jī)視覺的研究．Roberts對積木世界的創(chuàng)造性研究給人們以極大的啟發(fā)，許多人相信，一旦由白色積木玩具組成的三維世界可以被理解，則可以推廣到理解更復(fù)雜的三維場景．70年代，已經(jīng)出現(xiàn)了一些視覺應(yīng)用系統(tǒng)．70年代中期，麻省理工學(xué)院(MIT)人工智能(AI)實(shí)驗(yàn)室正式開設(shè)“計(jì)算機(jī)視覺”(

MachineVision)課程，由B．K．P．Horn教授講授．2.計(jì)算機(jī)視覺發(fā)展19五月20234MITAI實(shí)驗(yàn)室吸引了國際上許多知名學(xué)者參與計(jì)算機(jī)視覺的理論、算法、系統(tǒng)設(shè)計(jì)的研究，DavidMarr教授就是其中的一位．他于1973年應(yīng)邀在MITAI實(shí)驗(yàn)室領(lǐng)導(dǎo)一個(gè)以博士生為主體的研究小組，1977年提出了不同于“積木世界”分析方法的計(jì)算視覺理論(computationalvision)，該理論在80年代成為計(jì)算機(jī)視覺研究領(lǐng)域中的一個(gè)十分重要的理論框架．19五月20235研究熱潮是從20世紀(jì)80年代開始的，到了80年代中期，計(jì)算機(jī)視覺獲得了蓬勃發(fā)展，新概念、新方法、新理論不斷涌現(xiàn)，比如，基于感知特征群的物體識別理論框架，主動(dòng)視覺理論框架，視覺集成理論框架等．Marr的計(jì)算理論19五月20236許多會(huì)議論文集都反應(yīng)了該領(lǐng)域的最新進(jìn)展，比如：Int.Conf.onComputerVisionandPatternRecognition(CVPR);Int.Conf.onComputerVision(ICCV);Int.Conf.onPatternRecognition(ICPR);Int.Conf.onRoboticsandAutomation(ICRA);WorkshoponComputerVision,SPIE．還有許多學(xué)術(shù)期刊也包含了這一領(lǐng)域的最新研究成果,如：IEEETrans.onPatternAnalysisandMachineIntelligence(PAMI);ComputerVision,Graphics,andImageProcessing(CVGIP);IEEETrans.onImageProcessing;IEEETrans.onSystems,Man,andCybernetics(SMC);MachineVisionandApplications;Int.JonComputerVision(IJCV);ImageandVisionComputing;PatternRecognition．19五月202373.Marr的視覺計(jì)算理論Marr的視覺計(jì)算理論[Marr1982]立足于計(jì)算機(jī)科學(xué)，系統(tǒng)地概括了心理生理學(xué)、神經(jīng)生理學(xué)等方面取得的所有重要成果，是視覺研究中迄今為止最為完善的視覺理論．Marr建立的視覺計(jì)算理論，使計(jì)算機(jī)視覺研究有了一個(gè)比較明確的體系，并大大推動(dòng)了計(jì)算機(jī)視覺研究的發(fā)展．人們普遍認(rèn)為，計(jì)算機(jī)視覺這門學(xué)科的形成與Marr的視覺理論有著密切的關(guān)系．19五月202383.1信息處理三個(gè)層次19五月202393.2視覺表示框架第一階段(也稱為早期階段)是將輸入的原始圖像進(jìn)行處理，抽取圖像中諸如角點(diǎn)、邊緣、紋理、線條、邊界等基本特征，這些特征的集合稱為基元圖(primitivesketch)；第二階段(中期階段)是指在以觀測者為中心的坐標(biāo)系中，由輸入圖像和基元圖恢復(fù)場景可見部分的深度、法線方向、輪廓等，這些信息的包含了深度信息，但不是真正的物體三維表示，因此，稱為二維半圖(2．5dimensionalsketch)；第三階段(后期階段)是在以物體為中心的坐標(biāo)系中，由輸入圖像、基元圖、二維半圖來恢復(fù)、表示和識別三維物體。19五月202310表1-2由圖像恢復(fù)形狀信息的表示框架19五月202311Marr理論是計(jì)算機(jī)視覺研究領(lǐng)域的劃時(shí)代成就，但該理論不是十分完善的，許多方面還有爭議．比如:

視覺處理框架基本上是自下而上，沒有反饋;

沒有足夠地重視知識的應(yīng)用．Marr理論給了我們研究計(jì)算機(jī)視覺許多珍貴的哲學(xué)思想和研究方法，同時(shí)也給計(jì)算機(jī)視覺研究領(lǐng)域創(chuàng)造了許多研究起點(diǎn)。3.3Marr視覺理論的不足19五月20231219五月2023134.計(jì)算機(jī)視覺的應(yīng)用

零件識別與定位（工業(yè)生產(chǎn)線）產(chǎn)品檢驗(yàn)（紡織工業(yè)棉花質(zhì)量檢驗(yàn)）移動(dòng)機(jī)器人導(dǎo)航（星球機(jī)器人）遙感圖像分析（植被分析）醫(yī)學(xué)圖像分析（骨骼定位）安全鑒別、監(jiān)視與跟蹤（門禁系統(tǒng)）國防系統(tǒng)（目標(biāo)自動(dòng)識別ATR與目標(biāo)跟蹤）其它（動(dòng)畫、體育、考古）19五月202314Sojourner火星車前部圖，中部的兩個(gè)小突出是兩個(gè)黑白CCD攝像機(jī)19五月20231519五月202316Rocky7火星機(jī)器人19五月20231719五月202318

Rocky7視覺系統(tǒng)獲取的立體圖象對障礙物探測示意圖Rocky7視覺系統(tǒng)對場景的深度恢復(fù)

19五月202319CMU月球探測實(shí)驗(yàn)車Nomad漫游者19五月202320月球探測實(shí)驗(yàn)車Nomad漫游者19五月202321昆蟲機(jī)器人足球機(jī)器人足球機(jī)器人19五月202322日本

Honda

仿人機(jī)器人19五月202323具有立體視覺的機(jī)器人19五月202324人頭部跟蹤演示19五月202325MITMediaLab，與虛擬生物交互演示19五月202326基于恢復(fù)圖象序列的五角大樓三維重建19五月202327基于圖象序列的三維人臉恢復(fù)19五月202328視覺系統(tǒng)坐標(biāo)系像素坐標(biāo)：表示圖像陣列中圖像像素的位置；圖像平面坐標(biāo)：表示場景點(diǎn)在圖像平面上的投影；攝象機(jī)坐標(biāo)：即以觀察者為中心的坐標(biāo)，將場景點(diǎn)表示成以觀察者為中心的數(shù)據(jù)形式．場景坐標(biāo)：也稱作絕對坐標(biāo)(或世界坐標(biāo))，用于表示場景點(diǎn)的絕對坐標(biāo)；19五月2023295.計(jì)算機(jī)視覺的研究內(nèi)容一、輸入設(shè)備(inputdevice)包括成像設(shè)備和數(shù)字化設(shè)備．成象設(shè)備是指通過光學(xué)攝像機(jī)或紅外、激光、超聲、X射線對周圍場景或物體進(jìn)行探測成象，得到關(guān)于場景或物體的二維或三維數(shù)字化圖像．二、低層視覺(lowlevel)主要是對輸入的原始圖像進(jìn)行處理．這一過程借用了大量的圖像處理技術(shù)和算法，如圖像濾波、圖像增強(qiáng)、邊緣檢測等，以便從圖像中抽取諸如角點(diǎn)、邊緣、線條、邊界以及色彩等關(guān)于場景的基本特征；這一過程還包含了各種圖像變換（如校正）、圖像紋理檢測、圖像運(yùn)動(dòng)檢測等．19五月202330三、中層視覺（middlelevel）主要任務(wù)是恢復(fù)場景的深度、表面法線方向、輪廓等有關(guān)場景的2．5維信息，實(shí)現(xiàn)的途徑有立體視覺（stereovision）、測距成像（rangefinder）運(yùn)動(dòng)估計(jì)（motionestimation）、明暗特征、紋理特征等.系統(tǒng)標(biāo)定、系統(tǒng)成像模型等研究內(nèi)容一般也是在這個(gè)層次上進(jìn)行的．四、高層視覺（highlevel）主要任務(wù)是在以物體為中心的坐標(biāo)系中，在原始輸入圖像、圖像基本特征、2．5維圖的基礎(chǔ)上，恢復(fù)物體的完整三維圖，建立物體三維描述，識別三維物體并確定物體的位置和方向．19五月2023316.計(jì)算機(jī)視覺研究面臨的困難（1）圖像多義性：三維場景被投影為二維圖像，深度和不可見部分的信息被丟失，因而會(huì)出現(xiàn)不同形狀的三維物體投影在圖像平面上產(chǎn)生相同圖像的問題．另外，在不同角度獲取同一物體的圖像會(huì)有很大的差異．（2）環(huán)境因素影響：場景中的諸多因素，包括照明、物體形狀、表面顏色、攝像機(jī)以及空間關(guān)系變化都會(huì)對成像有影響，（3）知識導(dǎo)引：同樣的圖像在不同的知識導(dǎo)引下，將會(huì)產(chǎn)生不同的識別結(jié)果．．（4）大量數(shù)據(jù)：灰度圖像，彩色圖像，深度圖像的信息量十分巨大，巨大的數(shù)據(jù)量需要很大的存貯空間，同時(shí)不易實(shí)現(xiàn)快速處理．19五月2023327.計(jì)算機(jī)視覺與其它學(xué)科領(lǐng)域的關(guān)系（1）圖像處理：圖像處理通常是把一幅圖像變換成另外一幅圖像，也就是說，圖像處理系統(tǒng)的輸入是圖像，輸出仍然是圖像，信息恢復(fù)任務(wù)則留給人來完成（2）計(jì)算機(jī)圖形學(xué)：通過幾何基元，如線、圓和自由曲面，來生成圖像，它在可視化（Visualization）和虛擬現(xiàn)實(shí)(VirtualReality）中起著很重要的作用．計(jì)算機(jī)視覺正好是解決相反的問題，即從圖像中估計(jì)幾何基元和其它特征．因此，計(jì)算機(jī)圖形學(xué)屬于圖像綜合，計(jì)算機(jī)視覺屬于圖像分析．（3）模式識別：用于識別各種符號、圖畫等平面圖形．模式一般指一類事物區(qū)別于其它事物所具有的共同特征。模式識別方法有統(tǒng)計(jì)方法和句法方法兩種，統(tǒng)計(jì)方法是指從模式抽取一組特征值，并以劃分特征空間的方法來識別每一個(gè)模式19五月202333（4）人工智能（AI）：涉及到智能系統(tǒng)的設(shè)計(jì)和智能計(jì)算的研究．在經(jīng)過圖像處理和圖像特征提取過程后，接下來要用人工智能方法對場景特征進(jìn)行表示，并分析和理解場景．人工智能有三個(gè)過程：感知、認(rèn)知和行動(dòng)．．（5）人工神經(jīng)網(wǎng)絡(luò)（ANNs）：是一種信息處理系統(tǒng)，它是由大量簡單的處理單元（稱為神經(jīng)元）通過具有強(qiáng)度的連接相互聯(lián)系起來，實(shí)現(xiàn)并行分布式處理（PDP）．人工神經(jīng)網(wǎng)絡(luò)的最大特點(diǎn)是可以通過改變連接強(qiáng)度來調(diào)整系統(tǒng)，使之適應(yīng)復(fù)雜的環(huán)境，實(shí)現(xiàn)類似人的學(xué)習(xí)、歸納和分類等功能．（6）神經(jīng)物理學(xué)與認(rèn)知科學(xué)：將人類視覺作為主要的研究對象．計(jì)算機(jī)視覺中已有的許多方法與人類視覺極為相似．許多計(jì)算機(jī)視覺研究者對研究人類視覺計(jì)算模型比研究計(jì)算機(jī)視覺系統(tǒng)更感興趣，希望計(jì)算機(jī)視覺更加自然化，更加接近生物視覺19五月2023348.計(jì)算機(jī)視覺研究對策

研究人員不斷尋求新的途徑和手段，比如，主動(dòng)視覺(activevision)，面向任務(wù)的視覺(task-orientedvision)，基于知識、基于模型的視覺，以及多傳感融合和集成視覺等方法，其中人們越來越重視對知識的應(yīng)用．我們會(huì)看到，計(jì)算機(jī)視覺系統(tǒng)的最大特征是，在視覺的各個(gè)階段，系統(tǒng)盡可能地進(jìn)行自動(dòng)運(yùn)算．為此，系統(tǒng)需要使用各種知識，包括特征模型、成像過程、物體模型和物體間的關(guān)系．如果計(jì)算機(jī)視覺系統(tǒng)不用這些知識，則其應(yīng)用的范圍及其功能將十分有限．因此，視覺系統(tǒng)應(yīng)該使用那些可以被明確表示的知識，以使系統(tǒng)具有更高的適應(yīng)性和魯棒性．合理地使用知識不僅可以有效地提高系統(tǒng)的適應(yīng)性和魯棒性，而且可以求解計(jì)算機(jī)視覺中較難的問題．19五月2023351．基于視覺感知與認(rèn)知機(jī)理的圖像分析與識別系統(tǒng)研究目標(biāo)：突破基于人類視覺感知與認(rèn)知機(jī)理的圖像處理模型、關(guān)鍵技術(shù)和算法，建立個(gè)性化、高準(zhǔn)確度的圖像分析與識別系統(tǒng)。研究內(nèi)容：分層交互的統(tǒng)計(jì)視覺計(jì)算模型與推理，基于感知整合機(jī)制的視覺模式識別技術(shù)，具有選擇性注意機(jī)制的視覺信息搜索與多目標(biāo)跟蹤模型。863計(jì)劃信息技術(shù)領(lǐng)域2006年度專題課題申請指南目標(biāo)導(dǎo)向類課題