機(jī)器視覺(jué)-第1章-概述VIP

機(jī)器視覺(jué)：1.概述機(jī)器視覺(jué)應(yīng)用機(jī)器視覺(jué)發(fā)展簡(jiǎn)史機(jī)器視覺(jué)任務(wù)

內(nèi)容組織與教學(xué)建議

機(jī)器視覺(jué)的定義機(jī)器視覺(jué)的定義什么是機(jī)器視覺(jué)1.1什么是機(jī)器視覺(jué)Part14“百聞不如一見”：視覺(jué)占感知信息的75%-80%讓機(jī)器具有像人一樣的智能，能夠通過(guò)視覺(jué)感知和理解環(huán)境，是人類長(zhǎng)久以來(lái)的夢(mèng)想。機(jī)器視覺(jué)：讓機(jī)器如何“看到”的科學(xué)1.1什么是機(jī)器視覺(jué)Part15從圖像看視覺(jué)的直觀定義畫面里都有什么？人、車和房子在什么位置？目標(biāo)在做什么？目標(biāo)間有什么關(guān)系？1.1什么是機(jī)器視覺(jué)Part16目標(biāo)的分割和識(shí)別；目標(biāo)的三維位置信息；行為理解與分析；語(yǔ)義理解與推理。上述問(wèn)題對(duì)應(yīng)了視覺(jué)從底層到高層的不同認(rèn)知層次：機(jī)器視覺(jué)任務(wù)正式定義基本任務(wù)2.1機(jī)器視覺(jué)的正式定義Part28機(jī)器視覺(jué)是使用光學(xué)器件進(jìn)行非接觸感知，自動(dòng)獲取和解釋一個(gè)真實(shí)場(chǎng)景的圖像，以獲取信息和(/或)控制機(jī)器或過(guò)程。SME(美國(guó)制造工程師協(xié)會(huì))關(guān)于機(jī)器視覺(jué)的定義：機(jī)器視覺(jué)系統(tǒng)的輸入是外界環(huán)境圖像或圖像序列（視頻），輸出則是視覺(jué)處理后的信息，這些信息可作為最終結(jié)果直接反饋給人類或輸出至其他設(shè)備，作為最終控制及決策的依據(jù)。根據(jù)這一定義：2.2機(jī)器視覺(jué)基本任務(wù)Part29在制造業(yè)中，機(jī)器視覺(jué)的基本任務(wù)包括測(cè)量、檢測(cè)、定位與識(shí)別。92.2機(jī)器視覺(jué)基本任務(wù)Part210機(jī)器視覺(jué)基本任務(wù)——測(cè)量102.2機(jī)器視覺(jué)基本任務(wù)Part211機(jī)器視覺(jué)基本任務(wù)——檢測(cè)11外觀缺陷檢測(cè)2.2機(jī)器視覺(jué)基本任務(wù)Part212機(jī)器視覺(jué)基本任務(wù)——定位12坐標(biāo)輸出定位內(nèi)部特征定位2.2機(jī)器視覺(jué)基本任務(wù)Part213機(jī)器視覺(jué)基本任務(wù)——識(shí)別13光學(xué)字符識(shí)別顏色識(shí)別2.2機(jī)器視覺(jué)基本任務(wù)Part214除制造領(lǐng)域外，機(jī)器視覺(jué)還在消費(fèi)電子、自動(dòng)駕駛、醫(yī)療、能源等領(lǐng)域有廣泛應(yīng)用，包括視覺(jué)引導(dǎo)機(jī)器人、視覺(jué)跟蹤系統(tǒng)、視覺(jué)輔助導(dǎo)航、自動(dòng)駕駛、能源生產(chǎn)過(guò)程自動(dòng)化等。14機(jī)器視覺(jué)發(fā)展簡(jiǎn)史相關(guān)學(xué)科相關(guān)學(xué)科發(fā)展機(jī)器視覺(jué)發(fā)展3.1機(jī)器視覺(jué)相關(guān)學(xué)科Part316和如下學(xué)科密切相關(guān)：視覺(jué)神經(jīng)生理學(xué)人工智能與機(jī)器學(xué)習(xí)數(shù)字圖像處理神經(jīng)生理學(xué)圖像處理機(jī)器學(xué)習(xí)人工智能機(jī)器視覺(jué)3.2相關(guān)學(xué)科發(fā)展Part3171958年，美國(guó)DavidHubel和TorstenWiesel在JohnHopkins大學(xué)通過(guò)測(cè)試貓的視皮質(zhì)細(xì)胞，發(fā)現(xiàn)視皮質(zhì)細(xì)胞只對(duì)視網(wǎng)膜上的圖像的某些特定細(xì)節(jié)有反應(yīng)，并且這些細(xì)胞似乎會(huì)自然映射到不同角度（1981年獲諾貝爾生理學(xué)獎(jiǎng)）視覺(jué)神經(jīng)生理學(xué)3.2相關(guān)學(xué)科發(fā)展Part318人的視覺(jué)系統(tǒng)采用分級(jí)信息處理方式，對(duì)應(yīng)不同層次處理的細(xì)胞呈層狀排列，即視覺(jué)皮層。視覺(jué)神經(jīng)生理學(xué)3.2相關(guān)學(xué)科發(fā)展Part319初級(jí)視覺(jué)系統(tǒng)中的神經(jīng)元感受野較小，可實(shí)現(xiàn)高分辨率的視覺(jué)處理。每個(gè)感受野的時(shí)空結(jié)構(gòu)可視為對(duì)圖像的給定屬性進(jìn)行局部濾波的處理單元。隨著處理向高層移動(dòng)，感受野越來(lái)越大，特征復(fù)雜度不斷增加。對(duì)象識(shí)別是視覺(jué)層次化處理的一個(gè)典型示例，可通過(guò)多層協(xié)同作用構(gòu)造感受野的計(jì)算模型。視覺(jué)神經(jīng)生理學(xué)3.2相關(guān)學(xué)科發(fā)展Part3201956年，在由達(dá)特茅斯學(xué)院舉辦的一次會(huì)議上，JohnMcCarthy等科學(xué)家聚在一起，在討論中提出“人工智能”(ArtificialIntelligence)一詞，人工智能就此誕生。人工智能與機(jī)器學(xué)習(xí)3.2相關(guān)學(xué)科發(fā)展Part321五十年代末到六十年代初是人工智能早期迅速發(fā)展的時(shí)期1986年Hinton發(fā)明BP算法，人工智能進(jìn)入了第二次高潮期2016年，AlphaGo戰(zhàn)勝圍棋世界冠軍，人工智能進(jìn)入新的階段人工智能與機(jī)器學(xué)習(xí)3.2相關(guān)學(xué)科發(fā)展Part322通過(guò)人工智能方法，機(jī)器視覺(jué)一方面可以解決更為復(fù)雜的問(wèn)題，如根據(jù)視頻自動(dòng)生成描述字幕，在復(fù)雜環(huán)境中輔助人類進(jìn)行自動(dòng)駕駛等；另一方面，可針對(duì)不同的問(wèn)題建立共性的處理方法，如機(jī)器學(xué)習(xí)分類算法、深度學(xué)習(xí)等，為機(jī)器視覺(jué)的研究開辟了新的思路。人工智能與機(jī)器學(xué)習(xí)3.2相關(guān)學(xué)科發(fā)展Part323對(duì)已有的圖像進(jìn)行變換、分析、重構(gòu)，得到的仍是圖像。機(jī)器視覺(jué)是給定圖像，從圖像提取信息，包括景象的三維結(jié)構(gòu)，運(yùn)動(dòng)檢測(cè)，識(shí)別物體等。數(shù)字圖像處理2007年11月5日，我國(guó)嫦娥1號(hào)探月衛(wèi)星使用CCD相機(jī)拍攝的第一張?jiān)虑虮砻鎴D像3.3機(jī)器視覺(jué)發(fā)展Part324孕育期(20世紀(jì)70年代前)：早期機(jī)器視覺(jué)相關(guān)工作啟蒙期(20世紀(jì)80-90年代)：機(jī)器視覺(jué)誕生，并產(chǎn)生主要分支探索期(20世紀(jì)90年代中期-2012)：機(jī)器視覺(jué)+機(jī)器學(xué)習(xí)爆發(fā)期(2012-至今):卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)機(jī)器視覺(jué)的發(fā)展大致經(jīng)歷了四個(gè)階段：3.3機(jī)器視覺(jué)發(fā)展Part325早期的工作圍繞統(tǒng)計(jì)模式識(shí)別和視覺(jué)理解基礎(chǔ)工作展開機(jī)器視覺(jué)的發(fā)展——孕育期3.3機(jī)器視覺(jué)發(fā)展Part3261963年，LarryRoberts發(fā)表“三維固體的機(jī)器感知”論文，視覺(jué)世界被簡(jiǎn)化為簡(jiǎn)單的幾何形狀，而Larry試圖從圖像中解析出這些邊緣和形狀1966年，MIT的Minsky指導(dǎo)本科生G.Sussman“在暑期將攝像機(jī)連接到計(jì)算機(jī)上，讓計(jì)算機(jī)來(lái)描述他所看到的東西”。這一研究被認(rèn)為是機(jī)器視覺(jué)的開創(chuàng)工作機(jī)器視覺(jué)的發(fā)展——孕育期3.3機(jī)器視覺(jué)發(fā)展Part3271982Marr的“Vision:Acomputationalinvestigationintothehumanrepresentationandprocessingofvisualinformation”，標(biāo)志著機(jī)器視覺(jué)的誕生。機(jī)器視覺(jué)的發(fā)展——啟蒙期3.3機(jī)器視覺(jué)發(fā)展Part328Marr認(rèn)為從二維圖像恢復(fù)三維物體，經(jīng)歷了自下而上的三個(gè)階段機(jī)器視覺(jué)的發(fā)展——啟蒙期3.3機(jī)器視覺(jué)發(fā)展Part329此后，很多重要的數(shù)學(xué)工具被引入機(jī)器視覺(jué)，并建立分支圖像尺度空間表達(dá)機(jī)器視覺(jué)的發(fā)展——啟蒙期3.3機(jī)器視覺(jué)發(fā)展Part330此后，很多重要的數(shù)學(xué)工具被引入機(jī)器視覺(jué)，并建立分支基于馬爾科夫隨機(jī)場(chǎng)模型(MarkovRandomField,MRF)視覺(jué)處理機(jī)器視覺(jué)的發(fā)展——啟蒙期a)含噪圖像b)去噪圖像3.3機(jī)器視覺(jué)發(fā)展Part331此后，很多重要的數(shù)學(xué)工具被引入機(jī)器視覺(jué)，并建立分支基于攝影幾何理論的多視幾何機(jī)器視覺(jué)的發(fā)展——啟蒙期3.3機(jī)器視覺(jué)發(fā)展Part332此后，很多重要的數(shù)學(xué)工具被引入機(jī)器視覺(jué)，并建立分支偏微分方程(PDE)及變分法應(yīng)用機(jī)器視覺(jué)的發(fā)展——啟蒙期基于Snake活動(dòng)輪廓模型的圖像分割3.3機(jī)器視覺(jué)發(fā)展Part33320世紀(jì)90年代中后期開啟的特征工程時(shí)代重點(diǎn)圍繞復(fù)雜場(chǎng)景視覺(jué)識(shí)別、分類等任務(wù)，機(jī)器學(xué)習(xí)等技術(shù)與機(jī)器視覺(jué)結(jié)合日益緊密。機(jī)器視覺(jué)的發(fā)展——探索期3.3機(jī)器視覺(jué)發(fā)展Part334基于深度學(xué)習(xí)的處理方法的效果已全面超越傳統(tǒng)算法，并在實(shí)際中開始廣為應(yīng)用機(jī)器視覺(jué)的發(fā)展——爆發(fā)期3.3機(jī)器視覺(jué)發(fā)展Part335我國(guó)機(jī)器視覺(jué)產(chǎn)業(yè)起步相對(duì)較晚，近年來(lái)隨著國(guó)家大力推進(jìn)制造業(yè)轉(zhuǎn)型和智能制造，國(guó)內(nèi)制造業(yè)升級(jí)轉(zhuǎn)型和國(guó)產(chǎn)化替代的趨勢(shì)明顯加快，市場(chǎng)規(guī)?？焖偬嵘?。2017年至2022年，我國(guó)機(jī)器視覺(jué)市場(chǎng)規(guī)模由59億元增長(zhǎng)至225億元，復(fù)合增長(zhǎng)率達(dá)30.7%。隨著宏觀環(huán)境的改善、機(jī)器視覺(jué)技術(shù)的成熟及下游領(lǐng)域的拓寬，我國(guó)機(jī)器視覺(jué)行業(yè)將持續(xù)快速發(fā)展。機(jī)器視覺(jué)的發(fā)展——爆發(fā)期機(jī)器視覺(jué)應(yīng)用機(jī)器視覺(jué)應(yīng)用Part437機(jī)器視覺(jué)已滲透到了人類日常生活中的幾乎每個(gè)方面4.1機(jī)器人視覺(jué)分揀Part438機(jī)器視覺(jué)可以輔助機(jī)器人對(duì)傳送帶上的目標(biāo)進(jìn)行識(shí)別和跟蹤，并將相應(yīng)信息反饋給控制器，引導(dǎo)機(jī)械手臂完成自動(dòng)分揀任務(wù)。4.1機(jī)器人視覺(jué)分揀Part439基于視覺(jué)識(shí)別的機(jī)器人智能分揀工作流程：4.1機(jī)器人視覺(jué)分揀Part440實(shí)際機(jī)器人智能分揀系統(tǒng)4.2智能視頻監(jiān)控Part4411.對(duì)視頻內(nèi)容按照語(yǔ)義關(guān)系，采用目標(biāo)分割、圖像識(shí)別、分類、跟蹤等處理，將信息濃縮為結(jié)構(gòu)化文本或可視化圖像/視頻摘要信息。4.2智能視頻監(jiān)控Part4422.智能交通監(jiān)控系統(tǒng)是智能視頻監(jiān)控的另一重要應(yīng)用。4.3表面缺陷檢測(cè)Part443采用通過(guò)機(jī)器視覺(jué)技術(shù)，對(duì)鋰電池表面的露鋁、凹痕、劃痕、凹坑、針孔等缺陷進(jìn)行自動(dòng)檢測(cè)。4.4機(jī)器人視覺(jué)同時(shí)定位與建圖Part444采用視覺(jué)傳感器，在機(jī)器人操作的過(guò)程中對(duì)自己本身位姿進(jìn)行估計(jì)，并且能夠建立環(huán)境的信