圖象理解理論和系統(tǒng)ppt課件

1、章毓晉清華大學(xué)電子工程系 100084 北京圖象工程（下）第2頁第11講第第1212章圖象了解實(shí)際和系統(tǒng)章圖象了解實(shí)際和系統(tǒng) 12.1從感知到了解 12.2圖象了解實(shí)際框架 12.3圖象了解系統(tǒng)模型12.4詳細(xì)系統(tǒng)分析 12.5典型系統(tǒng)比較 12.6討論和展望 第3頁第11講12.1從感知到了解從感知到了解 1.感知了解的研討方法感知了解的研討方法 (1)分析方法分析方法分析方法從分析視覺刺激開場分析方法從分析視覺刺激開場得到了對大腦構(gòu)造研討結(jié)果的支持得到了對大腦構(gòu)造研討結(jié)果的支持已發(fā)現(xiàn)存在完成根本功能的特殊細(xì)胞，例如已發(fā)現(xiàn)存在完成根本功能的特殊細(xì)胞，例如感知邊緣、線條、運(yùn)動方向等的細(xì)胞感知邊

2、緣、線條、運(yùn)動方向等的細(xì)胞建立在不變假設(shè)上。對一個給定的視網(wǎng)膜投建立在不變假設(shè)上。對一個給定的視網(wǎng)膜投影方式，可以以為有無窮個能夠的場景會導(dǎo)致該影方式，可以以為有無窮個能夠的場景會導(dǎo)致該方式的產(chǎn)生。不變假設(shè)以為，在這么多個能夠的方式的產(chǎn)生。不變假設(shè)以為，在這么多個能夠的場景中，察看者總會選擇一個且只選擇一個場景中，察看者總會選擇一個且只選擇一個 第4頁第11講12.1從感知到了解從感知到了解 1.感知了解的研討方法感知了解的研討方法 (2)綜合方法綜合方法 試圖在感觀刺激中找出所察看世界的等價物試圖在感觀刺激中找出所察看世界的等價物 以為視網(wǎng)膜上的光學(xué)圖象包括圖象隨時間以為視網(wǎng)膜上的光學(xué)圖象包

3、括圖象隨時間的變化應(yīng)該包含感知空間目的所需求的全的變化應(yīng)該包含感知空間目的所需求的全部信息部信息其基于思緒是復(fù)雜和密集的視網(wǎng)膜刺激可幫其基于思緒是復(fù)雜和密集的視網(wǎng)膜刺激可幫助進(jìn)入視覺世界的不變量，即其最根本和本助進(jìn)入視覺世界的不變量，即其最根本和本質(zhì)的特性質(zhì)的特性 第5頁第11講12.1從感知到了解從感知到了解 2.圖象了解系統(tǒng)圖象了解系統(tǒng)完成視覺感知了解的系統(tǒng)是圖象了解系統(tǒng)完成視覺感知了解的系統(tǒng)是圖象了解系統(tǒng)視覺信息從廣義上說包括：視覺信息從廣義上說包括： 由人類視覺系統(tǒng)感知的信息由人類視覺系統(tǒng)感知的信息 由人類發(fā)明的各種視覺安裝所獲取的信息由人類發(fā)明的各種視覺安裝所獲取的信息 以及由這些信

4、息推導(dǎo)出的其它表示方式以及由這些信息推導(dǎo)出的其它表示方式 從上述這些信息中籠統(tǒng)出來的高級表達(dá)和行為規(guī)從上述這些信息中籠統(tǒng)出來的高級表達(dá)和行為規(guī)劃以及與這些信息親密相關(guān)的知識和處置這些信劃以及與這些信息親密相關(guān)的知識和處置這些信息所需的閱歷息所需的閱歷 第6頁第11講12.1從感知到了解從感知到了解 2.圖象了解系統(tǒng)圖象了解系統(tǒng)采集、表達(dá)、處置、分析和了解上述信息采集、表達(dá)、處置、分析和了解上述信息 根本問題是方式問題表達(dá)根本問題是方式問題表達(dá) 根本問題是組織問題管理根本問題是組織問題管理 實(shí)際還不完善，僅初步的實(shí)際框架實(shí)際還不完善，僅初步的實(shí)際框架馬爾馬爾Marr提出的視覺計算實(shí)際提出的視覺計

5、算實(shí)際 對人類視覺系統(tǒng)了解不充分對人類視覺系統(tǒng)了解不充分信號處置問題信號處置問題 人工智能問題人工智能問題 第7頁第11講12.2圖象了解實(shí)際框架圖象了解實(shí)際框架 12.2.1馬爾視覺計算實(shí)際12.2.2對馬爾實(shí)際框架的改良12.2.3關(guān)于馬爾重建實(shí)際的討論12.2.4新實(shí)際框架的研討 第8頁第11講12.2.1馬爾視覺計算實(shí)際馬爾1982年出版了一書 Marr D. 1982. Vision A Computational Investigation into the Human Representation and Processing of Visual Information. W.H

6、. Freeman 一個了解視覺信息處置的框架要先了解視覺目的再去了解其中細(xì)節(jié) 第9頁第11講12.2.1馬爾視覺計算實(shí)際1.視覺是一個復(fù)雜的信息加工過程視覺是一個復(fù)雜的信息加工過程視覺是一個遠(yuǎn)比人所想象更為復(fù)雜的信息加工視覺是一個遠(yuǎn)比人所想象更為復(fù)雜的信息加工義務(wù)和過程，而且其難度常不為人們所正視義務(wù)和過程，而且其難度常不為人們所正視為了解視覺這個復(fù)雜的過程，要處理兩個問題為了解視覺這個復(fù)雜的過程，要處理兩個問題 視覺信息的表達(dá)問題：某些信息是突出的和明確視覺信息的表達(dá)問題：某些信息是突出的和明確的，另一些信息那么是隱藏的和模糊的的，另一些信息那么是隱藏的和模糊的 視覺信息的加工問題：對信息

7、處置、分析、了解視覺信息的加工問題：對信息處置、分析、了解，將不同表達(dá)方式轉(zhuǎn)換，逐漸籠統(tǒng)，將不同表達(dá)方式轉(zhuǎn)換，逐漸籠統(tǒng) 第10頁第11講12.2.1馬爾視覺計算實(shí)際2.視覺信息加工的三個要素視覺信息加工的三個要素計算實(shí)際；算法實(shí)現(xiàn)；硬件實(shí)現(xiàn)計算實(shí)際；算法實(shí)現(xiàn)；硬件實(shí)現(xiàn) 計算實(shí)際計算實(shí)際可計算性問題：一個義務(wù)要用計算機(jī)完成，它應(yīng)可計算性問題：一個義務(wù)要用計算機(jī)完成，它應(yīng)該是可以被計算的該是可以被計算的普通對于某個特定的問題，假設(shè)存在一個程普通對于某個特定的問題，假設(shè)存在一個程序，對于給定的輸入，這個程序都能在有限步序，對于給定的輸入，這個程序都能在有限步內(nèi)給出輸出，這個問題就是可計算的內(nèi)給出輸出

8、，這個問題就是可計算的 第11頁第11講12.2.1馬爾視覺計算實(shí)際2.視覺信息加工的三個要素視覺信息加工的三個要素計算實(shí)際計算實(shí)際視覺問題能否可用現(xiàn)代計算機(jī)計算？視覺問題能否可用現(xiàn)代計算機(jī)計算？對計算機(jī)給定輸入，能否得到人類視覺可獲得的對計算機(jī)給定輸入，能否得到人類視覺可獲得的類似結(jié)果類似結(jié)果兩方面的研討內(nèi)容：計算的是什么以及為什兩方面的研討內(nèi)容：計算的是什么以及為什么要計算它們；提出一定的約束條件，它么要計算它們；提出一定的約束條件，它們可獨(dú)一地確定最終得到的運(yùn)算結(jié)果們可獨(dú)一地確定最終得到的運(yùn)算結(jié)果 第12頁第11講12.2.1馬爾視覺計算實(shí)際2.視覺信息加工的三個要素視覺信息加工的三個要

9、素算法實(shí)現(xiàn)算法實(shí)現(xiàn)需求給加工所操作的實(shí)體選擇一種適宜的表達(dá)需求給加工所操作的實(shí)體選擇一種適宜的表達(dá)選擇加工的輸入和輸出表達(dá)選擇加工的輸入和輸出表達(dá)確定完成表達(dá)轉(zhuǎn)換的算法確定完成表達(dá)轉(zhuǎn)換的算法普通情況下可以有許多可選的表達(dá)普通情況下可以有許多可選的表達(dá)算法確實(shí)定常取決于所選的表達(dá)算法確實(shí)定常取決于所選的表達(dá)給定一種表達(dá)，可有多種完成義務(wù)的算法給定一種表達(dá)，可有多種完成義務(wù)的算法 第13頁第11講12.2.1馬爾視覺計算實(shí)際2.視覺信息加工的三個要素視覺信息加工的三個要素硬件實(shí)現(xiàn)硬件實(shí)現(xiàn)有了表達(dá)和算法在物理上如何實(shí)現(xiàn)算法也是有了表達(dá)和算法在物理上如何實(shí)現(xiàn)算法也是必不可少的必不可少的 算法確實(shí)定常依

10、賴于物理上實(shí)現(xiàn)算法硬件的算法確實(shí)定常依賴于物理上實(shí)現(xiàn)算法硬件的特點(diǎn)特點(diǎn)同一個算法也可由不同的技術(shù)途徑實(shí)現(xiàn)同一個算法也可由不同的技術(shù)途徑實(shí)現(xiàn) 第14頁第11講2.視覺信息加工的三個要素視覺信息加工的三個要素視覺信息加工三要素的含義視覺信息加工三要素的含義 要素要素名稱名稱含義和所解決的問題含義和所解決的問題1計算理論什么是計算目的，為什么要這樣計算2表達(dá)和算法怎樣實(shí)現(xiàn)計算理論，什么是輸入輸出表達(dá)，用什么算法實(shí)現(xiàn)表達(dá)間的轉(zhuǎn)換3硬件實(shí)現(xiàn)怎樣在物理上實(shí)現(xiàn)表達(dá)和算法，什么是計算結(jié)構(gòu)的具體細(xì)節(jié)12.2.1馬爾視覺計算實(shí)際第15頁第11講2.視覺信息加工的三個要素視覺信息加工的三個要素它們之間有一定的邏輯因

11、果聯(lián)絡(luò)，但并無絕對的它們之間有一定的邏輯因果聯(lián)絡(luò)，但并無絕對的依賴關(guān)系依賴關(guān)系實(shí)踐上看成兩個層次更恰當(dāng)實(shí)踐上看成兩個層次更恰當(dāng)一旦有了計算實(shí)際，表達(dá)和算法與硬件實(shí)現(xiàn)是相一旦有了計算實(shí)際，表達(dá)和算法與硬件實(shí)現(xiàn)是相互影響的互影響的12.2.1馬爾視覺計算實(shí)際表達(dá)和算法硬件實(shí)現(xiàn)計算理論第16頁第11講12.2.1馬爾視覺計算實(shí)際3.視覺信息的三級內(nèi)部表達(dá)視覺信息的三級內(nèi)部表達(dá) (1)基素表達(dá)基素表達(dá)primal sketch 一種一種2-D表達(dá)，它是圖象特征的集合，描畫了物體表達(dá)，它是圖象特征的集合，描畫了物體上屬性發(fā)生變化的輪廓部分上屬性發(fā)生變化的輪廓部分只用基素表達(dá)不能保證得到對場景的獨(dú)一解釋只

12、用基素表達(dá)不能保證得到對場景的獨(dú)一解釋 (a)(b)(c)(d)(e)第17頁第11講12.2.1馬爾視覺計算實(shí)際3.視覺信息的三級內(nèi)部表達(dá)視覺信息的三級內(nèi)部表達(dá) (2)2.5-D表達(dá)表達(dá)2-D sketch 將物體可見面正交將物體可見面正交投影分解成單元外表投影分解成單元外表用法線代表單元表用法線代表單元表面的取向面的取向?qū)⒏鞣ň€畫出，疊加將各法線畫出，疊加于物體輪廓內(nèi)可見面上于物體輪廓內(nèi)可見面上 第18頁第11講12.2.1馬爾視覺計算實(shí)際3.視覺信息的三級內(nèi)部表達(dá)視覺信息的三級內(nèi)部表達(dá) (2)2.5-D表達(dá)表達(dá)2-D sketch 本征圖，表示了物體外表面元的朝向本征圖，表示了物體外表面

13、元的朝向可將可將2.5-D圖轉(zhuǎn)化成相對深度圖圖轉(zhuǎn)化成相對深度圖 既表達(dá)了一部分物體輪廓的信息這與基素表達(dá)既表達(dá)了一部分物體輪廓的信息這與基素表達(dá)類似表達(dá)了以察看者為中心、可察看到的物類似表達(dá)了以察看者為中心、可察看到的物體外表的取向信息體外表的取向信息 與人所了解的與人所了解的3-D物體一致可見物體輪廓以內(nèi)目物體一致可見物體輪廓以內(nèi)目的的的的3-D信息，如邊境、深度，反射特性等信息，如邊境、深度，反射特性等第19頁第11講12.2.1馬爾視覺計算實(shí)際3.視覺信息的三級內(nèi)部表達(dá)視覺信息的三級內(nèi)部表達(dá) (2)2.5-D表達(dá)表達(dá)2-D sketch 將將2.5-D圖轉(zhuǎn)化成相對深度圖圖轉(zhuǎn)化成相對深度圖

14、給定給定z(x, y)對對x和和y的偏導(dǎo)的偏導(dǎo)p和和q，實(shí)際上講可經(jīng)過在，實(shí)際上講可經(jīng)過在平面上沿恣意曲線的積分來恢復(fù)平面上沿恣意曲線的積分來恢復(fù)z(x, y)為最小化誤差可選擇為最小化誤差可選擇z(x, y)滿足滿足),(),(0000)dd(),(),(yxyxyqspyxzyxzyxqzpzIyxdd )()(22第20頁第11講12.2.1馬爾視覺計算實(shí)際3.視覺信息的三級內(nèi)部表達(dá)視覺信息的三級內(nèi)部表達(dá) (3)3-D表達(dá)表達(dá)3-D representation 以物體為中心即也包括了物體不可見部分的以物體為中心即也包括了物體不可見部分的表達(dá)方式表達(dá)方式 在以物體為中心的坐標(biāo)系中描畫在以

15、物體為中心的坐標(biāo)系中描畫3-D物體的外形及物體的外形及其空間組織其空間組織 空間占有數(shù)組，空間占有數(shù)組， 單元分解，單元分解， 幾何模型幾何模型廣義圓柱體表達(dá)方法廣義圓柱體表達(dá)方法 第21頁第11講12.2.1馬爾視覺計算實(shí)際3.視覺信息的三級內(nèi)部表達(dá)視覺信息的三級內(nèi)部表達(dá) 從計算機(jī)或信息加工的角度來說，視覺可計算性從計算機(jī)或信息加工的角度來說，視覺可計算性問題可分成幾個步驟，步驟之間是某種表達(dá)方問題可分成幾個步驟，步驟之間是某種表達(dá)方式，而每個步驟都是把前后兩種表達(dá)方式聯(lián)絡(luò)式，而每個步驟都是把前后兩種表達(dá)方式聯(lián)絡(luò)起來的計算起來的計算/加工方法加工方法第22頁第11講3.視覺信息的三級內(nèi)部表達(dá)

16、視覺信息的三級內(nèi)部表達(dá) 名稱名稱目的目的基元基元圖象表達(dá)場景的輝度或物體的照度象素（值）基素圖表達(dá)圖象中亮度變化位置、物體輪廓的幾何分布和組織結(jié)構(gòu)零交叉、端點(diǎn)、邊緣段、邊界等2.5-D圖在以觀察者為中心的坐標(biāo)系中表達(dá)物體可見表面的取向、深度、邊界等性質(zhì)局部表面朝向（“針”基元）、表面朝向的不連續(xù)點(diǎn)、 深度、深度上不連續(xù)點(diǎn)3-D圖在以物體為中心的坐標(biāo)系中，用體元或面元集合描述形狀和形狀的空間組織形式3-D模型，以軸線為骨架，將體元或面元附在軸線上12.2.1馬爾視覺計算實(shí)際第23頁第11講12.2.1馬爾視覺計算實(shí)際4.視覺信息處置按照功能模塊的方式組織視覺信息處置按照功能模塊的方式組織 把視覺

17、信息的系統(tǒng)看成由一組相對獨(dú)立功能模塊把視覺信息的系統(tǒng)看成由一組相對獨(dú)立功能模塊所組成的思想，不僅有計算方面進(jìn)化論和認(rèn)識所組成的思想，不僅有計算方面進(jìn)化論和認(rèn)識論的論據(jù)支持，而且某些功能模塊曾經(jīng)能用實(shí)論的論據(jù)支持，而且某些功能模塊曾經(jīng)能用實(shí)驗(yàn)的方法分別出來驗(yàn)的方法分別出來人經(jīng)過運(yùn)用多種線索或從它們的結(jié)合來獲得各種人經(jīng)過運(yùn)用多種線索或從它們的結(jié)合來獲得各種本征視覺信息。這啟示計算機(jī)視覺系統(tǒng)應(yīng)該包本征視覺信息。這啟示計算機(jī)視覺系統(tǒng)應(yīng)該包括許多模塊，每個模塊獲取某一特定的視覺線括許多模塊，每個模塊獲取某一特定的視覺線索，結(jié)合不同的模塊來最終完成視覺義務(wù)索，結(jié)合不同的模塊來最終完成視覺義務(wù) 第24頁第1

18、1講12.2.1馬爾視覺計算實(shí)際5.計算實(shí)際方式化表示必需思索約束條件計算實(shí)際方式化表示必需思索約束條件 在圖象采集獲取過程中，原始場景中的信息會在圖象采集獲取過程中，原始場景中的信息會發(fā)生各種變化發(fā)生各種變化(1)當(dāng)當(dāng)3-D的場景被投影為的場景被投影為2-D圖象時，喪失了物圖象時，喪失了物體深度和體深度和不可見部分的信息不可見部分的信息(2)圖象是從特定視角獲取的，同一物體的不同圖象是從特定視角獲取的，同一物體的不同視角圖象視角圖象會不同，另外由于物體遮擋也會會不同，另外由于物體遮擋也會喪失信息喪失信息(3)成象投影使得照明、物體幾何外形和外表反成象投影使得照明、物體幾何外形和外表反射特性、

19、射特性、攝象機(jī)特性、光源與物體和攝象攝象機(jī)特性、光源與物體和攝象機(jī)之間的空間關(guān)系機(jī)之間的空間關(guān)系等都被綜合成單一的圖象等都被綜合成單一的圖象灰度值，很難區(qū)分灰度值，很難區(qū)分(4)在成象過程中不可防止地會引入噪聲和畸變在成象過程中不可防止地會引入噪聲和畸變 第25頁第11講12.2.1馬爾視覺計算實(shí)際5.計算實(shí)際方式化表示必需思索約束條件計算實(shí)際方式化表示必需思索約束條件 適定的問題：假設(shè)它的解是：適定的問題：假設(shè)它的解是： 存在的；存在的； 獨(dú)獨(dú)一的；一的； 延續(xù)地依賴于初始數(shù)據(jù)延續(xù)地依賴于初始數(shù)據(jù)原始場景中信息發(fā)生變化的緣由，使得將視覺原始場景中信息發(fā)生變化的緣由，使得將視覺處置問題作為光學(xué)

20、成象過程逆問題的求解方法處置問題作為光學(xué)成象過程逆問題的求解方法不適定，成了病態(tài)問題不適定，成了病態(tài)問題利用約束條件可改動病態(tài)問題利用約束條件可改動病態(tài)問題經(jīng)過給計算問題加上約束條件可使它含義明經(jīng)過給計算問題加上約束條件可使它含義明確從而可以獲解確從而可以獲解 第26頁第11講12.2.2對馬爾實(shí)際框架的改良四個有關(guān)整體框架的問題： (1)框架中輸入是被動的 (2)框架中加工目的不變，總是恢復(fù)場景中物體的位置和外形等 (3)框架未足夠注重高層知識的指點(diǎn)作用 (4)整個框架中信息加工過程根本自下而上，單向流動，沒有反響 第27頁第11講12.2.2對馬爾實(shí)際框架的改良四個方面的相應(yīng)改良： (1)

21、添加了圖象獲取模塊 (2)根據(jù)視覺目的進(jìn)展決策 (3)利用高層知識可處理低層信息缺乏的問題 (4)添加了反響控制流向 圖象獲取早期處理中期處理后期處理視覺目的高層知識反饋第28頁第11講12.2.3關(guān)于馬爾重建實(shí)際的討論1.重建實(shí)際的問題重建實(shí)際的問題不同視覺義務(wù)不同視覺義務(wù)/任務(wù)的共同的概念中心被假定為表任務(wù)的共同的概念中心被假定為表達(dá)，共同的處置目的是根據(jù)視覺刺激恢復(fù)場景達(dá)，共同的處置目的是根據(jù)視覺刺激恢復(fù)場景并結(jié)合進(jìn)表達(dá)中并結(jié)合進(jìn)表達(dá)中 假設(shè)視覺系統(tǒng)能恢復(fù)場景的特性，人能進(jìn)一步從假設(shè)視覺系統(tǒng)能恢復(fù)場景的特性，人能進(jìn)一步從各種線索中提取出從內(nèi)部構(gòu)建視覺世界的表達(dá)各種線索中提取出從內(nèi)部構(gòu)建視

22、覺世界的表達(dá) 視覺被看作一個由刺激開場，順序的獲取和積累視覺被看作一個由刺激開場，順序的獲取和積累的重建過程的重建過程 第29頁第11講12.2.3關(guān)于馬爾重建實(shí)際的討論1.重建實(shí)際的問題重建實(shí)際的問題視覺過程不僅僅是一個單通路的處置過程視覺過程不僅僅是一個單通路的處置過程 隨著高層視覺信息的心思學(xué)研討成果和對高隨著高層視覺信息的心思學(xué)研討成果和對高層視覺區(qū)域的解剖和功能組織的知識的添加層視覺區(qū)域的解剖和功能組織的知識的添加 根據(jù)重建的表達(dá)有一系列問題：根據(jù)重建的表達(dá)有一系列問題： (1) 在一切能夠?qū)鼍斑M(jìn)展解釋的方法中，包含重在一切能夠?qū)鼍斑M(jìn)展解釋的方法中，包含重建的方法兜的圈子最大，由

23、于重建并不對解釋建的方法兜的圈子最大，由于重建并不對解釋有直接奉獻(xiàn)有直接奉獻(xiàn)第30頁第11講12.2.3關(guān)于馬爾重建實(shí)際的討論1.重建實(shí)際的問題重建實(shí)際的問題根據(jù)重建的表達(dá)有一系列問題續(xù)根據(jù)重建的表達(dá)有一系列問題續(xù) (2) 僅靠從原始圖象中進(jìn)展重建來實(shí)現(xiàn)表達(dá)在僅靠從原始圖象中進(jìn)展重建來實(shí)現(xiàn)表達(dá)在實(shí)實(shí)踐中也很難實(shí)現(xiàn)踐中也很難實(shí)現(xiàn)(3) 概念上的問題概念上的問題具有一個普遍一致的表達(dá)能否值得具有一個普遍一致的表達(dá)能否值得?最好的表達(dá)應(yīng)該是最適宜任務(wù)的表達(dá)最好的表達(dá)應(yīng)該是最適宜任務(wù)的表達(dá)對給定計算問題選擇正確表達(dá)對給定計算問題選擇正確表達(dá) 第31頁第11講12.2.3關(guān)于馬爾重建實(shí)際的討論2.不需重

24、建的表達(dá)不需重建的表達(dá) “精神表達(dá)語義精神表達(dá)語義semantics of mental representations 用自然的和可預(yù)測的方式來進(jìn)展表達(dá)用自然的和可預(yù)測的方式來進(jìn)展表達(dá)特征檢測器構(gòu)成了視覺世界中的某種特征存在性特征檢測器構(gòu)成了視覺世界中的某種特征存在性的表達(dá)的表達(dá)對整個目的和場景的表達(dá)可以隨后根據(jù)這些基元對整個目的和場景的表達(dá)可以隨后根據(jù)這些基元假設(shè)基元足夠多來構(gòu)建假設(shè)基元足夠多來構(gòu)建 第32頁第11講12.2.4新實(shí)際框架的研討1.基于知識的實(shí)際框架基于知識的實(shí)際框架 (1)利用對感知組織的處置過程，從圖象特征中提利用對感知組織的處置過程，從圖象特征中提取相對于察看方向在大

25、范圍內(nèi)堅持不變的分組取相對于察看方向在大范圍內(nèi)堅持不變的分組和構(gòu)造和構(gòu)造(2)借助圖象特征構(gòu)建模型，在這個過程中利用概借助圖象特征構(gòu)建模型，在這個過程中利用概率排隊(duì)的方法減小搜索空間率排隊(duì)的方法減小搜索空間(3)經(jīng)過求解未知的察看點(diǎn)和模型參數(shù)尋覓空間對經(jīng)過求解未知的察看點(diǎn)和模型參數(shù)尋覓空間對應(yīng)關(guān)系，使得應(yīng)關(guān)系，使得3-D模型的投影直接與圖象特征相模型的投影直接與圖象特征相匹配匹配第33頁第11講12.2.4新實(shí)際框架的研討2.自動視覺實(shí)際框架自動視覺實(shí)際框架 (1)選擇留意機(jī)制選擇留意機(jī)制 (2)凝視控制凝視控制 第34頁第11講12.3圖象了解系統(tǒng)模型圖象了解系統(tǒng)模型 12.3.1系統(tǒng)模型構(gòu)

26、造 12.3.2多層次串行構(gòu)造 12.3.3以知識庫為中心的輻射構(gòu)造12.3.4以知識庫為根的樹構(gòu)造 12.3.5多模塊交叉配合構(gòu)造第35頁第11講12.3.1系統(tǒng)模型構(gòu)造系統(tǒng)性能將主要取決于兩方面的要素：系統(tǒng)性能將主要取決于兩方面的要素：(1) 在總體上是如何組織的，由哪些模塊組成，模在總體上是如何組織的，由哪些模塊組成，模塊間如何聯(lián)絡(luò)塊間如何聯(lián)絡(luò)(2) 每個模塊內(nèi)采用了何種技術(shù)，如何對信息進(jìn)展每個模塊內(nèi)采用了何種技術(shù)，如何對信息進(jìn)展加工加工典型系統(tǒng)模型典型系統(tǒng)模型松散的知識庫模型松散的知識庫模型 圖象采集客觀世界內(nèi)部表達(dá)視覺系統(tǒng)知識庫視覺理解第36頁第11講12.3.2多層次串行構(gòu)造 多層

27、次串行構(gòu)造將視覺信息加工過程看作一個信息處置過程，具有確定的輸入和輸出，因此將視覺信息系統(tǒng)組織成一系列分處于不同層次的模塊并以串行方式結(jié)合起來，每個模塊在其它模塊的協(xié)同配合下按順序執(zhí)行一些特定的任務(wù)，從而逐漸完成預(yù)定的視覺義務(wù)可包括由底向上bottom up的處置比較通用但不一定總有效和由頂向下top down的處置在約束充分時效率會比較高 第37頁第11講 12.3.3 以知識庫為中心的輻射構(gòu)造可以看作是一種類比于人類視覺系統(tǒng)的構(gòu)造。它的特點(diǎn)是以知識為中心，系統(tǒng)整體不分層，信號在各個模塊及知識庫中多次進(jìn)展交換處置在組成上，人類視覺系統(tǒng)與計算機(jī)視覺信息系統(tǒng)有很大不同2021年計算時機(jī)到達(dá)與人腦

28、大約相同的處置器個數(shù)P.301 圖象匹配區(qū)域提取符號表達(dá)結(jié)果模型知識庫（策略）第38頁第11講12.3.4以知識庫為根的樹構(gòu)造 以知識庫為根的樹構(gòu)造主要是一種模塊分類方式，它根據(jù)對知識的不同表達(dá)類型進(jìn)展組織(1)廣義圖象：場景中有關(guān)圖象類實(shí)體的集合 (2)分割圖象：經(jīng)過將廣義圖象中的元素聚合成 與場景中有意義物體相關(guān)聯(lián)的集合而得到(3)幾何構(gòu)造：它是描畫圖象和客觀世界的模型 (4)關(guān)系構(gòu)造：它給出圖象和構(gòu)造的符號描畫 第39頁第11講12.3.5多模塊交叉配合構(gòu)造視覺信息系統(tǒng)應(yīng)使得客觀的察看用戶能從客觀的場景獲得不同類別和層次的信息以經(jīng)過系統(tǒng)認(rèn)識世界。多模塊交叉配合構(gòu)造將整個系統(tǒng)分成多個模塊，

29、各有確定的輸入和輸出，且相互配合交叉，比較靈敏從總體上看，尤其是在低層和中層處置階段，采用了多層次串行構(gòu)造，從客觀場景獲取的視覺信息經(jīng)過一系列加工過程到達(dá)察看用戶。但在部分地方，特別是高層加工階段，系統(tǒng)又根本圍繞知識模型進(jìn)展組織 第40頁第11講12.3.5多模塊交叉配合構(gòu)造圖象采集基元檢測特征測量圖象分割目標(biāo)表達(dá)系統(tǒng)庫知識模型三維描述場景恢復(fù)匹配客 觀 場 景觀 察 用 戶場景解釋第41頁第11講12.4詳細(xì)系統(tǒng)分析詳細(xì)系統(tǒng)分析 12.4.1VISIONS 系統(tǒng) 12.4.2ACRONYM 系統(tǒng) 12.4.3KB Vision 系統(tǒng) 第42頁第11講12.4.1VISIONS 系統(tǒng)一個基于圖象中區(qū)域的二維圖象信息系統(tǒng) 在一定先驗(yàn)知識的指點(diǎn)下，對圖象中的區(qū)域并從而對場景中的物體以正確解釋 (1) 數(shù)據(jù)驅(qū)動 (2) 知識驅(qū)動(1) 輸入到模型(2) 模型到輸入 第43頁第11講1